[Top]

自動要約テストコレクション

last modified 2005.3.31

テストコレクションとは、ある技術の性能を評価するための実験(テスト)に使用するためのデータセットです。

TSC関連

DUC関連

(データ入手方法)

その他

論文テキスト数,データ作成方法,被験者,要約率,評価方法,他
[Kupiec et al., 95]188論文, 要約の専門家が作成
[Teufel & Moens, 97]202論文(E-print archiveより),著者のabstractの使用および,被験者の重要文抽出,任意個
[Marcu, 98]13人の被験者,3段階評価,任意個,大学院生,5記事
(Scientific American),過半数以上のものを選択,被験者間の一致度 (percent agreement)を調査
[Jing et al., 98]40記事(TREC collectionより),5人の被験者,10%,20%,2つの要約率,大学院生,過半数以上のものを選択,被験者間の一致度(percent agreement)を調査
[野本, 97]7人の被験者,10%の要約率,大学生,被験者間の一致度(K-統計)を調査,3分野(随想,社説,一面報道)
[山下, 98]5人の被験者,30%の要約率,大学生
[難波, 98]query-biased/generalの2種類,6人の被験者,3段階評価,任意個,大学院生,過半数以上のものを選択,被験者間の一致度(percent agreement)を調査