1. タスク概要・評価法・評価の主眼:

タスクは，以下の課題A, Bで構成される．

課題A: single

単一の新聞記事を要約対象とする．要約対象となるテキストと，要約率(要約 の長さ)が与えられ，参加者は，それを元に要約をplain textで作成し提出す る．1つのテキストに対する要約率は複数与えられる．

なお，要約はplain textで提出するため，重要文抽出のみを行なうシステムも， この課題に参加できる．

この課題は，TSC1の課題A-2の継続である．

課題B: multi

複数の新聞記事を要約対象とする．いくつかの種類のテキスト集合を対象とし， それらのテキスト集合の要約を作成する．この際，テキスト集合を用意するの に用いた情報(クエリ等)および要約の長さも合わせて，システムに与える．

評価方法は，課題A, Bともに共通．内的(intrinsic)な評価のみ．

○評価法1: 主観評価

人間の評価者に，原文および，人間の要約(自由作成要約，重要個所抽出要約)， システムの要約，ベースラインシステムの要約の4つを提示し，原文の重 要な内容をどの程度要約がカバーしているか，要約の読み易さの2つの評 価基準で，要約を順序付けてもらう．

評価法1は，TSC1の課題A-2ですでに用いている評価法である．

○評価法2: 「システムの要約に対する修正の度合」

内容，可読性に関して，システムの要約を評価者(3人)に添削してもらい，そ の度合を指標とする．添削は，挿入，削除，置換の3つの操作のみで行なう．

3. スケジュール:

2001年10月中旬	dryrun課題公表，結果提出
2001年11-12月	評価，評価公表
2002年1月	分析
2002年2月	round table
2002年4月	formal run課題公表，結果提出
2002年5-6月	評価，評価公表
2002年7月	分析
2002年8月	round table
2002年10月	Workshop

なお，NTCIRの参加申し込み受け付けは9月末までですが，tscでは，2002年2月 末まで参加申し込みを随時受け付けます．dryrunに参加していなくても， formal runのみの参加も受け付けます．

今後随時このページ上で，task description等タスクの詳細はご案内していく 予定です．

福島孝博(追手門学院大学 文学部)
難波英嗣(日本学術振興会 特別研究員)
奥村 学(東京工業大学 精密工学研究所)