TSC 第3回ミーティング議事録
round table ミーティング議事録
2002/4/9
難波 英嗣
日時：2002年3月27日
場所：国立情報学研究所 12階 1208号室
参加者一覧(14名)：
(敬称略，順不同)
東京工業大 奥村
追手門学院大 福島
三重大 桝井
NTT 平尾
CRL 野畑
横浜国大 森，佐々木
NEC 石川
豊橋技科大 増山
慶應義塾大 関
東大 松村，松尾，岡崎
日本学術振興会 難波
======================================================================
1) 正解データの作成について
1-1) 課題A
<要約作成手順>
1. まず，10%, 30%, 50%の要約率で各テキストから重要文を選択し
てもらう．
2. 次に，30%重要文データから重要個所を選んでもらい20%重要個
所抽出データを作成してもらう．
2. 同様に，50%重要文データから重要個所を選んでもらい40%重要
個所抽出データを作成してもらう．
Q 課題Aの正解データは，TSC-1の時と比べて体言止めが増えているが，
正解データを作成する上で指示は変わったのか？
A スタイルの指定は，特に行っていない．また，指示も前回と変わっ
ていない．
Q 重要文データは公開して欲しい．
A なるべく早く公開する．
1-2) 課題B
正解要約の作成の際の指示は以下のとおり．
<要約作成手順>
1. まず，トピックの説明(ディスクリプションとキーワード)を読
んでもらう．
2. 次に，記事集合を読んでもらう．
3. 指定した2種類の要約長のうち，長い方の要約を先に作成しても
らう．
4. 次に，長い方の要約の内容を含むように短い要約を作成しても
らう．
(コメント)
要約筆記は，その場で使い捨てる要約であるのに対し，今回作成する
要約は，後に残るもの．要約作成の際のガイドラインで「このような
形式の要約が欲しい」というのを明確にする必要があるのではないか．
可読性の評価を行う際，「この要約はこのような形式で作成している」
というのがあるのとないのとでは違う．例えば新聞の見出しは，見出
しと思って読めばそれなりに読めるが，本来はそれほど読みやすいも
のではない．従って，どのような形式の正解か？を明確にすることは
大切だ．
2) 評価について
2-1) 要約の添削
添削は計算機上でVisualTaggerというツールを用いて行ってもらう．
<添削手順>
1. まず，トピックの説明(ディスクリプションとキーワード)を読
んでもらう．
2. 次に記事(集合)を読んでもらう．
3. 要約を読み，元のテキストの重要な内容を過不足なく記述して
いるように, また, テキストとして読み易くなるように, 提示
した要約を添削してもらう．また，添削結果が所定の長さを越
えないように注意してもらう．
添削は完全性は求めず，必要最低限の添削を行ってもらう．ま
た，要約の半分以上を書き換えないと条件を満足できない場合
は，そのように別途明記した上で，添削を途中でやめてもらっ
てもかまわない．
添削は，「挿入」「削除」「置換」の3つの操作のみで行っても
らう．また，その操作を行う場合，「内容」に関する添削なの
か，「読み易さ」に関する添削なのかを指定してもらう．
Q 添削を行ってもらう際，添削者は人間の作成した要約を参考にして
いるのか？
A 添削者には，人間の作成した要約は与えずに添削してもらっている．
Q 添削者間のバラツキがあるのでは？
A ある程度バラツキがあるのは仕方ないが，今回は一つのセットの要
約はすべて同じ添削者に添削してもらっており，システム間の比較
を行う時に不公平にならないように配慮している．
2-2) 主観評価
(コメント)
upperboundとシステムの開きが，課題Aに比べ課題Bの方が小さい．これは
評価方法の問題か？あるいは正解のバラツキの問題か？
主観評価について，ベースラインシステム(lead法とstein法)のランク
も出して欲しい．
3) 課題Bの重要文データの作成
人間の作成した理想的な自由作成要約だけだと機械学習しづらい．理想的
な要約と元テキスト集合の間にもう一段階欲しい．何らかの方法で元記事
と正解要約の間でアラインメントがとれなくはないが，書き換わった表現
があるとどうしようもない．タグ付けだけで複数テキスト要約の正解を作っ
てもらうことはできないか？あるいは，正解要約を作ってもらう際，元記
事中のどの文を根拠として使ったかを示してもらうということはできない
か？
もし，要約作成者に重要文を示してもらうのが困難であれば，参加団体毎
に重要と考える文をシステム要約と一緒に提出してもらい，重要文をプー
リングし，それらを用いて評価するという方法も考えられる．
各団体には何文づつ抽出してもらうか？もし重要文の提出を義務付けるこ
とが，参加者にとって負担が大きければ，いくつかのセットにしぼって提
出してもらうのも1つの方法．
QACの場合は参加者がそれぞれ20個のQとAを作る．そのうち2個が採用され
る．TSCも重要文の提出を義務付ければ良いのでは．しかし参加者側に負担
がかかりすぎるのはよくないので，やはり主催者側がセットをしぼるのが
良い．
4) その他
Q formal run から参加するチームは dryrun データは使えるのか？
A 使える．ただし，NIIとの覚書を交わすことが前提である．
Q 正解データのバリエーションはどのくらいあるのか？
A 調べてみる必要はあるが，現時点ではまだ行っていない．
(コメント)
3記事程度のセットだと，タスクとして非常に簡単．10記事以上必要なの
では．また，セット中の記事に全くノイズが含まれていない(すべて同一
トピックの記事)だが，ノイズを含んだデータセットがあっても良いので
は？
======================================================================
4. 連絡事項
- 日程：
○ TSC-2
5月7日 : 課題配布
5月10日 : 課題提出
7月中 : 結果を返す
8月1-10日: round table
8月20日 : 論文〆切
10/8-10 : ワークショップ
======================================================================