Resource Analysis for Question Answering
なにこれ
質問応答システムを構築するとき，様々なリソースを知識源とする． この論文では，それらのリソースの比較を行っている． 質問応答初心者なので，どのリソースがどういう特徴を持っているか・またどのタイプの質問に対して有効かをよく知らなかったので読みました．
Gazatteer
Gazetteer(地名集)．
「X(地名)の人口は?」，「Yの首都は?」と言った調子のファクトイド型の質問を扱うデータベース． CIA World Factbookは世界中の国々の地理的，政治的，経済的な特徴を収録している．
天文学に関する情報を収録しているAstronomyやアメリカの50州の情報を収録した50Statesなんかもある．
Gazatteerは常にデータを最新に保っているので，ある時点でのデータは別の時点のデータとは別物である可能性がある(=再現性のない実験結果が得られる可能性がある)． また，「太陽との距離は?」といった質問のように，時期によって解答が異なる質問も時期によって異なる解答が得られる．
Gazatteerの特徴として，非常に精度の高い情報が収録されているという特徴がある(そのかわり再現率はあまり高くならない)． TREC(質問文と解答文のデータセット)の質問のうち，Gazatteerの情報をそのまま利用できるタイプの問題に対しては非常に高い正解率を誇る．
WordNet
WordNetは概念辞書と呼ばれるもので，単語に関する説明を収録している．プリンストン大学で開発された． Web上インターフェースが公開されているので，試しに使ってみると良い． 日本版はないのって話だが，ある．こちらはNICT(国立研究開発法人情報通信研究機構)が提供している．
概念を整理し記述する，オントロジー．
Structured Data Sources
百科事典や辞書，その他のWeb上の資料は主に「Xって何?」，「Xって誰?」と言った定義を問うタイプの質問の解答を得るために用いられる． TRECで最も良い成績を収めたXuら(2003)のDefinitional System(日本語でなんて言えば良いんだろう?)では，WordNet(Miller et al., 1990))，the Marriam-Webstar dictionary，the Columbia Encyclopedia，Wikipedia，biography dictionary，そしてGoogle(これ資料って言うのか?)などの構造化・半構造化されたリソースを用いていた．
質問文からのN-gramをwikipediaやgoogleで検索するだけでもそこそこ解答が見つかることも多い(TRECの質問文での議論が論文中にあるので興味があったら読んでみてください)．
Answer Type Coverage
自分の構築したシステムがどれくらい広範な質問に対応しているのかをテストしたいときには，JAVELINシステム(Nyberg et al., 2003)を使うと良い． 「viscosityって何?」とか「Lacanって誰?」とか「クレオパトラはどのように死んだ?」といった広範な知識を問う問題が収録されている．
Answer Typeは以下のように区分される．
- object
- lexicon
- definition
- person-bio
- process
- temporal
- numeric
- location
- proper
The Web as a Resource
Webはローカルに構築したコーパスよりも極めて巨大なので(web is orders of magnitude larger than local coporaってどういう意味だろう．．．)，簡単な質問とそれに対する解答はより頻繁に出現する． そのため，正しい解答を得るためにとても有用である．
Web上のリソースはパターン獲得や文書文書検索，構造化データの抽出，そして解答の検証のために使われることが多い．
Web Documents
ローカルに構築したコーパスを探索するかわりに，Web上の資料を探索して解答を見つけることを試みる質問応答システムも存在する(Xu et al., 2003::たぶんStructured Data Sourceの章で言及した研究)．
検索エンジンに対して質問文をtokenizeしたものをそのまま投げつける実験してみたら結構精度よかったみたいなことがその後に書かれています(google apiの話していたので読み飛ばした)．
Web Based Query Expansion
擬似適合フィードバックとかみたいな，クエリを拡張する手法もあるよーって話をしている．
まとめ
QAに使えそうなリソースを紹介してもらいました． 手法自体は当時からかなり色々変わっているけれど，データの重要性は変わっていないと思うので，調べてみる価値はあったと思っている．
