Evaluation

情報抽出(Information Extraction; IE)の結果を評価したり。
正解セットがないと結果からランダムに抽出して人手で評価するしかないんだよなぁ。面倒だ。
固有表現抽出(Named Entity Extraction)や情報検索(Information Retrieval)なら正解セットがあることも多くて、そういう場合はプログラムを走らせればいいだけなんだけどなぁ。つうか、要約(Summarization)なんかも評価大変そうだよなぁ。人間が見ても評価がずれそうだし、パラメータの調整なんかやってられなさそう。