タグ・1本
PPI
LLMの自動評価スコアをそのまま平均してよいか—信頼区間の落とし穴とPPI
人手評価できる件数は限られる一方、モデルなら大量に採点できます。そのモデル採点をそのまま平均して信頼区間を付けてよいのかを、真の平均が分かる合成データで4,000回の反復から実測しました。予測平均が0.10偏った条件では、2万件から作った95%信頼区間の幅が±0.013まで狭まる一方で真値を4,000回とも外し、人手評価を増やしても改善しません。少数の人手評価でその偏りを補正するPPIでは、人手評価だけを使う場合より区間を約28%狭くしたまま妥当性を保てました。実際のLLMは使わず、一次式の予測器で検証しています。