タグ・2本
統計
A/Bテストを途中で覗くと偽陽性はどこまで増えるか—50回で31.7%、名目5%の6.3倍
真の差がゼロのA/Bテストを6,000回シミュレーションし、途中で「有意になったら止める」運用の偽陽性率を覗き見の回数ごとに実測しました。50回で31.7%と名目5%の6.3倍に膨らむ一方、回数で割るBonferroni補正には、覗かずに1回だけ判定する場合より本物を見逃すという代償が出ます。較正した境界との比較と、その優位が設計の検出力しだいで縮むことまで測りました。コピペで動くサンプルつき。
LLMの自動評価スコアをそのまま平均してよいか—信頼区間の落とし穴とPPI
人手評価できる件数は限られる一方、モデルなら大量に採点できます。そのモデル採点をそのまま平均して信頼区間を付けてよいのかを、真の平均が分かる合成データで4,000回の反復から実測しました。予測平均が0.10偏った条件では、2万件から作った95%信頼区間の幅が±0.013まで狭まる一方で真値を4,000回とも外し、人手評価を増やしても改善しません。少数の人手評価でその偏りを補正するPPIでは、人手評価だけを使う場合より区間を約28%狭くしたまま妥当性を保てました。実際のLLMは使わず、一次式の予測器で検証しています。