シリーズ・全3本
モデル比較と統計の作法
モデルAがモデルBをわずかに上回った。この差は本物でしょうか、それともたまたまでしょうか。このシリーズでは、乱数の種を変えるだけで順位がどれだけ入れ替わるのか、候補をたくさん並べて一番を選ぶと何が起きるのか、そして有意差という言葉をどう扱うべきかを、シミュレーションと実データの両方で確かめています。A/Bテストの途中確認や、LLMによる自動評価の平均といった、比較の結論を歪める手続きの問題も同じレンズで扱います。当ラボが比較記事を書くときに自分へ課している作法を、そのまま実測で確かめる場でもあります。
このシリーズで確かめていること
- 同じコードを回して、結果は本当に同じになるのか
- 乱数の種を変えると、モデルの勝敗はどれだけ入れ替わるのか
- 候補を多数並べて一番を選ぶと、その勝者は新しいデータでも勝つのか
- A/Bテストの結果を途中で覗くと、判断はどれだけ歪むのか
- 自動評価のスコアは、そのまま平均して結論にしてよいのか
連載順に読む
第1回LLMの自動評価スコアをそのまま平均してよいか—信頼区間の落とし穴とPPI
人手評価できる件数は限られる一方、モデルなら大量に採点できます。そのモデル採点をそのまま平均して信頼区間を付けてよいのかを、真の平均が分かる合成データで4,000回の反復から実測しました。予測平均が0.10偏った条件では、2万件から作った95%信頼区間の幅が±0.013まで狭まる一方で真値を4,000回とも外し、人手評価を増やしても改善しません。少数の人手評価でその偏りを補正するPPIでは、人手評価だけを使う場合より区間を約28%狭くしたまま妥当性を保てました。実際のLLMは使わず、一次式の予測器で検証しています。
第2回A/Bテストを途中で覗くと偽陽性はどこまで増えるか—50回で31.7%、名目5%の6.3倍
真の差がゼロのA/Bテストを6,000回シミュレーションし、途中で「有意になったら止める」運用の偽陽性率を覗き見の回数ごとに実測しました。50回で31.7%と名目5%の6.3倍に膨らむ一方、回数で割るBonferroni補正には、覗かずに1回だけ判定する場合より本物を見逃すという代償が出ます。較正した境界との比較と、その優位が設計の検出力しだいで縮むことまで測りました。コピペで動くサンプルつき。
第3回XGBoostとLightGBMの比較はseedで変わるか—評価件数と順位の安定性を検証
モデル比較で出た僅差を、1回の結果だけで判断してよいのでしょうか。Adultデータで分割を120回変え、訓練件数と評価件数を分けて比較しました。評価だけを減らすとLightGBMの勝率は99.2%から66.7%へ低下。AUC差のばらつきと逆転割合を確認する方法を紹介します。