タグ・1本
A/Bテスト
A/Bテストを途中で覗くと偽陽性はどこまで増えるか—50回で31.7%、名目5%の6.3倍
真の差がゼロのA/Bテストを6,000回シミュレーションし、途中で「有意になったら止める」運用の偽陽性率を覗き見の回数ごとに実測しました。50回で31.7%と名目5%の6.3倍に膨らむ一方、回数で割るBonferroni補正には、覗かずに1回だけ判定する場合より本物を見逃すという代償が出ます。較正した境界との比較と、その優位が設計の検出力しだいで縮むことまで測りました。コピペで動くサンプルつき。