3 / 5ページ・全44本
記事一覧
A/Bテストを途中で覗くと偽陽性はどこまで増えるか—50回で31.7%、名目5%の6.3倍
真の差がゼロのA/Bテストを6,000回シミュレーションし、途中で「有意になったら止める」運用の偽陽性率を覗き見の回数ごとに実測しました。50回で31.7%と名目5%の6.3倍に膨らむ一方、回数で割るBonferroni補正には、覗かずに1回だけ判定する場合より本物を見逃すという代償が出ます。較正した境界との比較と、その優位が設計の検出力しだいで縮むことまで測りました。コピペで動くサンプルつき。
変化点検知はペナルティ次第でF1が3倍変わる—手法を選ぶより先に決める設定
変化点検知のライブラリ ruptures で、手法とペナルティのどちらが結果を左右するかを実測しました。同じ Pelt でも F1 は 0.275 から 0.931 まで動き、真の変化点が平均4.4本のところ平均37.0本を検出した条件もありました。位置が分かっている合成信号で3手法とペナルティ4水準を採点し、自分のデータで値を決める手順までまとめました。
ARIMA・指数平滑はナイーブ予測に勝てるか—平均では勝ち、週次では4割の系列で勝てなかった
ARIMAや指数平滑が「前の値をコピーするだけ」のナイーブ予測に勝てているかをM4データの859系列で実測しました。平均誤差では古典手法が勝ちますが、系列ごとに見ると週次では4割で勝てていません。月次で最下位だったのは季節ナイーブでした。
正解率99%でも少数派recallは0—不均衡データで何を見るか
少数派が1%のデータでは、多数派を出すだけのダミー分類器でも正解率は99%に届き、少数派を1件も当てられません。実力差はPR-AUCと少数派recallに現れますが、学習済みモデルでも少数派を全件見逃す回があり、1回の測定では優劣を決められないことも分かりました。3つの不均衡度×20シードで実測しています。
KNN・MICEの欠損値補完を実測—効き目は下流モデルで大きく変わる
KNNImputerやMICEのような手の込んだ補完が中央値補完より効くかは、補完のあとに学習するモデルで変わりました。線形モデルでは差が残る一方、LightGBMでは埋めた値の誤差を3割以上減らしても得点はほとんど動きません。MICEが想定どおりの欠損（MAR）でかえって悪化した予想外れも含め、2データセット・欠損機構3種・欠損率3水準・seed10本で実測しました。コピペで動くサンプルつき。
予測確率のキャリブレーションを実測—Platt・Isotonicが効くモデル、効かないモデル
歪んだ予測確率をPlattスケーリングとIsotonic回帰で較正すると、確率のずれ（ECE）はGaussianNBで約0.078から0.017まで下がる一方、順位づけ（ROC-AUC）への影響は最大0.0017で確認できませんでした。効くモデルと効かないモデルの違い、データ量によるPlatt/Isotonicの選び方、小さなECE差を読むときの注意点まで、3モデル×10シードで実測しています。コピペで動くサンプルつき。
RAGの検索精度を上げる方法—取りこぼしと順位から改善箇所を決める
RAGの検索精度が上がらないとき、原因が取りこぼし（候補に入っていない）か順位（下に沈んでいる）かを質問ごとに数えて見分けます。分割・検索・並べ替えのどこから改善するかを5本の日本語RAG実験から判断する手順と、手元で動く診断コードを掲載します。
RAGは外部文書を検索し、その内容をLLMへ渡して回答を作る仕組みです。文書の分割から検索、並べ替え、回答生成までの流れと、精度が落ちたときに確認する場所を整理します。
解約したか分からないまま追跡が終わったデータを、未解約として扱ってよいのでしょうか。二値分類、追跡切れの除外、生存分析を合成データで比較し、解約率の見積もりがずれる理由と手法を選ぶ際の確認点を説明します。
本番の機械学習モデルを運用する人向けに、panderaとは何か、DataFrameSchemaの基本的な使い方、推論前に検出できる入力異常と検出できない変化を実測結果から解説します。