3 / 6ページ・全47本
記事一覧
ターゲットエンコーディングのデータリーク—無関係な列のAUCが0.795まで上がった
ターゲットエンコーディングを全データのカテゴリ平均で作ると、無関係な乱数列でも交差検証AUCが0.795まで上がりました（独立ホールドアウトでは0.499）。平滑化（スムージング）を強めても上振れは頭打ちで残り、out-of-fold実装なら0.5付近へ戻りました。どんな条件で見かけのスコアが膨らむかも、水準数と件数を変えて実測しています。
TreeSHAPの2つのモードで重要度は変わる？無関係な特徴への配分を比較
TreeSHAPのfeature_perturbation（interventional／tree_path_dependent）の2モードを、真の寄与がゼロと分かる合成データで比較したところ、全体重要度の差は5回平均どうしで最大0.0034、1回ごとに突き合わせても最大0.0084でした。一方、無関係な3特徴へSHAPは約9%を配分。Permutation Importanceとの違いから、モード選択と特徴量削除の判断基準を整理します。
回帰の評価指標はどう選ぶ？RMSE・MAE・MAPEの違いを比較
RMSE・MAE・MAPEで回帰モデルの1位が入れ替わったら、どれを信じればよいのでしょうか。8モデルを比較すると、RMSEとMAEの1位一致率は、右への偏りだけを強めた条件より、予測できない外れ値を混ぜた条件で大きく下がりました。実測値がゼロ付近ではMAPEも不安定になります。外したときの損失から主指標を決める手順を整理します。
A/Bテストを途中で覗くと偽陽性はどこまで増えるか—50回で31.7%、名目5%の6.3倍
真の差がゼロのA/Bテストを6,000回シミュレーションし、途中で「有意になったら止める」運用の偽陽性率を覗き見の回数ごとに実測しました。50回で31.7%と名目5%の6.3倍に膨らむ一方、回数で割るBonferroni補正には、覗かずに1回だけ判定する場合より本物を見逃すという代償が出ます。較正した境界との比較と、その優位が設計の検出力しだいで縮むことまで測りました。コピペで動くサンプルつき。
変化点検知はペナルティ次第でF1が3倍変わる—手法を選ぶより先に決める設定
変化点検知のライブラリ ruptures で、手法とペナルティのどちらが結果を左右するかを実測しました。同じ Pelt でも F1 は 0.275 から 0.931 まで動き、真の変化点が平均4.4本のところ平均37.0本を検出した条件もありました。位置が分かっている合成信号で3手法とペナルティ4水準を採点し、自分のデータで値を決める手順までまとめました。
ARIMA・指数平滑はナイーブ予測に勝てるか—平均では勝ち、週次では4割の系列で勝てなかった
ARIMAや指数平滑が「前の値をコピーするだけ」のナイーブ予測に勝てているかをM4データの859系列で実測しました。平均誤差では古典手法が勝ちますが、系列ごとに見ると週次では4割で勝てていません。月次で最下位だったのは季節ナイーブでした。
正解率99%でも少数派recallは0—不均衡データで何を見るか
不均衡データの評価指標に正解率を使うと、少数派1%ではダミー分類器でも99%に届き、少数派を1件も当てられません。実力差はPR-AUCと少数派recallに現れました。ただし学習済みモデルでも少数派を全件見逃す回があり、1回の測定では優劣を決められません。3つの不均衡度×20シードで実測しています。
KNN・MICEの欠損値補完を実測—効き目は下流モデルで大きく変わる
scikit-learnのKNNImputerやIterativeImputer（MICE）のような手の込んだ補完が中央値補完より効くかは、補完のあとに学習するモデルで変わりました。線形モデルでは差が残る一方、LightGBMでは埋めた値の誤差を3割以上減らしても得点はほとんど動きません。MICEが想定どおりの欠損（MAR）でかえって悪化した予想外れも含め、2データセット・欠損機構3種・欠損率3水準・seed10本で実測しました。コピペで動くサンプルつき。
予測確率のキャリブレーションを実測—Platt・Isotonicが効くモデル、効かないモデル
歪んだ予測確率をPlattスケーリングとIsotonic回帰でキャリブレーション（較正）すると、確率のずれ（ECE）はGaussianNBで約0.078から0.017まで下がる一方、順位づけ（ROC-AUC）への影響は最大0.0017で確認できませんでした。効くモデルと効かないモデルの違い、データ量によるPlatt/Isotonicの選び方、小さなECE差を読むときの注意点まで、scikit-learnのCalibratedClassifierCVを使い3モデル×10シードで実測しています。コピペで動くサンプルつき。
RAGの検索精度を上げる方法—取りこぼしと順位から改善箇所を決める
RAGの検索精度が上がらないとき、原因が取りこぼし（候補に入っていない）か順位（下に沈んでいる）かを質問ごとに数えて見分けます。分割・検索・並べ替えのどこから改善するかを5本の日本語RAG実験から判断する手順と、手元で動く診断コードを掲載します。