シリーズ・全4本
不均衡データと予測確率の扱い方
不正検知や故障予測のように、当てたい事象がめったに起きないデータでは、いつもの正解率もいつものしきい値もそのままでは通用しません。このシリーズでは、どの指標で見るか、対策を入れるべきか、確率をどこで切るか、そしてモデルが出す確率をどこまで信じてよいかという四つの判断を、条件を揃えた実測で順に確かめています。モデルを作り直す前に、評価と出力の扱いを直すだけで変えられる部分がどこまであるかを見るのが狙いです。
このシリーズで確かめていること
- 不均衡なデータで正解率を見ると、何を見落とすのか
- 不均衡データ対策は、何もしない場合に勝てるのか
- しきい値0.5は最適なのか。不均衡だと何が変わるのか
- モデルが出す確率は、そのまま確率として使ってよいのか
連載順に読む
第1回不均衡データの対策を比較｜SMOTE・クラス重みは必要か
不均衡データにSMOTEやクラス重みを最初から入れるべきか、LightGBMの無処置を基準に測りました。合成データ4水準でも実データ1件でも、4つの対策は無処置の平均PR-AUCを一度も上回れません。少数派1%では無処置0.558に対しSMOTE 0.494で、差は不均衡が強いほど広がりました。
第2回正解率99%でも少数派recallは0—不均衡データで何を見るか
少数派が1%のデータでは、多数派を出すだけのダミー分類器でも正解率は99%に届き、少数派を1件も当てられません。実力差はPR-AUCと少数派recallに現れますが、学習済みモデルでも少数派を全件見逃す回があり、1回の測定では優劣を決められないことも分かりました。3つの不均衡度×20シードで実測しています。
第3回予測確率のキャリブレーションを実測—Platt・Isotonicが効くモデル、効かないモデル
歪んだ予測確率をPlattスケーリングとIsotonic回帰で較正すると、確率のずれ（ECE）はGaussianNBで約0.078から0.017まで下がる一方、順位づけ（ROC-AUC）への影響は最大0.0017で確認できませんでした。効くモデルと効かないモデルの違い、データ量によるPlatt/Isotonicの選び方、小さなECE差を読むときの注意点まで、3モデル×10シードで実測しています。コピペで動くサンプルつき。
第4回分類のしきい値0.5は最適か—不均衡データでF1の改善幅を比較
分類のしきい値を0.5から変えると、見逃しと誤検知はどう変わるのか。少数派5〜50%の合成データでロジスティック回帰とLightGBMを比較しました。F1の改善幅、目的による閾値の違い、テストデータで調整すると成績を過大評価する理由を解説します。