タグ・5本
不均衡データ
分類のしきい値0.5は最適か—不均衡データでF1の改善幅を比較
分類のしきい値を0.5から変えると、見逃しと誤検知はどう変わるのか。少数派5〜50%の合成データでロジスティック回帰とLightGBMを比較しました。F1の改善幅、目的による閾値の違い、テストデータで調整すると成績を過大評価する理由を解説します。
同じ人が学習・検証の両方に入ると？交差検証のROC-AUCを実測比較
同じ対象の行をグループを無視して行単位で分けると、学習に登場しなかった新規グループでの評価スコアより高い値が出ました(今回の合成データでROC-AUC平均+0.085、20シード中の最大は+0.184)。GroupKFoldは指定したグループが両側にまたがることを防ぎます。不均衡データでの層化の効きどころも合成データで実測しました。
不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較
LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。
正解率99%でも少数派recallは0—不均衡データで何を見るか
少数派が1%のデータでは、多数派を出すだけのダミー分類器でも正解率は99%に届き、少数派を1件も当てられません。実力差はPR-AUCと少数派recallに現れますが、学習済みモデルでも少数派を全件見逃す回があり、1回の測定では優劣を決められないことも分かりました。3つの不均衡度×20シードで実測しています。
不均衡データにSMOTEやクラス重みを最初から入れるべきか、LightGBMの無処置を基準に測りました。合成データ4水準でも実データ1件でも、4つの対策は無処置の平均PR-AUCを一度も上回れません。少数派1%では無処置0.558に対しSMOTE 0.494で、差は不均衡が強いほど広がりました。