タグ・3本
特徴量エンジニアリング
sklearnの既定値で精度が下がる場所を6データで実測—最初に疑うのはスケーリング忘れ
scikit-learnを既定のまま使うと精度が下がる箇所を、6つの分類データで比較しました。スケールがバラバラなwineではSVMの正解率が標準化だけで0.672から0.983へ上がる一方、元から同尺度の手書き数字ではわずかに下がります。max_iterとCの調整では改善を確認できませんでした。
ターゲットエンコーディングのデータリーク—無関係な列のAUCが0.795まで上がった
目的変数と何の関係もない乱数のカテゴリ列でも、全データでカテゴリ平均を作ると交差検証AUCが0.795まで上がり、独立ホールドアウトでは0.499でした。どんな条件で見かけのスコアが膨らみ、平滑化とout-of-fold実装のどちらで防げるのかを実測しています。
特徴量の「全部盛り」はGBDTの精度を下げるか—5手法を実測比較
特徴量を全部盛りにしても、GBDT(LightGBM)の held-out 精度は今回は壊れませんでした。数値信号が豊富な合成データではむしろ改善する一方、実データ adult では精度が動かないまま特徴量数と学習時間だけが数倍に増えました。合成2種と実データ2種でablation比較し、手元で試せる実装例つきで記録します。