タグ・1本
欠損値補完
KNN・MICEの欠損値補完を実測—効き目は下流モデルで大きく変わる
KNNImputerやMICEのような手の込んだ補完が中央値補完より効くかは、補完のあとに学習するモデルで変わりました。線形モデルでは差が残る一方、LightGBMでは埋めた値の誤差を3割以上減らしても得点はほとんど動きません。MICEが想定どおりの欠損(MAR)でかえって悪化した予想外れも含め、2データセット・欠損機構3種・欠損率3水準・seed10本で実測しました。コピペで動くサンプルつき。
気になったことを実際に実験して、その結果を共有
タグ・1本
KNN・MICEの欠損値補完を実測—効き目は下流モデルで大きく変わる
KNNImputerやMICEのような手の込んだ補完が中央値補完より効くかは、補完のあとに学習するモデルで変わりました。線形モデルでは差が残る一方、LightGBMでは埋めた値の誤差を3割以上減らしても得点はほとんど動きません。MICEが想定どおりの欠損(MAR)でかえって悪化した予想外れも含め、2データセット・欠損機構3種・欠損率3水準・seed10本で実測しました。コピペで動くサンプルつき。