タグ・11本
LightGBM
LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方
ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。
LightGBMの推論高速化—ONNXが単発も一括も最速、treeliteは使い方で順位が逆転
LightGBMのpredictを1行ずつ呼ぶ処理は、変換なしでnumpyのまま一括で渡すだけで13.7倍になりました。1件ずつではLightGBMより4.7倍速いtreeliteが18,000件の一括では0.45倍に落ち、ONNXは両方で最速。Apple M1上の合成データ1件での実測です。
不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較
LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。
PDPとALEは相関する特徴量でどう変わる？LightGBMと線形回帰で比較
相関する特徴量があるとPDPとALEの曲線はどこまでずれるのか。真の効果が分かる合成データで比較したところ、LightGBMでは相関0.99でPDPが正解の約3分の1、ALEも約4分の3まで低下しました。効果の向きと大きさを読む際の判断基準を整理します。
Permutation Importanceは相関する特徴量でどう変わる？PFIとdrop-columnを比較
相関する特徴量があるとき、データを作った式での寄与を正解に採ると、先に真の第1位を見失ったのはPermutation Importance（PFI）ではなくdrop-columnでした。合成データで相関を0から0.999まで動かし、特徴量重要度の順位と配分がどこから崩れるかを測っています。
TreeSHAPの2つのモードで重要度は変わる？無関係な特徴への配分を比較
TreeSHAPの2モードを真の寄与がゼロと分かる合成データで比較したところ、全体重要度の差は5回平均どうしで最大0.0034、1回ごとに突き合わせても最大0.0084でした。一方、無関係な3特徴へSHAPは約9%を配分。Permutation Importanceとの違いから、モード選択と特徴量削除の判断基準を整理します。
KNN・MICEの欠損値補完を実測—効き目は下流モデルで大きく変わる
KNNImputerやMICEのような手の込んだ補完が中央値補完より効くかは、補完のあとに学習するモデルで変わりました。線形モデルでは差が残る一方、LightGBMでは埋めた値の誤差を3割以上減らしても得点はほとんど動きません。MICEが想定どおりの欠損（MAR）でかえって悪化した予想外れも含め、2データセット・欠損機構3種・欠損率3水準・seed10本で実測しました。コピペで動くサンプルつき。
EBMとLightGBMを比較｜精度・学習時間・交互作用の違い
実データ3件では、EBMとLightGBMのROC-AUCの差はどちらの向きも0.012以下でした。代わりに開いたのは学習時間で、全21セルの平均は73.00秒対0.116秒。3つの特徴量が同時に効く合成データではEBMが0.509まで落ちます。
決定木の代理モデルはどこまで信頼できる？LightGBMとの一致率を検証
LightGBMの判断を浅い決定木で説明するとき、その代理モデルは本体をどこまで再現できるのでしょうか。合成二値分類で本体との一致率（忠実度）を測りました。複雑な条件では、人が読める深さ3で平均60.9%。深さ12・葉415枚まで増やしても66.9%にとどまり、学習データ上の一致だけが伸びました。
特徴量の「全部盛り」はGBDTの精度を下げるか—5手法を実測比較
特徴量を全部盛りにしても、GBDT(LightGBM)の held-out 精度は今回は壊れませんでした。数値信号が豊富な合成データではむしろ改善する一方、実データ adult では精度が動かないまま特徴量数と学習時間だけが数倍に増えました。合成2種と実データ2種でablation比較し、手元で試せる実装例つきで記録します。
XGBoost・LightGBM・CatBoost比較—精度と学習時間で選ぶ
既定設定ではCatBoostのROC-AUCが最も高いものの、その差は学習データが数万件まで増えるとほぼ消えました。学習時間はCatBoostが全条件で最も遅く、最速ライブラリの16〜40倍。二値分類3データセット計10条件の実測から、データ規模と学習回数に応じた選び方を整理します。