タグ・13本
LightGBM
LightGBMでCSV読込後に予測できないとき、カテゴリ型を復元する
CSVを読み直すとLightGBMの予測が止まる。model.txtに残るカテゴリ一覧を使い、NA・001・空文字を復旧しました。戻せる情報と失われた情報の違い、列順の落とし穴、復旧関数の使い方を示します。
LightGBMのNo further splitsは無視していい？警告100回と0回を比べた
No further splitsが100回出たモデルは、0回のモデルより誤差が小さくなりました。警告の件数で学習失敗を決められない理由を実測で確認し、手元のモデルの木・予測・誤差を調べる診断関数も紹介します。
LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方
ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。
LightGBMの推論高速化—ONNXが単発も一括も最速、treeliteは使い方で順位が逆転
LightGBMのpredictを1行ずつ呼ぶ処理は、変換なしでnumpyのまま一括で渡すだけで13.7倍になりました。1件ずつではLightGBMより4.7倍速いtreeliteが18,000件の一括では0.45倍に落ち、ONNXは両方で最速。Apple M1上の合成データ1件での実測です。
不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較
LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。
PDPとALEは相関する特徴量でどう変わる？LightGBMと線形回帰で比較
相関する特徴量があるとPDPとALEの曲線はどこまでずれるのか。真の効果が分かる合成データで比較したところ、LightGBMでは相関0.99でPDPが正解の約3分の1、ALEも約4分の3まで低下しました。今回のモデル・条件に限った結果から、効果の向きと大きさを読む際の注意点を整理します。
Permutation Importanceは相関する特徴量でどう変わる？PFIとdrop-columnを比較
相関する特徴量があるとき、データを作った式での寄与を正解に採ると、相関0.8で生成式の第1位と一致しなくなったのはPermutation Importance（PFI）ではなくdrop-columnでした。合成データで相関を0から0.999まで動かし、生成式の寄与と各手法の順位・配分がどこでずれるかを測っています。再学習するdrop-columnと、学習済みモデルを測るPFIは問いが異なります。
TreeSHAPの2つのモードで重要度は変わる？無関係な特徴への配分を比較
TreeSHAPのfeature_perturbation（interventional／tree_path_dependent）の2モードを、真の寄与がゼロと分かる合成データで比較したところ、全体重要度の差は5回平均どうしで最大0.0034、1回ごとに突き合わせても最大0.0084でした。一方、無関係な3特徴へSHAPは約9%を配分。Permutation Importanceとの違いから、モード選択と特徴量削除の判断基準を整理します。
KNN・MICEの欠損値補完を実測—効き目は下流モデルで大きく変わる
scikit-learnのKNNImputerやIterativeImputer（MICE）のような手の込んだ補完が中央値補完より効くかは、補完のあとに学習するモデルで変わりました。線形モデルでは差が残る一方、LightGBMでは埋めた値の誤差を3割以上減らしても得点はほとんど動きません。MICEが想定どおりの欠損（MAR）でかえって悪化した予想外れも含め、2データセット・欠損機構3種・欠損率3水準・seed10本で実測しました。コピペで動くサンプルつき。
EBMとLightGBMを比較｜精度・学習時間・交互作用の違い
EBM（Explainable Boosting Machine）とLightGBMを実データ3件で比べると、ROC-AUCの差はどちらの向きも0.012以下でした。代わりに開いたのは学習時間で、全21セルの平均は73.00秒対0.116秒。3つの特徴量が同時に効く合成データではEBMが0.509まで落ちます。
決定木の代理モデルはどこまで信頼できる？LightGBMとの一致率を検証
LightGBMの判断を浅い決定木で説明するとき、その代理モデルは本体をどこまで再現できるのでしょうか。合成二値分類で本体との一致率（忠実度）を測りました。複雑な条件では、人が読める深さ3で平均60.9%。深さ12・葉415枚まで増やしても66.9%にとどまり、学習データ上の一致だけが伸びました。
特徴量の「全部盛り」はGBDTの精度を下げるか—5手法を実測比較
特徴量を全部盛りにしても、GBDT(LightGBM)の held-out 精度は今回は壊れませんでした。数値信号が豊富な合成データではむしろ改善する一方、実データ adult では精度が動かないまま特徴量数と学習時間だけが数倍に増えました。合成2種と実データ2種でablation比較し、手元で試せる実装例つきで記録します。
XGBoost・LightGBM・CatBoost比較—精度と学習時間で選ぶ
XGBoost・LightGBM・CatBoostを既定設定で比べると、CatBoostのROC-AUCが最も高いものの、adult全件ではLightGBMと表示4桁で一致し、magic全件では差が残りました。今回のCPU・既定設定ではCatBoostの学習時間は最速ライブラリの16〜40倍。二値分類3データセット計10条件の実測から、データごとの精度差と学習回数に応じた選び方を整理します。