記事一覧

LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方

ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。

LightGBMの推論高速化—ONNXが単発も一括も最速、treeliteは使い方で順位が逆転

LightGBMのpredictを1行ずつ呼ぶ処理は、変換なしでnumpyのまま一括で渡すだけで13.7倍になりました。1件ずつではLightGBMより4.7倍速いtreeliteが18,000件の一括では0.45倍に落ち、ONNXは両方で最速。Apple M1上の合成データ1件での実測です。

不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較

LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。

scikit-learnモデルのバージョン互換性—pickle・joblib・skops・ONNXの予測差を実測

scikit-learn 1.5.2で保存した2モデルを1.9.0で読み込むと、pickle・joblib・skopsは予測確率が完全に一致しました。ONNXだけは警告なしで1,000件中2件の判定が反転し、その差はバージョン違いではなく変換と推論の経路で生じていました。

PDPとALEは相関する特徴量でどう変わる？LightGBMと線形回帰で比較

相関する特徴量があるとPDPとALEの曲線はどこまでずれるのか。真の効果が分かる合成データで比較したところ、LightGBMでは相関0.99でPDPが正解の約3分の1、ALEも約4分の3まで低下しました。効果の向きと大きさを読む際の判断基準を整理します。

Permutation Importanceは相関する特徴量でどう変わる？PFIとdrop-columnを比較

相関する特徴量があるとき、データを作った式での寄与を正解に採ると、先に真の第1位を見失ったのはPermutation Importance（PFI）ではなくdrop-columnでした。合成データで相関を0から0.999まで動かし、特徴量重要度の順位と配分がどこから崩れるかを測っています。

SHAPの特徴量重要度は正しい？—正解つきデータでずれの原因を検証

SHAPの特徴量重要度は本当に当たっているのか、真の答えが分かる合成データで採点しました。重要度に開きがあれば木モデルの並び順は当たる一方、効果がゼロの列にも重要度が配られ、相関が強いと上位へ食い込みます。手元のモデルを乱数列で点検する手順まで載せています。

ターゲットエンコーディングのデータリーク—無関係な列のAUCが0.795まで上がった

目的変数と何の関係もない乱数のカテゴリ列でも、全データでカテゴリ平均を作ると交差検証AUCが0.795まで上がり、独立ホールドアウトでは0.499でした。どんな条件で見かけのスコアが膨らみ、平滑化とout-of-fold実装のどちらで防げるのかを実測しています。

TreeSHAPの2つのモードで重要度は変わる？無関係な特徴への配分を比較

TreeSHAPの2モードを真の寄与がゼロと分かる合成データで比較したところ、全体重要度の差は5回平均どうしで最大0.0034、1回ごとに突き合わせても最大0.0084でした。一方、無関係な3特徴へSHAPは約9%を配分。Permutation Importanceとの違いから、モード選択と特徴量削除の判断基準を整理します。

回帰の評価指標はどう選ぶ？RMSE・MAE・MAPEの違いを比較

回帰モデルの評価でRMSE・MAE・MAPEの順位が違ったとき、どれを信じればよいのでしょうか。外れ値やゼロ付近の値が各指標へ与える影響を比べ、選び方を3段階で整理します。