記事一覧

同じ人が学習・検証の両方に入ると？交差検証のROC-AUCを実測比較

交差検証で同じ人の行が学習側と検証側にまたがると、スコアは新規グループでの評価より高く出ました（今回の合成データのROC-AUC平均で、KFoldは+0.085、StratifiedKFoldは+0.084）。GroupKFoldならまたがりは全シードで0件です。不均衡データでの層化の効きどころも合成データで実測しました。

sklearnの既定値で精度が下がる場所を6データで実測—最初に疑うのはスケーリング忘れ

scikit-learnを既定のまま使うと精度が下がる箇所を、6つの分類データで比較しました。スケールがバラバラなwineではSVMの正解率が標準化だけで0.672から0.983へ上がる一方、元から同尺度の手書き数字ではわずかに下がります。max_iterとCの調整では改善を確認できませんでした。

Claude Codeのトークン消費は何で変わる？節約術とBash実行を88回比較

Claude Codeのトークン消費を抑えるための/clearや出力指定を同条件で比較しました。個別の削減効果を確認できなかった一方、Bash実行を許可しない条件では推定コストの最大値と最小値が10倍以上開きました。手元の環境で消費のばらつきと生成物の品質を確かめる手順も示します。

LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方

ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。

LightGBMの推論高速化—ONNXが単発も一括も最速、treeliteは使い方で順位が逆転

LightGBMのpredictを1行ずつ呼ぶ処理は、変換なしでnumpyのまま一括で渡すだけで13.7倍になりました。1件ずつではLightGBMより4.7倍速いtreeliteが18,000件の一括では0.45倍に落ち、ONNXは両方で最速。Apple M1上の合成データ1件での実測です。

不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較

LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。

scikit-learnモデルのバージョン互換性—pickle・joblib・skops・ONNXの予測差を実測

scikit-learn 1.5.2で保存した2モデルを1.9.0で読み込むと、pickle・joblib・skopsは予測確率が完全に一致しました。ONNXだけは警告なしで1,000件中2件の判定が反転し、その差はバージョン違いではなく変換と推論の経路で生じていました。

PDPとALEは相関する特徴量でどう変わる？LightGBMと線形回帰で比較

相関する特徴量があるとPDPとALEの曲線はどこまでずれるのか。真の効果が分かる合成データで比較したところ、LightGBMでは相関0.99でPDPが正解の約3分の1、ALEも約4分の3まで低下しました。今回のモデル・条件に限った結果から、効果の向きと大きさを読む際の注意点を整理します。

Permutation Importanceは相関する特徴量でどう変わる？PFIとdrop-columnを比較

相関する特徴量があるとき、データを作った式での寄与を正解に採ると、相関0.8で生成式の第1位と一致しなくなったのはPermutation Importance（PFI）ではなくdrop-columnでした。合成データで相関を0から0.999まで動かし、生成式の寄与と各手法の順位・配分がどこでずれるかを測っています。再学習するdrop-columnと、学習済みモデルを測るPFIは問いが異なります。

SHAPの特徴量重要度は正しい？—正解つきデータでずれの原因を検証

SHAPの特徴量重要度は本当に当たっているのか、真の答えが分かる合成データで採点しました。重要度に開きがあれば木モデルの並び順は当たる一方、効果がゼロの列にも重要度が配られ、相関が強いと上位へ食い込みます。手元のモデルを乱数列で点検する手順まで載せています。