LLM・機械学習の「結局どれを選ぶ？」を、実際に比べて確かめる

LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方

ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。

日本語RAGの埋め込みモデル9種比較—大きいほど検索精度が上がるとは限らない

ruri-v3・multilingual-e5・static-embedding-japaneseなど日本語の埋め込みモデル9種をApple M1で比較しました。検索3指標の測定値はruri-v3-130mが最も高く、310mへ大きくしても上がりませんでした。JSTS・JSQuADによる精度・速度・サイズの実測から、用途別の選び方と注意点を整理します。

XGBoost・LightGBM・CatBoost比較—精度と学習時間で選ぶ

既定設定ではCatBoostのROC-AUCが最も高いものの、その差は学習データが数万件まで増えるとほぼ消えました。学習時間はCatBoostが全条件で最も遅く、最速ライブラリの16〜40倍。二値分類3データセット計10条件の実測から、データ規模と学習回数に応じた選び方を整理します。

分類のしきい値0.5は最適か—不均衡データでF1の改善幅を比較

分類のしきい値を0.5から変えると、見逃しと誤検知はどう変わるのか。少数派5〜50%の合成データでロジスティック回帰とLightGBMを比較しました。F1の改善幅、目的による閾値の違い、テストデータで調整すると成績を過大評価する理由を解説します。

XGBoostとLightGBMの比較はseedで変わるか—評価件数と順位の安定性を検証

モデル比較で出た僅差を、1回の結果だけで判断してよいのでしょうか。Adultデータで分割を120回変え、訓練件数と評価件数を分けて比較しました。評価だけを減らすとLightGBMの勝率は99.2%から66.7%へ低下。AUC差のばらつきと逆転割合を確認する方法を紹介します。

同じ人が学習・検証の両方に入ると？交差検証のROC-AUCを実測比較

同じ対象の行をグループを無視して行単位で分けると、学習に登場しなかった新規グループでの評価スコアより高い値が出ました(今回の合成データでROC-AUC平均+0.085、20シード中の最大は+0.184)。GroupKFoldは指定したグループが両側にまたがることを防ぎます。不均衡データでの層化の効きどころも合成データで実測しました。

sklearnの既定値で精度が下がる場所を6データで実測—最初に疑うのはスケーリング忘れ

scikit-learnを既定のまま使うと精度が下がる箇所を、6つの分類データで比較しました。スケールがバラバラなwineではSVMの正解率が標準化だけで0.672から0.983へ上がる一方、元から同尺度の手書き数字ではわずかに下がります。max_iterとCの調整では改善を確認できませんでした。

Claude Codeのトークン消費は何で変わる？節約術とBash実行を88回比較

Claude Codeのトークン消費を抑えるための/clearや出力指定を同条件で比較しました。個別の削減効果を確認できなかった一方、Bash実行を許可しない条件では推定コストの最大値と最小値が10倍以上開きました。手元の環境で消費のばらつきと生成物の品質を確かめる手順も示します。