記事一覧

決定木の代理モデルはどこまで信頼できる？LightGBMとの一致率を検証

LightGBMの判断を浅い決定木で説明するとき、その代理モデルは本体をどこまで再現できるのでしょうか。合成二値分類で本体との一致率（忠実度）を測りました。複雑な条件では、人が読める深さ3で平均60.9%。深さ12・葉415枚まで増やしても66.9%にとどまり、学習データ上の一致だけが伸びました。

交差検証の前に前処理するとCVはどれだけ変わるか—特徴選択・SMOTE・標準化を実測

交差検証の前に前処理を全データへ当てると、CVスコアが本来より高く出ることがあります。4種類を測ると、標準化と欠損補完では差を確認できず、列数の多いデータでの特徴選択で平均0.027、分割前のSMOTEは木モデルで0.1を超えました。合成データ10シードの実測とコピペで動くサンプルつき。

Claude Codeのeffortは上げるべきか。120回のコードレビューで比べた

Claude Codeのeffortをlowからmaxへ上げると、出力トークンは16.6倍・所要時間は6.9倍になりました。バグ検出率の測定値は上向いたものの、8タスクでは差を確定できません。仕込んだ30個のうち7個は、どの段階でも一度も指摘されませんでした。

CLAUDE.mdは短いほど守られる？ 8条件・計96回で検証

CLAUDE.mdの書き方で、ルールの遵守率はどこまで変わるのでしょうか。同じ7つの規約を7通りに書き分け、書かない条件と合わせてClaude Code（Haiku 4.5）で96回実行しました。遵守率は、書かない条件の7.1%に対し7通りでは77.4〜88.1%でした。書き方どうしの差は最大でも約10ポイントで、196行から779行へ増やしても下がっていません。長さ、置き場所、命令形、反復、許可リストの違いを実測結果から見ていきます。

データリーク5パターンで交差検証はどれだけ甘くなるか—分割前SMOTEは+0.24、前処理の順序ミスは差を確認できず

機械学習のデータリーク5パターンを合成データに作り込み、交差検証のスコアがリークなしの評価用データよりどれだけ高く出るかをLightGBMで実測しました。この強度設定では分割前SMOTEが+0.24、よく警告される標準化・欠損補完の順序ミスでは差を確認できませんでした。上振れの大きさはパターンごとの設定に依存し、危険度の順位ではありません。手元で試せる実装例つきです。

特徴量の「全部盛り」はGBDTの精度を下げるか—5手法を実測比較

特徴量を全部盛りにしても、GBDT(LightGBM)の held-out 精度は今回は壊れませんでした。数値信号が豊富な合成データではむしろ改善する一方、実データ adult では精度が動かないまま特徴量数と学習時間だけが数倍に増えました。合成2種と実データ2種でablation比較し、手元で試せる実装例つきで記録します。

日本語RAGのHyDE・マルチクエリを実測—正解順位はむしろ下がった

日本語RAGにクエリ拡張（HyDE・マルチクエリ）を足し、JSQuAD 500問で比較しました。どちらもdense単体よりnDCG@10・MRR@10が低下し、生成には数秒から数十秒かかりました。悪化した実例と、手元で動くHyDE実装を掲載します。

XGBoost・LightGBM・CatBoost比較—精度と学習時間で選ぶ

XGBoost・LightGBM・CatBoostを既定設定で比べると、CatBoostのROC-AUCが最も高いものの、adult全件ではLightGBMと表示4桁で一致し、magic全件では差が残りました。今回のCPU・既定設定ではCatBoostの学習時間は最速ライブラリの16〜40倍。二値分類3データセット計10条件の実測から、データごとの精度差と学習回数に応じた選び方を整理します。

RAGのハイブリッド検索を実測比較—BM25・dense・RRFの選び方

日本語RAGのハイブリッド検索として、BM25・dense（ベクトル検索）・RRF融合を500問で比較しました。単体同士の検索精度は区別できませんでしたが、RRF融合はdense単体よりnDCG@10・MRR@10を改善しました。個別クエリ、速度、手元で動く実装例まで掲載します。

日本語RAGリランカー5種を実測—取りこぼしの改善は確認できず、正解順位は上がった

日本語RAGのリランカー5種（ruri-v3-reranker-310m・bge-reranker-v2-m3など）を500問で比較しました。Recall@5は改善を確認できませんでしたが、4種でnDCG@10・MRR@10が上昇。精度と追加レイテンシの実測、手元で動く実装例を掲載します。