4 / 5ページ・全44本
記事一覧
EBMとLightGBMを比較｜精度・学習時間・交互作用の違い
実データ3件では、EBMとLightGBMのROC-AUCの差はどちらの向きも0.012以下でした。代わりに開いたのは学習時間で、全21セルの平均は73.00秒対0.116秒。3つの特徴量が同時に効く合成データではEBMが0.509まで落ちます。
不均衡データにSMOTEやクラス重みを最初から入れるべきか、LightGBMの無処置を基準に測りました。合成データ4水準でも実データ1件でも、4つの対策は無処置の平均PR-AUCを一度も上回れません。少数派1%では無処置0.558に対しSMOTE 0.494で、差は不均衡が強いほど広がりました。
LightGBMの分位点回帰で予測区間を作る｜CQR補正の効果を検証
LightGBMの分位点回帰で作った名目90%の予測区間は、真値を含んだ割合が8割強にとどまりました。CQRで補正すると約90%へ戻る一方、区間の平均幅は約18〜20%増えます。合成データ12,000件・5シードで実カバレッジ、平均幅、領域ごとのばらつきまで測り、再現コードとあわせて解説します。
LIMEの結果が実行ごとに変わるときの確認方法｜kernel_widthとnum_samplesを比較
LIMEの結果が実行ごとに変わるとき、kernel_widthとnum_samplesのどちらを見直すべきか。近傍幅5水準とサンプル数2水準を比較し、連続値の離散化を切った10特徴の実験結果と確認手順を紹介します。既定幅の4分の1では、上位3の一致率が平均0.34まで低下しました。
Claude Codeはデータリークを見抜いた—対策が書いてあるのに効いていないコードでも
コードレビューでデータリークを見つけられるかを実測しました。手元の採点だけが嘘になるリークを6種類仕込み、Claude Code（Sonnet 5）に読ませたところ、対策が書いてあるのに効いていない難しい版で34回中33回、易しい版と合わせて70回中69回で機序まで言い当てています。代わりに、正しいコードを疑う指摘が出ました。手元で試せる検証コードつき。
LLMの自動評価スコアをそのまま平均してよいか—信頼区間の落とし穴とPPI
人手評価できる件数は限られる一方、モデルなら大量に採点できます。そのモデル採点をそのまま平均して信頼区間を付けてよいのかを、真の平均が分かる合成データで4,000回の反復から実測しました。予測平均が0.10偏った条件では、2万件から作った95%信頼区間の幅が±0.013まで狭まる一方で真値を4,000回とも外し、人手評価を増やしても改善しません。少数の人手評価でその偏りを補正するPPIでは、人手評価だけを使う場合より区間を約28%狭くしたまま妥当性を保てました。実際のLLMは使わず、一次式の予測器で検証しています。
SHAPとLIMEはどちらを使う？同じ予測の重要特徴を1,080行で比較
SHAPとLIMEは、同じ予測を説明するときに同じ特徴を重要とみなすのでしょうか。12特徴の合成データとLightGBMを使い、1,080行で比較しました。最重要特徴の一致率は33.3〜46.1%。LIMEが完全に再現した条件でもSHAPとの一致は46.1%にとどまりました。どちらが正しいかは判定せず、手法差とLIME自身の揺れを分けて測っています。
決定木の代理モデルはどこまで信頼できる？LightGBMとの一致率を検証
LightGBMの判断を浅い決定木で説明するとき、その代理モデルは本体をどこまで再現できるのでしょうか。合成二値分類で本体との一致率（忠実度）を測りました。複雑な条件では、人が読める深さ3で平均60.9%。深さ12・葉415枚まで増やしても66.9%にとどまり、学習データ上の一致だけが伸びました。
交差検証の前に前処理するとCVはどれだけ変わるか—特徴選択・SMOTE・標準化を実測
交差検証の前に前処理を全データへ当てると、CVスコアが本来より高く出ることがあります。4種類を測ると、標準化と欠損補完では差を確認できず、列数の多いデータでの特徴選択で平均0.027、分割前のSMOTEは木モデルで0.1を超えました。合成データ10シードの実測とコピペで動くサンプルつき。
Claude Codeのeffortは上げるべきか。120回のコードレビューで比べた
Claude Codeのeffortをlowからmaxへ上げると、出力トークンは16.6倍・所要時間は6.9倍になりました。バグ検出率の測定値は上向いたものの、8タスクでは差を確定できません。仕込んだ30個のうち7個は、どの段階でも一度も指摘されませんでした。