タグ・2本
キャリブレーション
予測確率のキャリブレーションを実測—Platt・Isotonicが効くモデル、効かないモデル
歪んだ予測確率をPlattスケーリングとIsotonic回帰で較正すると、確率のずれ（ECE）はGaussianNBで約0.078から0.017まで下がる一方、順位づけ（ROC-AUC）への影響は最大0.0017で確認できませんでした。効くモデルと効かないモデルの違い、データ量によるPlatt/Isotonicの選び方、小さなECE差を読むときの注意点まで、3モデル×10シードで実測しています。コピペで動くサンプルつき。
LightGBMの分位点回帰で予測区間を作る｜CQR補正の効果を検証
LightGBMの分位点回帰で作った名目90%の予測区間は、真値を含んだ割合が8割強にとどまりました。CQRで補正すると約90%へ戻る一方、区間の平均幅は約18〜20%増えます。合成データ12,000件・5シードで実カバレッジ、平均幅、領域ごとのばらつきまで測り、再現コードとあわせて解説します。