シリーズ・全4本
回帰の評価指標と目的関数
回帰モデルを作るとき、評価指標・目的関数・予測の形は当たり前のように既定のものが選ばれがちです。ただ、指標を変えると選ばれるモデルは変わるのか、ゼロが多いデータや稀な高値をそのまま二乗誤差で学習してよいのか、点予測でなく区間で答えるべき場面はどこか、といった判断は測ってみないと決められません。このシリーズでは、指標どうしの食い違いから目的関数の使い分け、予測区間の作り方までを、同じ実測の流儀で確かめています。
困っていることから選ぶ
- RMSE・MAE・MAPEのどれで評価するか迷っている外れ値やゼロ付近の値によって順位が変わる例から、評価指標を選びます。回帰の評価指標はどう選ぶ？RMSE・MAE・MAPEの違いを比較 →
- ゼロが多い件数・金額の目的関数を選びたいPoisson・Tweedie・二乗誤差を、行ごとの誤差と予測合計の両方で比較します。LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方 →
- 稀な高い値だけ大きく外してしまう重み付けなどの対策について、高値側と全体の誤差を分けて確かめます。不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較 →
- 予測値に幅を持たせて答えたい分位点回帰の予測区間とCQR補正を、実際に値を含む割合と区間幅で比べます。LightGBMの分位点回帰で予測区間を作る｜CQR補正の効果を検証 →
連載順に読む
第1回回帰の評価指標はどう選ぶ？RMSE・MAE・MAPEの違いを比較
回帰モデルの評価でRMSE・MAE・MAPEの順位が違ったとき、どれを信じればよいのでしょうか。外れ値やゼロ付近の値が各指標へ与える影響を比べ、選び方を3段階で整理します。
第2回LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方
ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。
第3回不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較
LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。
第4回LightGBMの分位点回帰で予測区間を作る｜CQR補正の効果を検証
LightGBMの分位点回帰で作った名目90%の予測区間は、真値を含んだ割合が8割強にとどまりました。CQRで補正すると約90%へ戻る一方、区間の平均幅は約18〜20%増えます。合成データ12,000件・5シードで実カバレッジ、平均幅、領域ごとのばらつきまで測り、再現コードとあわせて解説します。