タグ・5本
評価指標
LightGBMのNo further splitsは無視していい？警告100回と0回を比べた
No further splitsが100回出たモデルは、0回のモデルより誤差が小さくなりました。警告の件数で学習失敗を決められない理由を実測で確認し、手元のモデルの木・予測・誤差を調べる診断関数も紹介します。
LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方
ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。
不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較
LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。
回帰の評価指標はどう選ぶ？RMSE・MAE・MAPEの違いを比較
RMSE・MAE・MAPEで回帰モデルの1位が入れ替わったら、どれを信じればよいのでしょうか。8モデルを比較すると、RMSEとMAEの1位一致率は、右への偏りだけを強めた条件より、予測できない外れ値を混ぜた条件で大きく下がりました。実測値がゼロ付近ではMAPEも不安定になります。外したときの損失から主指標を決める手順を整理します。
正解率99%でも少数派recallは0—不均衡データで何を見るか
不均衡データの評価指標に正解率を使うと、少数派1%ではダミー分類器でも99%に届き、少数派を1件も当てられません。実力差はPR-AUCと少数派recallに現れました。ただし学習済みモデルでも少数派を全件見逃す回があり、1回の測定では優劣を決められません。3つの不均衡度×20シードで実測しています。