タグ・4本
評価指標
LightGBMでゼロが多い件数・金額を予測する—Poisson・Tweedieの選び方
ゼロが多い件数・金額データで、LightGBMのPoisson・Tweedie・二乗誤差・log1pを比較しました。1行ごとの誤差と予測合計で結果が逆になった条件から、目的関数を選ぶ基準を整理します。
不均衡回帰で稀な高値を予測する—LightGBMの8条件を比較
LightGBMの回帰で少数の高値だけ大きく外れるとき、重み付け、リサンプリング、分位点回帰、対数変換のどれを試すべきか。高値側のMAEと全体RMSEを合成データと住宅価格データで比較し、改善と悪化の交換を整理します。
回帰の評価指標はどう選ぶ？RMSE・MAE・MAPEの違いを比較
回帰モデルの評価でRMSE・MAE・MAPEの順位が違ったとき、どれを信じればよいのでしょうか。外れ値やゼロ付近の値が各指標へ与える影響を比べ、選び方を3段階で整理します。
正解率99%でも少数派recallは0—不均衡データで何を見るか
少数派が1%のデータでは、多数派を出すだけのダミー分類器でも正解率は99%に届き、少数派を1件も当てられません。実力差はPR-AUCと少数派recallに現れますが、学習済みモデルでも少数派を全件見逃す回があり、1回の測定では優劣を決められないことも分かりました。3つの不均衡度×20シードで実測しています。