タグ・3本
モデル比較
回帰の評価指標はどう選ぶ？RMSE・MAE・MAPEの違いを比較
RMSE・MAE・MAPEで回帰モデルの1位が入れ替わったら、どれを信じればよいのでしょうか。8モデルを比較すると、RMSEとMAEの1位一致率は、右への偏りだけを強めた条件より、予測できない外れ値を混ぜた条件で大きく下がりました。実測値がゼロ付近ではMAPEも不安定になります。外したときの損失から主指標を決める手順を整理します。
解約予測で、追跡が途中で終わった「打ち切り」のデータを未解約の0として扱ってよいのでしょうか。二値分類、打ち切りの除外、生存分析(Cox)を合成データで比べると、0として扱った場合は追跡切れ68.5%の条件で解約率を相対で約18%低く見積もりました。解約率がずれる理由と、手法を選ぶ際の確認点を説明します。
EBMとLightGBMを比較｜精度・学習時間・交互作用の違い
EBM（Explainable Boosting Machine）とLightGBMを実データ3件で比べると、ROC-AUCの差はどちらの向きも0.012以下でした。代わりに開いたのは学習時間で、全21セルの平均は73.00秒対0.116秒。3つの特徴量が同時に効く合成データではEBMが0.509まで落ちます。