タグ・3本
SHAP
SHAPの特徴量重要度は正しい？—正解つきデータでずれの原因を検証
SHAPの特徴量重要度は本当に当たっているのか、真の答えが分かる合成データで採点しました。重要度に開きがあれば木モデルの並び順は当たる一方、効果がゼロの列にも重要度が配られ、相関が強いと上位へ食い込みます。手元のモデルを乱数列で点検する手順まで載せています。
TreeSHAPの2つのモードで重要度は変わる？無関係な特徴への配分を比較
TreeSHAPの2モードを真の寄与がゼロと分かる合成データで比較したところ、全体重要度の差は5回平均どうしで最大0.0034、1回ごとに突き合わせても最大0.0084でした。一方、無関係な3特徴へSHAPは約9%を配分。Permutation Importanceとの違いから、モード選択と特徴量削除の判断基準を整理します。
SHAPとLIMEはどちらを使う？同じ予測の重要特徴を1,080行で比較
SHAPとLIMEは、同じ予測を説明するときに同じ特徴を重要とみなすのでしょうか。12特徴の合成データとLightGBMを使い、1,080行で比較しました。最重要特徴の一致率は33.3〜46.1%。LIMEが完全に再現した条件でもSHAPとの一致は46.1%にとどまりました。どちらが正しいかは判定せず、手法差とLIME自身の揺れを分けて測っています。