シリーズ・全7本
モデル解釈と特徴量重要度
学習したモデルの中身を知りたいとき、SHAP・LIME・permutation importance・PDPといった手法が定番として挙がります。ただ、手法どうしで答えが食い違ったとき、どちらを信じるべきかはあまり語られません。このシリーズでは、正解が計算で決まる合成データでの採点や、条件を揃えた手法どうしの比較を通して、それぞれの説明がどんな条件で崩れ、どこまでなら読んでよいのかを確かめています。
このシリーズで確かめていること
- SHAPとLIMEは同じ予測に対して同じ説明を返すのか
- 特徴量重要度は、データを生んだ本当の構造をどこまで言い当てているのか
- 相関する特徴量があると、重要度やPDPの読みはどう崩れるのか
- 設定や乱数を変えると、説明はどれだけ動くのか
連載順に読む
第1回SHAPとLIMEはどちらを使う？同じ予測の重要特徴を1,080行で比較
SHAPとLIMEは、同じ予測を説明するときに同じ特徴を重要とみなすのでしょうか。12特徴の合成データとLightGBMを使い、1,080行で比較しました。最重要特徴の一致率は33.3〜46.1%。LIMEが完全に再現した条件でもSHAPとの一致は46.1%にとどまりました。どちらが正しいかは判定せず、手法差とLIME自身の揺れを分けて測っています。
第2回LIMEの結果が実行ごとに変わるときの確認方法｜kernel_widthとnum_samplesを比較
LIMEの結果が実行ごとに変わるとき、kernel_widthとnum_samplesのどちらを見直すべきか。近傍幅5水準とサンプル数2水準を比較し、連続値の離散化を切った10特徴の実験結果と確認手順を紹介します。既定幅の4分の1では、上位3の一致率が平均0.34まで低下しました。
第3回SHAPの特徴量重要度は正しい？—正解つきデータでずれの原因を検証
SHAPの特徴量重要度は本当に当たっているのか、真の答えが分かる合成データで採点しました。重要度に開きがあれば木モデルの並び順は当たる一方、効果がゼロの列にも重要度が配られ、相関が強いと上位へ食い込みます。手元のモデルを乱数列で点検する手順まで載せています。
第4回Permutation Importanceは相関する特徴量でどう変わる？PFIとdrop-columnを比較
相関する特徴量があるとき、データを作った式での寄与を正解に採ると、先に真の第1位を見失ったのはPermutation Importance（PFI）ではなくdrop-columnでした。合成データで相関を0から0.999まで動かし、特徴量重要度の順位と配分がどこから崩れるかを測っています。
第5回PDPとALEは相関する特徴量でどう変わる？LightGBMと線形回帰で比較
相関する特徴量があるとPDPとALEの曲線はどこまでずれるのか。真の効果が分かる合成データで比較したところ、LightGBMでは相関0.99でPDPが正解の約3分の1、ALEも約4分の3まで低下しました。効果の向きと大きさを読む際の判断基準を整理します。
第6回TreeSHAPの2つのモードで重要度は変わる？無関係な特徴への配分を比較
TreeSHAPの2モードを真の寄与がゼロと分かる合成データで比較したところ、全体重要度の差は5回平均どうしで最大0.0034、1回ごとに突き合わせても最大0.0084でした。一方、無関係な3特徴へSHAPは約9%を配分。Permutation Importanceとの違いから、モード選択と特徴量削除の判断基準を整理します。
第7回決定木の代理モデルはどこまで信頼できる？LightGBMとの一致率を検証
LightGBMの判断を浅い決定木で説明するとき、その代理モデルは本体をどこまで再現できるのでしょうか。合成二値分類で本体との一致率（忠実度）を測りました。複雑な条件では、人が読める深さ3で平均60.9%。深さ12・葉415枚まで増やしても66.9%にとどまり、学習データ上の一致だけが伸びました。