![第41回IBISML研究会 原聡
“機械学習の説明”の研究の変遷
◼ “機械学習の説明”の
論文数は爆発的に増えた。
◼ 「注目箇所のハイライト」の研究の変遷
6
黎明期
2014 2016 2018 20202015 2017 2019
説明法の研究の
爆発的増加
説明の攻撃・悪用
Sanity Check
[Adebayo+,2018]
GuidedBP
[Springenberg+,2014]
DeepLIFT
[Shrikumar+,2017]
Grad-CAM
[Selvaraju+,2017]
ROAR
[Hooker+,2019]
MoRF/Deletion Metric
[Bach+,2015; Vitali+,2018]
LeRF/Insertion Metric
[Arras+,2017; Vitali+,2018]
Sensitivity
[Kindermans+,2017]
説明法の評価
Saliency
[Simonyan+,2014]
IntGrad
[Sundararajan+,2017]
SHAP
[Lundberg+,2017]
LIME
[Ribeiro+,2016]
LRP
[Bach+,2015]
Fairwashing
[Aivodji+,2019]
SmoothGrad
[Smilkov+,2017]
DeepTaylor
[Montavon+,2017]
Occlusion
[Zeiler+,2014]
CAM
[Zhou+,2016]
Manipulation
[Domobrowski+,2019]
Peeking inside the black-box:
A survey on Explainable
Artificial Intelligence (XAI)
説明の信頼性](https://image.slidesharecdn.com/ibisml201022-201021011750/85/-6-320.jpg)
![第41回IBISML研究会 原聡
“機械学習の説明”の研究の変遷
◼ “機械学習の説明”の
論文数は爆発的に増えた。
◼ 「注目箇所のハイライト」の研究の変遷
7
黎明期
2014 2016 2018 20202015 2017 2019
説明法の研究の
爆発的増加
説明の攻撃・悪用
Sanity Check
[Adebayo+,2018]
GuidedBP
[Springenberg+,2014]
DeepLIFT
[Shrikumar+,2017]
Grad-CAM
[Selvaraju+,2017]
ROAR
[Hooker+,2019]
MoRF/Deletion Metric
[Bach+,2015; Vitali+,2018]
LeRF/Insertion Metric
[Arras+,2017; Vitali+,2018]
Sensitivity
[Kindermans+,2017]
説明法の評価
Saliency
[Simonyan+,2014]
IntGrad
[Sundararajan+,2017]
SHAP
[Lundberg+,2017]
LIME
[Ribeiro+,2016]
LRP
[Bach+,2015]
Fairwashing
[Aivodji+,2019]
SmoothGrad
[Smilkov+,2017]
DeepTaylor
[Montavon+,2017]
Occlusion
[Zeiler+,2014]
CAM
[Zhou+,2016]
Manipulation
[Domobrowski+,2019]
説明の信頼性
説明の信頼性に関わる研究が増えてきている。
説明法は“妥当な説明”を返してくれるのか？
説明を悪用されると何が起きるのか？
Peeking inside the black-box:
A survey on Explainable
Artificial Intelligence (XAI)](https://image.slidesharecdn.com/ibisml201022-201021011750/85/-7-320.jpg)
![第41回IBISML研究会 原聡
説明の妥当性の評価軸：FaithfulnessとPlausibility
◼ Faithfulness（忠実性）[Lakkaraju+’19; Jacovi+’20]
• モデルの判断プロセスを忠実に反映した説明になっているか？
- ユーザが知りたいのは「モデルがなぜそのような判断を下したか」
• 判断プロセスを反映してない説明はアウト。
- e.g. モデルとは独立な何かを説明として返す説明法は駄目。
◼ Plausibility（尤もらしさ）[Lage+’19; Strout+’19]
• ユーザが見て意味のある説明になっているか？
• ユーザが見て「何だこれ？」となる説明はアウト。
- e.g. とてもnoisyな「注目箇所のハイライト」は好ましくない。
◼ 評価方法の研究
• Sanity Checks for Saliency Maps, NeurIPS’18.
• Evaluation Criteria for Instance-based Explanation, arXiv’20.
9
技術的な信頼性
「注目箇所のハイライト」のFaithfulnessの評価
「類似データの提示」のPlausibilityの評価](https://image.slidesharecdn.com/ibisml201022-201021011750/85/-9-320.jpg)
![第41回IBISML研究会 原聡
Faithfulnessの必要条件の評価
Model Parameter Randomization Test
◼ 異なる判断プロセスを持つモデルの説明を比較する。
• Faithfulな説明 → 異なる説明が得られる。
• Faithfulでない説明 → 異なる説明が得られるとは限らない。
◼ 方法
• 2つのモデルを用意する。
- モデル1：学習したモデル
- モデル2：学習してないランダムなモデル
- [仮定] モデル1とモデル2は異なる判断プロセスを持つ。
• 複数のテストデータについて、モデル1とモデル2の説明を比較する。
- 「モデル1の説明」と「モデル2の説明」の類似度を測る。
- 多くのテストデータで類似度が低い
→ Faithfulな説明の必要条件を満たす。
- 多くのテストデータで類似度が高い
→ Faithfulな説明の必要条件を満たさない。
12
技術的な信頼性](https://image.slidesharecdn.com/ibisml201022-201021011750/85/-12-320.jpg)
![第41回IBISML研究会 原聡
モデルの公平性を説明する方法：スコア化
◼ モデルの判断の公平性の度合いを定量化
• 公平性の指標や、その計算ツール多数。
- FairML, AI Fairness 360 [Bellamy+’19], Aequitas [Saleiro+’18]
22
AI Fairness 360
社会的な信頼性](https://image.slidesharecdn.com/ibisml201022-201021011750/85/-22-320.jpg)
“機械学習の説明”の信頼性
- 1. 第41回IBISML研究会 原聡 “機械学習の説明”の 信頼性 原 聡 大阪大学 産業科学研究所 1 第41回IBISML研究会, 2020/10/22
- 2. 第41回IBISML研究会 原聡 “機械学習の説明” とは ◼ 多くの機械学習モデル𝑓は複雑な計算の塊で、出力の理由 を人間が直感的に理解することができない。 ◼ 説明： 𝑓から+αの（人間が理解できる）情報を取り出す。 2 前置き あなた ◯◯病 なんで？ XXの値が 高い XXの値 が高い なる ほど あなた ◯◯病 なんで？ ？？ よくわか らない …
- 3. 第41回IBISML研究会 原聡 “説明”の代表的手法 【注目箇所のハイライト】 ◼ 「モデルが画像のどこに注目したか」を推定して、 説明としてハイライトする方法 3 シマウマの輪郭に注目 して判断してるのか 前置き
- 4. 第41回IBISML研究会 原聡 “説明”の代表的手法 【類似データの提示】 ◼ 「テストデータの予測と類似した訓練データ」を推定して、 説明として提示する方法。 4 たしかにテストデータ もタゲリっぽい タゲリ 訓練データ 予測と類似した訓練データの提示 入力 予測 タゲリ 前置き
- 5. 第41回IBISML研究会 原聡 【参考】 “機械学習の説明”の資料 5 日本語まとめ資料 • 機械学習における解釈性（私のブックマーク）, 人工知能, Vol.33, No.3, 2018. • 説明可能AI（私のブックマーク）, 人工知能, Vol.34, No.4, 2019. 前置き
- 6. 第41回IBISML研究会 原聡 “機械学習の説明”の研究の変遷 ◼ “機械学習の説明”の 論文数は爆発的に増えた。 ◼ 「注目箇所のハイライト」の研究の変遷 6 黎明期 2014 2016 2018 20202015 2017 2019 説明法の研究の 爆発的増加 説明の攻撃・悪用 Sanity Check [Adebayo+,2018] GuidedBP [Springenberg+,2014] DeepLIFT [Shrikumar+,2017] Grad-CAM [Selvaraju+,2017] ROAR [Hooker+,2019] MoRF/Deletion Metric [Bach+,2015; Vitali+,2018] LeRF/Insertion Metric [Arras+,2017; Vitali+,2018] Sensitivity [Kindermans+,2017] 説明法の評価 Saliency [Simonyan+,2014] IntGrad [Sundararajan+,2017] SHAP [Lundberg+,2017] LIME [Ribeiro+,2016] LRP [Bach+,2015] Fairwashing [Aivodji+,2019] SmoothGrad [Smilkov+,2017] DeepTaylor [Montavon+,2017] Occlusion [Zeiler+,2014] CAM [Zhou+,2016] Manipulation [Domobrowski+,2019] Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI) 説明の信頼性
- 7. 第41回IBISML研究会 原聡 “機械学習の説明”の研究の変遷 ◼ “機械学習の説明”の 論文数は爆発的に増えた。 ◼ 「注目箇所のハイライト」の研究の変遷 7 黎明期 2014 2016 2018 20202015 2017 2019 説明法の研究の 爆発的増加 説明の攻撃・悪用 Sanity Check [Adebayo+,2018] GuidedBP [Springenberg+,2014] DeepLIFT [Shrikumar+,2017] Grad-CAM [Selvaraju+,2017] ROAR [Hooker+,2019] MoRF/Deletion Metric [Bach+,2015; Vitali+,2018] LeRF/Insertion Metric [Arras+,2017; Vitali+,2018] Sensitivity [Kindermans+,2017] 説明法の評価 Saliency [Simonyan+,2014] IntGrad [Sundararajan+,2017] SHAP [Lundberg+,2017] LIME [Ribeiro+,2016] LRP [Bach+,2015] Fairwashing [Aivodji+,2019] SmoothGrad [Smilkov+,2017] DeepTaylor [Montavon+,2017] Occlusion [Zeiler+,2014] CAM [Zhou+,2016] Manipulation [Domobrowski+,2019] 説明の信頼性 説明の信頼性に関わる研究が増えてきている。 説明法は“妥当な説明”を返してくれるのか？ 説明を悪用されると何が起きるのか？ Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI)
- 8. 第41回IBISML研究会 原聡 「技術的な信頼性」と「社会的な信頼性」 技術的な信頼性 「説明として妥当か？」 【気になること】 • 説明法は“妥当な説明”を返してくれるのか？ 【研究項目例】 • 説明の妥当性をどのように評価するか？ 社会的な信頼性 「社会に導入しても問題ないか？」 【気になること】 • 社会に導入した場合に何が起こるか？ 【研究項目例】 • 説明法が悪用される可能性は？ 8 技術的な信頼性
- 9. 第41回IBISML研究会 原聡 説明の妥当性の評価軸：FaithfulnessとPlausibility ◼ Faithfulness（忠実性）[Lakkaraju+’19; Jacovi+’20] • モデルの判断プロセスを忠実に反映した説明になっているか？ - ユーザが知りたいのは「モデルがなぜそのような判断を下したか」 • 判断プロセスを反映してない説明はアウト。 - e.g. モデルとは独立な何かを説明として返す説明法は駄目。 ◼ Plausibility（尤もらしさ）[Lage+’19; Strout+’19] • ユーザが見て意味のある説明になっているか？ • ユーザが見て「何だこれ？」となる説明はアウト。 - e.g. とてもnoisyな「注目箇所のハイライト」は好ましくない。 ◼ 評価方法の研究 • Sanity Checks for Saliency Maps, NeurIPS’18. • Evaluation Criteria for Instance-based Explanation, arXiv’20. 9 技術的な信頼性 「注目箇所のハイライト」のFaithfulnessの評価 「類似データの提示」のPlausibilityの評価
- 10. 第41回IBISML研究会 原聡 「注目箇所のハイライト」の妥当性の評価 ◼ Plausibilityについてはどの手法も最低限は大丈夫そう。 • どのハイライトもシマウマ周辺に注目している。 • Gradient, IntegratedGradはちょっとnosiy。 ◼ Faithfulnessはどうか？ → Sanity Checks for Saliency Maps, NeurIPS’18. 10 シマウマの輪郭に注目 して判断してるのか 技術的な信頼性
- 11. 第41回IBISML研究会 原聡 問題：Faithfulnessは直接評価できない ◼ Faithfulness（忠実性） • モデルの判断プロセス を忠実に反映した説明になっているか？ ◼ 代替案 「必要条件を評価する」 • 必要条件を満たさない説明はアウト。 ◼ Q. Faithfulな説明が満たすべき必要条件は何か？ • モデルに依存した情報を説明として返すこと。 - モデルとは関係のない情報を説明として返すのは駄目。 11 未知 → Ground Truthと説明（ハイライト）を比較して定量評価はできない。 注：必要条件を満たしても Faithfulだと断言はできない。 技術的な信頼性
- 12. 第41回IBISML研究会 原聡 Faithfulnessの必要条件の評価 Model Parameter Randomization Test ◼ 異なる判断プロセスを持つモデルの説明を比較する。 • Faithfulな説明 → 異なる説明が得られる。 • Faithfulでない説明 → 異なる説明が得られるとは限らない。 ◼ 方法 • 2つのモデルを用意する。 - モデル1：学習したモデル - モデル2：学習してないランダムなモデル - [仮定] モデル1とモデル2は異なる判断プロセスを持つ。 • 複数のテストデータについて、モデル1とモデル2の説明を比較する。 - 「モデル1の説明」と「モデル2の説明」の類似度を測る。 - 多くのテストデータで類似度が低い → Faithfulな説明の必要条件を満たす。 - 多くのテストデータで類似度が高い → Faithfulな説明の必要条件を満たさない。 12 技術的な信頼性
- 13. 第41回IBISML研究会 原聡 「注目箇所のハイライト」における Model Parameter Randomization Testの例 ◼ モデル2：出力側から一個ずつ重みをランダム化したNN • Guided Backprop、Guided GradCAMは、モデル1とモデル2とで 説明（ハイライト）にほぼ変化がない。 → これらはFaithfulな説明の必要条件を満たさない悪い手法。 13Sanity Checks for Saliency Maps より引用 モデル1 モデル2 技術的な信頼性
- 14. 第41回IBISML研究会 原聡 「類似データの提示」の妥当性の評価 ◼ Faithfulnessの必要条件はModel Randomization Testで 評価できる。 ◼ Plausibilityはどうか？ → Evaluation Criteria for Instance-based Explanation, arXiv’20. 14 たしかにテストデータ もタゲリっぽい タゲリ 訓練データ 入力 予測 タゲリ 技術的な信頼性
- 15. 第41回IBISML研究会 原聡 「類似データの提示」におけるPlausibility ◼ 例 • 手法Bはユーザが見て「何だこれ？」となりそうな説明。 - 手法AのPlausibility > 手法BのPlausibility 15 訓練データ frog 手法 A 訓練データ truck 手法 B frog 入力 予測 技術的な信頼性
- 16. 第41回IBISML研究会 原聡 問題：全人類がPlausibleだと思う説明は存在しない ◼ ユーザによって「何だこれ？」となる基準は異なる。 • 全人類一致でPlausibleだと思う説明は存在しない。 ◼ 代替案 「必要条件を評価する」 • 必要条件を満たさない説明はアウト。 ◼ Q. Plausibleな「類似データの提示」が満たすべき 必要条件は何か？ • 予測と同じクラスの訓練データを返すこと。 16 は猫。なぜなら類似した は猫だから。 は猫。なぜなら類似した は犬だから。 Plausibleな説明 Not Plausibleな説明 技術的な信頼性
- 17. 第41回IBISML研究会 原聡 「類似データの提示」におけるIdentical Class Testの例 17 入力 内積 最終層 全ての層 入力 Cos 最終層 全ての層 入力 L2距離 最終層 全ての層 影響関数 相対影響関数 フィッシャーカーネル 内積 Cos パラメータ微分の テストデータ中で同じクラスが提示された割合 0 0.5 1.0 0 0.5 1.0 （画像分類） CIFAR10 + CNN （テキスト分類） AGNews + Bi-LSTM パラメータ微分のCos類似度が 100%近い割合で同じクラスの データを提示できた。 技術的な信頼性
- 18. 第41回IBISML研究会 原聡 「技術的な信頼性」と「社会的な信頼性」 技術的な信頼性 「説明として妥当か？」 【気になること】 • 説明法は“妥当な説明”を返してくれるのか？ 【研究項目例】 • 説明の妥当性をどのように評価するか？ 社会的な信頼性 「社会に導入しても問題ないか？」 【気になること】 • 社会に導入した場合に何が起こるか？ 【研究項目例】 • 説明法が悪用される可能性は？ 18 社会的な信頼性
- 19. 第41回IBISML研究会 原聡 社会的な信頼「社会に導入しても問題ないか？」 ◼ Q. 説明が悪用される可能性は？ A. ある。説明法を使って嘘をつく人・組織があらわれるかも。 ◼ Q. なぜ嘘をつくのか？ A. 嘘をつくと得することがあるから。 ◼ Q. どんなときに嘘をつくと得するのか？ A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデルを過剰によく見せて売り込みたい、など。 19 社会的な信頼性
- 20. 第41回IBISML研究会 原聡 嘘をついて得する代表例：公平性 ◼ 性別や人種で差別する不公平なモデルは悪いモデル。 • 男性と女性とで基準が異なる学力評価モデル。 • 黒人と白人とで基準が異なるローン審査モデル。 ◼ 大前提：著しく不公平なモデルは使われるべきではない。 ◼ でも、もしも不公平なモデルを使ってるとバレなかったら？ • 特定の性別の学生が高い評価を得やすくなる。 - 特定の性別の学生の士気が上がる（かもしれない）。 - 被差別側の性別の学生が少数派の場合、不満を黙殺しやすい。 • 特定の人種の人がローンを組みやすくなる。 - 人種間で収入格差がある場合、高収入の人種を優遇した方が 金融機関としてはリスクが下がる。 20 社会的な信頼性
- 21. 第41回IBISML研究会 原聡 モデルの公平性に対する嘘の説明 ◼ Fairwashing: the risk of rationalization, ICML’19. ◼ Faking Fairness via Stealthily Biased Sampling, AAAI’20. • 今回はこちらの話 21 社会的な信頼性
- 22. 第41回IBISML研究会 原聡 モデルの公平性を説明する方法：スコア化 ◼ モデルの判断の公平性の度合いを定量化 • 公平性の指標や、その計算ツール多数。 - FairML, AI Fairness 360 [Bellamy+’19], Aequitas [Saleiro+’18] 22 AI Fairness 360 社会的な信頼性
- 26. 第41回IBISML研究会 原聡 嘘のベンチマークデータ ◼ 元のデータセット𝐷からサンプリングしたベンチマークデータ𝑆を ユーザに提供する。 ◼ “理想的な”嘘のベンチマークデータ𝑆 • 公平性： 𝑆で計算した公平性スコアは十分に公平。 • ステルス性： 𝑆の分布は𝐷の分布に近い。 26 元のデータセット ベンチマークデータ 公平性 ステルス性 “公平”な分割表 社会的な信頼性
- 27. 第41回IBISML研究会 原聡 参照用 データ 適合度検定 嘘のベンチマークデータ ◼ 𝑆の作り方：最適化問題（最小費用流） min 𝑆 𝑊 𝑆, 𝐷 , s. t. 𝐶 𝑆 = 𝐶 𝑇 ◼ 𝑆の性質 • 統計的検定によりベンチマークデータ𝑆が嘘か見抜きたい。 → 分布間距離が小さいと見抜ける確率は小さい。 KS検定で𝑝 𝑆 ≠ 𝑝(𝐷′)が言える確率は 𝑂 𝑆 𝛼 × 27 ステルス性 （分布間距離の最小化） 公平性 （分割表上の制約） 分布間距離 社会的な信頼性
- 28. 第41回IBISML研究会 原聡 【実証実験】 嘘のベンチマークデータは見抜けない 28 分割表における正例の割合 分割表における正例の割合 公平性スコア（DP） 分布間距離 COMPAS （再犯予測が白人・黒人で差別的） 分割表における正例の割合 分割表における正例の割合 公平性スコア（DP） 分布間距離 Adult （年収予測が男女で差別的） ランダムサンプリング 嘘サンプリング（既存法） 嘘サンプリング（提案法） ランダムサンプリング 嘘サンプリング（既存法） 嘘サンプリング（提案法） 嘘サンプリングはランダムサンプリ ングよりも公平性スコアが小さい （= 公平なフリができている） 正例の割合を適切に調整すれば、嘘サン プリングはランダムサンプリングと同程度に 分布間距離が小さい（= 嘘がバレない） 社会的な信頼性
- 29. 第41回IBISML研究会 原聡 まとめ ◼ “機械学習の説明”の信頼性に注目が集まっている。 • 技術的な信頼性 「説明として妥当か？」 • 社会的な信頼性 「社会に導入して問題ないか？」 ◼ 技術的な信頼性 • 説明法の妥当性の評価をどのように行うか？ • どの説明法がどのような評価軸に対して良いか？ ◼ 社会的な信頼性 • どのような場合に悪用される恐れがあるか？ • 悪用を見抜くことはできるのか？ 29 まとめ