Azure Machine Learning ハンズオン モデル解釈

Azure Machine Learning ハンズオンシリーズ モデル解釈 2021-07-16
https://dllab.connpass.com/event/218541/

Transcript

1. Azure Machine Learning ハンズオンシリーズ モデル解釈 編 2021年7月16日(金) 16:00 - 17:30
2. Slack ワークスペース
4. https://github.com/konabuta/responsible-ai
5. https://ml.azure.com/ https://github.com/konabuta/responsible-ai Azure Machine Learning ハンズオン モデル解釈 - 資料一覧 - connpass
9. Azure Machine Learning
10. Azure M achine Learning service 実験的なモデル開発 ⾃動機械学習 デザイナー Pytyon / R モデル検証 パッケー ジ化と Azure Container Instnaces での検証 モデル学習 コンピュー ティング クラスター モニタリング モデルのモニタリング デプロイ スケー ラブルな kubernetes サ ー ビス へ のデプロイ CI/CD & モデル再学習 GitHub & Azure DevOps 統合・連携
11. Responsible Industry leading MLOps Open & Interoperable For all skill levels あらゆるスキルレベルに対応し、 ML の生産性を向上 機械学習ライフサイクル の運用管理 責任のある ML ソリューションの構築 オープンテクノロジーの採用 と相互運用性の実現
12. なぜ審査が却下された のだろうか？ 審査対象の人の属性 機械学習モデル 予測値 OK NG 学習 推論 学習データ 精度は高そうだけど、 信頼していいのだろうか？ 男性 or 女性を 優遇していない？
13. モデルを改善する方法 を知りたい ステークホルダーに 今後展開するモデルの説明をしたい その予測値の根拠を 知りたい データサイエンティスト 利用者・顧客 事業・製品担当者 → 機械学習モデルの説明・解釈が必要
14. Global Local
15. 解釈可能なモデル BlackBox モデルの説明 ▪ 正確 ▪ 高速 ▪ 高精度 ▪ 柔軟
17. 目指すところ
18. 解釈可能なモデル 解釈性を維持したまま、 精度を向上
19. BlackBox モデルの説明 精度はそのままで、 モデルを説明できるようにする
20. 大域的 局所的
21. https://interpret.ml/
22. https://interpret.ml/ 機械学習モデル解釈・説明のための 包括的なフレームワーク 決定木 ルールリスト 線形回帰・ロジスティック回帰 EBM … SHAP LIME Partial Dependence Sensitivity Analysis ...
23. 解釈可能性が高い構造を持つ 機械学習アルゴリズム Fever? Internal Bleeding? Stay Home Stay Home Go to Hospita l 決定木 ルールリスト 線形回帰・ロジスティック回帰 Explainable Boosting Machines (EBM) …. Glass-box models
24. ブラックボックスな 機械学習モデルの説明 Model Explanation Perturb Inputs Analyze SHAP LIME Partial Dependence Sensitivity Analysis ... Black-box explanations
26. 決定木 線形回帰 𝑦 = 𝑎𝑥1 + b𝑥2 + c𝑥3 + d𝑥4 + e
27. 𝑦 = 𝑎𝑥1 + b𝑥2 + c𝑥3 + d𝑥4 + e 係数の大きさ 車幅 馬力 燃費 0 1 ブランド
28. 線形回帰は直線的な関係を表現 𝑥1 𝑥1 EBM は曲線的な関係も表現できる
33. 予測値 説明変数
34. シャープレイ値に基づく BlackBox モデルの説明
35. 各特徴量がどのくらい寄与 家の価格の 予測 $300,000 家の価格の 平均 $310,000 差額 - $10,000
36. 近くに公園がある +$10000 猫の飼育禁止 -$20000 安全な地域 +$10000 ペンキ禁止 -$10000 各特徴量がどのくらい寄与
39. 集計されたモデル精度指標では捉えられないモデル誤差の特徴を分析 ① Identification ② Diagnostics 誤差が大きいコホートを特定する 木構造で各条件下におけるエラー率・カバレッジを表示 対象のコホートを比較し深掘り分析する データ探索 グローバル解釈 ローカル解釈 what-if 分析
40. アプローチ : 後方互換性 モデルの再学習による互換性の考慮 microsoft/BackwardCompatibilityML: 後方互換性を考慮したモデル学習
41. アプローチ : 反実仮想サンプル 反実仮想サンプルによる機械学習モデルの解釈 住宅ローンモデルがローンを却下した場合、 どういった入力データであれば、ローン審査を 通過することができたのかを教えてくれる。 DiCE 反実仮想によるモデル解釈 interpretml/DiCE
42. アプローチ : 機械学習モデルの不公平性 Allocation harms 割り当ての害 ローンの申し込み審査において、 他のグループよりも白人男性を優先するかもしれません。 文字起こしシステムは、女性よりも 男性の方が精度が高いかもしれません。 Quality-of-service harms サービス品質の害
43. https://github.com/fairlearn/fairlearn 公平性の評価 : 公平性を評価する一般的なメトリック とダッシュボードを利用した Sensitive Feature の評価 モデルのフォーマット : scikit-learn, TensorFlow, PyTorch, Keras などに対応 メトリック: 15以上の一般的なグループを対象にした公 平性メトリック モデルの種類: クラス分類、回帰 不公平性の軽減 : 最先端のアルゴリズムによって 分類・回帰モデルの不公平性を軽減 Fairlearn
44. アプローチ : 差分プライバシー プライバシーの規制により 患者データを直接みれない SmartNoise を用いて、データに “統計的ノイズ” を入れて個人情報の特定を防ぐ model SmartNoise 機械学習における差分プライバシー (プレビュー) - Azure Machine Learning | Microsoft Docs ノイズ
45. 機械学習プロジェクトを進めるためのガイドブック Machine Learning Best Practices (azure.github.io)
46. microsoft/machine-learning-collection: machine learning tech collections at Microsoft and subsidiaries.
47. konabuta/responsible-ai (github.com) Machine Learning Best Practices (azure.github.io) microsoft/machine-learning-collection (github.com) InterpretML : Understand Models. Build Responsibly. interpretML (GitHub) 機械学習モデル解釈ナイト (エンジニア向け) BlackBox モデルの説明性・解釈性技術の実装 一般化線形モデル (GLM) & 一般化加法モデル(GAM) Deep Learning Ditial Conference [Track4-1] BERT の解剖学 : interpret-text による自然言語処理 (NLP) のモデル解釈 Microsoft AI Business School Microsoft 責任のある AI
48. https://forms.office.com/r/yPvnj9iwLu