XAI勉強会 第一回

AcademiX が開催した 第1回 XAI勉強会　資料
トピック：モデルの説明可能性と解釈可能性　AIの倫理、偏見、信頼性
日時：2023/08/06
参考図書：実践XAI［説明可能なAI］ 機械学習の予測を説明するためのPythonコーディング

1. XAI勉強会 第1回 2023/08/06
2. はじめに • XAI勉強会：毎週日曜18時～1時間程度 • 全9回予定10回（変更の可能性あり） • 詳細はslackをご確認ください • 発表者決めを最後に行います • 発表していただく方には，Speaker deckに資料を共有していた だけると嬉しいです（資料を対外的に公開して世の皆様の役に 立てるように） • 資料をslackに共有する際，公開の可否をお知らせください(お名前を 伏せるかどうかも) • 著作権の観点から，図表は引用元記載をお願いします
3. 使用書籍 • 実践XAI［説明可能なAI］ 機械学習の予測を説明するための Pythonコーディング スライドに引用元記載のない図は全てこの本から 引用
4. 今回の内容 書籍の第1章，第2章に相当 第1章：モデルの説明可能性と解釈可能性 第2章：AIの倫理，偏見，信頼性
5. XAIとは • XAI:Explainable AI（説明可能なAI） • 機械学習技術の発展で，AIシステムの活用が進む • しかし，これらのモデルはユーザに対し，決定理由や行動を説明できない（ブラック ボックス） • そこでXAIでは，AIに説明可能性を持たせることにより，エンドユーザへの信頼性を持た せる（これにより導入が進みやすくなると期待） https://www.darpa.mil/program/explainable-artificial-intelligence （2023/08/04閲覧） 米国DARPA（国防高等研究計画局）の プロジェクトが発端らしい
6. なぜ説明可能性が必要？ • 例1： • クレジットカード申請者をAIが判断→申請を却下 • 却下理由を知りたいのに，教えてくれないと納得できない • どうすれば審査に通りやすくなるかも教えてほしい • 例2： • 医療におけるAIの活用 • 糖尿病診断AI：患者の問診データ，検査データなどから診断 • 画像診断AI：胸部X線，CT，MRI，超音波，PET/CT，血管造影，・・・ • 診断された患者はその根拠が知りたい • 医師も，根拠を知らないと治療がうまくできない • 根拠を示さないと最悪の場合医療不信につながるおそれも
7. どんな場面で活用が必要？ • 製造業・外観検査 • インフラ保守 • 化学・化粧品 • 自動車・制御 • 医療 • 航空・宇宙 • 教育 AI・ディープラーニング 7つの業種の先駆者から学ぶ10の成功 事例 - MATLAB & Simulink (mathworks.com)
8. 1.1 フレームワークの確立 • 機械学習，AIは実社会・ビジネスへの活用が進む • AIを利用するためのフレームワークも整備されてきている • →AIの中身を詳しく知らなくても使えるので便利 • 反面，中身がわからない，説明可能でないと，AIの出力結果に 踊らされてしまう
9. 1.2 AI • AI：人間の代わりに意思決定を自動的に行う • AI＞機械学習＞deep learning＞エキスパートシステム（？） • (classical) ML:構造化データ • DLは画像，音声，テキスト，動画など • エキスパートシステム：ルールベース（第2次AIブーム） • XAI（explainable AI，説明可能なAI）とは • AIモデルで意思決定を行う際に，その根拠を説明すること
10. 1.2.1 XAIの必要性 • 古典的な訓練システム：モデルを手動で調整 • データは変動するので，訓練するのは難しい • 方程式は単純で解釈しやすい • AIモデル • 特定の関数を決めず，イテレーションを通じて（データから）学習， クロスバリデーションを用いる • アルゴリズムが複雑で結果の説明が簡単でない • →解釈可能性と説明可能性が課題 • 正解率だけでなく，安定性や信頼性も重要 • ブラックボックスモデルを解釈可能にすることで導入と適応の可能性 を広げる
11. トレードオフ • モデルの性能と説明可能性にはトレードオフが存在 • 簡単なモデルほど透明で，複雑なモデルほどブラックボックス
12. 1.2.2 説明可能性と解釈可能性 • XAIは説明可能性と解釈可能性を目指すが，両者は若干違う • 解釈：予測の意味，説明：予測理由とモデルを信頼すべき理由 • 販売予測の例：各因子を用いて（線形）回帰モデル分析 • 解釈：回帰モデルの係数は，因子を変化させたときの売上増加割合 • 説明：今月の売上に対しなぜ来月の売上がこのように予測されるか • とはいえ，両者の明確な区別は難しい？（私見） • XAIは5つの目標を達成する必要がある • 信用（trust）：正解率・偽陽性は？ • 関連性（associations）：真の相関 • 信頼性（reliability）：安定性，堅牢性（robustness）も重要 • 公平性（fairness）：倫理的，差別を防止する • アイデンティティ（identity）：プライバシーの保護
13. 1.2.3 説明（解釈）可能性の種類 • 本質的な説明：線形回帰，決定木ベースモデル • 事後説明：非線形，決定木のアンサンブルやブースティング，ス タッキングなど • モデル固有の説明：特定タイプのモデルの説明 • モデル不可知の説明：入力と出力の組み合わせを調べる • 局所的な解釈：ある入力に対する予測理由を説明 • 大域的な解釈：すべての入力について説明 • 準局所的な解釈：データのグループについて局所的解釈 • テキストによる説明：数値の部分とパラメータの意味の部分 • 視覚的な説明：テキストとセットで
14. 1.2.4 モデルの説明可能性のための ツール • 一例を挙げると・・（1.2.5-1.2.9） • SHAP • LIME • ELI5 • Skater • skope-rules など • それぞれ後の回の発表で扱う予定（今回は省略）
15. 1.2.10 機械学習のためのXAIの手法 • 透明性のレベル：アルゴリズムの透明性，パラメータとハイ パーパラメータの分解，同様な状況での結果の再現性 • 説明可能なモデルにするための手法 • テキストによる説明 • 視覚的な説明 • サンプルベースの説明
16. 1.2.11 XAI互換のモデル • 線形モデル • 時系列予測モデル • 決定木ベースのモデル • アンサンブルベースのモデル • 数学的モデル • Deep learning, CNN, RNN • ルールベースのモデル 説明難しい 説明がわりとしやすい 説明が単純
17. 1.2.12 XAIと責任あるAI • 責任あるAI：説明可能性があり，透明性，倫理的配慮，説明責 任が保証される • 7つの柱 • 公平性 • 倫理的配慮 • 透明性 • プライバシー • セキュリティ • 説明責任 • 安全性
18. 参考：人間中心のAI社会原則 • 日本政府が提唱した原則 • 7つの原則 • 人間中心の原則 • 教育・リテラシーの原則 • プライバシー確保の原則 • セキュリティ確保の原則 • 公正競争確保の原則 • 公平性，説明責任及び透明性の原則 • イノベーションの原則 https://www8.cao.go.jp/cstp/aigensoku.pdf（2023/08/04閲覧）
19. 1.2.13 XAIの評価 • 以下のステップで説明を評価する • 層ごとの説明：データセットのサンプルごとに • 時間の制約：説明にあまり時間をかけられない • インスタンスの不変性：同じようなデータには同じような解釈
20. 2.1 速習：AIの倫理 • AI倫理の課題 • データ収集の量 • データの多様性 • データ移譲 • 監視システムのデータ • 合理的な選択の妨害 • 誠実さ
21. 2.2 AIの偏見（2.3-2.7） • 偏見：予測に偏り（バイアス）がある • データのバイアス：データセットに偏りが生じる • アルゴリズムのバイアス：データバイアスにより誤ったデータが訓練 される • 解釈のバイアス：同じ予測でもユーザにより解釈が違う • 訓練のバイアス：不適切なハイパーパラメータ・モデル選択，モデル の過剰な訓練など • バイアスを減らすには，ガバナンス基準の設定が重要 • ガイドラインやルールを策定する
22. AIの偏見の事例 • Amazonの事例 • AIを用いた人事採用システムを活用 • 2018年，このシステムが男性を優先して採用していたと判明 • このシステムは廃止された • Tayの事例 • Tayは，Microsoft社のチャットボット．Twitter上でリリースされた • しかし，短期間のうちに，差別発言を繰り返すようになり停止された • Twitterユーザの投稿（学習データ）にバイアスがあったと考えられる • 画像検索 • Googleで黒人画像を検索すると，逮捕時の写真が表示されてしまった その他の参考事例：https://ainow.ai/2020/02/17/183256/
23. 偏見（バイアス）について補足 • バイアスの計測アプローチ • 手続き型 • 関係型 • バイアスの指標 • 統計学的指標 • 類似度に基づく指標 • 因果推論に基づく指標
24. 偏見（バイアス）について補足 • バイアスを取り除くプロセス • 予測が一致しない場合，そのデータに対するバイアスがあるとみなし， それを訓練プロセスから取り除く • モデルの公平性の評価 • モデルによる予測 • モデルの公平性に対するデータのバイアスの役割
25. 2.8 AIの信頼性 • AI開発・設計・運用者全員が関与する • 参考：MLOps（https://cloud.google.com/architecture/mlops- continuous-delivery-and-automation-pipelines-in-machine- learning?hl=ja#devops_versus_mlops） • システムに関し想定される疑問に答える • 訓練データは？ • バイアスへの対処法は？ • 利用できるケースとできないケースは？ • どのように予測を説明・解釈できるか？
26. 議論 • GPT-4のアーキテクチャ詳細や訓練データセットが公開されて いないことについてどう思うか • セキュリティとのトレードオフなのか？ • 透明性に欠けているのではという指摘