Upgrade to Pro — share decks privately, control downloads, hide ads and more …

IBM Dojo:公平で説明可能なAI / Watson OpenScale

Aya Tokura
December 02, 2020

IBM Dojo:公平で説明可能なAI / Watson OpenScale

本日のセッション資料
https://ibm-developer.connpass.com/event/185134/

IBM Cloudアカウント作成&ログインはこちらから
https://ibm.biz/dojo1202

Aya Tokura

December 02, 2020
Tweet

More Decks by Aya Tokura

Other Decks in Technology

Transcript

  1. !"#$%&'( IBM Cloud )*+,-.'/0URL123456789 ibm.biz/dojo1202 ! IBM Cloud :;"$ +<=$%>?&@ABC*D'(

    EC212:;"$F56789 ! IBM Cloud G"%+<=$%HI +<=$%>ABC&J9D'( KLM>AN9FO? âä4l|ãåP
  2. wxyz{|}{~zCAB Ä=>?@8ABÅ ƒOGOgk H¬Kakd5P IJçé KLÑM∑NOà ¨P :°ªLúå ÑQRÜD<S?Tà :°ª58å

    ÑS>CBUS?Tà VWüXå VWüYå Z=klVWv[ó\lY˙àë–:°ªLú˙÷{P≥Kc]xlN^ —_"YåVW\˘`flfl&'ì\#˘úù™?{*ål°a
  3. 「AIの公平性」の問題 • 被告の再犯可能性を予測するAIシステム「Compas」 • ⽶国で実際に本番利⽤されている機械学習モデル • 137問の質問への回答を⼊⼒に、再び犯罪を犯す危険性を10段階の点数 として算出 • 調査報道サイト「プロパブリカ」により、以下の調査結果が判明し

    ⼤きな社会問題となりました。 出典: https://kaztaira.wordpress.com/2018/09/22/aiのバイアス問題、求められる「公平」とは何/ 偽陽性 (再犯の疑いありの判定で 実際には再犯なし) 偽陰性 (再犯の疑いなしの判定で 実際には再犯あり) ⽩⼈ 23.5% 47.7% ⿊⼈ 44.9% 28.0%
  4. Bµ∂Z∑∏π∫ Ä!Å ! -./é1 áàªyàª{ÇCºäyà}ä|~|z|ÇÉCºyàªÇ ¥∞lÿè5ΩªæäÇC{}øCǪ{}äy{ª}¿Éü∂ªS+,5Núù… ì5ŸÀ ! -./01†3-/4–AB¡¬ZTgZ√∞2÷ úù

    RDD@"!ûûQQQ:ÜSÖ:B?ÖûS>?⁄"ûDRÜáUû€@—€Cû<=<9”AC”—<DRÜB"—‹?9—C9DÜ‹ÜBÜC>—ÜáD<>>Ü⁄<áB<û
  5. IBMの取り組み (2) IBMでは以上の全社的な⽅針を受けて、次の2つの製品・サービスを提供 Watson OpenScale Watson StudioやWatson Machine Learningと同じIBM Cloud上のサービス。

    ただし、他のサービスと異なり、他社AIも管理対象に含む。 AI Fairness 360 / AI Explainability 360 Python APIをOSSとして公開。 ライブラリだけでなく、API Reference、チュートリアル、デモアプリなども ⼀般に利⽤可能。ユーザーは⾃分でPythonコーディングを⾏うことが前提。 AIF360: http://aif360.mybluemix.net/ AIX360: http://aix360.mybluemix.net/
  6. Watson OpenScaleの特徴 Watson OpenScaleのハイレベルな特徴として以下のことがあげられます。 Open (オープン): 代表的な機械学習・深層学習フレームワーク・他社AIサービス(MS Azureや Amazon Sagemaker)を管理対象とすることが可能

    Scale (拡張性): パブリック、プライベート、ハイブリッド・クラウド、どの環境でも提供可能 Explainability (説明性): AIモデルの評価結果において、その判断理由を説明 Fairness (公平性): AIモデルの導出した結果の公平性をチェックし、是正する
  7. Watson OpenScaleの主要機能 Payload Logging機能がベースの機能となっています。 Payload Loggingを使って説明性(Explainability) と公平性(Fairness) を実現してい ます。 それぞれの拡張機能としてContrastive

    ExplanationとBias mitigationがあります。 それ以外にモニタリング機能や、ドリフト・モニタリング機能がなどがあります。 Payload Logging 説明性 (Explainability) 公平性 (Fairness) Contrastive Explanation Bias mitigation ・Monitoring ・Performance ・Drift monitoring Watson OpenScale 主要機能
  8. 公平性 バイアス検知の⽅法 perturbation analysis ⼊⼒データの バリエーションを増やす 監視対象 モデル Payloadだけではデータが不⾜している場合、OpenScaleは⼊⼒データのバリ エーションを増やし(perturbation

    analysis)、それぞれの結果を⾒ることで、バ イアスの有無を検知します。 payloadから 取得した記録 増やしたデータに関して、 モデルを呼び出し結果を 調べる 結果を統計的に処理 してバイアスの有無 を判断
  9. 説明性・公平性 サポート対象モデル 説明性と公平性は、管理対象がどのような種類のモデルかにより、対応の有無が 異なります。現在のサポート状況を整理すると、下の表のようになります。 モデル種別 対象データ 説明性 公平性 公平性緩和 精度

    分類 構造データ Yes Yes Yes ※ Yes 回帰 構造データ Yes Yes No Yes 分類 テキスト Yes No No No 分類 イメージ Yes No No No ※ モデルが確率値を返すタイプのものである必要があります。
  10. 説明性・公平性 サポート対象フレームワーク 説明性・公平性は、フレームワークによってもサポートの有無が違ってきます。 最新の状況については、下記リンク先を参照してください。 Watson Machine Learning Azure ML Studio

    AWS SageMaker Custom/Python function 分類 構造データ Apache Spark Mllib Python function XGBoost scikit-learn Native Native WMLと同じ 回帰 構造データ Python function XGBoost scikit-learn n/a n/a n/a 分類 テキスト Keras with TensorFlow(※1) n/a n/a n/a 分類 イメージ Keras with TensorFlow(※1) n/a n/a n/a 参照: https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale-frmwrks-wml&locale=ja
  11. 3. チュートリアルツアー体験 ⾃動セットアップについて ⾃動セットアップはデモ⽤のセットアップ(設定、デモデータのロード等)を ⾃動で⾏い、実際にWatson OpenScaleで何ができるのかを体験することが できます。 以下の順序で実施します。 1. IBM

    Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施(待ち時間約10分) 4. Watson OpenScaleを体験(モデル・モニターでのインサイト表⽰)
  12. Watson OpenScale Python SDK チュートリアル (上級) 下記のタスクを実⾏する⽅法を学習できるコンテンツです。 • Python ノートブックを実⾏して機械学習モデルを作成、トレーニング、

    およびデプロイする • データマートを作成し、パフォーマンス、正確度、公平性のモニターを 構成し、モニター対象のデータを作成する • Watson OpenScale の「インサイト」タブで結果を表⽰する https://cloud.ibm.com/docs/ai-openscale?topic=ai-openscale-crt-ov
  13. Microsoft Azure ML × Watson OpenScale 学習資料 Watson OpenScale を利⽤して

    Azure での機械学習を モニタリングする (Code Patterns) Microsoft Azure で機械学習モデルを作成し、Watson OpenScale を利⽤して ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ GitHub IBM/monitor-azure-ml-with-watson-openscale
  14. AWS SageMaker × Watson OpenScale 学習資料 Watson OpenScale を利⽤して SageMaker

    での機械学習を モニタリングする (Code Patterns) AWS SageMakerで機械学習モデルを作成し、Watson OpenScale を利⽤して ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-amazon-sagemaker-machine-learning-models-with-ai-openscale/ https://github.com/IBM/monitor-sagemaker-ml-with-watson-openscale GitHub IBM/monitor-sagemaker-ml-with-watson-openscale
  15. 免責事項 IBM Developer Dojoは開発者の⽅を対象に、IBM Cloudを主とした技術情報をお伝えする⽬的で開催しています。 講師や運営スタッフにより、開催毎に最適と判断した内容でお届けしています。 現在、ハンズオンを伴う講義はお客様の費⽤負担がない環境と⼿順でご案内しています。講義終了後、不要に なりました制作物はお客様ご⾃⾝で削除をお願いいたします。クレジットカードの登録が伴わない場合、費⽤は ⼀切発⽣致しませんが、ご登録いただいたお客様はご注意ください。 講師陣はみなさまの利⽤状況を個別に確認することはできません。

    ご理解とご協⼒をお願いいたします。 利⽤したサービスの削除⽅法については講義の中でご案内します。 ご不明な点がございましたら、当⽇確認をお願いいたします。 講義終了後、 IBM Developer Dojoに関するお問い合わせは「Slack」にお願いします。それ以外のIBM Cloud のお問い合わせにつきましては、弊社サポートセンターまで、次のいづれかの⽅法でお問い合わせください。 IBM Cloudダッシュボードの「サポート」メニューから「Case」を作成し、英語でご記⼊ください IBM Cloudサポートセンター「相談する」ボタンからチャットまたは電話でご連絡ください https://www.ibm.com/jp-ja/cloud/support ご参加ありがとうございました。