Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

AI Advance: 公平で説明可能なAI / WatsonOpenScale

Aya Tokura
August 24, 2020

AI Advance: 公平で説明可能なAI / WatsonOpenScale

■Extra Dojo #12 AI Advance: 公平で説明可能なAI
https://ibm-developer.connpass.com/event/176803/
セッション資料です。
■IBM Cloud 無料アカウント登録
https://ibm.biz/dojo0824

Aya Tokura

August 24, 2020
Tweet

More Decks by Aya Tokura

Other Decks in Technology

Transcript

  1. 新しい取り組み“バッジ取得プログラム”のご案内 IBM Cloud & AI develop Basic Online Developer Dojo

    ” IBM Cloud & AI develop Basic Online Developer badge“について - 2020年6⽉1⽇より開始のIBM Developer Dojo 12回シリーズと同様の内容のIBM Developer Dojoのクラスが対象 https://www.ibm.com/jp-ja/partnerworld/events/developer-dojo - スキルアップのため全クラスの受講をお奨めします。 - 12回のクラスのうちPAYGアカウントまたはサブスクリプションが必要としない8つのクラスの課題を実施 - 8クラスのうち5クラスの課題について指定された結果を⾃分のアカウントが⾒えるようにスクリーンショットを撮影 - 5クラス分の課題のスクリーンショットをPDFにして以下の宛先に送付 - 提出した課題が承認されるとAcclaimからバッジが発⾏されます。 ※バッジ発⾏のためにこれ以外の処理が発⽣する場合、別途ご連絡させていただきます 2020年6⽉1⽇ お問い合わせは、Online Developer Dojo バッジ事務局 (ビジネス・パートナープログラム ヘルプデスク [email protected] ) 3
  2. !"#$%&'( IBM Cloud )*+,-.'/0URL123456789 ibm.biz/dojo0824 ! IBM Cloud :;"$ +<=$%>?&@ABC*D'(

    EC212:;"$F56789 ! IBM Cloud G"%+<=$%HI +<=$%>ABC&J9D'( KLM>AN9FO? ´ï:m}°ÖP
  3. EFäãIåRIçãTDOA éXYZ[?OAè ◊PöPhl W÷LbleFQ XY¨≠ Z[ë\–]^î $∆_ KªáMúÖ ë`aìE)bCcî Kªá;IÖ

    ëbB&(dbCcî efπgÖ efπhÖ iNlmefwj¥kmh.î∞„KªáMú.È|QÕLdlym]m ‰n#hÖef]-oÚÚ./≤]5-ú∑ƒP|2Ömªp 12
  4. 「AIの公平性」の問題 • 被告の再犯可能性を予測するAIシステム「Compas」 • ⽶国で実際に本番利⽤されている機械学習モデル • 137問の質問への回答を⼊⼒に、再び犯罪を犯す危険性を10段階の点数 として算出 • 調査報道サイト「プロパブリカ」により、以下の調査結果が判明し

    ⼤きな社会問題となりました。 出典: https://kaztaira.wordpress.com/2018/09/22/aiのバイアス問題、求められる「公平」とは何/ 偽陽性 (再犯の疑いありの判定で 実際には再犯なし) 偽陰性 (再犯の疑いなしの判定で 実際には再犯あり) ⽩⼈ 23.5% 47.7% ⿊⼈ 44.9% 28.0% 16
  5. ABCm$ø¿¡ é+è ! 345ô7 îKHäKHIGTD¬TñäKRñåçåãåGêD¬TäKHG ø m„Æ;√HƒñGDIRPDGHIRñäIHTRSêπ™áT!";]ú∑‹›≤;‰fi ! 34567´935:„OA≈∆mgzm«∫9È ß®

    aEED¢*©©```@ìbí@(Cí©bBC¢©Eaì'd©ÊD‰Ê&©)%)?Ê$&ʉ)Eaì(¢‰ÁC?‰&?EìÁì(ì&B‰ì'E)BBìÂ)'()© 18
  6. IBMの取り組み (2) IBMでは以上の全社的な⽅針を受けて、次の2つの製品・サービスを提供 Watson OpenScale Watson StudioやWatson Machine Learningと同じIBM Cloud上のサービス。

    ただし、他のサービスと異なり、他社AIも管理対象に含む。 AI Fairness 360 / AI Explainability 360 Python APIをOSSとして公開。 ライブラリだけでなく、API Reference、チュートリアル、デモアプリなども ⼀般に利⽤可能。ユーザーは⾃分でPythonコーディングを⾏うことが前提。 AIF360: http://aif360.mybluemix.net/ AIX360: http://aix360.mybluemix.net/ 19
  7. OpenScaleとAIF360 OpenScaleとAIF360/AIX360の⽬的・役割・対象などを整理すると 次のようになります。 Watson OpenScale AIF360/AIX360 位置付け 商⽤製品/商⽤サービス オープンソース 想定ユーザー

    企業ユーザー データサイエンティスト 研究者、開発者 提供形態 ICP, IBM Cloud、 他社クラウド Pythonライブラリーとツールの 集合 利⽤フェーズ モデル実⾏/運⽤時 モデル開発時 提供機能 説明性 ◦ ◦ (AIX360) 公平性 ◦ ◦ (AIF360) 正確性(精度) ◦ - 20
  8. aEED*©©ìbí@b왩$CÊC463¥;◊aI¬Ñ`{GNPÑ`I.ÖH ú-;ø mß2R3-{GNP4âmåç|T{GNPıû-úH{GNP≈m †Fq÷ÉLdπ56./`Ö∑78]56.9`}Ö`I.ÖH ! IBM Cloud :;"$ +<=$%>?&@ABC*D'( EC212:;"$F56789

    ! IBM Cloud G"%+<=$%HI +<=$%>ABC&J9D'( KLM>AN9FO? ïNOPQ•Ã-| https://cloud.ibm.com/login ªˇ{GNP01-ú +œDIBM Cloud⁄m'(∫4 23
  9. Watson OpenScaleの特徴 Watson OpenScaleのハイレベルな特徴として以下のことがあげられます。 Open (オープン): 代表的な機械学習・深層学習フレームワーク・他社AIサービス(MS Azureや Amazon Sagemaker)を管理対象とすることが可能

    Scale (拡張性): パブリック、プライベート、ハイブリッド・クラウド、どの環境でも提供可能 Explainability (説明性): AIモデルの評価結果において、その判断理由を説明 Fairness (公平性): AIモデルの導出した結果の公平性をチェックし、是正する 32
  10. Watson OpenScaleの主要機能 Payload Logging機能がベースの機能となっています。 Payload Loggingを使って説明性(Explainability) と公平性(Fairness) を実現してい ます。 それぞれの拡張機能としてContrastive

    ExplanationとBias mitigationがあります。 それ以外にモニタリング機能や、ドリフト・モニタリング機能がなどがあります。 Payload Logging 説明性 (Explainability) 公平性 (Fairness) Contrastive Explanation Bias mitigation ・Monitoring ・Performance ・Drift monitoring Watson OpenScale 主要機能 33
  11. 公平性 バイアス検知の⽅法 perturbation analysis ⼊⼒データの バリエーションを増やす 監視対象 モデル Payloadだけではデータが不⾜している場合、OpenScaleは⼊⼒データのバリ エーションを増やし(perturbation

    analysis)、それぞれの結果を⾒ることで、バ イアスの有無を検知します。 payloadから 取得した記録 増やしたデータに関して、 モデルを呼び出し結果を 調べる 結果を統計的に処理 してバイアスの有無 を判断 46
  12. 説明性・公平性 サポート対象モデル 説明性と公平性は、管理対象がどのような種類のモデルかにより、対応の有無が 異なります。現在のサポート状況を整理すると、下の表のようになります。 モデル種別 対象データ 説明性 公平性 公平性緩和 精度

    分類 構造データ Yes Yes Yes ※ Yes 回帰 構造データ Yes Yes No Yes 分類 テキスト Yes No No No 分類 イメージ Yes No No No ※ モデルが確率値を返すタイプのものである必要があります。 50
  13. 説明性・公平性 サポート対象フレームワーク 説明性・公平性は、フレームワークによってもサポートの有無が違ってきます。 最新の状況については、下記リンク先を参照してください。 Watson Machine Learning Azure ML Studio

    AWS SageMaker Custom/Python function 分類 構造データ Apache Spark Mllib Python function XGBoost scikit-learn Native Native WMLと同じ 回帰 構造データ Python function XGBoost scikit-learn n/a n/a n/a 分類 テキスト Keras with TensorFlow(※1) n/a n/a n/a 分類 イメージ Keras with TensorFlow(※1) n/a n/a n/a 参照: https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale-frmwrks-wml&locale=ja 51
  14. 3. チュートリアルツアー体験 ⾃動セットアップについて ⾃動セットアップはデモ⽤のセットアップ(設定、デモデータのロード等)を ⾃動で⾏い、実際にWatson OpenScaleで何ができるのかを体験することが できます。 以下の順序で実施します。 1. IBM

    Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施(待ち時間約10分) 4. Watson OpenScaleを体験(モデル・モニターでのインサイト表⽰) 52
  15. Watson OpenScale Python SDK チュートリアル (上級) 下記のタスクを実⾏する⽅法を学習できるコンテンツです。 • Python ノートブックを実⾏して機械学習モデルを作成、トレーニング、

    およびデプロイする • データマートを作成し、パフォーマンス、正確度、公平性のモニターを 構成し、モニター対象のデータを作成する • Watson OpenScale の「インサイト」タブで結果を表⽰する https://cloud.ibm.com/docs/ai-openscale?topic=ai-openscale-crt-ov
  16. ï¡L¬-R‡Ñµ©"L¬]≈∆ú∑ƒP 86 5@ "<=#ÔBC4$†Fq÷ÉLd;{GNPú∑ 3@ ¶©"L¬mûAßm¶úi`56ß]◊ÿú∑ ò@ ¶>)?%ì()ßmò«»]a©FaÑ`é¨]…iú∑ ¥@ R‡./µ3ÚmöL)¬

    mÀ[mZÔ]a©FaѶ≈∆ß]◊ÿú∑ ïöL)¬ |ÕÔ;Ò2∑µÿTºΩm78]å,}I.ÖH ! è&E¢C'#êD)'>(&B)#ccc ! `íB‰ccc
  17. Microsoft Azure ML × Watson OpenScale 学習資料 91 Watson OpenScale

    を利⽤して Azure での機械学習を モニタリングする (Code Patterns) Microsoft Azure で機械学習モデルを作成し、Watson OpenScale を利⽤して ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ GitHub IBM/monitor-azure-ml-with-watson-openscale
  18. AWS SageMaker × Watson OpenScale 学習資料 92 Watson OpenScale を利⽤して

    SageMaker での機械学習を モニタリングする (Code Patterns) AWS SageMakerで機械学習モデルを作成し、Watson OpenScale を利⽤して ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-amazon-sagemaker-machine-learning-models-with-ai-openscale/ https://github.com/IBM/monitor-sagemaker-ml-with-watson-openscale GitHub IBM/monitor-sagemaker-ml-with-watson-openscale
  19. }úúÿŸ⁄ – Twitter;Ï∑øÉŸ⁄mj1 "<=]÷Ÿ⁄]}◊˙Ñ`Ö∑◊(cPQm唑 :ï"<= @IBM_JAPAN :ï"<=#ÁC?#3)(a @IBMDeveloper_JP A)%)BCD)?#!$%C(&(Ê#ÿ&D&'#Ì)&$)? !dì?&#ê'ì¢aì

    @oniak3 A)%)BCD)?#!$%C(&E) î&¢4¢aì#ê¢C'Cì @osonoi A)%)BCD)?#!$%C(&E) 3&ìÊì#’&Âì'C @taiponrock A)%)BCD)?#!$%C(&E) !Ê&#3Cd4?& @ayatokura A)%)BCD)?#!$%C(&E) ΩÊCdC#gì¢aìEC @KyokoNishito A)%)BCD)?#!$%C(&E) gC?ìdC#Ω&EC @noricokt 93
  20. 免責事項 IBM Developer Dojoは開発者の⽅を対象に、IBM Cloudを主とした技術情報をお伝えする⽬的で開催しています。 講師や運営スタッフにより、開催毎に最適と判断した内容でお届けしています。 現在、ハンズオンを伴う講義はお客様の費⽤負担がない環境と⼿順でご案内しています。講義終了後、不要に なりました制作物はお客様ご⾃⾝で削除をお願いいたします。クレジットカードの登録が伴わない場合、費⽤は ⼀切発⽣致しませんが、ご登録いただいたお客様はご注意ください。 講師陣はみなさまの利⽤状況を個別に確認することはできません。

    ご理解とご協⼒をお願いいたします。 利⽤したサービスの削除⽅法については講義の中でご案内します。 ご不明な点がございましたら、当⽇確認をお願いいたします。 講義終了後、 IBM Developer Dojoに関するお問い合わせは「Slack」にお願いします。それ以外のIBM Cloud のお問い合わせにつきましては、弊社サポートセンターまで、次のいづれかの⽅法でお問い合わせください。 IBM Cloudダッシュボードの「サポート」メニューから「Case」を作成し、英語でご記⼊ください IBM Cloudサポートセンター「相談する」ボタンからチャットまたは電話でご連絡ください https://www.ibm.com/jp-ja/cloud/support ご参加ありがとうございました。 94