AI Advance: 公平で説明可能なAI / WatsonOpenScale

■Extra Dojo #12 AI Advance: 公平で説明可能なAI
https://ibm-developer.connpass.com/event/176803/
セッション資料です。
■IBM Cloud 無料アカウント登録
https://ibm.biz/dojo0824

Transcript

1. Extra Dojo #12 !"#!$%&'()*#+,-./012!" Aya Tokura Developer Advocate Tokyo City Team 2020/08/24
2. @ayatokura 34567895:;"<=#>?@#A)%)BCD)?#!$%C(&E);FGH IJKLMNOPQRSTUVWXTYZ[\]^_` abcdeNfghMijkLlmnopq]rsH tuvwAya Tokurax Sr. Developer Advocate IBM yz{L|}~;ÄsÅÇ 2
3. 新しい取り組み“バッジ取得プログラム”のご案内 IBM Cloud & AI develop Basic Online Developer Dojo ” IBM Cloud & AI develop Basic Online Developer badge“について - 2020年6⽉1⽇より開始のIBM Developer Dojo 12回シリーズと同様の内容のIBM Developer Dojoのクラスが対象 https://www.ibm.com/jp-ja/partnerworld/events/developer-dojo - スキルアップのため全クラスの受講をお奨めします。 - 12回のクラスのうちPAYGアカウントまたはサブスクリプションが必要としない8つのクラスの課題を実施 - 8クラスのうち5クラスの課題について指定された結果を⾃分のアカウントが⾒えるようにスクリーンショットを撮影 - 5クラス分の課題のスクリーンショットをPDFにして以下の宛先に送付 - 提出した課題が承認されるとAcclaimからバッジが発⾏されます。 ※バッジ発⾏のためにこれ以外の処理が発⽣する場合、別途ご連絡させていただきます 2020年6⽉1⽇ お問い合わせは、Online Developer Dojo バッジ事務局 （ビジネス・パートナープログラム ヘルプデスク pprogram@jp.ibm.com ） 3
4. タイムテーブル 14:00-14:05 (5min) オープニング 資料ダウンロード、出席登録など 14:05-15:00 (55min) IBM Extra Dojo #12 AI Advance: 公平で説明可能なAI 15:00-15:15 (15min) Q&A クロージング
5. 本⽇の資料 本⽇の資料は下記サイトで公開しております。 必要に応じてダウンロードお願いします。 (connpassイベントページ上の[資料]欄にリンクあり) http://ibm.biz/dojo0824doc 5
6. !"#$%&'( IBM Cloud )*+,-.'/0URL123456789 ibm.biz/dojo0824 ! IBM Cloud :;"$ +<=$%>?&@ABC*D'( EC212:;"$F56789 ! IBM Cloud G"%+<=$%HI +<=$%>ABC&J9D'( KLM>AN9FO? ´ï:m}°ÖP
7. 学習の⽬的とゴール ⽬的 AIの公平性、説明性の必要性を理解した上で、 Watson OpenScaleの概要を理解する ゴール Watson OpenScaleで何ができるかを実際に体験する このコースを学ぶ⽅の想定スキル 機械学習の初⼼者レベルの知識がある⽅ 7
8. ⽬次 1. AIの課題とIBMの取り組み 2. IBM Watson OpenScale ご紹介 3. チュートリアルツアー体験 4. おすすめ情報 8
9. 1. !"m—“ 9
10. ⽇本政府が策定した「⼈間中⼼のAI社会原則」 6) 公平性、説明責任及び透明性の原則 「AI-Readyな社会」においては、AIの利⽤によって、⼈々が、その⼈の持つ背景に よって不当な差別を受けたり、⼈間の尊厳に照らして不当な扱いを受けたりすること がないように、公平性及び透明性のある意思決定とその結果に対する説明責任(アカ ウンタビリティ)が適切に確保されると共に、技術に対する信頼性(Trust)が担保され る必要がある。 ・AIの設計思想の下において、⼈々がその⼈種、性別、国籍、年齢、政治的信念、宗 教等の多様なバックグラウンドを理由に不当な差別をされることなく、全ての⼈々が 公平に扱われなければならない。 ・AIを利⽤しているという事実、AIに利⽤されるデータの取得⽅法や使⽤⽅法、AIの 動作結果の適切性を担保する仕組みなど、⽤途や状況に応じた適切な説明が得られな ければならない。 引用元:人間中心のAI社会原則 https://www8.cao.go.jp/cstp/aigensoku.pdf 今後、AIには公平性や説明性が 求めらてくることが予想される 10
11. AIの信頼性につながるAIの説明性・公平性とは? 11
12. EFäãIåRIçãTDOA éXYZ[?OAè ◊PöPhl W÷LbleFQ XY¨≠ Z[ë\–]^î $∆_ KªáMúÖ ë`aìE)bCcî Kªá;IÖ ëbB&(dbCcî efπgÖ efπhÖ iNlmefwj¥kmh.î∞„KªáMú.È|QÕLdlym]m ‰n#hÖef]-oÚÚ./≤]5-ú∑ƒP|2Ömªp 12
13. 説明性 (Explainability) 想定シナリオ 顧客に対する与信判断(融資を実施するかどうか)をする機械学習モデルを作ったとします。 顧客 窓⼝担当者 融資の申請を認められない という話だが、何が原因 なのか︖︖︖︖ 当社の与信判断モデルは⾮常 に精度が⾼いのですが、 あいにくブラックボックスで 理由はわからないのです… 説明不可能なAI 13
14. 説明性(Explainability) 顧客 窓⼝担当者 融資の申請を認められない という話だが、何が原因 なのか︖︖︖︖ お客様の融資が却下された⼀番の 理由は年収で、寄与度は60%です。 次の理由は年齢で、寄与度は 20%になります。 前ページのようなやりとりが起きた場合、今回説明するWatson OpenScaleがあると このように説明が可能になります。 説明可能なAI 14
15. AIの公平性 15
16. 「AIの公平性」の問題 • 被告の再犯可能性を予測するAIシステム「Compas」 • ⽶国で実際に本番利⽤されている機械学習モデル • 137問の質問への回答を⼊⼒に、再び犯罪を犯す危険性を10段階の点数 として算出 • 調査報道サイト「プロパブリカ」により、以下の調査結果が判明し ⼤きな社会問題となりました。 出典: https://kaztaira.wordpress.com/2018/09/22/ａｉのバイアス問題、求められる「公平」とは何/ 偽陽性 (再犯の疑いありの判定で 実際には再犯なし) 偽陰性 (再犯の疑いなしの判定で 実際には再犯あり) ⽩⼈ 23.5% 47.7% ⿊⼈ 44.9% 28.0% 16
17. アルゴリズムは公平か︖ アルゴリズムは公平ではなく、作成者の意図やバイアスが紛れ込む l アルゴリズムは過去の⾏為や⾏動パターンを繰りかえし、⾃動的に現状を 維持するだけ l 判定の最適化とは、過去データの特徴からセグメントを抽出した後に、 判定対象を特定のセグメントに分類すること • セグメントの境界を決める重要な特徴データ以外の個々⼈の属性や 事情は考慮されない l バイアスが紛れ込む要因の例 • 過去のデータ(実績)の偏り • データの選択を⾏うのは⼈間 • 有効かもしれないが存在しないデータ • 代理データを無意識に利⽤ • 成功要因を恣意的に設定 17
18. ABCm$ø¿¡ é+è ! 345ô7 îKHäKHIGTD¬TñäKRñåçåãåGêD¬TäKHG ø m„Æ;√HƒñGDIRPDGHIRñäIHTRSêπ™áT!";]ú∑‹›≤;‰fi ! 34567´935:„OA≈∆mgzm«∫9È ß® aEED¢*©©```@ìbí@(Cí©bBC¢©Eaì'd©ÊD‰Ê&©)%)?Ê$&ʉ)Eaì(¢‰ÁC?‰&?EìÁì(ì&B‰ì'E)BBìÂ)'()© 18
19. IBMの取り組み (2) IBMでは以上の全社的な⽅針を受けて、次の2つの製品・サービスを提供 Watson OpenScale Watson StudioやWatson Machine Learningと同じIBM Cloud上のサービス。 ただし、他のサービスと異なり、他社AIも管理対象に含む。 AI Fairness 360 / AI Explainability 360 Python APIをOSSとして公開。 ライブラリだけでなく、API Reference、チュートリアル、デモアプリなども ⼀般に利⽤可能。ユーザーは⾃分でPythonコーディングを⾏うことが前提。 AIF360: http://aif360.mybluemix.net/ AIX360: http://aix360.mybluemix.net/ 19
20. OpenScaleとAIF360 OpenScaleとAIF360/AIX360の⽬的・役割・対象などを整理すると 次のようになります。 Watson OpenScale AIF360/AIX360 位置付け 商⽤製品/商⽤サービス オープンソース 想定ユーザー 企業ユーザー データサイエンティスト 研究者、開発者 提供形態 ICP, IBM Cloud、 他社クラウド Pythonライブラリーとツールの 集合 利⽤フェーズ モデル実⾏/運⽤時 モデル開発時 提供機能 説明性 ◦ ◦ (AIX360) 公平性 ◦ ◦ (AIF360) 正確性(精度) ◦ - 20
21. 2. IBM Watson OpenScale 唑 https://www.ibm.com/jp-ja/cloud/watson-openscale 21
22. Watson OpenScale ここで 3.チュートリアルツアー体験の事前準備 「3.チュートリアルツアー体験」の3番まで準備する 1. IBM Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施 （10分前後の待ち時間） 22
23. aEED*©©ìbí@b왩$CÊC463¥;◊aI¬Ñ`{GNPÑ`I.ÖH ú-;ø mß2R3-{GNP4âmåç|T{GNPıû-úH{GNP≈m †Fq÷ÉLdπ56./`Ö∑78]56.9`}Ö`I.ÖH ! IBM Cloud :;"$ +<=$%>?&@ABC*D'( EC212:;"$F56789 ! IBM Cloud G"%+<=$%HI +<=$%>ABC&J9D'( KLM>AN9FO? ïNOPQ•Ã-| https://cloud.ibm.com/login ªˇ{GNP01-ú +œDIBM Cloud⁄m'(∫4 23
24. NœDWatson OpenScale€2‹ªmµ∂à›fi 3‰5@ „(è{GÈ]a©Faú∑ 24
25. 3‰3@ :;ÉFa¬;è&E¢C'#êD)'>(&B)]ûüÑT „è&E¢C'#êD)'>(&B)È]◊ÿú∑ 25
26. 3‰ò@ ©L§<Pm◊ÿ„†b¬ÈTó=£bPm◊ÿ„bNQëflóîÈπ ◊ÿ./`Ö∑¿∞],}Ñ`„R‡ÈÉèP]a©Faú∑ 26
27. 3‰¥@ è&E¢C'#êD)'>(&B)m•òm78π56./µˇT>m√W÷Lªˇ „Ú≥È]a©Faú∑ 27
28. 3‰8@ „◊£©?Lq<Pmã\ÈÉèP]a©FaÑ` è&E¢C'#êD)'>(&B)m†Fq÷ÉLd]ã\ú∑ 28
29. Ãœflfi‡"“Ø"&m·‚ ò‰5@ „º\IFQ◊F£È]a©Faú∑ ë@…;ÏÌ`Ò2áõúπTA54«m-˚]ûÑõúî 29
30. ò‰3@ 7∆BCõ-1Ú ò‰ò@#„7∆πBCÑõѵÇÈ∞56πDK̵ˇT„EÿõÑFsÈ ÉèP]a©Faú∑ ¿¿;GrVVπ56./∑ 30
31. 2. IBM Watson OpenScale 唑 https://www.ibm.com/jp-ja/cloud/watson-openscale 31
32. Watson OpenScaleの特徴 Watson OpenScaleのハイレベルな特徴として以下のことがあげられます。 Open (オープン): 代表的な機械学習・深層学習フレームワーク・他社AIサービス(MS Azureや Amazon Sagemaker)を管理対象とすることが可能 Scale (拡張性): パブリック、プライベート、ハイブリッド・クラウド、どの環境でも提供可能 Explainability (説明性): AIモデルの評価結果において、その判断理由を説明 Fairness (公平性): AIモデルの導出した結果の公平性をチェックし、是正する 32
33. Watson OpenScaleの主要機能 Payload Logging機能がベースの機能となっています。 Payload Loggingを使って説明性(Explainability) と公平性(Fairness) を実現してい ます。 それぞれの拡張機能としてContrastive ExplanationとBias mitigationがあります。 それ以外にモニタリング機能や、ドリフト・モニタリング機能がなどがあります。 Payload Logging 説明性 (Explainability) 公平性 (Fairness) Contrastive Explanation Bias mitigation ・Monitoring ・Performance ・Drift monitoring Watson OpenScale 主要機能 33
34. »IGñKRD…äTR SIãTD7"Ì—Ó29 è&E¢C'#êD)'>(&B)†Fq÷ÉLd-|T78>m√W÷L◊ÿ-T 78]RSØ;+áTª∑¿∞π-∫õúH 34 +,≤ >)c ]U∆
35. ÈIêãKIPDÍKÎÎåRÎ Ù&ÊBC&$#ÌCÂÂì'Â∞|TÚ≥'∆m»…¨≠iNl;'ú∑VßÑ-mûüNLèT ßü%&]èNê¬èP£∞ˆWLa"Aë¢(C?ì'ÂWì$î∞∞€;A<;º\Ø;ô3 ú∑»1-úH êD)'>(&B)mXû»1-™∑./≤∞+j≤|TÙ&ÊBC&$#ÌCÂÂì'Â;Ïáô3./µ NLèm«Y]ßjZ;ºΩ./`ÖõúH 35
36. Payload Logging (Watson Machine Learningの場合) Watson ML上に登録されたモデルに対してPayload Loggingを⾏う場合は、 OpenScale側で管理対象の指定をするだけで⾃動的に記録されます。 この場合、アプリ側の改修は不要です。 Watson Machine Learning deployment Application API Call OpenScale Payload 36
37. Payload Logging (他社 Machine Learningの場合) MS AzureやAmazon Sagemakerなどの他社APIの場合は、アプリケーションは モデルのAPIを呼び出した後で、⼊⼒データとその結果を引数に、OpenScale側で ⽤意したPayload Logging APIを呼び出すようにします。 他社 Machine Learning Application API Call OpenScale Payload Payload Logging API 37
38. 説明性 (Explainability) 想定シナリオ 顧客に対する与信判断(融資を実施するかどうか)をする機械学習モデルを作ったとします。 顧客 窓⼝担当者 融資の申請を認められない という話だが、何が原因 なのか︖︖︖︖ 当社の与信判断モデルは⾮常 に精度が⾼いのですが、 あいにくブラックボックスで 理由はわからないのです… 説明不可能なAI 38
39. 説明性(Explainability) 顧客 窓⼝担当者 融資の申請を認められない という話だが、何が原因 なのか︖︖︖︖ お客様の融資が却下された⼀番の 理由は年収で、寄与度は60%です。 次の理由は年齢で、寄与度は 20%になります。 前ページのようなやりとりが起きた場合、今回説明するWatson OpenScaleがあると このように説明が可能になります。 説明可能なAI 39
40. 説明性(Explainability) 顧客 窓⼝担当者 年収が⾜りないのはわかったが、 いくらあればよかたのか︖ お客様の場合、年収があと200万円 あれば、当⾏でも融資できます。 説明性の拡張機能 (Contrastive Explanation) 説明性の拡張機能まで使うと、次のような突っ込んだやりとりにも対応可能です。 40
41. XYwéEFäãIåRIçåãåGêè OcDB&ì'&bìBìEÊë./≤î∞|T»…¨≠iNlπ¡∆mQbPöaq<P;'Ñ` 2dm%e;fѵªm./]ÛÙıˆ˜Äm¯˘˙W˚ß»1-úH ÙC¢ìEì%)2ûÄm„Ưàtf ‰n#êD)'>(&B)m«Y%& g)Â&Eì%)2ûÄm„Ưàtf ‰n#êD)'>(&B)m«Y%& øhØ2»…¨≠iNlm%e∞,1f ‰n#iNlªˇKª∑Ÿ⁄ 41
42. XYwéEFäãIåRIçåãåGêè ./≤ëOcDB&ì'&bìBìEÊî»1mºΩƒP Ì"=OëÌC(&B#"'E)?D?)E&bB)#=C$)B‰&Â'C¢Eì(#OcDB&'&EìC'¢î∞ÖsƒP]OL¬;Ñ`ÖõúH 6„emõúùûm¸˝]¥YѵÖåçTm˛ˇmÛÙ†2� !W;Ùc@"?~≥]†iõúH 6*õ̵NLè]QÌ`Tü†°¶#$%u˛&ß~'(ü†°]RáõúH 6jkiNl|lmπjn2µÿTàtf]Æÿ∑¿∞π01-úH ¿m◊£{L’-™/LT'∆π)*ùûü†°m+"?,-?ü†°W./0Z[;2áõúH ß®*#aEED¢*©©&?cì%@C?©&b¢©5€43@4¥´ò6 ûüD^5mo ûüD^3mo p †°'∆mQbP˜aq<P q †°'∆mrso-mïñ%&]†i∑ t … uëj,;|g‰5–vw,8îmxu]Æÿ∑ 42
43. XYwmÂÊõ[ éîKRGHIñGåQTDEFäãIRIGåKRè ∆yNLèπûümiNlmåçTOcDB&ì'&bìBìEÊm78•z;|ABC1flm ÂÊõ[W2~îKRGHIñGåQTDEFäãIRIGåKRu+~¸˝πßü./`ÖõúH ûüoπÖIÚ̵ˇu v%&πDKÌ`ÖµªH uv%&πé∞Ó_;2∑ {á{ámoH 43
44. UVw !∫ت34 êD)'>(&B)]ÍÎѵ+,≤EN◊¬:ŒmÍÎqK©l|T•òm∞}á-úH ¿m|-¡;Àû2m|„}~'∆„Æm$∆È-TËÁm©qL2Ä; ÄÅ∫TÓ˚π$∆ÑõúHêD)'>(&B)|T$ÿˇ/µ©qLπǡ/` Ö∑ª]}~ú∑˙˚]ÒoõúH }~'∆iNlm$∆ }~'∆„Æm$∆ ë‘ ≤¯TÓ9T7á)E(î êD)'>(&B)-m7∆ +j≤Éom$∆ êD)'>(&B)-m iWè©PG ◊bLQ^Œ 44
45. UVw !∫ت34 †Fq÷ÉLdªˇT-ÑÖ-EN◊¬mD¿π,}-∫õúH ¬¡◊πÉo]òZ∑∞◊bLQπ56./õúH Éo ëMä7∆ú∑î ◊bLQ56 Gby•]a©Fa ú∑∞Üá5678 45
46. 公平性 バイアス検知の⽅法 perturbation analysis ⼊⼒データの バリエーションを増やす 監視対象 モデル Payloadだけではデータが不⾜している場合、OpenScaleは⼊⼒データのバリ エーションを増やし(perturbation analysis)、それぞれの結果を⾒ることで、バ イアスの有無を検知します。 payloadから 取得した記録 増やしたデータに関して、 モデルを呼び出し結果を 調べる 結果を統計的に処理 してバイアスの有無 を判断 46
47. 47 UVw !∫ت34m56 å\NLè€çªµ≈;TiNlmuv%&m÷áπMä7∆ѵÉo]wªµ åçTEN◊¬π™∑∞êD)'>(&B)|uvÑõúH 1±#;°m<>†2!é=∫'29è UVw>?mgz@Af†2!éBfiè¶CDg¸˝ „EN◊¬™áÈm 56 47
48. UVwéÀIåHRTññèDEFõ[ êD)'>(&B)|EN◊¬m’+Fa]rs˙-2ITº\Ø;EN◊¬]éèú∑»1]ÒÌ` ÖõúHb§lÉèP]„!∫تEFG¡È;+áTª∑∞TéèiNl-™/LÄmÏs2 ßü;2Ì`ÖµªmUV]56-∫õúH 48
49. UVwéÀIåHRTññèDHeIJ 7∆êë|T./≤m-ÓD;jn-Tõúùûü†°uKß~4LvëË-úH µÑTÄm„Æ]+,≤m'∆;ú∑ª|ˆL˜LπU∆ú∑ùûπ™áõúH ÛÙéHeıˆè 6iWè'∆Œ≤ ë‘ ≤¯î 6ŸÍ2GlL£ ë‘ í≤îTıÍ2GlL£ ë‘ ì≤î 6ÆØD^ ë‘ wñ©¬aŸflî 6ŸÍ2%& ë‘ ©¬a2Ñî 6ıÍ2%& ë‘ ©¬a™áî 49
50. 説明性・公平性 サポート対象モデル 説明性と公平性は、管理対象がどのような種類のモデルかにより、対応の有無が 異なります。現在のサポート状況を整理すると、下の表のようになります。 モデル種別 対象データ 説明性 公平性 公平性緩和 精度 分類 構造データ Yes Yes Yes ※ Yes 回帰 構造データ Yes Yes No Yes 分類 テキスト Yes No No No 分類 イメージ Yes No No No ※ モデルが確率値を返すタイプのものである必要があります。 50
51. 説明性・公平性 サポート対象フレームワーク 説明性・公平性は、フレームワークによってもサポートの有無が違ってきます。 最新の状況については、下記リンク先を参照してください。 Watson Machine Learning Azure ML Studio AWS SageMaker Custom/Python function 分類 構造データ Apache Spark Mllib Python function XGBoost scikit-learn Native Native WMLと同じ 回帰 構造データ Python function XGBoost scikit-learn n/a n/a n/a 分類 テキスト Keras with TensorFlow(※1) n/a n/a n/a 分類 イメージ Keras with TensorFlow(※1) n/a n/a n/a 参照: https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale-frmwrks-wml&locale=ja 51
52. 3. チュートリアルツアー体験 ⾃動セットアップについて ⾃動セットアップはデモ⽤のセットアップ(設定、デモデータのロード等)を ⾃動で⾏い、実際にWatson OpenScaleで何ができるのかを体験することが できます。 以下の順序で実施します。 1. IBM Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施（待ち時間約10分） 4. Watson OpenScaleを体験(モデル・モニターでのインサイト表⽰) 52
53. ¥‰5@# è&E¢C'#êD)'>(&B)#†Fq÷ÉLdmk◊LπiE./∑m- ¶–úßÉèP]a©FaÑ2πˇ¥.ûâGÿ∑ ë:ïü†î ;‹Q2ÌR4 è&E¢C'#êD)'>(&B);|T°¢T./Tl‡T öLQm¥ÚmX2£§π™áõúH 53
54. ¥‰3@# ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ ë:ïü†î ST7"Ì—Ó29 °¢†Fq÷ÉLd;|TiWè©PGÑ`Ö∑ iNlπ56./õúH ë:ïü†î 7"Ì—Ó29uUC „†Fq÷ÉLd;•çÈÉèP]QÎú∑∞ iNlmiWè©PG]l‡Ñ`iNl] †Fq÷ÉLd;•ç-∫õúH 54
55. ¥‰ò@# ¥.]ûâGÿ„–mk◊LÈÉèPπ56./µˇa©Faú∑ ë:ïü†î ü†°àü3!2 ¶iWè©PG'ßiNl|T†Fq÷ÉLd; èNl∞Ñ`56./õúHiNl6èNl] a©Faú∑∞TiWè©PGmÜáπi∫õúH ë:ïü†î ü†°VW ¶iNl6èNl-T+,≤TÍõT}Ïfl d©yQmΩ›mU®]56ÑõúHÑ∫Öo ó©m™∑U®;|TÛÙ;™πˇ∫õúH 55
56. ¥‰¥@#öP£l-Î"./`Ö∑„1Ω¬aiNl ëÔ?)$ìE#Âì¢d#=C$)Bî#È mqK©l∞iNlmKLmÜá]„g)cEÈÉèP]a©FaÑ` ,}ú∑ 56
57. ¥‰8@#qK©lm./´1Ω¬amqK©l " !"#$%&'()*+,- &./0(12(345678 9:-;<=>-&.?@A B!CDE3FGHIJ8KCL MN-OODPQR*AST CDUVF6E-/0(12( -WXYZ[\A]^456 _&.`a-b*cde\A fg4K4UL" qK©l],}ѵˇ¶g)cEßÉèP]a©Fa 57
58. ¥‰€@#qK©lm./´1Ω¬amqK©l "hi3jkl mn(Fop456q-7r FWatson OpenScaleIZ[\ Istutv$bwxy[( z{yA?@45|DO}~ CDÄÅA45|D-O ÇÉ4K4Ñr" é¨],}ѵˇ¶Ì)E≠¢#ÂCßÉèP]a©Fa 58
59. ¥‰ô@# KLöÆ©L}Ïfl+,≤f¬Qm,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ ë:ïü†î XY€Z±2 KL∂û78;|TøÉmKLm f¬Q%&π56./õúH ë:ïü†î UVw[ª“ √Q©Fa¬Iaq<P;|TKLm%&π56./õúH +,≤|TiNlπÄmÏs;GlL£˚-ØõÑÖ%& ]ÎÏú∑ª]./ÑõúH 59
60. ¥‰6@# Íõf¬Q}Ïfld©yQf¬Qm,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ ë:ïü†î \][ª“ Íõ∞|TygLdEFaNLè∞VL/∑ bOlˇ˙./µf¬QNLè;ÄÅÖ` jÑÖ%&]ÎÏú∑iNl»1]5ÑõúH ë:ïü†î 9±N“[ª“ d©yQ|Tefõµ|NLèm\∞≤mgò] ±íÑõúH 60
61. ¥‰´@# +,≤mKLm,} ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑ ë:ïü†î √Q©Fao]a©Faú∑∞T%&mÜáπ56./õúH –;T+,≤iWèL]â`âõÑFsH 61
62. ¥‰54@# +,≤iWè©PGm,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ 62
63. ¥‰55@# +,≤¬¡◊m,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ 63
64. ¥‰53@# +,≤¬¡◊m-˚ØD¿m,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ 64
65. ¥‰5ò@# +,≤¬¡◊m-˚ØD¿m,} ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑ 65
66. ¥‰5¥@# QbP˜aq<PÕOl-+,≤m,} £N{Ld∞å\4âTØõÑÖ%&m≤k 66
67. ¥‰58@# QbP˜aq<PÕOl-+,≤m,} £N{LdQT≥¥NLè 67
68. ¥‰5€@# QbP˜aq<PÕOl-+,≤m,} ≥¥NLèmı_ 68
69. ¥‰5ô@# QbP˜aq<PÕOl-+,≤m,} EN◊¬éè4â 69
70. ¥‰56@# QbP˜aq<PÕOl-+,≤m,} EN◊¬éè4â 70
71. ¥‰5´@# QbP˜aq<PÕOl-+,≤m,} QbP˜aq<Pm56 KL./µQbP˜aq<P 71 ¶OcDB&ì'#D?)$ì(EìC'ß#]a©Faú∑
72. ¥‰34@# QbP˜aq<P QbP˜aq<PmÜá 72 ü†°m¸˝XY ./|TiNlπïñ]ÄmÏs;$∆ѵª]./ ÑõúH OcDB&ì' èh;|Tïñ;µπ̵Àû2 û∂π\∑56./õúH ^Ë?õ[ iNlmï≈;™∏]tª∑Àû≤- "LQ./õúH
73. ¥‰35@# QbP˜aq<P QbP˜aq<PmÜá 73 ü†°mfiµ3_ "'¢D)(E#èh-|TygL’πLomD∫π iNlm%&;ÄmÏs;™∏ú∑ª]†iõúH ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
74. ¥‰33@# QbP˜aq<P QbP˜aq<PmÜá 74 ªºmQbP˜aq<P|TÒ2∑%&]€µˇúÒ2∑»1o mIFQ]Î6ÑõúH
75. ¥‰3ò@# QbP˜aq<P QbP˜aq<PmÜá 75 ÚmÌ;±1¶`~ ÉÑÖ»1mo]ûüÑ`TD∫πiNlm%&;Ä mÏs;™∏ú∑ª]$∆ÑõúH ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
76. ¥‰3¥@#d©yQ6iWèL 76 ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
77. ¥‰38@d©yQ6iWèL 77 ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
78. 78 ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ ¥‰3€@d©yQ6iWèL
79. 79 ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑ ¥‰3ô@d©yQ6iWèL
80. ¥‰36@# d©yQiWèL d©yQm·Ä∞2Ì`Ö∑QbP˜aq<Pm56 80 ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
81. 81 ¥‰3´@# d©yQiWèL d©yQm·Ä∞2Ì`Ö∑QbP˜aq<Pm56
82. 82 ¥‰ò4@# QbP˜aq<P6©¬Qm0Ÿ
83. 実際にモデルを登録してWatson OpenScaleを使うには 実際にモデルを登録してWatson OpenScaleを使うには、pythonでSDKを使って コードを書き、実⾏して設定を⾏うことが通常必要です。 • Watson Machine Learningのモデルを使う場合は、モデル登録にpythonでの 登録が必要です。 • AutoMLなど他社のモデルを使う場合は、ペイロードロギング等に通常は 何かしらのコードの実⾏が必要です。 • もちろん⼀部はGUIで実施可能です。
84. Watson OpenScale Python SDK チュートリアル (上級) 下記のタスクを実⾏する⽅法を学習できるコンテンツです。 • Python ノートブックを実⾏して機械学習モデルを作成、トレーニング、 およびデプロイする • データマートを作成し、パフォーマンス、正確度、公平性のモニターを 構成し、モニター対象のデータを作成する • Watson OpenScale の「インサイト」タブで結果を表⽰する https://cloud.ibm.com/docs/ai-openscale?topic=ai-openscale-crt-ov
85. ï¡L¬m—“;ÚÖ` EF§ÜO£{Gbê;ôç./∑ƒ|Tè&E¢C'#êD)'>(&B)öL)¬R‡ÑT k◊L]hCѵ≈T†Fq÷ÉLdm©"L¬6©¬Qm3ÚmöL)¬]åÎßI.ÖH
86. ï¡L¬-R‡Ñµ©"L¬]≈∆ú∑ƒP 86 5@ "<=#ÔBC4$†Fq÷ÉLd;{GNPú∑ 3@ ¶©"L¬mûAßm¶úi`56ß]◊ÿú∑ ò@ ¶>)?%ì()ßmò«»]a©FaÑ`é¨]…iú∑ ¥@ R‡./µ3ÚmöL)¬ mÀ[mZÔ]a©FaѶ≈∆ß]◊ÿú∑ ïöL)¬ |ÕÔ;Ò2∑µÿTºΩm78]å,}I.ÖH ! è&E¢C'#êD)'>(&B)#ccc ! `íB‰ccc
87. "<=#ÔBC4$;]ú∑ygLdEFaåÃüm}°Ö 87 "<=#ÔBC4$†Fq÷ÉLdªˇ¶¯OOA<!ÔΩßÉèP]a©FaÑ`ÖµI¿∞- å"âT\ÕûŒ]ygLdEFaÑ`ÖµI¿∞π01-úH
88. まとめ • AIの実⽤化には、「公平性」や「説明性」が 重要な課題となってきている • 「IBM Watson OpenScale」は、AIの公平性の分析、 不公平なバイアスの軽減、説明性の実現が可能である 88
89. 4. }úúÿŸ⁄ –ijÖ˙öNQIBM Developer ibm.biz/IBMDevJP øÉŸ⁄M¬«l◊F£;˙—Ú€)444]wª∑noôM]ÎÏ 89
90. }úúÿŸ⁄ – IBM Code Patterns https://ibm.biz/ibmcodejp ¥. “#Ni\7 “#"L¬¡Ldπ”̵◊£©ij§èLP* 90
91. Microsoft Azure ML × Watson OpenScale 学習資料 91 Watson OpenScale を利⽤して Azure での機械学習を モニタリングする (Code Patterns) Microsoft Azure で機械学習モデルを作成し、Watson OpenScale を利⽤して ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ GitHub IBM/monitor-azure-ml-with-watson-openscale
92. AWS SageMaker × Watson OpenScale 学習資料 92 Watson OpenScale を利⽤して SageMaker での機械学習を モニタリングする (Code Patterns) AWS SageMakerで機械学習モデルを作成し、Watson OpenScale を利⽤して ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-amazon-sagemaker-machine-learning-models-with-ai-openscale/ https://github.com/IBM/monitor-sagemaker-ml-with-watson-openscale GitHub IBM/monitor-sagemaker-ml-with-watson-openscale
93. }úúÿŸ⁄ – Twitter;Ï∑øÉŸ⁄mj1 "<=]÷Ÿ⁄]}◊˙Ñ`Ö∑◊(cPQm唑 :ï"<= @IBM_JAPAN :ï"<=#ÁC?#3)(a @IBMDeveloper_JP A)%)BCD)?#!$%C(&(Ê#ÿ&D&'#Ì)&$)? !dì?&#ê'ì¢aì @oniak3 A)%)BCD)?#!$%C(&E) î&¢4¢aì#ê¢C'Cì @osonoi A)%)BCD)?#!$%C(&E) 3&ìÊì#’&Âì'C @taiponrock A)%)BCD)?#!$%C(&E) !Ê&#3Cd4?& @ayatokura A)%)BCD)?#!$%C(&E) ΩÊCdC#gì¢aìEC @KyokoNishito A)%)BCD)?#!$%C(&E) gC?ìdC#Ω&EC @noricokt 93
94. 免責事項 IBM Developer Dojoは開発者の⽅を対象に、IBM Cloudを主とした技術情報をお伝えする⽬的で開催しています。 講師や運営スタッフにより、開催毎に最適と判断した内容でお届けしています。 現在、ハンズオンを伴う講義はお客様の費⽤負担がない環境と⼿順でご案内しています。講義終了後、不要に なりました制作物はお客様ご⾃⾝で削除をお願いいたします。クレジットカードの登録が伴わない場合、費⽤は ⼀切発⽣致しませんが、ご登録いただいたお客様はご注意ください。 講師陣はみなさまの利⽤状況を個別に確認することはできません。 ご理解とご協⼒をお願いいたします。 利⽤したサービスの削除⽅法については講義の中でご案内します。 ご不明な点がございましたら、当⽇確認をお願いいたします。 講義終了後、 IBM Developer Dojoに関するお問い合わせは「Slack」にお願いします。それ以外のIBM Cloud のお問い合わせにつきましては、弊社サポートセンターまで、次のいづれかの⽅法でお問い合わせください。 IBM Cloudダッシュボードの「サポート」メニューから「Case」を作成し、英語でご記⼊ください IBM Cloudサポートセンター「相談する」ボタンからチャットまたは電話でご連絡ください https://www.ibm.com/jp-ja/cloud/support ご参加ありがとうございました。 94