Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI Advance: 公平で説明可能なAI / WatsonOpenScale

Aya Tokura
August 24, 2020

AI Advance: 公平で説明可能なAI / WatsonOpenScale

■Extra Dojo #12 AI Advance: 公平で説明可能なAI
https://ibm-developer.connpass.com/event/176803/
セッション資料です。
■IBM Cloud 無料アカウント登録
https://ibm.biz/dojo0824

Aya Tokura

August 24, 2020
Tweet

More Decks by Aya Tokura

Other Decks in Technology

Transcript

  1. Extra Dojo #12
    !"#!$%&'()*#+,-./012!"
    Aya Tokura
    Developer Advocate
    Tokyo City Team
    2020/08/24

    View full-size slide

  2. @ayatokura
    34567895:;"<=#>?@#A)%)BCD)?#!$%C(&E);FGH
    IJKLMNOPQRSTUVWXTYZ[\]^_`
    abcdeNfghMijkLlmnopq]rsH
    tuvwAya Tokurax
    Sr. Developer Advocate
    IBM
    yz{L|}~;ÄsÅÇ
    2

    View full-size slide

  3. 新しい取り組み“バッジ取得プログラム”のご案内
    IBM Cloud & AI develop Basic
    Online Developer Dojo
    ” IBM Cloud & AI develop Basic Online Developer badge“について
    - 2020年6⽉1⽇より開始のIBM Developer Dojo 12回シリーズと同様の内容のIBM Developer Dojoのクラスが対象
    https://www.ibm.com/jp-ja/partnerworld/events/developer-dojo
    - スキルアップのため全クラスの受講をお奨めします。
    - 12回のクラスのうちPAYGアカウントまたはサブスクリプションが必要としない8つのクラスの課題を実施
    - 8クラスのうち5クラスの課題について指定された結果を⾃分のアカウントが⾒えるようにスクリーンショットを撮影
    - 5クラス分の課題のスクリーンショットをPDFにして以下の宛先に送付
    - 提出した課題が承認されるとAcclaimからバッジが発⾏されます。
    ※バッジ発⾏のためにこれ以外の処理が発⽣する場合、別途ご連絡させていただきます
    2020年6⽉1⽇
    お問い合わせは、Online Developer Dojo バッジ事務局
    (ビジネス・パートナープログラム ヘルプデスク [email protected]
    3

    View full-size slide

  4. タイムテーブル
    14:00-14:05
    (5min)
    オープニング
    資料ダウンロード、出席登録など
    14:05-15:00
    (55min)
    IBM Extra Dojo #12
    AI Advance: 公平で説明可能なAI
    15:00-15:15
    (15min)
    Q&A
    クロージング

    View full-size slide

  5. 本⽇の資料
    本⽇の資料は下記サイトで公開しております。
    必要に応じてダウンロードお願いします。
    (connpassイベントページ上の[資料]欄にリンクあり)
    http://ibm.biz/dojo0824doc
    5

    View full-size slide

  6. !"#$%&'(
    IBM Cloud )*+,-.'/0URL123456789
    ibm.biz/dojo0824
    ! IBM Cloud :;"$
    +<=$%>?&@ABC*D'(
    EC212:;"$F56789
    ! IBM Cloud G"%+<=$%HI
    +<=$%>ABC&J9D'(
    KLM>AN9FO?
    ´ï:m}°ÖP

    View full-size slide

  7. 学習の⽬的とゴール
    ⽬的
    AIの公平性、説明性の必要性を理解した上で、
    Watson OpenScaleの概要を理解する
    ゴール
    Watson OpenScaleで何ができるかを実際に体験する
    このコースを学ぶ⽅の想定スキル
    機械学習の初⼼者レベルの知識がある⽅
    7

    View full-size slide

  8. ⽬次
    1. AIの課題とIBMの取り組み
    2. IBM Watson OpenScale ご紹介
    3. チュートリアルツアー体験
    4. おすすめ情報
    8

    View full-size slide

  9. 1. !"m—“
    9

    View full-size slide

  10. ⽇本政府が策定した「⼈間中⼼のAI社会原則」
    6) 公平性、説明責任及び透明性の原則
    「AI-Readyな社会」においては、AIの利⽤によって、⼈々が、その⼈の持つ背景に
    よって不当な差別を受けたり、⼈間の尊厳に照らして不当な扱いを受けたりすること
    がないように、公平性及び透明性のある意思決定とその結果に対する説明責任(アカ
    ウンタビリティ)が適切に確保されると共に、技術に対する信頼性(Trust)が担保され
    る必要がある。
    ・AIの設計思想の下において、⼈々がその⼈種、性別、国籍、年齢、政治的信念、宗
    教等の多様なバックグラウンドを理由に不当な差別をされることなく、全ての⼈々が
    公平に扱われなければならない。
    ・AIを利⽤しているという事実、AIに利⽤されるデータの取得⽅法や使⽤⽅法、AIの
    動作結果の適切性を担保する仕組みなど、⽤途や状況に応じた適切な説明が得られな
    ければならない。
    引用元:人間中心のAI社会原則
    https://www8.cao.go.jp/cstp/aigensoku.pdf
    今後、AIには公平性や説明性が
    求めらてくることが予想される
    10

    View full-size slide

  11. AIの信頼性につながるAIの説明性・公平性とは?
    11

    View full-size slide

  12. EFäãIåRIçãTDOA éXYZ[?OAè
    ◊PöPhl
    W÷LbleFQ
    XY¨≠
    Z[ë\–]^î
    $∆_
    KªáMúÖ
    ë`aìE)bCcî
    Kªá;IÖ
    ëbB&(dbCcî
    efπgÖ efπhÖ
    iNlmefwj¥kmh.î∞„KªáMú.È|QÕLdlym]m
    ‰n#hÖef]-oÚÚ./≤]5-ú∑ƒP|2Ömªp 12

    View full-size slide

  13. 説明性 (Explainability)
    想定シナリオ
    顧客に対する与信判断(融資を実施するかどうか)をする機械学習モデルを作ったとします。
    顧客 窓⼝担当者
    融資の申請を認められない
    という話だが、何が原因
    なのか︖︖︖︖
    当社の与信判断モデルは⾮常
    に精度が⾼いのですが、
    あいにくブラックボックスで
    理由はわからないのです…
    説明不可能なAI
    13

    View full-size slide

  14. 説明性(Explainability)
    顧客 窓⼝担当者
    融資の申請を認められない
    という話だが、何が原因
    なのか︖︖︖︖
    お客様の融資が却下された⼀番の
    理由は年収で、寄与度は60%です。
    次の理由は年齢で、寄与度は
    20%になります。
    前ページのようなやりとりが起きた場合、今回説明するWatson OpenScaleがあると
    このように説明が可能になります。
    説明可能なAI
    14

    View full-size slide

  15. AIの公平性
    15

    View full-size slide

  16. 「AIの公平性」の問題
    • 被告の再犯可能性を予測するAIシステム「Compas」
    • ⽶国で実際に本番利⽤されている機械学習モデル
    • 137問の質問への回答を⼊⼒に、再び犯罪を犯す危険性を10段階の点数
    として算出
    • 調査報道サイト「プロパブリカ」により、以下の調査結果が判明し
    ⼤きな社会問題となりました。
    出典: https://kaztaira.wordpress.com/2018/09/22/aiのバイアス問題、求められる「公平」とは何/
    偽陽性
    (再犯の疑いありの判定で
    実際には再犯なし)
    偽陰性
    (再犯の疑いなしの判定で
    実際には再犯あり)
    ⽩⼈ 23.5% 47.7%
    ⿊⼈ 44.9% 28.0%
    16

    View full-size slide

  17. アルゴリズムは公平か︖
    アルゴリズムは公平ではなく、作成者の意図やバイアスが紛れ込む
    l アルゴリズムは過去の⾏為や⾏動パターンを繰りかえし、⾃動的に現状を
    維持するだけ
    l 判定の最適化とは、過去データの特徴からセグメントを抽出した後に、
    判定対象を特定のセグメントに分類すること
    • セグメントの境界を決める重要な特徴データ以外の個々⼈の属性や
    事情は考慮されない
    l バイアスが紛れ込む要因の例
    • 過去のデータ(実績)の偏り
    • データの選択を⾏うのは⼈間
    • 有効かもしれないが存在しないデータ
    • 代理データを無意識に利⽤
    • 成功要因を恣意的に設定
    17

    View full-size slide

  18. ABCm$ø¿¡ é+è
    ! 345ô7 îKHäKHIGTD¬TñäKRñåçåãåGêD¬TäKHG
    ø m„Æ;√HƒñGDIRPDGHIRñäIHTRSêπ™áT!";]ú∑‹›≤;‰fi
    ! 34567´935:„OA≈∆mgzm«∫9È
    ß® aEED¢*©©```@ìbí@(Cí©bBC¢©Eaì'd©ÊD‰Ê&©)%)?Ê$&ʉ)Eaì(¢‰ÁC?‰&?EìÁì(ì&B‰ì'E)BBìÂ)'()© 18

    View full-size slide

  19. IBMの取り組み (2)
    IBMでは以上の全社的な⽅針を受けて、次の2つの製品・サービスを提供
    Watson OpenScale
    Watson StudioやWatson Machine Learningと同じIBM Cloud上のサービス。
    ただし、他のサービスと異なり、他社AIも管理対象に含む。
    AI Fairness 360 / AI Explainability 360
    Python APIをOSSとして公開。
    ライブラリだけでなく、API Reference、チュートリアル、デモアプリなども
    ⼀般に利⽤可能。ユーザーは⾃分でPythonコーディングを⾏うことが前提。
    AIF360: http://aif360.mybluemix.net/
    AIX360: http://aix360.mybluemix.net/
    19

    View full-size slide

  20. OpenScaleとAIF360
    OpenScaleとAIF360/AIX360の⽬的・役割・対象などを整理すると
    次のようになります。
    Watson OpenScale AIF360/AIX360
    位置付け 商⽤製品/商⽤サービス オープンソース
    想定ユーザー 企業ユーザー
    データサイエンティスト
    研究者、開発者
    提供形態
    ICP, IBM Cloud、
    他社クラウド
    Pythonライブラリーとツールの
    集合
    利⽤フェーズ モデル実⾏/運⽤時 モデル開発時
    提供機能
    説明性 ○ ○ (AIX360)
    公平性 ○ ○ (AIF360)
    正確性(精度) ○ -
    20

    View full-size slide

  21. 2. IBM Watson OpenScale 唑
    https://www.ibm.com/jp-ja/cloud/watson-openscale
    21

    View full-size slide

  22. Watson OpenScale
    ここで 3.チュートリアルツアー体験の事前準備
    「3.チュートリアルツアー体験」の3番まで準備する
    1. IBM Cloudへのログイン
    2. Watson OpenScaleサービスの作成・起動
    3. ⾃動セットアップの実施
    (10分前後の待ち時間)
    22

    View full-size slide

  23. aEED*©©ìbí@b왩$CÊC463¥;◊aI¬Ñ`{GNPÑ`I.ÖH
    ú-;ø mß2R3-{GNP4âmåç|T{GNPıû-úH{GNP≈m
    †Fq÷ÉLdπ56./`Ö∑78]56.9`}Ö`I.ÖH
    ! IBM Cloud :;"$
    +<=$%>?&@ABC*D'(
    EC212:;"$F56789
    ! IBM Cloud G"%+<=$%HI
    +<=$%>ABC&J9D'(
    KLM>AN9FO?
    ïNOPQ•Ã-|
    https://cloud.ibm.com/login
    ªˇ{GNP01-ú
    +œDIBM Cloud⁄m'(∫4
    23

    View full-size slide

  24. NœDWatson OpenScale€2‹ªmµ∂à›fi
    3‰5@ „(è{GÈ]a©Faú∑
    24

    View full-size slide

  25. 3‰3@ :;ÉFa¬;è&E¢C'#êD)'>(&B)]ûüÑT
    „è&E¢C'#êD)'>(&B)È]◊ÿú∑
    25

    View full-size slide

  26. 3‰ò@ ©L§◊ÿ./`Ö∑¿∞],}Ñ`„R‡ÈÉèP]a©Faú∑
    26

    View full-size slide

  27. 3‰¥@ è&E¢C'#êD)'>(&B)m•òm78π56./µˇT>m√W÷Lªˇ
    „Ú≥È]a©Faú∑
    27

    View full-size slide

  28. 3‰8@ „◊£©?Lqè&E¢C'#êD)'>(&B)m†Fq÷ÉLd]ã\ú∑
    28

    View full-size slide

  29. Ãœflfi‡"“Ø"&m·‚
    ò‰5@ „º\IFQ◊F£È]a©Faú∑
    ë@…;ÏÌ`Ò2áõúπTA54«m-˚]ûÑõúî
    29

    View full-size slide

  30. ò‰3@ 7∆BCõ-1Ú
    ò‰ò@#„7∆πBCÑõѵÇÈ∞56πDK̵ˇT„EÿõÑFsÈ
    ÉèP]a©Faú∑
    ¿¿;GrVVπ56./∑
    30

    View full-size slide

  31. 2. IBM Watson OpenScale 唑
    https://www.ibm.com/jp-ja/cloud/watson-openscale
    31

    View full-size slide

  32. Watson OpenScaleの特徴
    Watson OpenScaleのハイレベルな特徴として以下のことがあげられます。
    Open (オープン):
    代表的な機械学習・深層学習フレームワーク・他社AIサービス(MS Azureや
    Amazon Sagemaker)を管理対象とすることが可能
    Scale (拡張性):
    パブリック、プライベート、ハイブリッド・クラウド、どの環境でも提供可能
    Explainability (説明性):
    AIモデルの評価結果において、その判断理由を説明
    Fairness (公平性):
    AIモデルの導出した結果の公平性をチェックし、是正する
    32

    View full-size slide

  33. Watson OpenScaleの主要機能
    Payload Logging機能がベースの機能となっています。
    Payload Loggingを使って説明性(Explainability) と公平性(Fairness) を実現してい
    ます。
    それぞれの拡張機能としてContrastive ExplanationとBias mitigationがあります。
    それ以外にモニタリング機能や、ドリフト・モニタリング機能がなどがあります。
    Payload Logging
    説明性
    (Explainability)
    公平性
    (Fairness)
    Contrastive
    Explanation
    Bias mitigation ・Monitoring
    ・Performance
    ・Drift monitoring
    Watson OpenScale 主要機能
    33

    View full-size slide

  34. »IGñKRD…äTR SIãTD7"Ì—Ó29
    è&E¢C'#êD)'>(&B)†Fq÷ÉLd-|T78>m√W÷L◊ÿ-T
    78]RSØ;+áTª∑¿∞π-∫õúH
    34
    +,≤ >)c
    ]U∆

    View full-size slide

  35. ÈIêãKIPDÍKÎÎåRÎ
    Ù&ÊBC&$#ÌCÂÂì'Â∞|TÚ≥'∆m»…¨≠iNl;'ú∑VßÑ-mûüNLèT
    ßü%&]èNê¬èP£∞ˆWLa"Aë¢(C?ì'ÂWì$î∞∞€;A<;º\Ø;ô3
    ú∑»1-úH
    êD)'>(&B)mXû»1-™∑./≤∞+j≤|TÙ&ÊBC&$#ÌCÂÂì'Â;Ïáô3./µ
    NLèm«Y]ßjZ;ºΩ./`ÖõúH
    35

    View full-size slide

  36. Payload Logging (Watson Machine Learningの場合)
    Watson ML上に登録されたモデルに対してPayload Loggingを⾏う場合は、
    OpenScale側で管理対象の指定をするだけで⾃動的に記録されます。
    この場合、アプリ側の改修は不要です。
    Watson Machine Learning
    deployment
    Application
    API Call
    OpenScale
    Payload 36

    View full-size slide

  37. Payload Logging (他社 Machine Learningの場合)
    MS AzureやAmazon Sagemakerなどの他社APIの場合は、アプリケーションは
    モデルのAPIを呼び出した後で、⼊⼒データとその結果を引数に、OpenScale側で
    ⽤意したPayload Logging APIを呼び出すようにします。
    他社 Machine Learning
    Application
    API Call
    OpenScale
    Payload
    Payload Logging API
    37

    View full-size slide

  38. 説明性 (Explainability)
    想定シナリオ
    顧客に対する与信判断(融資を実施するかどうか)をする機械学習モデルを作ったとします。
    顧客 窓⼝担当者
    融資の申請を認められない
    という話だが、何が原因
    なのか︖︖︖︖
    当社の与信判断モデルは⾮常
    に精度が⾼いのですが、
    あいにくブラックボックスで
    理由はわからないのです…
    説明不可能なAI
    38

    View full-size slide

  39. 説明性(Explainability)
    顧客 窓⼝担当者
    融資の申請を認められない
    という話だが、何が原因
    なのか︖︖︖︖
    お客様の融資が却下された⼀番の
    理由は年収で、寄与度は60%です。
    次の理由は年齢で、寄与度は
    20%になります。
    前ページのようなやりとりが起きた場合、今回説明するWatson OpenScaleがあると
    このように説明が可能になります。
    説明可能なAI
    39

    View full-size slide

  40. 説明性(Explainability)
    顧客 窓⼝担当者
    年収が⾜りないのはわかったが、
    いくらあればよかたのか︖
    お客様の場合、年収があと200万円
    あれば、当⾏でも融資できます。
    説明性の拡張機能 (Contrastive Explanation)
    説明性の拡張機能まで使うと、次のような突っ込んだやりとりにも対応可能です。
    40

    View full-size slide

  41. XYwéEFäãIåRIçåãåGêè
    OcDB&ì'&bìBìEÊë./≤î∞|T»…¨≠iNlπ¡∆mQbPöaq2dm%e;fѵªm./]ÛÙıˆ˜Äm¯˘˙W˚ß»1-úH
    ÙC¢ìEì%)2ûÄm„Ưàtf
    ‰n#êD)'>(&B)m«Y%&
    g)Â&Eì%)2ûÄm„Ưàtf
    ‰n#êD)'>(&B)m«Y%&
    øhØ2»…¨≠iNlm%e∞,1f
    ‰n#iNlªˇKª∑Ÿ⁄
    41

    View full-size slide

  42. XYwéEFäãIåRIçåãåGêè
    ./≤ëOcDB&ì'&bìBìEÊî»1mºΩƒP
    Ì"=OëÌC(&B#"'E)?D?)E&bB)#=C$)B‰&Â'C¢Eì(#OcDB&'&EìC'¢î∞ÖsƒP]OL¬;Ñ`ÖõúH
    6„emõúùûm¸˝]¥YѵÖåçTm˛ˇmÛÙ†2�
    !W;Ùc@"?~≥]†iõúH
    6*õ̵NLè]QÌ`Tü†°¶#$%u˛&ß~'(ü†°]RáõúH
    6jkiNl|lmπjn2µÿTàtf]Æÿ∑¿∞π01-úH
    ¿m◊£{L’-™/LT'∆π)*ùûü†°m+"?,-?ü†°W./0Z[;2áõúH
    ß®*#aEED¢*©©&?cì%@C?©&b¢©5€43@4¥´ò6
    ûüD^5mo
    ûüD^3mo
    p †°'∆mQbP˜aqq †°'∆mrso-mïñ%&]†i∑
    t … uëj,;|g‰5–vw,8îmxu]Æÿ∑
    42

    View full-size slide

  43. XYwmÂÊõ[ éîKRGHIñGåQTDEFäãIRIGåKRè
    ∆yNLèπûümiNlmåçTOcDB&ì'&bìBìEÊm78•z;|ABC1flm
    ÂÊõ[W2~îKRGHIñGåQTDEFäãIRIGåKRu+~¸˝πßü./`ÖõúH
    ûüoπÖIÚ̵ˇu
    v%&πDKÌ`ÖµªH
    uv%&πé∞Ó_;2∑
    {á{ámoH
    43

    View full-size slide

  44. UVw !∫ت34
    êD)'>(&B)]ÍÎѵ+,≤EN◊¬:ŒmÍÎqK©l|T•òm∞}á-úH
    ¿m|-¡;Àû2m|„}~'∆„Æm$∆È-TËÁm©qL2Ä;
    ÄÅ∫TÓ˚π$∆ÑõúHêD)'>(&B)|T$ÿˇ/µ©qLπǡ/`
    Ö∑ª]}~ú∑˙˚]ÒoõúH
    }~'∆iNlm$∆
    }~'∆„Æm$∆
    ë‘ ≤¯TÓ9T7á)E(î
    êD)'>(&B)-m7∆
    +j≤Éom$∆
    êD)'>(&B)-m
    iWè©PG
    ◊bLQ^Œ
    44

    View full-size slide

  45. UVw !∫ت34
    †Fq÷ÉLdªˇT-ÑÖ-EN◊¬mD¿π,}-∫õúH
    ¬¡◊πÉo]òZ∑∞◊bLQπ56./õúH
    Éo
    ëMä7∆ú∑î
    ◊bLQ56
    Gby•]a©Fa
    ú∑∞Üá5678
    45

    View full-size slide

  46. 公平性 バイアス検知の⽅法
    perturbation
    analysis
    ⼊⼒データの
    バリエーションを増やす
    監視対象
    モデル
    Payloadだけではデータが不⾜している場合、OpenScaleは⼊⼒データのバリ
    エーションを増やし(perturbation analysis)、それぞれの結果を⾒ることで、バ
    イアスの有無を検知します。
    payloadから
    取得した記録
    増やしたデータに関して、
    モデルを呼び出し結果を
    調べる
    結果を統計的に処理
    してバイアスの有無
    を判断
    46

    View full-size slide

  47. 47
    UVw !∫ت34m56
    å\NLè€çªµ≈;TiNlmuv%&m÷áπMä7∆ѵÉo]wªµ
    åçTEN◊¬π™∑∞êD)'>(&B)|uvÑõúH
    1±#;°m<>†2!é=∫'29è UVw>?mgz@Af†2!éBfiè¶CDg¸˝
    „EN◊¬™áÈm
    56
    47

    View full-size slide

  48. UVwéÀIåHRTññèDEFõ[
    êD)'>(&B)|EN◊¬m’+Fa]rs˙-2ITº\Ø;EN◊¬]éèú∑»1]ÒÌ`
    ÖõúHb§lÉèP]„!∫تEFG¡È;+áTª∑∞TéèiNl-™/LÄmÏs2
    ßü;2Ì`ÖµªmUV]56-∫õúH
    48

    View full-size slide

  49. UVwéÀIåHRTññèDHeIJ
    7∆êë|T./≤m-ÓD;jn-Tõúùûü†°uKß~4LvëË-úH
    µÑTÄm„Æ]+,≤m'∆;ú∑ª|ˆL˜LπU∆ú∑ùûπ™áõúH
    ÛÙéHeıˆè
    6iWè'∆Œ≤ ë‘ ≤¯î
    6ŸÍ2GlL£ ë‘ í≤îTıÍ2GlL£ ë‘ ì≤î
    6ÆØD^ ë‘ wñ©¬aŸflî
    6ŸÍ2%& ë‘ ©¬a2Ñî
    6ıÍ2%& ë‘ ©¬a™áî
    49

    View full-size slide

  50. 説明性・公平性 サポート対象モデル
    説明性と公平性は、管理対象がどのような種類のモデルかにより、対応の有無が
    異なります。現在のサポート状況を整理すると、下の表のようになります。
    モデル種別 対象データ 説明性 公平性 公平性緩和 精度
    分類 構造データ Yes Yes Yes ※ Yes
    回帰 構造データ Yes Yes No Yes
    分類 テキスト Yes No No No
    分類 イメージ Yes No No No
    ※ モデルが確率値を返すタイプのものである必要があります。
    50

    View full-size slide

  51. 説明性・公平性 サポート対象フレームワーク
    説明性・公平性は、フレームワークによってもサポートの有無が違ってきます。
    最新の状況については、下記リンク先を参照してください。
    Watson Machine Learning
    Azure
    ML Studio
    AWS
    SageMaker
    Custom/Python
    function
    分類 構造データ
    Apache Spark Mllib
    Python function
    XGBoost
    scikit-learn
    Native Native WMLと同じ
    回帰 構造データ
    Python function
    XGBoost
    scikit-learn
    n/a n/a n/a
    分類 テキスト Keras with TensorFlow(※1) n/a n/a n/a
    分類 イメージ Keras with TensorFlow(※1) n/a n/a n/a
    参照: https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale-frmwrks-wml&locale=ja
    51

    View full-size slide

  52. 3. チュートリアルツアー体験
    ⾃動セットアップについて
    ⾃動セットアップはデモ⽤のセットアップ(設定、デモデータのロード等)を
    ⾃動で⾏い、実際にWatson OpenScaleで何ができるのかを体験することが
    できます。
    以下の順序で実施します。
    1. IBM Cloudへのログイン
    2. Watson OpenScaleサービスの作成・起動
    3. ⾃動セットアップの実施(待ち時間約10分)
    4. Watson OpenScaleを体験(モデル・モニターでのインサイト表⽰)
    52

    View full-size slide

  53. ¥‰5@# è&E¢C'#êD)'>(&B)#†Fq÷ÉLdmk◊LπiE./∑m-
    ¶–úßÉèP]a©FaÑ2πˇ¥.ûâGÿ∑
    ë:ïü†î
    ;‹Q2ÌR4
    è&E¢C'#êD)'>(&B);|T°¢T./Tl‡T
    öLQm¥ÚmX2£§π™áõúH
    53

    View full-size slide

  54. ¥‰3@# ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
    ë:ïü†î
    ST7"Ì—Ó29
    °¢†Fq÷ÉLd;|TiWè©PGÑ`Ö∑
    iNlπ56./õúH
    ë:ïü†î
    7"Ì—Ó29uUC
    „†Fq÷ÉLd;•çÈÉèP]QÎú∑∞
    iNlmiWè©PG]l‡Ñ`iNl]
    †Fq÷ÉLd;•ç-∫õúH
    54

    View full-size slide

  55. ¥‰ò@# ¥.]ûâGÿ„–mk◊LÈÉèPπ56./µˇa©Faú∑
    ë:ïü†î
    ü†°àü3!2
    ¶iWè©PG'ßiNl|T†Fq÷ÉLd;
    èNl∞Ñ`56./õúHiNl6èNl]
    a©Faú∑∞TiWè©PGmÜáπi∫õúH
    ë:ïü†î
    ü†°VW
    ¶iNl6èNl-T+,≤TÍõT}Ïfl
    d©yQmΩ›mU®]56ÑõúHÑ∫Öo
    ó©m™∑U®;|TÛÙ;™πˇ∫õúH
    55

    View full-size slide

  56. ¥‰¥@#öP£l-Î"./`Ö∑„1Ω¬aiNl ëÔ?)$ìE#Âì¢d#=C$)Bî#È
    mqK©l∞iNlmKLmÜá]„g)cEÈÉèP]a©FaÑ`
    ,}ú∑
    56

    View full-size slide

  57. ¥‰8@#qK©lm./´1Ω¬amqK©l
    " !"#$%&'()*+,-
    &./0(12(345678
    9:-;<=>-&.?@A
    B!CDE3FGHIJ8KCL
    MN-OODPQR*AST
    CDUVF6E-/0(12(
    -WXYZ[\A]^456
    _&.`a-b*cde\A
    fg4K4UL"
    qK©l],}ѵˇ¶g)cEßÉèP]a©Fa
    57

    View full-size slide

  58. ¥‰€@#qK©lm./´1Ω¬amqK©l
    "hi3jkl
    mn(Fop456q-7r
    FWatson OpenScaleIZ[\
    Istutv$bwxy[(
    z{yA?@45|DO}~
    CDÄÅA45|D-O
    ÇÉ4K4Ñr"
    é¨],}ѵˇ¶Ì)E≠¢#ÂCßÉèP]a©Fa
    58

    View full-size slide

  59. ¥‰ô@# KLöÆ©L}Ïfl+,≤f¬Qm,}
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
    ë:ïü†î
    XY€Z±2
    KL∂û78;|TøÉmKLm
    f¬Q%&π56./õúH
    ë:ïü†î
    UVw[ª“
    √Q©Fa¬Iaq+,≤|TiNlπÄmÏs;GlL£˚-ØõÑÖ%&
    ]ÎÏú∑ª]./ÑõúH 59

    View full-size slide

  60. ¥‰6@# Íõf¬Q}Ïfld©yQf¬Qm,}
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
    ë:ïü†î
    \][ª“
    Íõ∞|TygLdEFaNLè∞VL/∑
    bOlˇ˙./µf¬QNLè;ÄÅÖ`
    jÑÖ%&]ÎÏú∑iNl»1]5ÑõúH
    ë:ïü†î
    9±N“[ª“
    d©yQ|Tefõµ|NLèm\∞≤mgò]
    ±íÑõúH
    60

    View full-size slide

  61. ¥‰´@# +,≤mKLm,}
    ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑
    ë:ïü†î
    √Q©Fao]a©Faú∑∞T%&mÜáπ56./õúH
    –;T+,≤iWèL]â`âõÑFsH
    61

    View full-size slide

  62. ¥‰54@# +,≤iWè©PGm,}
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
    62

    View full-size slide

  63. ¥‰55@# +,≤¬¡◊m,}
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
    63

    View full-size slide

  64. ¥‰53@# +,≤¬¡◊m-˚ØD¿m,}
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
    64

    View full-size slide

  65. ¥‰5ò@# +,≤¬¡◊m-˚ØD¿m,}
    ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑
    65

    View full-size slide

  66. ¥‰5¥@# QbP˜aq£N{Ld∞å\4âTØõÑÖ%&m≤k
    66

    View full-size slide

  67. ¥‰58@# QbP˜aq£N{LdQT≥¥NLè
    67

    View full-size slide

  68. ¥‰5€@# QbP˜aq≥¥NLèmı_
    68

    View full-size slide

  69. ¥‰5ô@# QbP˜aqEN◊¬éè4â
    69

    View full-size slide

  70. ¥‰56@# QbP˜aqEN◊¬éè4â
    70

    View full-size slide

  71. ¥‰5´@# QbP˜aqQbP˜aqKL./µQbP˜aq71
    ¶OcDB&ì'#D?)$ì(EìC'ß#]a©Faú∑

    View full-size slide

  72. ¥‰34@# QbP˜aqQbP˜aq72
    ü†°m¸˝XY
    ./|TiNlπïñ]ÄmÏs;$∆ѵª]./
    ÑõúH OcDB&ì' èh;|Tïñ;µπ̵Àû2
    û∂π\∑56./õúH
    ^Ë?õ[
    iNlmï≈;™∏]tª∑Àû≤-
    "LQ./õúH

    View full-size slide

  73. ¥‰35@# QbP˜aqQbP˜aq73
    ü†°mfiµ3_
    "'¢D)(E#èh-|TygL’πLomD∫π
    iNlm%&;ÄmÏs;™∏ú∑ª]†iõúH
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑

    View full-size slide

  74. ¥‰33@# QbP˜aqQbP˜aq74
    ªºmQbP˜aqmIFQ]Î6ÑõúH

    View full-size slide

  75. ¥‰3ò@# QbP˜aqQbP˜aq75
    ÚmÌ;±1¶`~
    ÉÑÖ»1mo]ûüÑ`TD∫πiNlm%&;Ä
    mÏs;™∏ú∑ª]$∆ÑõúH
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑

    View full-size slide

  76. ¥‰3¥@#d©yQ6iWèL
    76
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑

    View full-size slide

  77. ¥‰38@d©yQ6iWèL
    77
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑

    View full-size slide

  78. 78
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑
    ¥‰3€@d©yQ6iWèL

    View full-size slide

  79. 79
    ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑
    ¥‰3ô@d©yQ6iWèL

    View full-size slide

  80. ¥‰36@# d©yQiWèL
    d©yQm·Ä∞2Ì`Ö∑QbP˜aq80
    ¥.]ûâGÿ„–úÈÉèP]a©Faú∑

    View full-size slide

  81. 81
    ¥‰3´@# d©yQiWèL
    d©yQm·Ä∞2Ì`Ö∑QbP˜aq

    View full-size slide

  82. 82
    ¥‰ò4@# QbP˜aq

    View full-size slide

  83. 実際にモデルを登録してWatson OpenScaleを使うには
    実際にモデルを登録してWatson OpenScaleを使うには、pythonでSDKを使って
    コードを書き、実⾏して設定を⾏うことが通常必要です。
    • Watson Machine Learningのモデルを使う場合は、モデル登録にpythonでの
    登録が必要です。
    • AutoMLなど他社のモデルを使う場合は、ペイロードロギング等に通常は
    何かしらのコードの実⾏が必要です。
    • もちろん⼀部はGUIで実施可能です。

    View full-size slide

  84. Watson OpenScale Python SDK チュートリアル (上級)
    下記のタスクを実⾏する⽅法を学習できるコンテンツです。
    • Python ノートブックを実⾏して機械学習モデルを作成、トレーニング、
    およびデプロイする
    • データマートを作成し、パフォーマンス、正確度、公平性のモニターを
    構成し、モニター対象のデータを作成する
    • Watson OpenScale の「インサイト」タブで結果を表⽰する
    https://cloud.ibm.com/docs/ai-openscale?topic=ai-openscale-crt-ov

    View full-size slide

  85. ï¡L¬m—“;ÚÖ`
    EF§ÜO£{Gbê;ôç./∑ƒ|Tè&E¢C'#êD)'>(&B)öL)¬R‡ÑT
    k◊L]hCѵ≈T†Fq÷ÉLdm©"L¬6©¬Qm3ÚmöL)¬]åÎßI.ÖH

    View full-size slide

  86. ï¡L¬-R‡Ñµ©"L¬]≈∆ú∑ƒP
    86
    5@ "<=#ÔBC4$†Fq÷ÉLd;{GNPú∑
    3@ ¶©"L¬mûAßm¶úi`56ß]◊ÿú∑
    ò@ ¶>)?%ì()ßmò«»]a©FaÑ`é¨]…iú∑
    ¥@ R‡./µ3ÚmöL)¬ mÀ[mZÔ]a©FaѶ≈∆ß]◊ÿú∑
    ïöL)¬ |ÕÔ;Ò2∑µÿTºΩm78]å,}I.ÖH
    ! è&E¢C'#êD)'>(&B)#ccc
    ! `íB‰ccc

    View full-size slide

  87. "<=#ÔBC4$;]ú∑ygLdEFaåÃüm}°Ö
    87
    "<=#ÔBC4$†Fq÷ÉLdªˇ¶¯OOAå"âT\ÕûŒ]ygLdEFaÑ`ÖµI¿∞π01-úH

    View full-size slide

  88. まとめ
    • AIの実⽤化には、「公平性」や「説明性」が
    重要な課題となってきている
    • 「IBM Watson OpenScale」は、AIの公平性の分析、
    不公平なバイアスの軽減、説明性の実現が可能である
    88

    View full-size slide

  89. 4. }úúÿŸ⁄ –ijÖ˙öNQIBM Developer
    ibm.biz/IBMDevJP
    øÉŸ⁄M¬«l◊F£;˙—Ú€)444]wª∑noôM]ÎÏ
    89

    View full-size slide

  90. }úúÿŸ⁄ – IBM Code Patterns
    https://ibm.biz/ibmcodejp
    ¥. “#Ni\7 “#"L¬¡Ldπ”̵◊£©ij§èLP*
    90

    View full-size slide

  91. Microsoft Azure ML × Watson OpenScale 学習資料
    91
    Watson OpenScale を利⽤して Azure での機械学習を
    モニタリングする (Code Patterns)
    Microsoft Azure で機械学習モデルを作成し、Watson OpenScale を利⽤して
    ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介
    https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/
    https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/
    GitHub IBM/monitor-azure-ml-with-watson-openscale

    View full-size slide

  92. AWS SageMaker × Watson OpenScale 学習資料
    92
    Watson OpenScale を利⽤して SageMaker での機械学習を
    モニタリングする (Code Patterns)
    AWS SageMakerで機械学習モデルを作成し、Watson OpenScale を利⽤して
    ペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介
    https://developer.ibm.com/jp/patterns/monitor-amazon-sagemaker-machine-learning-models-with-ai-openscale/
    https://github.com/IBM/monitor-sagemaker-ml-with-watson-openscale
    GitHub IBM/monitor-sagemaker-ml-with-watson-openscale

    View full-size slide

  93. }úúÿŸ⁄ – Twitter;Ï∑øÉŸ⁄mj1
    "<=]÷Ÿ⁄]}◊˙Ñ`Ö∑◊(cPQm唑
    :ï"<=
    @IBM_JAPAN
    :ï"<=#ÁC?#3)(a
    @IBMDeveloper_JP
    A)%)BCD)?#!$%C(&(Ê#ÿ&D&'#Ì)&$)?
    !dì?ê'ì¢aì
    @oniak3
    A)%)BCD)?#!$%C(&E)
    î&¢4¢aì#ê¢C'Cì
    @osonoi
    A)%)BCD)?#!$%C(&E)
    3&ìÊì#’&Âì'C
    @taiponrock
    A)%)BCD)?#!$%C(&E)
    !ÊCd4?&
    @ayatokura
    A)%)BCD)?#!$%C(&E)
    ΩÊCdC#gì¢aìEC
    @KyokoNishito
    A)%)BCD)?#!$%C(&E)
    gC?ìdC#Ω&EC
    @noricokt 93

    View full-size slide

  94. 免責事項
    IBM Developer Dojoは開発者の⽅を対象に、IBM Cloudを主とした技術情報をお伝えする⽬的で開催しています。
    講師や運営スタッフにより、開催毎に最適と判断した内容でお届けしています。
    現在、ハンズオンを伴う講義はお客様の費⽤負担がない環境と⼿順でご案内しています。講義終了後、不要に
    なりました制作物はお客様ご⾃⾝で削除をお願いいたします。クレジットカードの登録が伴わない場合、費⽤は
    ⼀切発⽣致しませんが、ご登録いただいたお客様はご注意ください。
    講師陣はみなさまの利⽤状況を個別に確認することはできません。
    ご理解とご協⼒をお願いいたします。
    利⽤したサービスの削除⽅法については講義の中でご案内します。
    ご不明な点がございましたら、当⽇確認をお願いいたします。
    講義終了後、 IBM Developer Dojoに関するお問い合わせは「Slack」にお願いします。それ以外のIBM Cloud
    のお問い合わせにつきましては、弊社サポートセンターまで、次のいづれかの⽅法でお問い合わせください。
    IBM Cloudダッシュボードの「サポート」メニューから「Case」を作成し、英語でご記⼊ください
    IBM Cloudサポートセンター「相談する」ボタンからチャットまたは電話でご連絡ください
    https://www.ibm.com/jp-ja/cloud/support
    ご参加ありがとうございました。
    94

    View full-size slide