Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習を「社会実装」するということ 2024年夏版 / Social Implementat...

機械学習を「社会実装」するということ 2024年夏版 / Social Implementation of Machine Learning July 2024 Version

機械学習を「社会実装」する際に待ち受けている罠と、その解決方法の考察 (2024年夏版) です。今回は、AI大活用時代といえる昨今において、我々は機械学習プロジェクトをどのように捉え、どのように向き合えばよいか?の羅針盤になる内容を盛り込みました。

本資料は東京大学グローバル消費インテリジェンス寄付講座 (GCI) 2024 Summerのゲスト講義回 (2部構成) の第2部で、第1部ではデータサイエンティストを目指す方向けの道案内となる講義を展開しています。あわせてご覧ください。
https://speakerdeck.com/brainpadpr/data-analysis-in-business-contexts-university-of-tokyo-gci-2024-summer

東京大学グローバル消費インテリジェンス寄付講座 (GCI) 公式WEBサイト
https://gci2.t.u-tokyo.ac.jp/

過去に同テーマで講義した際に使用した資料はこちら
https://speakerdeck.com/moepy_stats/social-implementation-of-machine-learning-2024
https://speakerdeck.com/moepy_stats/social-implementation-of-machine-learning-july-2023-version
https://speakerdeck.com/moepy_stats/social-implementation-of-machine-learning-2023
https://speakerdeck.com/moepy_stats/social-implementation-of-machine-learning-2022
https://speakerdeck.com/moepy_stats/social-implementation-of-machine-learning

More Decks by Moe Uchiike(内池 もえ)

Other Decks in Technology

Transcript

  1. 1 • ㈱ブレインパッド エンタープライズユニット シニアマネジャー エグゼクティブデータサイエンティスト • PMやモデル開発リーダーとして、複数の機械学習/最適化プロジェクトをローンチまで推進 • 松尾研究室

    DL4USの2期⽣。最終課題のテーマは 「おでんの需要予測」 • GCIでの講義は7度⽬ • 趣味はテニス、ロードバイク、作曲、ワインなど様々 ⾃⼰紹介 - 内池 もえ - 本⽇は、現場の前線に⽴つ実務家の⽴場からお話しさせていただきます! Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  2. アイスブレイク DX を 構想せよ と ⾔ われ たら 第 1

    章 A I プ ロジ ェク ト の 位置 づけ 第 2 章 2 0 2 4 年 の機械 学習 プロ ジェ クト 第 3 章 社 会 実装を 阻 む 「 罠 」 と、 その 解決 策 第 4 章 A I ⼤ 活⽤ 時代 に何 がで きるか ま と め 本 ⽇ お 伝えし たか ったこ と 3 ⽬ 次 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  3. 5 アイスブレイク DXを構想せよと⾔われたら (1/2) ‒ 課題 以下の状況を踏まえ、皆さんならどのような構想を練るかを考えてアウトプットしてみてください。 • 東証プライム市場に上場する⼤⼿製造業A社は、残念ながらDXの潮流に乗り遅れています。 •

    競合他社は既に積極的にDXに取り組んでいますが、A社では全社横断DX組織が⽴ち上がったばかりです。 • そんな中、A社経営陣はDXを強⼒に推し進める⽅針を固めました。 • あなたはA社のIT戦略の最⾼責任者として、ただちにDXの構想を練る必要があります。 • DXの予算は潤沢です。しかし、必ずやDXを達成し成果を出さなければなりません。 皆さんならどのようなことに、どのような順番で取り組む構想を練りますか? 3分間で考えてみてください Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  4. 6 アイスブレイク DXを構想せよと⾔われたら (2/2) ‒ 検討の視点の例 この問題に明確な答えがあるわけではありません。ですが、あらゆる視点で考えなければなりません。 Copyright © Moe

    Uchiike / © BrainPad, Inc. All Rights Reserved. DXの⽬的の視点 • 何のためにDXを達成しようとするのか • 組織内の強化 or 顧客体験価値向上 or 次世代標準を⽰し業界/社会をアップデート のどれを⽬指すか • DXを通じて⾃社のポジションや社会的役割をどう位置づけるか ビジョンと戦略の視点 • 3年後、5年後、10年後はどのような状態に達しているか、そのときの社会の状態はどうか • 何から始め、どのような道筋を辿って発展させていくか (DX展開ロードマップ) • 他社との差別化をどう図るか ⽅法論の視点 • どのような技術/ツールで何をどう解くか 投資対効果やガバナンスの視点 • 投資に⾒合った価値を創出できるか、その価値をどう測るか • セキュリティ等のリスクとどう向き合うか 組織の視点 • 社員を育成して内製で取り組むか、外部の⼒を借りるのか • DXの中核を担う⼈材をいかに確保し、⻑く活躍してもらうか (⼈事戦略と制度改⾰) • 社内の⽂化と社員の価値観をいかにシフトさせていくか
  5. 9 上記に加え、インダストリー (⾦融業/製造業 等) や取り組みテーマ (需要予測/画像認識 等) も様々 昨今はLLMなどの⽣成AIの活⽤を前提としたプロジェクトも⽴ち上がりつつある 研究機関の研究とは⽬的が異なることにも注意が必要

    (新規性よりも効果が出ることや使い続けられることが重視される) AIプロジェクトといっても、その在り⽅は様々です。本講義では、特に断りがない場合「サービスインをゴー ルとするBtoBの機械学習プロジェクト」を想定して話を進めます。 第1章:AIプロジェクトの位置づけ 様々なAIプロジェクト ビジネスモデル 要素技術 プロジェクトのゴール BtoB BtoC 機械学習 数理最適化 サービスイン PoC CtoC etc. ⽰唆出し etc. コスト削減 etc. 本講義の 主な話題 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  6. 11 機械学習などを要素技術とするプロジェクトは、⼀般的なV字モデルで完結しません。 第1章:AIプロジェクトの位置づけ 機械学習プロジェクトのプロセス (1/2) 開発 単体テスト 詳細設計 基本設計 要求分析

    要件定義 結合テスト 総合テスト UAT 開発の前段の 分析・実証実験 等の⼯程 サービスイン後の 効果測定・モデル改善 等の⼯程 対応 対応 対応 対応 ⼀般的な プロジェクトの プロセス 機 械学 習 プ ロジ ェ ク ト では こ れら の ⼯ 程 の 重 要度 が 特 に ⾼ い Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  7. 12 第1章:AIプロジェクトの位置づけ 機械学習プロジェクトのプロセス (2/2) 開発 単体テスト 詳細設計 基本設計 要求分析 要件定義

    結合テスト 総合テスト UAT 開発の前段の 分析・実証実験 等の⼯程 サービスイン後の 効果測定・モデル改善 等の⼯程 対応 対応 対応 対応 ⼀般的な プロジェクトの プロセス 第9回までの内容は おそらくここの⼀部 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  8. 13 Copyright © Moe Uchiike / © BrainPad, Inc. All

    Rights Reserved. ͜͜·Ͱେมͳ͜ͱΛ
  9. 17 第2章:2024年の機械学習プロジェクト ほとんどのプロジェクトが社会実装されずに終わっていた かつて、研究が進むことと社会で活⽤されることの間には⼤きな溝がありました。*1 上流フェーズ PoC 開発フェーズ 本番稼働 *1: 【参考】

    Rob van der Meulen and Thomas McCall. Gartner Says Nearly Half of CIOs Are Planning to Deploy Artificial Intelligence. Gartner. 2018. https://www.gartner.com/en/newsroom/press-releases/2018-02-13-gartner-says-nearly-half-of-cios-are-planning-to-deploy-artificial-intelligence, (参照2024-07-12) *2: Proof of Conceptの略語で、実証実験 (実際に上⼿くいくか確かめる活動) のこと ü アーリーアダプターが実験的にPoC*2 に取り組むという側⾯があった ü PoCが上⼿くいったとしても、その後のフェーズも⼀筋縄ではいかなかった ü しかし、PoCはそう簡単に上⼿くいくものではなかった ü 遡って、「上流フェーズでの問題設定が適切ではなかった」 ということも多々あった Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  10. 18 第2章:2024年の機械学習プロジェクト ほとんどのプロジェクトが社会実装されずに終わ…らない!? 「社会実装」と呼べる成果を⽬指して、いかに構想・実⾏するかが問われる時代へと突⼊しました*1。 しかし、依然としてそれを阻む「罠」は存在。実⽤段階ならではの課題に直⾯する機会も増えてきました。 上流フェーズ PoC 開発フェーズ 本番稼働 ü

    単に使えるだけでなく、より広い層への浸透や、社会のアップデートを伴う成果が期待されるように ü プロジェクトにおける経験知の蓄積や、プラットフォームの整備が加速 ü データ/モデル活⽤の⽅法論が進化、画期的な技術も複数登場*2 ü 技術・⽅法論・インフラの進化を以てしても、依然として難度は⾼い。実⽤段階ならではの課題も *1: 既に成功/失敗を経験したアーリーアダプターによる2周⽬の取り組みや、第2集団による競争劣位からの脱却を意図した取り組みが加速。実験で終われないプロジェクトが増えた *2: 2022年はStable Diffusion、Whisper、ChatGPTなどの登場に界隈が沸き、2023年以降はLLMそのものや、周辺技術と組み合わせたサービス開発の競争が激化。ついに⼀般層にも普及した Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  11. 19 第2章:2024年の機械学習プロジェクト 業界トレンドと求められるスキル 2024年現在、ビジネスの現場における機械学習には「社会実装」が求められるようになりました。⼟台となる 知識 (統計学や機械学習) を獲得し、変わりゆく業界トレンドを踏まえてスキルを磨いていくことが必要です。 ツールや⼿法、⽅法論の急速な進化と多様化 ü ツールや⼿法、⽅法論の膨⼤な組合せから課題に適したアプローチを選び抜き、組み合わせて応⽤する⼒

    ü 常識にとらわれず次々とアイデアを⽣み出す思考の柔軟性 いわゆる「AI倫理」に対する社会的要請の⾼まり ü 倫理的な観点で問題を捉え、現実的な解を導くための知識と思考⼒ ü サービスを形にする際に起こり得ることを事前に想定するための経験の幅広さと想像⼒ システム化やDXの流れで、プロジェクトは⼤規模化・複雑化 ü 3つの領域 (ビジネス⼒、データサイエンス⼒、データエンジニアリング⼒) をまたいだ経験知 ü より⾼いレベルの構想⼒、実⾏⼒ 競争の激化により、AIというだけでは勝てない時代に ü 批判的思考をもって、⾃ら問いを⽴て、⾔語化する⼒ ü 独⾃の付加価値をつけていくための発想⼒や、多様性の確保などによって発揮されるユニークスキル 単に使えること以上の成果への期待の⾼まり ü UI/UX等の⼈間との接点を洗練させるスキル (あるいは必要な⼈材を迎え⼊れた上でのチームワーク⼒) ü プロジェクト終了のその先や波及効果までを⾒据えて取り組み全体をデザインする⼒ 第2集団によるデータ利活⽤の本格化 ü 組織の⽂化や状況、ケイパビリティを踏まえて施策をデザインする⼒ ü 抽象的/不完全な情報を紐解き、具体的な形に落とし込んでいく⼒ 【凡例】 業界トレンド ü 求められるスキル Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  12. 20 第2章:2024年の機械学習プロジェクト データサイエンスの現場最前線では Copyright © Moe Uchiike / © BrainPad,

    Inc. All Rights Reserved. • データサイエンスは個別の解決策ではなくDX構想の要 • 失敗経験のある企業の「2周⽬需要」も盛況 • 新たな座組や⽅法論など「名前のない仕事」の要請 • AI/データサイエンスの応⽤範囲・応⽤可能性が急拡⼤ • 特定分野の専⾨性を掛け合わせた事例が次々に登場 Data Science × X • ⼤企業を中⼼にデータ活⽤はさらに加速 • ソリューションの⺠主化・次世代標準化は道半ば • AIディバイドが徐々に顕在化 • 構想を描ける⼈材、問いを⽴てられる⼈材に熱い視線 • コードが書けるだけでは代替可能 • データの「使い⼿」が求められている データ⼈材ニーズの変化 データ活⽤格差 構想策定ニーズの⾼まり
  13. 21 第2章:2024年の機械学習プロジェクト 【参考】DXの壁 Copyright © Moe Uchiike / © BrainPad,

    Inc. All Rights Reserved. DXが脚光を浴びる領域 企画 開発 効果検証 DXが到達しにくい領域 D X の 壁 業務適⽤ 定着化 現場業務への組み込み データ活⽤のチャレンジ 持続的成果 単発成果 経営効果: 経営効果:⼩ ここで⽌まりやすい ⼤
  14. 22 ੜ ੒ " * ࣌ ୅ Copyright © Moe

    Uchiike / © BrainPad, Inc. All Rights Reserved.
  15. 23 第2章:2024年の機械学習プロジェクト LLMをはじめとする⽣成AIの概況 LLM (⼤規模⾔語モデル) をはじめとする⽣成AIの急速な進歩により、AIを取り巻く環境は⼀変しました。 ⼀般層への普及 ⾮専⾨家でもChatGPTぐらいは使ったことがある or 聞いたことがある状況

    学⽣のLLM利⽤に対する⽴場を表明する教育機関/教員が出現 ⽇本中・世界中が注⽬ 2023ユーキャン新語・流⾏語⼤賞TOP10に 「⽣成AI」 が選出 OpenAI CEO サム・アルトマン⽒の発⾔や進退が世界中でニュースに 既存のタスクの代替は 既に⼀部実現 働き⽅の常識が徐々に変化 • 例:資料の⽬次作り、議論の観点出し、壁打ち相⼿として活⽤ • 例:GitHub Copilotを利⽤して効率的にコーディング できることが多様化 GPT-4等のLLMに加え、⽣成AIをベースにしたクリエイティブ⽤途のサービスも増加 APIやプラグインによる機能拡張が⼀般的に 「独⾃にカスタマイズしたGPT」 をノーコードで開発することが可能に (ChatGPTのGPTs) 開発競争の 加速・熾烈化 OpenAIのChatGPTは、画像解析機能を備えたマルチモーダル版モデルやGPTsのリリースでより便利に AnthropicはClaude2を、GoogleはGeminiをリリース 国内ではMetaのLlama 2等をベースにした⽇本語強化モデルの模索が進捗 LLMの性能評価⼿法の検証や、新たな⼿法の提案が進捗 AIガバナンスの 重要性の再発⾒ LLM等の⽣成AIの普及に伴い、実⽤段階ならではの問題が明らかに • 例:ハルシネーションや倫理的な問題、プロンプトインジェクション攻撃などの新たな脅威 • 例:なりすましの問題、プライバシーの保護、権利の問題や著作者の⼼情への配慮 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  16. 24 第2章:2024年の機械学習プロジェクト LLMをはじめとする⽣成AIの概況 LLM (⼤規模⾔語モデル) をはじめとする⽣成AIの急速な進歩により、AIを取り巻く環境は⼀変しました。 ⼀般層への普及 ⾮専⾨家でもChatGPTぐらいは使ったことがある or 聞いたことがある状況

    学⽣のLLM利⽤に対する⽴場を表明する教育機関/教員が出現 ⽇本中・世界中が注⽬ 2023ユーキャン新語・流⾏語⼤賞TOP10に 「⽣成AI」 が選出 OpenAI CEO サム・アルトマン⽒の発⾔や進退が世界中でニュースに 既存のタスクの代替は 既に⼀部実現 働き⽅の常識が徐々に変化 • 例:資料の⽬次作り、議論の観点出し、壁打ち相⼿として活⽤ • 例:GitHub Copilotを利⽤して効率的にコーディング できることが多様化 GPT-4等のLLMに加え、⽣成AIをベースにしたクリエイティブ⽤途のサービスも増加 APIやプラグインによる機能拡張が⼀般的に 「独⾃にカスタマイズしたGPT」 をノーコードで開発することが可能に (ChatGPTのGPTs) 開発競争の 加速・熾烈化 OpenAIのChatGPTは、画像解析機能を備えたマルチモーダル版モデルやGPTsのリリースでより便利に AnthropicはClaude2を、GoogleはGeminiをリリース 国内ではMetaのLlama 2等をベースにした⽇本語強化モデルの模索が進捗 LLMの性能評価⼿法の検証や、新たな⼿法の提案が進捗 AIガバナンスの 重要性の再発⾒ LLM等の⽣成AIの普及に伴い、実⽤段階ならではの問題が明らかに • 例:ハルシネーションや倫理的な問題、プロンプトインジェクション攻撃などの新たな脅威 • 例:なりすましの問題、プライバシーの保護、権利の問題や著作者の⼼情への配慮 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved. これは半年前の話 たった半年と思えないほど ⽣成AIを取り巻く状況は様変わり
  17. 25 第2章:2024年の機械学習プロジェクト 変わることと、変わらないこと ⽣成AI時代といっても、⼤切なことはさほど変わりません。 変わること • 適⽤する技術 (より進化し、できることが増加) • 利⽤する道具

    (より抽象化されて便利に) • 作業効率 (⽣成AIの活⽤で効率向上、⼀部作業は代替可能に) • 創造性を伴わないタスクの遂⾏能⼒の相対的な価値 (同じことをしても価値は⽬減り) • etc. 変わらないこと • ⾃ら問いを⽴てて思考することや、しっかりとした⾔語化の重要性 • 意思決定や責任を負う機能の多くを⼈間が担うこと • ⼈々の習慣・価値観を変化させる難しさ (⼯夫とパワーが変わらず必要) • データサイエンスを取り巻く状況が 「変化し続ける」 こと • etc. Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  18. 28 第3章:社会実装を阻む「罠」と、その解決策 ⼀般的な機械学習プロジェクトのプロセス 第1章で触れた⼯程を細分化し、並べ直してみます。Kaggle*1のように初めから「綺麗な問題」が⽤意されて いるわけではなく、必要なタスクが多岐にわたることがわかります。 業務理解 課題抽出 データ収集 基礎集計 基礎分析

    問題設定 PoC 予算確保 要件定義 設計・開発 ・テスト UAT パイロット 稼働 本番稼働 効果測定 保守・運⽤ 1 2 3 4 5 6 7 8 9 10 11 12 13 *1: 機械学習などデータに関連したコンペティションを提供するプラットフォーム。企業などの組織が課題とデータを投稿し、世界中のデータサイエンティストがより良い結果を⽬指してモデル構築に挑む Kaggle公式Webサイト: https://www.kaggle.com/ Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  19. 29 第3章:社会実装を阻む「罠」と、その解決策 現実 前スライドで機械学習プロジェクトの膨⼤なタスクについて⽰しました。 しかし、それだけではありません。これらのプロセスには、たくさんの 「罠」 が待ち構えています。 業務理解 課題抽出 データ収集

    基礎集計 基礎分析 問題設定 PoC 予算確保 要件定義 設計・開発 ・テスト UAT パイロット 稼働 本番稼働 効果測定 保守・運⽤ 1 2 3 4 5 6 7 8 9 10 11 12 13 現実のデータは汚い! (データが「印刷物」で「間違っている」ことも……) 問題設定は難しい (できること≠利益) モデルの性能、どう測る? (モデルの性能≠説得⼒) 様々な制約 (インフラ、政治 等) その開発、誰がやる? (分析のプロ≠開発のプロ) 信頼を得るのは難しい (利害の不⼀致) 思わぬところに考慮漏れ (未知のデータのIF 等) 学習データにない未来 (⾃然災害、どうする?) ビジネスインパクト、どう測る? (モデルの性能≠利益) 順⾵満帆とは限らない (継続の難しさ) その課題は本質か? (課題感の偏り) ふりだしに戻る (報われない集計・分析) 進むも地獄、退くも地獄 (曖昧な出⼝戦略) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  20. 30 第3章:社会実装を阻む「罠」と、その解決策 【業務理解・課題抽出】その課題は本質か? 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 効果の⾒込める施策が明らかであり、かつ組織内の⼤半が同じ⽅向を向いている 罠 解決策 • 上層部が掲げるDX構想と現場の実態に乖離があり、 地に⾜のついた取組みに繋がらない • 本質的 (潜在的) な課題を認識できず、対症療法的 なアプローチに終始してしまう • コスト削減などの守備的な課題へのアプローチが 優先されてしまい、業務の在り⽅や⾏動様式の変 化に繋がらない • 課題の⾔語化が不⼗分で、解決の対象が曖昧 ü 複数のレイヤー・役割の関係者にヒアリングした上 で、現実的なことから取り組んでいく計画を⽴てる ü 課題だと聞いた内容を真に受けず、ヒアリング結果 を踏まえて深く考察し、本質的な課題にたどり着く ü ⽬的ドリブンで取り組むべき課題について検討し、 必要に応じて新たな付加価値を⽣むための「攻めの 投資」をする ü 解決の対象となる課題を丁寧に構造化・⾔語化して 解像度を上げ、関係者間で合意をとる この段階で何を課題とするか?がプロジェクトのその後を左右します。 ビジョンや果たすべき社会的使命との整合性を保った上で、地に⾜のついた取組みを⾏うことが重要です。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  21. 31 第3章:社会実装を阻む「罠」と、その解決策 【データ収集】現実のデータは汚い! 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 構造化されたデータがクラウド上の列指向DBに格納されており、容易に収集可能 罠 解決策 • 「利⽤できるデータがたくさんある」 と聞いてい たが、そのデータは実は印刷物であった • データはあるが、中⾝の数値や⽂字列が何を意味 するかがわからない • データはあるが、データ保有部⾨との関係が悪 く、データを渡してもらえない • データはあるが、常に上書き処理されており、蓄 積されていない ü 現状のデータの品質について、関係者⼀同で事前 に認識を合わせる ü 必要なメタ情報を可視化した上で、現実との差分 を把握し、情報の収集や提供依頼をする ü 役職者からトップダウンで業務命令が下るように 関係者との調整に奔⾛する ü データを定期的に蓄積するスキームを作り、すぐ にデータの蓄積を開始する ⾼度なデータ活⽤が想定されたデータはまだ少なく、データ整備を推進していく気概が求められます。 また、昨今個⼈情報の取扱いが厳しくなりつつあることにも注意が必要です。 (GDPRや改正個⼈情報保護法) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  22. 32 第3章:社会実装を阻む「罠」と、その解決策 【基礎集計・基礎分析】ふりだしに戻る 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 データ分析基盤とデータ定義書が整備されており、偏りのない正確なデータが容易に利⽤可能 罠 解決策 • ⼀部のデータのみを受領しており、⺟集団に偏り がある • ある程度分析を進めた後に、オペレーションミス と思しき異常値の存在が確認された • 同⼀IDの商品が複数存在するように⾒えるが、 データ定義書がなく理由がわからない • データの性質上、合理的に補完 (補間) することが 不可能な⽋損値の存在が確認された ü 偏りのないデータを⺟集団として集計・分析でき るように事前に⼿を打っておく ü 「初⼿・データを⾒る」 を重要視する (データ収 集の段階で実施しておくのが望ましい) ü テーブル間 (あるいはファイル間) の関係性につい て推測しつつ、関係者に事実関係を確認する ü ⽋損値の取扱い⽅針について関係者と協議し決定 するとともに、影響について整理し、関係者間で 共通認識にしておく 前提が誤っていれば、いかなる集計・分析結果も台無しです。 正しい解釈と作業の効率化のため、事前の準備に万全を期しましょう。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  23. 33 第3章:社会実装を阻む「罠」と、その解決策 【問題設定】問題設定は難しい 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 解くべき問いと解ける問いが⼀致しており、特段疑問を抱かずに機械学習の問題に落とし込める 罠 解決策 • 賞味期限の⻑い「かんぴょう」の需要量を完璧に 予測できるモデルが完成したが、ビジネス的に意 味があるとは到底思えない • 実はMAE等の指標よりも「⼤外し」をなくすこと が重要であることを後から指摘された • 問題⾃体は解けるが、解けば解くほど⾚字が拡⼤ する⾒込みである • 99%の精度を達成したが、そもそも厳密に解ける 必要があり、実⽤化が⾒込めない ü 本当に解くべき問いは何か?について、必要なス テークホルダーを巻き込んで議論する ü 機械学習の問題としての解きやすさと、ビジネス ⾯の効果のバランスのとれた問題を設定する ü 現実的なコスト感で対応できる⾒通しが⽴つかを 考える (スケーラビリティ等も重要な要素) ü 機械学習にこだわらず、解くべき問いに適した⼿ 法を選択する (ルールベース/数理最適化) 「解くべき問い」と「解ける問い」は往々にして⼀致しません。 時には機械学習以外の⽅法を検討する必要があります。 (数理最適化等も課題解決のための強⼒な⼿段) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  24. 34 第3章:社会実装を阻む「罠」と、その解決策 【PoC】進むも地獄、退くも地獄 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 特に躓くことなく予定通りにPoCが進捗し、実⽤化できることが誰の⽬にも明らか 罠 解決策 • 結果の良し悪しを判断できず、出⼝が⾒えないま まずるずるとPoCを継続してしまう • なかなか成果が出ず、いわゆる「PoC死」に⾄っ てしまう • モデル⾃体の改善にのみ全⼒を注いでしまう • リッチな検証の仕組みを整えてPoCに挑んだが、 PoC終盤で⼤きな仕様変更を余儀なくされる課題 が⾒つかってしまい、対応できなくなった ü 事前にPoCのゴールを定量・定性の両⾯で定義 し、期間を区切って評価する (⽐較対象を決めて 相対評価するのも⼿) ü できないことがわかるのも⼀つの成果と捉え、解 く問題やアプローチを再考する ü モデルそのものだけでなく、モデル周辺のあらゆ る部分を⼯夫する (劇的に改善することがある) ü PoC期間中に新たな課題が⾒つかることを⾒越 し、⼩回りの利く仕組みで複数回の検証を回す (Quick & Dirty) ゴールを明確に定めてPoCに取り組み、結果が出なければ戦略的撤退を図るのも勇気です。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  25. 35 第3章:社会実装を阻む「罠」と、その解決策 【PoC】モデルの性能、どう測る? 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 どこからどう⾒てもモデルの性能、およびビジネス上の効果に疑いの余地がない 罠 解決策 • 機械学習に過度の期待をされており、意思決定者 の期待を意図せず裏切ってしまう • 意思決定者が性能指標を理解できない、あるいは モデルの性能がビジネス上の利益に結びつく実感 が湧かず投資判断ができない • 予測値をどれくらい信⽤できるかがわからない • モデルの解釈性が低く、そのモデルを信頼する根 拠として不⾜がある ü 「良いモデル」 を緻密に定義し、事前に役職者を 含めて合意を取っておく ü 誰にでもわかりやすく、かつ本質を損なわない指 標を定義した上でバックテストする ü 予測の不確かさを扱える⼿法を選択する ü 無理に深層学習に寄せず、回帰⽊などのモデルも 候補に⼊れた上で、性能と解釈性のバランスをと る ü SHAP等で特徴量の寄与度の分析を試みる 基本的に、「交差検証しました。はいOK!」とはならないと考えておくべきです。 昨今は「説明可能なAI (XAI)」が注⽬を集めるなど、モデルの説明可能性に関⼼が⾼まっています。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  26. 36 第3章:社会実装を阻む「罠」と、その解決策 【要件定義】様々な制約 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 ベストプラクティスに基づき、⼀般的に良しとされる要件を過不⾜なく定義していける 罠 解決策 • 既存のデータ基盤との兼ね合いやセキュリティ上 の制約により、クラウドコンピューティングへの スムーズな移⾏が難しい • 既存の仕組みを変えたくない部署の発⾔権が社内 で強い • 要件がオーバースペックで⾚字を⾒込んでしまう • 個別要件の対応に追われ、横展開が難しくなる ü 既存の基盤をある程度活かした仕組みを構築し、 段階的に移⾏していく計画を⽴てる ü 役職者を巻き込み、定期的にディスカッションの 場を設けて意思決定を促す ü 最終的に達成したいことから逆算し、要件を取捨 選択。⾒送った要件は後続フェーズで検討する ü 横展開を⾒越して、汎⽤的な要件と個別要件を分 けて管理・開発する 本番稼働を⽬指すとなると、個別の事情と汎⽤性のバランスを意識して要件を定義していく必要があります。 「理論の理解」や「実装⼒」では太⼑打ちできない領域もあります。得意な⼈に任せてしまうのも⼿です。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  27. 37 第3章:社会実装を阻む「罠」と、その解決策 【設計・開発・テスト】その開発、誰がやる? 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 データサイエンスとエンジニアリングの両⽅に⻑けた⼈材が、プロジェクトを⼀貫して主導する 罠 解決策 • PoCが終わり、いよいよ開発フェーズとなったも のの、いざ本番稼働させるシステムを開発すると なるとどのように開発していけばいいかわからな い • データサイエンスに⻑けたメンバーとエンジニア リングに⻑けたメンバーがそれぞれいるが、コ ミュニケーションに難があり両⾞輪が動かない • PoCで書いたコードを本番環境に移植したいが、 中途半端に抽象化されており取扱いに困る ü データサイエンスの担当者の他に、機械学習まわ りのエンジニアリングの担当者 (機械学習エンジ ニア 等) をアサインする (可能であれば初期段階 からアサインしておき、スムーズに本番稼働させ るシステムの開発に⼊れるように準備しておく) ü チーム内で最低⼀⼈が 「翻訳者」 となり、メン バー間のコミュニケーション促進の役割を担う ü PoCの段階からシステムリリースを⾒越してクラ ス設計等を丁寧にしておくか、あるいは敢えて Jupyter Notebookで書き下す以上のことをしない データサイエンス分野の成熟に伴い専⾨分化が進んでいる側⾯と、実務上の必要性からエンジニアリングに ⻑けた⼈材が増えている側⾯の両⽅があります。 (現場所感) 状況に応じてベストな編成・役割分担を。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  28. 38 第3章:社会実装を阻む「罠」と、その解決策 【UAT】信頼を得るのは難しい 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 モデルの性能が良く、現場からの評判も上々。スムーズに次のフェーズに移⾏できる 罠 解決策 • 性能の良いモデルを提供しても現場担当者には旨 味がなく、既存のオペレーションを変えたくない 層からネガティブな意⾒が出る • 予測が外れたごく⼀部について現場担当者に固執 されてしまい、モデルを信頼してもらえない • やらされている感や、利⽤者のプライドを傷つけ ることに繋がってしまう • 確かにモデルの性能は良いが、実際に現場のオペ レーションに組み込んでみたところ、使いにくい 部分があることがわかった ü 予測が当たった場合のメリットについて、経営⽬ 線だけでなく、現場⽬線で整理する ü 予測が外れた原因を可能な範囲で分析し、説明し て納得してもらう ü 「選択の⾃由」 を残し、最終的な意思決定を利⽤ 者に委ねるサービス仕様を検討する ü UI/UXの設計・開発⼯数を確保し、システム利⽤ 時のハードルを下げる ü ユーザーからの意⾒を漏れなく吸い上げ、改善す べき点については改善を試みる 利⽤者に 「使う側のメリット」 を提⽰し、Win-Winの関係でプロジェクトを進めていくのが正解です。 いかに⾼度なモデルも、結局のところ使ってもらえなければ宝の持ち腐れです。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  29. 39 第3章:社会実装を阻む「罠」と、その解決策 【パイロット稼働】思わぬところに考慮漏れ 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 PoCと同様の性能が出ており、⽬⽴ったバグもなく順調に稼働している 罠 解決策 • PoC時と同等の性能が⽰せず、本番稼働に踏み切 れない • マスターの内容が変化しており、存在しないはず のカテゴリカル変数が特徴量として投⼊されてし まう • 定められた時刻までに必要なデータがIFされてこ ず、必要な特徴量がNULLのまま予測処理が⾏わ れてしまう • 連携されたデータの不備が原因で不具合が⽣じた にもかかわらず、モデルの責任にされてしまう ü PoC時と同じ品質のデータが使えるとは限らない ことを認識し、可能な限り⼿を打っておく ü 本番に近い形でバックテストを実施し、ある程度 の性能が出ることを担保しておく ü 機械学習モデルによる予測値を過信せず、セーフ ティーネットとして異常値を回避するための仕組 みを複数⽤意しておく ü 各関係者が責任を持つべき領域 (責任分界点) をあ らかじめ明確にしておく たった⼀度の失敗で、機械学習モデルのような 「わかりにくいもの」 に対する信頼は崩れ去ります。 そうならないために、「事故が起きない仕組みづくり」 を徹底する必要があります。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  30. 40 第3章:社会実装を阻む「罠」と、その解決策 【本番稼働】学習データにない未来 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 システムは順調に稼働。社会情勢に⼤きな混乱はなく、モデルは質の⾼い予測をし続けている 罠 解決策 • 学習データの期間に存在しないイベントが⾏われ ることとなった • 観測史上最⼤の台⾵が⽇本列島に上陸し、猛威を 振るう⾒込みである • 突然のパンデミック。モデルはパンデミック時の 需要量の傾向を学習しておらず、妥当な⽔準の予 測ができる保証がない ü 解釈性の⾼いモデルやルールベースのアルゴリズ ムとの2段構えの仕組みを予め構築し、必要に応 じてスイッチできるようにしておく ü 緊急時に運⽤回避できるよう、緊急時⽤のオペ レーションを組み、⽇頃から周知しておく ü 現場の状況を丁寧にヒアリングしつつ、モデルの 利⽤可否や再開タイミングについて⼀つひとつ判 断する コロナ禍に限らず、経験したことのない出来事が起こる可能性は多くの場合に存在します。 想定外の状況に備え、システムや運⽤の設計に反映しておくことが求められます。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  31. 41 第3章:社会実装を阻む「罠」と、その解決策 【効果測定】ビジネスインパクト、どう測る? 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 モデルは期待を上回る性能を⽰し続けており、具体的なアクションにより利益に繋がっている 罠 解決策 • モデルの性能は⾼い値を⽰しているが、それが具 体的にどのようにビジネスに貢献できているかが わからない • モデルの性能とビジネスへの貢献度に相関はある が、因果がわからず効果を測れない • モデルによる予測結果が具体的なアクションに繋 がっていない ü モデルの性能が必ずしもビジネス上の効果に結び つかないことを認識し、ビジネス上のインパクト を定量的に可視化する指標を新たに作成する ü A/Bテストや統計的因果推論などにより、アク ションとビジネスへの貢献度の因果関係を明らか にする ü モデルによる予測結果を意思決定などのアクショ ンに確実に繋げる 「出⼝」 を⽤意する (数理最適 化なども選択肢の⼀つ) ビジネス上の効果が⽰せなければ、次の投資判断にダイレクトに響いてきます。 そうならないために⼿を打つことが、機械学習の 「社会実装」 の拡⼤に繋がります。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  32. 42 第3章:社会実装を阻む「罠」と、その解決策 【保守・運⽤】順⾵満帆とは限らない 業務理解 課題抽出 1 データ収集 2 基礎集計 基礎分析

    3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発 ・テスト 8 UAT 9 パイロット 稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 ローンチ後、特に問題なくモデルを運⽤できており、システム改修の必要性も特段ない 罠 解決策 • データ取得元のテーブル定義に認識していない変 更があり、予測前処理時にエラーを吐いてしまう • 特徴量として使っていたデータが諸般の事情で使 えなくなる (データ提供元の⽅針変更、組織の意 向 等) • ⽇々利⽤しているモデルの性能が徐々に下がって しまう • 機械学習の運⽤に強いチームが存在せず、⻑期的 な運⽤に適したチーム・⼈材が確保できない ü 変更情報をキャッチできないことがないよう、ス テークホルダーとの情報共有のスキームを作って おく ü 複数のリスクの⾼いデータの使⽤を避ける ü モデルの再学習や、新たな学習済モデルへの差し 替えの仕組みをシステムや運⽤に組み込んでおく ü 複雑かつ解釈性の低いモデルの利⽤を避け、運⽤ の難易度を下げる ü 運⽤タスクのテンプレ化・抽象化を進め、⾼度な 専⾨性を必要としない領域を拡⼤する 機械学習プロジェクトでも、“負の遺産” を残さないようにシステム・運⽤を設計することが必要不可⽋です。 また、時間の経過と共に変わりゆくトレンドを捉え続けるための仕組みづくりも必要です。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  33. AI⼤活⽤時代にあっても、社会のアップデートを⽬指す私たちに求められる素養*1は変わりません。 第4章:AI⼤活⽤時代に何ができるか データサイエンティストに求められる素養 44 基本の道具を使いこなせるか 理系学部レベル以上の数学や統計学の知識と応⽤⼒、あるいはこれらの獲得のためのポテンシャルと意欲 外部環境の変化に 追随できるか 変わりゆく外部環境を受け⼊れて⾃⼰研鑽を継続していく⼼構え 利⽤経験のない技術やツールを敬遠せずに試す習慣

    ビジネスの場での 価値創出を⽬指せるか ビジネスの場における価値創出への直接的な貢献がミッションであると理解し、それを⽬指していけること どのような相⼿でも臆せずにコミュニケーションが取れること ⾃⾝の⼒で 考え抜くことができるか 思考⼒と応⽤⼒を備えていること 前例にとらわれず、⾃ら考え解決策を導き出す⼒ 必要な対策を事前に施すためにあらゆる状況を想像する⼒ 想定外の困難を打破する胆⼒とラストマンシップ データをリスペクトし 情熱を注げるか データと向き合う時間を苦にせず、情熱を持ち続けられること データが語る事実を曲げずに結果を受け⼊れ、誠実に対応する態度 *1: 詳しくはこちらのブログ記事を。内池もえ・兵藤誠・川崎悠介. 【社員が解説】データサイエンティストとは?仕事内容やAI・DX時代に必要なスキル. DOORS DX Media BY BrainPad. 2023. https://www.brainpad.co.jp/doors/knowledge/01_about_data_scientist/, (参照2024-07-12) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  34. 45 スキルを磨くのはもちろんのこと、マインド⾯も⼤切にしつつ、新たな時代をつくっていただきたいです。 第4章:AI⼤活⽤時代に何ができるか 特に気に留めてほしいこと ⽬的 思考 ü ⽬的を強く意識し、⽬的に沿った判断・⾏動をする (本来の⽬的から逸れる引⼒に屈しない) メタ

    認知 ü ⾃らの強みと弱みを客観的に捉え、強みを活かせる可能性を模索する 学び 続ける ü 変化の速い時代に取り残されないように、いつからでも、いつまでも学び続ける 時代を つくる ü 前例にとらわれず、新たな価値の創造に挑む (∵機械学習プロジェクトは世界初の挑戦ばかり) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  35. 46 第4章:AI⼤活⽤時代に何ができるか 持てる⼒をフル活⽤せよ! 参考: ⼀般社団法⼈データサイエンティスト協会. 2019年度スキル定義委員会活動報告. 2019. p.6. https://www.datascientist.or.jp/symp/2019/pdf/1115-1155_skill.pdf, (参照2024-07-12)

    • 3つの⼒はそれぞれ更に磨いていく • 3つの⼒は相互補完的ではなく、掛け合わせることが前提 • 3つの⼒に留まらず、その補集合のありとあらゆるものが次代を拓く⼒に S データ サイエンス⼒ E データ エンジニアリング⼒ B ビジネス⼒ • 3つの⼒を駆使してデータを活⽤ • 3つの⼒は相互に補完し合う関係 • 3つの⼒で許される場⾯が多かった これから これまで C S E B S データ サイエンス⼒ E データ エンジニアリング⼒ B ビジネス⼒ omplement 重なる領域 を広げる 3つの⼒に統計学や機械学習以 外の専⾨性を掛け合わせたり、 その⼈ならではのバックグラウ ンドや強みを活かしたりする これまでの学び、経験、感じたことを総動員して「新たな価値の創出」に挑戦してみませんか。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  36. 関連情報 経済産業省. AIガバナンス. 2021. https://www.meti.go.jp/policy/it_policy/ai-governance/index.html, (参照2024-07-12) DOORS編集部. AIを社会実装するためにデータサイエンティストができること. DOORS DX

    Media BY BrainPad. 2024. https://www.brainpad.co.jp/doors/contents/social_implementation_of_ai_data_scientist/, (参照2024-07-12) 経済産業省. 「⽣成AI時代のDX推進に必要な⼈材・スキルの考え⽅」を取りまと めました. 2023. https://www.meti.go.jp/press/2023/08/20230807001/20230807001.html, (参照2024-07-12) ㈱ブレインパッド 有志. OpenBrainPad Project. 社内にある技術資料の公開等を⾏っています https://brainpad.github.io/OpenBrainPad/, (参照2024-07-12) 個⼈情報保護委員会. 改正個⼈情報保護法 特集. 2020. https://www.ppc.go.jp/news/kaiseihou_feature/, (参照2024-07-12) ⼤城信晃・マスクド・アナライズ・伊藤徹郎・⼩⻄哲平・⻄原成輝・油 井志郎. AI・データ分析プロジェクトのすべて. 技術評論社. 2020. https://gihyo.jp/book/2021/978-4-297-11758-0 安野たかひろ(東京都知事候補)公式ホームページ. 2024. https://takahiroanno.com/, (参照2024-07-12) 安井翔太. 効果検証⼊⾨̶̶正しい⽐較のための因果推論/計量経済学の 基礎. 技術評論社. 2020. https://gihyo.jp/book/2020/978-4-297-11117-5 ゆずたそ・渡部徹太郎・伊藤徹郎. 実践的データ基盤への処⽅箋̶̶ビジ ネス価値創出のためのデータ・システム・ヒトのノウハウ. 技術評論社. 2021. https://gihyo.jp/book/2021/978-4-297-12445-8 岡野原⼤輔. ⼤規模⾔語モデルは新たな知能か̶̶ChatGPTが変えた世 界. 岩波書店. 2023. https://www.iwanami.co.jp/book/b625941.html 内池もえ・兵藤誠・川崎悠介. 【社員が解説】データサイエンティストとは?仕 事内容やAI・DX時代に必要なスキル. DOORS DX Media BY BrainPad. 2023. https://www.brainpad.co.jp/doors/knowledge/01_about_data_scientist/, (参照2024-07-12) 森下光之助. 機械学習を解釈する技術〜予測⼒と説明⼒を両⽴する実践テ クニック. 技術評論社. 2021. https://gihyo.jp/book/2021/978-4-297-12226-3 国⽴研究開発法⼈産業技術総合研究所. 機械学習品質マネジメントガイドライン 第3版. 2021. https://www.digiarc.aist.go.jp/publication/aiqm/guideline-rev3.html, (参照2024-07-12) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved. 49 経済産業省. AI事業者ガイドライン(第1.0版). 2024. https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/20240419_report.html, (参照2024-07-12)
  37. 51 ⽣成AIの業務利⽤推進チームに配属されたら、どうする? (1/2) 以下の状況を踏まえ、皆さんなら何を考え、どのようなことを実践するかを理由と共にアウトプットしてみてください。 状況 • 製造業を営むA社では、古くから伝統的な統計⼿法を⽤いたQC (品質管理) に⼒を⼊れていました。 •

    ⼀⽅で、昨今の機械学習等の新たな⼿法を取り⼊れることにはあまり積極的ではありませんでした。 • しかし、時代が進み状況が⼀変します。⽣成AIの世界的な盛り上がりや競合B社のDX成功事例を受けて、A社は⾃社の業 務に積極的に⽣成AIを活⽤していく⽅針を固めました。 • そんな折、あなたはデータサイエンティストとしてA社に中途採⽤され、⽣成AIの業務利⽤推進チームに配属されました。 • 周囲に経験豊富なデータサイエンティストはおらず、どうやら実質的なリーダーとして周囲をリードしていく必要があ りそうです。 皆さんなら何を考え、どのようなことを実践しますか? 3分間で考えてみてください Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  38. 52 ⽣成AIの業務利⽤推進チームに配属されたら、どうする? (2/2) 考えるべきこと (例) • 何をどう解決するのか • そもそも、解決したい業務上の課題は何か •

    製造業における⽣成AI適⽤の先⾏事例/類似事例はあるか • 作業効率の底上げ等の守りに徹するか、それとも攻める姿勢をとるか • ⽣成AIの業務利⽤は⽬的達成のためのベストな⼿段か • 実現可能か • 現時点における⽣成AIの性能で実現可能か • 学習やチューニングに利⽤するデータを確保できるか • 社内のケイパビリティは⼗分か (技術⼒、ドメイン知識、実⾏⼒) • ⽣成AIの活⽤を検討・推進する⼈材を確保 (育成、採⽤ 等) できるか 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々! • 効果は出るか • 投資に⾒合ったリターンが得られるか (⾦銭⾯、その他) • 効果をどのように測定するか、できるか • 利⽤者側のリテラシーは⼗分か、いかに啓蒙活動をしていくか • ⽣成AIの利⽤によって発⽣しうるリスクは想定/コントロール可能か • 何をすべきか • 関係者に対するヒアリングによる課題感の把握 • 解決したい課題のしっかりとした構造化・⾔語化 • ⽬指す姿や実現可能性に関する対話と期待値調整 • 部署を跨いだプロジェクトチームの⽴ち上げ この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならないことがわかります。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  39. 53 考えてみよう:パンデミック時の需要予測、どうする? (1/2) まずは1つ課題を出します。以下の状況を踏まえ、考えたことをアウトプットしてみてください。 状況 • 皆さんは、世界中に店舗を展開している和⾷チェーンにおいて、機械学習による需要予測プロジェクトのPMを務めています。 • このプロジェクトでは、翌⽉に必要になる⾷材の需要量をモデルで予測し、その予測結果をもとに⾷材が発注・納品されることを⽬指します。 •

    既に皆さんは数々の試練を乗り越え、いよいよ本番稼働というタイミングになりました。 • ところが、このタイミングでパンデミックが起こってしまいました。このパンデミックはいつ収拾がつくかわかりません。 • 学習データは過去3年分しかなく、かつ過去3年間に類似のパンデミックは起こっていません。 皆さんならPMとして、この問題にどう⽴ち向かいますか? 3分間で考えてみてください Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  40. 54 考えてみよう:パンデミック時の需要予測、どうする? (2/2) 思いつくこと (例) • そんな時期に予測が当たるはずがないじゃないか! • そもそも店舗は開いているのか? •

    需要予測が 「⼤外れ」 した場合の経済的損失やフードロスは? • その責任は⼀体誰が取るのか? • そもそもこの期間にモデルを稼働させるのか? 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々! • 仮に稼働させるとして、予測値は 「後処理」 するべきではない か? • その 「後処理」 は何が適切か?ルールベースなのか? • ローンチを遅らせてみるのはどうか? • ローンチを遅らせたとして、パンデミックの期間のデータはモデル に学習させていいのか? いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければ ならないことがわかります。 この事実に気づくことが機械学習の 「社会実装」 に直結します。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  41. 55 考えてみよう:モデルの品質、どこまで保証できる? (1/2) 以下の状況を踏まえ、考えたことをアウトプットしてみてください。 状況 • 皆さんは法⼈向けに受託分析サービスを提供する企業に勤務しており、機械学習による与信審査プロジェクトのPMを務めています。 • プロジェクトのミッションは、あらゆるデータを活⽤し、より良い与信審査システムを構築することです。 •

    クライントの⾦融機関における、過去の顧客のID、年齢、性別、居住地、雇⽤形態、勤続年数、家族構成、貸し倒れの有無などに加え、 有償の市況データなども収集し、これらのデータを利⽤して貸し倒れリスク予測モデルを構築しました。 • 幸いなことに、PoC時に構築したモデルの予測性能がそれなりの⽔準に達しているように⾒えたため、ステアリングコミッティで検証結 果を報告したところ、システムリリースを⽬指してプロジェクトを前進させるように依頼されました。 • プロジェクトはクライアント企業の社⻑直轄で、「最終的に精度90%を達成すること」 「品質が保証されること」 「SLA* の提⽰」 を強 く求められています。 皆さんなら、どのように判断し、どのように⾏動しますか? 3分間で考えてみてください *: Service Level Agreementの略。提供するサービスの品質保証レベルに関する合意事項。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  42. 56 考えてみよう:モデルの品質、どこまで保証できる? (2/2) いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければ ならず、思考停⽌させてもらえないことがわかります。皆さんはどこまで想像できたでしょうか? 思いつくこと (例) • 精度90%の根拠はあるのか?達成すると何が嬉しいのか? •

    精度とは何を指しているのか?* • データさえ増やしていけば改善され続けると誤解されていない か? • 機械学習モデルの精度を保証するのは現実的なのか? • 検証時の前提条件は本番環境で満たせるのか? • 有償の市況データを調達し続けられる保証はあるか? • モデルの検証結果に嘘はないか? (想定外のリーク) 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々! • この先市況が⼤きく悪化した場合、モデルの予測性能に再現性 はあるのか? • 予測性能そのもの以外にも、可⽤性や処理速度、モデルの解釈 性や公平性などが保証対象となり得るのではないか? • 動作保証ならできる可能性があるが、そのためには前提条件や 免責事項を明⽰する必要があるのではないか? • 性別を特徴量とする与信審査システムは公平性を⽋いており、 社会的要請を満たしていないのではないか? *: ⼆値分類の正解率、適合率、属性別の貸し倒れ率の誤差、これらに貸し倒れ時の損害規模で重みづけする必要の有無、あるいは属性別の貸し倒れリスクをある程度の幅で予測できればいいのか 等が考えられる。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  43. 57 以下の状況を踏まえ、プロジェクトを推進するべきかと、その結論に⾄った理由 (または評価観点) をアウトプットしてみて ください。結論が出せない場合は、どのような情報が不⾜しているかを列挙してみてください。 状況 • 皆さんは、データ分析や機械学習を扱う受託分析企業*1に勤めています。 • ここ数年間、⽇本全国に店舗を展開する和⾷チェーンから案件を受託し、機械学習による需要予測プロジェクトのPMを務めてきました。

    • このプロジェクトでは次のタスクに取り組み、モデルや機能のほとんどを仕上げることができました。 1. 翌⽉に必要となる⾷材の需要量を予測するモデルの構築 2. モデルによる予測結果をもとに⾷材が発注・納品されるシステムの開発 • ところが、ローンチを間近に控えたある⽇、突如訪れたパンデミックにより、プロジェクトを凍結させることになりました。 • その後、2年の⽉⽇が流れてパンデミックが収束に向かい始めたタイミングで、和⾷チェーンからプロジェクト再開の打診を受けました。 *1: 顧客企業に伴⾛し、データや機械学習などに関する顧客企業の課題を解決することを主な事業内容とする企業 和⾷チェーンからの打診を受け⼊れ、再びプロジェクトを推進していくべきでしょうか? 3分間で考えてみてください 考えてみよう:このプロジェクトは推進するべきか? (1/2) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  44. 58 観点 • そもそも社会的意義はあるか、社会を変⾰しうるか • 機会費⽤を⽀払う価値はあるか (もっと有益な取組みはないか) • パンデミック前後のデータで上⼿く学習できるか •

    プロジェクトを凍結している間により良い⼿段が出てきていないか • 凍結当時のアーキテクチャや運⽤設計を流⽤できるか、すべきか • 改めて開発・運⽤体制を組み、維持していけるか • 改正個⼈情報保護法などの法規制の影響を受けないか 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々! • 和⾷チェーンのインバウンド需要はどうか (これまでとこれから) • 昨今の国際情勢 (ロシア・ウクライナ戦争 等) が影響しうるか • 円安傾向やインフレ、低⽔準の実質⾦利がどう影響するか • マネタイズ可能か (ビジネスモデルとして優れているか) • ⾃社のケイパビリティやブランド⼒を⾼めうるか • 参画するメンバーにとってプラスになりうるか • 横展開しうるか (知財の取扱いは適切か、システムとして汎⽤的か) この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならないことがわかります。 考えてみよう:このプロジェクトは推進するべきか? (2/2) Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  45. 59 考えてみよう:どのような提⾔/提案をするべきか? (1/2) 以下の状況を踏まえ、クライアントA社に対してどのような提⾔/提案をするべきかを考えて、理由と共にアウトプットしてみて ください。結論が出せない場合は、どのような情報が不⾜しているかを列挙してみてください。 状況 • 皆さんは、データ分析や機械学習を扱う受託分析企業*1に勤めています。 • つい先⽇、⼤⼿製造業のクライアントA社から以下の要望を受けました。

    • データならたくさんあるので、何らかの機械学習プロジェクトを企画・推進し、A社社員と協⼒して成果を出してほしい • ゆくゆくはA社社員にスキルトランスファーし、同様のプロジェクトに内製で取り組めるようにしてほしい • A社は特定分野の製品の製造において国内外から⾼く評価されていますが、いわゆるDXの波には乗り遅れており、同業 他社と⽐べるとデータの利活⽤が進んでいない状況です。 • 皆さんの所属企業とA社の取引は今回が初めてで、不特定多数に公開されている以上の情報はまだ得られていません。 *1: 顧客企業に伴⾛し、データや機械学習などに関する顧客企業の課題を解決することを主な事業内容とする企業 皆さんなら、A社に対してどのような提⾔/提案をしますか? 3分間で考えてみてください Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  46. 60 考えてみよう:どのような提⾔/提案をするべきか? (2/2) 考えるべきこと (例) • データならたくさんあるというが、品質はどうか • ただちに有効利⽤できる状態なのか •

    データ基盤は整備されているか • データのメタ情報は⼗分で、適切に管理されているか • データに関する不明点を解消する⽅法は明らかか • A社が本当に達成したいことは何か • 機械学習PJや内製化のその先の⽬的は何か • 機械学習PJや内製化は⽬的達成のためのベストな⼿段か • 抽象的な要望をいかに具体化していくか • どこまで本気か、いくらかけられるのか 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々! • 内製化は必要か、そもそも可能なのか • A社にとってのメリット/デメリットは何か • 内製化を可能にするための⼈材や仕組みは揃っているか • A社と⾃社でどのように役割分担していくか • スキルトランスファーは本当に可能なのか、終わりはあるのか • 必要な情報を集めることはできないか • A社の現時点におけるケイパビリティはどうか • 構想はどこまで理解されているか、部⾨間に利害はないか • ヒアリングを実施できないか • 短期間の分析トライアルで実態を把握できないか この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならないことがわかります。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  47. 61 考えてみよう:モデルの性能、どう測る? (1/2) 以下の状況を踏まえ、⾃分なりの答えを出してみてください。 状況 • 皆さんは、世界中に店舗を展開している和⾷チェーンにおいて、機械学習による需要予測プロジェクトのPMを務めています。 • 今まさに、解くべき問題を 「来⽉必要な⾷材の需要量」

    と設定し、PoCを回そうとしています。 • ⾷材は⽶、野菜、⾁、かんぴょうなど様々です。 • A国では 「かんぴょう巻」 が絶⼤な⼈気を誇っていますが、B国ではあまり⼈気がありません。 皆さんなら、どのような指標・考え⽅でモデルを評価しますか? 3分間で考えてみてください Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  48. 62 考えてみよう:モデルの性能、どう測る? (2/2) いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければ ならないことがわかります。 この事実に気づくことが機械学習の 「社会実装」 に直結します。 恐らく皆さんが考えたこと •

    予測値と実績値の誤差を最⼩化すればよいのだから、素直に MAEで評価すればいいのではないか? • いいや、「⼤外れ」 は賞味期限の問題で修正がきかないのだ からRMSEで評価するべきなのではないか? • 「当てるべきもの」と「当てなくていいもの」が存在するのではな いか? (例えば、かんぴょうの需要量を当てても意味がない) 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々! • 「過剰予測」 と 「過⼩予測」 にどのように重みづけをするか? (過剰在庫と販売機会損失の重みを天秤にかける) • 国別、あるいは地域別に必要とするモデルの振る舞いは異なる のではないか? • 最終的に 「良いモデル」 であることをどう定義し、どう証明す るか? (絶対評価とするか?何かと⽐べて相対評価とするか?そ れぞれの場合の効果試算をどのように⾏うか?) 私ならこういうことも考える Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  49. 63 考えてみよう:オリンピックイヤーの需要予測、どうする? (1/2) 以下の状況を踏まえ、⾃分なりの答えを出してみてください。 状況 • 皆さんは、世界中に店舗を展開している和⾷チェーンにおいて、機械学習による需要予測プロジェクトのPMを務めています。 • 様々な困難を乗り越え、ようやくシステムローンチすることができました。 •

    ひとまず問題なく動いており、現場からの評判も上々です。 • しかし、100店舗を展開しているヨーロッパのA国で、来年オリンピックが開催されることに気づきました。 • 学習データは3年分しかなく、オリンピック期間の需要量については⾒当がつきません。 (ここではオリンピックに準ずる規模のイベントもなかったと仮定します) 皆さんならPMとして、この問題にどう⽴ち向かいますか? 3分間で考えてみてください Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.
  50. 64 考えてみよう:オリンピックイヤーの需要予測、どうする? (2/2) 恐らく皆さんが考えたこと • オリンピック開催国は、インバウンド需要の増加により 売上が⼤幅増になるはず • 過去のオリンピック、あるいはそれに準ずるイベント時 のデータで学習しているモデルを構築するのがベター

    • ⼀⽅、オリンピック、あるいはそれに準ずるイベント時 のデータを持っていないため、事実上それは不可能 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々! • 通常通りにモデルが予測をすると、売上の⼤幅増を過⼩評 価してしまう可能性がある。どうするべきか? • 需要の⼤幅増が⾒込まれる場合、何らかの特徴量として投 ⼊できるモデルに改良するべきではないか? • そこまでしなくても対応できる⼿段は何かないか? いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければ ならないことがわかります。 この事実に気づくことが機械学習の「社会実装」に直結します。 Copyright © Moe Uchiike / © BrainPad, Inc. All Rights Reserved.