機械学習を「社会実装」するということ 2023年版 / Social Implementation of Machine Learning 2023

೥൛ ʕ ࢲͨͪʹԿ͕Ͱ͖Δ͔ ʕ ※この資料は、東京⼤学メタバース⼯学部リスキリング⼯学教育プログラム GCI 2022 Winter の講義で使⽤したものです。

1 • ㈱ブレインパッドアナリティクス本部アナリティクスサービス部シニアリードデータサイエンティスト • PMやモデル開発リーダーとして、複数の機械学習/数理最適化プロジェクトをローンチまで推進 • 松尾研究室主宰
DL4USの2期⽣。最終課題は「おでんの需要予測」 • GCIでの講義は4度⽬⾃⼰紹介 - 内池もえ - 本⽇は、現場の前線に⽴つ実務家の⽴場からお話しさせていただきます︕ Copyright © Moe Uchiike All Rights Reserved.

2 本講義のねらい本⽇の講義を、機械学習プロジェクトについて俯瞰的に捉えるきっかけにしていただきたいと考えています。 Copyright © Moe Uchiike All Rights Reserved.
What Why How 何に⽴ち向かうのかなぜやるのかどうやるのか１２３

アイスブレイクこのプロジェクトは推進するべきか︖ 第１章 AIプロジェクトの位置づけ第２章 2023年の機械学習プロジェクト第３章社会実装を阻む「罠」と、その解決策
第４章私たちに何ができるかまとめ本⽇お伝えしたかったこと 3 Copyright © Moe Uchiike All Rights Reserved. ⽬次

このプロジェクトは推
進するべきか ︖ 4 Copyright © Moe Uchiike All Rights Reserved. アイスブレイク

5 アイスブレイクこのプロジェクトは推進するべきか︖ (1/2) 以下の状況を踏まえ、プロジェクトを推進するべきかと、その結論に⾄った理由 (または評価観点) をアウトプットしてみてください。結論が出せない場合は、どのような情報が不⾜しているかを列挙してみてください。状況 •
皆さんは、データ分析や機械学習を扱う受託分析企業*1に勤めています。 • ここ数年間、⽇本全国に店舗を展開する和⾷チェーンから案件を受託し、機械学習による需要予測プロジェクトのPMを務めてきました。 • このプロジェクトでは次のタスクに取り組み、モデルや機能のほとんどを仕上げることができました。 1. 翌⽉に必要となる⾷材の需要量を予測するモデルの構築 2. モデルによる予測結果をもとに⾷材が発注・納品されるシステムの開発 • ところが、ローンチを間近に控えたある⽇、突如訪れたパンデミックにより、プロジェクトを凍結させることになりました。 • その後、2年の⽉⽇が流れてパンデミックが収束に向かい始めたタイミングで、和⾷チェーンからプロジェクト再開の打診を受けました。 Copyright © Moe Uchiike All Rights Reserved. *1: 顧客企業に伴⾛し、データや機械学習などに関する顧客企業の課題を解決することを主な事業内容とする企業和⾷チェーンからの打診を受け⼊れ、再びプロジェクトを推進していくべきでしょうか︖ ３分間で考えてみてください

6 アイスブレイクこのプロジェクトは推進するべきか︖ (2/2) 観点 • そもそも社会的意義はあるか、社会を変⾰しうるか • 機会費⽤を⽀払う価値はあるか (もっと有益な取組みはないか)
• パンデミック前後のデータで上⼿く学習できるか • プロジェクトを凍結している間により良い⼿段が出てきていないか • 凍結当時のアーキテクチャや運⽤設計を流⽤できるか、すべきか • 改めて開発・運⽤体制を組み、維持していけるか • 改正個⼈情報保護法などの法規制の影響を受けないか我々が⽴ち向かわなければならないのは、まさにこのような問題の数々︕ Copyright © Moe Uchiike All Rights Reserved. • 和⾷チェーンのインバウンド需要はどうか (これまでとこれから) • 昨今の国際情勢 (ロシア・ウクライナ戦争等) が影響しうるか • 円安傾向やインフレ、低⽔準の実質⾦利がどう影響するか • マネタイズ可能か (ビジネスモデルとして優れているか) • ⾃社のケイパビリティやブランド⼒を⾼めうるか • 参画するメンバーにとってプラスになりうるか • 横展開しうるか (知財の取扱いは適切か、システムとして汎⽤的か) この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならないことがわかります。

8 特定の⽬的を達成する計画を⽴て、限られた時間の中で成果を出していくのがプロジェクト ※興味のある⽅は、最近リリースされたPMBOK第7版に⽬を通してみてください (内容が⼤幅に刷新されています) Copyright © Moe Uchiike All Rights
Reserved. プロジェクトは、「有期性」と「独⾃性」の2つの特徴を持ちます。第１章︓AIプロジェクトの位置づけプロジェクトとはプロジェクト通常業務ありなしありなし有期性独⾃性

9 上記に加え、インダストリー (⾦融業/製造業等) や取り組みテーマ (需要予測/画像認識等) も様々研究機関の研究とは⽬的が異なることにも注意が必要 (新規性よりも、効果が出ることや使い続けられることが重視される)
Copyright © Moe Uchiike All Rights Reserved. AIプロジェクトといっても、その在り⽅は様々です。本講義では、特に断りがない場合「サービスインをゴールとするBtoBの機械学習プロジェクト」を想定して話を進めます。第１章︓AIプロジェクトの位置づけ様々なAIプロジェクトビジネスモデル要素技術プロジェクトのゴール BtoB BtoC 機械学習数理最適化サービスイン PoC CtoC etc. ⽰唆出し etc. コスト削減 etc. 本講義の主な話題

10 Copyright © Moe Uchiike All Rights Reserved. ⼀般的なプロジェクトは、しばしば「V字モデル*1」
と呼ばれる開発⼯程を踏んで進められます。第１章︓AIプロジェクトの位置づけ⼀般的なプロジェクトのプロセス *1: 主にウォーターフォール型開発で⽤いられる概念 *2: User Acceptance Test。このテストを通過しなければ検収されない開発単体テスト詳細設計基本設計要求分析要件定義結合テスト総合テスト UAT*2 対応対応対応対応

11 Copyright © Moe Uchiike All Rights Reserved. 機械学習などを要素技術とするプロジェクトは、⼀般的なV字モデルで完結しません。第１章︓AIプロジェクトの位置づけ
機械学習プロジェクトのプロセス (1/2) 開発単体テスト詳細設計基本設計要求分析要件定義結合テスト総合テスト UAT 開発の前段の分析・実証実験等の⼯程サービスイン後の効果測定・モデル改善等の⼯程対応対応対応対応⼀般的なプロジェクトのプロセス機械学習プロジェクトではこれらの⼯程の重要度が特に⾼い

12 Copyright © Moe Uchiike All Rights Reserved. 第１章︓AIプロジェクトの位置づけ機械学習プロジェクトのプロセス
(2/2) 開発単体テスト詳細設計基本設計要求分析要件定義結合テスト総合テスト UAT 開発の前段の分析・実証実験等の⼯程サービスイン後の効果測定・モデル改善等の⼯程対応対応対応対応⼀般的なプロジェクトのプロセス先週までの内容はおそらくここの⼀部

2023年の機械学習プロジェクト 16 Copyright © Moe Uchiike All Rights Reserved.
第２章

17 第２章︓2023年の機械学習プロジェクトほとんどのプロジェクトが社会実装されずに終わっていたかつて、研究が進むことと社会で活⽤されることの間には⼤きな溝がありました。*1 上流フェーズ PoC 開発フェーズ本番稼働 *1: 【参考】
Rob van der Meulen and Thomas McCall. Gartner Says Nearly Half of CIOs Are Planning to Deploy Artificial Intelligence. Gartner. 2018. https://www.gartner.com/en/newsroom/press-releases/2018-02-13-gartner-says-nearly-half-of-cios-are-planning-to-deploy-artificial-intelligence *2: Proof of Conceptの略語で、実証実験 (実際に上⼿くいくか確かめる活動) のこと Copyright © Moe Uchiike All Rights Reserved. ü PoC*2 はそう簡単に上⼿くいくものではなかった ü PoCが上⼿くいったとしても、その後のフェーズも⼀筋縄ではいかなかった ü 遡って、「上流フェーズでの問題設定が適切ではなかった」ということも多々あった

18 第２章︓2023年の機械学習プロジェクトほとんどのプロジェクトが社会実装されずに終わ…らない︕︖ 2023年現在、取り組みの成果を利活⽤していくことが当たり前に求められるようになりました。 (特にBtoBの領域において顕著) しかし、依然として社会実装を阻む「罠」は多数潜んでおり、ノーガードで⽴ち向かうことは困難です。上流フェーズ PoC
開発フェーズ本番稼働 ü 「AIならなんでもいい」 → 「使えなければ意味がない」に変化。DXの⽂脈で語られる機会も増加 ü プロジェクトにおける経験知の蓄積や、プラットフォームの整備が加速 ü データ/モデル活⽤の⽅法論が進化、画期的な技術も複数登場*1 Copyright © Moe Uchiike All Rights Reserved. ü ⼀⽅で、プロジェクトの現場では掲げられた理想と現実とのギャップに苦しむことも *1: 2022年はStable Diffusion、Whisper、ChatGPTなどの登場に世間が沸いた

19 第２章︓2023年の機械学習プロジェクト業界トレンドと求められるスキル 2023年現在、ビジネスの現場における機械学習は「役に⽴つこと」が前提です。⼟台となる知識 (統計学や機械学習) を獲得した上で、変わりゆく業界トレンドに沿ってスキルを磨いていく必要があります。 Copyright
© Moe Uchiike All Rights Reserved. ツールや⼿法、⽅法論の急速な進化と多様化 ü ツールや⼿法、⽅法論の膨⼤な組合せから課題に適したアプローチを選び抜き、組み合わせて応⽤する⼒ ü 常識にとらわれず次々とアイデアを⽣み出す思考の柔軟性いわゆる「AI倫理」に対する社会的要請 ü 倫理的な観点で問題を捉え、現実的な解を導くための知識と思考⼒システム化やDXの流れで、プロジェクトは⼤規模化・複雑化 ü 3つの領域 (ビジネス⼒、データサイエンス⼒、データエンジニアリング⼒) をまたいだ経験知 ü アンチパターンをフル活⽤する⼒競争の激化により、AIというだけでは勝てない時代に ü 独⾃の付加価値をつけていくための発想⼒や、多様性の確保などによって発揮されるユニークスキル「持続可能な機械学習システム」のニーズの⾼まり ü ゴールを「持続可能な機械学習システムの開発」に定め、何が起きるかを想像しながら試⾏錯誤する⼒

20 第２章︓2023年の機械学習プロジェクト【参考】スキル獲得・発揮のイメージ Copyright © Moe Uchiike All Rights Reserved.
• 3つの⼒はそれぞれ更に磨いていく • 3つの⼒は相互補完的ではなく、掛け合わせることが前提 • 3つの⼒に留まらず、その補集合のありとあらゆるものが次代を拓く⼒に S データサイエンス⼒ E データエンジニアリング⼒ B ビジネス⼒ • 3つの⼒を駆使してデータを活⽤ • 3つの⼒は相互に補完し合う関係 • 3つの⼒で許される場⾯が多かったこれからこれまで C S E B S データサイエンス⼒ E データエンジニアリング⼒ B ビジネス⼒ omplement 重なる領域を広げる 3つの⼒に統計学や機械学習以外の専⾨性を掛け合わせたり、その⼈ならではのバックグラウンドや強みを活かしたりする参考: ⼀般社団法⼈データサイエンティスト協会. データサイエンティストに求められるスキルセット. 2014. p.2. http://www.datascientist.or.jp/files/news/2014-12-10.pdf (参照2023-01-03)

社会実装を阻む「罠」とその解決策 21 Copyright © Moe Uchiike All Rights Reserved.
第３章

22 第３章︓社会実装を阻む「罠」と、その解決策⼀般的な機械学習プロジェクトのプロセス第⼀章で触れた⼯程を細分化し、並べ直してみます。 Kaggle*1のように初めから「綺麗な問題」が⽤意されているわけではなく、必要なタスクが多岐にわたることがわかります。 Copyright
© Moe Uchiike All Rights Reserved. 業務理解課題抽出データ収集基礎集計基礎分析問題設定 PoC 予算確保要件定義設計・開発・テスト UAT パイロット稼働本番稼働効果測定保守・運⽤ 1 2 3 4 5 6 7 8 9 10 11 12 13 *1: 機械学習をはじめとする、データに関連したコンペティションを提供するプラットフォーム。企業などの組織が課題とデータを投稿し、世界中のデータサイエンティストがより良い結果を⽬指してモデル構築に挑む Kaggle公式Webサイト: https://www.kaggle.com/

23 第３章︓社会実装を阻む「罠」と、その解決策現実前スライドで機械学習プロジェクトの膨⼤なタスクについて⽰しました。しかし、それだけではありません。これらのプロセスには、たくさんの「罠」が待ち構えています。 Copyright
© Moe Uchiike All Rights Reserved. 業務理解課題抽出データ収集基礎集計基礎分析問題設定 PoC 予算確保要件定義設計・開発・テスト UAT パイロット稼働本番稼働効果測定保守・運⽤ 1 2 3 4 5 6 7 8 9 10 11 12 13 現実のデータは汚い︕ (データが「印刷物」で「間違っている」ことも……) 問題設定は難しい (できること≠利益) モデルの性能、どう測る︖ (モデルの性能≠説得⼒) 様々な制約 (インフラ、政治等) その開発、誰がやる︖ (分析のプロ≠開発のプロ) 信頼を得るのは難しい (利害の不⼀致) 思わぬところに考慮漏れ (未知のデータのIF 等) 学習データにない未来 (⾃然災害、どうする︖) ビジネスインパクト、どう測る︖ (モデルの性能≠利益) 順⾵満帆とは限らない (継続の難しさ) その課題は本質か︖ (課題感の偏り) ふりだしに戻る (報われない集計・分析) 進むも地獄、退くも地獄 (曖昧な出⼝戦略)

24 第３章︓社会実装を阻む「罠」と、その解決策【業務理解・課題抽出】その課題は本質か︖ Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想効果の⾒込める施策が明らかであり、かつ組織内の⼤半が同じ⽅向を向いている罠解決策 • 上層部が掲げるDX構想と現場の実態に乖離があり、地に⾜のついた取組みに繋がらない • 本質的 (潜在的) な課題を認識できず、対症療法的なアプローチに終始してしまう • コスト削減などの守備的な課題へのアプローチが優先されてしまい、業務の在り⽅や⾏動様式の変化に繋がらない ü 複数のレイヤー・役割の関係者にヒアリングした上で、現実的なことから取り組んでいく計画を⽴てる ü 課題だと聞いた内容を真に受けず、ヒアリング結果を踏まえて深く考察し、本質的な課題にたどり着く ü ⽬的ドリブンで取り組むべき課題について検討し、必要に応じて新たな付加価値を⽣むための「攻めの投資」をするこの段階で何を課題とするか︖がプロジェクトのその後を左右します。掲げているビジョンや果たすべき社会的使命との整合性を保った上で、地に⾜のついた取組みを⾏うことが重要です。

25 第３章︓社会実装を阻む「罠」と、その解決策【データ収集】現実のデータは汚い︕ Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想構造化されたデータがクラウド上の列指向DBに格納されており、容易に収集可能罠解決策 • 「利⽤できるデータがたくさんある」と聞いていたが、そのデータは実は印刷物であった • データはあるが、同じデータなのにデータ取得断⾯によって数字が違う • データはあるが、データ保有部⾨との関係が悪く、データを渡してもらえない • データはあるが、常に上書き処理されており、蓄積されていない ü 現状のデータの品質について、関係者⼀同で事前に認識を合わせる ü 知恵を絞ってデータクレンジングを⾏い、なんとか利⽤するか、あるいは利⽤しない⽅針を固める ü 役職者からトップダウンで業務命令が下るように関係者との調整に奔⾛する ü データを定期的に蓄積するスキームを作り、すぐにデータの蓄積を開始する⾼度なデータ活⽤を想定して作られたデータはまだ少なく、データ整備を推進していく気概が求められることもあります。また、昨今個⼈情報の取扱いが厳しくなりつつあることにも注意が必要です。 (GDPRや改正個⼈情報保護法など)

26 第３章︓社会実装を阻む「罠」と、その解決策【基礎集計・基礎分析】ふりだしに戻る Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想データ分析基盤とデータ定義書が整備されており、偏りのない正確なデータが容易に利⽤可能罠解決策 • ⼀部のデータのみを受領しており、⺟集団に偏りがある • ある程度分析を進めた後に、オペレーションミスと思しき異常値の存在が確認された • 同⼀IDの商品が複数存在するように⾒えるが、データ定義書がなく理由がわからない • データの性質上、合理的に補完 (補間) することが不可能な⽋損値の存在が確認された ü 偏りのないデータを⺟集団として集計・分析できるように事前に⼿を打っておく ü 「初⼿・データを⾒る」を重要視する (データ収集の段階で実施しておくのが望ましい) ü テーブル間 (あるいはファイル間) の関係性について推測しつつ、関係者に事実関係を確認する ü ⽋損値の取扱い⽅針について関係者と協議し決定するとともに、影響について整理し、関係者間で共通認識にしておく前提が誤っていれば、いかなる集計・分析結果も台無しです。正しい解釈と作業の効率化のため、事前の準備に万全を期しましょう。

27 第３章︓社会実装を阻む「罠」と、その解決策【問題設定】問題設定は難しい Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想解くべき問いと解ける問いが⼀致しており、特段疑問を抱かずに機械学習の問題に落とし込める罠解決策 • 賞味期限の⻑い「かんぴょう」の需要量を完璧に予測できるモデルが完成したが、ビジネス的に意味があるとは到底思えない • 実はMAE等の指標よりも「⼤外し」をなくすことが重要であることを後から指摘された • 問題⾃体は解けるが、解けば解くほど⾚字が拡⼤する⾒込みである • 99%の精度を達成したが、そもそも厳密に解ける必要があり、実⽤化が⾒込めない ü 本当に解くべき問いは何か︖について、必要なステークホルダーを巻き込んで議論する ü 機械学習の問題としての解きやすさと、ビジネス⾯の効果のバランスのとれた問題を設定する ü 現実的なコスト感で対応できる⾒通しが⽴つかを考える (スケーラビリティ等も重要な要素) ü 機械学習にこだわらず、解くべき問いに適した⼿法を選択する (ルールベース/数理最適化) 「解くべき問い」と「解ける問い」は往々にして⼀致しません。時には機械学習以外の⽅法を検討する必要があります。 (数理最適化等も課題解決のための強⼒な⼿段です)

28 第３章︓社会実装を阻む「罠」と、その解決策【PoC】進むも地獄、退くも地獄 Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想特に躓くことなく予定通りにPoCが進捗し、実⽤化できることが誰の⽬にも明らか罠解決策 • 結果の良し悪しを判断できず、出⼝が⾒えないままずるずるとPoCを継続してしまう • なかなか成果が出ず、いわゆる「PoC死」に⾄ってしまう • モデル⾃体の改善にのみ全⼒を注いでしまう • リッチな検証の仕組みを整えてPoCに挑んだが、 PoC終盤で⼤きな仕様変更を余儀なくされる課題が⾒つかってしまい、対応できなくなった ü 事前にPoCのゴールを定量・定性の両⾯で定義し、期間を区切って評価する (⽐較対象を決めて相対評価するのも⼿) ü できないことがわかるのも⼀つの成果と捉え、解く問題やアプローチを再考する ü モデルそのものだけでなく、モデル周辺のあらゆる部分を⼯夫する (劇的に改善することがある) ü PoC期間中に新たな課題が⾒つかることを⾒越し、⼩回りの利く仕組みで複数回の検証を回す (Quick & Dirty) ゴールを明確に定めてPoCに取り組み、結果が出なければ戦略的撤退を図るのも勇気です。

29 第３章︓社会実装を阻む「罠」と、その解決策【PoC】モデルの性能、どう測る︖ Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想どこからどう⾒てもモデルの性能、およびビジネス上の効果に疑いの余地がない罠解決策 • 機械学習に過度の期待をされており、意思決定者の期待を意図せず裏切ってしまう • 意思決定者が性能指標を理解できない、あるいはモデルの性能がビジネス上の利益に結びつく実感が湧かず投資判断ができない • 予測値をどれくらい信⽤できるかがわからない • モデルの解釈性が低く、そのモデルを信頼する根拠として不⾜がある ü 「良いモデル」を緻密に定義し、事前に役職者を含めて合意を取っておく ü 誰にでもわかりやすく、かつ本質を損なわない指標を定義した上でバックテストする ü 予測の不確かさを扱える⼿法を選択する ü 無理に深層学習に寄せず、回帰⽊などのモデルも候補に⼊れた上で、性能と解釈性のバランスをとる ü SHAP等で特徴量の寄与度の分析を試みる基本的に、「交差検証しました。はいOK︕」とはならないと考えておくべきです。昨今は「説明可能なAI (XAI)」というキーワードが注⽬を集めるなど、モデルの説明可能性に関⼼が⾼まっています。

31 第３章︓社会実装を阻む「罠」と、その解決策【要件定義】様々な制約 Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想ベストプラクティスに基づき、⼀般的に良しとされる要件を過不⾜なく定義していける罠解決策 • 既存のデータ基盤との兼ね合いやセキュリティ上の制約により、クラウドコンピューティングへのスムーズな移⾏が難しい • 既存の仕組みを変えたくない部署の発⾔権が社内で強い • 要件がオーバースペックで⾚字を⾒込んでしまう • 個別要件の対応に追われ、横展開が難しくなる ü 既存の基盤をある程度活かした仕組みを構築し、段階的に移⾏していく計画を⽴てる ü 役職者を巻き込み、定期的にディスカッションの場を設けて意思決定を促す ü 最終的に達成したいことから逆算し、要件を取捨選択。⾒送った要件は後続フェーズで検討する ü 横展開を⾒越して、汎⽤的な要件と個別要件を分けて管理・開発する本番稼働を⽬指すとなると、個別の事情と汎⽤性のバランスを意識して要件を定義していく必要があります。「理論の理解」や「実装⼒」では太⼑打ちできない領域もあります。得意な⼈に任せてしまうのも⼿です。

32 第３章︓社会実装を阻む「罠」と、その解決策【設計・開発・テスト】その開発、誰がやる︖ Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想データサイエンスとエンジニアリングの両⽅に⻑けた⼈材が、プロジェクトを⼀貫して主導する罠解決策 • PoCが終わり、いよいよ開発フェーズとなったものの、いざ本番環境で開発するとなるとどのように開発していけばいいかわからない • データサイエンスに⻑けたメンバーと本番環境での開発に⻑けたメンバーがそれぞれいるが、コミュニケーションに難があり両⾞輪が動かない • PoCで書いたコードを本番環境に移植したいが、中途半端に抽象化されており取扱いに困る ü データサイエンスの担当者の他に、機械学習まわりのエンジニアリングの担当者 (機械学習エンジニア等) をアサインする (可能であれば初期段階からアサインしておき、スムーズに本番環境の開発に⼊れるように準備しておく) ü チーム内で最低⼀⼈が「翻訳者」となり、メンバー間のコミュニケーション促進の役割を担う ü PoCの段階からシステムリリースを⾒越してクラス設計等を丁寧にしておくか、あるいは敢えてJupyter Notebookで書き下す以上のことをしない分業を前提として翻訳者を配置するなど、現実的な解を出すのが王道ですが昨今は複数領域を担える⼈材が徐々に増えてきている印象です。 (個⼈の感想です)

33 第３章︓社会実装を阻む「罠」と、その解決策【UAT】信頼を得るのは難しい Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想モデルの性能が良く、現場からの評判も上々。スムーズに次のフェーズに移⾏できる罠解決策 • 性能の良いモデルを提供しても現場担当者には旨味がなく、既存のオペレーションを変えたくない層からネガティブな意⾒が出る • 予測が外れたごく⼀部について現場担当者に固執されてしまい、モデルを信頼してもらえない • やらされている感や、利⽤者のプライドを傷つけることに繋がってしまう • 確かにモデルの性能は良いが、実際に現場のオペレーションに組み込んでみたところ、使いにくい部分があることがわかった ü 予測が当たった場合のメリットについて、経営⽬線だけでなく、現場⽬線で整理する ü 予測が外れた原因を可能な範囲で分析し、説明して納得してもらう ü 「選択の⾃由」を残し、最終的な意思決定を利⽤者に委ねるサービス仕様を検討する ü UI/UXの設計・開発⼯数を確保し、システム利⽤時のハードルを下げる ü ユーザーからの意⾒を漏れなく吸い上げ、改善すべき点については改善を試みる利⽤者に「使う側のメリット」を提⽰し、Win-Winの関係でプロジェクトを進めていくのが正解です。いかに⾼度なモデルも、結局のところ使ってもらえなければ宝の持ち腐れです。

34 第３章︓社会実装を阻む「罠」と、その解決策【パイロット稼働】思わぬところに考慮漏れ Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想 PoCと同様の性能が出ており、⽬⽴ったバグもなく順調に稼働している罠解決策 • PoC時と同等の性能が⽰せず、本番稼働に踏み切れない • マスターの内容が変化しており、存在しないはずのカテゴリカル変数が特徴量として投⼊されてしまう • 定められた時刻までに必要なデータがIFされてこず、必要な特徴量がNULLのまま予測処理が⾏われてしまう • 連携されたデータの不備が原因で不具合が⽣じたにもかかわらず、モデルの責任にされてしまう ü PoC時と同じ品質のデータが使えるとは限らないことを認識し、可能な限り⼿を打っておく ü 本番に近い形でバックテストを実施し、ある程度の性能が出ることを担保しておく ü 機械学習モデルによる予測値を過信せず、セーフティーネットとして異常値を回避するための仕組みを複数⽤意しておく ü 各関係者が責任を持つべき領域 (責任分界点) をあらかじめ明確にしておくたった⼀度の失敗で、機械学習モデルのような「わかりにくいもの」に対する信頼は崩れ去ります。そうならないために、「事故が起きない仕組みづくり」を徹底する必要があります。

35 第３章︓社会実装を阻む「罠」と、その解決策【本番稼働】学習データにない未来 Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想ローンチ後、システムは順調に稼働。社会情勢に⼤きな混乱はなく、モデルは質の⾼い予測をし続けている罠解決策 • 学習データの期間に存在しないイベントが⾏われることとなった • 観測史上最⼤の台⾵が⽇本列島に上陸し、猛威を振るう⾒込みである • 突然のパンデミック。モデルはパンデミック時の需要量の傾向を学習しておらず、妥当な⽔準の予測ができる保証がない ü 解釈性の⾼いモデルやルールベースのアルゴリズムとの2段構えの仕組みを予め構築し、必要に応じてスイッチできるようにしておく ü 緊急時に運⽤回避できるよう、緊急時⽤のオペレーションを組み、⽇頃から周知しておく ü 現場の状況を丁寧にヒアリングしつつ、モデルの利⽤可否や再開タイミングについて⼀つひとつ判断する 2020年以降、様々な機械学習プロジェクトが苦戦を強いられたことは想像に難くありません。同様の事象がいつでも起こりうることを認識し、システムや運⽤の設計に反映しておくことが求められます。

36 第３章︓社会実装を阻む「罠」と、その解決策【効果測定】ビジネスインパクト、どう測る︖ Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想ローンチ後、モデルは期待を上回る性能を⽰し続けており、具体的なアクションにより利益に繋がっている罠解決策 • モデルの性能は⾼い値を⽰しているが、それが具体的にどのようにビジネスに貢献できているかがわからない • モデルの性能とビジネスへの貢献度に相関はあるが、因果がわからず効果を測れない • モデルによる予測結果が具体的なアクションに繋がっていない ü モデルの性能が必ずしもビジネス上の効果に結びつかないことを認識し、ビジネス上のインパクトを定量的に可視化する指標を新たに作成する ü A/Bテストや統計的因果推論などにより、アクションとビジネスへの貢献度の因果関係を明らかにする ü モデルによる予測結果を意思決定などのアクションに確実に繋げる「出⼝」を⽤意する (数理最適化なども選択肢の⼀つ) ビジネス上の効果が⽰せなければ、次の投資判断にダイレクトに響いてきます。そうならないために⼿を打つことが、機械学習の「社会実装」の拡⼤に繋がります。

37 第３章︓社会実装を阻む「罠」と、その解決策【保守・運⽤】順⾵満帆とは限らない Copyright © Moe Uchiike
All Rights Reserved. 業務理解課題抽出 1 データ収集 2 基礎集計基礎分析 3 問題設定 4 PoC 5 予算確保 6 要件定義 7 設計・開発・テスト 8 UAT 9 パイロット稼働 10 本番稼働 11 効果測定 12 保守・運⽤ 13 理想ローンチ後、特に問題なくモデルを運⽤できており、システム改修の必要性も特段ない罠解決策 • データ取得元のテーブル定義に認識していない変更があり、予測前処理時にエラーを吐いてしまう • 特徴量として使っていたデータが諸般の事情で使えなくなる (データ提供元の⽅針変更、組織の意向等) • ⽇々利⽤しているモデルの性能が徐々に下がってしまう • 機械学習の運⽤に強いチームが存在せず、⻑期的な運⽤に適したチーム・⼈材が確保できない ü 変更情報をキャッチできないことがないよう、ステークホルダーとの情報共有のスキームを作っておく ü 複数のリスクの⾼いデータの使⽤を避ける ü モデルの再学習や、新たな学習済モデルへの差し替えの仕組みをシステムや運⽤に組み込んでおく ü 複雑かつ解釈性の低いモデルの利⽤を避け、運⽤の難易度を下げる ü 運⽤タスクのテンプレ化・抽象化を進め、⾼度な専⾨性を必要としない領域を拡⼤する機械学習プロジェクトでも、“負の遺産” を残さないようにシステム・運⽤を設計することが必要不可⽋です。また、時と共に変わりゆくトレンドを捉え続けるための仕組みづくりも必要です。

39 スキルを磨くのはもちろんのこと、マインド⾯も⼤切にしつつ、新たな時代を作っていただきたいです。 Copyright © Moe Uchiike All Rights Reserved. 第４章︓私たちに何ができるか
⽬的思考メタ認知 ü ⽬的を強く意識し、⽬的に沿った判断・⾏動をする (本来の⽬的から逸れる引⼒に屈しない) ü ⾃らの強みと弱みを客観的に捉え、強みを活かせる可能性を模索する学び続ける ü 変化の速い時代に取り残されないように、いつからでも、いつまでも学び続ける時代を作る ü 前例にとらわれず、新たな価値の創造に挑む (∵機械学習プロジェクトは世界初の挑戦ばかり)

42 Copyright © Moe Uchiike All Rights Reserved. 関連情報経済産業省.
AI・データの利⽤に関する契約ガイドライン 1.1版. 2019. https://www.meti.go.jp/press/2019/12/20191209001/2019120900 1.html 内池もえ. 機械学習を「社会実装」するということ 2022年版 ―社会実装を阻む「罠」のその先へ. Speaker Deck. 2022. https://speakerdeck.com/moepy_stats/social-implementation-of- machine-learning-2022 国⽴研究開発法⼈産業技術総合研究所. 機械学習品質マネジメントガイドライン第3版. 2022. https://www.digiarc.aist.go.jp/publication/aiqm/guideline-rev3.html ⼤城信晃・マスクド・アナライズ・伊藤徹郎・⼩⻄哲平・⻄原成輝・油井志郎. AI・データ分析プロジェクトのすべて. 技術評論社. 2020. https://gihyo.jp/book/2021/978-4-297-11758-0 安井翔太. 効果検証⼊⾨〜正しい⽐較のための因果推論／計量経済学の基礎. 技術評論社. 2020. https://gihyo.jp/book/2020/978-4-297-11117-5 ㈱ブレインパッド有志. OpenBrainPad Project. 社内にある技術資料の公開等を⾏っています https://brainpad.github.io/OpenBrainPad/, (参照2023-01-03) 今泉允聡. 深層学習の原理に迫る―数学の挑戦. 岩波書店. 2021. https://www.iwanami.co.jp/book/b570597.html 個⼈情報保護委員会. 改正個⼈情報保護法特集. https://www.ppc.go.jp/news/kaiseihou_feature/, (参照2023-01-03)

44 アイスブレイク︓パンデミック時の需要予測、どうする︖ (1/2) まずは１つ課題を出します。以下の状況を踏まえ、考えたことをアウトプットしてみてください。状況 • 皆さんは、世界中に店舗を展開している和⾷チェーンにおいて、機械学習による需要予測プロジェクトのPMを務めています。 • このプロジェクトでは、翌⽉に必要になる⾷材の需要量をモデルで予測し、その予測結果をもとに⾷材が発注・納品されることを⽬指します。 •
既に皆さんは数々の試練を乗り越え、いよいよ本番稼働というタイミングになりました。 • ところが、このタイミングでパンデミックが起こってしまいました。このパンデミックはいつ収拾がつくかわかりません。 • 学習データは過去３年分しかなく、かつ過去３年間に類似のパンデミックは起こっていません。皆さんならPMとして、この問題にどう⽴ち向かいますか︖ ３分間で考えてみてください Copyright © Moe Uchiike All Rights Reserved.

45 アイスブレイク︓パンデミック時の需要予測、どうする︖ (2/2) 思いつくこと (例) • そんな時期に予測が当たるはずがないじゃないか︕ • そもそも店舗は開いているのか︖ •
需要予測が「⼤外れ」した場合の経済的損失やフードロスは︖ • その責任は⼀体誰が取るのか︖ • そもそもこの期間にモデルを稼働させるのか︖ 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々︕ Copyright © Moe Uchiike All Rights Reserved. • 仮に稼働させるとして、予測値は「後処理」するべきではないか︖ • その「後処理」は何が適切か︖ルールベースなのか︖ • ローンチを遅らせてみるのはどうか︖ • ローンチを遅らせたとして、パンデミックの期間のデータはモデルに学習させていいのか︖ いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならないことがわかります。この事実に気づくことが機械学習の「社会実装」に直結します。

46 考えてみよう︓モデルの品質、どこまで保証できる︖ (1/2) 以下の状況を踏まえ、考えたことをアウトプットしてみてください。状況 • 皆さんは法⼈向けに受託分析サービスを提供する企業に勤務しており、機械学習による与信審査プロジェクトのPMを務めています。 • プロジェクトのミッションは、あらゆるデータを活⽤し、より良い与信審査システムを構築することです。 •
クライントの⾦融機関における、過去の顧客のID、年齢、性別、居住地、雇⽤形態、勤続年数、家族構成、貸し倒れの有無などに加え、有償の市況データなども収集し、これらのデータを利⽤して貸し倒れリスク予測モデルを構築しました。 • 幸いなことに、PoC時に構築したモデルの予測性能がそれなりの⽔準に達しているように⾒えたため、ステアリングコミッティで検証結果を報告したところ、システムリリースを⽬指してプロジェクトを前進させるように依頼されました。 • プロジェクトはクライアント企業の社⻑直轄で、「最終的に精度90%を達成すること」「品質が保証されること」「SLA* の提⽰」を強く求められています。皆さんなら、どのように判断し、どのように⾏動しますか︖ ３分間で考えてみてください Copyright © Moe Uchiike All Rights Reserved. *: Service Level Agreementの略。提供するサービスの品質保証レベルに関する合意事項。

47 考えてみよう︓モデルの品質、どこまで保証できる︖ (2/2) いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならず、思考停⽌させてもらえないことがわかります。皆さんはどこまで想像できたでしょうか︖ 思いつくこと (例) • 精度90%の根拠はあるのか︖達成すると何が嬉しいのか︖ •
精度とは何を指しているのか︖* • データさえ増やしていけば改善され続けると誤解されていないか︖ • 機械学習モデルの精度を保証するのは現実的なのか︖ • 検証時の前提条件は本番環境で満たせるのか︖ • 有償の市況データを調達し続けられる保証はあるか︖ • モデルの検証結果に嘘はないか︖ (想定外のリーク) 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々︕ Copyright © Moe Uchiike All Rights Reserved. • この先市況が⼤きく悪化した場合、モデルの予測性能に再現性はあるのか︖ • 予測性能そのもの以外にも、可⽤性や処理速度、モデルの解釈性や公平性などが保証対象となり得るのではないか︖ • 動作保証ならできる可能性があるが、そのためには前提条件や免責事項を明⽰する必要があるのではないか︖ • 性別を特徴量とする与信審査システムは公平性を⽋いており、社会的要請を満たしていないのではないか︖ *: ⼆値分類の正解率、適合率、属性別の貸し倒れ率の誤差、これらに貸し倒れ時の損害規模で重みづけする必要の有無、あるいは属性別の貸し倒れリスクをある程度の幅で予測できればいいのか等が考えられる。

48 考えてみよう︓モデルの性能、どう測る︖ (1/2) 以下の状況を踏まえ、⾃分なりの答えを出してみてください。状況 • 皆さんは、世界中に店舗を展開している和⾷チェーンにおいて、機械学習による需要予測プロジェクトのPMを務めています。 • 今まさに、解くべき問題を「来⽉必要な⾷材の需要量」
と設定し、PoCを回そうとしています。 • ⾷材は⽶、野菜、⾁、かんぴょうなど様々です。 • A国では「かんぴょう巻」が絶⼤な⼈気を誇っていますが、B国ではあまり⼈気がありません。皆さんなら、どのような指標・考え⽅でモデルを評価しますか︖ ３分間で考えてみてください Copyright © Moe Uchiike All Rights Reserved.

49 考えてみよう︓モデルの性能、どう測る︖ (2/2) いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならないことがわかります。この事実に気づくことが機械学習の「社会実装」に直結します。恐らく皆さんが考えたこと •
予測値と実績値の誤差を最⼩化すればよいのだから、素直に MAEで評価すればいいのではないか︖ • いいや、「⼤外れ」は賞味期限の問題で修正がきかないのだから RMSEで評価するべきなのではないか︖ • 「当てるべきもの」と「当てなくていいもの」が存在するのではないか︖ (例えば「かんぴょう」の需要量を当てても意味がない) 我々が⽴ち向かわなければならないのは、まさにこのような問題の数々︕ Copyright © Moe Uchiike All Rights Reserved. • 「過剰予測」と「過⼩予測」にどのように重みづけをするか︖ (過剰在庫と販売機会損失の重みを天秤にかける) • 国別、あるいは地域別に必要とするモデルの振る舞いは異なるのではないか︖ • 最終的に「良いモデル」であることをどう定義し、どう証明するか︖ (絶対評価とするか︖何かと⽐べて相対評価とするか︖それぞれの場合の効果試算をどのように⾏うか︖) 私ならこういうことも考える

50 考えてみよう︓オリンピックイヤーの需要予測、どうする︖ (1/2) 以下の状況を踏まえ、⾃分なりの答えを出してみてください。状況 • 皆さんは、世界中に店舗を展開している和⾷チェーンにおいて、機械学習による需要予測プロジェクトのPMを務めています。 • 様々な困難を乗り越え、ようやくシステムローンチすることができました。 •
ひとまず問題なく動いており、現場からの評判も上々です。 • しかし、100店舗を展開しているヨーロッパのA国で、来年オリンピックが開催されることに気づきました。 • 学習データは3年分しかなく、オリンピック期間の需要量については⾒当がつきません。 (ここではオリンピックに準ずる規模のイベントもなかったと仮定します) Copyright © Moe Uchiike All Rights Reserved. 皆さんならPMとして、この問題にどう⽴ち向かいますか︖ ３分間で考えてみてください

51 考えてみよう︓オリンピックイヤーの需要予測、どうする︖ (2/2) 恐らく皆さんが考えたこと • オリンピック開催国は、インバウンド需要の増加により売上が⼤幅増になるはず • 過去のオリンピック、あるいはそれに準ずるイベント時のデータで学習しているモデルを構築するのがベター
• ⼀⽅、オリンピック、あるいはそれに準ずるイベント時のデータを持っていないため、事実上それは不可能我々が⽴ち向かわなければならないのは、まさにこのような問題の数々︕ Copyright © Moe Uchiike All Rights Reserved. • 通常通りにモデルが予測をすると、売上の⼤幅増を過⼩評価してしまう可能性がある。どうするべきか︖ • 需要の⼤幅増が⾒込まれる場合、何らかの特徴量として投⼊できるモデルに改良するべきではないか︖ • そこまでしなくても対応できる⼿段は何かないか︖ いかがでしたでしょうか。この問題に明確な答えがあるわけではありません。ですが、ありとあらゆることを考えなければならないことがわかります。この事実に気づくことが機械学習の「社会実装」に直結します。

機械学習を「社会実装」するということ 2023年版 / Social Implementati...

機械学習を「社会実装」するということ 2023年版 / Social Implementation of Machine Learning 2023

More Decks by Moe Uchiike（内池 もえ）

Other Decks in Technology

Featured

Transcript

More Decks by Moe Uchiike（内池もえ）