実践！データセントリックなAIモデル開発

https://forkwell.connpass.com/event/301543/

Transcript

1. © 2023 FastLabel Inc. All Rights Reserved. © 2023 FastLabel Inc. All Rights Reserved. 実践︕データセントリックなAIモデル 開発 FastLabel株式会社 ⾵⾒ 亮
2. © 2023 FastLabel Inc. All Rights Reserved. Agenda 2 n ⾃⼰紹介 n 会社・プロダクト紹介 n 今回のお話し n データセントリックなAIモデル開発 n MLOps構築 n さいごに
3. © 2023 FastLabel Inc. All Rights Reserved. ⾃⼰紹介 3 ⾵⾒ 亮（かざみ りょう） 慶應義塾⼤学卒業後、IT未経験ながら新卒で⼊社した会社の研修で⾏った プログラミング課題が楽しくエンジニアの道へ。最近の趣味はダイエット。 現在はエンジニアリングマネージャーとしてMLOps関連機能の開発を主導。 ユーザーのテクニカルサポート部⾨（Customer Success Engineering）の責任者も務める。 経歴 株式会社ワークスアプリケーションズ（2015~2021） ウェブアプリケーションエンジニアとして⼤規模なERPシステムの会計・⽣産管理の開発を経験。 システム要件定義・設計をはじめ、フロントエンド、バックエンド、インフラ等幅広く実装に携わる。 FastLabel株式会社（2021~） 創業期にAI未経験からジョイン。混沌とした初期ステージを乗り切った。 新規機能設計・実装に加え、顧客の既存モデルの精度改善案件など多くのAIプロジェクトを完遂。 Twitter (@FLKazami)
4. © 2023 FastLabel Inc. All Rights Reserved. 会社・プロダクト紹介 4 FastLabel株式会社 データセントリックなAI開発を⽀援するSaaS型のプラットフォーム「FastLabel」を提供
5. © 2023 FastLabel Inc. All Rights Reserved. 会社・プロダクト紹介 5 AIデータプラットフォーム「FastLabel」 AI開発の全プロセスをカバーし、同プラットフォームを利⽤した代⾏サービスも利⽤可能
6. © 2023 FastLabel Inc. All Rights Reserved. 会社・プロダクト紹介 6 AIデータプラットフォーム「FastLabel」 ⼤企業、スタートアップ、⼤学・研究機関まで、合計100社以上のお客様が幅広く利⽤
7. © 2023 FastLabel Inc. All Rights Reserved. 今回のお話し 7 データセントリックなAIモデルの開発とMLOps構築 ユーザー企業と試⾏錯誤してきた中でFastLabelの開発を軸に得られた知⾒を共有 h"ps://fastlabel.ai/news/20230626-aipaas
8. © 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 8 データセントリックなAI開発 概要 実際にAIモデルの改善を⾏っていく上で、「データの質」に注⽬したアプローチ⼿法
9. © 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 9 データセントリックなAI開発 概要 実際にAIモデルの改善を⾏っていく上で、「データの質」に注⽬したアプローチ⼿法
10. © 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 10 データセントリックなAI開発 概要 実際にAIモデルの改善を⾏っていく上で、「データの質」に注⽬したアプローチ⼿法
11. © 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 11 データセントリックなAI開発 ~FastLabelの場合~ ユーザー事例 h"ps://fastlabel.ai/casestudy/snc
12. © 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 12 データセントリックなAI開発 ~FastLabelの場合~ ⾷事画像を分類するAIモデルを改善する 推論できるクラスの追加、精度改善
13. © 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 13 データセントリックなAI開発 ~FastLabelの場合~ 推論結果や評価指標をみながら傾向を把握、下記を実施し改善（具体的な数値は⾮公開） • ⼈によって判断がずれやすいものを統⼀するために定義書を再作成 アノテーションの範囲やラベルがぶれないようにする • ⼈間がみても判断が曖昧なものは定義書を作成した上で除外 • ダウンサンプリング 学習ラベル数が多く、他の推論結果に影響しているものは積極的にダウンサンプリング
14. © 2023 FastLabel Inc. All Rights Reserved. データセントリックなAI開発 14 まとめ ~データセントリックなAI開発のリアルなところ~ • データの質改善により、短期間での⼤幅な改善に成功 • データの特徴 • 特徴を捉えたアノテーションルールへ • データの質 • 質の悪いデータの定義とデータの除外 • データセントリックな開発について • データの分析を⾏い、AIの弱点を⾒つけピンポイントで直して⾏くプロセスを回していく • アルゴリズム改善での精度向上は困難な⼀⽅で、データ改善はAIエンジニア以外も⾏える
15. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 15 MLOps 概要 AIモデルは⼀度作って終わりではない ソリューションとして価値を提供し続けるためには、常にPDCAサイクルを回す必要がある 新しいビジネス要件への対応、精度改善…
16. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 16 MLOps 概要 機械学習のライフサイクルを⾃動化し効率化 開発から運⽤までのプロセスを統合してモデルのデプロイや監視を実施
17. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 17 MLOpsを構築する MLOps構築はコストが⾼い 何を狙ってMLOpsを構築するかを決めておく 運⽤部⾨に⼀部オ ペレーションを任 せたい エンジニアが毎回 ⼿動メンテは厳し い 精度が低いって⾔ われるけど何をす れば？
18. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 18 MLOpsを構築する データ収集、アノテーション、学習、評価、デプロイ、モニタリングをつなげる 各ステップも当然便利にしたい システムだけでなく、⼈や組織も含めて考える 各ステップのオペレーション責任者は︖業務フローは︖
19. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 19 MLOpsを構築する ~FastLabelの場合~ ユーザーはFastLabelを利⽤してMLOps構築を実施 状況に応じて⼀部モジュールのみの利⽤や外部サービスとの連携も整備 FastLabelのプロダクトとしては推論・学習周りの基盤を整備
20. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 20 MLOpsを構築する ~FastLabelの場合~ 推論・学習周りの基盤としてはAWSのSageMakerを利⽤
21. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 21 MLOpsを構築する ~FastLabelの場合~ 推論・学習周りの基盤としてはAWSのSageMakerを利⽤
22. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 22 MLOpsを構築する ~FastLabelの場合~ アノテーションは⾃動アノテーション機能で効率化 コストの⾼いアノテーション作業をAIによる推論を⽤いて効率的に実施可能
23. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 23 MLOpsを構築する ~FastLabelの場合~ 学習・評価もシームレスに⾏えるように GPUの準備やデータ変換なしで、プラットフォーム上から学習・評価を実施可能
24. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 24 MLOpsを構築する ~FastLabelの場合~ デプロイは外部との連携性を確保 デプロイ先は⾃社で⽤意したリソースを利⽤したいケースが多かったのでSDKを準備 FastLabel環境内にもホスティングは可能
25. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 25 MLOpsを構築する ~FastLabelの場合~ モニタリングは外部との連携性を確保 外部から推論結果を連携できるようにSDKを準備 Call回数やエラーなどのシステム的な指標に加え、学習時のクラス割合との⽐較など改善のきっかけを提供
26. © 2023 FastLabel Inc. All Rights Reserved. MLOps構築 26 まとめ ~MLOpsのリアルなところ~ • なかなか運⽤まで踏み込んでまわすのは⼤変 予算確保、中⻑期的な効果測定の難しさ 考えるべきはシステムだけにとどまらない（組織、オペレーション、ITリテラシー…） • どう対応して⾏くべきか • ビジネス的な観点も⼤切にする • システム構築はゴールではない。関係者全員を巻き込んだコミュニケーションが必要になる • 最初から完璧を⽬指さない • 問題点があったら都度解決するくらいの気持ちで当たる • 全て⾃分で賄わない • 完全に内製は厳しい。便利なライブラリ・サービスは多数あるのでどんどん取り⼊れる
27. © 2023 FastLabel Inc. All Rights Reserved. さいごに 27 FastLabelでは⼀緒に働く仲間を⼤募集しています︕ • AI未経験の⽅、スタートアップ初挑戦の⽅も活躍中です • 11⽉末に10億円超の資⾦調達の実施を予定しています 《採⽤サイト》 https://fastlabel.ai/career
28. © 2023 FastLabel Inc. All Rights Reserved. End of File 28