Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習実用化失敗黙示録
Search
shibuiwilliam
April 20, 2022
Programming
0
190
機械学習実用化失敗黙示録
機械学習実用化の失敗経験談
shibuiwilliam
April 20, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
LLM時代の検索
shibuiwilliam
2
170
生成AIを作るエンジニアリングと使うエンジニアリング
shibuiwilliam
2
57
AI Agentのキャッシュ、再利用、Ops
shibuiwilliam
2
100
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
5
600
LLMで推論するライブラリを整理する
shibuiwilliam
6
1.6k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
2
110
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
3
730
今日からRAGを 始めることを考える
shibuiwilliam
3
1.7k
2024年生成AI新年会登壇資料
shibuiwilliam
1
370
Other Decks in Programming
See All in Programming
dbt民主化とLLMによる開発ブースト ~ AI Readyな分析サイクルを目指して ~
yoshyum
3
1k
High-Level Programming Languages in AI Era -Human Thought and Mind-
hayat01sh1da
PRO
0
780
A2A プロトコルを試してみる
azukiazusa1
2
1.4k
ruby.wasmで多人数リアルタイム通信ゲームを作ろう
lnit
3
480
GitHub Copilot and GitHub Codespaces Hands-on
ymd65536
2
150
Webの外へ飛び出せ NativePHPが切り拓くPHPの未来
takuyakatsusa
2
550
脱Riverpod?fqueryで考える、TanStack Queryライクなアーキテクチャの可能性
ostk0069
0
140
AI時代の『改訂新版 良いコード/悪いコードで学ぶ設計入門』 / ai-good-code-bad-code
minodriven
14
4.8k
PostgreSQLのRow Level SecurityをPHPのORMで扱う Eloquent vs Doctrine #phpcon #track2
77web
2
530
ペアプロ × 生成AI 現場での実践と課題について / generative-ai-in-pair-programming
codmoninc
1
18k
AIと”コードの評価関数”を共有する / Share the "code evaluation function" with AI
euglena1215
1
170
AI コーディングエージェントの時代へ:JetBrains が描く開発の未来
masaruhr
1
150
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Gamification - CAS2011
davidbonilla
81
5.4k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
The Language of Interfaces
destraynor
158
25k
We Have a Design System, Now What?
morganepeng
53
7.7k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
It's Worth the Effort
3n
185
28k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Side Projects
sachag
455
42k
Agile that works and the tools we love
rasmusluckow
329
21k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
機械学習実用化失敗黙示録 2022/04/20 しぶい
自己紹介 shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア •
もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE • 最近の趣味:本の執筆と副業と ARとネコ cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
MLOps勉強会を毎月開催してます! https://mlops.connpass.com/
ワシの失敗談は百八式まであるぞ • 成功の裏には多くの失敗が存在する。 • 成功しなくても多くの失敗は存在する。 • 機械学習の実用化関係の仕事を続けてきて犯した大小の失敗のうち、 代表的な1個を説明します。
機械学習を実用化するためのエンジニアリング 学習 コード 学習 データ 学習 評価 モデル レポート 推論
コード CI テスト データ 評価 コード CD システム A A/B テスト システム B 負荷 試験 ログ 収集 評価 データ ユニット テスト ユニット テスト 機械学習エンジニアが得意 ソフトウェアエンジニアが得意 SREが得意
機械学習を実用化するためのエンジニアリング 学習 コード 学習 データ 学習 評価 モデル レポート 推論
コード CI テスト データ 評価 コード CD システム A A/B テスト システム B 負荷 試験 ログ 収集 評価 データ ユニット テスト ユニット テスト 機械学習エンジニアが得意 ソフトウェアエンジニアが得意 SREが得意 機械学習のエンジニアリングには 機械学習の知識が必要
0->1 フェーズのよくある失敗 全部できるスーパーエンジニアが全部作る ・・・けど作るだけで終わる 機械学習を実用化するためのエンジニアリング 学習 コード 学習 データ 学習
評価 モデル レポート 推論 コード CI テスト データ 評価 コード CD システム A A/B テスト システム B 負荷 試験 ログ 収集 評価 データ ユニット テスト ユニット テスト 機械学習エンジニアが得意 ソフトウェアエンジニアが得意 SREが得意
機械学習黎明期に謎の機械学習システムが出来上がる コード管理 DWH CI CRD 学習 パイプライン ビルド パイプライン マイクロサービス
CRD デプロイ パイプライン CRD 学習 クラスター サービス クラスター cron リソース コントローラ
チームメンバー モチベーション 俺は0->1が得意! 新しいプロダクトを考 えたよ♪ どうにか運用せねば ・・・ 作った人の尻拭いは 嫌だ。無駄に複雑で 不安定だし。
作った人 PdM EM
作り直すことのエンジニアリング • 目標を立てる:チームメンバーが技術選定して小さな変更でまともな運用を目指す ◦ 独自パイプラインCRDをマネージドサービスとサーバレスに寄せる • モチベーションを作る:作ったときに存在しなかった新しい技術を取り入れる ◦ Vertex AIやMLflowの導入
• フルスタックを目指さない:エンジニアとして今得たい技術に集中する ◦ 機械学習Kubernetesクラスターをインフラチームクラスターに移行 • 技術的負債をビジネス的に説明する:運用負荷を下げたほうが開発効率は上がる ◦ 開発vs運用工数の指標化
開発のチームワークはフェーズによって異なる 機械学習 導入開始 実用化 開発自動化 リリース 自動化 機械学習 エンジニア一人 機械学習
エンジニア複数 機械学習エンジニア + バックエンドエンジニア プロダクト別・事業別 チーム 頑張れ! 一番自由な時期! 阿吽の呼吸で わいわい楽しい ♪ 軋轢が生まれ始める コード品質 vs Jupyter 各チームの独自運用 他チームはあまり知らない スーパーエンジニア レガシー企業は 実はこのステージが多い 動いてるけどメンテナンスが 難しいことが多い バックエンドエンジニアの 支援がありがたいフェーズ 素晴らしいチームワーク!
学び • 作りたいものや作ってほしいものが、本当に作るべきものとは限らない。 • 作り直しは必ず発生する。新技術を扱ったプロダクトでは特に。 • 組織とプロダクトのフェーズによって突破志向と安定志向を使い分ける。
昨年出版した本の宣伝 • AIエンジニアのための 機械学習システムデザインパターン • 2021年5月17日発売 • https://www.amazon.co.jp/dp/4798169447/ • 機械学習よりもKubernetesとIstioに詳しくなれる一冊!
• Amazon.co.jp 情報学・情報科学部門 1位! 人工知能部門 1位! • 韓国語版も発売中! • 英語版出したい!