Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps failure(1_108)
Search
shibuiwilliam
March 17, 2022
Technology
0
100
MLOps failure(1_108)
儂のMLOps失敗談は108式まであるぞ。
shibuiwilliam
March 17, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
3
270
LLMで推論するライブラリを整理する
shibuiwilliam
5
820
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
45
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
1
450
今日からRAGを 始めることを考える
shibuiwilliam
2
1.5k
2024年生成AI新年会登壇資料
shibuiwilliam
0
270
Creative as Software Engineering
shibuiwilliam
2
590
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
280
機械学習システム構築実践ガイド
shibuiwilliam
1
820
Other Decks in Technology
See All in Technology
本番のトラフィック量でHudiを検証して見えてきた課題
joker1007
2
240
テクニカルライターのチームで「目標」をどう決めたか / MVV for a Team of Technical Writers
lycorptech_jp
PRO
3
150
Oracle Cloud Infrastructure:2024年10月度サービス・アップデート
oracle4engineer
PRO
0
140
組織デバイスのための効率的なアプリケーション更新戦略
kenchan0130
0
450
The road to green code (with Sonar)
bluehats
0
150
VueとViteで作るUIコンポーネントライブラリ ~デザインシステムとプロダクトの理想的な分離を目指して~ / 20241019_cloudsign_VueFesJapan2024_1
bengo4com
8
3k
とある事業会社にとっての Kaggler の魅力
hakubishin3
7
1.5k
XSS攻撃から考察するAWS設定不備の恐怖/20241012 Hironobu Otaki
shift_evolve
0
110
Vespaを利用したテクいベクトル検索
szdr
3
250
新入社員 オンボーディング改善プロジェクト - シンプルな仕組みで変革のきっかけを
enpipi
0
370
暴カワでビデオシンセサイザーを導入する技術
yuchi
2
120
AWS Lambda と Amazon SQS で「わかった気になれる」FreeRTOS 入門
soracom
PRO
2
140
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
167
14k
RailsConf 2023
tenderlove
28
860
Fireside Chat
paigeccino
32
3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
Learning to Love Humans: Emotional Interface Design
aarron
272
40k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Building Adaptive Systems
keathley
38
2.2k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
23k
Designing for Performance
lara
604
68k
GraphQLとの向き合い方2022年版
quramy
43
13k
GitHub's CSS Performance
jonrohan
1030
450k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.6k
Transcript
MLOps失敗篇 (1/108) 2022/02/16 shibui
自己紹介 shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア •
もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE • 最近の趣味:本の執筆と副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
成功の裏には多くの失敗が存在する • 成功しなくても多くの失敗は存在する。 • 機械学習の実用化関係の仕事を続けてきて犯した大小の失敗のうち、 代表的な1個を説明します。
開発半年、切り戻し1日 • プロジェクトの目的:B2Bで顧客の社内検索システムの性能向上を実現 • 手法:ランク学習を用いて検索の並び順を最適化することを狙う ねこ 検索 ねこ 検索
開発半年、切り戻し1日 • 検索ログからデータを作成し、Pointwiseで学習 ねこ 検索 q: ねこ q: いぬ q:
いぬっぽいねこ
開発半年、切り戻し1日 • キャッシュを有効活用してパフォーマンス・チューニング ねこ 検索 ねこ 検索 検索 データ ログ
特徴量 cache Rank cache Rank <100ms
開発半年、切り戻し1日 • リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM
開発半年、切り戻し1日 • リリース1日でクレームの嵐 • そのまま切り戻し ねこ 検索 ねこ 検索 昨日と違う
似てるものが みつからない 新しい順 でほしい 聞いてない
開発半年、切り戻し1日 • (1/1000の)リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM (1/1000票)
学び • 見えるもののドラスティックな変更 >>>> 機械学習の価値 • ユーザの理解 >>>> 想定した効率化 • 日々の業務 >>>> チューニングされたシステム
ハッシュタグ#MLOpsコミュニティ 公式アカウント @MlopsJ 次回、第17回は3/23(水) 18:00-!! • マネジメント経験者による機械学習実用化チーム座談会!!! ◦ Sansan株式会社 VPoE/研究開発部部長
西場様 ◦ Citadel AI 杉山様 ◦ 藤原秀平(sfujiwara)様 ◦ Launchable 澁井(司会) • 次回もぜひご参加ください!