Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps failure(1_108)
Search
shibuiwilliam
March 17, 2022
Technology
0
100
MLOps failure(1_108)
儂のMLOps失敗談は108式まであるぞ。
shibuiwilliam
March 17, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
LLMで推論するライブラリを整理する
shibuiwilliam
5
640
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
29
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
1
380
今日からRAGを 始めることを考える
shibuiwilliam
2
1.5k
2024年生成AI新年会登壇資料
shibuiwilliam
0
240
Creative as Software Engineering
shibuiwilliam
2
570
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
260
機械学習システム構築実践ガイド
shibuiwilliam
1
770
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
shibuiwilliam
4
4.2k
Other Decks in Technology
See All in Technology
20240906_JAWS_Yamanashi_#1_leap_beyond_the_AWS_all_certifications
tsumita
1
100
ログラスが面白いと思う理由をマネージャーがエモく語ってみる / 20240829 vs LT
yoshikiiida
1
520
[RSJ24] Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Foundation Models
keio_smilab
PRO
0
120
#Zenoh 完全に理解した 〜組込み純情篇〜
takasehideki
1
450
AWSを始めた頃に陥りがちなポイントをまとめてみた
oshanqq
1
1.7k
React Aria で実現する次世代のアクセシビリティ
ryo_manba
3
290
2024年版 運用者たちのLLM
nwiizo
3
290
なぜクラウドサービスで Web コンソールを提供するのか
shuta13
4
1.3k
LLM を現場で評価する
asei
4
680
【Λ(らむだ)最近のアプデ情報 / RPALT20240904
lambda
0
160
「名前解決」から振り返るAmazon VPC
yuki_ink
0
320
エンジニアリングマネージャーが紐解く、事業視点から組織文化まで、包括的アプローチの探求 / READYFOR
9ma3r
13
2.2k
Featured
See All Featured
Unsuck your backbone
ammeep
667
57k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.2k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
27
8.9k
Clear Off the Table
cherdarchuk
90
320k
The Invisible Side of Design
smashingmag
295
50k
Embracing the Ebb and Flow
colly
83
4.4k
Mobile First: as difficult as doing things right
swwweet
220
8.8k
The Illustrated Children's Guide to Kubernetes
chrisshort
46
48k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
Building Adaptive Systems
keathley
36
2.1k
Intergalactic Javascript Robots from Outer Space
tanoku
268
26k
Transcript
MLOps失敗篇 (1/108) 2022/02/16 shibui
自己紹介 shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア •
もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE • 最近の趣味:本の執筆と副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
成功の裏には多くの失敗が存在する • 成功しなくても多くの失敗は存在する。 • 機械学習の実用化関係の仕事を続けてきて犯した大小の失敗のうち、 代表的な1個を説明します。
開発半年、切り戻し1日 • プロジェクトの目的:B2Bで顧客の社内検索システムの性能向上を実現 • 手法:ランク学習を用いて検索の並び順を最適化することを狙う ねこ 検索 ねこ 検索
開発半年、切り戻し1日 • 検索ログからデータを作成し、Pointwiseで学習 ねこ 検索 q: ねこ q: いぬ q:
いぬっぽいねこ
開発半年、切り戻し1日 • キャッシュを有効活用してパフォーマンス・チューニング ねこ 検索 ねこ 検索 検索 データ ログ
特徴量 cache Rank cache Rank <100ms
開発半年、切り戻し1日 • リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM
開発半年、切り戻し1日 • リリース1日でクレームの嵐 • そのまま切り戻し ねこ 検索 ねこ 検索 昨日と違う
似てるものが みつからない 新しい順 でほしい 聞いてない
開発半年、切り戻し1日 • (1/1000の)リリース判定とユーザインタビューで好評 ねこ 検索 ねこ 検索 LGTM (1/1000票)
学び • 見えるもののドラスティックな変更 >>>> 機械学習の価値 • ユーザの理解 >>>> 想定した効率化 • 日々の業務 >>>> チューニングされたシステム
ハッシュタグ#MLOpsコミュニティ 公式アカウント @MlopsJ 次回、第17回は3/23(水) 18:00-!! • マネジメント経験者による機械学習実用化チーム座談会!!! ◦ Sansan株式会社 VPoE/研究開発部部長
西場様 ◦ Citadel AI 杉山様 ◦ 藤原秀平(sfujiwara)様 ◦ Launchable 澁井(司会) • 次回もぜひご参加ください!