Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
メルペイでのML Ops / merpay-2
Search
M3 Engineering
September 05, 2018
Technology
0
3.5k
メルペイでのML Ops / merpay-2
2018/9/5 に開催された「merpay×M3 機械学習 NIGHT」の発表資料です。
https://mercari.connpass.com/event/97213/
#merpay_ml
M3 Engineering
September 05, 2018
Tweet
Share
More Decks by M3 Engineering
See All by M3 Engineering
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
1
2.1k
エムスリーマネジメントチーム紹介資料 / Introduction of M3 Management Team
m3_engineering
0
1.8k
エムスリーエビデンス創出プロダクトチーム紹介資料 / Introduction of M3 Create Evidence Team
m3_engineering
0
4.9k
ギークの理想が7つ集まるエムスリーで夢を叶えよう - エムスリー株式会社
m3_engineering
1
11k
エムスリー基盤チーム紹介資料 / Introduction of M3 Platform Team
m3_engineering
1
12k
エムスリーMR君ファミリー開発チーム紹介資料 / Introduction of M3 MRkun Family Dev Team
m3_engineering
0
12k
エムスリーマルチデバイスチーム紹介資料 / Introduction of M3 Multi Device Team
m3_engineering
2
12k
エムスリーQAチーム紹介資料 / Introduction of M3 QA Team
m3_engineering
1
12k
エムスリー SREチーム紹介資料 / Introduction of M3 SRE Team
m3_engineering
0
12k
Other Decks in Technology
See All in Technology
データ分析基盤のためにS3を深堀りする~アーキテクチャ設計の考え方のヒントに~
nrinetcom
PRO
1
740
ゼロからはじめる生成AI〜AWS認定とハンズオンで学ぶ初心者の道〜
kenichinakamura
0
130
MobileActOsaka_241018.pdf
akaitadaaki
0
100
プログラミング写経のすすめ
natsutan
0
150
多数のWebサービスをECS/Fargate構成で効率よく構築・運用するなら copilot-cli
interu
2
160
暴カワでビデオシンセサイザーを導入する技術
yuchi
2
120
Unlearn Modularity
lemiorhan
6
280
なぜ Rack を理解すべきかプレトーク / Why should you understand Rack - Pre-talk
hogelog
0
220
エンジニアのドメイン知識獲得コストを低減するアプリケーションデザイン
ryo_nagata_
3
130
運営11年目タイトルを守る最強の盾の有効性と活用法
mixi_engineers
PRO
2
120
【完全版】Dify - LINE Bot連携 考え方と実用テクニック
uezo
3
850
WSUSが非推奨に!? Windowsの更新管理を改めて勉強する!
ebibibi
0
550
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
231
17k
How to Ace a Technical Interview
jacobian
275
23k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
3
330
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
26
700
Side Projects
sachag
452
42k
A designer walks into a library…
pauljervisheath
202
24k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
5
130
YesSQL, Process and Tooling at Scale
rocio
167
14k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Transcript
@sugar1023 メルペイ ps merpay ✕ M3 機械学習 NIGHT 2018 /
09 / 05
18 Copyright © Merpay, Inc. All Rights Reserved. 2017年4月〜 :
ヤフー いろいろ 2018年6月〜 : メルペイ 2015年4月〜 : 大学院 自己紹介 氏名: 佐藤 貴之@sugar1023_ 経歴 入社し 3ヶ月が 経ちました 所属: achine earning Engineer
19 Copyright © Merpay, Inc. All Rights Reserved. 伝えたいこ チーム
分析&モデリングを スケーラブル !! 『誰 もサクッ タスク 取りかかれる』 そん 環境を目指しました
基盤まわり
21 Copyright © Merpay, Inc. All Rights Reserved. 採用し いる主
技術 Docker ubernetes Engine Cloud torage Container egistry pinnaker circleci
アーキテクチャ 全容 「機械学習エンジニアが行う作業 、 特徴量追加 ull equest を作るだけ す。」 だいたい自動化
23 Copyright © Merpay, Inc. All Rights Reserved. 開発環境 再現性を担保
基本的 Dockerイメージ 管理 「 ython 2系こそ至高」 「辞書 Eologd使っ ます! ただしバージョン 知ら 」 「pip condaがごっちゃ りました」 環境構築 困るこ 極力 くす気持ち
分析&モデリングまわり
25 Copyright © Merpay, Inc. All Rights Reserved. データ Big
ueryやGC データへ アクセシビリティよき クエリ メンバー間 共有 一度作成した特徴量&モデルを管理 同じ設定 クエリや特徴量、モデル 作成をし い
自作モジュール 挙動 を意識 scikit-learn load_hoge 類似!! 例: Big ueryから学習/評価用 データを抽出する関数
慣れ親しんだインターフェース 学習コスト↓↓
27 Copyright © Merpay, Inc. All Rights Reserved. モデルを組んだらpipeline sklearn
pipelineオブジェクトを用意し union 特徴量加工処理を簡単 共有・追加削除・再現 きる!
28 Copyright © Merpay, Inc. All Rights Reserved. ま め
スケールするチームを目指し !! ・自動化され い 、かつ再現性 高い環境を構築し ・各モジュールも使いやすく ・分析&モデリング 分担を容易