Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Treasure Dataで構築したデータ分析基盤、この1年の振り返り
Search
akitoshi toita
February 20, 2018
Technology
3
1.4k
Treasure Dataで構築したデータ分析基盤、この1年の振り返り
スタディサプリのデータ分析基盤運用にまつわる Tips を、ここ1年間の Treasure Data のアップデートを振り返りながらご紹介します
akitoshi toita
February 20, 2018
Tweet
Share
More Decks by akitoshi toita
See All by akitoshi toita
データ分析基盤を開発・運用するエンジニアリングチームの技術活用とその変遷 / StudySapuri Data Meetup 02 Engineering Team Introduction
toita
6
4.1k
Other Decks in Technology
See All in Technology
.NET AspireでAzure Functionsやクラウドリソースを統合する
tsubakimoto_s
0
190
AIアプリケーション開発でAzure AI Searchを使いこなすためには
isidaitc
1
120
Alignment and Autonomy in Cybozu - 300人の開発組織でアラインメントと自律性を両立させるアジャイルな組織運営 / RSGT2025
ama_ch
1
2.4k
【NGK2025S】動物園(PINTO_model_zoo)に遊びに行こう
kazuhitotakahashi
0
240
シフトライトなテスト活動を適切に行うことで、無理な開発をせず、過剰にテストせず、顧客をビックリさせないプロダクトを作り上げているお話 #RSGT2025 / Shift Right
nihonbuson
3
2.2k
Godot Engineについて調べてみた
unsoluble_sugar
0
410
Git scrapingで始める継続的なデータ追跡 / Git Scraping
ohbarye
5
500
今から、 今だからこそ始める Terraform で Azure 管理 / Managing Azure with Terraform: The Perfect Time to Start
nnstt1
0
240
Amazon Q Developerで.NET Frameworkプロジェクトをモダナイズしてみた
kenichirokimura
1
200
あなたの人生も変わるかも?AWS認定2つで始まったウソみたいな話
iwamot
3
860
Kotlin Multiplatformのポテンシャル
recruitengineers
PRO
2
150
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
6
55k
Featured
See All Featured
Gamification - CAS2011
davidbonilla
80
5.1k
A designer walks into a library…
pauljervisheath
205
24k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.1k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.5k
Why Our Code Smells
bkeepers
PRO
335
57k
Building Adaptive Systems
keathley
38
2.4k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Writing Fast Ruby
sferik
628
61k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3.1k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
30
2.1k
Transcript
Treasure Dataで構築したデータ分析基盤 この1年の振り返り 株式会社リクルートマーケティングパートナーズ ⼾井⽥明俊 PLAZMA TD Internal Day: TD
Tech Talk 2018
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. ⾃⼰紹介 ⼾井⽥明俊
リクルートマーケティングパートナーズ ネットビジネス本部 プロダクトディベロップメント部 データ基盤グループ データエンジニア 2017 年⼊社。 前職ではオンプレ Hadoop 分析基盤の構築・運⽤。 2
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 本⽇お話しすること スタディサプリのデータ分析基盤運⽤にまつわるトピックを
ここ1年間の Treasure Data のアップデートも 振り返りながらご紹介します 3
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. アウトライン •
スタディサプリのデータ分析基盤 • TD のアップデートに関する3つのトピック • 運⽤上⼯夫している4つのトピック • まとめ 4
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. アウトライン 5
• スタディサプリのデータ分析基盤 • TD のアップデートに関する3つのトピック • 運⽤上⼯夫している4つのトピック • まとめ
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. スタディサプリ 6
⽉額980円から講義動画が⾒放題なオンライン教育サービス 累計有料会員 42万⼈(2016年度)
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. データ分析基盤のシステム構成 7
PlazmaDB DataTank TD SDK Kinesis + Lambda Embulk Embulk report
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 定常集計の実⾏ 8
• Jenkins x Luigi – ⽤途:データ抽出、定常集計(中間テーブル作成) – 利⽤者:データエンジニア • Treasure Workflow (Digdag) – ⽤途:定常集計(レポートデータ作成) – 利⽤者:データ分析官 • TD Saved Queries – ⽤途:施策評価のアドホック分析など – 利⽤者:事業担当者・マーケティング担当者 • 主に3種類の利⽤者がいて、使い⽅も三者三様
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. アウトライン •
スタディサプリのデータ分析基盤 • TD のアップデートに関する3つのトピック • 運⽤上⼯夫している4つのトピック • まとめ 9
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 1. Presto
Delete ⽂の活⽤ • データを追記(append)するジョブの場合 – 注意点: • 再実⾏時のべき等性を担保するために、追記する前に⼀回書き込み対象のパーティ ションのレコードを消さないといけない – 対応⽅法: • Partial Delete してから INSERT INTO – 問題点: • Partial Delete のリクエストは Hive や bulk import と同じキューに⼊るため、そち らを待つために Presto のジョブ実⾏が遅くなるケースがある • テーブルの削除と追記操作を別々に記述するため、操作対象を間違える可能性がある 10
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 1. Presto
Delete ⽂の活⽤ Presto (v0.188) Delete ⽂をサポート (Dec 1,2017) SQLのみで Delete & Append を表現できるようになった! 11 DELETE FROM target_table WHERE TD_TIME_RANGE(time, ’2018-02- 18’, ’2018-02-19’, JST'); INSERT INTO target_table SELECT … After INSERT INTO target_table SELECT … Before import tdclient with tdclient.Client() as td: job = td.partial_delete( db_name=‘target_db’, table_name=‘target_table’, to= 1518966000, _from= 1518879600) job.wait() ↑Λ͔ͬͯΒҎԼͷpresto࣮ߦ
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 2. Treasure
Workflow の活⽤ ⾮エンジニアでも SQL を逐次実⾏して中間テーブルの作成をしたいことがあるが、 Luigi を採⽤していたためハードルが⾼かった • 解決法 – Treasure Workflow を採⽤ – Workflow ⽤のリポジトリを作成、マージすると Circle CI が⾃動でデプロイ • 結果 – GUI があるので Jenkins を触らずに⾮エンジニアでもワークフローを流せるようになった – 各集計処理の進捗状況の把握も容易 – Saved queries ではなくリポジトリでの⼀元管理になりクエリのレビューがしやすくなった – クエリの編集履歴も残るようになった 12
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 2. Treasure
Workflow の活⽤ 13 PR Λग़ͯ͠Ϛʔδ͢ΔͱࣗಈͰө
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 3. DOMO
連携 14
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 3. DOMO
連携 15 当初は BigQuery を経由していたが… Domo Connector Release (Sep 1, 2017) ίωΫγϣϯΤϥʔͰ σʔλ͕࿈ܞͰ͖ͳ͍͜ͱ… TDͷςʔϒϧΛࢦఆͰ͖ΔΑ͏ʹͳΓղফɺ҆ఆԽ
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. アウトライン •
スタディサプリのデータ分析基盤 • TD のアップデートに関する3つのトピック • 運⽤上⼯夫している4つのトピック • まとめ 16
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 1. TD
Saved Queries のリビジョン管理 • 課題 – 間違った修正を元に戻したい – テーブル変更時に影響範囲を知りたい • 解決法 – 15分おきに saved queries を API 経由で取得してリポジトリに commit & push • 要望 – Pull による更新検知は取りこぼしも起こるので saved queries の変更を push or 任意の リポジトリに反映されるようにして欲しい 17
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 1. TD
Saved Queries のリビジョン管理 18 登録ユーザーごとにディレクトリ作成 保存クエリのファイルの先頭にメタ情報を付記することで様々な⾓度からの検索も可能に
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 2. Presto
のリソース状況の監視 • 課題 – ⾊々なプロダクトが TD に乗ってくるようになったユーザ数もかなり増えた – 各⾃が登録したクエリが⼀⻫に発⽕してジョブが詰まる時間帯がある – クソクエリ ⻑時間実⾏されるジョブがあり、リソースを占有してしまう • 解決法 – 定期的にジョブの状況を監視するボットを開発 – Slack に通知・詰まっているときはメンションを⾶ばす – X 時間以上実⾏されている Presto ジョブを強制終了 19
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 2. Presto
のリソース状況の監視 20
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 3. 定期実⾏バッチのチューニング
• 課題 – 定期実⾏バッチ内で実⾏されるクエリでボトルネックになっているものを洗い出したい – ジョブの実⾏時間の推移を⾒たい • 解決法 – Luigi のジョブの実⾏時間を TD に格納 – 実⾏時間を DOMO で可視化 – 重いクエリから優先的に Hive -> Presto に書き換え、パフォーマンス改善を実現 21
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 3. 定期実⾏ジョブのチューニング
22 @luigi.Task.event_handler(luigi.Event.PROCESSING_TIME) def on_processing_time(task, duration): … with tdclient.Client() as td: query = query_template.format(insert_time, build_date, task_name, duration, task_id) job = td.query( db_name=ʼtarget_db', q=query, type='presto' ) Luigiの各タスクの実⾏後に TD にメトリクスを記録 (Luigi では on_processing_time() が⽤意されていたので楽だった)
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 3. 定期実⾏ジョブのチューニング
23 BI ツールで各ジョブの実⾏時間の推移を可視化
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 4. アカウント管理
• 割と頻繁にユーザー追加依頼があり、オペレーションを簡略化したい • 解決法 – アカウント発⾏処理を半⾃動化 1. 依頼者が依頼フォーム(Google Form)に必要な情報を⼊⼒ 2. アカウント管理者の Slack チャネルに通知 3. アカウント管理者が内容を確認後、アカウント追加コマンドを打つ 4. ボットが管理ページを操作してアカウントを追加 24
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. 4. アカウント管理
25 TD ͷΞΧϯτਃ༻ͷ Slack νϟϯωϧͰίϚϯυΛଧͭͱϢʔβʔՃ ① Google Formからの申請 ③ Jenkins job 実⾏ ④ Jenkins job 成功 ② アカウント追加コマンド
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. アウトライン •
スタディサプリのデータ分析基盤 • TD のアップデートに関する3つのトピック • 運⽤上⼯夫している4つのトピック • まとめ 26
(C) Recruit Marketing Partners Co.,Ltd. All rights reserved. • スタディサプリでのデータ分析基盤の運⽤も3年⽬に⼊り、TD
側での機能追加や アップデートを⽇々キャッチアップしながら改善に活かしている 1. Presto Delete ⽂サポート 2. Treasure Workflow リリース 3. TD DOMO連携サポート • あると便利な機能はまだまだ独⾃開発・運⽤でカバーしているので、ぜひ標準サ ポートしていただけると嬉しいです! 1. TD Saved Queries のリビジョン管理 2. Presto のリソース状況の監視 3. ジョブメトリクスの可視化 4. アカウント管理のための API まとめ 27