Upgrade to Pro — share decks privately, control downloads, hide ads and more …

スケーラブルなデータ収集と活用の舞台裏 / scalable data infrastruct...

Avatar for to_lz1 to_lz1
July 09, 2020
Technology
0
10k

スケーラブルなデータ収集と活用の舞台裏 / scalable data infrastructure of M3

2020-07-09 コロナ時代の医療業界を支援するエムスリーのプロダクト開発の舞台裏

Avatar for to_lz1

to_lz1

July 09, 2020
Tweet

More Decks by to_lz1

See All by to_lz1
技術的負債という武器の扱い方を考える
Avatar for to_lz1 mtoriyama000
1
1k
Webエンジニアのためのデータエンジニアリング概説
Avatar for to_lz1 mtoriyama000
6
950

Other Decks in Technology

See All in Technology
クラウド × シリコンの Mashup - AWS チップ開発で広がる AI 基盤の選択肢
Avatar for Hiroshi Tokoyo htokoyo
2
180
マネージャー版 "提案のレベル" を上げる
Avatar for konifar konifar
22
15k
NewSQL_ ストレージ分離と分散合意を用いたスケーラブルアーキテクチャ
Avatar for hacomono Inc. hacomono
PRO
2
240
越境する組織づくり ─ 多様性を前提にしたチームビルディングとリードの実践知
Avatar for hrpnx kido_engineer
2
190
vLLM Community Meetup Tokyo #3 オープニングトーク
Avatar for jpishikawa jpishikawa
0
320
Yahoo!ショッピングのレコメンデーション・システムにおけるML実践の一例 
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
1
190
Claude Code 2026年 最新アップデート
Avatar for Oikon oikon48
10
8k
複数クラスタ運用と検索の高度化：ビズリーチにおけるElastic活用事例 / ElasticON Tokyo2026
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
0
130
モブプログラミング再入門 ー 基本から見直す、AI時代のチーム開発の選択肢 ー / A Re-introduction of Mob Programming
Avatar for TAKAKING22 takaking22
5
1.3k
元エンジニアPdM、IDEが恋しすぎてCursorに全業務を集約したら、スライド作成まで爆速になった話
Avatar for "doiko" chiaki_yamaguchi doiko123
1
590
決済サービスを支えるElastic Cloud - Elastic Cloudの導入と推進、決済サービスのObservability
Avatar for suzukij suzukij
2
600
Scrumは歪む — 組織設計の原理原則
Avatar for Daisuke Ashihara dashi
0
120

Featured

See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
Avatar for Sam Stephenson sstephenson
162
16k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
Avatar for Tomoya Matsuura tomoyanonymous
2
540
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.1k
Jess Joyce - The Pitfalls of Following Frameworks
Avatar for Tech SEO Connect techseoconnect
PRO
1
100
The Illustrated Guide to Node.js - THAT Conference 2024
Avatar for David Neal reverentgeek
1
300
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
Avatar for Tammy Everts tammyeverts
11
860
We Analyzed 250 Million AI Search Results: Here's What I Found
Avatar for Josh Blyskal joshbly
1
940
From Legacy to Launchpad: Building Startup-Ready Communities
Avatar for Dug Song dugsong
0
170
Measuring Dark Social's Impact On Conversion and Attribution
Avatar for Stephen Akadiri stephenakadiri
1
150
技術選定の審美眼（2025年版） / Understanding the Spiral of Technologies 2025 edition
Avatar for Takuto Wada twada
PRO
118
110k
How to make the Groovebox
Avatar for あそなす asonas
2
2k
Visualization
Avatar for Eitan Lees eitanlees
150
17k

Transcript

  1. スケーラブルなデータ収集と活用の舞台裏 ~ Web講演会を例に ~ 2020-07-09 コロナ時代の医療業界を支援するエムスリーのプロダクト開発の舞台裏

  2. 自己紹介 鳥山 誠 (Toriyama Makoto) 入社: 2020年1月 趣味: 音楽 前職:

    人材系企業 - 社内Webシステムを作ったり (Angular, Scala) - クエリパイプラインを構築したり (Redshift, Digdag) 所属: Unit1 - 製薬企業向けPF

  3. 製薬企業向けプラットフォーム - MR君 (2000~) - Web講演会 (2011~) エムスリー創業期からのサービス群 m3.com上で医師へ薬剤などの情報提供 ×

    製薬企業のマーケティング支援

  4. Web講演会 m3.com上で行うオンラインの講演会 (最近アプリも出ました =>) - 例: - 製薬会社、医療機器メーカー主催の医師向け講演会 - 看護師、薬剤師向けの薬剤、機器の説明会

    => 正にいま「医療関係者の情報収集」に貢献しうるサービス

  5. （当社IR資料より抜粋）

  6. そんな勢いで増える「データ」をどう扱っているのか？

  7. 「データ」を扱う どう集めているのか？ => 収集 どう使っているのか？ => 活用

  8. どう集めているのか？ => 収集 どう使っているのか？ => 活用 …の２つに焦点を当ててお話しします 「データ」を扱う

  9. データの”収集”

  10. Web講演会サーバはOn Premise + AWS (移行中)、ログ送信先はGCP (最近全面移行した) Webビーコン方式のアクセス解析ツールを自前実装 ＋ 視聴予約・視聴 （RDBトランザクション）

    視聴ログ送信（一定時間ごとビーコン送信） Web講演会の視聴データの話

  11. - Cloud Runがオートスケールしリクエストをさばく - ログをPub/Subにエクスポート、BigQueryに連携 GCP構成図

  12. - ログデータは先述の仕組み (+α) でリアルタイムに連携 - DBのデータは、Digdag+EmbulkでBigQueryに連携 - => BigQuery上で双方を組み合わせた分析が可能 BigQueryはデータ基盤の中心

  13. データの”活用”

  14. データ活用と言っても...

  15. 今日はあえてこちら

  16. データ分析観点はサービスの成長とともに変わっている 過去: MR君（= 医師向けメッセージ） => 配信数と既読率を追う。以上！ 現在: - 講演会の視聴率はどうだったか？ -

    講演会に至るまでのアクセス動線は？ - メッセージ添付の動画・コンテンツまで見てもらえているか？ - 医師からのフィードバック・アンケート回答内容はあるか？ => 分析要件が複雑化・多様化 「データ分析」って集計するだけでは？

  17. - オンプレの分析用Oracleに、諸々のチームが諸々の技術で ETL - Java製ツールで非Engでもデータ抽出できる - => 便利だが、増えるデータに対応できない && データ定義が管理しきれない

    ... かつてのデータ分析基盤 「データは出たけどこれ正しいんだっけ？」 PdM

  18. - BigQueryに集まったデータを BIツールで分析 - 利用を促進するため、各種データマートを構築（進行中） クラウドでやりましょう

  19. - Oracleデータ + ログデータ + Salesforceデータを材料に、データマートに統合 - 昨日までの実績がすぐに可視化される世界 => 意思決定を支援

    活用事例1: プロダクトマネージャ向けダッシュボード

  20. - GCPのData Catalogによるメタデータ管理を行っている - descriptionを丁寧に書く => デプロイしたら即テーブル定義を確認できる 活用事例1: プロダクトマネージャ向けダッシュボード

  21. - メンテナンス困難になっていた CSV付きレポートメール (Shell製) - BQ上でデータマートを構築し、データマートから出力 (同時にPythonにした) - 大規模配信のレポートが安定して出力できるように 活用事例2:

    クライアント向けレポート (100~200通/日 程度)

  22. 構成図

  23. - 全サービスのKPIがすぐ追える世界 - ETL基盤をいい感じにクラウド化する - データ基盤そのものをクライアントと共有して、更なる価値提供 - etc... この先やりたいこと

  24. まとめ - データ基盤は「収集」と「活用」両方のスケーラビリティが大事 - エムスリー、歴史のあるサービスも頑張っています - まだまだやれることがたくさんあります！！