エムスリーデータ基盤チーム紹介資料 / Introduction of M3 Data Platform Team

エムスリーのデータ基盤チームの紹介資料です。

エムスリーエンジニア公式Xアカウント
https://x.com/m3_engineering

エムスリーテックブログ
https://www.m3tech.blog/

エムスリーYouTubeチャンネル
https://www.youtube.com/@m3techchannel160

エンジニア採用ページ
https://jobs.m3.com/engineer/

Transcript

1. 2023/08/30更新 エムスリー株式会社 データ基盤チーム 紹介資料
2. エムスリーとは? 2
3. (※) 2021年6月時点 日本の医師のエムスリー会員率 エムスリーが事業展開している国の数 エムスリーが占める全世界で医師会員の割合 全世界で医師会員合計 15 カ国 (※) 50 %以上 (※) 600 万人以上 (※) 90 %以上 エムスリー が展開する医療従事者向け情報 サイト「m3.com」は30万人を突破、日本 の医師の9割以上が会員。(※) インターネットを活用し、健康で楽しく長生きする人を 1人でも増やし、不必要な医療コストを1円でも減らすこと 3
4. Platform × Product 健康で幸せな毎日を もっとよくするために 私たちはプラットフォームとプロダクトの力を用いて様々な医 療課題の解決に取り組んでいます。主に医療従事者に対して アプローチしながらも、同時にその先の一般の方々に対して もサービス提供を行い、総合的に人々の健康的な毎日を少し でも改善することを目指し様々なプロダクトの開発を行ってお ります。多くの医療者をユーザーに抱えるエムスリーだからこ そできるやり方で、多くの人々の健康に対して貢献していま す。
5. データ基盤チームとは? 5
6. エムスリーのデータエンジニアリングを強化し、 ビジネスインパクトを直接創出すると共に、 他チームの利益創出を支援すること 6 Launched　2023.04 Team Mission
7. ミッションをどう実現するか 7 ・ データプロダクト開発による価値の創出 ・ データ基盤のコスト最適化 ビジネスインパクトの直接創出 ・ 利用しやすいデータ分析基盤の提供 ・ データ関連技術の選定・開発支援 他チームの利益創出支援 ・ AIチームなど他チームのエンジニア ・ データプロダクトを企画するPdM ・ 幅広い職種のデータ分析基盤ユーザ etc. 隣接組織とのコラボレーション
8. 取組事例 : Reverse ETLにより既存プロダクトの価値を強化 8 BigQueryのデータを アプリケーションに再統合する 新機能を開発しました。 医療業界における より良いコミュニケーションに 活用頂いています。
9. 取組事例: BigQuery利用権限付与をSlackワークフローで高速化 9 SlackアプリとCLIツールを開発し 社内ユーザへの高速な権限付与を 実現しました。 データ基盤の使いやすさと 権限の管理統制の両立を 目指しています。
10. どんなメンバーがいるか? 10 木田 巧 最近取り組んだこと BigQueryの新料金プランに対応したコ スト最適化 2019年入社（ex-IBM） チームのいいところ - データソースからのデータ抽出から データ可視化まで幅広く関わること ができる - コードレビューが早くてかつ丁寧 山口 航 最近取り組んだこと S3 ログバケットから BigQuery への ETL 開発 2023年入社（ex-AWS ) チームのいいところ - 困っていると率先して意見をくれる - 全社で利用する BigQuery の管理が できる - 様々なチームと関わることができる
11. 入口から出口まで、少人数で 11 データの連携「だけ」ではなく プロダクトへの落とし込みや可視化まで データパイプラインの全工程を 一貫して行うチームです。 CI/CDやIaCが整っているからこそ 運用に煩わされず 小さいチームでも開発に注力できます。
12. 価値あるデータを全社に提供 12 他チームのエンジニアから データ連携追加のマージリクエストを 受けることもあり 皆で協力して基盤を整備しています。 ビジネスチームメンバーも SQL等での分析を日常的に行っており データ基盤を可用性高く保つ重要性は 日々増しています。
13. m3.comの主なデータ基盤構成図 13
14. 利用技術・ツール 14
15. これからのチャレンジ 15 データの品質担保 データ基盤の利用が拡大する中、 データの精度に対する要求も高 まっています。Dataform や dbt といったツールを活用したデータ パイプラインのモジュール化やテ スト導入を検討中です。 リアルタイムのデータ連携 CDCなどを活用し、よりリアル タイムに近いデータを提供でき る基盤を構築することで、ユー ザーである医療従事者の方々に より良質な体験を届けることが できると考えています。 プロダクト開発への関与 エンジニアリングGの他チームと 協業し、データエンジニアもデー タを活用したプロダクト・サービ スの開発に積極的に関与していき ます。医師会員や製薬企業からの 期待も高い状況です。
16. • データ基盤の設計 / 開発 / 運用経験 • AWS / GCP等クラウドインフラを用いた システム構築経験 • データを活用したビジネス創出経験 • Webアプリケーションの 開 発 運 用 経 験 (Python / Go / Ruby / Kotlin / Scala / Java等) • 要件をヒアリングし、まとめる能力と経験 歓迎スキル • データ基盤整備に閉じず、データをビジネス価 値に結びつけるところまでを楽しめる方 • チームの枠を超えて周囲の関係者と協力し、課 題解決に取り組める方 チャレンジを実現する仲間を求めています 求める人物像
17. • 勤務はリモートワーク中心　チームミーティングなどで月2回程度出社する場合はあります • 裁量労働制 始業時間の規則なし メンバーの平均残業時間は20h/月程度です • MacBook Pro支給(32GB Memory, JIS/US配列から選択) • 外付けキーボード購入 20万円まで補助 • 関東ITソフトウェア健保加入 働く環境について
18. ブログ記事紹介 エムスリー、データ基盤 チームはじめました https://www.m3tech.blog/entry/about-dataplatform-team データ基盤チーム立ち上げの背景 や、立ち上げ期の取り組みを詳しく 紹介しています。 エムスリー新チーム”データ 基盤チーム”へジョインした 決め手 https://www.m3tech.blog/entry/2023/07/05/110000 中途入社メンバーの入社理由・ 入ってみての印象など生の声が綴 られた入社エントリです。 Digdag + Embulkをクラウ ド転生させてデータ基盤運 用を圧倒的に楽にした話 https://www.m3tech.blog/entry/2020/12/19/110000 ELTの中核処理をオンプレミスから AWSに移行したプロジェクトの紹介 です。設計上の工夫点などを詳しく 紹介しています。
19. エムスリー公式テックブログ https://www.m3tech.blog/ もっと詳しく知りたい人は エンジニア公式Twitter https://twitter.com/m3_engi neering エンジニア公式YouTube https://www.youtube.com/channel /UC_DkAOcwgmtQnJLDctci4rQ BigQuery上のデータマートをクラスタ化したらク エリコストが９割カットできた話 https://www.m3tech.blog/entry/2023/07/07/160000 Lookerによるダッシュボードのアーキテクチャと Terraform providerの実装と運用 https://www.m3tech.blog/entry/looker-dashboard-architecture エムスリーのデータ基盤を支える設計パターン https://www.m3tech.blog/entry/data-platform-design-pattern エンジニアリングの時間を生み出すドキュメン テーション術 https://www.m3tech.blog/entry/2023/07/06/110000 その他のチームメンバーブログ記事
20. https://jobs.m3.com/engineer/ カジュアル面談・応募はこちら