Upgrade to Pro — share decks privately, control downloads, hide ads and more …

エムスリーデータ基盤チーム紹介資料 / Introduction of M3 Data Pla...

エムスリーデータ基盤チーム紹介資料 / Introduction of M3 Data Platform Team

エムスリーのデータ基盤チームの紹介資料です。

エムスリーエンジニア公式Xアカウント
https://x.com/m3_engineering

エムスリーテックブログ
https://www.m3tech.blog/

エムスリーYouTubeチャンネル
https://www.youtube.com/@m3techchannel160

エンジニア採用ページ
https://jobs.m3.com/engineer/

Avatar for M3 Engineering

M3 Engineering

August 30, 2023

More Decks by M3 Engineering

Other Decks in Technology

Transcript

  1. テクノロジーを創造的に活用し、健康で楽しく長生きする人を 1人でも増やし、不必要な医療コストを1円でも減らすこと エムスリーが事業展開している国の数 15 3 カ国 (※) エムスリーが占める全世界で医師会員の割合 50 %以上

    (※) 全世界で医師会員合計 600 (※) 2021年6月時点 日本の医師のエムスリー会員率 90 %以上 エムスリー が展開する医療従事者向け情報 万人以上 (※) サイト「m3.com」は30万人を突破、日本 の医師の9割以上が会員。(※)
  2. ミッションをどう実現するか ビジネスインパクトの直接創出 ・ データプロダクト開発による価値の創出 隣接組織とのコラボレーション ・ データ基盤のコスト最適化 ・ AIチームなど他チームのエンジニア ・

    データプロダクトを企画するPdM 他チームの利益創出支援 ・ 幅広い職種のデータ分析基盤ユーザ etc. ・ 利用しやすいデータ分析基盤の提供 ・ データ関連技術の選定・開発支援 7
  3. どんなメンバーがいるか? 木田 巧 山口 航 2019年入社(ex-IBM) 2023年入社(ex-AWS ) 最近取り組んだこと BigQueryの新料金プランに対応したコ

    スト最適化 最近取り組んだこと S3 ログバケットから BigQuery への ETL 開発 チームのいいところ - データソースからのデータ抽出から データ可視化まで幅広く関わること チームのいいところ - 困っていると率先して意見をくれる - 全社で利用する BigQuery の管理が ができる - コードレビューが早くてかつ丁寧 できる - 様々なチームと関わることができる 10
  4. これからのチャレンジ データの品質担保 リアルタイムのデータ連携 プロダクト開発への関与 データ基盤の利用が拡大する中、 データの精度に対する要求も高 まっています。Dataform や dbt といったツールを活用したデータ

    パイプラインのモジュール化やテ スト導入を検討中です。 CDCなどを活用し、よりリアル タイムに近いデータを提供でき る基盤を構築することで、ユー ザーである医療従事者の方々に より良質な体験を届けることが できると考えています。 エンジニアリングGの他チームと 協業し、データエンジニアもデー タを活用したプロダクト・サービ スの開発に積極的に関与していき ます。医師会員や製薬企業からの 期待も高い状況です。 15
  5. チャレンジを実現する仲間を求めています 歓迎スキル • データ基盤の設計 / 開発 / 運用経験 • AWS

    / GCP等クラウドインフラを用いた システム構築経験 • データを活用したビジネス創出経験 • Webアプリケーションの 開 発 運 用 経 験 (Python / Go / Ruby / Kotlin / Scala / Java等) • 要件をヒアリングし、まとめる能力と経験 求める人物像 • データ基 盤 整 備に閉じず、データをビジネス価 値に結びつけるところまでを楽しめる方 • チームの枠を超えて周囲の関係者と協力し、課 題解決に取り組める方
  6. ブログ記事紹介 エムスリー、データ基盤 チームはじめました エムスリー新チーム”データ 基盤チーム”へジョインした 決め手 Digdag + Embulkをクラウ ド転生させてデータ基盤運

    用を圧倒的に楽にした話 データ基盤チーム立ち上げの背景 や、立ち上げ期の取り組みを詳しく 紹介しています。 中途入社メンバーの入社理由・ 入ってみての印象など生の声が綴 られた入社エントリです。 ELTの中核処理をオンプレミスから AWSに移行したプロジェクトの紹介 です。設計上の工夫点などを詳しく 紹介しています。 https://www.m3tech.blog/entry/about-dataplatform-team https://www.m3tech.blog/entry/2023/07/05/110000 https://www.m3tech.blog/entry/2020/12/19/110000
  7. もっと詳しく知りたい人は その他のチームメンバーブログ記事 BigQuery上のデータマートをクラスタ化したらク エリコストが9割カットできた話 https://www.m3tech.blog/entry/2023/07/07/160000 Lookerによるダッシュボードのアーキテクチャと Terraform providerの実装と運用 https://www.m3tech.blog/entry/looker-dashboard-architecture エムスリーのデータ基盤を支える設計パターン

    https://www.m3tech.blog/entry/data-platform-design-pattern エムスリー公式テックブログ https://www.m3tech.blog/ エンジニア公式Twitter https://twitter.com/m3_engi neering エンジニア公式YouTube https://www.youtube.com/channel /UC_DkAOcwgmtQnJLDctci4rQ エンジニアリングの時間を生み出すドキュメン テーション術 https://www.m3tech.blog/entry/2023/07/06/110000