dbtとLightdash を社内へ浸透させるまでの取り組み / Integrate dbt and Lightdash into Ubie

Transcript

1. ※本資料には弊社の秘密情報が含まれております。貴社限りとさせていただき、 SNS等への アップロードを含め、貴社の関係者以外の方に開示されることのないようお願い申し上げます。 Confidential dbtとLightdash を社内へ浸透させるまでの取り組み 2025/04/09 Tokyo dbt Meetup #13 Ubie株式会社 @okiyuki
2. 2 自己紹介 Motoyuki Oki (@okiyuki99) Ubieでデータ利活用領域を担当 • 2021/12よりUbieにjoin • 注力領域 ◦ データ分析 ◦ アナリティクスエンジニアリング ◦ BI×生成AI • 最近はCursor(Editor)に全部やらせるに挑戦中
3. 3 Confidential 今日話すこと / 話さないこと 1. Ubie について 2. UbieでのdbtとLightdashの利用状況 3. Lightdashの利用浸透についての取組み 4. 課題とこれから • dbt と Lightdash の詳細 ◦ 懇親会で詳細はお話できれば！
4. 4 Confidential Ubieについて 4
5. Hello, Healthy world. 世界80億人の健康寿命を延ばす挑戦 Vision 5 健康は、地域や文化、人種を問わず、全ての人にとって普遍的なテーマ。Ubieは医療先 進国である日本で育んだプラットフォームを世界に広げ、地球上の80億人の健康寿命を 延ばすことを使命としています。目指すのは、健康がだれにとっても空気や水のように 当たり前となる世界です。
6. テクノロジーで人々を適切な医療に案内する 「どうしてあの時病院に行かなかったのか」と重篤化して後悔する方、最悪の場合命を落 とす方がいます。一方で多くの医療従事者は、早期に発見されていれば救えたはずの患 者の死を、無念の思いで見届けています。さらに世界には、医療へのアクセスが困難な地 域、医療資源が不足している国が数多く存在するのが現状です。私たちは医療先進国日 本発の企業としてテクノロジーで世界中の医療に貢献します。 Mission 6
7. 7 2つのプロダクトと3つの事業
8. 8 自分の症状を答えるだけで、 参考病名や近くの医療機関等 「受診の手がかり」が調べられます 医療現場で実際に使われ鍛えられたAIを、 生活者が適切な医療にかかる目安として開放しています (2020年提供開始) 無料で 誰でも いつでも ほぼ全ての症状で ＊ ＊99% (1.3万超)の症状に対 応 情報 アクセシビリティ 好事例2023 選出 総務省 症状検索エンジン「ユビー」ダウンロードリンク https://ubie.go.link?adj_t=1c2ifxv9 ①生活者向け事業
9. 2020年のサービス提供開始以来、多くの方の適切な医療へのアクセスを支援しています 9 月間利用者数 1200万人 提携医療機関数 1万5000以上 累計利用回数 1億 8000 万回以上 対応する症状 3500以上 ユビーを利用した後 実際に受診した人数（推計） 1838万人 対応する病名 1100以上 ユビーを利用したうち 「受診してよかった」 91.1% アカウント登録数 500万人
10. 10 Confidential Ubieでの dbt と Lightdash 10
11. 11 dbtとLightdashの利用状況 • 主に分析のためのSQLをdbtで2021年から構築。BIツール Lightdashの設定も同じレポジトリで管理 ◦ 2025/4時点で運用中のdbt model数は3000+ / dbt test数13,000+ / Lightdashダッシュボード 200+ • 月間PR作成者数が35名以上、月間PR数が600以上を記録。Ubie全体でも1,2位の規模 ◦ 現在専属のデータエンジニアは1名。データ分析・分析に必要なデータ開発全般の民主化が進んでいる dbt開発用レポジトリにおける作成者数推移(左) と PR数推移(右)
12. 12 データ分析基盤の全体像 • ほぼ全て Google Cloud で構成 • DBからのETL / App からの Log Streaming に始まり、BIツール(Lightdash)までが分析基盤 • 仮名加工化と4層に分かれた分析用領域のデータモデリングにdbtを利用している データエンジニアの@yosh_yumyum の資料に詳細が解説されています https://speakerdeck.com/yoshyu m/cd
13. 13 Lightdash について簡単におさらい dbt modelsのコード上で分析軸やメトリックを定義し、GUIでインタラクティブにBI操作できる 分析軸(dimension)と集計(metric)の定義 例 LightdashでのExplore画面とDashboard画面
14. 14 UbieへのLightdash 導入 (参考: Findy tools - Ubie株式会社のLightdashの導入事例)
15. 15 Lightdashの利用数(実行ジョブ数) の推移 現在Lightdash利用者数は全社員の約7割。利用数は半年前と比べて約4倍になってきた🚀 しかし、2023年10月 ~ 2024年6月くらいまでは伸び方は大きくなく、2024年7月くらいから急上昇
16. 16 Confidential Lightdashの 利用浸透について 16
17. 17 約1年半のLightdash浸透施策と課題の全体
18. 18 ①認知フェーズ（2023年10月〜12月) • 公式のBIツールにしていくためにトップダウンで推進 ◦ 当時の基盤内OKRの1つに設定し、全体向けオンボを実施 ◦ 同時にガイドなど複数作成 • もともと利用したいと聞いていた少数のキーマンに個別浸透 • dbtの知識が必要な部分も多くボトルネックに • 当時の既存BIツール（LookerStudio, Redash)と比べて移行す るメリットが腹落ちできず、活用は限定的に
19. 19 ②基盤整備フェーズ（2024年1月〜6月) dbt model開発のドキュメント拡充とオンボ開催 ペアプロも複数実施 （結果足りないドキュメントもわかる）
20. 20 ②基盤整備フェーズ（2024年1月〜6月) dbt modelをテンプレートにそって自動でファイル作成し、 Lightdashに必要な情報も挿入される CI/CDで lightdash deploy & lightdash validateして、開発効率化とエ ラー検知
21. 21 ②基盤整備フェーズ（2024年1月〜6月) 探索フェーズのチームへの浸透が次の課題に
22. 22 ③急拡大フェーズ（2024年7月〜9月) • 探索フェーズにも BIエンジニアのリソースを投入してゴリっとデータ整備し、成功事例を作って展開 • 非エンジニアやPOが使えるようになることで、分析回数が増え、施策ヒット率も上がった ◦ 期待を超えて評判が高まり、他の探索フェーズチームにも自然と広まるようになった 探索チームへのLightdash活用をまとめ、拡散 Lightdashがチームの全員に浸透し、全員が分析できるようになった
23. 23 ④定着フェーズ（2024年10月〜) • 導入から１年経ち、周りを見渡せば大部分のチームがLightdashを中心に ◦ 他チームには1-3スプリントにアナリティクスエンジニアがゴリッと整備に入って、オンボして立ち上げ • 生成AIとの相性もよく、dbt + Lightdashの開発は Cursor(Editor)やDevinで効率的にできる Devinの利用例 Cursor Project Rulesと使用例
24. 24 ④定着フェーズ番外編：各チームから特に人気(!?)の機能や副次的効果 ドメイン横断のクロス分析 で、1段深い分析が簡単に できるようになった あるソフトウェアエンジニアの声 グラフのソースとなるSQLの表示 dbtを見に行けばロジック が全部わかるので、データ に詳しくない人でも追いや すい 自チームのmodelに別チームの modelをJOINだけで再利用
25. 25 Confidential 課題とこれから 25
26. 26 Lightdash を扱う上での課題 • 深化フェーズのダッシュボードはまだ LookerStudioも併用中。2025年中には1本化 ◦ BIツール変更に伴う業務プロセス変更影響が大きい領域 ◦ すでに運用されており、顧客向けで数値ズレを起こしたくない領域 ◦ BIツールの移行工数は大きいので徐々にやっていく • 他有償BIツールと比べるグラフの表現力・種類は限定的 ◦ 直近だとバブルチャートがなかった ◦ ピボットテーブルの値の大小に応じた自動カラーレンジも一定できるが.... • ARRAYカラムを自動でUNNESTしてくれないため、dbt model側での設計指針は変更した ◦ 例：大福帳テーブルはNESTしたdbt modelになりがちなので、NESTしたdbt modelは可能 な限り作らないようした
27. 27 Lightdash上のダッシュボードのコード管理 • `lightdash download` で Lightdash上のダッシュボードをコードとして入手できる ◦ `lightdash upload`でTerraformのようにダッシュボードを扱ったり、生成AIが作成したり... • Lightdash MCPサーバーを使った開発効率化も実験中(syucream/lightdash-mcp-server)
28. 28 応用例：ダッシュボード探せるくんMVP • Slackリアクション1つでダッシュボードを探せるMVP運用中 • 運用した結果、ダッシュボード以外に、メトリック / アドホック分析結果 / 分析レポート / … も今後拡張 を進める 仕組みの概略図 Slack上での利用例
29. ※本資料には弊社の秘密情報が含まれております。貴社限りとさせていただき、 SNS等への アップロードを含め、貴社の関係者以外の方に開示されることのないようお願い申し上げます。 Confidential ご静聴ありがとうございました！