Share
Embed
dbtとLightdash を社内へ浸透させるまでの取り組み / Integrate dbt and Lightdash into Ubie
okiyuki
April 09, 2025
Transcript
29 slides
-
2 自己紹介 Motoyuki Oki (@okiyuki99) Ubieでデータ利活用領域を担当 • 2021/12よりUbieにjoin • 注力領域
◦ データ分析 ◦ アナリティクスエンジニアリング ◦ BI×生成AI • 最近はCursor(Editor)に全部やらせるに挑戦中 -
3 Confidential 今日話すこと / 話さないこと 1. Ubie について 2. UbieでのdbtとLightdashの利用状況
3. Lightdashの利用浸透についての取組み 4. 課題とこれから • dbt と Lightdash の詳細 ◦ 懇親会で詳細はお話できれば! -
8 自分の症状を答えるだけで、 参考病名や近くの医療機関等 「受診の手がかり」が調べられます 医療現場で実際に使われ鍛えられたAIを、 生活者が適切な医療にかかる目安として開放しています (2020年提供開始) 無料で 誰でも いつでも
ほぼ全ての症状で * *99% (1.3万超)の症状に対 応 情報 アクセシビリティ 好事例2023 選出 総務省 症状検索エンジン「ユビー」ダウンロードリンク https://ubie.go.link?adj_t=1c2ifxv9 ①生活者向け事業 -
2020年のサービス提供開始以来、多くの方の適切な医療へのアクセスを支援しています 9 月間利用者数 1200万人 提携医療機関数 1万5000以上 累計利用回数 1億 8000 万回以上
対応する症状 3500以上 ユビーを利用した後 実際に受診した人数(推計) 1838万人 対応する病名 1100以上 ユビーを利用したうち 「受診してよかった」 91.1% アカウント登録数 500万人 -
11 dbtとLightdashの利用状況 • 主に分析のためのSQLをdbtで2021年から構築。BIツール Lightdashの設定も同じレポジトリで管理 ◦ 2025/4時点で運用中のdbt model数は3000+ / dbt
test数13,000+ / Lightdashダッシュボード 200+ • 月間PR作成者数が35名以上、月間PR数が600以上を記録。Ubie全体でも1,2位の規模 ◦ 現在専属のデータエンジニアは1名。データ分析・分析に必要なデータ開発全般の民主化が進んでいる dbt開発用レポジトリにおける作成者数推移(左) と PR数推移(右) -
12 データ分析基盤の全体像 • ほぼ全て Google Cloud で構成 • DBからのETL /
App からの Log Streaming に始まり、BIツール(Lightdash)までが分析基盤 • 仮名加工化と4層に分かれた分析用領域のデータモデリングにdbtを利用している データエンジニアの@yosh_yumyum の資料に詳細が解説されています https://speakerdeck.com/yoshyu m/cd -
18 ①認知フェーズ(2023年10月〜12月) • 公式のBIツールにしていくためにトップダウンで推進 ◦ 当時の基盤内OKRの1つに設定し、全体向けオンボを実施 ◦ 同時にガイドなど複数作成 • もともと利用したいと聞いていた少数のキーマンに個別浸透
• dbtの知識が必要な部分も多くボトルネックに • 当時の既存BIツール(LookerStudio, Redash)と比べて移行す るメリットが腹落ちできず、活用は限定的に -
23 ④定着フェーズ(2024年10月〜) • 導入から1年経ち、周りを見渡せば大部分のチームがLightdashを中心に ◦ 他チームには1-3スプリントにアナリティクスエンジニアがゴリッと整備に入って、オンボして立ち上げ • 生成AIとの相性もよく、dbt + Lightdashの開発は
Cursor(Editor)やDevinで効率的にできる Devinの利用例 Cursor Project Rulesと使用例 -
24 ④定着フェーズ番外編:各チームから特に人気(!?)の機能や副次的効果 ドメイン横断のクロス分析 で、1段深い分析が簡単に できるようになった あるソフトウェアエンジニアの声 グラフのソースとなるSQLの表示 dbtを見に行けばロジック が全部わかるので、データ に詳しくない人でも追いや
すい 自チームのmodelに別チームの modelをJOINだけで再利用 -
26 Lightdash を扱う上での課題 • 深化フェーズのダッシュボードはまだ LookerStudioも併用中。2025年中には1本化 ◦ BIツール変更に伴う業務プロセス変更影響が大きい領域 ◦ すでに運用されており、顧客向けで数値ズレを起こしたくない領域
◦ BIツールの移行工数は大きいので徐々にやっていく • 他有償BIツールと比べるグラフの表現力・種類は限定的 ◦ 直近だとバブルチャートがなかった ◦ ピボットテーブルの値の大小に応じた自動カラーレンジも一定できるが.... • ARRAYカラムを自動でUNNESTしてくれないため、dbt model側での設計指針は変更した ◦ 例:大福帳テーブルはNESTしたdbt modelになりがちなので、NESTしたdbt modelは可能 な限り作らないようした -
27 Lightdash上のダッシュボードのコード管理 • `lightdash download` で Lightdash上のダッシュボードをコードとして入手できる ◦ `lightdash upload`でTerraformのようにダッシュボードを扱ったり、生成AIが作成したり...
• Lightdash MCPサーバーを使った開発効率化も実験中(syucream/lightdash-mcp-server) -
28 応用例:ダッシュボード探せるくんMVP • Slackリアクション1つでダッシュボードを探せるMVP運用中 • 運用した結果、ダッシュボード以外に、メトリック / アドホック分析結果 / 分析レポート
/ … も今後拡張 を進める 仕組みの概略図 Slack上での利用例