Upgrade to Pro — share decks privately, control downloads, hide ads and more …

浸透から活用、そしてAI ReadyなLightdashへ / From Adoption t...

浸透から活用、そしてAI ReadyなLightdashへ / From Adoption to Utilization, and Towards an AI-Ready Lightdash.

2025/10 02 に開催された Lightdash Tokyo Meetupの登壇資料です。
Presentation materials from the Lightdash Tokyo Meetup on Oct 2, 2025.

Avatar for yosh_yumyum

yosh_yumyum

October 09, 2025
Tweet

More Decks by yosh_yumyum

Other Decks in Programming

Transcript

  1. 2 Introduction Shunya Yoshikawa (@yosh_yumyum) Data Engineer @Ubie, Inc. •

    2023/9よりData EngineerとしてUbieにjoin • Data Engineering, Data Privacy, 横断的なデータ利活用推進をやっています。 ◦ 最近は生成 AIを駆使した非構造データの利活用・業務プロセス改善も Recent Activities • dbt民主化とLLMによる開発ブースト ~ AI Readyな分析サイクルを目指して ~ (Tokyo dbt Meetup #15) ◦ https://speakerdeck.com/yoshyum/dbtmin-zhu-hua-tollmniyorukai-fa-busuto-ai-readynafen-xi -saikuruwomu-zhi-site • AI Readyなナレッジマネジメント〜議事録の利活用を例に〜 (blog post) ◦ https://zenn.dev/ubie_dev/articles/8e8c107419601b
  2. 事業紹介 6 自分の症状を答えるだけで、 参考病名や近くの医療機関等 「受診の手がかり」が調べられます 医療現場で実際に使われ鍛えられた AIを、 生活者が適切な医療にかかる目安として開放しています (2020年提供開始 )

    無料で 誰でも いつでも ほぼ全ての症状で * *99% (1.3万超)の症状に対応 生活者 医療機関 製薬企業 生活者向け事業 情報 アクセシビリティ 好事例2023 選出 総務省 症状検索エンジン「ユビー」ダウンロードリンク https://ubie.go.link?adj_t=1c2ifxv9
  3. 製薬企業とともに疾患ごとのペイシェントジャーニーの実態と課題を認識し、 患者・医師の適切な判断や行動を後押ししています 9 事業紹介 プロダクトを通して ユーザーの ペイシェントジャーニーの 実態を把握、認識できる ペイシェントジャーニー 上の課題を解決する

    ソリューションの共創 ペイシェントジャーニー 上のユーザーの 行動・ニーズ把握 ペイシェントジャーニー 上の課題を持つユーザーに 適切なタイミングで 適切な情報を提供できる 製薬企業との連携でUbieのプロダクトを起点としたペイシェントジャーニーに対する好循環が発生 製薬企業 ユーザー 患者/生活者 医師 生活者 医療機関 製薬企業
  4. 10 • Ubieはデータの会社。 事業・プロダクトにおける仮説検証・インサイト発掘や製薬企業向けのレポーティン グなど幅広い場面で価値を生み出している。 • 患者の情報を適切に繋ぎ合わせ理解することで適切な医療に案内する、ときには N数の少ない病気 (希少疾患 )の患者を適切な医療に案内する、そのために

    信頼性の高いデータが必須 • データ利活用推進と信頼性維持・向上が、 Ubieのプロダクト・プラットフォームそのものの価値向上に寄 与する。 Ubieにおけるデータの重要性について詳しくはこちら • Ubieのデータ信頼性とその向上の取り組み( https://zenn.dev/ubie_dev/articles/5d57fa39ac7af1) Ubieでのデータ利活用とデータ分析基盤の位置付け
  5. 13 UbieでLightdashが浸透するまで - 以前のTokyo dbt Meetupで、Ubieのデータアナリスト /AEの@okiyuki99が Lightdashの導入から浸透までの歴史をまとめてくれています。 - https://speakerdeck.com/okiyuki99/integrate-dbt-and-lightdash-into-ubie

    - また、Lightdash の customer story としても取り上げていただきました。 - https://www.lightdash.com/customer-story/ubie-jp - 利活用の前に、こちらの資料からまずはこれまでの歩みを抜粋の上紹介します。 https://www.lightdash.com/customer-story/ubie-jp https://speakerdeck.com/okiyuki99/integrate-dbt-and-lightdash-into-ubie
  6. 18 Ubieでのデータ開発 - UbieではSelf-Serviceなデータ開発プロセスを運用しています - つまり、プロダクトに詳しい人 (=Data Owner)がデータが利活用できるまでの開発を行う - DBからBigQueryへの転送

    - dbtでのmodeling - Lightdashのmetrics/dimension追加まで - データエンジニアの役割は - PR Review(主にPrivacy観点) - CI/CDの構築・運用 - 生成AIのためのガードレール Ubie データ分析基盤全体図
  7. 20 - 定常的な運用も Self Serviceの考えに基づき運用 - PR mergeやdaily batch で失敗した

    dbt test の修正 - `lightdash validate` で壊れた chart / dashboardの修正 - 一方で、利用が進み deprecatedなまま放置されてしまう chart / dashboardも増えてきた - CI/CDの割れ窓化を防ぐ+ 生成AI時代はBI as Codeのコンテキスト圧縮 のためにも 消しやすくする仕組み (誰がowner)・寿命(depecation_date)・Tier(Maturity)の設定で AIに読ませない整備も必要 (これから整備していく ...!) Ubieでのデータ開発:運用とこれから課題 https://github.com/lightdash/lightdash/issues/15638
  8. 21 - deprecationの入力など事前にライフサイクルを定義していれば削除の合意形成と運用はやりやすい - それだけでなく、補完的な情報源として利用ログも見たい - (cf: BigQuery INFORMATION SCHEMA)

    - User Activity Dashboardもあるが、実は csv exportもできる - https://docs.lightdash.com/references/usage-analytics - Spaceの定義と組み合わせるなどして、ライフサイクル自動化を期待 - exprements space に置いたものは一定期間後削除する - Tier:N以下でM日以上参照がないダッシュボードは自動削除する - など Ubieでのデータ開発:捨てやすくするために
  9. 22 コミュニケーションの中心地 (Slack)とLightdashを繋ぐ - Ubieでのコミュニケーションの中心となるツールは Slack - 社内では内製の生成 AIアプリケーションを Slack

    mentionで呼 べ、NoCode で chat botも作れる - Scheduled Delivery の結果を chat bot読ませ、モニタリング や示唆出しというユースケースも出てきた - Scheduled Deliveryは一番多い時間帯で 20個jobが並列で動 くことも Scheduled Deliveryにchat botをメンションさせる ↓ 画像認識でサマリ、モニタリング
  10. 24 Lightdash AI Agentの登場 - https://docs.lightdash.com/guides/ai-agents - Ubieでも内製の AI Agentを利用してきたが、

    Lightdash特化なAgentには期待大 - UbieのPrincipal Data Architectである yu さんが詳しく解説してくれているが、抜粋して紹介 https://yu-ishikawa.medium.com/lightdash-at-ubie-part-4-super charging-bi-with-lightdash-ai-agents-06191f1381f2 Lightdash AI AgentのThread UI. Slackでも対話的に呼び出せる
  11. 25 User-defined evaluations - Lightdash AI Agentに事前に定義したプロンプトを実行させ、それを評価する - つまり、 メタデータを育て続ける

    ための仕組み - TerraformProvider(Ubie OSS)でも定義可能 Agent Evaluation UI(左)と、Terraformの定義(右) https://yu-ishikawa.medium.com/lightdash-at-ubie-part-4-supercharging-bi-with-lightdash-ai-agents-06191f1381f2
  12. 26 どう改善する? - プロンプトの改良や dbt model側でdescriptionの改善 →再度Agent Evaluationを実行し、目標の精度に達するまでこれを繰り返す Lightdash AI

    Agentはデータではなく、 メタデータを読んでいるので如何に質の良い メタデータを与えるかが重要 - dbt model の descritptionだけでなく、 ”meta.ai_hint”やdimention/metricsの”tag” もadditional contextとして有用 - https://docs.lightdash.com/guides/ai-agents
  13. 27 Lightdash AI Agent を効果的に使うために - LightdashでAI Readyな分析をする環境はかなり整ってきた - Agent

    Evaluationによる、 text-to-query(semantic layer)なメタデータ評価 - → 応答精度の向上&データ品質の向上 - Usage Analytics を活用した、 Life cycle管理 - → コンテキストの増加の抑制・管理 - この他にも Spotlightによる Metrics Catalog や Lightdash MCPなどAIが効率的に情報収集する 手段が出揃いつつある - ラストワンマイルは人間によるメタデータ定義・管理、データモデリング、語彙の定義
  14. 28 まとめ - 利用増& AIが介在する中、コンテキストを如何に設計できるか - 対話的な体験がこれからの BI toolの中心 -

    仕組みが整い、インセンティブも高まっている今こそデータエンジニアはデータ整備を - Document your data thoroughly