AIエージェントのためのデータ品質Ops

Transcript

2. 自己紹介 ファインディ / データエンジニア 田頭啓介 / @tagasyksk 2024年5月〜 CTO室データソリューションチームにジョイン マルチプロダクトのデータ基盤の開発に従事 経営管理部門のデータ整備もやっている 2
3. 話すこと dbt モデルに品質の Tier を付けて運用している話 Tier の定義、Tier 1 にするモデルの選び方、AI エージェントとの関係 3
4. データ基盤の構成 4
5. 技術スタック 取り込み › 変換 Datastream dbt TROCCO Dataform DuckDB › DWH BigQuery › 可視化・抽出 › AI エージェント Looker Looker の会話分析 Looker Studio BigQuery の MCP スプレッドシート 5
6. Tier を定義した背景 6
7. 前提: データの使われ方が変わった 以前: 人が Looker や SQL で集計していた 最近: AI エージェントに質問する Lookerで整備した指標: Looker の会話分析で対応 より詳細な分析: BigQuery に直接クエリする必要がある 7
8. 利用者側の課題: コンテキスト不足 AI エージェントに適切なデータや背景知識を参照させられない どのモデル（データ）の品質が高いのか分からない 目的の指標をどう算出・集計すべきか分からない 微妙な用語の違いをどう解釈させればいいか分からない 8
9. 運用側の課題: 一律管理による運用の重荷 重要モデルと検証用モデルが同列に扱われ、運用の重荷になっている ビルド失敗時に即対応すべきか判断できない 品質整備の優先順位がつけられない 9
10. 品質 Tier の設計 10
11. 用途に応じて 4 段階の Tier を定義 Tier 1 2 3 4 用途 外部公表数値・KPI の決定 部門の意思決定・定常レポート 部門オペレーション・データ抽出 アドホック・個人検証 例 AI 利用 IR に載る数値、経営 KPI の算出に使 可 うモデル 部門ダッシュボード、予実レポート 可 オペレーション改善用のマート、抽出 可 用のモデル 使い捨ての検証テーブル 不可 11
12. Tier ごとに求める品質 工数のかかる要件は、上位の Tier だけに求める Tier 1 2 3 4 テスト 主キー・外部キー・整合性 主キー・主要な外部キー 主キー（推奨） なし description 全カラム + 計算ロジック キー・指標カラム モデルのみ なし テスト失敗時 当日対応 週次で確認 ベストエフォート — 12
13. Tier の決め方 dim_calendar Tier 1 ③ Tier 1 と Tier 2 から参照される ② Tier 1 のマートの上流 ① IR・経営 KPI に使う Tier 1 Tier 1 売上ファクト 部⾨別費⽤ファクト Tier 2 KPI マート 部⾨レポート⽤マート Tier 2 ① 部⾨の定常レポートに使う 1. モデルが算出する数値の用途で Tier を決める 2. Tier 1 のモデルの上流にあるモデルは、すべて Tier 1 にする 3. 複数の Tier から参照されるモデルは、参照元の最も高い Tier に合わ せる 13
14. Tier 1 にするモデルを選ぶ 14
15. Tier 1 の起点を利用ログから選ぶ 起点: KPI やダッシュボードが直接参照するモデル 1 Looker と BigQuery のクエリ履歴を集める。dbt のジョブが発行したクエリは除外する 起点の候補を人間が承認する 2 Claude Code のスキルが、閲覧数や参照した人数から候補を出す。KPI に使われているかは、データ エンジニアが事業部に確認して決める 起点の上流のモデルを列挙して、Tier 1 を確定する 3 で上流のモデルを列挙する 利用ログを集める dbt ls --select +<起点> 15
16. 今後の課題と展望 16
17. 課題: Tier の定期的な見直し 現在のTierは導入初期の利用ログをもとに設定されており、利用実態 の変化に対応できていない ログを定期集計し、Tier設定を適正化（更新）する仕組みが必要 例: 利用頻度が高まったTier 3モデルをTier 2へ引き上げる 17
18. 今後: コンテキストを Knowledge Catalog に集める dbt モデルの Tier と description 計算ロジック・ゴールデンクエリ ⽤語の定義（⽤語集） Knowledge Catalog AI エージェント Tier の⾼いモデルと 必要なコンテキストを取得 BigQuery Looker 計算ロジックとゴールデンクエリを Knowledge Catalog に集める AI エージェントは、Tier の高いモデルと必要なコンテキストを取得し て分析する 18
19. まとめ AIエージェントのためのデータ品質Ops、やってます！ 19
20. ご清聴 ありがとうございました 20