Snowflake Intelligenceにはこうやって立ち向かう！クラシルが考えるAI Readyなデータ基盤と活用のためのDataOps

Snowflake World Tour Tokyo 2025のシアターセッション Day2 15:50 - 16:05での発表スライドです。

https://snowflake-event.jp/world-tour-25/theater-timetable/

Transcript

1. Snowflake Intelligenceには こうやって立ち向かう！ クラシルが考えるAI Readyなデータ基盤と 活用のためのDataOps 張替 裕矢(harry) データエンジニア | dely株式会社 TS-204
2. 2 開発BU クラシル Division Backend Section Section Manager データエンジニア dely株式会社 Snowflake Data Superheroes 2022~2025 Yuya Harigae as known as harry
3. Snowflake Intelligence とは？
4. 4 自然言語でデータと対話するAIプラットフォーム - 「Ask anything about your data」を実現 - SQLを一行も書かずにデータ分析 - SnowflakeのUIから直接利用（セキュアなペリメータ内） Snowflake Intelligence
5. 5 自然言語インターフェース SQLを書かずにデータ分析 - 会話形式でデータと対話 - チャートやトレンド分析を自動生成
6. 6 Cortexファミリーの統合 3つのAIコンポーネント - Cortex Analyst - 自然言語→SQL（構造化データ） - Cortex Search - 文書QA（RAG/ハイブリッド検索） - Cortex Agents - オーケストレーション（構造化・非構造の横断）
7. 7 エンタープライズセキュリティ 既存のガバナンスを継承する安全な実行環境 - 既存のポリシーとアクセス制御を継承（ロールベースアクセス準拠） - エンドツーエンドのオブザーバビリティと監査の説明可能性 - 組み込みのガードレールで有害出力を低減
8. 使いこなしたいですよね！？
9. とはいえ 皆さんの企業で使いこなせる イメージがつきますか？？
10. 自分のオーナーシップで めっちゃ頑張れば動くところ まではいけそうな気がする…
11. Snowflake Intelligenceの価値を 理解して会社で投資できる状態に するぞ…！
12. ありえそうな悪い未来…
13. データエンジニアがAI時代の ビジネスに対してメタデータを 提供し続けるゲーム…
14. データエンジニアが ボトルネックになって、 品質の高いデータ管理も メタデータ管理も やりきれなくなる
15. Garbage In, Garbage Out ゴミは鏡に映してもゴミ
16. データ人材のケイパビリティが 耐えきれなくなって間違った 意思決定をどこかでしてしまう
17. チリツモでビジネス戦略に AIを使ったデータ利活用の 価値を届けられなくなる
18. 結果、AI Readyどころか 勘/経験/度胸の意思決定に 退化していく
19. このままでは失敗する未来が みえるぞ…
20. 20 組織で向き合わないとAI活用は実現できない 少数のデータ人材とAI時代のビジネス変化のギャップ - AIでデータ人材のスキルはスケールアップ可能 - とはいえビジネスのスケールアウト速度には追いつかない ドメイン知識の壁 - データエンジニアは意思決定者でないため解像度が一生低い - リードタイムが長くなり、コスト（人件費・調整）も高くなる 変化のスピード - AI時代はより依頼→提供のリードタイムはビジネスの変化スピードに追い つかない
21. クラシルの現状
22. 22 AI時代の前から0→1を続ける地獄 前提としてクラシルはSQLを書いて意思決定をする文化があった 問題1：車輪の再発明 - 同じ指標が複数存在 - 同じクエリの量産 - 数値の不一致 問題2：スケールしない - 少数精鋭データエンジニア - 労働集約的な対応 - 品質管理の限界
23. 23 永遠に解決しないジレンマ 品質を高めることに集中すると... - ビジネス課題解決に向き合えない - 新規要求に対応できない - ビジネスが停滞する ビジネス課題だけに向き合うと... - 0→1を繰り返す - 同じ問題を何度も解く - データが負債になる
24. 解決策その1： データライフサイクル
25. 25 データライフサイクルを最速で回すDataOps
26. 26 データライフサイクルを全員で回す 素早く作る - 0→1を高速実現 価値を見極める - 使われるものは育てる 自動で整理 - 不要なものは削除 データを全員で育てていく発想
27. 27 あるべき姿はこれ
28. 28 2024年：構想と基盤構築 - Snowflake × dbt × Lightdashの選定 - サイロ化の解消(マルチプロダクト化するビジネスに追従) - データライフサイクルの設計・DataOpsの開発 - 組織全体で回せる体制の構想 2025年：実装と運用 - 各チームにData Owner制度の導入 - 15名のデータオーナーが誕生 - 全員でデータライフサイクルを回す体制 直近1年データ基盤を再設計していた
29. 29 データオーナーが主体となるデータモデル開発 データオーナーとは？ - 各チームの意思決定責任者（多くはPdM） - ビジネス理解が最も深い - データの利用目的を理解 - 品質への責任を持つ データオーナーとその配下の開発メンバーがdbtでモデル開発 - SQLの知識を活かしてdbtモデル作成 - メタデータとメトリクス定義まで実施 - ビジネスやファクトへの解像度が一番高い - LightdashでのBI構築
30. 30 これでもデータライフサイクルは回らない
31. 31 なぜ回らないのか - 基準がなく、「作って終わり」が積み上がる - 削除ルールがなく、不要なものが残り続ける - テストやメタデータが任意で、定義や意味付けが曖昧になる 組織の力学を理解したDataOpsの実装と運用が肝
32. 解決策その2： Tier定義
33. 33 データモデルにTierをつける Tier 用途 dbtメタデータ dbtテスト AI利用 TTL Tier 1 監査・外部公表 👑 👑 ✅ - Tier 2 経営KPI 👑 👑 ✅ - Tier 3 部門意思決定 👑 ✅ ✅ - Tier 4 アドホック可視化 ⚠ ❌ ❌ 90日 Tier 5 書きっぱなしSQL ⚠ ❌ ❌ 30日
34. 34 アジリティと品質の両立 Tier 4-5はアジリティ - 素早く試せて自由度が高い - 昨日リリースした機能の速報値から爆速な意思決定をする - TTLで自動削除 Tier 1-3は品質 - メタデータ、テスト完備し中長期的な意思決定の質を高める - ここに向き合えるとSnowflake Intelligenceを利用可能に Tier管理も含めたDataOpsの実装で 段階的な品質向上アプローチを実現
35. 35 役割の再定義 Data Owner - dbtモデル作成、メタデータ管理 - Lightdashでメトリクス定義 - チーム内のデータ活用推進 データエンジニア - 基盤の整備・改善 - Tier 2以上の品質保証 - ベストプラクティス共有、モデリング支援
36. 36 AIを活用しながらTierをどんどん上げる
37. 37 いつの間にかAI Readyな状態が理想
38. AI活用の仕組み
39. 39 Tierを上げるためのインセンティブ設計(ムチ) Tier5と4はアジリティを担保 - 我々のこれまでの競争力は最低限担保 - 一方、定常的にみるべき数値やレポートはTier 3以上に上がってほしい アジリティ重視のモデルやチャートの自動削除 - 一定期間が立つとデータオーナーに警告→削除 メタデータや品質を保証するモデルはTier 3以上 - 削除されると困る場合はTier3へ - そのタイミングでdbtのテストとメタデータの入力を必須 組織の力学を理解したDataOpsの実装と運用が肝
40. 40 Tierを上げるためのインセンティブ設計(アメ) Tier 5 → Tier 4 - AIを活用しながらSQLを書いてdbtモデル化 Tier 4 → Tier 3 - AIエージェントが伴走してメタデータとテストを追加 Tier 3達成 - 🎉🎉🎉Snowflake Intelligenceが使える🎉🎉🎉 品質向上が自分の業務や組織の競争力を高める
41. 41 AI/LLMツールの活用 - Devin - データパイプライン自動生成 - テスト、メタデータ作成支援のAIエージェント - Claude Code - dbtモデル/テスト作成をインタビュー形式で支援 - 開発環境構築含めたサポート データライフサイクルの高速化
42. 42 Snowflake Intelligenceにセマンティクスを連携させる - Tier4からLightdashとdbtでメタデータとセマンティクスを一元管理 - ドメイン知識、意思決定の質にこだわるデータオーナーが育てていく - Tier 3到達前にテストを追加する - テストが100％埋まると裏側でSemantic Viewsに自動変換 - Semantic Autopilotにも今後期待 - Snowflake Cortex Agents/Snowflake Intelligenceに自動同期する - いつの間にかSnowflake Intelligenceでも利用可能になる！！！ データライフサイクルの高速化
43. 成果
44. 44 導入効果 定量的成果 - 車輪の再発明がなくなり工数削減 - 数値の不一致が解消 定性的成果 - SQLを書けない人も段階的に分析可能へ - Single Source of Truthの実現に前進 - AI Readyへ移行する組織文化の醸成 品質とメタデータにみんなで向き合って いつの間にかAI Readyになってた！の状態へ！！！
45. まとめ
46. 46 Snowflake Intelligenceを最大限活用するには 組織の力学を理解したDataOpsの実装と運用が肝 我々の場合は - データライフサイクルを意識したDataOpsの実装 - Data Owner制度の導入 - AIを活用したデータエンジニアリングの民主化 - dbtでデータモデルの管理 - Lightdashを入口としたメタデータ/セマンティクスの管理 - Tierによるアジリティと品質向上の両立
47. THANK YOU