生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術.pdf

⽣成AI「その前」に！マルチクラウド時代の信頼できるデータを⽀えるSnowﬂakeメタデータ活⽤術三上裕貴データ事業本部ビジネスソリューション部イニシアティブチーム

2 クラスメソッド株式会社データ事業本部ビジネスソリューション部イニシアティブチーム三上裕貴（みかみゆき）出⾝地：東京現在：名護市在住職歴
• 組み込みエンジニア • Webエンジニア業務内容 • データ分析基盤構築 • チーム/プロジェクト管理 • プリセールス • 採⽤活動⾃⼰紹介

3 今⽇話すこと/話さないこと話すこと • Snowﬂakeのメタデータ管理機能の紹介 • セマンティックビューを利⽤したCortex Analystの回答精度話さないこと •
環境構築⼿順 • Snowﬂake Deep Dive

はじめに

5 Snowﬂakeとは？

6 パブリッククラウド上のSaaS型データ分析プラットフォーム • マルチクラスタ共有データアーキテクチャ • 柔軟なスケーラビリティ • （ほぼ）ゼロメンテナンス • 標準SQL対応
• タイムトラベル機能あり • セキュアデータ共有 • 従量課⾦性 ※抜粋：https://docs.snowﬂake.com/ja/user-guide/intro-key-concepts

7 メタデータって、何？

8 メタデータ = データに関するデータデータの取扱説明書。例えば、 • 本の⽬次 • 商品のバーコード
• 映画の字幕 • 写真のExif情報 • HTMLの<head>タグ

9 ⽣成AIとメタデータ、どんな関係があるの？

10 メタデータは⽣成AIの精度を左右する要素料理のレシピのようなもの。例えば、「ふーチャンプルーを作りたい！」 • AI = ⼈ •
データ = 麩、卵、ポーク、にんじん、ニラ • メタデータ = レシピ

Snowﬂakeのメタデータ管理

12 データ品質管理

データ品質管理 13 「データ品質」タグ表⽰ • NULLチェック • 最⼤/最⼩値チェック • データの分布

データ品質管理 14 DMFs（Data Metric Functions） • データ品質チェック • データプロファイリング •
システムDMFs/カスタムDMFs ※抜粋：https://docs.snowﬂake.com/ja/user-guide/data-quality-system-dmfs

データ品質管理 15 カスタムDMFs マスタに存在しない商品コードがないかチェック

データ品質管理 16 品質チェックタスク実装 email⽂字列の正当性チェックチェック結果（アラート送信）

17 データリネージ

データリネージ 18 • データの繋がりを可視化 • ソースデータがどこにあるかも確認可能「系列」タブ

データリネージ 19 • どうやって作成されたかも確認できるので、どれが正しいデータか分かる。例えば：同名テーブルがあって、どちらが正しいデータかわからない。。

20 セマンティックレイヤー

セマンティックレイヤー 21 • ビジネス⽤語とデータのマッピング • データの抽象化レイヤー • データアクセスの抽象化層 • ⼈やAIとデータの仲介役
セマンティックレイヤーとは？ LookerにおけるLookMLや JavaにおけるDAOのようなもの

セマンティックレイヤー 22 セマンティックモデル • Cortex Analystの精度向上のためのオブジェクト • YAMLファイルとしてステージに保存
セマンティックビュー • セマンティックモデルの進化系 • SQLでアクセス可能 • スキーマレベルオブジェクト ※抜粋：https://docs.snowﬂake.com/en/user-guide/views-semantic/overview Snowﬂakeのセマンティックモデル/ビュー

セマンティックビュー 23 テーブル状況 • 顧客、商品、注⽂、注⽂商品テーブル • データ投⼊済み

セマンティックビュー 24 ビュー作成 TABLES 対象テーブル RELATIONSHIPS 外部キー関係 FACTS 分析⽤の事実データ（数値、識別⼦） DIMENSIONS
分析の軸となる属性データ（商品名、注⽂⽇など） METRICS ビジネス指標の計算ロジック

セマンティックビュー 25 Cortex Analystから⾃然⾔語で問い合わせ Cortex AnalystのURL作成「最も多く購⼊している顧客は？」「最も⼈気のある商品カテゴリは？」

セマンティックビュー 26 SQLで答え合わせ「最も多く購⼊している顧客は？」 →佐藤花⼦：158,500円「最も⼈気のある商品カテゴリは？」 →ファッション：12個

マルチクラウド環境でセマンティックビューを活⽤

マルチクラウド×セマンティックビュー 28 テーブル状況 • AWS S3に顧客マスタ ◦ 顧客ID：CUSTOMER_ID • Google
Cloud Storageに売上データ ◦ 顧客ID：CLIENT_ID • Snowﬂakeで外部テーブル作成

29 セマンティックビュー作成＆Cortex Analystで問い合わせ認識してもらえなかった。。マルチクラウド×セマンティックビュー

30 セマンティックビュー修正マルチクラウド×セマンティックビュー物理クエリも良さそう。 ※ビューのエイリアスが⽇本語だと、⽂字列を計算しようとしてSQLエラー。。

31 答え合わせマルチクラウド×セマンティックビュー → ID 1：153,000（150,000 + 3000） ID 2：80,000 ID
3：45,000 ID 4：8,000

まとめ

まとめ 33 • メタデータ整備は⼤事 ◦ データ品質管理、リネージ、セマンティックレイヤーが⽣成AI活⽤に影響 • ⽣成AIの正確な答えはデータ＆メタデータ次第 ◦ セマンティックビューでCortex
Analystの回答精度が向上 • Snowﬂakeのメタデータ管理機能はマルチクラウドに対応 ◦ DMFs、データリネージ、セマンティックビュー ◦ プレビュー機能や⽇本語精度など、実運⽤への適⽤には注意が必要

ちょっと宣伝です。

35 Snowﬂake データ基盤構築⽀援

36 データエンジニア募集中！

生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタ...

生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術.pdf

More Decks by mikami

Other Decks in Technology

Featured

Transcript