DataOpsNight特別編 Snowflake Summit 2025 AI/LLM系機能Recap

Transcript

1. © Finatext Holdings Ltd. What's New about AI/LLM ? 向山 拓実 2025年6月25日
2. © Finatext Holdings Ltd. • はじめに • AI/LLM関連 新機能/追加機能紹介 • Snowflake Intelligence • まとめ • Appendix 1 アジェンダ
3. © Finatext Holdings Ltd. • 名前：向山拓実 ◦ X：@mmjjaadmm ◦ Zenn：@shichimi • 役職：Data Engineer / LLM Engineer @ Nowcast ◦ 金融機関向けにデータ活用基盤構築 ◦ LLMアプリケーションの開発・運用 ◦ SIer→Nowcast ◦ 修士で化学 機械学習の研究をしてました。 • 最近興味ある技術・手法 ◦ Diffusion Language Model ◦ DTA（Divide-Then-Align） （集合写真貼りたかったけど、撮り忘れたので観光時の写真） 2 はじめに 自己紹介 ヨセミテ組 ナパバレー組
4. © Finatext Holdings Ltd. 3 はじめに • 4日間のスケジュールは右の通りでした。 • 金融機関ユースケース系のSession、ML、 LLM関連のWhat’s NewやHands Onに参加 しました。 • 本日はAI/GenAI/LLM関連の新機能、追加 機能をラップアップします！ Snowflake Summitでのスケジュール
5. © Finatext Holdings Ltd. • Snowflake Intelligence • Data Science Agent • Cortex AISQL • AI Observability • AI Governance Gateway • Snowflake ML • Snow Convert AI • Cortex Knowledge Extention 4 AI／LLM関連新機能・追加機能一覧
6. © Finatext Holdings Ltd. 5 AI／LLM関連の新機能・機能追加 Snowflake Intelligence (Private Preview) • これはなに？ ◦ Snowflake上の構造化・非構造化データの両方を対象として、自然言語で質問し interactiveに分析できエージェント機能 ◦ ビジネスユーザー向け • 何がすごいの？ ◦ BI、SQLスキルを必要とせず、ビジネスユーザーが対話形式でデータにアクセスできる。 ◦ ユーザーの権限を踏襲するため、ユーザーが見れない情報はエージェント経由でも見れない。 • どんなユースケース？ ◦ 日常の業務でデータ駆動の洞察を得るための相談相手 ◦ 「例：今四半期の売り上げ減少の原因を教えて。」 →関連する数値、テキストデータを組み合わせた回答を得られる。
7. © Finatext Holdings Ltd. • これはなに？ ◦ 機械学習モデルの開発プロセス全体を自動化・支援する対話型AI エージェント • 何がすごいの？ ◦ AnthropicのReasoning Modelを使って自動的にステップ分割して対応できる。 ◦ 一定水準のパイプラインを誰でも構築可能。 • どんなユースケース？ ◦ 新たな案件のプロトタイプとして迅速にPoCを行う。 6 AI／LLM関連の新機能・機能追加 Data Science Agent (近日Private Preview)
8. © Finatext Holdings Ltd. 7 Appendix Data Science Agent Fig. Data Science Agent generates ML pipelines in the Snowflake Notebooks cells. https://www.snowflake.com/en/blog/agentic-ai-ready-enterprise-data/ 顧客の解約を予測する機械学習 パイプラインを作って！！ 実装方針をPlanningした上で実装。 (Claude Codeみたい。) Notebookのcellに そのまま書いてくれる！
9. © Finatext Holdings Ltd. 8 AI／LLM関連の新機能・機能追加 Cortex AISQL (Public Preview) • これはなに？ ◦ 構造化、非構造化データ問わずSQL関数として直接扱えるようにした新機能 • 何がすごいの？ ◦ SQLに画像を埋め込む黒魔術を使える！ ◦ テキスト、音声、画像分析を行うために必要な データエクスポート→ベクトル化の手順が不要に！！ • どんなユースケース？ ◦ カスタマーサポート分析 ▪ 通話記録(音声)をそのままSQLで分析可能 ◦ 製造業 ▪ センサーデータ、画像検査をSQL一つで可能 AISQLハンズオンの様子は以下から見れます！ [Snowflake Summit2025 参加記] AISQLとVLMでマルチモー ダル分析：ハンズオンレポート
10. © Finatext Holdings Ltd. 9 Appendix Cortex AISQL 実行例 SQL？ Fig. Sample SQL for OCR (Optical Charactor Recognition) Fig. Sample SQL for ASR(Automatic Speech Recognition)
11. © Finatext Holdings Ltd. 10 Appendix Cortex AISQL 関数一覧 関数名 概要 ユースケース AI_COMPLETE 旧 : SNOWFLAKE.CORTEX.COMPLETE プロンプト／会話履歴（テキスト・画 像）の生成系タスクを汎用 LLM で実行 コード生成、SQL 生成、FAQ 応答、マ ルチモーダル説明生成 COMPLETE_MULTIMODAL 画像入力＋プロンプトで比較・キャプシ ョン・分類などを実行 商品画像の比較レビュー、図表の要約、 画像 QA AI_CLASSIFY 旧 : SNOWFLAKE.CORTEX.CLASSIFY_TEXT テキストまたは画像をユーザー定義ラベ ルへ単一／複数分類 コールログタグ付け、画像カテゴリ分け AI_FILTER True/False を返すブール判定。 SELECT/WHERE/JOIN 句で自然言語フ ィルタリングが可能 求職者レジュメと求人票の適合判定 AI_SIMILARITY 2 つの入力（テキスト／画像）のベクト ル類似度（コサイン類似度）を算出 類似記事検索、重複画像検出 EMBED_TEXT_768 /EMBED_TEXT_1024 英語テキストを 768/1024 次元ベクトル にエンコード -
12. © Finatext Holdings Ltd. 11 Appendix Cortex AISQL 関数一覧 関数名 概要 ユースケース AI_AGG テキスト列をプロンプトに基づき要約・ 洞察抽出（スカラー／集計両対応） レビューの一覧の特徴抽出、サーベイ結 果のインサイト出力 AI_SUMMARIZE_AGG テキスト列全体を一括要約（コンテキス ト長制限を回避） 大量 CS チケットの週次要約、SNS コ メント集計 SUMMARIZE テキストを要約 記事プレビュー生成、レポート TL;DR TRANSLATE 多言語テキスト翻訳 グローバル UI 文言管理 SENTIMENT 全体のポジネガ判定（-1〜1） 顧客レビューのネガティブ検知、ブラン ド評価 ENTITY_SENTIMENT エンティティ粒度の詳細感情分析 製品別・機能別の顧客満足度分析 EXTRACT_ANSWER 非構造文書から Q&A 形式で回答を抽出 規約からポリシー条項を抽出、契約書 QA PARSE_DOCUMENT ステージ上 PDF/画像を OCR またはレ イアウト付きテキストとして抽出 RAG 用コーパス化、帳票データ化
13. © Finatext Holdings Ltd. 12 Appendix Cortex AISQL 関数一覧 関数名 概要 ユースケース FINTETUNE 事前学習済みモデルの追加チューニング を Snowflake 上で実行 ドメイン特化 LLM の軽量適応 COUNT_TOKENS 入出力トークン数を算出 コスト見積もり SEARCH_PREVIEW Cortex Search で検索プレビューを取得 RAG チューニング時の検索結果確認 SPLIT_TEXT_RECURSIVE_CHARACT ER RAG 向けにテキストを階層的に分割(チ ャンク分割) - TRY_COMPLETE 失敗時に NULL を返す COMPLETE の安 全ラッパー 大量バッチ処理での例外抑制
14. © Finatext Holdings Ltd. • これはなに？ ◦ Cortex AIにおけるAIアプリの動作(LLMの振る舞い)を可視化・評価・監視するための機能 • 何がすごいの？ ◦ ノーコードでsystem - user間の対話履歴、応答の品質評価指標、コスト消費をモニタリン グできる！ ◦ 開発者向けのカスタムメトリクス追加にも対応 • どんなユースケース？ ◦ LLMを使ったアプリにおける品質、コスト管理 （今回はLLMのObservabilityについての言及だったけどMLについても追加されてそう。） 13 AI／LLM関連の新機能・機能追加 AI Observability (GA)
15. © Finatext Holdings Ltd. 14 Appendix TruLens : streamlitベースで、LLMの処理結果を見直せる。 Fig. Sample image about AI Observability
16. © Finatext Holdings Ltd. • これはなに？ ◦ 企業が生成AIの利用において、細やかなポリシー制御を行うための機能 • 何がすごいの？ ◦ LLMモデルに対するアクセス制御の実現可能 ◦ モデル利用回数(費用)の上限設定可能 ◦ LLM利用状況の監査ログ取得可能 • どんなユースケース？ ◦ 金融機関 ▪ AI Governance Gatewayでホワイトリスト化したモデルのみを利用可能にできる (Claudeのみ使える、GPT-4o のみ使えるみたいな制御が可能) 15 AI／LLM関連の新機能・機能追加 AI Governance Gateway (Private Preview)
17. © Finatext Holdings Ltd. • これはなに？ ◦ 機械学習モデルの構築からデプロイまでのシームレスに実行可能なSnowflake MLプラット フォームの機能強化を発表した。（具体的な機能追加項目については次のページ） • 何がすごいの？ ◦ データとモデルの一体化 ◦ MLOpsの一元管理 ◦ 大規模機械学習の効率化（データ規模、学習並列数が大きいほど効率が良くなる。） 16 AI／LLM関連の新機能・機能追加 Snowflake ML (大部分はGA soon、一部のみPrivate Preview)
18. © Finatext Holdings Ltd. • 分散学習API: Snowpark Container Services上で複数ノードを用いた大規模データの分散学習やハイパーパラメータ チューニングが可能（AWS/AzureでGA）。 • 実験管理: モデル学習の各試行結果を自動トラッキングし、ベストモデルを共有・再現できるネイティブな実験管理 機能（Private Preview）。 • MLジョブ: 任意のコード（例：data_prep.pyやtrain.py）をSnowflake管理下のコンテナ環境で定期実行できるジョブ 機能(GA Soon)。 • モデルデプロイ/提供: 学習済みモデルをSnowflake Model Registryに登録し、Snowpark Container Services上で REST APIエンドポイントとしてワンクリックでデプロイ可能。CPUまたはGPUを選択してリアルタイム推論サー ビスを提供でき、Hugging Face上の人気モデルもモデル名を指定するだけでSnowflake内にデプロイ可能（Private Preview）。 • Feature Store: 特徴量ストアに蓄積した特徴量をオンライン推論（リアルタイム予測）向けにも提供可能に拡張 （Private Preview）。 • MLモニタリング: モデルの推論結果はSnowflakeのML Observability機能（モデル監視）と統合されており、精度劣 化やデータドリフトを検知してアラートを上げる仕組みも組み込まれている（GA） 。 17 Appendix Snowflake ML の機能追加、拡張一覧
19. © Finatext Holdings Ltd. • これはなに？ ◦ 既存のシステム(オンプレ、クラウド問わず)から、Snowflakeへの以降を支援するツール ◦ AIを使ってコード変換や検証を自動化する。 • 何がすごいの？ ◦ 移行プロジェクトの工数を劇的に削減可能！ ◦ DB(SQL)だけじゃなくて、ETL、BIについてもサポート対象。 • どんなユースケース？ ◦ オンプレDWH→Snowflakeへの移行 Oracle SQL→Snowflake SQLへの変換を自動でやってくれる。 （DB初期パラについても該当するものがあれば、自動でやってくれるのだろうか？） 18 AI／LLM関連の新機能・機能追加 SnowConvert AI(Public Preview) 具体的な操作画面等は以下のテックブログから見れます！ [Snowflake Summit 2025参加レポート]新機能 SnowConvert AI の概要を紹介！
20. © Finatext Holdings Ltd. • これはなに？ ◦ Snowflake Marketplace経由で利用できる外部データパッケージ • 何がすごいの？ ◦ 最新かつ豊富な知識をSnowflake上で完結する形でAIへ付与可能 ◦ 生成AI活用における著作権・利用許諾上の問題なく利用可能 • どんなユースケース？ ◦ 市場分析AI ▪ CB Insightsの市場データを使って最新の市場トレンド、ベンチマークを考慮に入れた 分析が可能 ◦ カスタマサポート ▪ 製品を製造している内部でしかわからないような事象についても、コンテンツを参照す ることで回答が可能 19 AI／LLM関連の新機能・機能追加 Cortex Knowledge Extension (GA Soon)
21. © Finatext Holdings Ltd. 20 Snowflake Intelligenceについて深掘り そもそも何者？
22. © Finatext Holdings Ltd. • 構造化・非構造化データに自然言語で問い かけ可能なAIエージェントを構築・運用す るプラットフォーム • ChatGPT-LikeなUIでデータに関する相談 が可能なプロダクト • https://ai.snowflake.com/ からアクセス可能 • もうすぐPublic Preview 21 Snowflake Intelligenceとは？ 概要 Fig. The position of Snowflake Intelligence in Cortex Family
23. © Finatext Holdings Ltd. 22 Snowflake Intelligenceとは？ Snowflake Intelligenceの立ち位置 (Snowflake AI Applications Frameworkより) Fig. The position of Snowflake Intelligence in Snowflake AI APP Framework
24. © Finatext Holdings Ltd. • (ある程度)ノーコードでエージェント構築可能 ◦ GUIベースでエージェントを構築可能。 ◦ ツール(Cortex Analyst)追加もGUIベースで可能。 ◦ ツールを追加するときにはSemantic View必須。 23 Snowflake Intelligenceの特徴 • 既存のRBACを踏襲したアクセス制御が可能 ◦ エージェント構築用にROLEを新規作成する必要なし！ ◦ ユーザーが見れないデータはエージェント経由でも見えない！
25. © Finatext Holdings Ltd. • AIが組織のデータを理解して、活用するために不可欠なもの ◦ 独自のビジネスロジックや用語の定義をデータに付与する ◦ 自然言語から高品質なSQLを生成するために大切 ◦ 個人的にはInfra側に作れるのありがたい→ETLツールに作ると別場所から参照できないので。 ◦ TableauやPDFの様な非構造化データから自動でSemantic Viewを作ってくれる！！ 24 Semantic View Semantic View(Model) とは？
26. © Finatext Holdings Ltd. 例：「A社におけるファンドの年間直販額を教えて」 25 Appendix Semantic Modelがなぜ重要なのか Semantic Modelを定義しない場合 Semantic Modelを定義した場合 ER図を理解している人(エンジニア)が、 1. ファンドマスタテーブルと取引履歴 テーブルをファンドIDでJOIN 2. 1のテーブルと運用会社マスタテー ブルを運用会社IDでJOIN 3. その中で、2025年A社の物をWhere 句でFilter 4. SUMを計算 の様なロジックを組む必要がある。 ビジネスユーザーによる自然言語での 問い合わせが容易になる！！！