Snowflake Industry Days 2025 Nowcast

Snowflake Industry Days 2025に登壇した際の資料

Transcript

1. © 2025 Snowflake Inc. All Rights Reserved SNOWFLAKE INDUSTRY DAYS 2025 FINANCIAL SERVISE 株式会社Finatextホールディングス VP of Data & AI 大野 巧作 氏 Snowflakeで実現する金融DX： データとAI活用のリアルケース 株式会社ナウキャスト Data Engineer / LLM Engineer 向山 拓実 氏
2. © Finatext Holdings Ltd. 1 アジェンダ • はじめに • Nowcastについて • Snowflake at Nowcast ◦ ユーザーとしてのSnowflake利用状況 • Nowcastにおけるユースケース例 • お客様のユースケースご紹介
3. © Finatext Holdings Ltd. 2 はじめに 自己紹介 ⼤野 巧作 VP of Data & AI X: @Kevinrobot34 向⼭ 拓実 Data Engineer/LLM Engineer X: @mmjjaadmm
4. © Finatext Holdings Ltd. 3 Nowcastについて Data Service 事業 3 ライセンスデータ データホルダー 解析 POSデータ 日本経済新聞 1,500店舗の スーパーマーケット True Data 4,000店舗の スーパー、 ドラックストア 2,600店舗の 家電小売 クレジットカードデータ JCB JCBカードの 所有者・加盟店 クレディセゾン セゾンカードの 所有者 求人データ 人流データ TV広告データ KDDI 携帯搭載の 地理データ フロッグ 130超の日本の web求人広告 サイト エムデータ 日本の全無料 チャンネンルの TV広告データ 官公庁・シンクタンク・投資家 エンドユーザー 投資家 不動産業界 ビッグデータ解析事業を推進する上でDWHの活用、AI活用の知見を溜めながらプロダクト構築を実施
5. © Finatext Holdings Ltd. 4 Nowcastについて データを組み合わせた可視化のサービスは、POSデータやクレジットカードデータの利活用ニーズのある 不動産業界や小売業界にも展開を行っている。 4 DataLens商業リーシング 企業求⼈データ、従業員数データ、 過去移転情報、プレスリリース情報 インテントデータ等の組み合わせ オフィス営業特化サービス 出店意向の⾼い 企業がわかる！ オフィスの移転ニーズが⾼い 企業がわかる！ 物件情報の整理〜選定 の作業負担が減少！ 新エリアの消費傾向‧ニーズ がわかる！ DataLensオフィス営業 DataLens商圏分析 DataLens店舗開発 全国のテナントデータ、企業HP情報、 独⾃のブランドマスタ等の組み合わせ テナント営業特化サービス クレジットカードデータ、 位置情報データ等の組み合わせ 商圏分析のDXサービス AI活⽤による物件情報⾃動整理と クラウド上での物件管理 さらにクレジットカードデータ、 位置情報データの組み合わせ 物件選定のDXサービス • ⾃社サービスとして確度の⾼い潜在顧客や好条件の物件をいち早く発掘できる業界特化型SaaSを展開。 • 商業リーシングや店舗開発など、業界特有の業務を⽀援しており、貴社との親和性も⾼いと思慮。
6. © Finatext Holdings Ltd. データAIソリューション事業では、データ基盤構築から⽣成AIソリューションの導⼊までサポート。活⽤する データの整備から⾏うことでより適切な形でお客様の売上向上/業務効率化を実現している。 5 Nowcastについて Data AI Solution 事業 ⽣成AIソリューション データ基盤構築 データ整備/パイプライン構築 モダンな技術を活⽤した基盤整備、 データ加⼯及びパイプラインの構築を実施 データ 収集 データ 蓄積 データ 加⼯ 可視化 AI コンサルティング/ソリューション提供 お客様の要件に合わせて⽣成AIを導⼊、 ⼀部はプロダクト化した上でご提供
7. © Finatext Holdings Ltd. 6 Snowflake at Nowcast ユーザーとしてのSnowflake利用状況 100TB+ データ保存量 30+ データソース数 20TB+ データスキャン量 / 日 16 アカウント 200K+ クエリ数 / 日 100+ ユーザー数
8. © Finatext Holdings Ltd. 7 Snowflake at Nowcast NowcastがSnowflakeで扱う多様なデータ 決済データ （POS、クレジットカード） マスタデータ （住所、企業、商業施設） 人流データ （位置情報） 労働市場データ （求人情報） 広告データ （TV広告） 財務データ （決算・有価証券報告書） 上記は一部であり、また日々新しい種類のデータをSnowflakeにロードしています！
9. © Finatext Holdings Ltd. 1. コスト課題 データ抽出を外注していて、継続的 な利用によるコスト負担。また そのプロセスは複雑で運用コスト大 2. データ活用の制約 構造化データとして提供されていな いデータについては、活用量が限定 的。予測モデルの精度やアナリスト 分析に影響。 また非構造化データと合わせて分析 する際の作業の効率化の余地あり。 8 データ活用を加速する一気通貫パイプラインとデータ改善プロセス なぜパイプラインを作る必要があったのか 目的: Snowflake上で構造・非構造化データを一気通貫 で管理できるパイプラインを構築 見込み効果 : コスト削減 予測精度向上 分析深度強化
10. © Finatext Holdings Ltd. 9 データ活用を加速する一気通貫パイプラインとデータ改善プロセス 全体概要図 Unstructured Cortex Search Human in the Loop AI_EXTRACT Streamlit in Snowflake Semi Structured XMLGET Extracted Data Cortex Agents Cortex Analyst Structured 構造・非構造データを問わず Snowflake で一気通貫した パイプラインと活用する仕組 みを構築
11. © Finatext Holdings Ltd. 10 データ活用を加速する一気通貫パイプラインとデータ改善プロセス 各サービスの概要 Cortex Agent Cortex Analyst Cortex Search Snowflake Intelligence Streamlit in Snowflake Snowflake 内で Streamlit の アプリを作れる機能。 今回は Human-in-the-loop の データ修正に利用する。 PDFなどの非構造化データから情 報を抽出する機能。指示によって 抽出方式を変更可能。 自然言語でのデータ分析を可能に する機能。 Semantic View と組み合わせるこ とで精度が上がる。 ベクトル検索とキーワード検索を組 み合わせた高品質な検索を提供 する機能。 マネージドなRAGとして利用。 構造化・非構造化データ両方を対 象に問い合わせ可能な UI を提供 する機能。 Summit 2025 発表の新機能。 Cortex Analyst/Searchをツールと して利用し、タスクの計画やオーケ ストレーションをするAgent 機能。 AI_EXTRACT
12. © Finatext Holdings Ltd. 11 データ活用を加速する一気通貫パイプラインとデータ改善プロセス 全体概要図 Unstructured Cortex Search Human in the Loop Streamlit in Snowflake Semi Structured XMLGET Extracted Data Cortex Agents Cortex Analyst Structured 構造化されていないデータを 自動で構造化し、 人が修正可能な仕組み AI_EXTRACT
13. © Finatext Holdings Ltd. 12 データ活用を加速する一気通貫パイプラインとデータ改善プロセス AI_EXTRACT による非構造データからのデータ抽出 SELECT AI_EXTRACT( file => TO_FILE('@internal_stage', 決算短信.pdf'), responseFormat => [ ' 「四半期連結財務諸表に関する注記事項」にあるセグメント別の売上等に関する表（ 2個）か らすべての情報を抽出してください。 返却形： dict[str, dict[str, dict[str, str]]]の形式で返却してください。 第1階層のdictのキーは何番目の表かを表す indexです。 第2階層のdictのキーはセグメント名です。 第3階層のdictのバリューは表の各行の値です。 第3階層のdictのキーの数は一定です。 注意事項： - 表のすべての行から情報を抽出する - 表の値は空欄やハイフンの場合もある - 多くの場合、表は複数ある ' ] ) AS segment_name_json • 取り出したいデータを構造化して定義 • responseFormatをカスタマイズすることで、自 由度の高い出力が可能 • 値が存在する場所(セクション名)を明記すること で精度向上 データの構造化抽出 AIによる抽出の限界 • 形式的な指示は得意、意味解釈が必要な指示 は苦手 • responseFormatの内容が増えると精度低下 Fig. 実際に使ったSELECT文の例
14. © Finatext Holdings Ltd. 13 データ活用を加速する一気通貫パイプラインとデータ改善プロセス AI_EXTRACT × Streamlit in Snowflake を使ったデータの抽出と検証 抽出データ Table 修正データ Table 60% 自動抽出 Human-in-the-loop な オペレーションで 40% 修正 必要なページを 機械的に選択 参照 編集 自動・手動を 合わせた table （dbtなどで作成） 参照 AI_EXTRACT
15. © Finatext Holdings Ltd. 14 データ活用を加速する一気通貫パイプラインとデータ改善プロセス 全体概要図 Unstructured Cortex Search Human in the Loop Streamlit in Snowflake Semi Structured XMLGET Extracted Data Cortex Agents Cortex Analyst Structured AI_EXTRACT 誰でも自然言語で 簡単にデータを 分析可能にする仕組み
16. © Finatext Holdings Ltd. 15 データ活用を加速する一気通貫パイプラインとデータ改善プロセス Cortex Analystを使った構造化データの活用 [1] Semantic View作成・整備 　・dimension, fact 　・シノニム 　・description 精度検証サイクル [2] Q＆A作成 ・質問、想定回答セット ・レベル別回答セット [3] 検証 ・SQLが意図通りか。 ・値が一致するか。 [4] 誤り分析と更新 ・Semantic 定義更新 ・Custom Instructions拡 充 • 複雑だったり、ガチガチのロジックを持つSQLを 100%正確に自動生成するのは難しい。 • 「難しくはないが、ドメイン知識やコンテキストの理 解が必要」 という場面でこそ輝く。 Where Cortex Analyst does more Fig. 精度検証サイクルの例 • Semantic View整備 → Q&A作成 → 検証 → 誤り 修正を繰り返す必要がある。 • custom instructionの整理や、テーブル/カラム名の 明示など、地道な調整を積み重ねることで精度が向 上する。 泥臭い精度検証サイクル
17. © Finatext Holdings Ltd. 16 データ活用を加速する一気通貫パイプラインとデータ改善プロセス Cortex Searchを使った非構造化データの活用 資料B 資料A 年度別にファイル群 を分割 実際の分類別にファ イル群を分割 必要なページを 機械的に選択 必要なページを 機械的に選択 Cortex Search Cortex Search
18. © Finatext Holdings Ltd. 17 金融業界での事例：ニッセイアセットマネジメント様 Snowflakeに集約した社内データをAI Agentが探索し、RFP回答業務に必要な情報をレポーティング Snowflake AI Agent リクエスト データ 返却 Streamlit Agent起動 回答返却 RFP ユーザー 課題 アプローチ アセットオーナー、ファンドコンサル会社、販売会社からの RFP 回答の際に、社内に点在しているデータを収集するプロセスあ る。そのプロセスが複雑で担当者の業務負荷が高い状態が継 続していた。 • Snowflake上に関連データ(構造化データ)を集約した上で、AI Agentが回答項目ごとに必要な情報を取得できるような Tool(Cortex Analyst)を構築 • 非構造化データについては、前処理をした上でテーブルとして利 用 • ユーザー向けの簡易的な画面を Streamlitで構築し、ユーザーから のFBを元に継続的な精度改善を実施 構造化データ 非構造化データ Cortex Analyst リクエスト 検索結果 返却 前処理 Table
19. © Finatext Holdings Ltd. Snowflake 18 金融業界での事例 複数部署に跨る多様なデータを名寄せ統合し、Snowflakeによるデータの一元管理を実現 課題 アプローチ 部署ごとに異なるマスタ管理を行なっており、社内外のデータ ソースを横断的に使用した分析することが困難であった。 • Snowflake上にデータ分析基盤を設計・構築し、データの一元管 理とユーザーへのリアルタイムなデータアクセスを実現 • 人の目による確認が必要なデータについては、 Streamlit in SnowflakeによるHuman in the Loopを実現することでデータ品 質を担保 多様なデータソース 名寄せ統合した 上で連携 チェックが必要な データを連携 SiSでデータを チェック 問題なければ 連携 Table Table
20. © Finatext Holdings Ltd. 19 金融業界での事例 貸金業基幹システム Crest のデータ基盤機能を Snowflake で実現 課題 アプローチ 貸金業基幹システムのデータが複雑で、 そのままでは分析や可視化へと繋げるのは 困難であった。 • 基幹システムの DB のデータをダンプし、 それを dbt を使って Snowflake に取り込み 加工するパイプラインの作成 • Lightdash や DataContract CLI と組み合わせ 安定かつ柔軟な基盤を実現 ※ 上記は現時点のアーキテクチャの簡易的な図です。 　 今後変わる可能性があります。
21. © Finatext Holdings Ltd. 20 組織的な取り組み 　人とAIが協調して働くための勘所 2. 業務プロセスを整備する AIが得意な領域を切り出して、業務 フローに組み込む。 ミスをしてはい けない場所にAIを組み込むのは得 策ではない。 1. AIに最終判断はさせない 判断責任は常に人間にあり、AIは補 助役である。情報整理や知識補完を 行うことで人の意思決定を補助する ような相談相手としての役割が適 切。 3. システム設計に人間を組み込む Human-in-the-LoopでAIによる出力 結果と説明責任を担保する。人間の 判断と組み合わせることで、AIの実 効性と業務効率化を両立 する。 4. 能力ではなく労働力の代替 AIは使用者の能力を映す鏡。やった ことないことをAIで代替しようとする と質の悪い0 →1を繰り返すことにな る。