[dbts2026]数十PBの超巨大データ×AI活用を支えるSnowflakeの実力〜大規模環境におけるアーキテクチャと運用のリアル〜

db tech showcase 2026 Tokyo　にて講演した資料となります

https://www.db-tech-showcase.com/2026/
https://www.db-tech-showcase.com/2026/schedule/

Transcript

1. 数⼗PBの超巨⼤データ × AI活⽤を⽀える Snowflakeの実⼒ ⼤規模環境におけるアーキテクチャと運⽤のリアル 数⼗PB規模の事例として、NTTドコモのネットワーク系データ基盤を取り上げます Japan Snowflake User Community / SnowVillage 運営 Snowflake Data Superhero 2026 株式会社NTTドコモ Senior Principal Data Engineer 松原 侑哉 SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 1
2. INTRODUCTION ⾃⼰紹介と、本⽇の事例の舞台 松原 侑哉 本⽇の事例の舞台 株式会社NTTドコモ（通信事業者） Yuya Matsubara SnowVillage運営 72M+ 現地のみ 100M+ Japan Snowflake User Group を運営。⼈のつながりから知⾒を流通 させるコミュニティ 携帯電話契約者数 dポイント会員数 Snowflake Data Superhero 2026 Snowflakeがコミュニティへの貢献と専⾨性を認めるグローバルプログ ラム。⽇本から15名、全世界125名 NTTドコモ Senior Principal Data Engineer R&Dイノベーション本部 兼 ネットワーク本部。ネットワーク系データ 基盤のアーキテクチャと運⽤をリード SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 通信 スマートライフ 法⼈ 携帯電話／光回線／料⾦プ ラン ポイント／⾦融・決済／エ ンタメ ネットワーク／クラウド／ IoT／DX 数⼗PBのデータを扱う「⼤規模ユーザーの⼀事例」として、Snowflakeの魅 ⼒を語ります 2
3. COMMUNITY SnowVillage︓Snowflakeの⽇本ユーザーコミュニティ SnowVillage SnowVillageが⼤切にしていること 01 Japan Snowflake User Group To Mobilize the Worldʼs Data ⼈のつながり 会社や役割を超えて⼈と出会い、また会いたい、また話したいと思える関係が⽣ まれる 02 ⼈のつながりが、知識のつながりへ。 知⾒の流通 成功も失敗も誰かの学びになり、受け取った知⾒が次の誰かへとつながっていく 知識のつながりが、企業とデータのつながりへ。 エンジニア同⼠のつながりから、世界のデータをMobilizeす るコミュニティ https://snowvillage.cloud 03 世界の広がり ⼈と知⾒との出会いを起点に、新しい挑戦や垣根を越えた活躍へと広がっていく 公式Slackコミュニティ（無料） ⽇々のQ&Aや雑談が活発 YouTubeチャンネルやサブグルー プ 学習リソースを集約 持ち帰り Snowflakeの魅⼒はプロダクトだけではない。使う⼈同⼠が知⾒を回せるコミュニティがある SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 3
4. 01 SCALE 事例の舞台︓数⼗PBとは、どれくらい巨⼤か 数⼗PB 数百TB/⽇ 圧縮済みで定常保有するデータ量 毎⽇処理する圧縮済みデータ量 650TB／25兆⾏ 数万 最⼤の1テーブルあたりのサイズとレコード数 提供しているテーブル／ビューの数 事例企業にはこの規模の基盤が2つ存在。本セッションはそのうちネットワーク系データ基盤を対象とする SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 4
5. 01 HISTORY 基盤の軌跡と、規模が基盤に求める3つのこと 〜2013 2014 2020 2024 / 2025〜 On-premise Netezza / Greenplum AWS Redshift Redshift ＋ BigQuery Snowflake 柔軟性・拡張性に課題 規模が⼤きくなるほど、基盤そのものに備わっていてほしい3つのこと スケール ガバナンス AI PB級のJOIN・集約から⾮構造データの処 理まで、 データを外に出さずに同じ基盤で回せるこ と 数万テーブル・多数のドメインでも、 権限・保護・監査が基盤の機能として効く こと データの⽂脈をAIが理解し、 分析・運⽤・⾮構造データをAIに任せられ ること → 2章 → 3・4章 → 5章 SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 5
6. 02 ARCHITECTURE 計算資源と組織を分ける︓Data Meshをそのまま実装できる 1 ストレージとコンピュートの分離 • ドメイン／⽤途ごとにWarehouseを⽴て、 PB級の処理と対話分析を同じデータに対して同時に使える • Gen2・Snowpark-optimized・Interactive、そしてAdaptive Computeへ。処理リソース選びから完全に解放される⽅向に 進化中 2 Org Account ＋ Internal Marketplace • Domain per Account︓ドメインごとに権限・コストを分離し、 Organization Accountで横断管理 • Data Productを組織内Listingで流通。Data Resharingで受け取 ったデータの再共有も可能に • 数万テーブルがこの形で流通している Internal Marketplaceを中⼼としたData Mesh（事例企業） 持ち帰り できること︓基盤を1つに「集約」せず、Snowflakeの上で「分けて繋ぐ」まま数⼗PBを運⽤できる SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 6
7. 02 OPEN Icebergで「閉じない」︓外のエンジン・外のカタログとつながる Managed Icebergは通常テーブルと遜⾊ない性能。Iceberg V3、HorizonがRESTカタログ（Polaris）を内包 ※2025年計測時 Icebergでできること • 別基盤や外部システムのデータを重複保有せずに 参照 • SparkやサードパーティのエンジンからManaged Icebergへ読み書き（Snowpark Connect for Spark） • Snowflake-managed Storage for Iceberg︓ ⾃前のオブジェクトストレージなしでオープン形 式 • Open Sharing（Preview）︓ Snowflake外の利⽤者へIceberg REST APIで共有 Gen2 Warehouse／1〜30TBのテーブルで通常テーブルとManaged Icebergを⽐較（事例企業の検証） 持ち帰り できること︓オープン形式を標準にしても、Snowflakeの運⽤性と性能をそのまま得られる SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 7
8. 02 PROCESSING SQLに収まらない処理も、データを外に出さずに回せる Task / Dynamic Table Openflow SPCS / ML Jobs Spark / Code Bundles 整形済みデータの変換と パイプラインの定期実⾏ 多数のコネクタと外部からの 取り込み。APIでコード管理も コンテナでPython・Ray。 バイナリやXMLのパースも Snowpark Connectで既存Spark 、 スクリプトはそのまま実⾏ 事例︓23TB/⽇の制御信号を取り込み、特徴量算出からML推論・Data Product出品まで毎⽇Snowflake上で完結 同じ基盤で、こんな処理も • 7000億⾏/⽇のJOINと2500億⾏/⽇の集約を毎⽇定常実⾏ • tar.gz／バイナリ／数⼗GBのXMLを、ML Jobs＋Rayで並列に解凍・パースして Parquetへ • Datastream︓Kafka互換ストリーミングもSnowflakeの中に 持ち帰り できること︓ELT・コンテナ・Spark・ストリーミングを1つのガバナンス境界の中で選び分けられる SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 8
9. 03 GOVERNANCE 数万テーブルのガバナンスを、⼈ではなく基盤の機能で効かせる 権限とコストの境界 列の保護を宣⾔的に Organization Account／Zero Data Account 、Domain per Account、Internal Marketplace タグ＋マスキングポリシー、Row Access Policy 、CLASSIFY（⾃動分類） ドメインごとに分離しつつ横断でログ・コストを⼀元 管理 事例︓基盤がタグとポリシーを⽤意し、プロダクト側 はDCMで仕様書から該当列にタグを付けるだけ Horizon Catalogが全体を貫く 利⽤者・エージェント ⼈のロール ／ Agent Identity ポリシー層 タグ → マスキング／Row Access／Data Movement 可視化と監査 AI時代の守り Access History、Trust Center（Data Exfiltration Detection）、Native Appでの配 布 Agent Identity、Horizon AI Guardrails（GA ）、Data Movement Policies（Preview）、 Intent-Driven Governance（Preview） ガイドライン違反の発⾒や活⽤状況の可視化を、 Native Appとして各アカウントへ展開 エージェントにも⾝元と権限を与え、「PIIを守って 」と意図を書くだけで分類とポリシー付与が⾛る⽅向 へ カタログ層（Horizon） 分類・リネージ・Access History・Context ドメインアカウント群 Domain per Account ＋ Zero Data Account Trust Center ／ Organization Account が横断で監視・集約 持ち帰り できること︓中央チームは「⽴法と監査」に集中し、守りは機能として全ドメインに同じ強さで効かせられる SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 9
10. 03 APPS & CONTEXT アプリも⽂脈も中に︓App Runtime ＋ Horizon Context アプリの開発・ホスティング Streamlit in Snowflake（Container Runtime） メタデータは Horizon Context へ Structural 何があり、どう繋がるか テーブル・列・ダッシュボード・リネ ージ Operational 今、何が起きているか クエリ履歴・鮮度・品質メトリクス Node.js／Next.jsのフルスタックWebアプリをsnow app deployで配備。認 証・RBAC・データ移動なしが⾃動でつく。CoCoにプロンプト1つで作らせる ことも Semantic それは何を意味するか Semantic Viewの定義・指標・関係 Native App で配布 Behavioral 誰がどう使っているか ⼈気度・クエリパターン・下流の利⽤者 Workspaces・Gitと統合。データの隣でPythonアプリを即公開 Snowflake App Runtime 作ったアプリをドメインアカウントへ配布。可視化や規約チェックを全社に同 じ形で 事例︓Streamlit in Snowflakeで作った社内データカタ ログアプリ。Data Ownerが規約どおりにメタデータを 登録でき、Cortex Searchで説明⽂を⾃動⽣成 Collect Enrich Activate 18種のメタデータコネクタ （Tableau・Power BI・ dbt・Postgres…）と OpenLineageで外のリネー ジも取り込む Semantic View Autopilot で既存SQL・BI資産から定 義を⾃動⽣成。スチュワー ドが承認・説明を伝播 同じ定義をCoCo・CoWork ・Cortex Agents・BIツー ルに配信。クエリには RBAC・マスキングがその まま効く 持ち帰り できること︓アプリはデータの隣で動かし、⽂脈はHorizon Contextに集めて、⼈・BI・AIが同じ定義で動ける SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 10
11. 04 AI-DRIVEN PIPELINE AIが開発者、⼈は依頼者︓依頼から本番配備までが⾃動で進む ⼈ ① 相談・依頼 ④ 仕様書 専⽤Skillで⽬的・取り込み 元・分類を聞き取り、本⼈ の名前でIssueを作成（ GitHub MCP） 結果を⾒て壁打ちし「仕様 書 vN」をIssueへ。そのま まspec.mdになる AI（CoCo） ② 接続を作る ③ 下調べ ⑤ 下書きPR Issue作成を起点にAIが起動 。取り込み元のStageをPR で作成（機微データは承認 必須） STG配備後、AIが先頭⾏を 読み、件数と型だけをIssue へ。値は外に出さない spec.md・DCM・dbt・試 験を1つのPRに。未決は「 おすすめと影響」つきで提 ⽰ ⑥ 承認・配備 CI ＋ Snowflake PR環境で実データと⾒本 → 承認 → WIFでDCM DEPLOY → Environment承 認 → 本番 ⼈が⾒るのは3つだけ︓下調べの結果 ／ 実装⽅針と公開表の⾒本 ／ 未決（おすすめと影響つき） CoCo Desktop Skills AI Gateway（GitHub MCP） cortex exec DCM Projects WIF（OIDC） dbt Projects Task Graph Object 持ち帰り できること︓⼈は「依頼する・答える・承認する」だけで、新しいデータが本番の公開表に届く SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 11
12. 04 AUTONOMOUS AIが運⽤する︓CoCoとAI GatewayがSnowflakeの中で動く Snowflakeで起きたこと GitHubで起きたこと ⼈がAIと⼀緒に CoCo automations Actions ＋ cortex exec CoCo Desktop ＋ AI Gateway 失敗・品質異常・新旧不⼀致を定期に拾い、調 査して障害記録と対応依頼、修正PRまで。デ ータは外に出ない Issue・PR・レビュー指摘をトリガーにAIが実 装・修正。AI⽤ユーザ（SERVICE_AGENT） でWIF接続 依頼者は専⽤Skillsで相談。GitHubのMCP ServerをAI GatewayのToolsに登録し、本⼈ のOAuthでIssueを書く Cortex AI Gateway（Preview）︓モデルとMCP Toolsへの⼊⼝を1か所に CoCo Desktop／CLI Cortex AI Gateway Claude・Cursor アクセス付与・利⽤量の帰属 監査トレース・予算／クォータ Agent Identity・Guardrails Cortex Agents・CoWork Models 設計原則（事例） Anthropic・OpenAI・Google・Meta・ xAI… • AIは提案まで。本番反映はEnvironment承認後にCI がDCMで MCP Tools • AIは依頼し、決まった対応はコントローラが許可リ ストの範囲で実⾏ GitHub・Slack・Jira・社内API（ Natomaで約100連携） • AIの記録は追記のみの表に残し監査 持ち帰り できること︓⼈は「依頼する・答える・承認する」だけ。調査から修正提案までをAIがSnowflakeの中で担う SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 12
13. 05 TWO YEARS この2年で、⼈が使う基盤からAIが使う基盤へ 2024 2025 2026 • Cortex Search／Cortex Analyst • Cortex Agents／Snowflake Intelligence • CoCo GA︓Desktop・Cloud Agents・ Automations・Skill Catalog • Semantic Views • Cortex AI Gateway／Cortex Tools（ MCP）、Agent Identity • Apache Polaris（オープンカタログ） • Managed Iceberg Tables • Horizon Catalog • Openflow（取り込み） • Gen2 Warehouse／Interactive Tables • Cortex Code（CoCo）、Snowflake Postgres • Horizon Context、Semantic View Autopilot、AI Guardrails • Adaptive Compute GA、Iceberg V3 GA、Datastream • CoWork（旧Snowflake Intelligence） 、Cortex Sense ※ 名称・提供状況は2026年10⽉時点。Preview段階の機能を含む 持ち帰り できること︓モデル・エージェント・ツール・⽂脈のすべてを、データと同じガバナンス境界の中に置ける SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 13
14. 05 ANALYSIS 分析の⺠主化︓CoCo利⽤者1,500⼈超、専⾨家なしで最適化 例︓ネットワーク境界ハンドオーバー（HO）の削減検証 重点領域のみ 約260時間 現地のみ 0.3時間 最⼤46%減 ⼀都三県全体の最適化に要した時間 境界HO数の削減⾒込（精度向上） ⾃然⾔語の指⽰から、k-means・Graph-Cut・320万件のHOデータ取得までCoCo が実装。Horizon Catalogにメタデータが揃っているデータほど精度が⾼く、少⼈ 数かつ⾼い専⾨性がなくても実現できた CoCoのアクティブユーザ数とクレジット消費の推移（事例企業）。現在も増加中 持ち帰り できること︓メタデータが揃った基盤では、CoCoが「分析者」として数千⼈の⼿⾜になる SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 14
15. 05 UNSTRUCTURED ⾮構造データ︓図⾯・神Excel・⼿順書をAISQLとAgentで使う 神Excel（⽅眼紙） 埋め込み画像 情報の分散 セル結合で⾏列対応が崩れ、設定値が断⽚化 図⾯や配置図が「画像」で、テキスト抽出だ けでは読めない 必要な情報が複数ファイルに跨り、単発の検 索では拾えない 使ったSnowflake機能 • AI_COMPLETE（マルチモーダル）でExcel 全シート・図表をMarkdown化。今は⾳声・ 動画も⼊⼒に • AI_PARSE_DOCUMENTでPDF/PPTXを構造 化抽出、AI Visionで図⾯を⽂脈化 • Cortex Search︓ベクトル＋キーワードの Hybrid。Agentic Searchで「件数」を答え られる • Cortex Agentsが探す・読む・照合するを⾃ 動化し、根拠の原本つきで回答 持ち帰り できること︓棚に眠っていた図⾯・⼿順書が、SQL関数とAgentで「検索して答える」資産になる SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 15
16. 05 AGENTIC MESH Internal Marketplaceで流通するのはデータだけではない Data Product Semantic View テーブル／Iceberg／ビュー 指標定義・結合。Autopilotで⾃動 ⽣成 Internal Marketplace Cortex Agent Skill / MCP Tool Agentを出品。Auto-gen Data Agents Skill Catalog・AI Gateway Tools Domain per Accountの各アカウントが、データと同じListingの仕組みでAI資産も出品・購読する 事例企業が⽬指す次のステージ︓Agentic AI Mesh 共通⾔語化 AI資産のカタログ化 意味・定義・関係（コンテキスト／オントロジー／ナレッジグラフ）をHorizon Contextに集約し、組織の壁を越えてデータ×AIを使う。Business Ontologyで ⽤語を揃え、AIが資料から変更を提案して⼈が承認する Agent／MCP Server／Skillを部⾨横断で出品・再利⽤し、サイロ化を防ぐ。定 型化できた処理はコードに戻し、AIは判断が要るところに集中させてROIを確保 する 持ち帰り できること︓データと同じ仕組みで、Agent・Semantic View・Skillを組織内に流通させられる SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 16
17. 06 SUMMARY 数⼗PB×AIを⽀えるSnowflakeの実⼒、4つの要約 分けて、閉じない ガバナンスは機能で 分離アーキテクチャとOrg Account／Internal Marketplaceで Data Meshを実装。Icebergで外とつながる タグ・ポリシー・Trust Center・Agent Identity。中央は⽴法と監 査に集中できる 宣⾔的で⾃律的 AIが使う基盤へ DCM Projects・WIF・Task Graph・dbt Projects。CoCoが Snowflakeの中で調査と修正提案を担う CoCo・Cortex Agents・AI Gateway・Horizon Context。Agent ・Skillもデータと同じ仕組みで流通 ⼈が利⽤するデータ基盤から、AIが利⽤するデータ基盤へ 試した知⾒を持ち寄って、次の⼀歩を⼀緒に。 SnowVillage Slackでお待ちしています。 https://snowvillage.cloud SnowVillage ｜ 事例提供︓株式会社NTTドコモ（図版 © NTT DOCOMO, INC.） 17