Snowflake World Tour Tokyo 2026登壇資料 - Snowflake Well-Architected Framework で実現する 実践的なデータマネジメント

Transcript

1. Snowflake Well-Architected Framework で実現する 実践的なデータマネジメント 2026年9⽉11⽇(⾦) 株式会社ナウキャスト 庵原 崚⽣ © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 1
2. ⾃⼰紹介 • 名前：庵原 崚⽣ • ロール：データエンジニア • 株式会社ナウキャストにてSnowflakeを使ったデー タ基盤構築、LLMを使った機能開発、データマネジメ ントなどを⾏っています。最近はハーネスとオントロ ジーが気になってます。 • X: https://x.com/L4_Nq_T__ • Zenn: https://zenn.dev/lana2548 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
3. アジェンダ 01 データ‧AI基盤に残りがちなマネジメントの課題 02 データマネジメントを進める「型」 03 どのように実践するのか © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
4. データ‧AI基盤を進める上での整った領域とこれからの領域 利⽤は先に広がる ⼿を動かせば進む 技術に閉じない→課題として残る これから整える（ポリシー） 整いつつある（メカニズム） パイプライン 品質基準をどうするか IaC（Terraformなど） / CICD（Github Actions, AWS CodeBuild等） 誰が責任を持つか テスト‧モニタリング 誰に何を⾒せてよいか © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
5. よくある3つの兆候 この⾮対称性は、⼤抵3つの形で表に出る データマネジメント⾃体に 取り組めていない • • データ/AI利⽤を重視して進 める中で同時にデータマネ ジメント観点を含めるのが 純粋に難しい データマネジメント、と⾔ われてもどこから⼿をつけ ればいいのかわからない 管理者↔ユーザーでのズレ • • • 管理体制が整う前にユーザー が⾃⾛し、ルールが後追いに なる 管理側が意図していない利⽤ が⾏われる 意図が不明な制限でユーザー の不満がたまる © 2015 - 2026 Nowcast Inc. 監視の体制が整っていない • • 誰がいつどのように使ってい るのかの監視ができていない 何が起きているかわからない ため、マネジメント/ガバナ ンス体制を進めたくても、ど こにメスを刺せばいいかわか らない CONFIDENTIAL
6. データマネジメントは先⾏投資に近い データマネジメントは先⼿を打てば総合的に楽に済む、後からはとても⼤変 積み上がるコスト 先送りした場合 この差が、待った分のコスト 早く着⼿した場合 着⼿：今 着⼿：半年後 時間 → ※概念図。実測値ではありません © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
7. 進め⽅は三つのステップ DMBOK で診断し、Snowflake Well-Architected Framework(WAF) で治療する。その間に仕分ける ① 診断 ② どこがどれだけ弱いか 仕分け ③ 誰が‧いつ動かすか 治療 Snowflake の具体策へ • DMBOKの11領域の物差で評価 • 技術だけで進められるか • 弱い領域を WAF の柱に対応 • 成熟度の偏りの可視化 • ⾃社の意思決定が必要か • 柱から具体的な機能へ落とす • 優先して対応する領域を発⾒ • 追加投資が必要かを分ける • 実⾏できる施策に変換する 使う道具： DMBOK 11領域 使う道具： ⾃社の意思決定 使う道具： WAF 5つの柱 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 7
8. 診断: DMBOKの11領域で測る DMBOKの11領域を観点として使い、同じ物差しで⾃社の現在地を整理する 読み⽅ • 11領域それぞれの 現在の成熟度をみる • 領域間の偏りや 弱点を⾒つける • 投資‧対応すべき 優先領域を特定する ※ 数値化はするが相対評価 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
9. 評価してみると、こういう形になる 現在の成熟度と、どこから着⼿すべきかを相対的に整理する Lv0 Lv1 Lv2 Lv3 Lv4 Lv5 優先度 データアーキテクチャ 1 データストレージと運⽤ 2 メタデータ管理 2 データモデリングとデザイン 2 DWH と BI 2 参照‧マスタデータ 2 データガバナンス 5 データセキュリティ 4 データ統合と相互運⽤性 3 データ品質 4 ドキュメントとコンテンツ 4 レベル • • • • • • Lv0：未着⼿‧未把握 Lv1：属⼈的‧未整備 Lv2：⼀部でルール化 Lv3：組織的に標準化 Lv4：継続的に運⽤‧改善 Lv5：⾃動化‧最適化されている 優先度 • • • • • 5：今すぐ対応が必要 4：早めに改善したい 3：計画的に改善する 2：余⼒があれば改善 1：現状維持で問題なし ※ 成熟度‧優先度は説明⽤の評価例です © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
10. 優先付けして仕分けていく 優先領域を、誰がどのように動かすかで3区分に仕分ける 区分1:今すぐ動かせる 区分2: 社内で決める 区分3: 投資判断がいる 現⾏の⽅針‧権限の範囲で着⼿できる 合意‧ルールが必要 追加投資‧経営判断が必要 • Snowflakeの設定や機能で完結 • 複数部署の合意やルールが必要 • 追加の予算や外部サービスが必要 • 部署を跨ぐ合意や予算を要しない • ⽅針‧基準‧運⽤ルールが必要 • 組織横断‧⻑期の取り組み • ⼩さく始めて、すぐに効果検証 • ⼀度決めれば、継続的な効果 • 投資前に効果と優先順位検討必要 例として... 例として... 例として... • クエリ最適化 • データオーナーの定義 • データカタログツール導⼊ • アクセス制御‧権限⾒直し • データ品質の基準策定 • 外部システム基盤との連携整備 • ⾃動停⽌などの設定 • 申請‧承認フロー整備 • 専⾨⼈材の追加 BigPicture → Small Start → Quick Win のサイクルで効果的かつ着実に進めていく © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
11. 実装：Snowflake WAF と 5つの柱 弱い領域を5つの柱に対応づける。柱から具体策に落とし込み、実⾏できる施策に変換する WAFとは？ Snowflake Well-Architected Frameworkの略 Snowflakeを、より安全‧安定‧効率的に使うための設計‧運⽤のベストプラクティス集 セキュリティと ガバナンス オペレーショナル エクセレンス 信頼性 パフォーマンス コスト最適化 • データを安全に守 • 運⽤を標準化/⾃動 • システムを安定的に • 必要な性能を最適 • コストを可視化‧管 る統制を効かせる 化し継続的に改善 提供し続ける な⽅法で引き出す • コンプライアンスを • 信頼できる運⽤体制 • 障害からの回復性 • 拡張性と効率を両 満たす を構築する ⾼める ⽴する 理 • 利⽤量を適正化し、 ビジネス価値と調整 代表的な具体策 代表的な具体策 代表的な具体策 代表的な具体策 代表的な具体策 • RBAC / 最⼩権限 • IaC / CICD • マルチクラウド / • クエリ最適化 / • コストモニタリン • データマスキング • モニタリング / マルチリージョン クラスタリング • 監査ログ アラート • 変更管理 / ⾃動化 • フェイルセーフ / フェイルオーバー © 2015 - 2026 Nowcast Inc. • ウェアハウスサイジ ング/ スケール グ/ アラート • リソースの適正利⽤ CONFIDENTIAL
12. Snowflake Well-Architected Framework の特徴 弱い領域をWAFの5つの柱に対応づける。柱から具体策に落とし込み、実⾏できる施策に変換する ※ WAFだけでは閉じない領域もある • 組織の責任‧役割‧合意形成 組織体制や⼈の育成など DMBOK Snowflake WAF 共通領域 11の領域 • 業務ルール‧標準‧プロセス 全社的なルールやプロセスは 組織ごとに異なる 5つの柱 • Snowflake外の製品‧サービス 他クラウド、SaaS、オンプレなど • 全社横断のデータマネジメント 戦略‧⽂化‧ステークホルダー管理など 役割を切り分けて効果的かつ現実的に改善を⾏っていく © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
13. Snowflake WAFは、AIで実⾏させられるプラクティスが⽤意されている WAFはSkillとしても⽤意されており、AIエージェントが評価から改善プラン提⽰までを⽀援してくれる Snowflake WAF Skill (Well-Architected Snowflake WAF Skill (Well-ArchitectedFramework Framework Assessment) Assessment) AIエージェント 1. 環境理解 3.ギャップ特定 アカウントや 設定‧利⽤状況を 収集‧理解する ベストプラクティ スとの差分を 明らかにする 5.レポート出⼒ 評価結果と 改善プランを レポート化する AIの⽣成物 評価結果 • 柱ごとの評価 • 実施中 / 要改善 / 要注意 改善ポイント • ギャップのある項⽬ • 重要度/影響度の明確化 Snowflake CoCo 2.評価実⾏ 4.改善案の⽣成 ⾃動チェックと 必要な質問を組み 合わせて評価する 具体的な改善策と 優先度を整理する © 2015 - 2026 Nowcast Inc. 改善プラン • 推奨設定 • 実装⼿順や参考Doc CONFIDENTIAL
14. Snowflake WAFは、AIで実⾏させられるプラクティスが⽤意されている Snowflake WAF Skillによる評価の例 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL
15. 再掲: 進め⽅は三つのステップ 診断して、仕分けて、治療する。 DMBOKで弱点を⾒つけ、動かせるところからWAFで改善する。先に動くほど、安く楽に効く。 ① 診断 ② どこがどれだけ弱いか 仕分け ③ 誰が‧いつ動かすか 治療 Snowflake の具体策へ • 11領域の物差しで評価 • 技術だけで進められるか • 弱い領域を WAF の柱に対応 • 成熟度の偏りの可視化 • ⾃社の意思決定が必要か • 柱から具体的な機能へ落とす • 優先して対応する領域を発⾒ • 追加投資が必要かを分ける • 実⾏できる施策に変換する 使う道具： DMBOK 11領域 使う道具： ⾃社の意思決定 使う道具： WAF 5つの柱 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL 15
16. 16 © 2015 - 2026 Nowcast Inc. CONFIDENTIAL