Databricks Data+AI Summit 2024 最新動向座談会

2024年6月10日~13日に行われた Data&AI Summit 2024 の速報会資料になります。

Transcript

1. © 2024/6/19 Knowledge Communication Co., Ltd. Data+AI Summit 2024 参加レポート (速報) Knowledge Communication Co.,Ltd.
2. © 2024/6/19 Knowledge Communication Co., Ltd. 2 会社名 株式会社ナレッジコミュニケーション 設立日 2008年11月 資本金 9,000,000 円 本社所在地 千葉県市川市相之川4-6-5 フォーリーフ南行徳2F 従業員数 39名 (正社員 2024年5月末日時点) 経営陣 取締役会長 皆川 謙太 代表取締役ＣＥＯ兼ＣＴＯ 奥沢 明 取締役副社長ＣＯＯ 小泉 裕二 事業内容 AI×クラウド事業、VR・AR事業 Education事業 主要取引先 アマゾン ウェブ サービス ジャパン 日本マイクロソフト Databricks Japan株式会社 拠点 日本 (千葉、熊本) DIGITAL INNOVATION CENTER Kumamoto Lab. Awards 会社紹介
3. © 2024/6/19 Knowledge Communication Co., Ltd. 3 対象者とゴール AI や データ活用に興味ある Databircks に興味がある Databricks の利用を開始した どこかで使っているのを知っている BizDev 領域に関わる人向け
4. © 2024/6/19 Knowledge Communication Co., Ltd. 4 Agenda 1. DAIS 内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
5. © 2024/6/19 Knowledge Communication Co., Ltd. 5 Agenda 1. DAIS 内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
6. © 2024/6/19 Knowledge Communication Co., Ltd. DAIS 内の主要な発表
7. © 2024/6/19 Knowledge Communication Co., Ltd. データ・インテリジェンスをあらゆる組織に提供し、独自のAIシステムと次世 代アナリティクスを構築。独自のデータを理解しデータの民主化を実現します 。 Data & AI Summit 2024 のテーマ “ Data Intelligence for All “
8. © 2024/6/19 Knowledge Communication Co., Ltd. 8 Data Intelligence とは？ オープンで統一されたデータ基盤 Data Lakehouse Generative AI データとAIの拡張と活用を容易にする Data Intelligence データ＋AIを組織全体で共有する DAIS 発表資料から作成
9. © 2024/6/19 Knowledge Communication Co., Ltd. 9 Data Intelligence とは？ - 具体例 データブリックスジャパン配布資料から抜粋
10. © 2024/6/19 Knowledge Communication Co., Ltd. 10 Databricks の特徴 - GOAT G ガバナンス O オープン A AI T TCO Databricks Clean Rooms Unity Catalog OSS 化 GenAI フルサーバレス Serverless SQL Liquid Clustering
11. © 2024/6/19 Knowledge Communication Co., Ltd. 主要な発表
12. © 2024/6/19 Knowledge Communication Co., Ltd. 12 Data + AI Summit 2024 の主要アナウンス ノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format
13. © 2024/6/19 Knowledge Communication Co., Ltd. 13 DAIS 内の主要な発表 Unity Catalog • オープンソース化 • 属性ベースのアクセス制御 • 外部ツールとの連携強化 パブリック公開されたリポジトリ ルール付けによるアクセス制御
14. © 2024/6/19 Knowledge Communication Co., Ltd. 14 DAIS 内の主要な発表 Data Clean Room • 自社のデータをコピーする ことなくシェア • ガバナンスは提供者が管理 • 他PFでもシェア可能 • 複数言語でデータを扱える
15. © 2024/6/19 Knowledge Communication Co., Ltd. 15 DAIS 内の主要な発表 All Serverless ノートブック、DLT 等すべてにおいてサーバレスコンピュートが使用可能に！
16. © 2024/6/19 Knowledge Communication Co., Ltd. 16 DAIS 内の主要な発表 Generative AI • ノーコードでOSSモデルのFine Tuning が可能 • Mosaic AIで構築された画像生成AI(Shutterstock ImageAI) • Unity Catalog上で管理されたツール(Function)に対して Calling できる モデルに質問→自動的に必要なツール選定→ツールを使ってIntelligentな回答を実現！
17. © 2024/6/19 Knowledge Communication Co., Ltd. 17 DAIS 内の主要な発表 Generative AI • エージェントの回答品質はフィードバックしてモニタリング(Agent Evaluation) • Mlflow によるトレースを利用して詳細原因の追跡(MLflow Tracing) エージェントの回答に対してフィードバックを送信 フィードバックは自動的に記録
18. © 2024/6/19 Knowledge Communication Co., Ltd. 18 DAIS 内の主要な発表 AI/BI Genie Genie がチャットベースで必要なデータを取得 & 自動可視化してくれます！ コードを書かずしてデータを扱うことが可能に。 完全日本語でクエリ実行 1クリックで自動可視化
19. © 2024/6/19 Knowledge Communication Co., Ltd. 19 DAIS 内の主要な発表 LakeFlow Databricks でパイプライン構築するための新しいソリューションを発表！ 複数のソースから取り込んだデータを利用してデータ変換したデモが紹介
20. © 2024/6/19 Knowledge Communication Co., Ltd. 20 DAIS 内の主要な発表 Data Format Updates • Delta Lake UniForm が GA → Delta, Iceberg, Hudi どのフォーマットとしてもアクセス可能！ • Liquid Clustering → Partition や Z-Order も超える新たなチューニング手法でクエリをより高速に！ • Predictive IO → Deep Learningにより必要なデータのみ効率よくスキャン → 高速読み込み！ ユーザーはより意識することなく、パフォーマンスはより高性能に
21. © 2024/6/19 Knowledge Communication Co., Ltd. 21 Agenda 1. DAIS 内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
22. © 2024/6/19 Knowledge Communication Co., Ltd. セッションピックアップ
23. © 2024/6/19 Knowledge Communication Co., Ltd. 23
24. © 2024/6/19 Knowledge Communication Co., Ltd. 24 お話する内容 ブログ記事として公開
25. © 2024/6/19 Knowledge Communication Co., Ltd. 25 ピックアップセッション
26. © 2024/6/19 Knowledge Communication Co., Ltd. 26 ピックアップセッション ピックアップセッション データガバナンスと データブリックス
27. © 2024/6/19 Knowledge Communication Co., Ltd. 27 オーストリアの１部門から全社に広まった取組
28. © 2024/6/19 Knowledge Communication Co., Ltd. 28 データプロジェクト始める難しさ みんな忙しい あれば良いもの扱い 目標の設定の難しさ
29. © 2024/6/19 Knowledge Communication Co., Ltd. 29 解決アプローチ オーナーはビジネス側 優れたツールを使う 完璧じゃなくても始める
30. © 2024/6/19 Knowledge Communication Co., Ltd. 30 データ中心で取組を進めるポイント オーナーシップを明確に データカタログを持つ データリネージに対応 データセキュリティ
31. © 2024/6/19 Knowledge Communication Co., Ltd. 31 どこから始めるか？ 小さく始めることを意識 始めたら素早く成功する データガバナンスへの 意識が速度を上げる
32. © 2024/6/19 Knowledge Communication Co., Ltd. 32 ピックアップセッション ブラデスコ銀行の AI駆動型改革
33. © 2024/6/19 Knowledge Communication Co., Ltd. 33 一般的にシステムを抱える会社の課題
34. © 2024/6/19 Knowledge Communication Co., Ltd. 34 一般的にシステムを抱える会社の課題
35. © 2024/6/19 Knowledge Communication Co., Ltd. 35 データの取り込み先は Databricks を中心に
36. © 2024/6/19 Knowledge Communication Co., Ltd. 36 データカタログを中心としたアプローチ データカタログを中心と したドメイン分散 ドメイン毎にデータス チュワードが Unity Catalog 利用を推進
37. © 2024/6/19 Knowledge Communication Co., Ltd. 37 データカタログを中心としたアプローチ 理想とするデータ基盤/データ活用 業務オーナー データスチュワード データキュレーター データ利用者 分析のための対応 供給 活用 統合 BI データエンジニ アリング 分析戦略 ビジネスデータ ビジネス状況理解 ソリューション活用 アーキテクチャ Spark / 分散処理 継続的な環境整備 最適化支援
38. © 2024/6/19 Knowledge Communication Co., Ltd. 38 データ取り組み機構としての Databricks の役割 パレートの法則の適用 テンプレート/標準化 監視による品質担保
39. © 2024/6/19 Knowledge Communication Co., Ltd. 39 ドメイン毎に横展開しデータメッシュ化
40. © 2024/6/19 Knowledge Communication Co., Ltd. 40 成果 / データ=プロダクトという考え方が定着 組織における変化 ドメインに根付いたデータ管理 データカタログによる品質担保 自律と協調が両立された
41. © 2024/6/19 Knowledge Communication Co., Ltd. 41 成果 与信判定や詐欺検知判定などの成果 •データプラットフォームとトラン ザクションデータを統合し、高速な モデル運用が可能 •カスタマージャーニーおいて顧客 維持率を50％以上改善する •440億円以上の与信判定で高度化さ れたモデルを適用
42. © 2024/6/19 Knowledge Communication Co., Ltd. 42 成果 自動車ローン事業における成果 •2億人の顧客向けに迅速なデータパ イプラインとモデル推論を提供 •特徴量エンジニアリングのパイプ ライン処理の実行時間が 12 時間 •モデル推論の処理は 40 分
43. © 2024/6/19 Knowledge Communication Co., Ltd. まとめ
44. © 2024/6/19 Knowledge Communication Co., Ltd. 44 Databricks の特徴 - GOAT G ガバナンス O オープン A AI T TCO Databricks Clean Rooms Unity Catalog OSS 化 GenAI フルサーバレス Serverless SQL Liquid Clustering
45. © 2024/6/19 Knowledge Communication Co., Ltd. 45 Data + AI Summit 2024 の主要アナウンス ノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format
46. © 2024/6/19 Knowledge Communication Co., Ltd. 46 どこから始めるか？ 小さく始めることを意識 始めたら素早く成功する データガバナンスへの 意識が速度を上げる
47. © 2024/6/19 Knowledge Communication Co., Ltd. AI を活用し前進するフレームワーク - デジタルフィードバックループ 47 ナレッジコミュニケーションのご支援 参考 : DX時代に必要なデジタルフィードバックループとは？ URL : https://www.cloud-for-all.com/bizapp/blog/digital-feedback-loop 顧客 働く人 製品 業務 Data & Gen AI Engage customers Optimize operations Empower people Transform products ナレッジコミュニケーションにおける支援
48. © 2024/6/19 Knowledge Communication Co., Ltd. FY22-23 1Q Fin