Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Databricks Data+AI Summit 2024 最新動向座談会
Search
Takaya Nakanishi
June 19, 2024
Technology
0
90
Databricks Data+AI Summit 2024 最新動向座談会
2024年6月10日~13日に行われた Data&AI Summit 2024 の速報会資料になります。
Takaya Nakanishi
June 19, 2024
Tweet
Share
More Decks by Takaya Nakanishi
See All by Takaya Nakanishi
20240330_LT資料「エンジニアに求められるマネジメント」
kc_nakanishi
1
180
ナレコム CULTURE DECK
kc_nakanishi
0
710
AI業界をリードする企業のエンジニアが語る:クラウド & AI でキャリアを作る魅力
kc_nakanishi
0
240
受託クラウド AI ベンチャーで働く自分から見た 誰も言わない成功プロジェクトの共通点
kc_nakanishi
0
250
ChatGPTがある時代にわたしたちはどう生きるか
kc_nakanishi
0
150
「AWS 上で始めるモダンデータアアーキテクチャと データ活用に向けたアプローチ」
kc_nakanishi
0
220
データチームを率いる現場マネージャーが語る、市場が求めるデータエンジニアに爆速で成長する方法
kc_nakanishi
0
590
ナレコム社内研修資料_プロジェクトマネジメント入門(2022年版)
kc_nakanishi
1
940
Other Decks in Technology
See All in Technology
強いチームを夢見て-PMからSREに転身して1年の振り返り / 20240906_bengo4_sre
bengo4com
1
750
Datadog を使ったプロダクトとクラウドの セキュリティモニタリング
mrtc0
0
450
[RSJ24] Object Retrieval in Large-Scale Indoor Environments Using Dense Text with a Multi-Modal Large Language Model
keio_smilab
PRO
0
220
サイボウズ 開発本部採用ピッチ / Cybozu Engineer Recruit
cybozuinsideout
PRO
9
41k
標準ライブラリの奥深アップデートを掘り下げよう!
logica0419
2
390
Javaにおける関数型プログラミンへの取り組み
skrb
5
110
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
39k
疎通2024
sadnessojisan
4
490
手軽に始める? おうちサーバーのすゝめ
nyagasan
0
180
プロデザ! BY リクルートvol.22_様々なプロダクト経験の中で活きたPdMのスキル
recruitengineers
PRO
3
170
AWSを始めた頃に陥りがちなポイントをまとめてみた
oshanqq
1
1.7k
開発者体験を意識した開発チームの生産性向上の取り組み
ham0215
3
650
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
690
190k
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
34
1.9k
Teambox: Starting and Learning
jrom
131
8.7k
Six Lessons from altMBA
skipperchong
26
3.3k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
How STYLIGHT went responsive
nonsquared
93
5.1k
Code Reviewing Like a Champion
maltzj
518
39k
Ruby is Unlike a Banana
tanoku
96
10k
KATA
mclloyd
27
13k
Building Flexible Design Systems
yeseniaperezcruz
324
37k
How to train your dragon (web standard)
notwaldorf
85
5.6k
Transcript
© 2024/6/19 Knowledge Communication Co., Ltd. Data+AI Summit 2024 参加レポート
(速報) Knowledge Communication Co.,Ltd.
© 2024/6/19 Knowledge Communication Co., Ltd. 2 会社名 株式会社ナレッジコミュニケーション 設立日
2008年11月 資本金 9,000,000 円 本社所在地 千葉県市川市相之川4-6-5 フォーリーフ南行徳2F 従業員数 39名 (正社員 2024年5月末日時点) 経営陣 取締役会長 皆川 謙太 代表取締役CEO兼CTO 奥沢 明 取締役副社長COO 小泉 裕二 事業内容 AI×クラウド事業、VR・AR事業 Education事業 主要取引先 アマゾン ウェブ サービス ジャパン 日本マイクロソフト Databricks Japan株式会社 拠点 日本 (千葉、熊本) DIGITAL INNOVATION CENTER Kumamoto Lab. Awards 会社紹介
© 2024/6/19 Knowledge Communication Co., Ltd. 3 対象者とゴール AI や
データ活用に興味ある Databircks に興味がある Databricks の利用を開始した どこかで使っているのを知っている BizDev 領域に関わる人向け
© 2024/6/19 Knowledge Communication Co., Ltd. 4 Agenda 1. DAIS
内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. 5 Agenda 1. DAIS
内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. DAIS 内の主要な発表
© 2024/6/19 Knowledge Communication Co., Ltd. データ・インテリジェンスをあらゆる組織に提供し、独自のAIシステムと次世 代アナリティクスを構築。独自のデータを理解しデータの民主化を実現します 。 Data
& AI Summit 2024 のテーマ “ Data Intelligence for All “
© 2024/6/19 Knowledge Communication Co., Ltd. 8 Data Intelligence とは?
オープンで統一されたデータ基盤 Data Lakehouse Generative AI データとAIの拡張と活用を容易にする Data Intelligence データ+AIを組織全体で共有する DAIS 発表資料から作成
© 2024/6/19 Knowledge Communication Co., Ltd. 9 Data Intelligence とは?
- 具体例 データブリックスジャパン配布資料から抜粋
© 2024/6/19 Knowledge Communication Co., Ltd. 10 Databricks の特徴 -
GOAT G ガバナンス O オープン A AI T TCO Databricks Clean Rooms Unity Catalog OSS 化 GenAI フルサーバレス Serverless SQL Liquid Clustering
© 2024/6/19 Knowledge Communication Co., Ltd. 主要な発表
© 2024/6/19 Knowledge Communication Co., Ltd. 12 Data + AI
Summit 2024 の主要アナウンス ノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format
© 2024/6/19 Knowledge Communication Co., Ltd. 13 DAIS 内の主要な発表 Unity
Catalog • オープンソース化 • 属性ベースのアクセス制御 • 外部ツールとの連携強化 パブリック公開されたリポジトリ ルール付けによるアクセス制御
© 2024/6/19 Knowledge Communication Co., Ltd. 14 DAIS 内の主要な発表 Data
Clean Room • 自社のデータをコピーする ことなくシェア • ガバナンスは提供者が管理 • 他PFでもシェア可能 • 複数言語でデータを扱える
© 2024/6/19 Knowledge Communication Co., Ltd. 15 DAIS 内の主要な発表 All
Serverless ノートブック、DLT 等すべてにおいてサーバレスコンピュートが使用可能に!
© 2024/6/19 Knowledge Communication Co., Ltd. 16 DAIS 内の主要な発表 Generative
AI • ノーコードでOSSモデルのFine Tuning が可能 • Mosaic AIで構築された画像生成AI(Shutterstock ImageAI) • Unity Catalog上で管理されたツール(Function)に対して Calling できる モデルに質問→自動的に必要なツール選定→ツールを使ってIntelligentな回答を実現!
© 2024/6/19 Knowledge Communication Co., Ltd. 17 DAIS 内の主要な発表 Generative
AI • エージェントの回答品質はフィードバックしてモニタリング(Agent Evaluation) • Mlflow によるトレースを利用して詳細原因の追跡(MLflow Tracing) エージェントの回答に対してフィードバックを送信 フィードバックは自動的に記録
© 2024/6/19 Knowledge Communication Co., Ltd. 18 DAIS 内の主要な発表 AI/BI
Genie Genie がチャットベースで必要なデータを取得 & 自動可視化してくれます! コードを書かずしてデータを扱うことが可能に。 完全日本語でクエリ実行 1クリックで自動可視化
© 2024/6/19 Knowledge Communication Co., Ltd. 19 DAIS 内の主要な発表 LakeFlow
Databricks でパイプライン構築するための新しいソリューションを発表! 複数のソースから取り込んだデータを利用してデータ変換したデモが紹介
© 2024/6/19 Knowledge Communication Co., Ltd. 20 DAIS 内の主要な発表 Data
Format Updates • Delta Lake UniForm が GA → Delta, Iceberg, Hudi どのフォーマットとしてもアクセス可能! • Liquid Clustering → Partition や Z-Order も超える新たなチューニング手法でクエリをより高速に! • Predictive IO → Deep Learningにより必要なデータのみ効率よくスキャン → 高速読み込み! ユーザーはより意識することなく、パフォーマンスはより高性能に
© 2024/6/19 Knowledge Communication Co., Ltd. 21 Agenda 1. DAIS
内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. セッションピックアップ
© 2024/6/19 Knowledge Communication Co., Ltd. 23
© 2024/6/19 Knowledge Communication Co., Ltd. 24 お話する内容 ブログ記事として公開
© 2024/6/19 Knowledge Communication Co., Ltd. 25 ピックアップセッション
© 2024/6/19 Knowledge Communication Co., Ltd. 26 ピックアップセッション ピックアップセッション データガバナンスと
データブリックス
© 2024/6/19 Knowledge Communication Co., Ltd. 27 オーストリアの1部門から全社に広まった取組
© 2024/6/19 Knowledge Communication Co., Ltd. 28 データプロジェクト始める難しさ みんな忙しい あれば良いもの扱い
目標の設定の難しさ
© 2024/6/19 Knowledge Communication Co., Ltd. 29 解決アプローチ オーナーはビジネス側 優れたツールを使う
完璧じゃなくても始める
© 2024/6/19 Knowledge Communication Co., Ltd. 30 データ中心で取組を進めるポイント オーナーシップを明確に データカタログを持つ
データリネージに対応 データセキュリティ
© 2024/6/19 Knowledge Communication Co., Ltd. 31 どこから始めるか? 小さく始めることを意識 始めたら素早く成功する
データガバナンスへの 意識が速度を上げる
© 2024/6/19 Knowledge Communication Co., Ltd. 32 ピックアップセッション ブラデスコ銀行の AI駆動型改革
© 2024/6/19 Knowledge Communication Co., Ltd. 33 一般的にシステムを抱える会社の課題
© 2024/6/19 Knowledge Communication Co., Ltd. 34 一般的にシステムを抱える会社の課題
© 2024/6/19 Knowledge Communication Co., Ltd. 35 データの取り込み先は Databricks を中心に
© 2024/6/19 Knowledge Communication Co., Ltd. 36 データカタログを中心としたアプローチ データカタログを中心と したドメイン分散
ドメイン毎にデータス チュワードが Unity Catalog 利用を推進
© 2024/6/19 Knowledge Communication Co., Ltd. 37 データカタログを中心としたアプローチ 理想とするデータ基盤/データ活用 業務オーナー
データスチュワード データキュレーター データ利用者 分析のための対応 供給 活用 統合 BI データエンジニ アリング 分析戦略 ビジネスデータ ビジネス状況理解 ソリューション活用 アーキテクチャ Spark / 分散処理 継続的な環境整備 最適化支援
© 2024/6/19 Knowledge Communication Co., Ltd. 38 データ取り組み機構としての Databricks の役割
パレートの法則の適用 テンプレート/標準化 監視による品質担保
© 2024/6/19 Knowledge Communication Co., Ltd. 39 ドメイン毎に横展開しデータメッシュ化
© 2024/6/19 Knowledge Communication Co., Ltd. 40 成果 / データ=プロダクトという考え方が定着
組織における変化 ドメインに根付いたデータ管理 データカタログによる品質担保 自律と協調が両立された
© 2024/6/19 Knowledge Communication Co., Ltd. 41 成果 与信判定や詐欺検知判定などの成果 •データプラットフォームとトラン
ザクションデータを統合し、高速な モデル運用が可能 •カスタマージャーニーおいて顧客 維持率を50%以上改善する •440億円以上の与信判定で高度化さ れたモデルを適用
© 2024/6/19 Knowledge Communication Co., Ltd. 42 成果 自動車ローン事業における成果 •2億人の顧客向けに迅速なデータパ
イプラインとモデル推論を提供 •特徴量エンジニアリングのパイプ ライン処理の実行時間が 12 時間 •モデル推論の処理は 40 分
© 2024/6/19 Knowledge Communication Co., Ltd. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. 44 Databricks の特徴 -
GOAT G ガバナンス O オープン A AI T TCO Databricks Clean Rooms Unity Catalog OSS 化 GenAI フルサーバレス Serverless SQL Liquid Clustering
© 2024/6/19 Knowledge Communication Co., Ltd. 45 Data + AI
Summit 2024 の主要アナウンス ノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format
© 2024/6/19 Knowledge Communication Co., Ltd. 46 どこから始めるか? 小さく始めることを意識 始めたら素早く成功する
データガバナンスへの 意識が速度を上げる
© 2024/6/19 Knowledge Communication Co., Ltd. AI を活用し前進するフレームワーク - デジタルフィードバックループ
47 ナレッジコミュニケーションのご支援 参考 : DX時代に必要なデジタルフィードバックループとは? URL : https://www.cloud-for-all.com/bizapp/blog/digital-feedback-loop 顧客 働く人 製品 業務 Data & Gen AI Engage customers Optimize operations Empower people Transform products ナレッジコミュニケーションにおける支援
© 2024/6/19 Knowledge Communication Co., Ltd. FY22-23 1Q Fin