あの手この手で今をときめけ！Databricks！

CA DATA NIGHT #10でお話した資料です

Transcript

1. × 🎀 DATA B R I C K S 機 能 ダ イ ジ ェ ス ト あの手この手で、 今をときめけ！ Databricks！ Databricks の “あの手この手” を厳選！ Databricksのときめきポイント、 一緒に探しにいこ！
2. 01 S E C T I O N 0 1 ・ オ ー プ ニ ン グ ・ 2 分 オープニング曲は ハロハロミライ ようこそ。まずは軽く、自己紹介とときめきの渋滞状況から。 Databricks
3. 0 1 ハ ロ ハ ロ ミ ラ イ ・ オ ー プ ニ ン グ Databricks、見てた。 そして、ずっと追いかけてた。 ♪ 本日の構成は、セトリで。 Databricks
4. 0 1 ハ ロ ハ ロ ミ ラ イ ・ ス ピ ー カ ー スピーカー Akihiro Kuwano / 桑野 章弘 Databricks Japan 株式会社 Solutions Architect 経歴 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリアや、目黒のオレンジの会社パブリ ッククラウドベンダーでソリューションアーキテクトとしてキャリアを重ね、現在は京橋のブロックの 会社でソリューションアーキテクトをしています！ 🎀 B2C企業担当のソリューションアーキテクトとして様々な案件において技術支援を実施しております！ 🎀 Databricks
5. 0 1 ハ ロ ハ ロ ミ ラ イ ・ ス ピ ー カ ー （ 本 気 ） スピーカー …の本気！ Akihiro Kuwano / 桑野 章弘 Databricks Japan 株式会社 Solutions Architect 経歴 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリアや、目黒のオレンジの会社パブリ ッククラウドベンダーでソリューションアーキテクトとしてキャリアを重ね、現在は京橋のブロックの 会社でソリューションアーキテクトをしています！ 🎀 B2C企業担当のソリューションアーキテクトとして様々な案件において技術支援を実施しております！ 🎀 Databricks
6. 本 日 の セ ッ ト リ ス ト ・ 全 6 曲 本日のアジェ、、、セトリです 01 ハロハロミライ オープニング ・ 自己紹介 🌅 2分 02 ラブトレ 基礎おさらい ・ Databricks 全体像 🎓 3分 03 キューにストップできません！ Lakeflow 編 ⚡ 5分 04 多元幸福論 Lakebase / Lakehouse//RT 編 🏗️ 5分 05 I Amai Me Mind AI Agent 編 🤖 5分 06 ハッピー世界！ クロージング ・ まとめ 🌎 2分 Databricks
7. 02 S E C T I O N 0 2 ・ 基 礎 お さ ら い ・ 3 分 基礎を愛でる、ということで ラブトレ 本編に入る前に、Databricks の全体像をさらっと愛で直しておきましょう。 Databricks
8. データインテリジェンス データインテリジェンスプラットフォーム プラットフォーム
9. 0 2 ラ ブ ト レ ・ DATA B R I C K S 全 体 像 Databricks の全体像を、軽くおさらい And more… ✦ AI with Enterprise Context Genie Databricks
10. 0 2 ラ ブ ト レ ・ DATA B R I C K S 全 体 像 それぞれ、どんな子？ And more… ✦ AI with Enterprise Context Genie Databricks
11. 03 S E C T I O N 0 3 ・ L A K E F L O W 編 ・ 5 分 流れ出したら、もう きゅーにストップできません！ 取り込みから変換、そして運用まで。Lakeflow が “エージェント型データエンジニアリング” で全 部めんどう見ます。 Databricks
12. 0 3 き ゅ ー に ス ト ッ プ で き ま せ ん ！ ・ こ れ ま で の デ ー タ パ イ プ ラ イ ン これまでのデータパイプラインは、こんなに複雑だった… Databricks
13. 0 3 き ゅ ー に ス ト ッ プ で き ま せ ん ！ ・ L A K E F L O W 編 データスタックを、まるっと簡素化 Databricks
14. 0 3 き ゅ ー に ス ト ッ プ で き ま せ ん ！ ・ 作 る の は 第 一 歩 、 難 所 は 運 用 パイプラインを作れるのは、わずか第一歩。 コーディングエージェントだけでは、運用インシデントは解決しません。 Databricks
15. 0 3 き ゅ ー に ス ト ッ プ で き ま せ ん ！ ・ DA I S 2 0 2 6 発 表 発表 ・ ANNOUNCING Genie ZeroOps データと AI の運用を、 オートパイロットに。 検知 → 評価 → 修復 → 検証 ── 運用ループを丸ごと見張る、バックグラウンド AI エージェン ト。 Databricks
16. 0 3 き ゅ ー に ス ト ッ プ で き ま せ ん ！ ・ オ ー ト パ イ ロ ッ ト の “ あ の 手 こ の 手 ” 運用ループの全ステップに、エージェントを。 検知 → 評価 → 修復 → 検証 ↻ ぐるぐる回り続ける Databricks
17. 🎬 デ モ 0 1 ・ L A K E F L O W D E S I G N E R GUI でポチポチ → そのままデプロイ → → Databricks
18. 04 S E C T I O N 0 4 ・ L A K E B A S E / L A K E H O U S E 編 ・ 5 分 幸せは、一元論じゃない 多元幸福論 OLTP も OLAP も検索も、ひとつの上で。多元的に幸せになろう。 Databricks
19. 0 4 多 元 幸 福 論 ・ L A K E B A S E / L A K E H O U S E 編 書いて、すぐ分析して、すぐ探す Databricks
20. 0 4 多 元 幸 福 論 ・ LTA P 世界初、LTAP 爆誕。OLTP も OLAP も“ひとつのデータ”で。 NEW ✨ Lake Transactional / Analytical Processing — トランザクション・分析・ストリーミングをレイク上の1コピーに統合。ETL・レプリ カ・パイプラインを設計から消し去る、AI時代の新しいデータ基盤。 1,200万 DB起動 / 日 基盤 Lakebase の実績 HTAP ✕ / Zero ETL ✕ エンジンに押し込む HTAP でも、パイプラインを隠す Zero ETL でもなく — ス トレージ層で統合するのが LTAP。Postgres と Iceberg / Delta をそのまま使え る。 Databricks
21. 0 4 多 元 幸 福 論 ・ LTA P の し く み 書いた瞬間、もう “1コピー” で分析できる ① 書き込み ・ OLTP ↓ ② 分析 ・ OLAP ↑ ↓ ↑ Databricks
22. 0 4 多 元 幸 福 論 ・ L A K E H O U S E / / R T レイクハウスから直接、ミリ秒で。 NEW データを動かさず、直接ミリ秒 レイクハウスの“素のデータ”に直接アクセス。大規模環境でもミリ 秒単位の超高速 OLAP。 新ネイティブエンジン “Reyden” まったく新しいリアルタイムウェアハウスエンジンを搭載。BI・監 視・カスタムアプリまで一気通貫。 🎀 じつは Reynold's Dream Engine の略なんです♪ 重複なし・統合ガバナンス データ重複・追加パイプライン・独自フォーマットなし。Unity Catalog で一元管理。 Databricks
23. 0 4 多 元 幸 福 論 ・ R E Y D E N ベ ン チ マ ー ク ライバルが“渋滞”する中、Reyden だけ涼しい顔。 NEW 他社：数百〜2,000 QPS で頭打ち＆クラッシュ 少し負荷をかけただけでレイテンシが急上昇。Vendor 2 はそのまま落ちちゃう… Reyden：12,000 QPS 超でもミリ秒のまま スループットを 20 倍以上に上げても、P90 はずっと 約 1ms。線がほぼ寝てる♪ぐーぐー(ZZz... Databricks
24. 0 4 多 元 幸 福 論 ・ 分 断 → 統 一 別スタックの“渋滞”を、ひとつに。 → 厳しいパフォーマンス要件のユースケースも対応 Databricks
25. 🎬 デ モ 0 2 ・ L A K E H O U S E / / R T レイクハウスから直接、ミリ秒で分析 → → Databricks
26. 05 S E C T I O N 0 5 ・ A I AG E N T 編 ・ 5 分 甘い自我に、心まかせて I Amai Me Mind エージェントに「あの手この手」を任せる時代。二形態を、ガバナンス・メモリ・サンドボックス で支える。 Databricks
27. 0 5 I A M A I M E M I N D ・ A I AG E N T の 二 形 態 エージェントには、二つの顔がある Databricks
28. 0 5 I A M A I M E M I N D ・ G E N I E フ ァ ミ リ ー Genie が、データスマートな “AI Coworker” へ進化 正しい答えを返す AI → 信頼できる文脈で、仕事を前に進める AI へ ビジネスユーザー 開発者 開発チーム Genie Genie Ontology Genie の回答やアクションの根拠となる、ビジネス用語・エンティティ・KPI の自動推論ナレッジグラフ。 Databricks
29. 0 5 I A M A I M E M I N D ・ G E N I E O N T O L OG Y 答えの“根拠”を、ナレッジグラフが裏で支える NEW データや知識を自動で学習し、エージェントの推論精度と速度を上げる コンテキストレイヤー。 自動コンテキストレイヤー ダッシュボードやパイプラインなど社内のデータ資産・知識ソース から文脈を自動抽出し、業務理解の土台を作る。 Onto Rank 抽出した知識の中から、より信頼できる情報を見極め、権威性の高 い文脈を優先して活用するアルゴリズム。 精度向上と処理時間短縮 企業文脈を蓄積・再利用。毎回ゼロから探し直さず、より正確で効 率的に回答する。 Databricks
30. 0 5 I A M A I M E M I N D ・ G E N I E O N T O L OG Y の 動 作 どうやって“文脈”を集めて、使ってるの？ 既存ソースから Ontology Snippets を抽出し て保存する “OntoRank” を使って権威性を判定する クエリ実行時に検索し、権限を適用する 関連コンテキストをエージェントループに 注入する Databricks
31. 0 5 I A M A I M E M I N D ・ DA I S 2 0 2 6 主 要 発 表 それを支える、“あの手この手” Databricks
32. 0 5 I A M A I M E M I N D ・ U N I T Y A I G AT E W AY Unity AI Gateway BETA ガバナンス・可視性・支出管理・ガードレールで、AI環境ぜんぶをまるっと管理＆監査 🎀 統一ガバナンス Data + AI を一元管理 Unity Catalog Access・Semantics・ Observability Unity AI Gateway Models・Security・ Cost最適化 ✓ マルチAIのためのオープンガバナンス Databricks も外部プラットフォームも、Frontier / OSS モデル・エージェント・MCP・他社製フレーム ワークを一貫して管理。 ✓ アクセスと支出を、まるっと管理 ポリシー・予算・レート制限・ID認識型制御を一元 化。モデルもエージェントも MCP も。 ✓ エンドツーエンドの AI 可観測性 プロンプト・トレース・ツール呼び出し・ペイロー ド・ポリシー決定まで、ぜんぶキャプチャ。 Databricks
33. 0 5 I A M A I M E M I N D ・ コ ー デ ィ ン グ エ ー ジ ェ ン ト エージェントハーネスの、戦国時代 ⚔️こわ ～い OpenAI・Anthropic・Google から Cursor・LangChain まで——それぞれ個性のある沢山のハーネスが、世の中にいっぱいあるよ Databricks
34. 0 5 I A M A I M E M I N D ・ O M N I G E N T ハーネスの戦国時代を、ひとつに統べる 100% OSS 複数のハーネスを自在に切り替え スキルや設定ファイルを移さず、シームレスに変更。複数をスーパ ーバイザーで連携も。 単一のコスト管理やガードレール アクセス制御・ガードレール・コスト管理を上位レイヤーで適用 し、ハーネスを横断。 共有・コラボレーション セッションをチームに共有。成果物にコメント、複数デバイスから も作業できる。 Databricks
35. 0 5 I A M A I M E M I N D ・ O M N I G E N T その正体は、すべてを束ねる メタ・ハーネス Databricks
36. 🎬 デ モ 0 3 ・ O M N I G E N T ハーネスを切り替えても、ガバナンスは一つ → → Databricks
37. 0 6 ハ ッ ピ ー 世 界 ！ ・ ク ロ ー ジ ン グ “あの手この手”、振り返り Databricks
38. 0 6 ハ ッ ピ ー 世 界 ！ さあ、今を ときめく番だ。 みなさんも、自分だけのときめきポイントを 見つけて、 あの手この手でDatabricksにハッ ピー世界を作っていきましょう！ QRコ ード （リンクを差し 込んでね） スライド & リンク集はこちら Databricks Thank you!
39. T H A N K YO U F O R W AT C H I N G おしまい ときめきにお付き合いいただき、ありがとうご ざいました。 この後のセッションも楽しんでい きましょう！ Databricks