はじめてのDatabricksもくもく会

こちらのもくもく会の説明資料です。

はじめてのDatabricksもくもく会 2026夏 - connpass https://jedai.connpass.com/event/396166/

Transcript

1. ©2026 Databricks Inc. — All rights reserved 1 はじめての Databricks もくもく会 無料版で始める & 新機能キャッチアップ 2026/6/24 Taka Yayoi
2. ご参加いただきありがとうございます。 まもなくセッションを開始します。 #jedai #databricksでつぶやこう！ 2
3. 自己紹介 弥生 隆明 (やよい たかあき) Databricks シニア スペシャリスト ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにおいて、 プレセールス、POCに従事 ▪ 専門領域は生成AI、データエンジニアリング、 Webアプリケーション ▪ 青山学院大学 特別研究員 ▪ MLflowで実践するLLMOps / Apache Spark徹底入門 著者 ▪ Qiitaで執筆中 3
4. はじめる前に • もくもく会なので基本的には皆様に「もくもく」とDatabricksに触って いただきます。途中退出、途中入場は自由です。 • 途中の質問はZoomのチャットにお願いします。 • 会の様子を録画させていただきます。後ほど参照できるようにYoutubeに アップロードする予定です。 • もくもく会の後の質問はDiscordでお願いします。 ◦ https://discord.gg/WHk2Nssq 4
5. ©2026 Databricks Inc. — All rights reserved Databricksのご紹介
6. あらゆる業界がAIの恩恵を受ける 小売・消費財 製造・自動車 メディア・ エンタメ ヘルスケア & ライフ サイエンス 金融サービス エネルギー・公益事 業 店舗レベルの発注最適化 エージェント型コマース検索 ビジュアルコンセプト設計 大規模な超パーソナライズ ドオファー スマート在庫最適化 顧客エンゲージメント向け会 話AI ROAS改善のためのコンテ キスト広告ターゲティング ローカライズコンテンツの自 動生成 自律型ネットワーク運用 不正防止のための異常検 知 薬物標的特定のための単 細胞モデル プロバイダーエンゲージメン ト最適化のためのネクストベ ストアクション 研究加速のための臨床デー タ抽象化 会員会話の分析とインサイ ト 償還率向上のための請求 拒否申請 停電予測と防止 障害低減のための資産信 頼性向上 山火事リスク防止 超パーソナライズされた省 エネ提案 規制コンプライアンス支援 AI エージェント 画像による不良品検知 稼働率向上のためのプロア クティブメンテナンス 処方型フィールドサポート 省エネのためのプロセス最 適化 リスク低減のためのサプラ イチェーンシミュレーター（例 ：関税） アルファ創出のためのマー ケットインテリジェンス クロスセル・アップセルのた めのパーソナライズオファー 金融犯罪の検知と対処 保険料最適化のためのブ ローカー意思決定支援 顧客向けサポートエージェン ト
7. しかし多くの 企業 は 苦戦し続けています
8. データサイエン ス Orchestration & ETL Machine Learning データサイエン ス Data Warehouse Transactional Database Generative AI SaaS Apps Streaming Business Intelligence Orchestration & ETL Machine Learning データサイエン ス Data Warehouse Transactional Database Generative AI SaaS Apps Streaming Business Intelligence Orchestration & ETL Machine Learning データサイエン ス Data Warehouse Transactional Database Generative AI SaaS Apps Streaming Business Intelligence Orchestration & ETL Machine Learning データサイエン ス Data Warehouse Transactional Database Generative AI SaaS Apps Streaming Business Intelligence Streaming SaaS Apps 生成AI データとAIの資産は断片化している トランザクショナ ルDB アプリ データ ウェアハウス ビジネスインテ リジェンス ストリーミング 機械学習 データ サイエンス SaaS オーケストレー ション & ETL
9. SaaS 生成AI ストリーミング アプリ 次にすべてのガバナンスを統一する 統合ガバナンス Unity Catalog オーケストレー ション & ETL 機械学習 データ サイエンス データ ウェアハウス トランザクショナ ルDB ビジネスインテ リジェンス オープンフォーマット Postgres
10. 統合ガバナンス アクセス制御 テーブル 従来型カタログ 統合ガバナンス Unity Catalog すべての資産に 対する 統合ガバナンス モデル エージェント PDF MCP ファイル その他多数… 発見 すべてのユース ケースに対する統 合機能 ビジネスセマンティクス リネージ セキュアでオープンなデー タ共有 AIガバナンス コスト制御 品質モニタリング 他のデータ プラットとの フェデレーション 50… オープンフォーマット Postgres
11. ガバナンスされたデータ基盤 統合ガバナンス Unity Catalog オープンフォーマット Postgres
12. サーバーレスコンピュートを適用する 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakehouse Data warehousing Lakehouse データウェアハウス
13. サーバーレスコンピュートを適用する 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakebase Serverless Postgres Lakebase サーバレスPostgres Lakehouse データウェアハウス
14. Lakebase サーバレスPostgres Lakehouse データウェアハウス Lakebaseが業務システムの基盤設計を再定義 最低水準のTCO ユーザーとAIエージェントに 優れた体験 ロックインなし Base (コンピュート/実行) . . . . . . Lake (ストレージ) 統合ガバナンス Unity Catalog オープンフォーマット Postgres サーバレス オートスケール ブランチ スナップショット . . .
15. サーバーレスコンピュートを適用する 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakehouse データウェアハウス Lakebase サーバレスPostgres Lakeflow 取り込み、ETL、ストリーミング
16. Lakehouse データウェアハウス これがコアデータプラットフォーム 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakebase サーバレスPostgres Lakeflow 取り込み、ETL、ストリーミング
17. SaaS そして、企業のコンテキストを AIに提供 オーケストレー ション & ETL 機械学習 データ サイエンス データ ウェアハウス トランザクショナ ルDB 生成AI ストリーミング ビジネスインテ リジェンス アプリ 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakehouse データウェアハウス Lakebase サーバレスPostgres Lakeflow 取り込み、ETL、ストリーミング
18. Genieはあなたのビジネスをよく知る AI ビジネスを知る AI Genie 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakehouse データウェアハウス Lakebase サーバレスPostgres Lakeflow 取り込み、ETL、ストリーミング
19. Genie Genieはすべての人に新たな AI機能をもたらす ビジネスを知る AI Genie 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakehouse データウェアハウス Lakebase サーバレスPostgres Lakeflow 取り込み、ETL、ストリーミング Genie Genie Code
20. Genie Genieはすべての人に新たな AI機能をもたらす Genie Genie Code ビジネスを知る AI Genie 統合ガバナンス Unity Catalog オープンフォーマット Postgres Lakehouse データウェアハウス Lakebase サーバレスPostgres Lakeflow 取り込み、ETL、ストリーミング 技術ユーザー データエンジニア データサイエンティスト アナリスト ビジネスユーザー
21. ©2026 Databricks Inc. — All rights reserved Databricks Free Edition
22. Databricks Free Edition • Databricksは基本的にコンピュートリソースの従量課金であり有料でしか利用できま せんでした。 • Community Editionという無料版は存在していましたが、機能、計算リソースの制限 が厳しく、学習に使うにも困難さを伴っていました。 • 今回リリースされたFree Editionはほとんど全ての Databricksの機能を利用 できつ つも無料で提供 されているサービスです。 • なお、以下の点にご注意ください。詳細はDatabricks Free Editionの制限事項をご 覧ください。 ◦ 営利目的では利用できません。学習目的でご利用ください。 ◦ 一部利用できない機能があります。 ◦ 無料と言っても無限にリソースを利用できるわけではありません。割り当てられたクォータを使い切る と、リセットされるまでは計算リソースを使用することはできません。
23. Databricks Free Editionへのサインアップ • https://www.databricks.com/learn/free-edition にアクセスします。 • Sign Upをクリックします。
24. Databricks Free Editionへのサインアップ • Googleアカウント、Microsoftアカウント、あるいはメールアドレスを指定します。
25. Databricks Free Editionへのサインアップ • 企業名、組織名を入力します。
26. Databricks Free Editionへのサインアップ • リージョンを選択します。
27. Databricks Free Editionへのサインアップ • ワークスペースが作成されます。
28. ©2026 Databricks Inc. — All rights reserved もくもく会の進め方
29. 本日の教材 • 入口記事(Qiita): はじめてのDatabricks もくもく会 完全ガイド • ハンズオン教材(GitHub): taka-yayoi/jedai-first-databricks • すべてDatabricks Free Edition(無料・クレジットカード不要)で動きます • データはsamplesカタログを使用。CSVのアップロードは不要です
30. 3つのレベルから入口を選ぶ • 運営が各レベルの実例をデモ → 各自もくもく → 質問はいつでもどうぞ ◦ レベル1: はじめてのDatabricks — 初めて触る方。完走できれば大成功 ◦ レベル2: AI支援で分析 — 少し触ったことがある方。Genie Code / Genieを体験 ◦ レベル3: 新機能キャッチアップ — 経験者向け。Lakeflow Designer / Genie Code / Lakebase • 途中参加・追いつけなくても大丈夫。記事とリポジトリで自分のペースで進められま す
31. レベル1: はじめてのDatabricks • ゴール: ノートブックで実行→クエリ→可視化→テーブル保存の最初の成功体験 • 題材: samples.tpch.orders(受注データ) • 流れ: SQLでクエリ → ワンクリック可視化 → workspace.defaultに保存 • Jupyterと違い、可視化はコードを書かずにボタン操作でできます • 教材: level1/01_first_steps.py をインポートし、コンピュートでServerlessを選んで上 から実行
32. レベル2: AI支援で分析する • ゴール: コードを全部自分で書かずに分析を進める体験 • 題材: samples.nyctaxi.trips(ニューヨークのタクシー乗車データ) ◦ ① Genie Codeに日本語でやりたいことを伝えてコード生成、SQLとPySparkを 行き来 ◦ ② Genie Spaceを作り、SQLを一切書かずに日本語の質問だけで分析 • 教材: level2/02_genie_assistant.py、level2/genie_space_setup.md ※2026年3月、従来のアシスタントはエージェントモードのGenie Codeに置き換わり ました
33. レベル3: 新機能キャッチアップ • Lakeflow Designer(メイン): ドラッグ&ドロップ+自然言語のノーコードETL → 03a • Genie Code(エージェント): 複数ステップのデータ作業を自分で計画・実行 → 03b • Lakebase: レイクハウス統合のサーバーレスPostgres。ゼロスケールを体感 → 03c • いずれもFree Editionで手を動かせます 発展: 宣言型パイプライン(SDP)のコード版、LakebaseテーブルのUnity Catalog登 録
34. GitHubからのノートブックの取り込み • ワークスペースでGitフォルダーを作成します。サイドバーで 「ワークスペース」 を選択 し、Git リポジトリのクローンを作成するフォルダーを参照します。 • 作成 > Git フォルダー をクリックします。 • 「Git フォルダーの作成 」ダイアログで、以下の情報を入力して、Gitフォルダを作成をク リックします。 ◦ GitリポジトリのURL: https://github.com/taka-yayoi/jedai-first-databricks
35. GitHubからのノートブックの取り込み • これで今日使用するノートブックがクローンされました。
36. Free Editionで気をつけること • 計算資源はサーバーレスのみ。R / Scalaは使えません • 1日あたりのクォータ制限あり。超えるとその日のコンピュートは停止しますが、デー タは消えず翌日リセットされます • Lakebaseは公式の制限ページでは対象外と記載ですが、実機のFree Editionでは 作成できます。不安定な場合は運営のデモで雰囲気をつかんでください • Genie CodeのAgentモードでは確認メッセージが表示されます。当日は安全な samplesデータのみを扱うので問題ありません
37. ©2026 Databricks Inc. — All rights reserved