Databricksワークショップ - 生成AIとDWH

Databricks Data Day Databricksを通じた課題解決 2024/11 xxxxxxxx 様

アジェンダ • スケジュール • 座学 ◦ Databricksとは ◦ Databricksにおける生成AIとDWHの活用 •
ハンズオン ◦ AI Playground ◦ Databricks SQL + Databricksアシスタント ◦ Databricks AI/BI 2

©2024 Databricks Inc. — All rights reserved スケジュール # 時間枠(午前)
時間枠(午後) 時間枠アジェンダ 1 9:00-9:10 14:00-14:20 20分開会のご挨拶・イントロダクション 2 9:20-9:50 14:20-14:50 30分座学(Databricksとは、機能概要) 3 9:50-10:00 14:50-15:00 10分休憩 4 10:00-10:20 15:00-15:20 20分ハンズオン - AI Playground 5 10:20-11:10 15:20-16:10 50分ハンズオン - Databricks SQL(Databricksアシスタント) 6 11:10-12:00 16:10-17:00 50分ハンズオン - Databricks AI/BI 3 各ハンズオン枠の冒頭で使用する機能の詳細説明を行います

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明
(やよいたかあき) Databricks ソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサル、日立製作所にてデータ分析・Webサービス構築などに従事。インド赴任経験あり。 ▪ Databricks Certiﬁed (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 4 @taka_aki

©2024 Databricks Inc. — All rights reserved 10,000+ のグローバル顧客 $1.5B+
の収益 $4B の投資レイクハウスの発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems Data Science and Machine Learning Platforms データ & AIカンパニーのクリエイター 5

©2024 Databricks Inc. — All rights reserved データ + AI
カンパニーがすべての業界で勝者に 6

©2024 Databricks Inc. — All rights reserved 多くの企業はこのビジョンの実現に苦戦していますデータレイク
オーケストレーション & ETL データウェアハウスガバナンス機械学習ストリーミング BI データサイエンス生成 AI 7

©2024 Databricks Inc. — All rights reserved 多くの企業はこのビジョンの実現に苦戦していますデータレイク
オーケストレーション & ETL データウェアハウスガバナンス機械学習ストリーミング BI データサイエンス生成 AI サイロ化されたデータ、AI ガバナンス AIがもたらすデータプライバシー& コントロールの課題高度に技術的なスタッフへの依存 8

©2024 Databricks Inc. — All rights reserved データレイクハウスすべてのデータに対するオープンで統合された基盤統合セキュリティ、ガバナンス、カタログ
信頼性と共有のための統合データストレージオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) データサイエンス & AI ETL & リアルタイム分析オーケストレーションデータウェアハウス 9

©2024 Databricks Inc. — All rights reserved すべてのデータに対するオープンで統合された基盤データレイクハウス
データとAIを容易にスケール、活用生成AI 皆様の組織全体のデータ + AIを民主化データインテリジェンスプラットフォーム 10

©2024 Databricks Inc. — All rights reserved すべての生データ (ログ、テキスト、音声、動画、画像 )
ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Mosaic AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog 信頼性と共有のための統合データストレージ Delta Lake Databricksデータインテリジェンスプラットフォームオープンデータレイク 11

©2024 Databricks Inc. — All rights reserved ETL & リアルタイム分析
オーケストレーションデータウェアハウスデータサイエンス & AI Mosaic AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 ) 12

オーケストレーションデータウェアハウスデータサイエンス & AI Mosaic AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化 Databricks SQL テキストからSQL Workﬂows 過去の処理に基づくジョブコストの最適化 Delta Live Tables データ品質の自動化 Mosaic AI カスタムLLMの作成チューニング、提供 13

オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化 Databricks SQL テキストからSQL Workﬂows 過去の処理に基づくジョブコストの最適化 Delta Live Tables データ品質の自動化 Mosaic AI カスタムLLMの作成チューニング、提供ハンズオンでカバーする範囲 14

©2024 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォームあなたのデータのセマンティクスを理解するためにデータインテリジェンスエンジ
オープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 Workﬂo 過去の処理にジョブコストの Delta Live Tables データ品質の自動化 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウト Mosaic AI カスタムLLMの作成チューニング、提供オペレーション財務マーケティングカスタマーサービスどうすれば組織の皆にデータとAIを展開できるのか？ “Genie” 自然言語で誰でもデータや AIを活用 15

©2024 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォームあなたのデータのセマンティクスを理解するためにデータインテリジェンスエンジ
オープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 Workﬂo 過去の処理にジョブコストの Delta Live Tables データ品質の自動化 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウト Mosaic AI カスタムLLMの作成チューニング、提供オペレーション財務マーケティングカスタマーサービス “Genie” 自然言語で誰でもデータや AIを活用ハンズオンでカバーする範囲 16

©2024 Databricks Inc. — All rights reserved Databricksにおける生成AIとDWHの活用 Databricksの生成AIとDWHを活用することで、SQLを(ほとんど)記述することなしにデータウェアハウスに対する操作が可能となります。
テーブル AI/BIダッシュボードアナリストビジネスユーザー AI/BI Genie SQLエディタ Unity Catalog AI Playground Databricks アシスタント日本語を用いた生成AIとのチャット日本語を用いたテーブルへの問い合わせ SQL SQL SQL SQLを用いたテーブルへの問い合わせ日本語、 SQLを用いたダッシュボードの構築日本語を解する AIアシスタント 18 Databricks SQL

©2024 Databricks Inc. — All rights reserved Delta Lake UniForm
データサイエンス AI ETL リアルタイム分析オーケストレーションデータウェアハウスオープンデータレイク全ての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog あなたのデータのセマンティクスを理解するAIを活用したデータインテリジェンスエンジン DatabricksIQ Databricks SQL データインテリジェンスプラットフォームにおけるインテリジェントなデータウェアハウス 20

©2024 Databricks Inc. — All rights reserved SQLエディタ AI/BIダッシュボード AI/BI
Genie 自然言語によるインテリジェントな体験データサイエンス / エンジニアアナリストビジネスユーザー 21

©2024 Databricks Inc. — All rights reserved Unity Catalog アクセス制御
リネージデータ共有モニタリング検索監査テーブルファイルダッシュボード/ ノートブック他のデータシステムユーザーアプリモデルオープンAPI においては、統合されたガバナンス、セキュリティ、コラボレーションが基盤となります Databricks Unity Catalog データインテリジェンスプラットフォーム 23

©2024 Databricks Inc. — All rights reserved 24 3レベルの名前空間 SELECT
* FROM main.paul.red_wine; -- <catalog>.<schema>.<table> SELECT * FROM hive_metastore.default.customers; Unity Catalog カタログ 2 カタログ 1 スキーマ 2 スキーマ 1 External Table ビュー外部テーブルマネージドテーブル hive_metastore (レガシー) default (データベース) customers (テーブル) Unity Catalogにおいてはカタログ→スキーマ→テーブルという構造でテーブルが管理されます。スキーマはデータベースと同じです。

©2024 Databricks Inc. — All rights reserved ノートブック、 SQLエディタ、ファイルエディタでネイティブに
動作する文脈を解する AIアシスタントコードやクエリーの生成、オートコンプリート問題の説明と修正企業の知識グラフを用いてお使いのデータ資産に適した文脈考慮の結果を取得 26 Databricksアシスタントアシスタントはあくまでアシストしてくれる存在です。結果はご自身で確認しましょう。

©2024 Databricks Inc. — All rights reserved AIによるデータ分析の民主化 AI Playground
27

©2024 Databricks Inc. — All rights reserved Mosaic AI Playground
• Databricks内外でホストされている基盤モデルと容易にチャット • 複数のモデルの出力、スピード、その他のパフォーマンス特性を比較 • プロンプトエンジニアリングとテキスト生成パラメータのチューニングに対するクイックな実験様々な基盤モデルとのチャットを比較 28

©2024 Databricks Inc. — All rights reserved AIによるデータ分析の民主化 Databricks AI/BI
29

©2024 Databricks Inc. — All rights reserved Databricks AI/BI 現実世界のデータに対するイ
ンテリジェントな分析ダッシュボード Genie Unity Catalogによる管理と保護 Generally Available Public Preview 30

©2024 Databricks Inc. — All rights reserved AI/BI Genieのご紹介自然言語による分析
直接的なガイド /コントロール時間と共に学習 31

©2024 Databricks Inc. — All rights reserved AI/BI Genieの基礎データチームがトピック固有
の Genieスペースをセットアップビジネスユーザーは全く新しいデータの質問に対する回答を取得できますデータインテリジェンスプラットフォームを活用することで、 Genieは時間と共に学習します 32

©2024 Databricks Inc. — All rights reserved AI/BI Genieのセットアップトピックとデータへの
フォーカス指示の追加精度の検証 • それぞれのGenieスペースはトピック固有であるべきです • 適切に文書化され、クリーンなUnity Catalog のテーブルとメタデータを取り込みます • 作成者はGenieをガイド、教育することができます • 一般的な指示とサンプルの SQL文 • 作成者や信頼できるビジネスユーザーは期待される回答をテストすることができます • 指示に対して必要な改善を行います 33

©2024 Databricks Inc. — All rights reserved イベント DATA+AI WORLD
TOUR TOKYO のご案内 34

©2024 Databricks Inc. — All rights reserved ハンズオンの準備(参加者向け) 以下の準備をお願いします。 1.
御社Databricks環境にログインできることを確認ください。 2. ログイン後、GUIが英語の場合、日本語に変更ください。 38

©2024 Databricks Inc. — All rights reserved 画面のオリエンテーション 39 サイドメニュー
アシスタント設定ホーム画面 (この画面) へのリンク

©2024 Databricks Inc. — All rights reserved ワークスペースメニュー 41 ワークスペース上のプログラム資産
(ノートブック、クエリー、ダッシュボードなど)はフォルダで管理されます。ご自身専用のホームフォルダがありますので、その中で資産を整理・管理してください。

©2024 Databricks Inc. — All rights reserved ハンズオン - AI
Playground 42

©2024 Databricks Inc. — All rights reserved AI Playgroundへのアクセス 4
3

©2024 Databricks Inc. — All rights reserved 画面構成使用するモデルサンプル
プロンプト (英語) プロンプトボックス 4 4 今回は使用しません

©2024 Databricks Inc. — All rights reserved チャット AIジャッジによる出力の検証結果チャット履歴のクリア
設定チャットするモデルを追加 4 5

©2024 Databricks Inc. — All rights reserved 複数のモデルとのチャットプロンプト入力を同期 4
6

©2024 Databricks Inc. — All rights reserved ハンズオン - AI
Playground 提供されている生成AIに問い合わせを行いましょう。 1. モデル「Meta Llama 3.1 70B Instruct」を選択します。 2. 「カレーの作り方を教えてください」という質問をしてみます。 ◦ その他のプロンプトの例 i. PythonでATMのプログラムを書いてください(Write an atm program using python) ii. 日本の国歌を英語に翻訳してください(Translate Japanese anthem to English) 3. ご自身で思い浮かぶ質問をしてみましょう。他のモデルの出力を比較したり、システムプロンプト(関西弁で回答します、など)を追加してみましょう。 47

©2024 Databricks Inc. — All rights reserved 関連マニュアル • AI
プレイグラウンドを使用して LLM とチャットし、GenAI アプリのプロトタイプを作成する - Azure Databricks | Microsoft Learn 48

©2024 Databricks Inc. — All rights reserved ハンズオン - Databricks
SQL 49

©2024 Databricks Inc. — All rights reserved SQLとは SQLが何かをお話しする前にデータやデータベースの話をさせてください •
データとは • データベースとはデータとは1人または複数の人や物や事象に関する定性的または定量的な値の集まりである。データ - Wikipedia コンピューティングにおいて、データベースは、電子的に保存され、アクセスできる組織化されたデータの集合である。データベース - Wikipedia 氏名：やまだたろう年齢：25 性別：男氏名：いしかわはな年齢：23 性別：女・・・ 51

©2024 Databricks Inc. — All rights reserved SQLとは大量データを管理するデータベースに問い合わせるための言語がSQLです •
SQL(Structured Query Language)とは SQLは、関係データベース管理システム (RDBMS) において、データの操作や定義を行うためのデータベース言語（問い合わせ言語）、ドメイン固有言語である。プログラミングにおいてデータベースへのアクセスのために、他のプログラミング言語と併用される。 SQL - Wikipedia 顧客データベースから特定の顧客のデータを取り出したい口座データベースの残高を更新したいユーザーが退会したのでユーザーデータを削除したい SQLを使います SQLを使います SQLを使います 52

©2024 Databricks Inc. — All rights reserved SQLとはデータベースにあるデータをどの様に処理するのかをSQLで記述します行(row/record)
列(column) • 列「Prefecture」のデータをすべてください。 • 列「pref_no」の昇順で並び替えたデータをください。 • 列「Prefecture」が「Hokkaido」であるすべての行をください。 • 列「date_timestamp」から年月を取り出し、「Prefecture」と年月ごとの「Cases」の合計をください。テーブル「 covid_cases」 53

©2024 Databricks Inc. — All rights reserved SQLとは『列「Prefecture」のデータをすべてください』のSQLです列(column)
テーブル「 covid_cases」 SELECT Prefecture FROM covid_cases; 54

©2024 Databricks Inc. — All rights reserved SQLエディタ AI/BIダッシュボード AI/BI
Genie しかし、Databricksなら日本語によるデータ分析が可能です！データサイエンス / エンジニアアナリストビジネスユーザー 55 Databricksアシスタント

SQL データの取り込み 56

©2024 Databricks Inc. — All rights reserved ハンズオン - データの取り込み
CSVファイルを取り込んでテーブルを作成しましょう。 • SQLエディタにアクセスして、以下のSQLを実行します。あなたのメールアドレスの名前のデータベースが作成されます。 • SQLエディタの下部に、カタログ.データベースが表示されますのでメモします。 DECLARE database_name = "202411_handson_catalog." || regexp_replace(current_user(), '[\.@]', '_'); CREATE DATABASE IF NOT EXISTS IDENTIFIER(database_name); SELECT database_name; 57

CSVファイルを取り込んでテーブルを作成しましょう。 • サイドメニューでデータ取り込みをクリックします。テーブルを作成または変更をクリックします。 58

CSVファイルを取り込んでテーブルを作成しましょう。 • 中央のボックスにCSVファイルをドラッグ&ドロップします。この際、右上でSQLウェアハウスが選択されていることを確認してください。 59

©2024 Databricks Inc. — All rights reserved CSVファイルを取り込んでテーブルを作成しましょう。 • データのプレビューが表示されます。ここでは、テーブルを保存するカタログと
スキーマ(データベース)を選択する必要があります。ハンズオン - データの取り込み 60

©2024 Databricks Inc. — All rights reserved CSVファイルを取り込んでテーブルを作成しましょう。 • 事前に準備されているカタログ202411_handson_catalogと前のステップで作成したス
キーマ(データベース)を選択します。テーブルを作成をクリックします。ハンズオン - データの取り込み 61

©2024 Databricks Inc. — All rights reserved 関連マニュアル • ファイルのアップロードを使用してテーブルを作成または変更する
- Azure Databricks | Microsoft Learn • Azure Databricks にファイルをアップロードする - Azure Databricks | Microsoft Learn • Unity Catalog ボリュームにファイルをアップロードする - Azure Databricks | Microsoft Learn • カタログエクスプローラーとは - Azure Databricks | Microsoft Learn 63

SQL アシスタント + SQLエディタ 64

©2024 Databricks Inc. — All rights reserved ハンズオン - アシスタント+SQLエディタ
アシスタントの助けを借りながらテーブルへの問い合わせを行ってみましょう。 1. SQLエディターにアクセスしてアシスタントを開きます。 2. 「samples.nyctaxi.tripsをpickup_zipでグルーピングした件数」と入力して送信します。 3. 表示されたクエリーを確認して「承認」をクリックします。 4. SQLウェアハウスが選択されていることを確認の上、クエリーを実行します。 5. 色々なプロンプトを試してみましょう。 76

©2024 Databricks Inc. — All rights reserved 関連マニュアル • SQL
エディターでのクエリの作成とデータの探索 - Azure Databricks - Databricks SQL | Microsoft Learn • Databricks アシスタントを使用する - Azure Databricks | Microsoft Learn • SQL ウェアハウスに接続する - Azure Databricks | Microsoft Learn • Databricks SQL での視覚化 - Azure Databricks - Databricks SQL | Microsoft Learn • ダッシュボードを作成する - Azure Databricks | Microsoft Learn • Unity Catalog でデータガバナンスを使用する - Azure Databricks | Microsoft Learn 77

AI/BI Genie 78

©2024 Databricks Inc. — All rights reserved 一般的な指示 • データチームが直接的なガイド
を提供できるように支援 • ユニークな専門用語、ロジック、コンセプト、KPIなどを定義 • 時間経過と共に指示を見直しましょうあなたは日本における [データの名称]に関する日本人のエキスパートです。与えられた質問に対して英語を使わずに日本語で回答します。お勧めの指示 82

AI/BI ダッシュボード 90

AI/BI 準備されているデータを対象に以下の分析を行いましょう。 1. AI/BI Genieによるデータ分析 ◦ Genieスペースを作成する ◦ 必要な設定を行う(指示、サンプル質問など) ◦ 繰り返しGenieに問い合わせを行いデータへの理解を深める 2. AI/BI Dashboardによるデータの可視化 ◦ ダッシュボードを作成する ◦ 日本語で可視化の指示を行う ◦ 必要に応じて手動で調整する ◦ ダッシュボードから得られるパターンについて洞察を得る ◦ 必要に応じてGenieに戻り問い合わせを行う 109

©2024 Databricks Inc. — All rights reserved 関連マニュアル • Databricks
AI/BI とは - Azure Databricks | Microsoft Learn • ダッシュボード - Azure Databricks | Microsoft Learn • AI/BI Genie スペースを操作する - Azure Databricks | Microsoft Learn • 効果的な Genie スペースをキュレーションする - Azure Databricks | Microsoft Learn 110

Databricksワークショップ - 生成AIとDWH

Databricksワークショップ - 生成AIとDWH

More Decks by Takaaki Yayoi

Other Decks in Technology

Featured

Transcript