Databricks勉強会：Databricksのベストプラクティス

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明
(やよいたかあき) Databricksソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

©2024 Databricks Inc. — All rights reserved 勉強会アジェンダ # アジェンダ
時間枠説明 1 Databricksのベストプラクティス 2時間 • 座学＋ハンズオン • Databricksワークスペースの使い方のウォークスルー • ノートブックやクラスターのベストプラクティス 2 Databricksにおけるプログラミング 2時間 • 座学＋ハンズオン • SQL基礎 • PySpark基礎 3 Databricksの高度な使い方 (その1) 2時間 • Unity Catalog詳細 • Databricksワークフロー(ジョブ)詳細 • Databricks Asset Bundlesによるインフラ管理 4 Databricksの高度な使い方 (その2) 2時間 • LLM関連機能のウォークスルー • サードパーティツールとの連携

アジェンダ • Databricksの使い方 • Databricksのベストプラクティス ◦ ユーザー設定 ◦ 検索機能 ◦
ノートブックの活用 ◦ コラボレーション ◦ Databricksアシスタントの活用

©2024 Databricks Inc. — All rights reserved Databricksワークスペースユーザーアイコンユーザー設定
サイドメニュー

©2024 Databricks Inc. — All rights reserved Databricksクラスター Best Practice
Databricksにおける一番無駄なコストは「使っていないクラスターを起動しておく」ことです。自動停止の設定を活用しましょう。

©2024 Databricks Inc. — All rights reserved ノートブックをクラスターにアタッチ Best Practice
プログラムを実行する際にのみクラスターが必要となります。プログラムの修正を行う際はクラスターは不要です。

©2024 Databricks Inc. — All rights reserved ユーザー設定便利なオートコンプリート
新しいホームページ Best Practice 結構な頻度で実験的な機能は追加されていきます。定期的にチェックしてみてください。

©2024 Databricks Inc. — All rights reserved ノートブックお気に入りセル番号:
セルタイトル言語削除アシスタントフォーカスモードセルメニューセルの並び替えセルの折り畳みセルの実行実行メニュー

©2024 Databricks Inc. — All rights reserved お気に入り後からクイックにアクセスできるようになります Best
Practice お気に入りはノートブック以外のフォルダ、データベース、テーブル、モデルなどでも設定できます。

©2024 Databricks Inc. — All rights reserved フォーカスモード Best Practice
特定のセルにフォーカスできるので、複雑なロジックに集中したい場合には活用しましょう特定のセルとのその出力のみを表示します

©2024 Databricks Inc. — All rights reserved マークダウン Best Practice
セルの先頭に%mdを記述、あるいは言語セレクターでマークダウンを記述できます。他の方がロジックを理解できる様に説明文を記載します

©2024 Databricks Inc. — All rights reserved セルタイトル Best Practice
セルタイトルの隣のアシスタントボタンでタイトルを自動生成できます。

サイドメニューのワークスペースにアクセスし、画面右上の3点リーダーをクリックし、インポートを選択します。 49 ノートブックのインポート

URLを選択し、URLのボックスに以下のURLを貼り付けます。 50 ノートブックのインポート https://sajpstorage.blob.core.windows.net/yayoi/20240527/COVID-19%E6%84%9F%E6%9F%93%E8%80% 85%E6%95%B0%E5%88%86%E6%9E%90.html

ノートブック、SQLエディタ、ファイルエディタにネイティブで組み込まれた、あなたのデータの文脈を理解するAIアシスタントコードやクエリーの生成、オートコンプリート問題の説明や修正 Unity Catalogと連携することで、あなたのデータ資産の文脈に適した結果を提示 52
Databricksアシスタント

最新機能を利用できるように設定を行います。ワークスペース右上のユーザーアイコンをクリックし、設定を選択します。 53 事前準備

ユーザー > 開発者の新しいAssistantのUIをオンにします。 54 事前準備

アシスタントにアクセスするにはアイコンをクリックします。 55 Databricksアシスタントへのアクセス

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 56 Databricksアシスタントへのアクセス

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 60 Databricksアシスタントへのアクセス

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 61 Databricksアシスタントへのアクセス

日本語でアシスタントに問い合わせます。 62 Databricksアシスタントへ問い合わせ

アシスタントで以下の問い合わせを行いましょう。ノートブックを作成し、稼働しているクラスターにアタッチしてください。 63 Databricksアシスタントへ問い合わせこちらが我々のデータセットのTitleカラムの例です: 1. The Shawshank Redemption (1994)
タイトル名は数とカッコの間です。公開日はカッコの間です。公開日とタイトル名を抽出する関数を書いてください。

コードが表示される場合には、ショートカットボタンが表示されます。 64 Databricksアシスタントへ問い合わせ差分表示コードの実行選択しているセルにコードを挿入コードをコピー

すでにコードが入力されている場合には、文脈を解して回答します。 65 Databricksアシスタントへ問い合わせ PySpark DataFrameをPandas DataFrameに変換し、fare_amount列に基づいてdfから最も高価な10件のトリップを選択するためのPandasコードを生成してください。

ノートブックのセルに以下を記入し、セルが選択されている状態にします。 66 Databricksアシスタントへ問い合わせセルが選択されている状態でアシスタントに以下の問い合わせを行います。 import pandas as pd # テーブル
"samples.nyctaxi.trips" からデータを読み込む df = spark.read.table("samples.nyctaxi.trips") PySpark DataFrameをPandas DataFrameに変換し、fare_amount列に基づいてdfから最も高価な10件のトリップを選択して表示するためのPandasコードを生成してください。

エラーが発生した際には、診断エラーボタンが表示されます。 67 アシスタントにエラーを修正させる

以下のセルを実行してエラーを起こし、アシスタントに助けてもらいましょう。 68 アシスタントにエラーを修正させる string[::-1]

コードを説明してとお願いします。 69 アシスタントにコードを説明させる

• できるだけ具体的に指示してください。テーブルを指定し、データがどのようなものであるかを示す例を提供してください。 • Databricks アシスタントは、テーブルと列のスキーマとメタデータを認識します。これにより、自然言語を使用して非常に正確なクエリーを生成することができます。たとえば、テーブルに列 userID と
State がある場合、 Databricks アシスタントにワシントンに住むユーザーのリストを生成するよう依頼できます。 • Databricks アシスタントはテーブルと列のメタデータにのみアクセスでき、行レベルのデータにはアクセスできません。そのため、実際のデータがユニークな形式をしている場合、クエリーを正しく記述できない場合があります。 • Databricks アシスタントは会話の履歴を考慮するため、会話を進めながら質問を改善していくことができます。 70 アシスタントに問い合わせる際の注意点 https://docs.databricks.com/ja/notebooks/databricks-assistant-faq.html

その他の機能: メタデータの提案

参考資料 • Databricksノートブックでコードを開発する | Databricks on AWS • Databricksベストプラクティス：ノートブックのモジュール化 •
Databricksアシスタントの新機能を試す • Databricksのインタラクティブデバッガー • プロの様にDatabricksをナビゲートする

Databricks勉強会：Databricksのベストプラクティス

Databricks勉強会：Databricksのベストプラクティス

More Decks by Takaaki Yayoi

Other Decks in Technology

Featured

Transcript