Upgrade to Pro — share decks privately, control downloads, hide ads and more …

赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」

 赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」

2025/07/03に開催された「第1回 Youは何しにDatabricksへ!? ── 赤煉瓦倉庫勉強会 第4回」に、IVRyの山本が登壇しました。

■リンク集
・IVRyコーポレートサイト:https://ivry.jp/company/
・IVRy採用ページ:https://ivry-jp.notion.site/
・IVRyイベント一覧:https://ivry.connpass.com/event/
・IVRy Tech Xアカウント:https://x.com/IVRy_tech

More Decks by 株式会社IVRy(社員登壇資料)

Other Decks in Technology

Transcript

  1. ⾃⼰紹介 - ⼭本雄⼠(ジョージ) 2011-2018 年: LINE、ブレインパッド etc. 営業、事業企画、マーケター 2019 年:

    楽天(動画配信サービス) データエンジニアリングマネージャー 2021 年: ANDPAD(建設系バーティカル SaaS) 経営企画のデータエンジニア 2025 年: IVRy(対話型⾳声AI SaaS) データエンジニアとしてデータ基盤移⾏を担当
  2. Snowflakeとのざっくり⽐較(2025年3⽉時点の評価) Databricks Snowflake データ保持 実体データは⾃社S3ストレージ に保持、カタログ⽣成のみ。ス トレージ料⾦なし 実データをSnowflake⾃ ⾝に保持。ストレージ料 ⾦あり

    得意分野 PySparkや機械学習/LLM、 Notebookワークフロー SQL完結型、⾮エンジニア 向け権限管理 エコシステム dbtなどの主要ツールのネイティ ブ対応あり その他の他社ツールとの連 携が⽐較的豊富 LLM基盤 MLflow、Deltalakeなどのオープ ンソースモデル、統合AI環境 限定的なLLM機能、サード パーティ依存
  3. Snowflakeと詳細⽐較(2025年3⽉時点の評価) Databricks Snowflake 評価 データ取込 ワークフロー機能あり 外部ツール必要 Databricks クエリ実⾏ サーバーレス稼働で、クエリ⽀援

    機能あり 加えて、オリジナルSQL関数 も⽤意されており使いやすい Snowflake 権限管理 ユーザーグループ、ワークスペー ス、カタログによる管理 ロールベースでオブジェクト 間連携、SQLで完結 - BI Redashダッシュボード機能あり ダッシュボード機能は限定的 Databricks 開発者体験 dbt連携、terraform等コード管 理可能 dbt連携、terraform等コード 管理可能 - LLM機能 MLflow、ベクトル検索、AI Gatewaysによる統合環境 限定的な機能 Databricks
  4. After(2025/7) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery Bronze Silver

    Gold (external) Gold (internal) dbt ETL Reverse ETL
  5. Databricksで今後やること • Databricks Appのリリース! - データオペレーションアプリを作成 (例)セールスからのSalesforce申請と設定変更をOpsチームで⾃動化 • LLMOpsの本格活⽤! -

    マルチLLMエージェントをMLflowで評価しデプロイ (例)社内通話ログから課題を検索抽出/サマリし、   セールスのネクストアクションを⾃動設定するエージェント   プロンプトをLakebaseで保持し評価改善サイクルを回す