TROCCOで高めるDatabricksのポテンシャル～データレイクを生成AIで分析する新時代へ～

＜p_UG 東京 新春！TROCCOで取り組むデータ活用LT大会発表資料＞

このプレゼンテーションは、TROCCOとDatabricksを活用したデータ分析のアプローチを紹介します。DatabricksのAI/BI Genieスペースかつようじの課題、TROCCOを使ったデータ連携の利便性、そしてDatabricksとTROCCOの連携方法について詳しく説明します。また、次世代のデータ分析プラットフォームにおけるデータ統合の重要性についても触れています。

Transcript

1. p_UG 東京 新春！TROCCOで取り組むデータ活用LT大会 TROCCOで高める Databricksのポテンシャル ～データレイクを 生成AIで分析する新時代へ～ manabian
2. Databricks Champion 認定者 自己紹介 @manabian データ分析システムに関する ブロガー
3. データ分析基盤の構築方法論や関連テクノロジーの調査だけでなく、 エラー対応方法などいわゆる上流から下流までの記事を投稿しています。 引用元：データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少 し深く理解してみる #Python - Qiita 私のアウトプット 引用元：最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の 提案～ - Qiita データ分析基盤における 構築方法論 関連テクノロジーの調査
4. Databricks には AI/BI Genieスペースという Text-To-SQL をベースにしたデータ分析が できる。ただし、とある課題にぶつかるときがあります。 引用元：AI/BI Genieスペースとは |Databricks on AWS 生成 AI でデータ分析する機能を利用する際には課題あり 分析対象のデータがない どうやって集めるの？
5. データの連携のステップがまでが大変で、 いわゆるクイックウィン（小さな成功）を成し遂げるのが困難です 引用元：Salesforce のデータを DWH と連携しておいて!!と言われた時に読む記事 - Qiita 他システムからのデータ連携はけっこう大変
6. TROCCO ならすぐにデータ連携が可能であり、 データ分析をすぐにはじめられる。 データ連携をはやくやるために 引用元：AI/BI Genieスペースとは |Databricks on AWS 引用元：Salesforceの接続情報 TROCCO なら データ連携が簡単 データがあれば すぐに生成 AI で分析可能
7. ちょっとしたトレーニングが実施できるようなコンテンツを公開しています。 TROCCO と Databricks の連携方法に関する記事は投稿済み 引用元：Databricks と TROCCO の融合で実現するシームレスなデータパイプライン構築入門 #Python - Qiita
8. 次世代のデータ分析プラットフォームの方法論が注目されてきていますが、 データ統合がより重要となるため TROCCO などの他システム連携機能は必要です。 次世代のデータ分析プラットフォームでも TROCCO は必要 引用元：データレイクハウスとは？| Databricks データレイクで分析を行う レイクハウス Open Table Format が流行 引用元：Tableflow: Convert Kafka topics to Iceberg tables | Confluent | JP
9. ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian