Devinと探るBigQueryを使ったデータ分析入門

データ分析におけるAI活用の可能性について解説します。

企業のデータ基盤アーキテクチャの概要から始まり、各種データソースからBigQueryへのデータ集約プロセスを紹介。その上で直面するデータ分析の課題として、クエリの設計・実装やデータの可視化の複雑さに焦点を当てています。

これらの課題解決策として注目するのがDevin.aiの活用です。最小限のプロンプト入力だけで、再現性のあるSQLクエリやグラフを自動生成できるDevinの能力を実例とともに紹介しています。

データ分析を効率化するための具体的な実装方法として、あらかじめPythonコードを用意し、Devinのナレッジとして設定しておく手法も解説。AIを活用したデータ分析の可能性を探るとともに、ドクターメイト社におけるAIを活用した開発に興味を持つエンジニアへの募集も紹介しています。

データ基盤とAIの融合に興味がある方、データ分析の効率化を検討している方におすすめの内容です。

Transcript

1. Devinと探るBigQueryを 使ったデータ分析入門 〜 ドクターメイトのデータ基盤を 支えるAIエンジニアの挑戦 〜
2. 自己紹介 名前 : 榎本 陽祐 (@motumotuo) 所属 : ドクターメイト株式会社　プロダクト開発Gr ゼネラルマネージャー エンジニアリングチームのイネーブリングも担当しながら、プロダクト開発全体を見て います。 最近ハマっていること トレーニング: 筋トレやキックボクシング 技術: Devin.aiやGithub Copilotなどを使った開発トレンドを追求中。どこまで業 務効率を上げられるかの試行錯誤が楽しい。
3. 少しだけ会社紹介
4. 最初に当社のデータ基盤の構成を ちら見せ
5. ざっくりとした構成 出展元
6. 各種データソースから データをBigQueryに集約まで できている
7. でも、データ分析は大変！
8. 一言でデータ分析と言っても… 色々とやることはありますが、今回のスコープはこのあたり クエリの設計 どのようなデータを取得するか どのような条件で取得するか クエリの実装 SQLの実装 BigQueryのクエリの実装 データの可視化 ユーザーに見せるためのデータをどのように可視化するか
9. AIの力を借りましょう！
10. データエンジニアとしてのDevin Devinは、データ操作、分析、可視化タスクを得意としています。データセットの処理、ビジュアライゼ ーションの作成、データワークフローの自動化など、Devinはデータ運用の効率化を支援します。 出展元
11. インプット テーブル名 を使ってデータ分析を依頼したいです。 〜カラム に 欲しいデータ を記録しています。record_id が nnnn のレコードのように、 業務上欲しい 事 例をピックアップしてほしいです。 最後に 可視化したいグラフの形式、内訳 となる表を作成してください。 実際にどんなアウトプットがでるのか？
12. アウトプットはこうなった 最初のプロンプトを渡しただけで、 ほぼ人間は何もせずに再現可能なクエリと グラフを作成してくれました！
13. どうやったか？ 1. あらかじめデータ分析用のPythonのコードを用意しておく じつはこれもDevinにお願いしました。 2. これを使うようにDevinのKnowledgeを設定しておく https://github.com/doctormate-jp/repository_name を利用することができます。 報告の際には実際に発行したクエリをユーザーに提示して、再現性をもたせるよう にしてください。 3. あとは、プロンプトを投げるだけ!
14. あまり知られていないかも しれないけど、 Devinはデータ分析も得意です！
15. ありがとうございました！ 引き続き、ドクターメイトは ソフトウェアエンジニアを募集しています！ いっしょにAI使った開発を楽しみませんか？
16. 懇親会でのご質問・感想を お待ちしております！ 質問・感想