Google Cloud Next '24 Recap in ZOZO AIに対応したBigQueryと今後のデータ分析について / AI-enabled BigQuery and future data analysis

Google Cloud Next '24 Recap in ZOZOのイベントで発表した内容になります。
Google Cloud Next '24に参加し、AIと統合したBIgQueryでどのようなことが可能になったのか、実際のデモの映像も交えてまとめました。

1. AIに対応したBigQuery と 今後のデータ分析について 株式会社ZOZO
 技術本部 MA部 MA施策推進ブロック
 
 杉田 駿介 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO 技術本部 MA部 MA施策推進ブロック 杉田 駿介 仕事: 　・配信施策・プロジェクトでの設計・開発・運用 　・広告フィード連携システムの設計・開発・運用 プライベート: 　・趣味: ゲーム、サウナ、ジム 2
3. © ZOZO, Inc. 3 • BigQuery関連のAI系の新機能について ◦ Gemini in BigQuery ◦ Vertex AIとの統合 • まとめ • 感想 本日話すこと 引用元：Google Cloud Next '24 参加レポート
4. © ZOZO, Inc. 4 BigQuery関連の AI系の新機能について
5. © ZOZO, Inc. 5 Gemini in BigQuery
6. © ZOZO, Inc. 6 Geminiって? • マルチモーダル生成AIモデル ◦ 画像、動画、テキスト(自然言語)などの幅広い入力をまとめて処理し、様々な出力を提供でき る • 優れた推論能力を持つ(膨大なデータの中から識別が難しい知識を発見する能力に長けている) • 高品質なコード生成 ◦ PythonやJava、C++、Go などさまざまなプログラミング言語を理解している
7. © ZOZO, Inc. 7 何ができるようになったの？ • 自然言語からのSQL生成 • Data Preparation ◦ 分析データ準備に必要なデータのクレンジング・変換をAIが提案 • Data Canvas ◦ キャンバス上でデータの検索・分析・可視化を実現する
8. © ZOZO, Inc. 8 Data Preparation product_reviews product_name posted_date product_A 03/22/2024 1:45:41 product_B 2024-03-23
9. © ZOZO, Inc. 9 Data Preparation product_reviews フォーマットが バラバラ product_name posted_date product_A 03/22/2024 1:45:41 product_B 2024-03-23
10. © ZOZO, Inc. 10 Data Preparation product_reviews フォーマットが バラバラ product_name posted_date product_A 03/22/2024 1:45:41 product_B 2024-03-23 このフォーマットで統一しますか？
11. © ZOZO, Inc. 11 Data Preparation product_reviews product_name posted_date product_A 2024-03-22T01:45:41 product_B 2024-03-23T00:00:00 ワンクリックで フォーマット統一
12. © ZOZO, Inc. 12 Data Preparation QRからも 見れるよ
13. © ZOZO, Inc. 13 Data Canvas(データの検索) トレンド商品の一覧っ てBigQueryのどこに あったっけ
14. © ZOZO, Inc. 14 Data Canvas(データの検索) トレンド商品の一覧っ てBigQueryのどこに あったっけ 〇〇か、それか□□か...etc
15. © ZOZO, Inc. 15 Data Canvas(データの検索) product_trends
16. © ZOZO, Inc. 16 Data Canvas(データの検索) QRからも 見れるよ
17. © ZOZO, Inc. 17 Data Canvas(データの分析&自然言語からのSQL生成) product_trends 日付 商品カテゴリ 投稿数 前週のトレンドの カテゴリートップ5は？
18. © ZOZO, Inc. 18 Data Canvas(データの分析&自然言語からのSQL生成) product_trends 日付 商品カテゴリ 投稿数 前週のトレンドの カテゴリートップ5は？ このクエリで出せますよ
19. © ZOZO, Inc. 19 Data Canvas(データの分析&自然言語からのSQL生成) top_5_trend_categories row category_name mention_count 1 category_A 10000 2 category_B 9500 3 category_C 9000 4 category_D 8900 5 category_E 7800
20. © ZOZO, Inc. 20 Data Canvas(データの分析&自然言語からのSQL生成) QRからも 見れるよ
21. © ZOZO, Inc. 21 Data Canvas(データの可視化) top_5_trend_categories 日付 商品カテゴリ 投稿数 投稿数順で並べた 横棒のグラフを 作成したい
22. © ZOZO, Inc. 22 Data Canvas(データの可視化) top_5_trend_categories 日付 商品カテゴリ 投稿数 投稿数順で並べた 横棒のグラフを 作成したい インサイトも出します
23. © ZOZO, Inc. 23 Data Canvas(データの可視化) • 〇〇は、前週比から△△%アップしていて、 圧倒的にトレンドが高いカテゴリです
24. © ZOZO, Inc. 24 Data Canvas(データの可視化) QRからも 見れるよ
25. © ZOZO, Inc. 25 Vertex AIとの統合 (BigQuery ML)
26. © ZOZO, Inc. 26 Vertex AIって？ • 機械学習ワークロードを構築するためのツールを統合したプロダクト ◦ トレーニング用データの管理 ◦ 機械学習モデルのトレーニング ◦ 機械学習の開発、運用に役立つ様々なツールが提供される
27. © ZOZO, Inc. 27 何ができるようになったの？ • Remote Inference for LLMs / Cloud AI APIs ◦ モデリング関数のマルチモーダル対応化 ▪ ML.GENERATE_TEXT ▪ ML.PROCESS_DOCUMENT ▪ ML.GENERATE_EMBEDDING • BigQuery vector embeddings, search, and support for LLM frameworks ◦ BQ上にあるデータをエンべディングし、ベクトルインデックスを作成、類似検索が可能に
28. © ZOZO, Inc. 28 BigQuery ML(ベクトル検索) トレンドカテゴリに一致 しそうな商品は何か top_5_trend_categories 日付 商品カテゴリ 投稿数
29. © ZOZO, Inc. 29 BigQuery ML(ベクトル検索) top_5_trend_categories 日付 商品カテゴリ 投稿数 このBigQuery MLを使用した このクエリで出せますよ トレンドカテゴリに一致 しそうな商品は何か
30. © ZOZO, Inc. 30 BigQuery ML(ベクトル検索) product_name image product_A product_B
31. © ZOZO, Inc. 31 BigQuery ML(ベクトル検索) QRからも 見れるよ
32. © ZOZO, Inc. 32 BigQuery ML(推論) この先1年間の売上は どうなるのか product_name image product_A product_B
33. © ZOZO, Inc. 33 BigQuery ML(推論) この先1年間の売上は どうなるのか product_name image product_A product_B このBigQuery MLを使用した このクエリで出せますよ
34. © ZOZO, Inc. 34 BigQuery ML(推論) product_name forecast_value product_B 33000000 product_A 15000000
35. © ZOZO, Inc. 35 BigQuery ML(推論) QRからも 見れるよ
36. © ZOZO, Inc. 36 まとめ
37. © ZOZO, Inc. 37 引用元："What’s next for data analytics in the AI era" at 32:12 データ分析において, 人がSQLを書かず, Geminiとの自然言語での対話だけで完結 • データのクレンジング • データの検索 • データの分析 • データの可視化 • データのベクトル検索 • データの予想
38. © ZOZO, Inc. 38 感想
39. © ZOZO, Inc. 39 感想 • データ分析や機械学習を全てBigQuery上でできるので、コスト削減が見込める • クエリやコードの補完機能で、クオリティ向上が見込める • 今までは専門的な知識が必要だったデータ分析と機械学習が、誰でもできるようにな り、素早くPDCAサイクルなどを回せることが見込める • 権限管理が重要