Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MLOps関連の注目セッション&アップデート / Google Cloud Next '23 ...

CyberAgent
November 10, 2023

MLOps関連の注目セッション&アップデート / Google Cloud Next '23 Recap

CyberAgent

November 10, 2023
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. 1 Google Cloud Next '23 Recap/ Warming up for Tokyo

    株式会社CyberAgent IU事業部 ML Engineer 原 和希 MLOps関連の注目セッション&アップデート
  2. 自己紹介 2 原 和希 2021年 CyberAgent入社 所属:株式会社CAM 【主な業務】 MLOps基盤・レコメンドモデルの開発/ 生成AIの検証・導入

    ・Google Cloud Champion Innovators (Cloud AI/ML) ・CyberAgent Next Experts (GCP ML) はら かずき @Harappa80
  3. Agenda 3 1. 本発表のゴール 2. 本発表での想定視聴者 3. 本日話すこと/ 話さないこと 4.

    生成AI時代のMLOps基盤 5. アップデートと新機能 6. まとめ
  4. 1. 本発表のゴール • Google Cloud Next’23 で発表があった/今日までにリリースがあった新機能・アッ プデートを共有する • Google

    Cloud での MLOps の現在を知ってもらう • 必要なプロダクトをキャッチアップする足がかりをつくる ◦ 各機能の紹介時に公式ドキュメント・ブログ・Next’23のセッション等のリンクを載せています 4 会場のモスコーンセンター
  5. 3. 本日話すこと/ 話さないこと 6 【話すこと】 • Vertex AI の新機能・アップデートの紹介 •

    各機能で実現可能なこと 【話さないこと】 • 理論やアルゴリズムの詳細 • 実装例、サイバーエージェントでの活用事例 • MLOps 以外の新機能 (Duet AI, Imagenなど) • 時間の都合上、全てのアップデートはお話し出来ません...。
  6. Vertex AI Vector Search 【アップデート】 • Vertex AI Matching Engine

    から名称が変更 • コンソール画面からインデックスの作成/監視が可能に • インデックスの構築時間が数時間から数分に短縮 • クエリ時に、従来のタグベースのフィルタリングに加えて、メタデータでも行えるように 【ポイント】 • 導入時のハードル・パフォーマンスが改善 【キャッチアップ】 • 公式ブログ: Build your own gen AI-powered vector search applications with Vertex AI Search • Google Cloud Tech YouTube: Get Started with Vector Search using Vertex AI 9
  7. Vertex AI Feature Store [プレビュー] 10 【アップデート】 • BigQuery から直接特徴量を参照可能に

    ◦ 特徴量をインポートする必要がなくなった • 最近傍探索を実行することが可能に • Dataplex と統合され、特徴量のバージョンやラベルを管理可能に 【ポイント】 • データ管理/ MLOpsの基盤がシンプルに • メンテナンスコストが改善
  8. 【キャッチアップ】 • 公式ドキュメント: About Vertex AI Feature Store • Next’23

    セッション: High performance feature engineering for predictive and generative AI projects with Vertex AI Feature Platform Vertex AI Feature Store [プレビュー] 11 Google Cloud 公式ブログより引用
  9. Colab Enterprise [プレビュー] 12 【新機能】 • Vertex AI に統合された Google

    Colaboratory ◦ Google Cloud との連携が容易 ◦ IAM でアクセス管理が可能 • Duet AI によるコード補完 • Model Garden との連携 【ポイント】 • Vertex AI プロダクトを使用する際のハブとなる 【キャッチアップ】 • 公式ブログ: Colab Enterprise と生成 AI 用の MLOps で Vertex AI を強化 • 公式ドキュメント: Introduction to Colab Enterprise • Next’23 セッション: Build AI quickly, collaboratively, and with confidence with Colab using Vertex AI
  10. Vertex AI Model Garden 【アップデート】 • OSS, サードパーティの基盤モデルが追加 ◦ Meta:

    Llama2/ Code Llama ◦ Technology Innovation Institute: Falcon ◦ Anthropic: Claude 2(追加予定) 【ポイント】 • 豊富なモデルのデプロイを Vertex AI Endpoint への数クリックで行える • Fine-Tuning を Colab Enterprise から行える 【キャッチアップ】 • 公式ドキュメント: Explore AI models in Model Garden 13
  11. Vertex AI での Fine-Tuning 14 • Vertex AI では2種類のFine-Tuningの方法が提供されている(Google製のLLMモデルにおいて) ◦

    Supervised Fine-Tuning ◦ Reinforcement Learning from Human Feedback 参考: 公式ドキュメントTune language foundation models
  12. 【新機能】 • 教師ありによるFine-Tuning • text, chat, code, codechat-bisonをサポート • 100〜500サンプルを使用が推奨

    【キャッチアップ】 • 公式ドキュメント: Tune text models by using supervised tuning • 公式ドキュメント: Tune code models Supervised Fine-Tuning 15
  13. 【新機能】 • 強化学習を用いたFine-Tuning • 人間からのフィードバックデータセットを使って、人間が好む応答を学習 • 5,000~10000件のサンプルが推奨 • Vertex AI

    Generative AI StudioおよびPipeline Templateから実行可能 • text-bison, T5をサポート 【キャッチアップ】 • 公式ドキュメント: RLHF チューニングでテキストモデルを調整する Reinforcement Learning from Human Feedback [プレビュー] 16
  14. Vertex AI での LLMの評価 17 • Prompt EngineeringやFine-Tuning, RAG等でモデルの改善を行ったが、どのように評価すれ ばよい?

    • 改善前後のモデルでどちらが良いかどうかは、どのように判断すればよい?
  15. 【新機能】 • 自身で Ground Truth データセットを用意して、ML の評価指標で評価をする • Vertex AI

    Pipelines Template から実行可能 【ポイント】 • LLM の定量的な評価をカバー 【キャッチアップ】 • 公式ドキュメント: Evaluate model performance • Next’23 セッション: Building your ML Ops strategy for generative AI Automatic Metrics [プレビュー] 18 対応している評価指標(公式ドキュメントより) セッション動画より引用
  16. Automatic Side by Side [プライベートプレビュー] 19 【新機能】 • 複数のモデルの出力を評価する際に、評価用モデルを利用して人間による評価をサポート ◦

    A/Bテストのような仕組み 【ポイント】 • LLM の定性的な評価をカバー 【キャッチアップ】 • 公式ブログ: All 161 things we announced at Google Cloud Next ‘23 – a recap • Next’23 セッション: Building your ML Ops strategy for generative AI セッション動画より引用
  17. 【新機能】 • Agent を実装可能な機能 ◦ 関数呼び出しや、外部システムの API に接続する拡張機能を作成可能 ▪ モデルがアクションを実行・情報をリアルタイムで取得/処理

    • LangChain と互換性がある 【ポイント】 • Google Cloud の製品との連携した Agent の開発が容易そう  ※使用するためには、Trusted Tester プログラムにて承認される必要がある 【キャッチアップ】 • 公式ドキュメント: Connect models to APIs by using extensions • Next’23 セッション: Build extensions and extension-powered applications with Vertex AI Vertex AI Extensions [プライベートプレビュー] 20