Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
Search
Nayuta S.
September 12, 2024
Technology
0
300
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
クラメソおおさか IT 勉強会 Midosuji Tech #2で発表した内容となります。
-
https://classmethod.connpass.com/event/328623/
Nayuta S.
September 12, 2024
Tweet
Share
More Decks by Nayuta S.
See All by Nayuta S.
目玉アップデート!のSageMaker LakehouseとUnified Studioは何たるかを見てみよう!
nayuts
0
620
Amazon Rekognitionのカスタムモデルで独自のモデレーションモデルをトレーニングする
nayuts
0
150
データ品質管理の第一歩
nayuts
1
690
簡単に始めるSnowflakeの機械学習
nayuts
1
950
AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech
nayuts
1
970
Vertex AIとBigQueryでつくる簡単ベクトル検索&テキスト分析システム
nayuts
0
980
AIが強力にサポート!データ分析・ML系サービスアップデート
nayuts
0
670
dbt Coreとdbt-athenaによるAWS上のdbt環境構築ナレッジ
nayuts
0
2k
Amazon Athena for Apache Sparkを使ってデータ分析をしよう!
nayuts
0
1.8k
Other Decks in Technology
See All in Technology
Larkご案内資料
customercloud
PRO
0
600
PL900試験から学ぶ Power Platform 基礎知識講座
kumikeyy
0
110
APIファーストで実現する運用性の高い IoT プラットフォーム: SORACOMのアプローチ
soracom
PRO
0
240
現場で役立つAPIデザイン
nagix
29
10k
開発者が自律的に AWS Security Hub findings に 対応する仕組みと AWS re:Invent 2024 登壇体験談 / Developers autonomously report AWS Security Hub findings Corresponding mechanism and AWS re:Invent 2024 presentation experience
kaminashi
0
190
Nekko Cloud、 これまでとこれから ~学生サークルが作る、 小さなクラウド
logica0419
2
730
Data-centric AI入門第6章:Data-centric AIの実践例
x_ttyszk
1
370
スタートアップ1人目QAエンジニアが QAチームを立ち上げ、“個”からチーム、 そして“組織”に成長するまで / How to set up QA team at reiwatravel
mii3king
1
1.1k
組織貢献をするフリーランスエンジニアという生き方
n_takehata
1
1k
明日からできる!技術的負債の返済を加速するための実践ガイド~『ホットペッパービューティー』の事例をもとに~
recruitengineers
PRO
3
100
偶然 × 行動で人生の可能性を広げよう / Serendipity × Action: Discover Your Possibilities
ar_tama
1
740
依存関係があるコンポーネントは Barrel ファイルでまとめよう
azukiazusa1
3
530
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
94
13k
YesSQL, Process and Tooling at Scale
rocio
171
14k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Fireside Chat
paigeccino
34
3.2k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
44
9.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Facilitating Awesome Meetings
lara
51
6.2k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
3
310
Transcript
Google CloudのLLM活用の選択肢を広げる Vertex AIのパートナーモデル 2024/9/11(水) Midosuji.Tech #2 クラスメソッド株式会社 鈴木那由太 1
名前:鈴木 那由太(スズキ ナユタ) 所属:クラスメソッド株式会社 データ事業本部 インテグレーション部 機械学習チーム 現在の業務: 機械学習用途のデータ分析基盤構築 機械学習システム構築
X:@nayuyu_ns 2 自己紹介 Osaka
3 今日の内容 人気のLLMがAPI(パートナーモデル)としてGoogle CloudのVertex AIで 提供されているので、ご紹介します! <うれしいこと> • GoogleのGemini以外の人気モデルである、Anthropic ClaudeやMistral
AIなどが 利用できる • Vertex AIのAPIとして利用できる • LLMをホストするインスタンスの用意が不要、入出力トークンの従量課金で利用できる • BigQuery MLからの利用も可能(現時点では一部モデル) Vertex AI
4 Vertex AIについて • Google Cloudで生成AIを構築・使用するためのフルマネージド統合AI開発プラットフォーム • 従来の機械学習モデル開発 + 生成AI開発
• Googleが開発したLLMであるGeminiに加え、Googleパートナーのモデルが利用できる • LLMはインスタンスを手軽にデプロイできるタイプと、マネージドAPIとして 提供されているタイプ(パートナーモデル)がある
5 パートナーモデルについて • Google パートナーが開発した厳選されたモデルで、MaaS(model as a service)のマネージドAPI として提供されている。 •
現在提供されているモデルは以下 • AI21 Labs(プレビュー) • Anthropic Claude • Llama(プレビュー) • Mistral AI • いろんなモデルを使ってよりタスクに適したものを選択したいが、多くの場合で自前で 大きなインスタンスを用意しホストする必要があったり、新たにAPIの契約を結んだりして、 費用面などでネックがあった。
6 パートナーモデルの利用イメージ • APIにプロンプトを入力することで回答してくれる request.json リクエスト例 レスポンス例
7 パートナーモデルの有効化 • Model Gardenよりパートナーモデルのモデルカードを探し、有効化する • モデルカードにはcurlやPythonなどさまざまな利用方法やユースケースが記載されている
8 BigQuery MLからの利用 <利用するための手順> 1.Anthropic Claudeの使用したいモデルのマネージドAPIを有効化する。 2.BigQueryで外部接続を作成する。 3.BigQueryでリモートモデルを作成する。 4.BigQueryでML.GENERATE_TEXT関数を使い、マネージドAPIにリクエストを送る。 •
パートナーモデルのうちAnthropic ClaudeはプレビューでBigQueryから利用できるように リモートモデル作成例
9 ユースケース • BigQueryに格納したデータのLLMによる分析 • ML.GENERATE_TEXT関数で直接Vertex AIにリクエストする • ML.GENERATE_TEXT関数で対応していないものはリモート関数を 使うことで利用できる
BigQuery Cloud Functions Vertex AI • AI21 Labs(プレビュー) • Llama(プレビュー) • Mistral AI • Gemini • Anthropic Claude ML.GENERATE_TEXT リモート関数 いずれの場合も、LLMは インスタンスの料金・管理 なく利用できる点がポイント ※BigQuery LMとの統合はプレビュー
10 まとめ • Vertex AIで提供されるMaaSであるパートナーモデルについてご紹介した。 • マネージドで、インスタンスの管理・費用なく、入出力のトークンでの従量課金で利用できる。 • Anthropic ClaudeやMistral
AIなど人気のモデルをサポートしている。 • プレビューではあるが、Anthropic ClaudeはBigQuery MLのML.GENERATE_TEXT関数でも サポートされるようになり、ますますLLM利用の選択肢が広がってきている。
11