Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
Search
Nayuta S.
September 12, 2024
Technology
0
540
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
クラメソおおさか IT 勉強会 Midosuji Tech #2で発表した内容となります。
-
https://classmethod.connpass.com/event/328623/
Nayuta S.
September 12, 2024
Tweet
Share
More Decks by Nayuta S.
See All by Nayuta S.
Snowflakeの生成AI機能を活用したデータ分析アプリの作成 〜Cortex AnalystとCortex Searchの活用とStreamlitアプリでの利用〜
nayuts
1
940
FastMCPでSQLをチェックしてくれるMCPサーバーを自作してCursorから動かしてみた
nayuts
1
500
Amazon Athenaから利用時のGlueのIcebergテーブルのメンテナンスについて
nayuts
0
480
目玉アップデート!のSageMaker LakehouseとUnified Studioは何たるかを見てみよう!
nayuts
0
1.1k
Amazon Rekognitionのカスタムモデルで独自のモデレーションモデルをトレーニングする
nayuts
0
300
データ品質管理の第一歩
nayuts
1
1.1k
簡単に始めるSnowflakeの機械学習
nayuts
1
1.7k
AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech
nayuts
1
1.3k
Vertex AIとBigQueryでつくる簡単ベクトル検索&テキスト分析システム
nayuts
0
1.3k
Other Decks in Technology
See All in Technology
ラスベガスの歩き方 2025年版(re:Invent 事前勉強会)
junjikoide
0
300
20251027_findyさん_音声エージェントLT
almondo_event
2
460
JSConf JPのwebsiteをGatsbyからNext.jsに移行した話 - Next.jsの多言語静的サイトと課題
leko
2
190
マルチエージェントのチームビルディング_2025-10-25
shinoyamada
0
190
SOTA競争から人間を超える画像認識へ
shinya7y
0
570
Open Table Format (OTF) が必要になった背景とその機能 (2025.10.28)
simosako
2
340
アウトプットから始めるOSSコントリビューション 〜eslint-plugin-vueの場合〜 #vuefes
bengo4com
3
1.8k
「タコピーの原罪」から学ぶ間違った”支援” / the bad support of Takopii
piyonakajima
0
150
MCP ✖️ Apps SDKを触ってみた
hisuzuya
0
390
プレイドのユニークな技術とインターンのリアル
plaidtech
PRO
1
390
Okta Identity Governanceで実現する最小権限の原則 / Implementing the Principle of Least Privilege with Okta Identity Governance
tatsumin39
0
180
Oracle Database@Google Cloud:サービス概要のご紹介
oracle4engineer
PRO
0
370
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
Visualization
eitanlees
149
16k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
190
55k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
34
2.5k
Raft: Consensus for Rubyists
vanstee
140
7.2k
Code Review Best Practice
trishagee
72
19k
How GitHub (no longer) Works
holman
315
140k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Transcript
Google CloudのLLM活用の選択肢を広げる Vertex AIのパートナーモデル 2024/9/11(水) Midosuji.Tech #2 クラスメソッド株式会社 鈴木那由太 1
名前:鈴木 那由太(スズキ ナユタ) 所属:クラスメソッド株式会社 データ事業本部 インテグレーション部 機械学習チーム 現在の業務: 機械学習用途のデータ分析基盤構築 機械学習システム構築
X:@nayuyu_ns 2 自己紹介 Osaka
3 今日の内容 人気のLLMがAPI(パートナーモデル)としてGoogle CloudのVertex AIで 提供されているので、ご紹介します! <うれしいこと> • GoogleのGemini以外の人気モデルである、Anthropic ClaudeやMistral
AIなどが 利用できる • Vertex AIのAPIとして利用できる • LLMをホストするインスタンスの用意が不要、入出力トークンの従量課金で利用できる • BigQuery MLからの利用も可能(現時点では一部モデル) Vertex AI
4 Vertex AIについて • Google Cloudで生成AIを構築・使用するためのフルマネージド統合AI開発プラットフォーム • 従来の機械学習モデル開発 + 生成AI開発
• Googleが開発したLLMであるGeminiに加え、Googleパートナーのモデルが利用できる • LLMはインスタンスを手軽にデプロイできるタイプと、マネージドAPIとして 提供されているタイプ(パートナーモデル)がある
5 パートナーモデルについて • Google パートナーが開発した厳選されたモデルで、MaaS(model as a service)のマネージドAPI として提供されている。 •
現在提供されているモデルは以下 • AI21 Labs(プレビュー) • Anthropic Claude • Llama(プレビュー) • Mistral AI • いろんなモデルを使ってよりタスクに適したものを選択したいが、多くの場合で自前で 大きなインスタンスを用意しホストする必要があったり、新たにAPIの契約を結んだりして、 費用面などでネックがあった。
6 パートナーモデルの利用イメージ • APIにプロンプトを入力することで回答してくれる request.json リクエスト例 レスポンス例
7 パートナーモデルの有効化 • Model Gardenよりパートナーモデルのモデルカードを探し、有効化する • モデルカードにはcurlやPythonなどさまざまな利用方法やユースケースが記載されている
8 BigQuery MLからの利用 <利用するための手順> 1.Anthropic Claudeの使用したいモデルのマネージドAPIを有効化する。 2.BigQueryで外部接続を作成する。 3.BigQueryでリモートモデルを作成する。 4.BigQueryでML.GENERATE_TEXT関数を使い、マネージドAPIにリクエストを送る。 •
パートナーモデルのうちAnthropic ClaudeはプレビューでBigQueryから利用できるように リモートモデル作成例
9 ユースケース • BigQueryに格納したデータのLLMによる分析 • ML.GENERATE_TEXT関数で直接Vertex AIにリクエストする • ML.GENERATE_TEXT関数で対応していないものはリモート関数を 使うことで利用できる
BigQuery Cloud Functions Vertex AI • AI21 Labs(プレビュー) • Llama(プレビュー) • Mistral AI • Gemini • Anthropic Claude ML.GENERATE_TEXT リモート関数 いずれの場合も、LLMは インスタンスの料金・管理 なく利用できる点がポイント ※BigQuery LMとの統合はプレビュー
10 まとめ • Vertex AIで提供されるMaaSであるパートナーモデルについてご紹介した。 • マネージドで、インスタンスの管理・費用なく、入出力のトークンでの従量課金で利用できる。 • Anthropic ClaudeやMistral
AIなど人気のモデルをサポートしている。 • プレビューではあるが、Anthropic ClaudeはBigQuery MLのML.GENERATE_TEXT関数でも サポートされるようになり、ますますLLM利用の選択肢が広がってきている。
11