Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google製LLM PaLM2と対話できるLINE_Botを爆速開発ハンズオン
Search
Kento.Yamada
October 11, 2023
Programming
0
90
Google製LLM PaLM2と対話できるLINE_Botを爆速開発ハンズオン
Kento.Yamada
October 11, 2023
Tweet
Share
More Decks by Kento.Yamada
See All by Kento.Yamada
[LT]C#および.NETに対する誤解をひも解くPart2(JetBrains編)
ymd65536
0
27
[LT]GitHub CopilotにC#のHelloWorldを書いてもらうと
ymd65536
0
41
Dev ContainersとGitHub Codespacesの素敵な関係
ymd65536
1
150
.NET Aspireのクラウド対応検証: Azureと他環境での実践
ymd65536
1
730
C#および.NETに対する誤解をひも解く
ymd65536
0
360
【Google Cloudパートナー企業登壇】LINEBot開発の環境構築ベストプラクティス
ymd65536
0
16
Microsoft Playwright Testing 再入門
ymd65536
0
250
宇宙一早くAmazon Bedrock 生成AIアプリ開発入門の献本が届いたので 感想をしみじみ語る
ymd65536
1
500
newMVPが気になるトピック
ymd65536
0
20
Other Decks in Programming
See All in Programming
광고 소재 심사 과정에 AI를 도입하여 광고 서비스 생산성 향상시키기
kakao
PRO
0
170
Streams APIとTCPフロー制御 / Web Streams API and TCP flow control
tasshi
2
350
Amazon Qを使ってIaCを触ろう!
maruto
0
410
「今のプロジェクトいろいろ大変なんですよ、app/services とかもあって……」/After Kaigi on Rails 2024 LT Night
junk0612
5
2.2k
CSC509 Lecture 11
javiergs
PRO
0
180
What’s New in Compose Multiplatform - A Live Tour (droidcon London 2024)
zsmb
1
470
WebフロントエンドにおけるGraphQL(あるいはバックエンドのAPI)との向き合い方 / #241106_plk_frontend
izumin5210
4
1.4k
イベント駆動で成長して委員会
happymana
1
320
Quine, Polyglot, 良いコード
qnighy
4
640
Contemporary Test Cases
maaretp
0
140
役立つログに取り組もう
irof
28
9.6k
型付き API リクエストを実現するいくつかの手法とその選択 / Typed API Request
euxn23
8
2.2k
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
94
13k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
8.2k
The Invisible Side of Design
smashingmag
298
50k
Ruby is Unlike a Banana
tanoku
97
11k
Adopting Sorbet at Scale
ufuk
73
9.1k
Gamification - CAS2011
davidbonilla
80
5k
Embracing the Ebb and Flow
colly
84
4.5k
Building an army of robots
kneath
302
43k
Intergalactic Javascript Robots from Outer Space
tanoku
269
27k
Building Your Own Lightsaber
phodgson
103
6.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
Transcript
Google製LLM「PaLM2」と対話できるLINE Botを 爆速開発ハンズオン 1
本日やること • 本日やること • 自己紹介 • 完成品の動作 • 構成 •
今回使う技術 • VertexAIとは • PaLM2とは • CloudRunとは • 実際に作ろう • まとめ 2
自己紹介 3 Amazon ベストセラー獲得 Kento.Yamada (github,Twitter,zenn,Qiita@ymd65536) 経歴 • 2022年10月~現在 虎ノ門のCIer
◦ Multi Cloud Developer • (2016年~2022年9月)某通信キャリアの子会社 ◦ ITスペシャリスト
完成品の動作 4 デモをやります!
全体構成 5 Artifact Registry Cloud Run Vertex AI
デプロイ時の構成 6 Artifact Registry Cloud Run 2.コンテナイメージをpull 1.イメージをpush
Vertex AIとの疎通確認 7 Cloud Run Vertex AI 2. text-bison@001のAPIを実行 1.
エンドポイント接続 (GETリクエスト) 3.結果を取得 4.ブラウザで結果を参照
LINE botからVertex AIのAPIを実行 8 Cloud Run 1.Webhookによる接続 Vertex AI 2.
chat-bison@001のAPIを実行 2. chat-bison@001のAPIを実行 3.結果を取得 4.LINEアプリ上で結果を閲覧
今回使う技術 • LINE API ◦ Messaging API • Google Cloud
◦ CloudRun ◦ Artifact Registry ◦ Vertex AI 9
LINE Messaging API 👈詳しく知りたい人はこちら 10 https://www.youtube.com/watch?v=KiuLRTSuTzg
CloudRunとは コンテナを実行できるマネージドサービス 特徴 • サーバレスコンピューティング • 受信リクエストに合わせて、コンテナが自動的にスケール 今回はジョブではなく、サービスとしてコンテナを実行 LINE Messaging
APIのWebhook URLとして利用 11 CloudRunの料金:https://cloud.google.com/run/pricing?hl=ja
Artifact Registryとは 12 次世代の Container Registry 特徴 • パッケージと Docker
コンテナイメージを1 か所で保管し、管理できる • CloudBuildのアーティファクトを保存する場所として利用できる Caution 現在はContainer Registryではなく、Artifact Registryが推奨されています! 今回はCloudRunに使うコンテナのイメージを保存するために利用 Artifact Registryの料金:https://cloud.google.com/artifact-registry/pricing?hl=ja
VertexAIとは 13 エンタープライズ対応の生成 AI でイノベーションを加速する 特徴 • さまざまなAIモデルの提供およびトレーニング • 検証にちょうどいいGenerative
AI Studio • もちろん、PaLM2も提供 今回はCloudRunからVertex AIのAPIを実行してAIを呼び出す
PaLM2とは • Google が開発した最新のLLMであり、PaLMの後継 • 4種類のモデル:Gecko、Otter、Bison、Unicorn • 25 を超える Google
の製品と機能に搭載 なお、読み方は「パーム」 14 引用元:PaLM 2 のご紹介 https://japan.googleblog.com/2023/05/palm-2.html
Vertex AIでPaLM2を利用する時 1. text prompts a. 一問一答という形で利用する 2. chat prompts
a. 文字通りチャット、コンテキスト(文脈)を理解して返信 3. text embeddings a. テキスト同士の類似性を測定して返信 15
Vertex AI における生成 AI サポートの料金 16 Vertex AI における生成 AI
サポートの料金:https://cloud.google.com/vertex-ai/pricing?hl=ja 1,000文字あたり、$0.0010 1,000文字あたり、$0.0005
実際に作ろう 百聞は一つのハンズオンにしかず!! 17
まとめ • 今回はCloudRunを使ってVertexAIを実行した • VertexAIを使うと手軽に生成AIが扱える! • PaLM2は比較的に安い!すごい! • まだまだ知見は少ないけども、可能性は無限大! 18