Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google製LLM PaLM2と対話できるLINE_Botを爆速開発ハンズオン
Search
Kento.Yamada
October 11, 2023
Programming
0
50
Google製LLM PaLM2と対話できるLINE_Botを爆速開発ハンズオン
Kento.Yamada
October 11, 2023
Tweet
Share
More Decks by Kento.Yamada
See All by Kento.Yamada
宇宙一早くAmazon Bedrock 生成AIアプリ開発入門の献本が届いたので 感想をしみじみ語る
ymd65536
1
180
newMVPが気になるトピック
ymd65536
0
5
Google Cloudで始めるプラットフォームエンジニアリング
ymd65536
0
330
マルチクラウドで認証したい ~CloudRunと.NET8 Blazor ServerでAzure Open AIをセキュアに呼び出す~
ymd65536
0
120
MicrosoftのPlatform Engineeringガイドを読んで実際になにかやってみた
ymd65536
1
700
Azure以外のクラウドではじめる.NET
ymd65536
1
60
Microsoft Playwrightで始めるブラウザテスト
ymd65536
0
480
個人的に注目したMicrosoftとGitHubのアップデート情報
ymd65536
1
86
Azure Developer CLIの振り返りとDeep Dive
ymd65536
0
290
Other Decks in Programming
See All in Programming
自分好みの TS バンドラを Rust で作れる!Deno の内部ライブラリの活用 – Denoで変わるランタイムの景色 実践事例 Lunch LT
pizzacat83
4
540
並行処理を学びGuzzleと仲良くなる
shimabox
2
390
KotlinのLinter まなびなおし2024
nyafunta9858
0
1.7k
IaCにおけるテスト考察 / Tests in IaC
linyows
2
240
Gobra で見る形式検証 (mercari.go #26)
artoy
0
430
Web 開発における Deno Fresh の活用例:ペアプロタイマー timer.team の開発
lef237
1
630
タクシーアプリ『GO』の reCAPTCHA Enterprise 導入
mot_techtalk
1
110
エンジニアが開発生産性を上げるためにやる最初の一歩
ktchiroyah
0
130
あらゆるアプリをCompose Multiplatformで書きたい! -ネイティブアプリの「あの機能」を私たちはどう作るか-
subroh0508
1
840
スタートアップ企業が実践する「身の丈スクラム」の現在地 / Current State of 'Right-Sized Scrum' Practices in Startups
ar_tama
12
3.7k
データサイエンスやデータエンジニアリングの求人サイトの個人開発
billyio
0
650
君は新しい日付/時刻API Temporal を知っているか?
luccafort
PRO
4
860
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
88
46k
Raft: Consensus for Rubyists
vanstee
133
6.4k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
188
16k
A Philosophy of Restraint
colly
198
16k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
359
22k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
20
1.7k
What's new in Ruby 2.0
geeforr
338
31k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Building Adaptive Systems
keathley
33
2k
Transcript
Google製LLM「PaLM2」と対話できるLINE Botを 爆速開発ハンズオン 1
本日やること • 本日やること • 自己紹介 • 完成品の動作 • 構成 •
今回使う技術 • VertexAIとは • PaLM2とは • CloudRunとは • 実際に作ろう • まとめ 2
自己紹介 3 Amazon ベストセラー獲得 Kento.Yamada (github,Twitter,zenn,Qiita@ymd65536) 経歴 • 2022年10月~現在 虎ノ門のCIer
◦ Multi Cloud Developer • (2016年~2022年9月)某通信キャリアの子会社 ◦ ITスペシャリスト
完成品の動作 4 デモをやります!
全体構成 5 Artifact Registry Cloud Run Vertex AI
デプロイ時の構成 6 Artifact Registry Cloud Run 2.コンテナイメージをpull 1.イメージをpush
Vertex AIとの疎通確認 7 Cloud Run Vertex AI 2. text-bison@001のAPIを実行 1.
エンドポイント接続 (GETリクエスト) 3.結果を取得 4.ブラウザで結果を参照
LINE botからVertex AIのAPIを実行 8 Cloud Run 1.Webhookによる接続 Vertex AI 2.
chat-bison@001のAPIを実行 2. chat-bison@001のAPIを実行 3.結果を取得 4.LINEアプリ上で結果を閲覧
今回使う技術 • LINE API ◦ Messaging API • Google Cloud
◦ CloudRun ◦ Artifact Registry ◦ Vertex AI 9
LINE Messaging API 👈詳しく知りたい人はこちら 10 https://www.youtube.com/watch?v=KiuLRTSuTzg
CloudRunとは コンテナを実行できるマネージドサービス 特徴 • サーバレスコンピューティング • 受信リクエストに合わせて、コンテナが自動的にスケール 今回はジョブではなく、サービスとしてコンテナを実行 LINE Messaging
APIのWebhook URLとして利用 11 CloudRunの料金:https://cloud.google.com/run/pricing?hl=ja
Artifact Registryとは 12 次世代の Container Registry 特徴 • パッケージと Docker
コンテナイメージを1 か所で保管し、管理できる • CloudBuildのアーティファクトを保存する場所として利用できる Caution 現在はContainer Registryではなく、Artifact Registryが推奨されています! 今回はCloudRunに使うコンテナのイメージを保存するために利用 Artifact Registryの料金:https://cloud.google.com/artifact-registry/pricing?hl=ja
VertexAIとは 13 エンタープライズ対応の生成 AI でイノベーションを加速する 特徴 • さまざまなAIモデルの提供およびトレーニング • 検証にちょうどいいGenerative
AI Studio • もちろん、PaLM2も提供 今回はCloudRunからVertex AIのAPIを実行してAIを呼び出す
PaLM2とは • Google が開発した最新のLLMであり、PaLMの後継 • 4種類のモデル:Gecko、Otter、Bison、Unicorn • 25 を超える Google
の製品と機能に搭載 なお、読み方は「パーム」 14 引用元:PaLM 2 のご紹介 https://japan.googleblog.com/2023/05/palm-2.html
Vertex AIでPaLM2を利用する時 1. text prompts a. 一問一答という形で利用する 2. chat prompts
a. 文字通りチャット、コンテキスト(文脈)を理解して返信 3. text embeddings a. テキスト同士の類似性を測定して返信 15
Vertex AI における生成 AI サポートの料金 16 Vertex AI における生成 AI
サポートの料金:https://cloud.google.com/vertex-ai/pricing?hl=ja 1,000文字あたり、$0.0010 1,000文字あたり、$0.0005
実際に作ろう 百聞は一つのハンズオンにしかず!! 17
まとめ • 今回はCloudRunを使ってVertexAIを実行した • VertexAIを使うと手軽に生成AIが扱える! • PaLM2は比較的に安い!すごい! • まだまだ知見は少ないけども、可能性は無限大! 18