Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google製LLM PaLM2と対話できるLINE_Botを爆速開発ハンズオン

Google製LLM PaLM2と対話できるLINE_Botを爆速開発ハンズオン

Kento.Yamada

October 11, 2023
Tweet

More Decks by Kento.Yamada

Other Decks in Programming

Transcript

  1. 本日やること • 本日やること • 自己紹介 • 完成品の動作 • 構成 •

    今回使う技術 • VertexAIとは • PaLM2とは • CloudRunとは • 実際に作ろう • まとめ 2
  2. 自己紹介 3 Amazon ベストセラー獲得 Kento.Yamada (github,Twitter,zenn,Qiita@ymd65536) 経歴 • 2022年10月~現在 虎ノ門のCIer

    ◦ Multi Cloud Developer • (2016年~2022年9月)某通信キャリアの子会社 ◦ ITスペシャリスト
  3. Vertex AIとの疎通確認 7 Cloud Run Vertex AI 2. text-bison@001のAPIを実行 1.

    エンドポイント接続 (GETリクエスト) 3.結果を取得 4.ブラウザで結果を参照
  4. LINE botからVertex AIのAPIを実行 8 Cloud Run 1.Webhookによる接続 Vertex AI 2.

    chat-bison@001のAPIを実行 2. chat-bison@001のAPIを実行 3.結果を取得 4.LINEアプリ上で結果を閲覧
  5. 今回使う技術 • LINE API ◦ Messaging API • Google Cloud

    ◦ CloudRun ◦ Artifact Registry ◦ Vertex AI 9
  6. Artifact Registryとは 12 次世代の Container Registry 特徴 • パッケージと Docker

    コンテナイメージを1 か所で保管し、管理できる • CloudBuildのアーティファクトを保存する場所として利用できる Caution 現在はContainer Registryではなく、Artifact Registryが推奨されています! 今回はCloudRunに使うコンテナのイメージを保存するために利用 Artifact Registryの料金:https://cloud.google.com/artifact-registry/pricing?hl=ja
  7. PaLM2とは • Google が開発した最新のLLMであり、PaLMの後継 • 4種類のモデル:Gecko、Otter、Bison、Unicorn • 25 を超える Google

    の製品と機能に搭載 なお、読み方は「パーム」 14 引用元:PaLM 2 のご紹介 https://japan.googleblog.com/2023/05/palm-2.html
  8. Vertex AIでPaLM2を利用する時 1. text prompts a. 一問一答という形で利用する 2. chat prompts

    a. 文字通りチャット、コンテキスト(文脈)を理解して返信 3. text embeddings a. テキスト同士の類似性を測定して返信 15
  9. Vertex AI における生成 AI サポートの料金 16 Vertex AI における生成 AI

    サポートの料金:https://cloud.google.com/vertex-ai/pricing?hl=ja 1,000文字あたり、$0.0010 1,000文字あたり、$0.0005