$30 off During Our Annual Pro Sale. View Details »

Google Cloudで始めるLLM

John Smith
September 28, 2023

Google Cloudで始めるLLM

DevelopersIO 2023 沖縄 オンライン(https://classmethod.connpass.com/event/294845/) の発表資料

John Smith

September 28, 2023
Tweet

More Decks by John Smith

Other Decks in Technology

Transcript

  1. Google Cloudで始めるLLM
    データアナリティクス事業本部
    じょんすみす

    View Slide

  2. 自己紹介
    じょんすみす
    データアナリティクス事業本部
    インテグレーション部
    機械学習チーム
    特徴
    • 機械学習やってるっぽい
    • PythonよりRの方が好きらしい
    • Excelだけ全部やれと言われたら出来ないこともない
    • Hadoop, EMRおじさん
    アイコン→
    今回の移動経路→

    View Slide

  3. 本日話す内容
    • 機械学習と生成AIとLLM
    • Google CloudのLLMでできること
    • 使い始める
    Google Cloudで手軽にLLMを使ってみようぜ!というお話

    View Slide

  4. 本日話す内容
    • 機械学習と生成AIとLLM
    • Google CloudのLLMでできること
    • 使い始める
    Google Cloudで手軽にLLMを使ってみようぜ!というお話

    View Slide

  5. 機械学習と生成AIとLLM
    本発表における用語は以下のように定義します。
    必ずしも一般的にそのまま適用されるものではありませんのでご注意ください。
    • 機械学習(教師あり学習)
    • 与えられたデータの組み合わせ𝐱, 𝑦から𝑦 = 𝑓(𝐱; 𝜃)を求める𝜃を決める
    • 𝑦が未知の𝐱に対して予測が可能になる
    • 生成AI
    • 言語、画像、音声などを問わずそのまま人間が利用するものを出力する
    • 利用する手法自体が生成モデルであるかとは関係ないものとする
    • LLM(Large Language Model)
    • TransformerのDecoder部分を利用してたモデル全般
    • 次の単語を予測するように事前学習したもの

    View Slide

  6. Transformerの動きについて
    本発表でLLMが指し示すものを明確にするために、対象の範囲を決めておきます。
    • 何を学習させるか?
    • 何を推論するか?
    • どのように利用するか?

    View Slide

  7. 何を学習するか?
    学習時はデータとなる文章から次の単語※1を予測する。
    Embedding
    Positional Encoding
    Masked
    Multi-Head
    Attention
    Add & Norm
    Feed Forward
    Add & Norm
    Linear
    softmax
    𝐱 input
    𝑦
    N層
    𝑦 : 次に来ると予測した単語
    𝐱 :これまでの文章を単語に分けたリスト
    「吾輩は猫である」という文章があるときに
    • 𝐱 : 吾輩、𝑦 : は
    • 𝐱 : 吾輩は、𝑦 : 猫
    • 𝐱 : 吾輩は猫、𝑦 : で
    • 𝐱 : 吾輩は猫で、𝑦 : ある
    のような情報を学習データさせる※2
    ※1 文章の分割という意味でトークンではなく単語で統一
    ※2 厳密には文の先頭を示す文字と末尾を示す特殊文字を含む

    View Slide

  8. 何を推論するか?
    推論時には途中まで与えたデータから連続して次の単語を予測していく。
    1. 次の単語候補とその確率が複数出る※
    ※ 実際には予測可能な全単語に対しての確率が算出される

    View Slide

  9. 何を推論するか?
    推論時には途中まで与えたデータから連続して次の単語を予測していく。
    1. 次の単語候補とその確率が複数出る※ 2. さらにその次も複数予測する
    ※ 実際には予測可能な全単語に対しての確率が算出される

    View Slide

  10. 何を推論するか?
    推論時には途中まで与えたデータから連続して次の単語を予測していく。
    1. 次の単語候補とその確率が複数出る※ 2. さらにその次も複数予測する
    3. その中から絞っていく
    4. 最終的に全体を通してもっとも自然な文章を選択
    ※ 実際には予測可能な全単語に対しての確率が算出される

    View Slide

  11. どのように利用するか?
    LLMを動かす場所は大きく分けて2種類あります。
    クラウドサービスを利用する 動かすサーバを用意する
    • APIからリクエストを発行して利用
    • モデルの学習などはサービス提供者が実施済み
    • Web UIなどを提供している場合もある
    • fine-tuningが可能なものもある
    • ライブラリとして利用するイメージ
    • 世にある事前学習モデルを利用
    • ゼロから学習させることも可能
    • 高性能なハードウェアを用意する必要がある

    View Slide

  12. どのように利用するか?
    LLMを動かす場所は大きく分けて2種類あります。
    クラウドサービスを利用する 動かすサーバを用意する
    • APIからリクエストを発行して利用
    • モデルの学習などはサービス提供者が実施済み
    • Web UIなどを提供している場合もある
    • fine-tuningが可能なものもある
    • ライブラリとして利用するイメージ
    • 世にある事前学習モデルを利用
    • ゼロから学習させることも可能
    • 高性能なハードウェアを用意する必要がある
    Google CloudのLLMはコチラ
    簡単に使い始めることが可能です

    View Slide

  13. 本日話す内容
    • 機械学習と生成AIとLLM
    • Google CloudのLLMでできること
    • 使い始める
    Google Cloudで手軽にLLMを使ってみようぜ!というお話

    View Slide

  14. PaLM2 : Googleが提供するLLM
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル

    View Slide

  15. 連携対象となる各種サービス
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    説明の都合上簡略化しています
    アプリケーションは単体のGoogleアカウントなどからも利用可能です

    View Slide

  16. 連携対象となる各種サービスとPaLM2
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル

    View Slide

  17. Bard
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    Bard
    Bard
    自然言語をインターフェースとした対話や各種アプリケーションとの連携が可能な
    単体のアプリケーション

    View Slide

  18. Duet AI
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    Duet AI
    文書作成やコーディングの際において、後続の文書を予測することで
    補完する仕組みを提供する
    Duet AI
    Bard

    View Slide

  19. Vertex AI Generative AI Studio
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    Vertex AI Generative AI Studio
    Vertex AI内で機械学習の仕組みとしてPaLM2を利用する
    APIからの呼び出しの実現やfine-tuningの実施といったことが可能
    Duet AI
    Bard

    View Slide

  20. BigQuery
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    BigQueryの関数として利用
    BigQuery connectionの仕組みを利用してVertex AIで提供されるモデルを
    SQL内で関数と利用可能
    Duet AI
    Bard

    View Slide

  21. 本日話す内容
    • 機械学習と生成AIとLLM
    • Google CloudのLLMでできること
    • 使い始める
    Google Cloudで手軽にLLMを使ってみようぜ!というお話

    View Slide

  22. 使い始める
    デモ : 実際に動かしてみてその動きを確認していこうぜ!
    • まずはサクッと試してみよう
    • キャラクター設定をしてチャットをしてみよう
    • コード化してColab Enterpriseから利用してみよう
    • BigQueryから使ってみよう

    View Slide

  23. ※ 以降はデモで行った内容のスクリーンショットとなります。

    View Slide

  24. デモ内容
    まずはサクッと試してみよう

    View Slide

  25. デモ内容
    まずはサクッと試してみよう

    View Slide

  26. デモ内容
    キャラクター設定をしてチャットをしてみよう

    View Slide

  27. デモ内容
    コード化してColab Enterpriseから利用してみよう

    View Slide

  28. デモ内容
    コード化してColab Enterpriseから利用してみよう

    View Slide

  29. デモ内容
    コード化してColab Enterpriseから利用してみよう

    View Slide

  30. デモ内容
    おまけ: Duet AIによるコード保管
    コードを書く際にはDuet AIが候補を出してくれる

    View Slide

  31. デモ内容
    BigQueryから使ってみよう

    View Slide

  32. まとめ
    • LLMは大規模なデータで自然言語の表現を学習することで次の単語を予測できるようにする
    • Googleが開発したLLMであるPaLM2はGoogle CloudやWorkspaceなどと連携して様々な
    場面で利用できる
    • Vertex AIのコンソール画面などから簡単に試してみることが可能
    Google Cloudで手軽にLLMを使ってみようぜ!というお話をしました。

    View Slide

  33. 33

    View Slide