Google Cloudで始めるLLM

Transcript

1. Google Cloudで始めるLLM
   データアナリティクス事業本部
   じょんすみす
   

   View Slide

2. 自己紹介
   じょんすみす
   データアナリティクス事業本部
   インテグレーション部
   機械学習チーム
   特徴
   • 機械学習やってるっぽい
   • PythonよりRの方が好きらしい
   • Excelだけ全部やれと言われたら出来ないこともない
   • Hadoop, EMRおじさん
   アイコン→
   今回の移動経路→
   

   View Slide

3. 本日話す内容
   • 機械学習と生成AIとLLM
   • Google CloudのLLMでできること
   • 使い始める
   Google Cloudで手軽にLLMを使ってみようぜ！というお話
   

   View Slide

4. 本日話す内容
   • 機械学習と生成AIとLLM
   • Google CloudのLLMでできること
   • 使い始める
   Google Cloudで手軽にLLMを使ってみようぜ！というお話
   

   View Slide

5. 機械学習と生成AIとLLM
   本発表における用語は以下のように定義します。
   必ずしも一般的にそのまま適用されるものではありませんのでご注意ください。
   • 機械学習(教師あり学習)
   • 与えられたデータの組み合わせ𝐱, 𝑦から𝑦 = 𝑓(𝐱; 𝜃)を求める𝜃を決める
   • 𝑦が未知の𝐱に対して予測が可能になる
   • 生成AI
   • 言語、画像、音声などを問わずそのまま人間が利用するものを出力する
   • 利用する手法自体が生成モデルであるかとは関係ないものとする
   • LLM(Large Language Model)
   • TransformerのDecoder部分を利用してたモデル全般
   • 次の単語を予測するように事前学習したもの
   

   View Slide

6. Transformerの動きについて
   本発表でLLMが指し示すものを明確にするために、対象の範囲を決めておきます。
   • 何を学習させるか？
   • 何を推論するか？
   • どのように利用するか？
   

   View Slide

7. 何を学習するか？
   学習時はデータとなる文章から次の単語※1を予測する。
   Embedding
   Positional Encoding
   Masked
   Multi-Head
   Attention
   Add & Norm
   Feed Forward
   Add & Norm
   Linear
   softmax
   𝐱 input
   𝑦
   N層
   𝑦 : 次に来ると予測した単語
   𝐱 :これまでの文章を単語に分けたリスト
   「吾輩は猫である」という文章があるときに
   • 𝐱 : 吾輩、𝑦 : は
   • 𝐱 : 吾輩は、𝑦 : 猫
   • 𝐱 : 吾輩は猫、𝑦 : で
   • 𝐱 : 吾輩は猫で、𝑦 : ある
   のような情報を学習データさせる※2
   ※1 文章の分割という意味でトークンではなく単語で統一
   ※2 厳密には文の先頭を示す文字と末尾を示す特殊文字を含む
   

   View Slide

8. 何を推論するか？
   推論時には途中まで与えたデータから連続して次の単語を予測していく。
   1. 次の単語候補とその確率が複数出る※
   ※ 実際には予測可能な全単語に対しての確率が算出される
   

   View Slide

9. 何を推論するか？
   推論時には途中まで与えたデータから連続して次の単語を予測していく。
   1. 次の単語候補とその確率が複数出る※ 2. さらにその次も複数予測する
   ※ 実際には予測可能な全単語に対しての確率が算出される
   

   View Slide

10. 何を推論するか？
    推論時には途中まで与えたデータから連続して次の単語を予測していく。
    1. 次の単語候補とその確率が複数出る※ 2. さらにその次も複数予測する
    3. その中から絞っていく
    4. 最終的に全体を通してもっとも自然な文章を選択
    ※ 実際には予測可能な全単語に対しての確率が算出される
    

    View Slide

11. どのように利用するか？
    LLMを動かす場所は大きく分けて2種類あります。
    クラウドサービスを利用する 動かすサーバを用意する
    • APIからリクエストを発行して利用
    • モデルの学習などはサービス提供者が実施済み
    • Web UIなどを提供している場合もある
    • fine-tuningが可能なものもある
    • ライブラリとして利用するイメージ
    • 世にある事前学習モデルを利用
    • ゼロから学習させることも可能
    • 高性能なハードウェアを用意する必要がある
    

    View Slide

12. どのように利用するか？
    LLMを動かす場所は大きく分けて2種類あります。
    クラウドサービスを利用する 動かすサーバを用意する
    • APIからリクエストを発行して利用
    • モデルの学習などはサービス提供者が実施済み
    • Web UIなどを提供している場合もある
    • fine-tuningが可能なものもある
    • ライブラリとして利用するイメージ
    • 世にある事前学習モデルを利用
    • ゼロから学習させることも可能
    • 高性能なハードウェアを用意する必要がある
    Google CloudのLLMはコチラ
    簡単に使い始めることが可能です
    

    View Slide

13. 本日話す内容
    • 機械学習と生成AIとLLM
    • Google CloudのLLMでできること
    • 使い始める
    Google Cloudで手軽にLLMを使ってみようぜ！というお話
    

    View Slide

14. PaLM2 : Googleが提供するLLM
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    

    View Slide

15. 連携対象となる各種サービス
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    説明の都合上簡略化しています
    アプリケーションは単体のGoogleアカウントなどからも利用可能です
    ※
    

    View Slide

16. 連携対象となる各種サービスとPaLM2
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    

    View Slide

17. Bard
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    Bard
    Bard
    自然言語をインターフェースとした対話や各種アプリケーションとの連携が可能な
    単体のアプリケーション
    

    View Slide

18. Duet AI
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    Duet AI
    文書作成やコーディングの際において、後続の文書を予測することで
    補完する仕組みを提供する
    Duet AI
    Bard
    

    View Slide

19. Vertex AI Generative AI Studio
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    Vertex AI Generative AI Studio
    Vertex AI内で機械学習の仕組みとしてPaLM2を利用する
    APIからの呼び出しの実現やfine-tuningの実施といったことが可能
    Duet AI
    Bard
    

    View Slide

20. BigQuery
    組織
    Google Cloud Workspace
    Docs Sheets
    Slides Gmail
    etc.
    各種Googleのサービス
    BigQuery
    Vertex AI
    etc.
    PaLM2
    モデルサイズ
    • Gecko
    • Otter
    • Bison
    • Unicorn
    用途
    • Text
    • Chat
    • Code
    LLMモデル
    BigQueryの関数として利用
    BigQuery connectionの仕組みを利用してVertex AIで提供されるモデルを
    SQL内で関数と利用可能
    Duet AI
    Bard
    

    View Slide

21. 本日話す内容
    • 機械学習と生成AIとLLM
    • Google CloudのLLMでできること
    • 使い始める
    Google Cloudで手軽にLLMを使ってみようぜ！というお話
    

    View Slide

22. 使い始める
    デモ : 実際に動かしてみてその動きを確認していこうぜ！
    • まずはサクッと試してみよう
    • キャラクター設定をしてチャットをしてみよう
    • コード化してColab Enterpriseから利用してみよう
    • BigQueryから使ってみよう
    

    View Slide

23. ※ 以降はデモで行った内容のスクリーンショットとなります。
    

    View Slide

24. デモ内容
    まずはサクッと試してみよう
    

    View Slide

25. デモ内容
    まずはサクッと試してみよう
    

    View Slide

26. デモ内容
    キャラクター設定をしてチャットをしてみよう
    

    View Slide

27. デモ内容
    コード化してColab Enterpriseから利用してみよう
    

    View Slide

28. デモ内容
    コード化してColab Enterpriseから利用してみよう
    

    View Slide

29. デモ内容
    コード化してColab Enterpriseから利用してみよう
    

    View Slide

30. デモ内容
    おまけ: Duet AIによるコード保管
    コードを書く際にはDuet AIが候補を出してくれる
    

    View Slide

31. デモ内容
    BigQueryから使ってみよう
    

    View Slide

32. まとめ
    • LLMは大規模なデータで自然言語の表現を学習することで次の単語を予測できるようにする
    • Googleが開発したLLMであるPaLM2はGoogle CloudやWorkspaceなどと連携して様々な
    場面で利用できる
    • Vertex AIのコンソール画面などから簡単に試してみることが可能
    Google Cloudで手軽にLLMを使ってみようぜ！というお話をしました。
    

    View Slide

33. 33
    

    View Slide