３大クラウドLLMバトル！ The Big Three Cloud LLM Battle

AI駆動開発(AI-Driven Development) 勉強会（第1回）
https://aid.connpass.com/event/306406/

Transcript

1. 3大クラウドLLMバトル！?
 KAG Generative AIラボ：御田/三宅/中島/(豊嶋) 2024.2.2
2. KAGの紹介 社名 KDDIアジャイル開発センター株式会社 所在地 東京都港区虎ノ門二丁目 10番1号（本社） （舞鶴/三島/那覇/秋田/高崎/札幌） 代表取締役社長 木暮　圭一 事業内容 アジャイル開発事業および保守事業 設立年月日 2022年5月12日 社員数 162名 職種比率 エンジニア82%、デザイナ9%、その他9% 約10年間“アジャイル開発”にこだわり続けてきた DX専業のエンジニア集団 2022年にKDDI本体からスピンアウトする形で新会社設立
3. KAGAIラボの紹介 KAG Generative AI Lab（通称KAGAIラボ） 日々生成AIのキャッチアップとプロトタイプ開発を行い、実践的なノウハ ウを集約し社内の開発チームへ還元することで、最終的にはお客様へ価 値貢献できるように目指しています。
 KAGAIラボという略称のとおり、課外活動のように各メンバーが自主的 に、かつ遊び心を持って新技術の研鑽に日々励んでいます。

4. 登壇メンバーの紹介 MINORU ONDA 御田 稔 テックエバンジェリスト JUNYA MIYAKE 三宅 潤也 ソフトウェアエンジニア /スクラムマスター TOMOHIRO NAKAJIMA 中島 智弘 ソフトウェアエンジニア /プロダクトオーナー 法人顧客との新規共創事業をアジャイル開発 で推進する傍ら、
 チームビルディングや業務改善を促進するふ りかえりWebサービス「anycommu」のプロダク トオーナーとして活動。 4Gモバイルネットワーク立ち上げ期の開発・ 検証・運用を経て、ホームIoT、XR、MaaS、au コンシューマ領域のDXプロジェクトでソフトウェ アエンジニア/スクラムマスターとして従事。 2023年よりKDDIソフトウェア技術部と兼務する 形でKAGへ出向し、AWSや生成AIを中心とし た内製開発に携わりつつ、そこで得た知見や 社内の優秀なエンジニアを社外へ発信する活 動を行っている。
5. KDDI Agile Development Center Corporation それぞれのLLMの いいところはどんなところ？ 　Azureのターン
6. Azure OpenAI Service(Azure) Azureのここが推し！その① 先行者ならではの絶対的な認知度、高い精度を誇るOpenAIのモデルを 利用可能なAzure OpenAI Service🔥 • ChatGPTと同じOpenAIのGPTモデルが使える • パブリックなOpenAI APIを比較してエンタープライズ利用時に嬉しいこと ◦ マイクロソフトのエンタープライズレベルのサポート ◦ マクロソフトのポリシーに基づいたエンタープライズレベルのセキュリティとコンプライアン ス
7. Azure OpenAI Service(Azure) RAGを実現する上で検索サービスとして必要な超強力機能を持っている • フルテキスト検索、ベクトル検索、両方を組み合わせたハイブリッド検索 • Bingの検索エンジンでも利用されているセマンティック検索 ◦ 単にキーワードの一致を探すのではなく、クエリと文書の意味内容（セマンティクス）を理解し、関連性のある結果を返す検索方法 • メタデータでフィルタして検索対象を絞ることで回答精度向上 Azureのここが推し！その② ドキュメント検索、ベクトルストア、いろいろできちゃう万能の 検索サービスAI Search🔥
8. Azure OpenAI Service(Azure) ここに来れば全てが揃う 👍 ０ベースで学習するときに専門用語からライブラリの使い方まで Step by Stepで解説 どのクラウドサービスかに依存しないアーキテクチャなどの普遍的な概念やテクニックの解説 主なコンテンツ • トレーニング • ドキュメント • 認定資格 • Q&A • コードサンプル Azureのここが推し！その③ 圧倒的な情報量でMS製品を活用するためのプラットフォームのLearn🔥 こんなバチバチなドキュメントも🔥🔥🔥
9. Azure OpenAI Service(Azure) • あるリソースをデプロイしてユーザーが利用開始になるまで課金が 始まらない • 他のクラウドはリソース作成した瞬間から課金開始 Azureのここが推し！おまけ ユーザーフレンドリーな課金タイミング🤑
10. KDDI Agile Development Center Corporation それぞれのLLMの いいところはどんなところ？ AWSのターン
11. Amazon Bedrock (AWS) Bedrockの特徴 - 色んな会社の生成AIモデルが使える - 完全サーバーレス！インフラのデプロイや管理が不要 - 成熟した各種AWSサービスと連携しやすい 開発者に絶大な人気を誇るAWSの生成AIサービス！
12. Amazon Bedrock (AWS) わたしがBedrockを推すワケ - 開発者みんな大好きなAWSをフルに使ってLLMアプリが作れる！ - ユーザーたちのアウトプット量がとにかく凄い。調べ物で困らない - 既存のAWSアプリにサクッと組み込んで生成AI活用もしやすい コミュニティの叡智を最高に活かせるのがBedrock
13. Amazon Bedrock (AWS) わたしのBedrockおススメ機能：Agents for Amazon Bedrock - AWSマネコンから簡単に「AIエージェント」が作れる - ユーザーの依頼に対して、Lambda実行や社内文書検索を”適宜”実行 - 珍しくAWSが他社より早くマネージドサービス化しているLLM機能 GUIポチポチで簡単にAIエージェントを作ってみよう！
14. KDDI Agile Development Center Corporation それぞれのLLMの いいところはどんなところ？ Google Cloudのターン
15. 15 KDDI Agile Development Center Corporation 所属：KDDIアジャイル開発センター株式会社
 　　　KDDI株式会社KDDI DIGITAL GATE（兼務）
 
 国内SIerにて、携帯電話ソフトウェア開発、IoT自社サービスの企画 を経て2020年11月より現職。
 法人顧客との新規共創事業をアジャイル開発で推進する傍ら、
 チームビルディングや業務改善を促進するふりかえりWebサービス 「anycommu」のプロダクトオーナーとして活動。
 KDDIグループのふりかえり支援活動も行っている。
 
 過去登壇：
 ・ふりかえりカンファレンス2023
 ・ChatGPT meetup Tokyo #3
 ・Scrum Fest Osaka 2023 ・Scrum Fest Sendai 2023 ・Regional Scrum Gathering Tokyo 2024 
 代表曲：
 ・Fun Done Learnのうた
 ・象、死んだ魚、嘔吐のうた
 自己紹介：中島 智弘
16. 16 KDDI Agile Development Center Corporation Google Cloudで使えるLLM
 • 2023年5月 Google I/OにてPaLM2公開
 • 2023年12月 Gemini1.0発表
 ◦ 学習や推論にかかる時間が短い
 • PaLMより利用しやすいように設計されている
 ◦ ３種類のGemini
 • Gemini nano デバイス上のタスクに最も効率的
 • Gemini Pro 幅広いタスクに対応する最良のモデル(2024年1月 現在のBard）
 • Gemini Ultra 複雑なタスクに対応、高性能かつ最大のモデル
 
 VertexAI (Google Cloud)
 https://gigazine.net/news/20240129-google-bard-win-gpt-4/
17. 17 KDDI Agile Development Center Corporation Google Cloudを選んでいる理由
 • 私達のチームではFirebaseを中心にPoCで活用している • 「Cloud Functions for Firebase(第２世代)」の制約が少ない！
 ◦ LangChainをはじめLLM関係でライブラリが全部入る
 • インストールするとかなりのサイズになる • 中身はDockerだけど意識しなくて作れる ◦ 同時に処理できるリクエスト数やインスタンス数を柔軟に変えられる • Cloud Functions for Firebase（第 2 世代）では、インスタンス数を管理するだけでなく、 concurrency オプションを使用して、インスタンスが同時に処理できるリクエスト数を制御できます。 同時実行のデフォルト値は 80 ですが、1～1,000 の任意の整数に設定できます。 
 • https://cloud.google.com/functions/docs/concepts/version-comparison?hl=ja 
 
 
 • 作成したWebアプリが急遽社内部署(100人以上)に全展開されることに…！
 ◦ 少しのパラメータ変更で事なきを得る　スモールスタートするには最高っっ！！！ 
 VertexAI (Google Cloud)

18. 18 KDDI Agile Development Center Corporation VertexAI 全体像＆どうつかっているか？
 2021年5月〜 機械学習（ML）プラットフォーム 生成 AI のモデルとツール 130件以上 Google のテキストモデル、画像モデル、コードモデル用 のさまざまなチューニング オプションを使用して、ユース ケースに合わせてモデルをカスタマイズできます 
 https://cloud.google.com/vertex-ai?hl=ja 
 
 基盤モデルをベースに構築
 ◦ LLM:gemini-pro
 ◦ RAGのベクトルDB：
 • 最初Functions上にChromaDB
 ⇒VertexAI VectorSearch
 　(旧MatchingEngine)置換中…
 
 • やりとりはLangChain経由で実現
 ◦ ライブラリが豊富
 VertexAI (Google Cloud)
 https://zenn.dev/google_cloud_jp/articles/google-cloud-generative-ai
19. KDDI Agile Development Center Corporation まとめ 結局どれがいいの？ 今後活用していく上で課題となりそうな点は？
20. Be a Change Leader. アジャイルに力を与え
 共に成長し続ける社会を創る