LT - Gemma Developer Time

GDGs Innovative Crosstalk at 東大 【関西 x 東京】のLTセッションでの登壇資料です
https://gdgkwansai.connpass.com/event/329411/

Transcript

1. Gemma Developer Time GDGs Innovative Crosstalk @ 東大
2. Gemma 概要 •“A family of lightweight, state-of-the art open models built from the same research and technology used to create the Gemini models” •特徴 • 規模において比類のないパフォーマンス • フレームワークの柔軟性 • 責任に配慮した設計 2024/10/19 3
3. Gemma 概要 •“A family of lightweight, state-of-the art open models built from the same research and technology used to create the Gemini models” •特徴 • 規模において比類のないパフォーマンス • フレームワークの柔軟性 • 責任に配慮した設計 2024/10/19 4
4. パラメータ数の比較 2024/10/19 5
5. パラメータ数の比較 2024/10/19 6
6. Nejumi LLMリーダーボード3 2024/10/19 7
7. 実際に動かしてみよう！ 2024/10/19 8
8. デモ ローカル実行（MacBook） 2024/10/19 9 • usr: 次の文章を和訳してください．To be or not to be, that is the question; Whether ’tis nobler in the mind to suffer The slings and arrows of outrageous fortune, Or to take arms against a sea of troubles And, by opposing, end them. • response: 「生きるか死ぬか、その答えは何か？」「苦難の矢や、不条理の波 に耐え忍ぶほうが賢明か、あるいは、敵対して困難を打ち破り、その苦しみを終 わらせるほうが賢明か。」 • response time: 6.06 秒
9. デモ ローカル実行（ラズパイ 5） 2024/10/19 10 • usr: 次の文章を和訳してください．To be or not to be, that is the question; Whether ’tis nobler in the mind to suffer The slings and arrows of outrageous fortune, Or to take arms against a sea of troubles And, by opposing, end them. • response: 「生きるか死ぬか、それは質問です。」「もっとも、苦しみを偲ぶほう が懸命なのか、あるいは、暴力的で不受理な運命の矢や医師を打ち破り、その 苦しみを終わらせるべきなのか。」 • response time: 57.08 秒
10. 柔軟なフレームワーク •JAX・TensorFlow・PyTorch とシームレスに互換性がある •拡張性も高く，Google Cloud との連携もスムーズ • Vertex AI：Gemma のデプロイとスケジューリングを容易に実現 • GKE：Gemma ベースのソリューションを Kubernetes に統合 • DataFlow：データパイプライン内で Gemma を活用 2024/10/19 11
11. 責任ある AI 開発 •設計による責任 •堅牢で透明性の高い評価 •責任ある開発の促進 2024/10/19 12
12. ShieldGemma •テキストプロンプトの安全性を評価するためのモデル •入力・出力が有害かどうかを判定 • 危険なコンテンツ • 嫌がらせ • ヘイトスピーチ • 露骨な性的情報 2024/10/19 13
13. デモ 2024/10/19 14
14. Gemmaファミリー • ShieldGemma • PaliGemma • CodeGemma • DataGemma • RecurrentGemma • 効率重視のモデル • Gemma Scope • Gemma 2 の内部理解 2024/10/19 15
15. PaliGemma •視覚言語モデル（Vision-Language Model; VLM） •実施タスク • キャプションの作成 • オブジェクトの検出 • 画像に埋め込まれたテキストの読み取り 2024/10/19 16
16. デモ 2024/10/19 17
17. CodeGemma •コーディングタスク用にファインチューニングされたモデル •実施タスク • コードの補完 • プレフィックス・サフィックスからのコード生成 2024/10/19 18
18. デモ func main() { // Create a channel of strings ch := make(chan string) // Start a goroutine to send strings to the channel go func() { ch <- "Hello, world!" ch <- "This is a string from a goroutine." close(ch) }() // Use a range over function to receive strings from the channel for s := range ch { fmt.Println(s) } } 2024/10/19 19
19. DataGemma •Data Commons を利用 •データに基づいて回答 • 検索インターリーブ生成（RIG） • 検索拡張生成（RAG） 2024/10/19 20
20. デモ 2024/10/19 21
21. ライブデモ •Firebase Genkit： AI を活用したアプリケーションと機能の構築に役立つように設計さ れたフレームワーク • AI 生成のための統合 API • 構造化生成 • ツールの呼び出し • 検索拡張生成 • プロンプト テンプレート 2024/10/19 22
22. まとめ •Gemma は軽量で高性能なモデル •倫理面・拡張性に配慮 •さまざまなタスク特化モデルが存在 2024/10/19 23
23. カラーコード •メイン 3688d6 •アクセントf0c74a •テキスト 333333 2024/10/19 24