GemmaをJevのように使ってみる / Use Gemma like Jev

2026年10月1日に開催されたGemma Meetup 2026での登壇資料です。
https://gdg-tokyo.connpass.com/event/405340/

1. GemmaでJevぽいことをする 2026-10-01 Gemma Meetup 2026 きしだ なおき
2. 自己紹介 • • • きしだ なおき X(twitter): @kis blog: きしだのHatena • • (nowokay.hatenablog.com) 「プロになるJava」というJavaの本を書いてます 2026/10/01 2
3. Jevとは • • 1トークンで複数の選択の確率を返す 通常のLLMのトークン候補確率を最終結果に使えば同じことがで きる 3
4. llama.cppにJev互換APIを生やす • llama.cppにJev互換APIを生やしてどんなモデルでも使えるよう にする • • https://github.com/kishida/llama.cpp/blob/jev/docs/jev.md きしだのGitHubのjevブランチ 2026/10/01 4
5. モデルごとの性能 • Gemma 12Bや31Bのサイズ-性能比がいい
6. レイテンシ • レイテンシを考えるとGemma 4 26B-A4Bがいい
7. 画像性能 • • 表情の判定などはどのモデルも使える ゲームにはサイズが必要 • よくあるデモは方向にbestやsafe, unsafeなどヒントがある • ただしい使い方ではある。ロジカルに判断できることをJevにやらせない
8. 小サイズに専用モデルを作る • Qwen3をベースに学習 • • https://huggingface.co/kishida/jwenv-1.7b-poc-gguf データセットをGemma 4 12Bで作成
9. まとめ • • JevっぽいことをするのにGemma 4が使いやすい 学習データを作るのにGemma 4が使いやすい • • 日本語の扱いに強い DiffusionGemmaベースのdjevもある