[AI LLM] Gemma 初體驗 @ GDG Cloud Taipei Meetup #70

[AI LLM] Gemma 初體驗 @ GDG Cloud Taipei Meetup #70
2024/12/12

在尋找中文的開源大型語言模型 (LLM)？可以自己架一個 Gemma 來玩！
Gemma 採用與 Gemini 模型時相同的研究成果和技術，至於怎麼服用？可以來看看

Transcript

1. Gemma 初體驗 Johnny Sung
3. Full stack developer Johnny Sung (宋岡諺) https://fb.com/j796160836 https://blog.jks.co ff ee/ https://www.slideshare.net/j796160836 https://github.com/j796160836
4. 大 綱 •Gemma 介紹 •AI 語 言 模型 大比 拼 •如何取得？ •如何架設？
5. https://medium.com/@dilipkashyap15/googles-new-ai-model-gemini-now-available-in-bard-here-is-how-to-use-259386d6bd68
6. https://ai.google.dev/gemma?hl=zh-tw#gemma-2
7. Gemma 家族 •Gemma：熟知類似 Gemini 的開源模型 •CodeGemma：Gemma for coding •PaliGemma：圖形識別 •RecurrentGemma：根據 Gri ff i n 是 一 種混合型模型架構 •ShieldGemma：加強安全性與規範的版本
8. AI 大比 拼 https://www.storm.mg/lifestyle/3901220
9. 評選標準 •GPU 卡跑得動 •繁體中 文 •通 用 性佳
10. GPU 跑不跑得動？ https://huggingface.co/spaces/Vokturz/can-it-run-llm （推論） （vRAM 大小 ） （模型 大小 ）
11. https://huggingface.co/spaces/Vokturz/can-it-run-llm
12. https://huggingface.co/spaces/Vokturz/can-it-run-llm
13. https://huggingface.co/spaces/Vokturz/can-it-run-llm
14. 選 手 介紹 Gemma-2-9B TAIDE-LX-8B MR Breeze-7B TAIDE 計畫是由財團法 人 國 家實驗研究院 (國研院) 致 力 於開發符合台灣語 言 和 文 化特性的 生 成式 人工 智慧 對話引擎模型 基於 Llama3 開發並建置 聯發創新基地 (MediaTek Research) 基於 Mistral-7B 開發出 開源的 MediaTek Research Breeze-7B 模型 採 用 與建 立 Gemini 模型時 相同的研究成果和技術， 開源 LLM 模型 https://huggingface.co/chienweichang/Llama3-TAIDE-LX-8B-Chat-Alpha1-GGUF https://huggingface.co/MediaTek-Research/Breeze-7B-Instruct-v1_0 https://huggingface.co/google/gemma-2-9b
22. https://www.facebook.com/coolermasterTW/photos/%E4%BD%A0%E7%9A%84-4090-%E5%8F%AF%E4%BB%A5%E7%9C%8B-youtube%E6%88%91%E7%9A%84-cpu-%E5%85%A7%E9%A1%AF%E4%B9%9F%E5%8F%AF%E4%BB%A5%E7%9C%8B-youtube%E6%88%91%E5%80%91%E4%B9%8B%E9%96%93%E6%B2%92%E6%9C%89%E5%B7%AE%E5%88%A5%E5%B0%8D%E5%90%A7-coolermaster-makeityours-%E6%A2%97%E5%9C%96-%E5%B7%AE/862187132789920/
23. 如何取得？ • 自己 架 •Vertex AI •Google AI Studio
24. Vertex AI Google Ai Studio https://makersuite.google.com/ https://console.cloud.google.com/vertex-ai/generative/ language/create/text
25. 自己 架？No Way
26. 首 先，你要有張 NVIDIA 的卡 （誤）
27. https://www.bankrate.com/investing/what-is- fi at-money/
28. 不 用 啦！ 用 Google Cloud 就好 ☺
29. 自己 架 •Ollama https://ollama.com/ •Open webui https://openwebui.com/ •Kubernetes (K8s) •NVIDIA GPU Operator • …
30. https://ollama.com/download
31. 踩到的雷 •GPU 的分割 方 式 •GPU 不 小心 被佔滿 •docker-compose 注意 GPU 數量
32. Q & A https://pixabay.com/illustrations/universe-person-silhouette-stars-1044107/