用 Gemma 3 開放模型來解決企業難解的問題 @ COSCUP 2025

Google 在今年 3 月推出了的 Gemma 3 開放模型，承載者 Gemma 2 的優勢，可說是全新改版， 在地端有限的資源，將商用 GPU 卡效益發揮得淋漓盡致， 企業在處理例如個資等敏感資訊的時候，更為小心與注意。而這個地端模型，除了增進各種文書效率之外， 剛好可以解決企業例如個人資料保護與過濾等敏感的問題，就看如何實作與應用吧！

Transcript

1. Johnny Sung 用 Gemma 3 開放模型 來解決企業難解的問題
2. Full stack developer Johnny Sung (宋岡諺) https://fb.com/j796160836 https://blog.jks.co ff ee/ https://www.slideshare.net/j796160836 https://github.com/j796160836
3. 以下內容與 方 法為本次演講特別設計， 是我個 人 的獨立創作與發想， 專為活動展 示 之 用 。 與我 現任公司的立場或業務無關 如有雷同...很 高 興有講到你 心 坎裡 這世界上想解決的問題可能都差不多（？） Disclaimer 我將以 一 個使 用 者的 角 度，坦誠分享我的經驗， 不論優缺點都將 一一 呈現。我相信有批評才有進步。
4. 大 綱 •開源語 言 模型 Gemma 3 介紹 •企業想解決的問題、痛點 •對應的解決 方 法 •LLM 大 比 拼
5. Gemma3 介紹 •Gemma 3 是 Google 最新 一 代，多模態，開源 大 語 言 模型 (LLM)，建基 於與 Gemini 2.0 相同的研究和技術。它有四種不同的參數 大 小 ：1B、 4B、12B 和 27B，讓您可以根據硬體配置和效能需求選擇最適合的模型。 主要特 色 https://huggingf a ce.co/blog/gemm a 3 https:// a i.google.dev/gemm a /docs/core?hl=zh-tw •多模態能 力 ：4B、12B 和 27B 版本可以處理 文 字和圖像輸 入 （1B 版本僅 支 援純 文 字） •超 長 上下 文 窗 口 ： 支 援 128K token 的上下 文長 度， 比 之前版本增加了 16 倍 （1B 版本僅 32K token 上下 文長 度） •多語 言支 援： 支 援超過 140 種語 言 （1B 版本僅 支 援英 文 ） •函數呼叫調 用 ： 支 援 自 然語 言 介 面 進 行 程式設計互動
6. Gemma3n 介紹 •Gemma 3n 是針對 手 機等 行 動裝置最佳化處理的 生 成式 AI 模型。這 個模型包含每層嵌 入 (PLE) 參數快取功能，以及 MatFormer 模型架 構，可靈活減少運算和記憶體需求。另外這些模型可處理 音 訊輸 入 內 容、 文 字和視覺資料。它有 二 種不同的參數 大小 e2b、e4b。 主要特 色 •動態參數調整：使 用 MatFormer (Matryoshka Transformer) 架構，在單 一大 型模型中巢狀 一 個 小 模型。可針對每個需求，有選擇地啟 用 切換模型參數，以降低運算成本和回應時 間。 • 音 訊輸 入 ：處理 音 訊資料，以便進 行 語 音 辨識、翻譯和 音 訊資料分析。 •視覺編碼器： 高 效能 MobileNet-V5 編碼器可 大 幅提升視覺資料處理速度和準確度。 https:// a i.google.dev/gemm a /docs/gemm a -3n?hl=zh-tw
7. Gemma3 的授權 https:// a i.google.dev/gemm a /terms
8. Gemma 的授權條款主要有以下幾個重點： 核 心 精神： • 開放與商 用 ： Gemma 是 一 個開源模型，並且其權重是開放的，允許負責任的商業 用 途。這代表您可以在 自己 的專案和應 用 程式中進 行 調整和部署。 使 用 限制與責任： • 禁 止用 途政策 (Prohibited Use Policy)： 使 用 Gemma 服務時，您必須遵守「Gemma 禁 止 用 途政策」。這項政策明確列出了 一 些禁 止 的 用 途，例 如： ◦ 從事、促進或宣傳非法活動。 ◦ 產 生 或散播仇恨 言 論、暴 力 內容。 ◦ 用 於惡意、詐欺或釣 魚 等活動。 ◦ 試圖覆蓋或規避安全過濾器。 ◦ 生 成可能對個 人 或群體造成傷害的內容。 • 您的責任： 您需要對您使 用 Gemma 產 生 的所有內容負責，包括您輸入的 文 字、圖片以及模型輸出的內容。不得使 用 Gemma 創作、上傳或分享侵犯 第三 方 版權、商標、隱私權或其他權利的內容。 • 無擔保： Gemma 的使 用 不附帶任何形式的保證或承諾，您需要 自行 承擔使 用 風險。 其他重要事項： • 模型衍 生 物： 如果您基於 Gemma 的輸出內容訓練出新的模型，該模型將被視為 Gemma 的衍 生 物，同樣受到 Gemma 授權條款的約束。 • 保持更新： 條款中提到，您必須做出「合理努 力 」來使 用 最新版本的 Gemma。 • 無機密性： 您輸入的內容（除非是客 戶 資料）不會被視為機密資訊，因此不應在輸入中包含您受限使 用 或分享的資料。 Gemma3 的授權 （AI 整理）
9. Instruction Tuned 參數 大 小 BF16 (16 位元) Q4_0 (4 位元) INT4 (4 位元) 多模態 Multilingual 多語系 Input Context Window gemma-3-1b-it 10 億 1.5 GB 892 MB 861 MB ❌ English 32K gemma-3-4b-it 40 億 6.4 GB 3.4 GB 3.2 GB ✅ ( 文 字、圖 片 ) +140 語 言 128K gemma-3-12b-it 120 億 20 GB 8.7 GB 8.2 GB ✅ ( 文 字、圖 片 ) +140 語 言 128K gemma-3-27b-it 270 億 46.4 GB 21 GB 19.9 GB ✅ ( 文 字、圖 片 ) +140 語 言 128K oll a m a 預設採 用 Huggingf a ce 上 有釋出最 大 的 選擇建議 • 入門 用戶 ：選擇 gemma-3-4b-it •需要 高 效能：選擇 gemma-3-12b-it 或 gemma-3-27b-it •記憶體受限：選擇 GGUF 量化版本，如 gemma-3-4b-it-qat-q4_0-gguf 我要選多 大 的模型？ 模型 大小 、硬體效能 與 準確度 的平衡 或者改選 gemm a 3n 😊
10. 我要選多 大 的模型？ 模型 大小 、硬體效能 與 準確度 的平衡 NVIDIA GPU 系列 型號 (VRAM) Gemm a 3 4B (約需 3.5GB VRAM) Gemm a 3 12B (約需 9GB VRAM) Gemm a 3 27B (約需 20GB VRAM) GeForce RTX 40 系列 (Ad a Lovel a ce) RTX 4090 (24GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 建議 RTX 4080 / Super (16GB) ✅ 強烈建議 ✅ 建議 ❌ 不建議 RTX 4070 Ti / Super (12GB/16GB) ✅ 強烈建議 ✅ 建議 ❌ 不建議 RTX 4070 / Super (12GB/8GB) ✅ 強烈建議 (12GB) ✅ 建議 (12GB) ❌ 不建議 RTX 4060 Ti (8GB/16GB) ✅ 建議 ⚠ 可 行 (16GB) ❌ 不建議 GeForce RTX 30 系列 (Ampere) RTX 3090 / Ti (24GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 建議 RTX 3080 / Ti (10GB/12GB) ✅ 強烈建議 ✅ 建議 (12GB) ❌ 不建議 RTX 3070 / Ti (8GB) ✅ 建議 ❌ 不建議 ❌ 不建議 RTX 3060 (12GB) ✅ 強烈建議 ✅ 建議 ❌ 不建議 專業級 RTX Ad a /Ampere 系列 RTX 6000 Ad a (48GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 RTX 5000 Ad a (32GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 RTX A6000 (48GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 RTX A5000 (24GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 建議 資料中 心 GPU (Hopper/Ampere) H100 (80GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 A100 (40GB/80GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 此表格主要基於 4-bit 量化 (4-bit Qu a ntiz a tion) 版本的 Gemm a 3 模型 （AI 整理）
11. 我要選多 大 的模型？ •Apple Silicon 的最 大 優勢在於其 統 一 記憶體架構 (Uni fi ed Memory Architecture, UMA)。 這意味著 CPU 和 GPU 共享同 一 塊記憶體， 沒有傳統 PC 上「系統 RAM」和「顯 示 VRAM」之間的隔閡與速度瓶頸。 Apple Silicon 晶片 (統 一 記憶體) Gemm a 3 4B (~3.5GB) Gemm a 3 12B (~9GB) Gemm a 3 27B (~20GB) M-系列 (8GB) ✅ 建議 ⚠ 可 行 但吃緊 ❌ 不建議 M-系列 (16GB) ✅ 強烈建議 ✅ 建議 ❌ 不建議 M-Pro/M a x (24GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 建議 M-Pro/M a x (32GB / 36GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 M-M a x (48GB / 64GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 M-Ultr a (64GB / 128GB / 192GB) ✅ 強烈建議 ✅ 強烈建議 ✅ 強烈建議 此表格主要基於 4-bit 量化 (4-bit Qu a ntiz a tion) 版本的 Gemm a 3 模型 （AI 整理）
12. 我要選多 大 的模型？ 模型 大小 、硬體效能 與 準確度 的平衡 推論時間固定 模型越 大 硬體資源固定不變 模型越 大 硬體資源固定不變 模型越 小 準確度 高 速度快 模型 大 貴 慢 不存在 超貴 硬體資源 大 （理論上訓練完美的模型）
13. https:// a i.google.dev/gemm a /docs/core?hl=zh-tw https://soco-st.com/19203
14. Huggingf a ce 上 有釋出最 大 的 原始訓練出的模型 （參考 用 ） oll a m a 預設採 用 https://soco-st.com/25562 https:// a i.google.dev/gemm a /docs/core?hl=zh-tw
15. oll a m a 預設採 用 💰 中 高 階顯卡 RTX 6000 Ad a (48GB) RTX A6000 (48GB) 能跑全速版，剛好頂滿 🎱 中 高 階遊戲顯卡 RTX 4090 (24GB) RTX 3090 / Ti (24GB) 能順跑！ 🎮 遊戲顯卡 RTX 4060 Ti (8GB/16GB) RTX 3070 / Ti (8GB) 還算能跑 🍎 蘋果系列 Apple Silicon (8GB / 16GB) 還算能跑 Huggingf a ce 上 有釋出最 大 的 https://soco-st.com/25542 https:// a i.google.dev/gemm a /docs/core?hl=zh-tw
16. Ollama 介紹 Ollama 是 一 個基於 Go 語 言 開發的簡單易 用 的本地 大 語 言 模型 (LLM) 運 行 框架。 讓 用戶 可以在 自己 的電腦上輕鬆部署和使 用 各種 AI 模型，如 Llama、Mistral、 CodeLlama 等。它提供簡單的指令 行 界 面 ， 支 援 macOS、Linux 和 Windows 系統。 Ollama 的優勢包括完全離線運 行 。使 用 者可以透過簡單的指令下載、管理和切換不同 的模型， 非 常適合開發者和對隱私有要求的使 用 者。 •Ollama https://ollama.com/ •Open webui https://openwebui.com/
17. Gemma3 開源模型在 ollama 上的版本 https://oll a m a .com/libr a ry/gemm a 3:27b https://oll a m a .com/libr a ry/gemm a 3:4b
18. https://oll a m a .com/libr a ry/gemm a 3n:e4b https://oll a m a .com/libr a ry/gemm a 3n:e2b Gemma3n 開源模型在 ollama 上的版本
19. 企業想解決的問題、痛點 https://soco-st.com/23788
20. 如果你要拿來寫程式...
21. Continue Continue 是 一 個開源的 AI 程式碼助理開發 工 具。它能讓開發者在 VS Code 和 JetBrains 等 IDE 中，輕鬆打造個 人 化的 AI 助理。Continue 的核 心 功能包含：能對程式碼庫進 行大 幅修改 的 Agent、可在 IDE 中與 大 型語 言 模型（LLM） 對話的 Chat、 用 於修改當前檔案程式碼的 Edit，以及提供 行 內程式碼建議的 Autocomplete。這個專案讓開發者可以利 用 AI 的 力 量，提升編碼效率與體驗。 https://github.com/continuedev/continue https://m a rketpl a ce.visu a lstudio.com/items?itemN a me=Continue.continue
22. Created by Firza Alamsyah from Noun Project Created by Edy Susanto from Noun Project Created by Firza Alamsyah from Noun Project Created by Firza Alamsyah from Noun Project LLM Inference Server Created by Edy Susanto from Noun Project Created by Edy Susanto from Noun Project Developer Developer Developer GPU GPU GPU Ollama 系統架構圖 Continue Continue Continue gpu by Firz a Al a msy a h from Noun Project (CC BY 3.0) https://thenounproject.com/icon/gpu-7911337/ Computer by Edy Sus a nto from Noun Project (CC BY 3.0) https://thenounproject.com/icon/computer-7898616/
23. 痛點：個 人 資料保護 •個資權限卡控 •個資隱碼
24. 個 人 資料定義？ 個 人 資料：指 自 然 人 之姓名、出 生 年 月日 、國 民 身 分證統 一 編號、護照號碼、特徵、指紋、婚 姻、家庭、教育、職業、病歷、醫療、基因、性 生 活、健康檢查、犯罪前科、聯絡 方 式、財務情 況、社會活動及其他得以直接或間接 方 式識別該 個 人 之資料。 個 人 資料保護法 （第 2 條，第 一 點） https://l a w.moj.gov.tw/L a wCl a ss/L a wAll. a spx?PCode=I0050021 https://www.legis-pedi a .com/ a rticle/government-fund a ment a l-rights/424 (Person a lly Identi f i a ble Inform a tion)
25. 為什麼使 用 個資相關作業要做隱碼？ •主要有兩個原因：法律義務與 風 險管理。 •實踐法律要求的「安全維護措施」 •法源概念：個資法第27條第1項規定：「 非 公務機關保有個 人 資料檔案者， 應採 行 適當之安全維護措施，防 止 個 人 資料被竊取、竄改、毀損、滅失或洩 漏。」 •說明：「隱碼」就是 一 種被廣泛採 用 的「適當之安全維護措施」。 當企業或機關必須處理、利 用 甚 至 在特定情況下展 示 部分個資時（例如網站公告得獎名單），透過 遮蔽部分資訊（如：王O明、A123***789），可以在滿 足 業務需求的同時， 大 幅降低個資被完整揭 露的 風 險，這正是法律要求的具體實踐。
26. 為什麼使 用 個資相關作業要做隱碼？ •達成「去識別化」，讓資料得以合法利 用 ： •法源概念：個資法第2條第1款定義了什麼是「個 人 資料」：指得以直接或間接 方 式 識別該個 人 之資料。 •說明：這條定義的反 面 解釋 非 常重要。如果 一 筆資料經過處理後，已經無法直接或 間接識別出特定是誰，那它就不再是個資法所規範的「個 人 資料」， 自 然也就不受 個資法中關於利 用 、傳輸等嚴格限制。 •「隱碼」是達成「去識別化」的 手 段之 一 。例如，將 一 組包含姓名的資料，全部處理成「王先 生 」、「陳 小 姐」，並移除其他可識別的欄位，使其無法反向追蹤到特定個 人 ，這就是 一 種去識別化。這樣處理過的資料就 可以合法地 用 於 大 數據分析、市場研究等 目 的。
27. 個 人 資料保護法施 行 細則 第 12 條 本法第六條第 一 項但書第 二 款及第五款所稱適當安全維護措施、第 十八 條所稱安全維護事項、第 十 九條第 一 項第 二 款及第 二十 七條第 一 項所稱適當之安全措施，指公務機關或 非 公務機關為防 止 個 人 資料被竊取、竄改、毀損、 滅失或洩漏，採取技術上及組織上之措施。 前項措施，得包括下列事項，並以與所欲達成之個 人 資料保護 目 的間，具有適當 比 例為原則： 一 、配置管理之 人 員及相當資源。 二 、界定個 人 資料之範圍。 三、個 人 資料之 風 險評估及管理機制。 四、事故之預防、通報及應變機制。 五、個 人 資料蒐集、處理及利 用 之內部管理程序。 六、資料安全管理及 人 員管理。 七、認知宣導及教育訓練。 八 、設備安全管理。 九、資料安全稽核機制。 十 、使 用 紀錄、軌跡資料及證據保存。 十一 、個 人 資料安全維護之整體持續改善。 https://l a w.moj.gov.tw/L a wCl a ss/L a wSingleRel a . a spx?PCODE=I0050022&FLNO=12&ty=L
28. https://l a w.fsc.gov.tw/L a wContent. a spx?id=GL000933 非 公務機關提供電 子 商務服務系統，應採取下列資訊安全措施： 一 、使 用 者 身 分確認及保護機制。 二 、個 人 資料顯 示 之隱碼機制。 三、網際網路傳輸之安全加密機制。 四、應 用 系統於開發、上線、維護等各階段軟體驗證與確認程序。 五、個 人 資料檔案及資料庫之存取控制與保護監控措施。 六、防 止 外部網路 入 侵對策。 七、 非 法或異常使 用行 為之監控與因應機制。 前項所稱電 子 商務，係指透過網際網路進 行 有關商品或服務之廣告、 行 銷 、供應、訂購或遞送等各項商業交易活動。 第 一 項第六款、第七款所定措施，應定期演練及檢討改善。 金 融監督管理委員會指定非公務機關個 人 資料檔案安全維護辦法
29. 個資隱碼 (PII Masking) •Microsoft Presidio •HydroXai/pii-masker •LlamaIndex/PII-Redact • 自己 寫！正則表達式 (Regular expression)！ •搬出 LLM 來幫忙：Gemma3, qwen2.5-VL
30. 輸 入文 字 自 然語 言 處理（NLP） 規則 規則 規則 結果 … … 個資隱碼流程 (Regular expression) (Regular expression) (Regular expression)
31. https://soco-st.com/17038 正則表達式 Regular expression 問題在於... 確切該怎麼寫， 才能符合 大 部分的情境？
32. https://soco-st.com/17038 大 型語 言 模型 (LLM) 不如讓 來試試？
33. 作為 一 個個資隱碼處理器，請你仔細閱讀以下 文 字，並將其中所有的個 人 資訊（包含姓名、電話號碼、電 子 郵件、 身 分證字號、地址）進 行 遮蔽。 請根據以下規則進 行 替換： - 姓名替換為 [姓名] - 電話號碼替換為 [電話] - 電 子 郵件替換為 [電 子 郵件] - 地址替換為 [地址] - 身 分證字號替換為 [ 身 分證字號] 以下是需要處理的 文 字： {text_to_anonymize} Prompt 個資隱碼測試
34. ✅ gemm a 3n:e4b ✅ gemm a 3:4b ✅ qwen2.5-VL:3b ✅ qwen2.5-VL:7b 個資隱碼測試
35. 你可能有遇到類似的事情...
36. 數位轉型 Digital Transformation
39. 噢...我弄錯圖了 😆
40. 紙本電 子 化，數位轉型關鍵 數位轉型 Digital Transformation
41. 痛點：各種紙本單 •花很多 人力 歸檔 •無法查找、分類 •錯、漏、慢
42. OCR 技術 (Optical Character Recognition 光學字元辨識) •傳統 ML (Machine learning) 做法 •PaddlePaddle/PaddleOCR •JaidedAI/EasyOCR •Tesseract OCR
43. LLM-OCR 技術 (Optical Character Recognition 光學字元辨識) qwen2.5-VL:7b gemma3:4b 阿 里 巴巴通義千問團隊研發。 多模態模型，它能理解並處理 文 字 和圖片兩種資訊，使 用 者可以同時 輸入 文 字與圖片來提問，模型能根 據這些資訊進 行 推理、分析並 生 成 相關的回應。這讓它在視覺問答、 圖片描述及複雜場景理解等任務上 表現出 色 ，適 用 於多種應 用 場景。 由 Google 開發的開源模型系列， 與 Gemini 模型使 用 相同的技術。 多模態模型，能夠處理 文 字和圖片 輸入，並 生 成 文 字回應。其特點包 括 支 援長達 128K 的超長上下 文 長 度，並擁有超過 140 種語 言 的多語 言 能 力 ，使其在問答、摘要和推理 等任務上表現出 色 。 https://huggingf a ce.co/Qwen/Qwen2.5-VL-7B-Instruct https://huggingf a ce.co/google/gemm a -3-4b-it 文 字、圖片 文 字、圖片 27b 12b 4b 72b 32b 7b 3b
44. 以政府公 文 來舉例 1. 發 文 單位 2. 收 文 單位 3. 公 文 狀態 4. 公 文 主體 https://www.r a gic.com/intl/zh-TW/blog/420/o ff ice-document-writing-gener a tor-for-beginners
45. LLM 大比 拼
46. LLM 選 手 qwen2.5-VL:7b gemma3:4b gpt-oss:20b 阿 里 巴巴通義千問團隊研發。 多模態模型，它能理解並處理 文 字 和圖片兩種資訊，使 用 者可以同時 輸入 文 字與圖片來提問，模型能根 據這些資訊進 行 推理、分析並 生 成 相關的回應。這讓它在視覺問答、 圖片描述及複雜場景理解等任務上 表現出 色 ，適 用 於多種應 用 場景。 由 Google 開發的開源模型系列， 與 Gemini 模型使 用 相同的技術。 多模態模型，能夠處理 文 字和圖片 輸入，並 生 成 文 字回應。其特點包 括 支 援長達 128K 的超長上下 文 長 度，並擁有超過 140 種語 言 的多語 言 能 力 ，使其在問答、摘要和推理 等任務上表現出 色 。 是 OpenAI 首 次推出的開源權重語 言 模型之 一 ，採 用 Ap a che 2.0 授 權。該模型擁有 210 億個總參數， 特別針對本地端或低延遲的應 用 情 境 而 設計。其獨特之處在於採 用 了 專家混合（Mixture-of-Experts, MoE）架構，使模型在執 行 時只需 啟 用 部分參數，提 高 了效率。 https://huggingf a ce.co/Qwen/Qwen2.5-VL-7B-Instruct https://huggingf a ce.co/google/gemm a -3-4b-it https://huggingf a ce.co/open a i/gpt-oss-20b 文 字、圖片 文 字模型 文 字、圖片 120b 20b 27b 12b 4b 72b 32b 7b 3b
47. { "doc_number": "N/A", "date": "11/29", "sender": " 行 政院農業部 漁業署 函", "receiver": "各縣市政府", "title": "關於檢討修正『漁業資源永續利 用 相關法規』實施情形及配套措施 一 案" } { "doc_number": "N/A", "date": "11/22", "sender": "外交部 函", "receiver": "N/A", "title": "關於「台灣參與國際組織」相關事宜之說明" } { "doc_number": "N/A", "date": "11/29", "sender": " 行 政院農委會 農業技術司 函", "receiver": " 行 政院農業委員會", "title": "關於農藥使 用 管理辦法調整 一 案之說明" } { "doc_number": "N/A", "date": "中華 民 國104年3 月 13 日 ", "sender": "臺北市政府", "receiver": "N/A", "title": "有關強化停 車 場 自 動引導系統功能及改善提升規劃作業" } { "doc_number": "46", "date": "104年2 月 17 日 ", "sender": " 行 政院", "receiver": "N/A", "title": "就電 辦理 行 政院 獎勵品發放事宜" } { "doc_number": "46", "date": "2017年2 月 17 日 ", "sender": " 行 政院", "receiver": "各 戶 籍", "title": "關於 行 政院備案訊息的規定" } { "doc_number": "104年3 月 13 日 ", "sender": " 行 政院", "receiver": "N/A", "date": "2015/03/13", "title": "修正 行 政院訓 示 警 號" } https://soco-st.com/25578 你是 一 位專業的台灣政府公 文 辨識助 手 。 請辨識這張圖 片 中的 文 字，並嚴格按照以下要求，抽取 出指定的四個欄位資訊，並以 一 個 JSON 物件格式回傳。 1. 發 文 字號 (JSON key: "doc_number") 2. 發 文日 期 (JSON key: "date") 3. 發 文 機關 在標題 XXX 函 (JSON key: "sender") 4. 受 文 者 (JSON key: "receiver") 5. 主旨 (JSON key: "title") 如果某個欄位在圖 片 中找不到，請將其值設為 "N/A"。 你的回覆**只能**包含 一 個沒有任何額外說明的 JSON 物 件。 Gemma 3 測試 Prompt （圖片直接輸入） ❌ ❌ ❌ ❌ ❌ ❌ ❌
48. qwen2.5-VL:7b 測試 （圖片直接輸入） ✅
49. 這樣不公平啦！這樣 gpt-oss 怎麼 比 ？
50. 文 字由 EasyOCR 辨識全 文 ，再由 LLM 提取關鍵 文 字如何？ 不然... 再加 入 deepSeek 一 起混戰？
51. LLM 選 手 deepSeek-r1 gpt-oss:20b DeepSeek-AI 推出的第 一 代推論模 型，總參數達 671B，但啟 用 參數為 37B，並具備 128K 的超長上下 文 能 力 。採 用 了 大 規模強化學習（RL） 與冷啟動資料（cold-st a rt d a t a ） 的結合，此外，DeepSeek-R1 也 用 於模型蒸餾，將其推論模式傳遞給 小 型模型，並以 MIT 授權釋出， 支 援商業應 用 。 是 OpenAI 首 次推出的開源權重語 言 模型之 一 ，採 用 Ap a che 2.0 授 權。該模型擁有 210 億個總參數， 特別針對本地端或低延遲的應 用 情 境 而 設計。其獨特之處在於採 用 了 專家混合（Mixture-of-Experts, MoE）架構，使模型在執 行 時只需 啟 用 部分參數，提 高 了效率。 https://huggingf a ce.co/deepseek- a i/DeepSeek-R1 https://huggingf a ce.co/open a i/gpt-oss-20b 文 字模型 文 字模型 120b 20b 8b 7b 1.5b 671b 70b 32b 14b
52. 你是 一 位專業的台灣政府公 文 辨識助 手 。 幫我從以下的 文 字中，嚴格按照以下要求，抽取出指定的四個欄 位資訊，並以 一 個 JSON 物件格式回傳。 1. 發 文 字號 (JSON key: "doc_number") 2. 發 文日 期 (JSON key: "date") 3. 發 文 機關 在標題 XXX 函 (JSON key: "sender") 4. 受 文 者 (JSON key: "receiver") 5. 主旨 (JSON key: "title") 如果某個欄位在圖 片 中找不到，請將其值設為 "N/A"。 你的回覆**只能**包含 一 個沒有任何額外說明的 JSON 物件。 輸 入 的 文 字： {full_text} Prompt EasyOCR + 文 字模型測試
53. 從圖片中識別的 文 字： 檔號: 正本 保存年限 : 內政部 函 機關地址 10017耋北市中正區徐州路5號 聯 絡 人 :游 子 炤 電話: (02)2356-5919 傳真 : (02)2356-6217 臺北市 大 同區承德路1段70之1號12樓 電 子 信箱 moil679@moi.gov.tw 受 文 者: 民 國 黨 發 文日 期:!中華 民 國104年3 月 13 日 發 文 字號: 台內 民 字第1040013951號 速別 :普通件 密等及解 密條件或保密期限 : 附件: 主旨:貴黨報請備案成立政黨1案'符合 人民 團體法規定'茲依 該法第46條第1 項規定予以備案'並發給證書及圖記 , 請查炤 說明: 二 `復貴黨104年2 月 17 日 政黨備案申請書 二 ` 請於 文 到後2週內'持本函洽本部領取政黨證書及圖記 (圖記 工 本費新臺幣1,500元) 並請於圖記啟 用 後將啟 用日 期及印模報部備查 正本: 民 國黨 副本: 鄒長陳咸仁 第1 頁 ,共1 頁 --- 使 用 Ollama 模型解析 文 字 --- { "doc_number": "台內 民 字第1040013951號", "date": "中華 民 國104年3 月 13 日 ", "sender": "內政部 函", "receiver": " 民 國黨", "title": "貴黨報請備案成立政黨1案'符合 人民 團體法規定'茲依 該法第46條第1項規定予以備案'並發 給證書及圖記" } ✅ gemm a 3n:e4b ✅ gemm a 3:4b EasyOCR + gemma3 測試
54. ❌ deepseek-r1:1.5b ❌ deepseek-r1:7b EasyOCR + deepSeek-r1 測試 從圖 片 中識別的 文 字： 檔號: 正本 保存年限 : 內政部 函 機關地址 10017耋北市中正區徐州路5號 聯 絡 人 :游 子 炤 電話: (02)2356-5919 傳真 : (02)2356-6217 臺北市 大 同區承德路1段70 之1號12樓 電 子 信箱 moil679@moi.gov.tw 受 文 者: 民 國黨 發 文日 期:!中華 民 國104年3 月 13 日 發 文 字號: 台內 民 字第1040013951號 速別 : 普通件 密等及解密條件或保密期限 : 附件: 主旨:貴黨報請備案成 立 政黨1案'符合 人民 團體法規定'茲依 該法第46條第1項規定予以備案'並 發給證書及圖記 , 請查炤 說明: 二 `復貴黨104年2 月 17 日 政黨備案申請書 二 ` 請於 文 到後2週內'持本函洽本部領取政黨證書及圖記 (圖記 工 本費新臺幣1,500元) 並請於圖記啟 用 後將啟 用日 期及印模報部備查 正本: 民 國黨 副本: 鄒 長 陳咸仁 第1 頁 ,共1 頁 --- 使 用 Ollama 模型解析 文 字 --- { "doc_number": "台內 民 字第1040013951号", "date": "中華 民 國104年3 月 13 日 ", "sender": "內政部 函 機關地址 10017cret北市中正區徐州路5號 聯 終 人 :游 子 炤 電話: (02)2356-5919 傳真 : (02)2356-6217 臺北市 大 同區承德路1段70之1號12楼 雼电 子 信箱 moil679@moi.gov.tw", "receiver": " 民 國黨", "title": "貴黨報請備案成 立 政黨1案'符合 人民 團體法規定'茲依 評法第46條第1項規定予以備 案'並發給證書及圖記 , 請查炤 說明: 二 `復貴黨104年2 月 17 日 政 Shea₂` 請於 文 到後2週內'持本 函洽本部領取政 Shea²及图記 (图記 工 本費新臺幣1,500元) 並請於图記啟 用 後將啟 用日 期及印模 報部備查" }
55. ❌ gpt-oss:20b EasyOCR + gpt-oss 測試 從圖 片 中識別的 文 字： 檔號: 正本 保存年限 : 內政部 函 機關地址 10017耋北市中正區徐州路5號 聯 絡 人 :游 子 炤 電話: (02)2356-5919 傳真 : (02)2356-6217 臺北市 大 同區承德路1段70 之1號12樓 電 子 信箱 moil679@moi.gov.tw 受 文 者: 民 國黨 發 文日 期:!中華 民 國104年3 月 13 日 發 文 字號: 台內 民 字第1040013951號 速別 : 普通件 密等及解密條件或保密期限 : 附件: 主旨:貴黨報請備案成 立 政黨1案'符合 人民 團體法規定'茲依 該法第46條第1項規定予以備案'並 發給證書及圖記 , 請查炤 說明: 二 `復貴黨104年2 月 17 日 政黨備案申請書 二 ` 請於 文 到後2週內'持本函洽本部領取政黨證書及圖記 (圖記 工 本費新臺幣1,500元) 並請於圖記啟 用 後將啟 用日 期及印模報部備查 正本: 民 國黨 副本: 鄒 長 陳咸仁 第1 頁 ,共1 頁 --- 使 用 Ollama 模型解析 文 字 --- 模型回傳的不是標準 JSON，嘗試提取... 錯誤：無法從模型的回應中解析出 JSON。 模型原始回應： {
56. 小 總結 •語 言 模型 能不能跑？ •需要相對應的 GPU 硬體 • 小 模型優勢：邊緣裝置可以跑（可能幻覺多） •語 言 模型 優不優？ • 部分模型需對應修改 prompt
57. 模型有他合適的情境（戰場） 選對模型，幫你發揮正確的效能 👍
58. https://console.cloud.google.com/vertex- a i/publishers/google/model-g a rden/gemm a 3
60. https://github.com/j796160836/gemm a 3- business-problem-demo Created by Puspito from the Noun Project Source Code by Puspito from Noun Project (CC BY 3.0) https://thenounproject.com/icon/source-code-6079549/ 範例 Source code
61. Thanks for Listening Questions?
62. 附錄
63. google/gemma-3-1b-it google/gemma-3-1b-it-qat-q4_0-gguf google/gemma-3-1b-it-qat-q4_0-unquantized google/gemma-3-1b-it-qat-int4-unquantized google/gemma-3-1b-pt google/gemma-3-1b-pt-qat-q4_0-gguf google/gemma-3-4b-it google/gemma-3-4b-it-qat-q4_0-gguf google/gemma-3-4b-it-qat-q4_0-unquantized google/gemma-3-4b-it-qat-int4-unquantized google/gemma-3-4b-pt google/gemma-3-4b-pt-qat-q4_0-gguf google/gemma-3-12b-it google/gemma-3-12b-it-qat-q4_0-gguf google/gemma-3-12b-it-qat-q4_0-unquantized google/gemma-3-12b-it-qat-int4-unquantized google/gemma-3-12b-pt google/gemma-3-12b-pt-qat-q4_0-gguf google/gemma-3-27b-it google/gemma-3-27b-it-qat-q4_0-gguf google/gemma-3-27b-it-qat-q4_0-unquantized google/gemma-3-27b-pt google/gemma-3-27b-pt-qat-q4_0-gguf 模型版本說明 • pt：Pre-trained（預訓練）- 基礎版本 • it：Instruction-tuned（指令微調）- 針對對話和指令跟隨進 行 了最佳化，適合直接使 用 量化技術說明 •GGUF：GGUF 是 一 種先進的 二 進制檔案格式， 專為 高 效儲存和推理 而 設計，特別適合在 CPU 上運 行 量化的 大 語 言 模型 •q4_0：表 示 4-bit 量化，type 0 版本。數字前綴表 示 每個權重使 用 的平均位元數， _0 表 示 使 用 較簡單的量化 方 案 •QAT（Quantization-Aware Training）：量化感知訓練，在訓練過程中就考慮量 化， 而 不是在模型訓練完成後才進 行 量化，這樣可以保持更 高 的準確度 •unquantized：未量化的 QAT 檢查點，允許在保持類似半精度品質的同時進 行 量化 •int4：整數 4-bit 量化格式 Gemma3開源模型在 Huggingface 上的各種變體 https://huggingf a ce.co/collections/google/gemm a -3-rele a se-67c6c6f89c4f76621268bb6d