吳明宜Google DeepMind 團隊本周公佈開原 AI 模型 Gemma 3 270M 。
過去幾個月 Google 接連公佈了 Gemma 3 及 Gemma 3 QAT，分別是在單一端和桌機上執行的高效能模型。然後 Google 又公佈第一個行動至上架構的模型 Gemma 3n，將即時多模態 AI 能力帶到了邊緣裝置。 Google 說，開發人員勇於嘗試，光是上星期，模型下載就超過了 2 億次。
最新模型是高度專業化的模型：Gemma 3 270M 。從名稱可知，這是一個 2.7 億參數的模型，遠小於許多知名 LLM 。 Google 說這是為專門任務微調而全新打造，並提供強大指令遵從及文字結構能力，卻又小到可快速微調且直接跑在手機上，完全不需網際網路。 DeepMind 甚至表示，Gemma 3 270M 可以跑在 Raspberry Pi 的瀏覽器上。
Gemma 3 270M 的 2.7 億參數中，1.7 億為嵌入層參數及 1 億個 Transform 計算層參數，並且因為有大型 256K 詞彙表 (vocabulary)，特別擅長處理稀有及專業 token 。
Gemma 3 270M 承襲大型 Gemma 3 模型的架構和預訓練方法，確保 Gemma 模型的相容性。利用 Hugging Face 、 UnSloth 和 JAX 平台上的文件、部署指引、微調教學，開發人員就可以快速從實驗進階到正式部署。
談到指令遵從，在 IFEval 標竿測試中，Gemma 3 270M 的跑分結果是 51.2%，優於 GitHub SmolLM2 135M Instruct 及 Owen 2.5 0.5B Instruct，接近一些上 10 億參數的模型，雖然遜於 LFM2-350 M 的 65.12% 。
Gemma 3 270M 最大賣點是能源效率。它在 Pixel 9 Pro 上的測試結果，25 次對話僅僅耗用這款手機 0.75% 的電力。這使得它成為講求隱私、要求離線的條件下，實現裝置 (on-device) AI 的首選。
Google 這次開原包含預訓練及指令微調版本模型，方便開發人員快速開發出一般性指令遵從的應用程式。 Gemma 3 270 M 現在可以在 Hugging Face 、 Ollama 、 Kaggle 、 LM Studio 或 Docker 上下載。