吳明宜正當 Google 、三星和微軟持續推進 PC 及行動裝置端的生成式 AI，蘋果也終於有所行動，公佈可執行在單一裝置 (on-device) 上的 OpenELM 模型系列。前幾天微軟也公佈了可跑在本機端裝置上的 Phi-3 小語言模型系列。
本文目錄
蘋果發表 OpenELM 系列模型
OpenELM 全名為開原碼高效語言模型 (Open-Source Efficient Language Model)，是以 Reddit 、 Wikipedia 、 arXiv.org 等公開資料集的 1.8 兆 token 資料訓練而成。 OpenELM 的發佈是蘋果最新的 AI 研發成果。但向來以神祕、封閉著稱的蘋果迄今仍未公開宣佈或討論 AI 的藍圖。蘋果去年 10 月悄悄開原多模語言模型 Ferret 也引發業界注目。
研究人員指出，OpenELM 適合在市售筆電甚至智慧型手機上執行。蘋果白皮書列出的標竿測試是跑在二台筆電上，規格分別是 Intel i9-13900 KF CPU 、 64GB DDR5 、 4000DRAM 、 NVIDIA RTX 4090 GPU 、 24 GB VRAM，跑的作業系統為 Ubuntu 22.04 。另一台則是搭載 macOS 14.4.1 的 M2 Max -based 64GiB RAM Apple MacBook Pro 。
蘋果並公佈 OpenELM 模型和其他開原碼模型在市售筆電的測試比較。其中 11 億參數版本的 OpenELM 準確率較（12 億參數版本的）OLMo 準確率高出 2.36%，但預訓練資料 token 僅其一半。蘋果解釋，是因為，OpenELM 融合了分層擴展策略，能將模型參數有效分配到 transformer 模型各層，以達到提升準確率的目的。
蘋果已開發 8 個 OpenELM 模型，涵括 2.7 億、 4.5 億、 11 億及 30 億參數規模，每個規模都分為預訓練及指令調校版本。蘋果以樣本程式碼授權 (sample code license) 公開 OpenELM ，現已公佈於 Hugging Face 網站。
微軟發表小語言模型家族：Phi-3
昨日微軟也公佈最新小語言模型 (small language model, SLM) 的 Phi-3 家族三款模型，分別是 Phi-3-mini (3.8B 、 Phi-3-small (7B) 、及 Phi-3-medium (14B) 。
微軟強調，Phi-3 規模小，使用簡單、適合特定 AI 任務，可用於運算效能有限或離線環境，這允許資源有限的公司部署在成本較低的裝置以及頻寬不足的環境下，確保快速回應。
但另一方面 Phi-3 規模小能力高，根據微軟提供的數據，Phi-3-mini 在多語言理解、推理、數學及寫程式等標竿測試上，超過 Google Gemma-7B 與 Mistral-7B，而 Phi-3-small 及 Phi-3-medium 甚至超過 Mistral 8x7B 、 Claude-3 Sonnet 與 GPT-3.5 Turbo 。
其中今天公佈的 Phi-3-mini 具有特別輕巧、容易使用、跨平台等特色。僅 38 億參數的大小使 Phi-3-mini 可跑在本地裝置，如筆電上，它還經過微軟推論框架 ONNX Runtime 優化並支援 Windows DirectML，可跑在多種硬體平台如 CPU 、 GPU 、 FPGA 甚至行動裝置。它也已為 Nvidia GPU 優化，還可作為 Nvidia NIM 微服務以標準 API 執行。 mini 版 Phi-3 提供二種 context-length 版本，分別為 4K 及 128K token，後者也是同樣大小的模型中第一個具有 128K context-length 的。
最小的 Phi-3-mini 已透過 Azure AI Studio 模型庫、 Hugging Face 、輕量框架 Ollama 公開。 Phi-3-small 及 Phi-3-medium 再幾個星期也會在 Azure AI Model Catalogue 及其他網站公開。
Phi-3 可望搭配搭載新一代英特爾 (Arrow Lake 、 Lunar Lake) 、 AMD(Strix Point) 及高通 (Snapdragon X Elite) 晶片的 AI PC 。而蘋果也預計年底推出搭載 M4 晶片的最新 MacBook 筆電或 Mac 電腦。
來源：VentureBeat 、 The Verge