吳明宜蘋果最新將大型語言模型 (LLM) 搬到智慧型手機上執行的研究，顯示蘋果力圖趕上生成式 AI 的先發對手，如 Google 和微軟，並且可能開發出 AI iPhone 。
這篇名為 LLM in a Flash 的研究論文，旨在處理於記憶體較小的終端裝置上部署 LLM 。現代自然語言模型如 GPT-4 包含上百億參數，也使得在消費裝置上進行推論的任務成本變得很高。
蘋果的解決方案是設計一項新系統，可在 AI 模型進行推論時，減少從快閃記憶體傳輸到 DRAM 的資料量，並且以較大片段 (chunks) 讀取資料。為達成這個目的，蘋果研究團隊使用了兩種策略。一是 Windowing，重覆使用最近幾次推論的啟動，而「row-column bunding」則可將資料列與資料欄儲存在一起，以便能讀取較大的資料區塊。在蘋果 M1 Max CPU 上，這個方法比起傳統將參數載入到記憶體上，可使推論的延遲性縮小 4 、 5 倍。在 GPU 上甚至可加速 20 到 25 倍。
研究人員指出，這方法在資源有限的環境中尤其有幫助，能擴大 LLM 的應用面及可用性，可望很快使複雜的 AI 助理和聊天機器人跑在 iPhone 、 iPad 或其他行動裝置上。
而蘋果顯然希望這次研究的技術能讓它們在 AI 助理的競賽中迎頭趕上。雖然蘋果在 2011 年推出了第一個 AI 助理 Siri，2018 年還挖來 Google AI 主管 John Giannandrea，但 12 年後，蘋果已經在生成式 AI 上落後新創公司 OpenAI 的 ChatGPT，或是微軟 Copilot 、 Google Bard 。
另一手機巨人三星，也計畫明年推出新 AI 智慧型手機。研究機構 Counterpoint 估計，2024 年全球出貨的 AI 智慧型手機將超過 1 億支，到 2027 年，有 40% 的新智慧型手機具備 AI 能力。
來源：Venturebeat 、 Ars Technica