謝至恩Apple 在 WWDC 2024 上宣布第一個 AI 系統－Apple Intelligence，同時提供裝置端與雲端的 Gen-AI 系統，深度整合 iOS18 、 iPadOS 18 與 macOS Sequoia 等作業系統，但預計要等到 iOS 18.1 才會全面部署 Apple Intelligence，外界還沒辦法一窺 Apple Intelligence 的真實能力。
不過，Apple 在 iOS 18.1 上市之前，發表了一份關於 Apple Intelligence 語言模型 (Apple Foundation Model, AFM) 基礎技術的論文，從論文內容來看，Apple 有兩大基礎語言模型：AFM-on-device 和 AFM-server，分別是提供給裝置端與雲端使用。
相關閱讀：Apple Intelligence Foundation Language Models 論文
本文目錄
AFM-on-device：設備端專用的高效模型
AFM-on-device 是 Apple 為設備端設計的語言模型，擁有約 30 億個參數，可在資源有限的硬體上運作。此一模型的特點有：
- 高效能與低延遲：AFM-on-devicey 在本機端上執行，減少對網路連線與雲端運算資源的依賴，使用者可得到即時回應，適合各種行動設備與嵌入式系統。
- 隱私保護：由於完全在本機端進行運算，使用者個人資料不需要傳輸到雲端，AFM-on-device 符合符合 Apple 長期以來對用戶隱私保護的承諾。
- 技術架構：該模型以 Transformer 架構為基礎，採用多種最佳化技術如 Grouped-query Attention 和 SwiGLU 啟動函數，有效提高模型的運作效率和穩定性。
- LoRA 轉接器：AFM-on-device 使用「低維轉接器 (Low-Rank Adapter, LoRA)」技術，允許語言模型在執行不同領域的任務時，可插入不同的 LoRA 轉接器，調整現成語言模型 (pre-trained model) 的參數，來適應不同的任務需求，而不會影響現成語言模型的效能。
AFM-server：在雲端運作的大型模型
AFM-server 是一個專為私有雲端運算環境設計的語言模型，具有更多的參數和更強的運算能力，能夠處理複雜的任務和應用需求。它的設計特點包括：
- 大規模運算能力：AFM-server 提供強大的運算能力，能夠支援企業級應用和高運算需求的情境，適合用於需要大量資料處理和分析的應用程式。
- 支援雲端運算：該模型被部署在 Apple 的私有雲端運算基礎設施中，一方面提升運算效能，另一方面也確保使用者資料的安全性和隱私保護。
- 深度學習最佳化：AFM-server 採用先進的最佳化技術，例如 RMSProp Variant 和動量調整，這些技術提高了模型的學習能力和穩定性，使其能夠在複雜的語言任務中表現出色。
- 多功能支援：AFM-server 支持廣泛的應用情境，包括語言翻譯、數學推理、寫程式和其他專業應用，展示了其在處理多樣化任務中的靈活性和高效性。
基準測試表現
從論文中的資料顯示，AFM-on-device 和 AFM-server 在多個基準測試中表現卓越，在 MMLU(Massive Multitask Language Understanding) 測試中，這兩款模型展示了其在多任務理解上的優異能力。 AFM-on-device 在 5-shot 測試中得到 61.4 分，而 AFM-server 的分數高達 75.4，顯示出其在處理複雜多學科問題上的強大能力。
數學推理一直是語言模型的挑戰之一，而在 GSM8K 測試中，AFM-server 取得了 72.3 的高分，展示了其在數學問題解決上的優勢。 AFM-on-device 也優於其他相似規模的模型，如 Mistral-7B 和 Gemma-7B，證明了其高效的數學運算能力。
在一系列人類評估中，這兩款模型的表現也不容小覷。 AFM-on-device 在多數比較中優於同等參數規模的開放原始碼模型，如 Phi-3 和 Gemma-7B，而 AFM-server 則在與 GPT-3.5 的對比中獲得了超過 50% 的勝率，顯示出其在實際應用中的優秀表現。
在 IFEval(Instruction Following Evaluation) 測試中，寫作和指令遵循能力的評估表現也相當出色，可支援多樣化的應用情境。此外，在內部的寫作基準測試中，AFM-on-device 在文本產生和摘要任務中的表現甚至超越了 Mistral-7B 和 Gemma-7B，顯示其在語言表達和理解上的優勢。
推動負責任 AI 原則
除了 AFM-on-device 與 AFM-server 這兩大模型的效能與測試表現之外，Apple 也強調負責任 AI 原則的重要性，在快速發展的人工智慧領域中保持技術創新與社會責任的平衡。在此份論文中，Apple 的負責任 AI 原則涵蓋賦予使用者權力、代表使用者利益、謹慎設計、保護隱私和安全分類等多個方面，確保 AI 技術對使用者與社會不會產生負面影響。
- 賦予使用者權力：Apple Intelligence 的一個核心原則是賦予使用者更大的控制權，讓他們能夠輕鬆地管理自己的個人資訊，其 AI 工具將提供透明易用的介面，協助使用者瞭解和掌控 AI 系統的運作方式，確保用戶在使用技術時能夠獲得真正的自主性。
- 代表使用者利益：Apple 強調，其 AI 系統設計應該反映並維護使用者的價值觀，避免加劇社會偏見和不公正現象。為此，Apple 採取了一系列措施來消除訓練資料和演算中所造成的偏見，確保 AI 工具在決策過程中保持公平，並適應不同文化和背景的用戶需求。
- 謹慎設計：在開發 AI 技術的過程中，Apple 注重風險評估與責任設計，防止 AI 系統可能帶來的潛在危害，因此論文中表示 Apple 開發團隊進行了全面的風險分析，並建立了用戶回饋機制，以不斷改進和提升 AI 系統的可靠性和安全性。
- 保護隱私：隱私保護是 Apple 的負責任 AI 原則的關鍵，Apple 承諾將優先在本機端處理資料，以減少使用者資訊外洩的風險。此外，Apple 採用了資料最小化和加密技術，確保使用者的個人資料在傳輸和儲存過程中始終保持安全。
- 安全分類法：為了更好地評估和控制 AI 系統的安全風險，Apple 開發了一套安全分類法，涵蓋 12 個主要類別和 51 個子類別，包括安全性、隱私、偏見和公平性等方面。這一分類法幫助 Apple 制訂相關的政策和措施，以保障 AI 系統的安全運作，並隨著技術的發展不斷更新和最佳化。
實際應用案例
雖然 Apple Intelligence 尚未推出，但在此份論文中，Apple 已經歸類出幾個應用情境，可發揮 Apple Intelligence 兩大 AI 模型的強大能力，目標是提升使用者體驗，為隱私保護與資料安全樹立新標準。
- 郵件與訊息總結，快速掌握資訊重點：Apple Intelligence 使用 AFM-on-device 模型應用在電子郵件和訊息總結方面，讓使用者能夠在不閱讀整篇內容的情況下快速讀取重要資訊，並確保個人資料隱私。
- 內容生成與重寫，助力創意表達：AFM-server 模型具備強大的文字產生能力，適用於企業和專業用途。使用者可以通過簡單指令產生或改寫高品質的文字，滿足不同語境和風格的需求。
- 交互式個人助理，提升生活便利性：智慧助理服務是語言模型的另一重要應用領域。 Apple 的 AFM-on-device 模型在本機端上執行，提供即時的語音識別和自然語言理解，協助使用者完成如設置鬧鐘、查詢天氣、安排日程等日常任務。
- 安全監控與風險評估，加強企業防護：AFM-server 模型可用於安全監控和風險評估，分析大量資料與即時識別潛在威脅並提供應對建議。該模型可以即時監控網路流量與使用者的通信內容，快速揪出釣魚、惡意軟體或其他惡意活動的跡象。
- 跨平台應用整合，無縫連接多設備：Apple 語言模型在跨平台應用整合中發揮了重要作用，確保 iOS 、 macOS 、 watchOS 等多個平台之間的功能無縫對接。 AFM-on-device 和 AFM-server 模型的靈活性和擴充性，協助開發者輕鬆將功能整合到各種應用中，為使用者提供一致且高效的使用體驗。