吳明宜Meta 於周末發表下一代旗艦模型系列 Llama 4，並開放 1,090 億及 4,000 億參數的 Scout 、 Maverick 版本，同時介紹參數量達到 2 兆的 Behemoth 模型。
Llama 4 是 Meta 第一個以混合專家 (mixture of experts, MoE) 架構開發的模型，包含 Scout 、 Maverick 及 Behemoth 三種規模。所有資料都是以大量未標籤的文字、圖像和影片資料訓練，配合新式預訓練及後訓練方法開發而成。
中國 AI 實驗室 DeepSeek 以更低的成本達到不輸於甚至超越 Meta Llama 的效果，在 Meta 內部引發震撼，於是成立戰情中心緊急研究 DeepSeek R1 及 V3 的設計方法以及對抗策略。
Scout 和 Maverick 現在已可在 Llama.com 及 Hugging Face 公開下載，也會提供給合作夥伴。 Behemoth 則仍然訓練中。此外消費者也可以從 WhatsApp 、 Messenger 和 IG 的 Meta AI 感受 Llama 4 的威力。但多模態功能目前僅支援英文，也只開放美國使用。
Meta 表示，Llama 4 是 Llama 生態體系全新世代的開始，它是第一個使用 MoE 架構開發的模型，訓練和回答查詢更省運算效率。 MoE 主要是將資料處理切分多個子任務，分派到更小的「專家」模型執行。
Maverick 總參數 4,000 億，但活躍參數則為 170 億個，共 128 個專家模型。 Scout 則為總參數 1,090 億，活躍參數則為 170 億個，共 16 個專家模型。
開原版 Llama 4 Maverick 表現優於 GPT-4o
根據 Meta 內部測試，4000 億參數的 Llama 4 Maverick 在通用助理和聊天任何表現優於 GPT-4o，而在圖片理解、多語言、長上下文、與程式碼能力超過 Gemini 2.0 。在程式與邏輯推理能力上，則與 DeepSeek V3.1 差不多。但略遜於新模型如 Gemini 2.5 Pro 、 Anthropic Claude 3.7 、 Sonnet 及 OpenAI 的 GPT-4.5 。 Llama 4 Scout 的上下文長度由 Llama 3 的 128K 大幅成長到 10M，測試結果也超越 Gemma 3 、 Gemini 2.0 Flash-Lite 和 Mistral 3.1 。
Scout 適合單一顆 H100 GPU 平臺。 Maverick 可快速部署在一臺 H100 DGX 主機上，或建置分散式推論架構以獲得最大效率。
Meta 也公佈了最大模型 Behemoth，每個專家模型具備 2,880 億個活躍參數、 16 個專家模型，以及近 2 兆總參數。 Meta 稱 Behemoth 是它最強、最聰明的模型之一， Llama 4 Maverick 正是以 Behemoth 為教師模型協同蒸餾而成。
Meta 內部測試 Behemoth 效能在多項 STEM 如數學測試中超越 GPT-4.5 、 Claude 3.7 Sonnet 和 Gemini 2.0 Pro 。
此外，Meta 說，Llama 4 經過調校，現在 Llama 4 變得更平衡，大幅減少拒絕回答爭議性詢問，如政治和社會主題問題。一些自由派政治人物如 Elon Musk 批評主流 AI 聊天機器人都太保守，打壓言論自由。在川普上台後，Meta 的公共政策長換上了更自由派的人士。
來源：Techcrunch