《The Information》報導,微軟可能正在打造更大的大型語言模型 MAI-1,與 Google 、 Anthropic 及 OpenAI 分庭抗禮。
這是微軟在投資 OpenAI 超過百億美元之後,首座自行開發如此規模的 LLM 。 OpenAI 的 GPT 系列不只提供 ChatGPT,也支援微軟 Copilot 。
最新傳言的 MAI-1 是由不久前跳槽微軟的前 Google 高層及 Inflection 執行長 Mustafa Suleyman 推動的成果。微軟三月以 6.5 億美元買下 Inflection 大部份員工及智慧財產,成立 AI 部門,由 Suleyman 出掌。雖然 MAI-1 可能也有前 Inflection 員工參與,但報導引述消息人士指出,MAI-1 是全新的 LLM 。

據傳 MAI-1 高達近 5,000 億參數,遠比微軟現有開放 LLM(如 Phi-3)來得大,其需求的運算效能及訓練資料集都大得多。報導指出,MAI-1 效能比 Meta 和 Mitral 7,000 億參數的模型更大,大約和 GPT-4 同等級,後者參數超過 1 兆。
MAI-1 的開發,顯示微軟在 AI 發展正朝雙軌制進行,一是可在行動裝置上執行的本地 AI,二是在雲端上運行的超大模型。蘋果似乎也是類似途徑。同時,這也顯示,微軟並不想完全仰賴 OpenAI,雖然其主要生成式 AI 產品,包括 Windows Copilot 都是使用 GPT 模型系列。
不過,根據消息人士指出,目前 MAI-1 的用途還不確定,包括在微軟內部也還在討論,而其使用情境也要視效能而定。為了訓練這個模型,微軟已配置了一個大型 Nvidia GPU 伺服器叢集,並匯整了多種資料源的訓練資料集,包括由 OpenAI GPT-4 生成的文字及公開網路資料。
報導指出,微軟可能在未來幾周開放預覽 MAI-1,最早時間點可能落在本月稍晚的 Build 開發者大會。
來源:Ars Technica
