吳明宜Nvidia 與法國新創業者 Mistral AI 本周聯合宣佈一款可在桌機上執行的 AI 模型，名為 Mistral-NeMo，將把 AI 功能帶進企業用戶環境。
Mistral-NeMo 參數量達 120 億，具有 context windows 達 128K token，定位提供給一般不想花費或沒有資源部署雲端 AI 的企業。 Nvidia 表示該模型親民而不失高效能，透過這款模型的開放原始碼，可促進 AI 功能的普及。
這呼應了 AI 界的發展，現在愈來愈多企業想在本地硬體上執行 AI 模型，理由是隱私、低延遲以及降低成本考量。 Nvidia 設定的是在本地筆電或桌機，而非智慧型手機上的使用情境。 Nvidia 強調，Mistral-NeMo 容易執行，在家中使用電腦就可以操作，例如一台具備 Nvidia RTX GPU 的電腦就可以跑這模型。
Mistral-NeMo 128K token context window 是很值得一提的功能，讓模型能處理和理解大量文字的能力優於競爭者。而這對必須處理長篇文件、複雜分析或難解的程式工作的企業來說由於重要。這省去了頻繁刷新 context 的必要，使輸出更具前後一致性。離線操作的好處則滿足講求資料隱私，以及網路頻寬受限的用戶需求。此外，降低模型執行的硬體需求，也可讓過去可望不可及的 AI 模型，得以更加普及化而為資源、預算有限中小型企業使用。
不過是否真能促進 AI 的「民主化」關鍵還是在是有足夠的 AI 應用。
這模型已經在 Apache 2.0 授權下公開。目前 Mistral-NeMo 已在 Nvidia NIM 推論微服務上提供，再不久會推出可下載版本。
Mistral-NeMo 也是近來公佈的最新可在桌機或智慧型手機上執行的小語言模型。在此之前，蘋果公佈了 OpenELM 、微軟有 Phi-3 家族、 Meta 推出 MobileLLM 、 Google 提供 Gemma 。就在昨日，OpenAI 也公佈了 GPT-4o mini，沒有公佈參數量，大約是和 Anthropic Claude Huai 、 Google Gemini Flash 同樣規模。
來源: VentureBeat