吳明宜Meta 本周接連釋出 2 個重要 AI 工具，一是支援近 100 種語言提供文字和語音翻譯的萬用翻譯模型 SeamlessM4T，二是能輔助開發人員寫程式和除錯的模型 Code Llama 。
SeamlessM4T 是為了解決市面 AI 語音到語音 (speech-to-speech) 或聽寫 (speech-to-text) 翻譯模型，只能支援數種語言的問題，希望能開發支援多種語言翻譯的單一 AI 模型。 Seamless 是 Meta 公司過去幾年打造翻譯 AI 模型成果的總和。 2020 年該公司打造支援 100 種語言的文字機器翻譯模型，去年增加為 200 種，稱為 NLLB(No Language Left Behind) 200 。去年 Meta 又展示通用語音翻譯工具 (Universal Speech Translator)，包括第一個可在閩南語和英語間互翻的系統。今年 Meta 又展示可支援 1,100 種語言的語音辨識、合成的大量多語語音 (Massively Multilingual Speech, MMS) 的 AI 模型成果。
集結這些語音和文字翻譯、語音辨識、語音合成技術 SeamlessM4T 可支援近 100 種語言的語音辨識、語音聽寫 (speech-to-text) 、以及文字到文字 (text-to-text) 翻譯。而在語音合成任務中，語音到語音 (speech -to-speech) 翻譯輸入／輸出可支援近 100 種/36 種語言（包括英語）。文字到語音 (text-to-speech) 翻譯輸入／輸出則支援近 100 種/35 種語言（包括英語）。
Meta 說，訓練這個模型使用了數萬小時的語音資料集，稱為 SeamlessAlign，支援 36 種語言，Meta 聲稱，從資料量及支援的語言數量來看，這組資料集都是當今之冠。
Meta 也公開 SeamlessM4T 模型論文及相關資源，讓研究人員及開發人員也能開發自有語言翻譯應用。
其次，Meta 公佈了協助開發的 AI 模型 Code Llama，輔助撰寫程式及除錯。
Code Llama 將和 Meta 上個月公開的文字生成 AI 模型 Llama 2 採用相同的社群授權開放原始碼，免費供研究和商業開發。
Meta 表示 Code Llama 可在開發人員輸入提示後，全新撰寫程式碼、或補足他寫的程式碼．也可以針對特定一段程式碼除錯。 Meta 表示，新模型旨在提高開發人員的工作效率，讓他們可以專注在以人為中心的工作上。
Meta 稱 Code Llama 能力比現有 LLM，如 GitHub Copilot 或 Amazon CodeWhisperer 或新創公司的 StarCoder 、 StableCode 、 PolyCoder（Google 則有 AlphaCode 助理，但還未推出）更強大，因為它可支援多種程式語言，包括 Python 、 C++、 Java 、 PHP 、 Typescript 、 C#和 Bash，此外效能也更快。不過 Meta 並未透露 Code Llama 底層模型為何。
Meta 稱 Code Llama 在程式標竿測試 HumanEval 拿下 53.7 分，還能精準依文字描述撰寫出對的程式碼。
Code Llama 將開放 3 種參數大小的版本，最小的 70 億參數，最大的 340 億個參數，都能接收 100,000 token 的資料輸入，最小的模型搭載 1 個 GPU 。
除了底層的 Code Llama 模型，Meta 還提供為 Python 專門開發的版本，稱為 Code Llama-Python，以及 Code Llama-Instruct，後者能理解自然語言的指令，且有人類標註協助訓練，可提供安全及有效的答案。
Meta 說不同特化版 Code Llama 無法交換使用，因此該公司不建議用戶開發人員在基礎的 Code Llama 及 Code Llama-Python 使用自然語言指令。
Meta 已將 Code Llama 的程式碼及相關資源經由 GitHub 公開。
來源：Techspot 、 The Verge 、 Techcrunch