ChatGPT將更優化？微軟「Kosmos-1」多模態大型語言模型，帶起Bing瀏覽器新機會！

前陣子微軟（Microsoft）將ChatGPT整併至自家瀏覽器Bing後不久，近期更推出了新的多模態大型語言模型(Multimodal Large Language Model, MLLM)的AI分析工具「Kosmos-1」，它不僅能分析文字、圖片和影像內容，還可以理解自然語言指令，未來可投入到像是影片的字幕、看圖回答問題、蒐集網頁資訊等應用。

微軟最新「Kosmos-1」為現今ChatGPT聊天機器人底層架構

在微軟釋出Kosmos-1論文指稱，Kosmos-1能分析圖片內容，並回覆使用者圖片內容想傳達的含意，以及閱讀圖片上的文字、替圖片下註解。為了幫助Kosmos-1更精準地訓練，研究人員會事先將圖片以文字內容註記的方式，讓Kosmos-1進一步理解圖片的內容，來達到多模態（泛指文字、聲音和圖片等資料）運作模式。

會這麼做的原因，是因為現今多模態資料，很難直接套用到大型語言（Large Language Model；又稱LLM），其具有超過1,000億個參數的自然語言處理（Natural Language Processing；NLP系統），所以微軟推出Kosmos-1，就是希望讓他具備多模態資料、遵循特定指令（即零樣本學習演算法；Zero-Shot Learning），並在指定條件下（小樣本學習；Few Shot Learning）學習的能力。

實測中的數據顯示，在常見的瑞文氏推理測驗（一種智力測驗）Kosmos-1能從題目的圖文裡，預測接下來可能會出現的元素（像是魔術方塊轉下一圈會出現的圖形），雖然正確率相比其他測試者僅有22%的正確率，仍超過隨機填答的17%，成為第一個能作答零樣本智力測驗的語言模型。

有趣的是，OpenAI開發的ChatGPT，便是基於LLM架構下誕生的聊天機器人，因此不排除未來Kosmos-1成熟後會套用到已經結合ChatGPT的Bing瀏覽器，藉此改善當初Bing在今年2月上線時，曾在LLM框架下使用ChatGPT導致網頁蒐集錯誤資料的問題，來優化整個Bing使用環境。