Archer用 AI 做圖做影音已經行之多年，但有聽過用文字、一張圖片就能做影片的 AI 嗎? 美國一間 AI 新創「Runway」近期推出了短影音 AI 模型「Gen-2」，使用者僅需輸入文字指令，或用一張圖片就能製作影片，這是該公司自今年 2 月推出第一版「Gen-1」以來全新的 AI 創作工具。
短影音創作 AI「Gen-2」可用文字、圖片生成為創作者生成影片作品
在「Gen」AI 模型系列工具誕生前，Runway 便長期投入 AI 影片剪輯工具「Erase and Replace by Runway」，舉凡去背、動態偵測追蹤、自動上字幕等創作者應用。在今年 2 月 Gen-1 上市，它便可支援文字指令修改影片中的物件顏色、圖像風格，並在即時語音通話軟體「Discord」上開設群組，台灣這邊也有中文臉書社團「Runway 台灣使用者小聚」提供 Gen-1 使用操作教學及創作者交流專區。
Generate videos with nothing but words. If you can say it, now you can see it.
Introducing, Text to Video. With Gen-2.
Learn more at https://t.co/PsJh664G0Q pic.twitter.com/6qEgcZ9QV4
— Runway (@runwayml) March 20, 2023
時隔一月不到的時間，Gen-2 承襲 Gen-1 的功能並追加「文字輸入轉影片」「圖片輸入轉影片」兩項重要功能，即便完全沒有影片剪輯、後製背景的人皆可使用。從官方釋出的影片範本來看，會發現 Gen-2 呈現的畫質有比 Gen-1 好很多，特別是人物的特寫更接近現實人類的樣子。不過從使用者的實測影片來看，還是有些細節能看出技術上的缺陷，像是只能處理較短的影音、畫面有些破圖等穩定性不足問題，部分人物還是跟真實世界有落差。
The multiverse is finally here https://t.co/ZFw3iijrOT
— Cristóbal Valenzuela (@c_valenzuelab) March 29, 2023
Runway 表示，Gen-2 背後共使用約 2.4 億個圖片以及 640 萬個影片訓練而成，現可在 Window11 、 Mac11 等作業系統運作。使用者若想將 Gen-2 輸出另作商業用途，可能會需要經過官方同意，甚至會有費用產生，因此 Gen-2 比較適合創作者作為尋找靈感的輔助工具。
Gen-1 、 Gen-2 兩個版本的一般免費用戶可輸出約 40 秒的影片，想取得比較佳的影片效果，會需要反覆多次的和 Gen-2 互動，Gen-2 目前尚未開放下載使用，需要先到 Discord 登記候補，Runway 預告未來幾周內將會提供更多權限。