謝至恩Adobe 正邁向產生式 AI 影片領域。公司推出了 Firefly Video Model，這項技術自今年初以來已多次亮相，而今天則推出了一系列全新的工具，其中包括整合在 Premiere Pro 內的一些工具，這將讓創意工作者可以延長影片並利用靜態圖片或文字提示產生影片。
第一個工具－Generative Extend，已在 Premiere Pro 推出測試版。這個工具可以延長影片的開頭或結尾，或修正一些片段中的小問題，例如糾正眼神的偏移或意外的動作。
該工具目前最多只能延長兩秒，因此 Generative Extend 只適用於小型調整，但這可以取代重新拍攝以修正細微問題的需求。延長的片段可以產生 720p 或 1080p 解析度，並以每秒 24 格的速度播放。它也能處理音訊，例如平滑編輯過程，儘管還是有些局限。例如，它可以將聲音效果和背景噪音（如房間音）延長最多 10 秒，但無法延長對話或音樂。
另外兩個影片產生工具已經推出網站，Adobe 的文字產生影片 (Text-to-Video) 和圖片產生影片 (Image-to-Video) 工具，在今年九月首次公佈，現已在 Firefly 網頁應用中以限量公測形式釋出。
文字產生影片的運作方式類似於其他影片產生工具，例如 Runway 和 OpenAI 的 Sora－使用者只需輸入他們想要產生的影像描述。這些工具可以模擬各種風格，包括傳統「真實」影片、 3D 動畫和定格動畫，並通過「攝影機控制」來進一步調整，如攝影角度、運動與拍攝距離等。
圖片產生影片則是更進一步，允許使用者在文字提示的基礎上增加參考圖片，以便更好地控制結果。 Adobe 表示，這可以通過圖片和照片產生輔助拍攝的 b-roll，或上傳現有影片的靜止畫面來幫助重拍場景。但如下例所示，其效果尚未達到直接取代重拍的程度，因為產生的畫面中仍然可見一些錯誤，例如搖晃的纜線和移動的背景。
目前，你還無法使用這項技術製作完整的影片。文字產生影片和圖片產生影片的最大影片時長目前為 5 秒，且畫質最高為 720p 和每秒 24 格。相比之下，OpenAI 表示其 Sora 模型可以產生長達一分鐘的影片，並且能保持視覺品質與使用者的提示內容的一致性－但該功能尚未向公眾開放，儘管該技術早於 Adobe 的工具就已公佈。
文字產生影片、圖片產生影片和 Generative Extend 的產生時間約為 90 秒，但 Adobe 表示他們正在開發一個「加速模式」，以縮短這一時間。儘管有所限制，Adobe 強調其 AI 影片模型的技術因為是以該公司合法使用的內容進行訓練，因此可安全用於商業用途。因此，Adobe 工具在商業上的可行性，可能對於部分使用者來說具有決定性吸引力。
另一項好處是，使用 Adobe 的 Firefly 影片模型建立或編輯的影片可以內嵌 Content Credentials，可在網路上揭露 AI 的使用情況及版權狀況。目前還不清楚這些工具何時會正式推出，但至少它們已經向公眾開放－這比我們可以對 OpenAI 的 Sora，Meta 的 Movie Gen 和 Google 的 Veo 產生器所能做的還多。
Source: theVerge