中國作家協會主管

Sora生成的視頻截圖

近期，OpenAI公司發布的文生視頻大模型Sora引發全球關注。只要輸入一句或寥寥幾句描述畫面情節的提示詞，它就能生成一段時長60秒的視頻。這些視頻的質量和準確性達到了令人驚艷的程度。

Sora的技術原理是什么？其應用價值有多大？記者采訪了上海交通大學計算機科學與工程系教授趙海。

趙海教授介紹，Sora屬于多模態混合模型，由大語言模型和文圖生成器拼接而成。純文圖生成模型對提示詞的理解能力很弱。比如，用戶輸入“世界和平”，它往往無法生成準確的圖片。如果把文圖生成器與大語言模型拼接在一起，后者就能把“世界和平”轉化為和平鴿、橄欖枝等文圖生成器“看得懂”的提示詞，從而生成切題的作品。

文圖生成器經改造后，也能生成視頻。因此，從文圖生成器過渡到文生視頻大模型，不需要很大的技術突破，研發團隊主要依靠的是大算力、大模型、大樣本訓練數據等“先天條件”。“這些條件都是OpenAI所具備的，所以Sora的問世不能算技術革命，而是工程實踐的成功。”趙海說。

Sora展示的一批文生視頻案例令人驚艷。比如，輸入這樣一段提示詞：“一位時尚女性走在充滿霓虹燈和城市標牌的東京街道上。她穿著黑色皮夾克、紅色長裙和黑色靴子，拎著黑色錢包。她戴著太陽鏡，涂著紅色口紅。她走路自信又隨意。街道潮濕且反光，在彩色燈光的照射下形成鏡面效果。許多行人走來走去。”Sora根據這段話生成的60秒視頻效果頗佳，頭發、服裝等細節都沒問題，并實現了連貫的場景轉換，達到以假亂真的水平。

Sora與同類產品相比，具有三大優勢——60秒時長、單視頻包含多角度鏡頭、遵循部分物理規律。

Sora問世前，同類產品只能根據提示詞生成5秒以內的短視頻。Sora的作品不僅長達1分鐘，而且有多角度鏡頭，這些鏡頭里的人和物還能保持前后一致性，不會因角度變換而出現問題。在對物理規律的掌握方面，Sora也有不俗表現，比如在其生成的一段SUV（運動型多用途汽車）行駛視頻中，汽車影子與車身始終契合。

不過，Sora的作品也存在不少瑕疵。如輸入“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”，視頻中狼的數量會莫名改變，幾只狼憑空出現或消失。趙海分析：“目前的文圖生成器對數字不夠敏感，比如生成的一些手會有6根手指，今后要加強這方面的訓練。”

在他看來，視頻大模型將改變影視行業的游戲規則。以技術含量最高的科幻電影為例，目前拍攝一部科幻大片往往需要數年時間，視頻大模型用于這個領域后，特效畫面的制作時間有望縮短到幾天，從而大幅降低科幻電影拍攝的時間成本和技術門檻。視頻攝制成本的降低，也將給傳媒行業帶來變革。今后，部分視頻的攝制也許只要在電腦前輸入一些提示詞，省去了現場拍攝、后期剪輯等耗時費力的過程。