Sora為何出道即碾壓主流AI視頻模型：文生視頻最長紀錄，對世界有全面認知

近日，AI（人工智能）新銳巨頭OpenAI推出文生視頻模型Sora，將人們的視線再次引到了AI視頻生成賽道。

由于在AI生成視頻的時長上成功突破到一分鐘，再加上演示視頻的高度逼真和高質量，Sora立刻引起了轟動。不過，OpenAI尚未宣布Sora對公眾正式開放的日期。Sora將首先被提供給安全團隊，以評估產品的危害或風險，一些視覺藝術家、設計師和電影制作人也能獲得Sora的訪問權限。

在Sora推出之前，已經出現了一些用戶認可度較高的AI生成視頻模型。為什么Sora能引發如此大的轟動？多家外媒對三款熱門文生視頻模型Runway、Pika Labs和Stable Video進行了分析，并比較了Sora和它們之間的技術差別。

時長：60秒 vs 16秒

在Sora橫空出世之前，Runway一直被視為AI生成視頻的默認選擇，尤其是自去年11月推出第二代模型以來，Runway還被稱為“AI視頻界的MidJourney”。第二代模型Gen-2不僅解決了第一代AI生成視頻中每幀之間連貫性過低的問題，在從圖像生成視頻的過程中也能給出很好的結果。

Runway能夠生成已經很逼真的四秒短視頻。來源：Runway

而在Sora發布后，Runway的CEO克里斯托瓦爾·巴倫蘇埃拉（Cristóbal Valenzuela）便在X平臺上發布了兩個字：“Game On（比賽開始了）。”

Sora最震撼的技術突破之一在于其輸出的視頻時長。Runway能夠生成4秒長的視頻，用戶可以將其最多延長至16秒，是AI生成視頻在2023年所能達到的最長時長紀錄。Stable Video也提供4秒的視頻，Pika則提供3秒的視頻。在這一方面，Sora以1分鐘的時長向競爭對手們提出了挑戰。

Sora傳播度最高的時長60秒的視頻之一，女子行走在東京街頭。來源：Sora

Sora模型能夠實現視頻時長突破，主要功臣是其所采用的擴散Transformer架構，而Sora的創始者之一、現任OpenAI工程師的William Peebles剛在去年和別人一同發布了針對該架構的研究論文。

本質上，Sora和Pika、Runway采用了相似的底層模型，即Diffusion擴散模型。不同之處在于，Sora把其中的實現邏輯進行了變化，將U-Net架構替換成了Transformer架構。

不過目前，外界尚不清楚Sora提供了哪些功能以供用戶定制輸出視頻，因此Runway仍可能是Sora的替代方案之一。今年1月，Runway剛宣布，用戶將能夠通過多頭運動筆刷（Multi Motion Brush）功能實現對AI生成視頻中多個元素的運動控制。此外，Runway也因其提供了集合多種AI工具的視頻制作解決方案而備受推崇。

鏡頭語言：運動鏡頭 vs 靜止視角 

值得注意的是，X平臺上的一些用戶表示，在OpenAI推出Sora的2月15日晚上，AI視頻生成初創公司Stability AI也在官網和X平臺上發布了新動態，宣布了Stable Video Diffusion更新1.1版本。但是，幾分鐘后，這兩條消息都迅速消失了。

被Stability刪掉的文章截屏。來源：X平臺

外界無從得知這究竟是由于操作失誤，還是Stability觀察到了兩種AI生成視頻之間的巨大質量差異，選擇重新制作廣告。Stable Video和前兩款產品一樣，都沒能脫離現有文生視頻的一般模式，即輸出單一的、通常是靜止視角的短視頻片段。相比之下，Sora的宣傳視頻包括變換攝像機角度、電影式剪輯和場景變換，也就是人們常說的鏡頭語言的使用。

此外，許多分析都指出，Sora帶有世界模型的特質。所謂世界模型便是對真實的物理世界進行建模，讓機器能夠像人類一樣，對世界產生一個全面而準確的認知。這一特性使得AI視頻生成更流暢、更符合邏輯，降低了視頻模型的訓練成本，提升了訓練效率。

由Sora生成的“賽博朋克背景下機器人的生活故事”。來源：Sora

和Runway一樣，Stability AI的CEO埃馬德·莫斯塔克（Emad Mostaque）也在X平臺上感慨“奧特曼（OpenAI的創始人兼CEO）真是一個魔術師”，并稱Sora可以被視為AI視頻的GPT3，將在未來幾年內得到擴展、細化、調整和優化。

劣勢：有無免費選項，能否開源

和前輩們相比，Sora也存在兩個可能令其不會被用戶青睞的問題：有無免費選項，以及能否開源。

作為AI視頻領域的新晉競爭者，Pika Labs于去年11月推出了生成式AI視頻工具Pika 1.0，也在推出時憑借精美的演示視頻引起了轟動。Pika已于去年12月公開，與Runway具備相似的質量，并在短時間內建立了一個非常活躍的用戶社區。

Pika生成的視頻截圖。來源：Pika

最重要的是，和其他競爭對手相比，Pika提供了更具吸引力的免費使用選項。Runway只會給用戶125個不可續的免費積分，而Pika每天都會給用戶發放30個積分，這使得它在短時間內擁有了一個龐大且活躍的用戶社群。

Stability AI旗下的Stable Video Diffusion則是一款開源的視頻生成模型。類似于圖像版的Stable Diffusion，該模型可以根據用戶自己的需求進行定制，并且可以在個人設備上進行本地安裝，而Sora大概率永遠不會提供這種功能。

目前，Stable Video Diffusion也僅供部分用戶試用，在Stability的官網上可以加入等待列表。