Runway發布Gen-3 Alpha：用100萬美元拍500部電影的時代來了！

原創 王藝 甲子光年

Runway CTO：將在“幾天內”向付費用戶提供。

作者｜王藝

編輯｜趙健

文生視頻領域又有新人來卷了。

北京時間6月17日晚九點，Runway發布了其最新的視頻大模型Gen-3 Alpha，這是Runway即將推出的一系列模型中的第一個。Runway稱，與Gen-2相比，Gen-3 Alpha在保真度、一致性和運動方面有了重大改進，并且朝著構建“通用世界模型”的道路上邁出了重要一步。

Runway成立于2018年，是一家AI視頻編輯軟件提供商。很早之前，Runway在文生圖領域就曾經大放異彩，和Stability AI一起訓練了大名鼎鼎的Stable Diffusion模型。

2023年2月，Runway提出了首個AI編輯模型Gen-1，用戶可以在原視頻基礎上進行編輯操作；2023年2月，在很多用戶都沒拿到Gen-1內測資格的時候，Gen-2就發布了。相比Gen1，Gen-2在實現更高保真度和一致性的同時，增加了Multi-Motion Brush功能，允許用戶在一張圖像上選擇多個區域，并對每個區域設置不同的運動速度參數；同時，Gen-2還可以無需原視頻基礎，從頭升成視頻。

本次發布的Gen-3 Alpha模型使用視頻和圖像聯合訓練，其特色包括：

90秒內快速生成10秒視頻

并行生成多個視頻

模型驅動新的文本到視頻（T2V）、圖像到視頻（I2V）和文本到圖像（T2I）

動作筆刷、高級攝像機控制、導演模式

即將推出用于精細控制結構、風格、動作的工具

Runway CTO Anastasis Germanidis發帖表示，在多模態模型中，“控制”（即可控性）是關鍵，視頻擴散模型（Vedio Diffusion Models）還遠遠未達到通過Scaling帶來的性能提升；并且這些模型在學習預測視頻的任務時，構建了視覺世界的強大表征，因此對于這些表征的把握至關重要。

Anastasis Germanidis在接受采訪時也透露了Gen-3 Alpha的發布時間點：將在“幾天內”首先向付費 Runway用戶提供，但免費版本也將在未來某個時間點向所有用戶開放。

相比于其他視頻生成模型，Gen-3 Alpha更加側重于為專業的藝術家服務，其宣傳語就是——“For artists, by artists（為藝術家而生，由藝術家而生）?！?/p>

這也是Runway的愿景，Runway的強大逼真的影像生成能力可能會在影視創作領域掀起AI革命。

Runway CEO Cristóbal Valenzuela曾在今年3月份發帖稱——“讓我們拍電影吧。我們不要花5000萬美元拍一部電影，而是用100萬美元拍500部電影?！?/p>

1.更細顆粒度的時間控制

Gen-3 Alpha接受了高度描述性、時間密集的說明文字的訓練，因此能夠實現富有想象力的過渡，和更為精確的場景元素關鍵幀，在動作跟隨和時間控制上表現得更加精準：

Prompt: An extreme close-up shot of an ant emerging from its nest. The camera pulls back revealing a neighborhood beyond the hill.

提示詞：一只螞蟻從巢中爬出來的特寫鏡頭。鏡頭向后拉，顯示出山那邊的一個社區。

Prompt: Handheld camera moving fast, flashlight light, in a white old wall in a old alley at night a black graffiti that spells ‘Runway’.

提示詞:手持相機快速移動，手電筒的燈光，在一個古老的小巷的白色舊墻上的黑色涂鴉，拼寫“Runway”。

Prompt: An astronaut running through an alley in Rio de Janeiro.

提示詞：一名宇航員正在里約熱內盧的一條小巷里奔跑。

2.更逼真的人類角色

此次發布的Gen-3 Alpha擅長創造具有多種動作、手勢和情感的富有表現力的人類角色，給了視頻創作者更好的“講故事”的可能性：

Pompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

提示詞：日本某城市高速行駛的火車窗戶上，映出一位女性的微妙倒影。

Prompt: An older man playing piano, lit from the side.

提示詞：一位老男人在彈鋼琴，燈光從側面照來。

3.更多樣的藝術風格

Gen-3 Alpha擁有一支“跨學科”的訓練團隊——它由研究科學家、工程師和藝術家組成；同時，不同于其他多模態大模型在特定基礎上訓練而成，Gen-3 Alpha是從零開始訓練的，這就使其突破了原有視頻范式的束縛，帶來了一定的創造力。也因此，Gen-3 Alpha能更好地詮釋各種藝術風格和電影術語。

Prompt: A man made of rocks walking in the forest, full-body shot.

提示詞：一個由巖石構成的男人在森林中行走，全身照。

Prompt: An ultra-wide shot of a giant stone hand reaching out of a pile of rocks at the base of a mountain.

提示詞：一張超廣角鏡頭，一只巨大的石手從山腳下的一堆巖石中伸出。

Prompt: Aerial view shot of a cloaked figure elevating in the sky betweem slyscrapers.

提示詞：從空中拍攝的隱形人物在摩天大樓之間的天空中升起。

此外，Runway還在官網中表示，作為 Gen-3系列模型的一部分，他們一直與領先的娛樂和媒體組織合作并建立伙伴關系，為他們提供Gen-3 Alpha的定制版本。Gen-3系列模型的定制版允許用戶生成更加風格化、與現實更加一致的內容，并且可以針對特定的藝術和敘事要求進行編輯。

同時，Runway團隊還將為Gen-3 Alpha還將發布一套新的保護措施，包括全新的內部視覺審核系統和C2PA（Coalition for Content Provenance and Authenticity，是一套新的技術標準和開源代碼，可以標注內容來源）出處標準，以確保Gen-3 Alpha生成內容版權的有效性。

4.網友：比Luma和Sora還要先進

相較于之前視頻模型發布時外界的褒貶不一，此次發布的Gen-3 Alpha之后，網友的反應卻相當的一致——幾乎所有人都在為Gen-3 Alpha生成的效果所驚嘆，質疑聲寥寥。

比如有網友認為，Gen-3 Alpha生成動漫的能力是他們“很了解用戶需求”的表現；

再比如有網友驚嘆到，文本轉視頻的問題很快就解決了！

更是有人直接放上了瞠目結舌的表情以示震撼：

也有網友直接把Gen-3 Alpha和Luma Dream Machine的demo放在一起進行了對比，可以看出，無論在畫質還是視頻創意上，Gen-3 Alpha都明顯優于Dream Machine；更有網友表示，“看起來比Luma和Sora還要先進”。

自今年二月Sora發布以來，AI視頻領域就一直有玩家躍躍欲試，前有Snap Video、Vidu，后有快手可靈、Yisu、Dream Machine。相較于之前的AI視頻產品，可靈和Dream Machine在視頻真實性、連貫性上大大增強，已經有了一點“世界模型”的影子；

然而，AI視頻領域的老玩家Runway在此期間的一直保持沉默，似乎是在養精蓄銳，直到今天才帶來了驚艷世界、可控性更強、效果不輸Sora的“世界模型”Gen-3 Alpha。

可以說，我們沒有等來Sora，但等來了世界模型的全面開花。而下一個驚艷眾人的世界模型是誰，我們也將拭目以待。

（封面圖來源：Runway）

END.

原標題：《Runway發布Gen-3 Alpha：用100萬美元拍500部電影的時代來了?。鬃庸饽辍?/p>

閱讀原文