站長(zhǎng)之家（ChinaZ.com）6月26日 消息:據(jù)huggingface 頁(yè)面顯示，一款名為 Zeroscope_v2_576w 的視頻生成模型現(xiàn)已開(kāi)源。

Zeroscope_v2_576w 基于 Modelscope 打造，是一個(gè)具有17億個(gè)參數(shù)的多級(jí)文本到視頻擴(kuò)散模型。它根據(jù)文本描述生成視頻內(nèi)容。并且提供更高的分辨率，沒(méi)有 Shutterstock 水印，并且寬高比更接近16:9。

(資料圖片僅供參考)

Zeroscope 具有兩個(gè)組件: Zeroscope_v2567w，專(zhuān)為以576x320像素的分辨率快速創(chuàng)建內(nèi)容以探索視頻概念而設(shè)計(jì)。然后可以使用 Zeroscope_v2XL 將優(yōu)質(zhì)視頻升級(jí)到1024x576的“高清”分辨率。

對(duì)于視頻生成，該模型需要7.9GB 的 VRam（分辨率為576x320像素、幀速率為每秒30幀）和15.3GB 的 VRam(分辨率為1024x576像素、幀速率為每秒)。因此，較小的型號(hào)應(yīng)該可以在許多標(biāo)準(zhǔn)顯卡上運(yùn)行。

Zeroscope 的訓(xùn)練涉及將偏移噪聲應(yīng)用于9，923個(gè)剪輯和29，769個(gè)標(biāo)記幀，每個(gè)幀包含24幀。偏移噪聲可能涉及視頻幀內(nèi)對(duì)象的隨機(jī)移動(dòng)、幀時(shí)序的輕微變化或輕微的失真。

訓(xùn)練期間引入的噪聲增強(qiáng)了模型對(duì)數(shù)據(jù)分布的理解。因此，該模型可以生成更多樣化的真實(shí)視頻，并更有效地解釋文本描述的變化。

根據(jù)擁有 Modelscope 經(jīng)驗(yàn)的 Zeroscope 開(kāi)發(fā)者“Cerspense”的說(shuō)法，用24GB VRam 微調(diào)模型并不“超級(jí)困難”。他在微調(diào)過(guò)程中刪除了 Modelscope 水印。

他將自己的模型描述為“旨在挑戰(zhàn) Gen-2”，即 Runway ML 提供的商業(yè)文本到視頻模型。根據(jù) Cespense 的說(shuō)法，Zerscope 完全免費(fèi)供公眾使用。

目前，文本到視頻仍處于起步階段。人工智能生成的剪輯通常只有幾秒鐘長(zhǎng)，并且存在許多視覺(jué)缺陷。然而，圖像人工智能模型最初面臨類(lèi)似的問(wèn)題，但在幾個(gè)月內(nèi)就實(shí)現(xiàn)了照片級(jí)真實(shí)感。但與這些模型不同的是，視頻生成無(wú)論是訓(xùn)練還是生成都需要消耗更多的資源。

谷歌已經(jīng)推出了Phenaki 和 Imagen Video，這兩種文本到視頻模型能夠生成高分辨率、更長(zhǎng)、邏輯連貫的剪輯，盡管它們尚未發(fā)布。Meta 的Make-a-Video（文本轉(zhuǎn)視頻模型）也尚未發(fā)布。

目前，只有Runway 的 Gen-2已商用，并且現(xiàn)已在 iPhone 上提供。Zeroscope 標(biāo)志著第一個(gè)高質(zhì)量開(kāi)源模型的出現(xiàn)。

關(guān)鍵詞：