視頻大模型助力網(wǎng)絡(luò)視聽創(chuàng)作

吳欣鴻

美圖公司自2014年起，便積極投身于網(wǎng)絡(luò)視聽內(nèi)容創(chuàng)作的支持與發(fā)展。雖然美拍在短視頻領(lǐng)域的嘗試未能成為主流，但我們并未停止探索和創(chuàng)新。2019年，美圖秀秀在原有修圖功能的基礎(chǔ)上，新增了視頻編輯功能，并成功孵化了新的視頻編輯產(chǎn)品Wink。目前，Wink已在中國視頻編輯市場占據(jù)第三位，特別是在日活躍用戶方面，已躍居第二，僅次于剪映。2023年，在美圖影像節(jié)上，我們發(fā)布了多款產(chǎn)品，其中包括多款應(yīng)用層工具如開拍，也有大模型MiracleVision。開拍作為一款助力口播視頻創(chuàng)作的工具，通過AI技術(shù)實現(xiàn)了從腳本創(chuàng)作、題詞器到智能剪輯一站式服務(wù)，極大提高了口播視頻的創(chuàng)作效率。而MiracleVision則是美圖推出的視覺大模型，專注于圖像和視頻生成。

以美圖展示的“動物瘋狂賽車”短視頻為例，完成該短片僅用時半天。整個制作流程均基于美圖已上線產(chǎn)品，包括開拍的AI腳本創(chuàng)作、Wink的文聲圖分鏡設(shè)計、AI生成視頻能力，以及開拍的AI數(shù)字人角色等。這一案例充分展示了MiracleVision視頻大模型在內(nèi)容創(chuàng)作領(lǐng)域的強(qiáng)大潛力。

關(guān)于視頻大模型的行業(yè)格局，我們注意到Open AI在2024年2月初發(fā)布的Sora對美圖等圖像和視頻大模型公司產(chǎn)生了較大沖擊。Sora的發(fā)布讓我們看到了明顯代差，迫使我們重新評估和調(diào)整自身技術(shù)路線。因此，我們決定對原有的視覺大模型進(jìn)行升級，采用全新的“Diffusion Transformer”網(wǎng)絡(luò)架構(gòu)對模型進(jìn)行訓(xùn)練。全新版本將于今年6月正式發(fā)布，相信我們在未來將會帶給大家更多驚艷的作品。

美圖公司自成立以來已有16個年頭，我們一直深耕于應(yīng)用開發(fā)領(lǐng)域，致力于為用戶帶來更加便捷、高效的創(chuàng)作體驗。隨著移動互聯(lián)網(wǎng)蓬勃發(fā)展，我們推出了一系列備受歡迎的應(yīng)用產(chǎn)品，贏得了廣大用戶的喜愛和認(rèn)可。如今，大模型應(yīng)用創(chuàng)新的浪潮席卷而來，我們看到了應(yīng)用開發(fā)者的紅利期已經(jīng)到來。未來至少會有兩年甚至三年的時間窗口，讓我們有機(jī)會在這個領(lǐng)域大展拳腳。

特別是網(wǎng)絡(luò)視聽領(lǐng)域有很多垂直場景值得應(yīng)用開發(fā)者關(guān)注。在這一領(lǐng)域中，有著無數(shù)創(chuàng)作可能性和商業(yè)機(jī)會等待我們?nèi)ネ诰?。同時，我們也在逐步構(gòu)建AI原生工作流，將原本孤立的工作點串聯(lián)起來，形成更加高效、智能的創(chuàng)作環(huán)境。這種變化不僅提高了創(chuàng)作效率，也讓我們能夠更好地滿足用戶需求，為他們帶來更加卓越的體驗。

在具體應(yīng)用方面，美圖在AI視頻生成、視頻編輯和視頻渲染等領(lǐng)域均有布局。例如，在視頻生成領(lǐng)域，我們致力于實現(xiàn)網(wǎng)文的視頻化及AI電商的視頻生成；在視頻編輯領(lǐng)域，Wink產(chǎn)品擁有成熟的視頻修人像技術(shù)，并實現(xiàn)了內(nèi)容替換、圖片局部視頻化等功能；在視頻渲染方面，我們的AI動漫技術(shù)已經(jīng)非常成熟，可以實現(xiàn)風(fēng)格化的視頻生成。此外，我們還在探索Wink畫圖修復(fù)、視頻風(fēng)格遷移等渲染技術(shù)。未來，隨著我們技術(shù)的不斷進(jìn)步和創(chuàng)新，相信這些應(yīng)用將為用戶帶來更加豐富的視聽體驗。

未來十年，我們認(rèn)為以Sora為代表的視頻大模型2.0只是一個開始。無論是美圖推出的MiracleVision視頻大模型，還是全球范圍內(nèi)的視頻大模型，都是1.0版本。所有這些1.0版本產(chǎn)品生成視頻的秒數(shù)和動態(tài)效果都還有很多局限性。但我們通過Sora看到，整個視頻大模型已經(jīng)能夠逐步理解世界的基本規(guī)律，如物理和運(yùn)動等，還將具備更強(qiáng)的涌現(xiàn)能力和創(chuàng)意生成能力。這將為我們帶來更加廣闊的創(chuàng)作空間和無限可能。

在這個充滿機(jī)遇和挑戰(zhàn)的時代，美圖公司將全力推進(jìn)自研視頻大模型的研發(fā)，不斷創(chuàng)新突破，為網(wǎng)絡(luò)視聽行業(yè)提供更加優(yōu)質(zhì)、高效的視頻創(chuàng)作工具。我們堅信，在未來的發(fā)展中能夠創(chuàng)造更多令人驚嘆的作品和成果，為用戶和行業(yè)帶來更多驚喜和價值。W