AI影視制作新時代

如今，隨著AIGC技術不斷發(fā)展，數(shù)字人需求正在迎來階梯性的增長，目前已廣泛應用在包括直播、游戲、影視、短視頻等多個業(yè)務場景中，為這些行業(yè)發(fā)展起到了降本增效的作用。聚力維度成立于2016年，一直致力于數(shù)字人創(chuàng)新技術研發(fā)。早在2014年我們就開始涉足AI與影視制作的研究。當時主要是運用計算機視覺技術，在影視行業(yè)進行后期制作相關工作，一直想將人工智能技術全面應用于影視制作的全流程。經(jīng)過幾輪人工智能技術革新和浪潮，我們現(xiàn)在已經(jīng)非常接近這個目標。2021年，由聚力維度全面研發(fā)的人工智能數(shù)字人驅(qū)動引擎“賽博演猿”正式推出。

讓影視制作更簡單高效

“賽博演猿”的推出，主要是基于我們在深入研究影視行業(yè)的成本構(gòu)成后，發(fā)現(xiàn)其中最主要的成本來源是將人物畫面置入虛擬場景拍攝。因為，傳統(tǒng)的影視制作通常有兩種方式——實拍結(jié)合后期制作和純虛擬動畫制作，這個過程還包括原畫設計、建模、后期渲染等步驟。盡管這些方式能制作高質(zhì)量影視作品，但成本高昂且制作周期長。

為了解決這個問題，我們提出了一種全新制作思路。這一思路以AIGC數(shù)字人為核心，在元宇宙的3D數(shù)字世界中拍攝，形成一種新型AI影視制作工具，結(jié)合鏡頭、燈光等交互工具，就能夠?qū)崿F(xiàn)數(shù)字化直接拍攝，既可以直播，也可以錄制電影。

我們的研究與Sora在核心目標上存在共鳴，都期望AI成為生產(chǎn)力主體，而非僅作為輔助工具。在研究AI技術對于影視行業(yè)的應用時，很多人認為，僅僅在現(xiàn)有人工流程中嵌入AI環(huán)節(jié)，可能無法充分發(fā)揮AI潛力。我們堅信，真正的AI影視制作應當是一個多模態(tài)過程，不限于文字和像素的輸入和輸出，還包括聲音、情緒表達和肢體動作等方面。因此，我們致力于開發(fā)一個多模態(tài)制作流程，從而更全面地展現(xiàn)創(chuàng)作者意圖和情感。

在AI輸出方面，我們希望輸出的是結(jié)構(gòu)化圖形，而不是單純像素，所以決定在生成數(shù)字人時，采納多模態(tài)生成方式。例如，在塑造人臉時，相較于煩瑣的文字描述，圖像描述更為直觀，若需對鼻子進行微調(diào)，使其高度增加，通過鼠標直接拖拽調(diào)整顯然更為高 效。

值得一提的是，我們的方法與Sora有所不同，這得益于對成本的優(yōu)化。首先，數(shù)字人與真人相比，無須承擔吃、住、行等相應成本支出；其次，在虛擬環(huán)境中拍攝虛擬場景，成本也低于現(xiàn)實世界的實景拍攝成本，甚至都不用后期制作。因此，通過AI協(xié)助，既能夠?qū)⒊杀窘档?，也能確保電影級畫質(zhì)。

讓每個人都能成為導演

目前，我們的核心技術主要圍繞數(shù)字人的生成與應用，包括其來源、建模、語音及動作制作等方面，并且已經(jīng)將數(shù)字人集成至虛擬拍攝軟件中，以實現(xiàn)更高效的創(chuàng)作過程。

在技術研發(fā)方面，我們最先研究的是通過視覺捕捉技術來解決表演問題。通過該技術，無須演員參與，即可實現(xiàn)高質(zhì)量視覺捕捉效果?？梢哉f，在全球范圍內(nèi)，在這一領域的技術水平處于領先地位。這項技術不僅為后續(xù)AI直接生成動作提供了前置支持，并且不管是細微的表情，還是比較夸張的表情，以及手指活動，都可以用AI精準捕捉。通過拉遠鏡頭，我們的技術還能進行全身精準捕捉，其中涉及肩膀和胯部的捕捉尤為精準，同時實現(xiàn)了對腳部在地面滑動的細膩捕捉。此外，還能根據(jù)輸入的文字生成聲音，并生成與文字相匹配的表情和口型，為演員提供更為便捷的表演方式。

關于數(shù)字人的產(chǎn)生，推出了數(shù)字人AI生產(chǎn)端平臺——賽博演猿，其具備隨機生成、圖像生成和文字生成功能。生成的數(shù)字人不是靜態(tài)圖片，而是可以被驅(qū)動的實體。以圖像生成為例，用戶可通過此功能自動生成與自身相似的圖像，并通過鼠標鍵盤或文字指令調(diào)整數(shù)字人的面部特征，如鼻子寬度等，并且無版權及法律風險。例如，影視劇導演可以根據(jù)作品需求生成各類角色，如男女主角、男女配角等，還可以實現(xiàn)實時更換。此外，數(shù)字拍攝的優(yōu)勢在于快速調(diào)用和特效生成，使電影特效制作變得輕而易舉，像不同的天氣效果、穿墻效果等都可以實現(xiàn)一鍵切換、一鍵調(diào)用。雖然我們目前主要拍攝動畫片，但隨著技術不斷成熟，預計在2025年，在影視制作中的渲染效果將實現(xiàn)與實拍效果無縫銜接。在此過程中，需要始終確保數(shù)據(jù)內(nèi)容的結(jié)構(gòu)化，并實現(xiàn)與虛擬對象的交互。

打造AI影視產(chǎn)業(yè)新生態(tài)

在內(nèi)容創(chuàng)作方面，還積極探索AI在短劇制作中的應用。雖然傳統(tǒng)短劇制作成本高，但通過AI技術創(chuàng)新，在降低成本的同時，將實現(xiàn)單人獨立制作短劇的目標。這一舉措不僅體現(xiàn)了對技術創(chuàng)新的追求，也展示了在提升內(nèi)容生產(chǎn)效率和降低成本方面的決心。

今年，將加大在影視劇內(nèi)容制作方面的技術研發(fā)力度，最終目標是實現(xiàn)“個人日產(chǎn)10分鐘影視級內(nèi)容”的目標。如果影視劇制作能像小說創(chuàng)作一樣，實現(xiàn)個人日產(chǎn)數(shù)分鐘影視內(nèi)容，其影響將會是顛覆性的。以前，在面向企業(yè)的服務中，往往是按要求為客戶用AI技術制作企業(yè)宣傳片或節(jié)目，但隨著技術不斷進步，AI化趨勢日益明顯，客戶對全流程AI制作的需求也日益迫切。

特別是在直播方面，利用數(shù)字人作為企業(yè)宣傳主持人，或是作為帶領大家進行文旅體驗的主播，等等，流量都非常亮眼。近期，我們?yōu)槿嵌汛蛟炝艘豁梽?chuàng)新體驗，此項體驗的核心在于攝像頭技術。觀眾將有機會通過攝像頭，實時控制數(shù)字人的表情與動作，展開一場別開生面的互動之旅。

值得一提的是，我們還推出了一項創(chuàng)新功能，即利用圖片生成個人臉部模型，與IP角色進行互動。為了更廣泛地推廣這一技術，建立了數(shù)字人標準，使得第三方創(chuàng)作者也能將自己的數(shù)字人導入平臺，希望最終能夠賦能幾十萬企業(yè)和千千萬萬個人創(chuàng)作者。當下，我們正在推動“數(shù)字橫店計劃”，致力于打造一個虛擬影視產(chǎn)業(yè)生態(tài)。盡管AI生成的3D模型目前尚未達到影視級別，但我們相信，隨著技術不斷進步，這一愿景將成為現(xiàn)實。

我們對未來充滿期待，希望在2024年能夠推出一系列全球領先的AI電視劇、電影等作品。隨著AI技術不斷發(fā)展，更加有信心將這些作品推向更廣闊的舞臺。W

（作者趙天奇系北京聚力維度科技有限公司創(chuàng)始人、 CEO）