從《阿凡達(dá):水之道》淺析3D技術(shù)及高幀率技術(shù)的發(fā)展與應(yīng)用

柏 齡

中影華夏電影科技(北京)有限公司,北京 100088

1 前言

應(yīng)卡梅隆團(tuán)隊(duì)與片方迪士尼的要求,在2022年6月的歐洲電影展會(huì) (CineEurope)上,我國(guó)具有核心自主知識(shí)產(chǎn)權(quán)的CINITY 品牌使用專屬制版工藝制作了《阿凡達(dá):水之道》(暫譯名,下同)首次公開的時(shí)長(zhǎng)8分鐘的演示片段,并通過融合了4K、3D、高亮度、高幀率、高動(dòng)態(tài)范圍、廣色域、沉浸式音頻等7大電影放映領(lǐng)域高新技術(shù)的CINITY 放映系統(tǒng)在展會(huì)期間向參會(huì)的業(yè)內(nèi)同行進(jìn)行了獨(dú)家放映。在場(chǎng)的很多專業(yè)人士對(duì)于 《阿凡達(dá):水之道》的藝術(shù)和制作與CINITY 的放映相結(jié)合的觀影效果表示“這是一次前所未有的觀影體驗(yàn)”。

《阿凡達(dá):水之道》故事主題依然圍繞家園、愛和敬畏自然,但這部影片使用了更先進(jìn)的視效制作技術(shù)、更逼真的角色創(chuàng)作手法以及更清晰流暢的畫面,目的是帶來“最具沉浸感的3D 體驗(yàn)”。更具創(chuàng)新性的3D 實(shí)拍技術(shù),特別是水下3D 拍攝的實(shí)現(xiàn)以及高幀率、高分辨率等技術(shù)的綜合應(yīng)用都遠(yuǎn)遠(yuǎn)超越了《阿凡達(dá)》系列第一部。CINITY 版本的高動(dòng)態(tài)范圍完美還原了 《阿凡達(dá):水之道》中畫面的明暗對(duì)比,4K 分辨率使影片細(xì)節(jié)更清晰,高幀率的運(yùn)用在保持畫面內(nèi)容力量感與速度感的同時(shí),減少了動(dòng)態(tài)模糊對(duì)3D 實(shí)拍效果的影響,而CINITY 廣色域技術(shù)配合高亮度,則更助力將潘多拉星球斑斕的色彩呈現(xiàn)給觀眾。相信在行業(yè)發(fā)展的關(guān)鍵時(shí)期,《阿凡達(dá):水之道》及該系列后續(xù)影片的陸續(xù)上映,必將迎來新一輪關(guān)于3D、高幀率及其他高新技術(shù)應(yīng)用的持續(xù)探索和發(fā)展。

2 近年來3D技術(shù)在國(guó)內(nèi)的發(fā)展及應(yīng)用

2009年《阿凡達(dá)》在電影科技支撐的基礎(chǔ)上橫空出世,而影片中運(yùn)用的3D 技術(shù)也在當(dāng)時(shí)推動(dòng)電影工業(yè)踏入了一個(gè)全新的階段。當(dāng)年該片在全球斬獲了28億美元的票房收入,即便在物價(jià)大幅提升的今天,這仍是一個(gè)難以超越的紀(jì)錄,潘多拉星球帶給一代人的視覺沖擊無可媲美。在28億美元的整體票房中,3D 票房高達(dá)18.5億美元,超過總票房占比的70%,這也是前所未有的。3D 技術(shù)帶來全新視聽體驗(yàn)的同時(shí)也大幅促進(jìn)了觀影環(huán)境的改造升級(jí)。2009年《阿凡達(dá)》上映后,我國(guó)3D 銀幕數(shù)量在短期內(nèi)大幅增加,強(qiáng)大的市場(chǎng)需求掀起了空前的3D熱潮,推動(dòng)電影行業(yè)快速進(jìn)入3D 時(shí)代。2010年之后新建的影院,支持3D 放映系統(tǒng)基本可以說成為影廳的標(biāo)配。截至2021年9月,根據(jù)國(guó)家電影局的數(shù)據(jù)統(tǒng)計(jì)顯示,國(guó)內(nèi)銀幕數(shù)已突破8萬塊,位列世界第一,其中88%以上的影廳都支持3D 放映。3D一度成為新技術(shù)與高質(zhì)量影片的代名詞。

隨后數(shù)年內(nèi),為解決3D 影片片源不足的問題,3D 立體轉(zhuǎn)制技術(shù)開始被廣泛應(yīng)用。但隨著觀眾觀影水平的提升,以及影院放映亮度衰減、3D 眼鏡佩戴不夠舒適、影片本身過度追求3D 效果等問題,使得3D 影片的體驗(yàn)感逐步下降,特別是在新鮮感消退后,匆匆趕制的3D 效果逐漸引發(fā)了觀影者們的一些負(fù)面情緒。其中,許多影片僅在國(guó)內(nèi)市場(chǎng)發(fā)行轉(zhuǎn)制3D 版的做法更使觀眾對(duì)“中國(guó)特供3D 版”產(chǎn)生抵觸。而據(jù)相關(guān)調(diào)研數(shù)據(jù)顯示,3D 影片的票房收入在全球電影票房中的占比在2017年至2021年呈逐年下降趨勢(shì),特別是在2021年僅占到6.57%。

3D 技術(shù)的本質(zhì)是突出主題的手段,為內(nèi)容呈現(xiàn)服務(wù),起到錦上添花的作用,并不改變影片主體。首先,舒適的3D 效果有助于突出影片主旨,將創(chuàng)作者試圖傳達(dá)給觀眾的信息以更直觀、更具沖擊力的方式呈現(xiàn)。其次,在影片的創(chuàng)意和設(shè)計(jì)階段就需考慮是否有必要通過3D 方式來展現(xiàn)情節(jié)與內(nèi)容。影片如適合使用3D 表現(xiàn),則在場(chǎng)景設(shè)計(jì)、動(dòng)作設(shè)計(jì)、拍攝設(shè)備的選擇、景別選取、焦點(diǎn)位置、特效制作等環(huán)節(jié)都要充分考慮到3D 與2D 的呈現(xiàn)差異,以及如何發(fā)揮3D 的技術(shù)特點(diǎn)。拍攝時(shí),要對(duì)比前期設(shè)計(jì),通過現(xiàn)場(chǎng)3D 拍攝效果監(jiān)看,再調(diào)整拍攝的視差或畫面構(gòu)圖。而從 《阿凡達(dá):水之道》CINITY 技術(shù)演示研討會(huì)上釋放出的演示片段來看,正是很好地詮釋了這一點(diǎn)。片段中對(duì)戰(zhàn)斗場(chǎng)面的呈現(xiàn),在打斗間穿插的對(duì)話與表現(xiàn)角色情緒的特寫鏡頭,在交待劇情的同時(shí)又有效緩解了連續(xù)的3D 打斗場(chǎng)景以避免給觀影者造成不適感。

相比13年前《阿凡達(dá)》系列第一部,《阿凡達(dá):水之道》在3D 拍攝與制作方面都有了長(zhǎng)足發(fā)展。據(jù)悉,此次《阿凡達(dá):水之道》的3D 拍攝使用了多個(gè)索尼全畫幅Venice數(shù)字?jǐn)z影機(jī),索尼為滿足卡梅隆導(dǎo)演對(duì)《阿凡達(dá)》系列影片后續(xù)的開發(fā)需求專門定制了獨(dú)特的擴(kuò)展系統(tǒng),可使光學(xué)模塊與攝影機(jī)機(jī)身分離最遠(yuǎn)達(dá)到20 英尺 (6 米多)。而通過Blackmagic的轉(zhuǎn)換盒從索尼Venice攝影機(jī)獲取的拍攝信號(hào),將根據(jù)不同SDR/HDR、2K/4K、24FPS/48FPS的需求,轉(zhuǎn)換成各種組合以進(jìn)行現(xiàn)場(chǎng)3D 監(jiān)看。除此之外,據(jù)已公開的信息,為完成水下3D攝影,水下3D 拍攝系統(tǒng)和適用鏡頭的開發(fā)、水下拍攝效果監(jiān)看的實(shí)現(xiàn)也成為重要的技術(shù)突破點(diǎn)。從演示片段中的水場(chǎng)景來看,也確實(shí)全面地展示出3D技術(shù)與水的自然效果在該片中的高度結(jié)合。同時(shí),高幀率的應(yīng)用也成為減少閃爍與抖動(dòng)等影響3D 效果的有效手段。

作為3D 技術(shù)的引領(lǐng)者,卡梅隆導(dǎo)演深刻理解這項(xiàng)技術(shù),知道如何利用3D 為故事服務(wù),創(chuàng)造更豐富、更真實(shí)的觀影體驗(yàn)。此次《阿凡達(dá):水之道》勢(shì)必又將是一部通過創(chuàng)新技術(shù)的展現(xiàn)令人耳目一新的作品。

3 高幀率技術(shù)的發(fā)展與應(yīng)用

《阿凡達(dá):水之道》的另一大亮點(diǎn)則是對(duì)高幀率的應(yīng)用,該片已知使用48FPS拍攝。高幀率的運(yùn)用是近些年備受關(guān)注的話題,對(duì)這方面的探索走得最遠(yuǎn)的無疑是李安導(dǎo)演,2016年 《比利·林恩的中場(chǎng)戰(zhàn)事》和2019年的《雙子殺手》,突破性地使用了高幀率技術(shù),使其一躍成為了新的技術(shù)高點(diǎn)?？仿?dǎo)演表示此次高幀率在 《阿凡達(dá):水之道》中的應(yīng)用,將“成為減少閃爍與抖動(dòng)等影響該片3D 效果問題的有效手段”。

3.1 高幀率給影片放映帶來的效果提升

與傳統(tǒng)24FPS 相比,高幀率影片優(yōu)勢(shì)非常明顯,高幀率將電影每秒的信息量提高到數(shù)倍,大幅減少影片運(yùn)動(dòng)鏡頭的模糊和抖動(dòng),能使畫面更流暢、更清晰,讓觀眾觀影時(shí)減少由于畫面模糊、卡頓和抖動(dòng)帶來的不適感,避免出戲,使觀眾更好地沉浸到故事之中。在穩(wěn)定與流暢的基礎(chǔ)上,高幀率在相同時(shí)長(zhǎng)內(nèi)呈現(xiàn)出了更多內(nèi)容細(xì)節(jié)。以李安導(dǎo)演 《比利·林恩的中場(chǎng)戰(zhàn)事》中的鏡頭為例,高幀率的運(yùn)用將男主角在戰(zhàn)場(chǎng)上因極度恐懼產(chǎn)生的緊張感,通過面部肌肉的僵硬和無法自控的顫抖高度還原給觀眾(圖1)。而《雙子殺手》中男主角瞄準(zhǔn)高速運(yùn)動(dòng)的列車車廂,對(duì)目前人物進(jìn)行射殺的場(chǎng)景,也成為體現(xiàn)高幀率豐富了畫面細(xì)節(jié)的代表鏡頭之一 (圖2)。在《阿凡達(dá):水之道》的演示片段里,也能清楚感受到在水下、戰(zhàn)斗等場(chǎng)景中,運(yùn)用4K、48FPS帶來的在畫面連貫性和清晰度上的優(yōu)勢(shì)。

圖1 影片 《比利·林恩的中場(chǎng)戰(zhàn)事》一秒鐘分鏡示意圖

圖2 影片 《雙子殺手》中場(chǎng)景

3.2 高幀率應(yīng)用如何與創(chuàng)作更緊密結(jié)合仍待深入探索

雖然幀率提升對(duì)電影呈現(xiàn)有有利的一面,但也有觀點(diǎn)指出,過于清晰、過于流暢的畫面,會(huì)失去電影感。什么是“電影感”一直是業(yè)界爭(zhēng)論的話題,這其中既涉及藝術(shù)的突破又離不開技術(shù)的支撐。從黑白到彩色、從無聲到有聲、從膠片到數(shù)字,電影百年的魅力在于帶來了無限的可能,創(chuàng)造了無限的想象空間,在藝術(shù)與技術(shù)相互促進(jìn)的每個(gè)發(fā)展階段,對(duì)“電影感”的理解都應(yīng)是不同的。能夠帶給觀眾更美、更真實(shí)、更舒適的觀感就是我們一直追求的“電影感”,因此觀眾的接受度才是真正評(píng)判一部電影是否有“電影感”的標(biāo)準(zhǔn)。

電影語言的表達(dá)方式多樣且獨(dú)特,創(chuàng)作團(tuán)隊(duì)為了表達(dá)、烘托創(chuàng)作主旨,往往采用各種手段和方式處理鏡頭畫面,對(duì)觀眾進(jìn)行潛移默化的影響,這就要求影片在使用高幀率制作時(shí),不是一味追求畫面線性的流暢度,同時(shí)還要考慮到鏡頭語言的特點(diǎn)。例如,展現(xiàn)力量的鏡頭,怎樣更好保留角色帶來的爆發(fā)力和沖擊力;利用高幀率如何更好表現(xiàn)人物情感沖突或突出畫面重心等,這些都要求高幀率的表現(xiàn)方式結(jié)合電影內(nèi)容本身的特點(diǎn)提前進(jìn)行設(shè)計(jì)。

3.3 利用人工智能算法實(shí)現(xiàn)影片幀率提升

雖然高幀率有可見的優(yōu)勢(shì),但從前端方案設(shè)計(jì)、拍攝設(shè)備準(zhǔn)備到后期制作工藝,高幀率相較傳統(tǒng)24FPS影片在每個(gè)流程環(huán)節(jié)都有不同,因此現(xiàn)階段實(shí)拍高幀率影片片源不足仍是很現(xiàn)實(shí)的問題。為了在合理控制成本的前提下,解決此問題,使用人工智能技術(shù)實(shí)現(xiàn)幀率提升成為了過渡期的有效方案。

視頻插幀技術(shù)旨在通過對(duì)原始視頻序列幀的信息提取、整合及分析,生成中間幀,從而實(shí)現(xiàn)對(duì)原始幀率進(jìn)行提升。假設(shè)輸入幀序列為 {I0,I1,…,In},則在對(duì) {I0,I1}進(jìn)行插幀運(yùn)算時(shí),其過程可以描述為:

其中A (·)為輔助函數(shù),負(fù)責(zé)提取插幀相關(guān)的物理量,如光流、深度、語義信息等;而F (·)為插幀函數(shù),用于整合輔助函數(shù)輸出的物理信息,并生成{I0,I1}的中間幀。

插幀算法的本質(zhì)為對(duì)插幀函數(shù)進(jìn)行刻畫擬合,過程比較復(fù)雜,傳統(tǒng)算法往往通過添加假設(shè)條件和簡(jiǎn)化問題的方式對(duì)插幀函數(shù)進(jìn)行重構(gòu),這樣的估計(jì)法會(huì)限制算法的泛化性和插幀結(jié)果的精確度,難以滿足大銀幕電影的需求。與傳統(tǒng)算法對(duì)插幀函數(shù)直接建模不同,人工智能技術(shù)通過大數(shù)據(jù)海量學(xué)習(xí),對(duì)原有幀和中間幀的關(guān)系進(jìn)行數(shù)學(xué)的刻畫,以得到更優(yōu)的視覺效果和泛化性。其中,最具代表性的是基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network,DCNN)的算法。深度卷積神經(jīng)網(wǎng)絡(luò)在線性分類模型的基礎(chǔ)上,通過卷積對(duì)輸入圖像的有效信息進(jìn)行提取,疊加非線性函數(shù),對(duì)復(fù)雜的前后關(guān)系進(jìn)行通用建模和刻畫,同時(shí)在網(wǎng)絡(luò)設(shè)計(jì)的過程中引入池化層、重采樣層、反卷積層等算子,形成靈活多變的網(wǎng)絡(luò)結(jié)構(gòu),對(duì)輸入數(shù)據(jù)進(jìn)行高效的提取與整合?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)的視頻插幀技術(shù),根據(jù)輔助函數(shù)和插幀方式的不同,可大致分為光流法和卷積法。而目前基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算模型常見有:

(1)深度感知視頻幀插幀算法 (Depth-Aware Video Frame Interpolation,DAIN),采用深度信息對(duì)權(quán)重函數(shù)進(jìn)行增強(qiáng),提升算法精度的同時(shí)增強(qiáng)穩(wěn)定性。

(2)感知視頻中運(yùn)動(dòng)加速度的視頻插幀算法(Quadratic Video Interpolation,QVI),在深度感知視頻幀插幀算法基礎(chǔ)上進(jìn)行了增強(qiáng)。進(jìn)行中間光流生成時(shí),深度感知視頻幀插幀算法會(huì)假設(shè)幀間運(yùn)動(dòng)為勻速直線運(yùn)動(dòng),這種假設(shè)限制了模型的表達(dá)能力,在處理復(fù)雜運(yùn)動(dòng)時(shí)會(huì)因匹配度不夠而產(chǎn)生負(fù)效應(yīng)。運(yùn)動(dòng)加速度的視頻插幀算法通過對(duì)多幀運(yùn)動(dòng)信息的估計(jì),使用二次模型對(duì)幀間運(yùn)動(dòng)進(jìn)行刻畫。即要對(duì) {I0,I1}進(jìn)行插幀時(shí),需輸入連續(xù)四幀I-1,I0,I1,I2,將原插幀函數(shù)變形為:

從而增強(qiáng)模型對(duì)處理復(fù)雜運(yùn)動(dòng)的能力,提升插幀精度。

(3)視頻幀插值的實(shí)時(shí)中間流估計(jì)(Real-Time Intermediate Flow Estimation for Video Frame Interpolation,RIEF),與常見采用先做前后、再做中間的光流估計(jì)框架不同,視頻幀插值的實(shí)時(shí)中間流估計(jì)是通過對(duì)輸入幀的信息提取與整合,直接對(duì)中間光流進(jìn)行估計(jì),有效壓縮了運(yùn)行時(shí)間。

由上述代表性的算法可見,擁有更強(qiáng)學(xué)習(xí)能力的深度卷積視覺神經(jīng)網(wǎng)絡(luò)配以大量訓(xùn)練數(shù)據(jù),已越來越多的通過定制化開發(fā)應(yīng)用于解決圖像處理、畫質(zhì)提升、三維重構(gòu)、虛擬和增強(qiáng)等各類視覺問題中。而與電影行業(yè)的結(jié)合應(yīng)用,最關(guān)鍵是讓人工智能深度學(xué)習(xí)與熟悉電影語言表達(dá)方式的特點(diǎn)。不同題材影片雖風(fēng)格迥異,但往往都集合了推、拉、搖、移、旋轉(zhuǎn)等各種鏡頭運(yùn)用,同時(shí)要需綜合分析畫面中物體交互運(yùn)動(dòng)類型、形變情況、遮擋關(guān)系、光影變換等因素,加上大銀幕充分展現(xiàn)畫面每一處細(xì)節(jié),稍有不準(zhǔn)確就會(huì)造成不適的觀影體驗(yàn),因此對(duì)人工智能算法處理幀率提升的精確度要求格外高。對(duì)插幀前后畫面焦點(diǎn)虛實(shí)及色彩空間的一致性、保證物體邊緣無變形或不完整顯示、畫面內(nèi)容無非正常閃爍及抖動(dòng)、運(yùn)動(dòng)物體不因幀率提升而產(chǎn)生拖尾及重影,以及畫面內(nèi)容沒有非常規(guī)的運(yùn)動(dòng)不同步等指標(biāo)的要求,依靠開源算法以自動(dòng)化方式無法滿足需求,是通過定制化開發(fā),并不斷輸入實(shí)拍數(shù)據(jù)集,對(duì)算法模型進(jìn)行訓(xùn)練、優(yōu)化與迭代來實(shí)現(xiàn)的。

CINITY 制版工藝中的CINITY AMR (CINITY 人工智能母版重制)技術(shù)就是在原有CINITY母版制作工藝實(shí)現(xiàn)的提高影片對(duì)比度、提升動(dòng)態(tài)范圍、色彩增強(qiáng)及重新對(duì)影調(diào)進(jìn)行精準(zhǔn)映射的基礎(chǔ)上,創(chuàng)新采用人工智能方式對(duì)傳統(tǒng)24FPS影片進(jìn)行的母版重制,在使電影畫面超分至4K 的同時(shí)提高了幀率,與CINITY 放映系統(tǒng)技術(shù)指標(biāo)相匹配,讓影片畫面更清晰、色彩更真實(shí)、細(xì)節(jié)更豐富、動(dòng)作更流暢,為觀眾帶來沉浸式觀影體驗(yàn)。目前通過CINITY AMR 技術(shù)已制作多部高幀率影片,市場(chǎng)反響良好。《阿凡達(dá)》第一部也計(jì)劃使用人工智能的方式制作高幀率重制版,并在CINITY 影廳展現(xiàn)給觀眾。

通過對(duì)人類感知視覺信息過程的不斷模擬、迭代更新和海量數(shù)據(jù)訓(xùn)練,人工智能的應(yīng)用水平將會(huì)不斷提高,繼續(xù)助力電影級(jí)別畫面的超分和幀率變換。

3.4 高幀率實(shí)現(xiàn)方式的結(jié)合運(yùn)用

實(shí)際拍攝與人工智能插幀運(yùn)算兩種實(shí)現(xiàn)影片高幀率的方式并不沖突,甚至可以結(jié)合運(yùn)用。從創(chuàng)作需要角度出發(fā),通過前期設(shè)計(jì),對(duì)要重點(diǎn)突出高幀率優(yōu)勢(shì)的場(chǎng)景更多采用實(shí)拍方式,而對(duì)運(yùn)動(dòng)較平緩、固定機(jī)位拍攝或不具代表性的場(chǎng)景鏡頭,則可考慮通過人工智能插幀運(yùn)算方式來實(shí)現(xiàn)幀率變換,有效控制各項(xiàng)成本的同時(shí)提高制作質(zhì)量和效率。

4 總結(jié)

卡梅隆導(dǎo)演曾說,“我希望人們遺忘技術(shù),就像你在電影院看到的不是銀幕而是真實(shí)世界。一切技術(shù)的根本目的,是讓人們察覺不到技術(shù)的存在?！彼械男录夹g(shù)手段都是在為內(nèi)容服務(wù),不論3D、高幀率還是其他高新技術(shù),歸根結(jié)底是為更極致地還原創(chuàng)作者本身的意圖,更具沖擊力地傳達(dá)給觀眾創(chuàng)作的主旨,引起共鳴。對(duì)于 《阿凡達(dá)》系列的探討,其實(shí)早已超越了電影技術(shù)和藝術(shù)本身的范疇,它引發(fā)的思考和帶來的影響力已推動(dòng)電影產(chǎn)業(yè)各方面加速發(fā)展升級(jí)。相信隨著 《阿凡達(dá):水之道》及其他國(guó)內(nèi)外重磅大片的上映,電影行業(yè)也必將在高新技術(shù)發(fā)展和藝術(shù)創(chuàng)作領(lǐng)域都得到跨越式的提升,尤其在3D 技術(shù)與高幀率技術(shù)方面,將會(huì)得到進(jìn)一步的發(fā)展與應(yīng)用。