當(dāng)前國(guó)產(chǎn)電影2D轉(zhuǎn)3D技術(shù)的問題與對(duì)策

李 侃 馬同斌

（作者單位：北京電影學(xué)院）

當(dāng)前國(guó)產(chǎn)電影2D轉(zhuǎn)3D技術(shù)的問題與對(duì)策

李 侃 馬同斌

（作者單位：北京電影學(xué)院）

與傳統(tǒng)的2D電影不同，轉(zhuǎn)制3D對(duì)技術(shù)系統(tǒng)的依賴性較高，而這些核心技術(shù)還基本掌握在國(guó)外先進(jìn)公司的手中，由于核心技術(shù)、關(guān)鍵技術(shù)上的原因，已上映的國(guó)產(chǎn)3D電影制作不很理想。一些影迷認(rèn)為，國(guó)產(chǎn)3D電影就是“山寨3D”，立體畫面缺乏質(zhì)感，有些3D電影只有十幾分鐘是3D制作也號(hào)稱3D電影，甚至“只有字幕是3D”的評(píng)論，技術(shù)實(shí)力的不足損害了我國(guó)3D電影的聲譽(yù)和形象。由此可見，有必要進(jìn)行2D轉(zhuǎn)3D技術(shù)的開發(fā)研究，并將其在電影產(chǎn)業(yè)界廣泛推廣，以推動(dòng)我國(guó)3D電影業(yè)的健康發(fā)展。

2D電影；3D電影；虛擬視點(diǎn)繪制；空洞修復(fù)；轉(zhuǎn)換算法

3D電影被納入中國(guó)國(guó)家電影產(chǎn)業(yè)規(guī)劃始于2008年，廣電總局電影局提出的“盡快發(fā)展中國(guó)的3D電影與國(guó)產(chǎn)設(shè)備研發(fā)”，標(biāo)志著國(guó)產(chǎn)電影3D技術(shù)時(shí)代的到來，這主要源于國(guó)家從政策指導(dǎo)上提供了有力保證。3D電影的規(guī)劃與發(fā)展作為未來中國(guó)電影產(chǎn)業(yè)發(fā)展的重要一環(huán)，必將引領(lǐng)中國(guó)現(xiàn)代電影發(fā)展的趨勢(shì)和潮流。目前，市面上具有3D立體拍攝技術(shù)的攝影機(jī)型號(hào)為數(shù)不多，且存在價(jià)格昂貴、操作不便、成本高、周期長(zhǎng)等問題，制約了3D電影的發(fā)展；同時(shí)，3D電影的內(nèi)容來源成了制約3D電影發(fā)展的主要問題。然而，發(fā)展歷史長(zhǎng)達(dá)百年的傳統(tǒng)2D電影卻有著取之不竭的內(nèi)容資源，目前來看，美國(guó)好萊塢和國(guó)內(nèi)電影制作商都是通過傳統(tǒng)2D電影的內(nèi)容來反哺3D電影。如今，在2D電影和3D電影共存的格局下，通過3D攝影技術(shù)續(xù)存3D電影內(nèi)容資源并非一條行之有效的途徑，而電影2D轉(zhuǎn)3D技術(shù)的開發(fā)研究卻為當(dāng)前國(guó)產(chǎn)3D電影的發(fā)展指引了方向，帶來了轉(zhuǎn)機(jī)。

1　電影2D轉(zhuǎn)3D技術(shù)的主要流程

3D技術(shù)是利用人的左右眼角度不同所產(chǎn)生視差經(jīng)過大腦復(fù)現(xiàn)形成3D心理圖像。在2D轉(zhuǎn)3D時(shí)，所形成的具有視覺差別的圖像對(duì)，是通過還原人的左右眼的瞳距和視角，而分別生成人的左、右眼圖像。2D轉(zhuǎn)3D的技術(shù)和方法眾多，但無論運(yùn)用那種軟件和方法，2D轉(zhuǎn)3D的流程中存在3個(gè)主要環(huán)節(jié)，即畫面元素的分解、深度信息重建和轉(zhuǎn)換的算法。轉(zhuǎn)制流程見圖1。

圖1　2D轉(zhuǎn)3D的流程

針對(duì)電影2D轉(zhuǎn)3D技術(shù)進(jìn)行深度開發(fā)，需要根據(jù)每一流程階段的特點(diǎn)進(jìn)行深度開發(fā)、推廣。

1.1畫面元素分解

首先針對(duì)轉(zhuǎn)換的畫面進(jìn)行場(chǎng)景深度分析，主要研究畫面信息的構(gòu)成和場(chǎng)景中元素所占空間比例問題，然后把畫面內(nèi)容按照實(shí)際的深度層次劃分出來，提高轉(zhuǎn)化過程中的準(zhǔn)確性。該階段的特點(diǎn)是分析、摳像軟件的準(zhǔn)確性還不足。因此，在該階段的開發(fā)重點(diǎn)包括2個(gè)方面。一是建立和完善該階段的制作流程、細(xì)節(jié)，加強(qiáng)技術(shù)管理過程控制，形成系統(tǒng)的操作手冊(cè)和經(jīng)驗(yàn)積累文本；二是不斷探索摳像分析軟件的自動(dòng)化操控規(guī)律，以提高效率，減少人工勞動(dòng)，如針對(duì)2D轉(zhuǎn)3D中大量的運(yùn)動(dòng)模糊和半透明的物體，運(yùn)動(dòng)模糊的邊緣通過Silhouette的內(nèi)外邊緣的限定加以前后幀的求算得出邊緣部分的半透明的圖像；利用邊緣像素差可以半自動(dòng)或全自動(dòng)追蹤。

1.2深度信息重建

在2D轉(zhuǎn)3D制作流程中，深度信息重建是立體效果呈現(xiàn)的關(guān)鍵環(huán)節(jié)，在此環(huán)節(jié)中深度信息的精度直接影響轉(zhuǎn)換后的立體效果和畫面質(zhì)量。通過軟件對(duì)畫面的光線、運(yùn)動(dòng)速度、運(yùn)動(dòng)方向和元素運(yùn)動(dòng)規(guī)律進(jìn)行跟蹤反求攝像機(jī)，得到一個(gè)真實(shí)的三維場(chǎng)景，在跟蹤過程中畫面的像素信息通過解算轉(zhuǎn)化為立體空間坐標(biāo)。根據(jù)坐標(biāo)值可以確定畫面像素在在立體空間中的具體位置，通過像素矩陣構(gòu)成空間物體模型。這一階段主要有2種途徑：一是電腦軟件生成圖像的深度信息，通過分析圖像中的運(yùn)動(dòng)幅度、明暗關(guān)系號(hào)景深程度等，計(jì)算出最終結(jié)果；二是人工分析出圖像的深度信息，通過Roto給出每一個(gè)圖像層深度結(jié)果。這2種方式都會(huì)出現(xiàn)深度信息不準(zhǔn)確的短板，人工得出來的信息會(huì)因?yàn)槿藶榻?jīng)驗(yàn)和誤識(shí)的原因出現(xiàn)許多細(xì)微的錯(cuò)誤，同樣，電腦生成的深度信息，絕少數(shù)相對(duì)準(zhǔn)確，絕大部分都不太準(zhǔn)確，這是因?yàn)橛?jì)算機(jī)不能完美地識(shí)別每一個(gè)鏡頭中的前后關(guān)系。這2種方式各有優(yōu)勢(shì)，因此，電影2D轉(zhuǎn)3D技術(shù)需要從這2個(gè)方面努力，一方面為人工填充的方法積累相關(guān)的知識(shí)庫(kù)，建立科學(xué)的工作流程，以此來減少人為的經(jīng)驗(yàn)不足問題；另一方面，要根據(jù)不同的場(chǎng)景開發(fā)更具針對(duì)性的信息重建參數(shù)和方法，提高軟件系統(tǒng)的準(zhǔn)確度，保證畫面質(zhì)量和立體效果。

1.3轉(zhuǎn)換算法

轉(zhuǎn)換算法是通過圖層偏移或差值信息輸入得到的新的右眼圖像，基本方式是運(yùn)用深度圖信息對(duì)母圖像進(jìn)行子圖像的重新建構(gòu)。轉(zhuǎn)換算法對(duì)于轉(zhuǎn)換質(zhì)量和工作效率有著直接的影響。這種方式轉(zhuǎn)換出來的3D視頻，被許多人稱為“偽3D”，但遭到了質(zhì)疑。然而，隨著研究者對(duì)3D影像的深入研究，人們發(fā)現(xiàn)即使是3D攝影機(jī)拍攝出來的影像，也同樣存在這樣的問題。但是，如果在質(zhì)量和流程監(jiān)管嚴(yán)格的情況下，轉(zhuǎn)換算法得出的3D影像甚至比3D攝影機(jī)拍攝的影響還要準(zhǔn)確。因此，像盧卡斯和卡梅隆這樣的好萊塢大導(dǎo)在重新評(píng)估了2D轉(zhuǎn)3D的影像質(zhì)量之后，采納了這種轉(zhuǎn)換方式，并堅(jiān)信這種方式能夠制作出完美的3D影像體驗(yàn)。盡管如此，也應(yīng)該正視轉(zhuǎn)換算法在重建子圖像過程中的不足，這些圖像中的部分細(xì)節(jié)信息是空白的、不存在的，如前后景偏移和差值之后所形成的“空洞”，現(xiàn)在來看，修補(bǔ)這些“空洞”的轉(zhuǎn)換算法很多，但從本質(zhì)上來假設(shè)，根本不存在絕對(duì)完美和正確3D影像。因此，在大銀幕上觀看轉(zhuǎn)換之后的3D影像，即使是各種轉(zhuǎn)換算法修補(bǔ)后的“空洞”，哪怕影像不足再怎么微小，也都會(huì)被放大，被發(fā)現(xiàn)，被質(zhì)疑。針對(duì)該問題，需要研究不同質(zhì)量問題下的應(yīng)對(duì)方案，發(fā)展更加精確的計(jì)算方法，如差值運(yùn)算法，以減少畫面修補(bǔ)的工作量。

上述幾點(diǎn)是2D轉(zhuǎn)3D的制作流程中幾個(gè)至關(guān)重要的影像質(zhì)量把控環(huán)節(jié)，對(duì)2D轉(zhuǎn)3D技術(shù)流程和影像質(zhì)量的嚴(yán)格控制，直接關(guān)系到受眾對(duì)3D立體影像體驗(yàn)的流暢度和舒適度，因此，需要電影技術(shù)工作者對(duì)每個(gè)技術(shù)流程的細(xì)節(jié)進(jìn)行最嚴(yán)密管控。這既是對(duì)影像質(zhì)量的負(fù)責(zé)，也是對(duì)工作效率的負(fù)責(zé)；既是對(duì)電影技術(shù)的負(fù)責(zé)，也是對(duì)電影藝術(shù)的負(fù)責(zé)。當(dāng)前，迫切需要建立一整套科學(xué)而有效的監(jiān)控標(biāo)準(zhǔn)，對(duì)主要流程的各個(gè)技術(shù)細(xì)節(jié)進(jìn)行質(zhì)量管控，用規(guī)范化的工作方式去提高3D影像質(zhì)量，而不單單只依靠電影科技工作者的自我能力。

2　電影2D轉(zhuǎn)3D技術(shù)的核心任務(wù)

電影2D轉(zhuǎn)3D技術(shù)的核心任務(wù)是從已有的2D影像中重建和提取出每一幀所對(duì)應(yīng)的深度圖信息，繼而完成3D立體影像的渲染。當(dāng)前，對(duì)3D影像進(jìn)行渲染的主流技術(shù)分為2種：第一種是雙目立體技術(shù)的渲染（Binocular Stereoscopic Rendering，BSR），通過轉(zhuǎn)換算法一幀一幀地重建出立體影像的左右眼圖像對(duì)，這是一種比較傳統(tǒng)的技術(shù)渲染方式，目前，在3D電影技術(shù)市場(chǎng)上還處于主流；第二種是基于深度圖的渲染（Depth Image_Based Rendering，DIBR），在已轉(zhuǎn)換的2D影像的序列上添加了一軌與其對(duì)應(yīng)的深度圖信息，并由DIBR處理技術(shù)對(duì)其進(jìn)行統(tǒng)一渲染輸出，直接顯示在終端。DIBR以其高效、兼容和實(shí)時(shí)的特點(diǎn)與優(yōu)勢(shì)，在蓬勃發(fā)展的3DTV，以及其他移動(dòng)終端市場(chǎng)上占據(jù)了得天獨(dú)厚的地位，是未來3D立體影像技術(shù)發(fā)展的方向。

從電影2D/3D轉(zhuǎn)換的發(fā)展研究現(xiàn)狀和趨勢(shì)來看，這項(xiàng)技術(shù)主要集中于兩大領(lǐng)域：第一種是為已有的經(jīng)典電影、記錄文獻(xiàn)資料等提供離線轉(zhuǎn)換工具，因?yàn)檫@些影像資料3D轉(zhuǎn)制并不要求即時(shí)處理，可以利用充足的時(shí)間采納運(yùn)算量大且影像效果佳的轉(zhuǎn)換方式，這種方式能為人類保存更多更珍貴的電影歷史影像資料，但需要大量的人工進(jìn)行后期的渲染、處理；第二種是為電子消費(fèi)市場(chǎng)開發(fā)和應(yīng)用的實(shí)時(shí)轉(zhuǎn)換工具，目前，市場(chǎng)上已存有3D內(nèi)容資源十分匱乏，投機(jī)的廠商從電影2D轉(zhuǎn)3D中發(fā)現(xiàn)了無限的商機(jī)，通過將這種轉(zhuǎn)換技術(shù)配置在3D電子產(chǎn)品中，既提供了內(nèi)容，同時(shí)也降低了成本。然而，這種轉(zhuǎn)換技術(shù)要求更高些，需要平衡轉(zhuǎn)換效率和最終效果，這也是該技術(shù)的難點(diǎn)突破。當(dāng)前，3D電子市場(chǎng)上具備2D轉(zhuǎn)3D功能包括兩大類：一種是3DTV，如人們所熟知的三星C7000系列、索尼Nx810系列、東芝ZFl系列和夏普LV系列等；另一種是3D移動(dòng)終端，如三星的SCH系列和夏普的SH系列。這些3D電子產(chǎn)品只需要按下一個(gè)鍵，就可以實(shí)時(shí)觀看具有立體感的影像。

由此可以預(yù)料到，如果電影2D轉(zhuǎn)3D技術(shù)得到普及，那么對(duì)于所有的當(dāng)下的或歷史的影視內(nèi)容資源，都可以進(jìn)行隨時(shí)欣賞，很好地解決了3D技術(shù)的快速發(fā)展而內(nèi)容資源嚴(yán)重不足的尷尬局面。但當(dāng)前3D電子產(chǎn)品的轉(zhuǎn)換效果還不盡如人意，國(guó)產(chǎn)電影2D轉(zhuǎn)3D技術(shù)還有很長(zhǎng)一段路要走。

3　電影2D轉(zhuǎn)3D技術(shù)的關(guān)鍵研發(fā)

近年來，雖然電影技術(shù)工作者對(duì)2D轉(zhuǎn)3D技術(shù)進(jìn)行了研究和開發(fā)，并取得了一定成果，但3D影像效果還是不能令觀眾滿意。目前來看，電影2D轉(zhuǎn)3D技術(shù)研發(fā)的瓶頸主要包括以下3個(gè)方面。一是在轉(zhuǎn)換過程中，已有的單軌的2D視頻的影像質(zhì)量不佳，導(dǎo)致深度圖信息的空白，深度圖信息轉(zhuǎn)換難度大；二是2D影像的攝影機(jī)參數(shù)無從得知，只能憑借感覺和經(jīng)驗(yàn)進(jìn)行虛擬繪制，繪制出來的深度信息嚴(yán)重偏差，且出現(xiàn)影像的錯(cuò)誤點(diǎn)；三是修復(fù)影像空洞的難度很大，這些空洞區(qū)域分布廣泛，并且大小不一，形狀各異。因此，針對(duì)目前電影2D轉(zhuǎn)3D的技術(shù)現(xiàn)狀與趨勢(shì)，應(yīng)基于深度圖信息的生成、虛擬視點(diǎn)的繪制以及圖像空洞的修復(fù)3個(gè)方面進(jìn)行研發(fā)，最終開發(fā)出智能2D轉(zhuǎn)3D視頻系統(tǒng)推廣市場(chǎng)應(yīng)用。

3.1基于運(yùn)動(dòng)估計(jì)（Motion-Based）的深度圖生成

按照人眼的視覺特性經(jīng)驗(yàn)來看，一般來說，在一個(gè)視域內(nèi)，如果兩個(gè)物體同時(shí)運(yùn)動(dòng)，那么離人眼越近的物體，運(yùn)動(dòng)幅度更大；反之，離人眼越遠(yuǎn)的物體，運(yùn)動(dòng)幅度越小。這就是通常所說的“近大遠(yuǎn)小”的視覺原理。常見的2D影像場(chǎng)景中，大部分都是由運(yùn)動(dòng)的前景和靜止的后景構(gòu)成，根據(jù)以上原理，可以采用基于運(yùn)動(dòng)估計(jì)的轉(zhuǎn)換方法，獲得影像場(chǎng)景中的運(yùn)動(dòng)信息，通過分離出運(yùn)動(dòng)的物體與靜止的物體，推測(cè)出其深度圖的遠(yuǎn)近關(guān)系信息。

依據(jù)以上原理，基于運(yùn)動(dòng)估計(jì)（Motion-Based）的深度圖生成技術(shù)研發(fā)，成為當(dāng)前國(guó)產(chǎn)電影2D轉(zhuǎn)3D技術(shù)研發(fā)的重要方向。按照運(yùn)動(dòng)估計(jì)等得到場(chǎng)景圖像中的運(yùn)動(dòng)信息，再通過其與深度的對(duì)應(yīng)關(guān)系，將其轉(zhuǎn)化成深度圖信息。在此基礎(chǔ)上，進(jìn)行顏色和濾波的校正和處理，得出最終的深度圖。因?yàn)樯疃葓D的質(zhì)量效果直接關(guān)系到空洞影像修復(fù)的效果，所以，深入研究基于運(yùn)動(dòng)估計(jì)的深度圖轉(zhuǎn)換方法，將有助于改善最終合成3D立體影像的效果和質(zhì)量。

3.2基于深度的虛擬視點(diǎn)繪制

虛擬視點(diǎn)繪制指由單個(gè)和多個(gè)不同視角所看到的影像來繪制某一視點(diǎn)的虛擬視點(diǎn)影像，要包括基于模型的虛擬視點(diǎn)繪制（MBR）和基于圖像的虛擬視點(diǎn)繪制（IBR）。基于模型的虛擬視點(diǎn)繪制需要建立精準(zhǔn)的3D模型，計(jì)算量大且不易實(shí)現(xiàn)?；趫D像的虛擬視點(diǎn)繪制可以實(shí)時(shí)快速的繪制出虛擬視點(diǎn)影像，特別是基于深度圖的虛擬視點(diǎn)繪制，速度快，影像質(zhì)量高，這就避開了3D建立模型的復(fù)雜工序，業(yè)已成為虛擬視點(diǎn)繪制的主流。

研發(fā)簡(jiǎn)化的虛擬視點(diǎn)繪制技術(shù)是一個(gè)電影2D轉(zhuǎn)3D技術(shù)的重要方向。建立和開發(fā)三維坐標(biāo)的深度圖投影信息數(shù)據(jù)庫(kù)，根據(jù)實(shí)際情況，簡(jiǎn)化和改造DIBR的原有技術(shù)，通過開發(fā)速度快、計(jì)算量小的虛擬視點(diǎn)的深度圖繪制，提升電影2D轉(zhuǎn)3D技術(shù)的立體影像的質(zhì)量和效果。

3.3空洞修復(fù)技術(shù)

由虛擬視點(diǎn)繪制的合成影像，或多或少地存在著大小不一的空白領(lǐng)域，這就是人們平常所說的“空洞”。這些“空洞”的是由于場(chǎng)景中物體的遮擋產(chǎn)生的，合成后的虛擬視點(diǎn)繪制的影像無法從原有的2D影像的視點(diǎn)中找到相對(duì)應(yīng)的信息來填充。這些“空洞”的影像區(qū)域位置不定、大小不一，形狀各異，給影像的修復(fù)工作帶來了很大的難度。一旦這些空洞點(diǎn)信息永久性丟失，只能通過相鄰領(lǐng)域進(jìn)行金絲估計(jì)修復(fù)。

目前，針對(duì)該問題，主要基于Criminisi算法進(jìn)行圖像修復(fù)。該技術(shù)是基于偏微分方程結(jié)合圖像修復(fù)技術(shù)與紋理合成技術(shù)來進(jìn)行圖像的空洞修復(fù)的，改進(jìn)了以前通過畫面分解進(jìn)行結(jié)構(gòu)和紋理的重復(fù)修復(fù)，這種技術(shù)通過尋找最優(yōu)化的影像空洞填充方式，不僅提升了3D合成立體影像質(zhì)量，還大大地提升了工作效率。目前，該技術(shù)主要包括計(jì)算空洞邊緣像素的優(yōu)先級(jí)、修復(fù)優(yōu)先級(jí)最高像素區(qū)域、更新置信度和空洞區(qū)域。Criminisi算法通常用于普通圖像修復(fù)，并沒有特別針對(duì)2D轉(zhuǎn)3D領(lǐng)域，但其思路方法可以用于電影的2D轉(zhuǎn)3D技術(shù)。因此，應(yīng)該研發(fā)一種改進(jìn)Criminisi算法的技術(shù)，來應(yīng)用于轉(zhuǎn)換技術(shù)過程中虛擬視點(diǎn)空洞的修復(fù)工作，結(jié)合2D轉(zhuǎn)3D技術(shù)的市場(chǎng)實(shí)際情況，開發(fā)出最優(yōu)化的3D電子產(chǎn)品。

4　結(jié)語

3D電影已經(jīng)逐步成為了電影行業(yè)的潮流，2D轉(zhuǎn)3D技術(shù)能夠有效應(yīng)對(duì)3D電影的片源不足問題、成本高問題、拍攝難問題，是3D電影發(fā)展的不可或缺的制作方式之一，得到了國(guó)家宏觀政策的大力支持。但目前，我國(guó)2D轉(zhuǎn)3D的技術(shù)水平不足，專業(yè)人才資源缺乏嚴(yán)重影響了這一領(lǐng)域的發(fā)展，制作質(zhì)量和3D效果較差，被影迷們稱為“偽3D”。因此，需要通過打造電影2D轉(zhuǎn)3D的技術(shù)推廣平臺(tái)，為2D轉(zhuǎn)3D領(lǐng)域提供可借鑒的前沿技術(shù)，培育專業(yè)技術(shù)人才。因此，應(yīng)該對(duì)電影2D轉(zhuǎn)3D技術(shù)流程進(jìn)行深入分析，總結(jié)其技術(shù)改進(jìn)方案和有效的管控模式，貼近電影制作實(shí)踐，切實(shí)為我國(guó)電影的2D轉(zhuǎn)3D制作方式提供有效的技術(shù)實(shí)施建議和管理提升方案。