影視內(nèi)容的高端特效包裝系統(tǒng)論述

■文/鄭鵬程 見 良 劉鐵華

影視內(nèi)容的高端特效包裝系統(tǒng)論述

■文/鄭鵬程 見 良 劉鐵華

影視內(nèi)容的高端特效包裝系統(tǒng)研發(fā)是面向數(shù)字影視行業(yè)特效處理的重大需求，研發(fā)無損摳像技術(shù)研發(fā)、遮罩技術(shù)研發(fā)、多點(diǎn)跟蹤技術(shù)研發(fā)及三維合成技術(shù)研發(fā)等模塊，最終形成符合國(guó)內(nèi)用戶操作習(xí)慣的全流程特效包裝合成系統(tǒng)。該系統(tǒng)從一體化的工作流程理念出發(fā)，不僅是一個(gè)簡(jiǎn)單的包裝軟件，而是建立一個(gè)完整的工作站體系，完成影視后期制作從素材采集、在時(shí)間線上進(jìn)行粗編，完成視覺特效制作、精編配樂，直至打包輸出的全流程工作。

影視；特效；系統(tǒng)；

該研發(fā)成果從底層開始擁有自主知識(shí)產(chǎn)權(quán)，提升了影視傳媒領(lǐng)域的技術(shù)裝備。研發(fā)成果將科技和百姓社會(huì)文化生活融合在一起，目的在于讓電影和電視的畫面更加精彩，以更好地服務(wù)百姓文化生活，滿足大眾更高的精神文化追求，為社會(huì)文化事業(yè)的可持續(xù)發(fā)展作出貢獻(xiàn)。

1.高端特效包裝系統(tǒng)簡(jiǎn)介

1.1 技術(shù)定義

影視節(jié)目的包裝，是指由數(shù)字藝術(shù)工作者利用視覺特效合成系統(tǒng)，對(duì)原始實(shí)拍素材、輔助2D及3D素材，按照節(jié)目需求，進(jìn)行編輯、特效處理及合成，并最終生成我們?cè)谟耙曋兴姷降某善Ч?/p>

圖1表現(xiàn)的是實(shí)際拍攝的畫面，圖2表現(xiàn)的是經(jīng)過合成技術(shù)后呈現(xiàn)的包裝效果。

圖1 拍攝畫面

圖2 經(jīng)過合成技術(shù)后呈現(xiàn)的包裝效果

1.2 產(chǎn)品現(xiàn)狀

目前特效包裝產(chǎn)品嚴(yán)重依賴國(guó)外，數(shù)字藝術(shù)人才嚴(yán)重短缺，高端影視后期包裝產(chǎn)品一直是國(guó)外品牌的天下，其中最為知名的是全球最大的二維、三維設(shè)計(jì)和工程軟件公司——Autodesk公司。這類軟件都運(yùn)行在專業(yè)的圖形工作站上，它們的功能非常強(qiáng)大，但是價(jià)位極昂貴，非一般電視臺(tái)和影視制作公司能夠承受。在產(chǎn)品性能方面也有明顯地弊端：一般的后期包裝合成系統(tǒng)采用的傳統(tǒng)摳像技術(shù)只能通過給定的參數(shù)利用既定的算法計(jì)算出鍵圖像，摳像結(jié)果不細(xì)致；二維動(dòng)態(tài)跟蹤無法兼?zhèn)鋵?shí)時(shí)性和準(zhǔn)確性；三維攝像機(jī)反求方面還存在諸多弊端，反求出的結(jié)果準(zhǔn)確性無法得到驗(yàn)證。

1.3 要解決的主要技術(shù)和問題

影視特效包裝系統(tǒng)的關(guān)鍵技術(shù)難點(diǎn)主要集中于特效處理的精細(xì)性、算法的實(shí)時(shí)性及系統(tǒng)各項(xiàng)關(guān)鍵算法有效集成與調(diào)用，系統(tǒng)主要包括摳像、校色、合成、跟蹤、噪聲處理技術(shù)點(diǎn)，其中最為關(guān)鍵的是摳像技術(shù)和三維特征點(diǎn)跟蹤技術(shù)。

2.廣播級(jí)的自適應(yīng)摳像技術(shù)

摳像的特殊任務(wù)決定了它是整個(gè)特效合成系統(tǒng)的重中之重，處于整個(gè)軟件處理流程的前端，它從拍攝素材中提取出的有用信息，直接應(yīng)用到后續(xù)各種特效處理以及合成中。

摳像的技術(shù)難點(diǎn)主要在于以下幾個(gè)方面：第一，由于光照以及幕布本身色彩純度不均勻，導(dǎo)致?lián)赶癯龅那熬澳繕?biāo)包含了背景信息。第二，噪聲對(duì)于摳像過程的干擾無法避免。如數(shù)字?jǐn)z像機(jī)在拍攝過程中會(huì)引入熱噪聲，膠片攝像機(jī)由于膠片的鹵化銀感光成像原理會(huì)產(chǎn)生顆粒噪聲，這些都會(huì)影響摳像的質(zhì)量。第三，對(duì)于頭發(fā)、塑料瓶等細(xì)微或半透明的物體需要更加精細(xì)的摳像。

2.1 基礎(chǔ)色鍵

我們色度鍵工作在YUV空間也即亮度/色差空間。在摳像之前我們需要先將原始的RGB圖像信號(hào)轉(zhuǎn)換為YUV信號(hào)，然后根據(jù)用戶摳像目標(biāo)顏色的色度及飽和度信息在YUV空間求解出原始圖像每個(gè)象素的鍵值。同時(shí)，為了讓摳像更為精確，我們還利用了摳像目標(biāo)顏色亮度與原始圖像每個(gè)象素的亮度進(jìn)行比較來優(yōu)化鍵信號(hào)，從而達(dá)到了非常精確的摳像處理結(jié)果。

圖3 原始圖像

圖4 對(duì)原圖進(jìn)行摳像后的鍵信號(hào)

上面兩張圖中的圖3是原始的圖像，圖4就是我們對(duì)原始圖像中的藍(lán)色進(jìn)摳像之后的鍵信號(hào)，可以看出我們的色度鍵的效果還是很好的，摳像結(jié)果的鍵信號(hào)不僅將大面積的藍(lán)色都摳掉，并且最重要的是很多原始圖像中不應(yīng)該摳掉的細(xì)節(jié)，比如發(fā)絲都得到了保留。

2.2 對(duì)摳像原始圖像進(jìn)行去噪處理

去噪技術(shù)關(guān)注與圖像邊緣的清晰度以保證后續(xù)摳像的準(zhǔn)確性，而對(duì)于圖像細(xì)節(jié)的保護(hù)并不十分關(guān)心。因此，并不適合于想保留圖像邊緣的去噪處理。本系統(tǒng)提出了一種新型的去噪算法，該算法可以根據(jù)用戶輸入噪聲的具體性質(zhì)，如大小、增益、橫縱比等因素對(duì)圖像中的噪聲有針對(duì)性地進(jìn)行去噪。提出一種基于多參數(shù)曲線可調(diào)的圖像彩色噪聲去除算法，可以根據(jù)劃定的區(qū)域內(nèi)白噪聲進(jìn)行雙邊濾波來去除圖像中的噪聲。

圖5 帶有噪聲的原圖

圖6 經(jīng)過去噪后的畫面

2.3 原始畫面溢色的處理

在實(shí)際的影片拍攝中，需要摳像的畫面往往是在一個(gè)專門搭建的攝影棚里面拍攝的，這個(gè)攝影棚的背景一般是一大塊綠布或者是藍(lán)布，這樣便于包裝軟件進(jìn)行精確的摳像。這樣做雖然有好處，但同時(shí)也帶來一個(gè)問題，那就是綠布或者藍(lán)布的顏色會(huì)反射到演員的臉上或者衣服上，使得被摳的圖像疊加了新的背景后顯得非常假，這是由反射的顏色與疊加的背景不符造成的，這種現(xiàn)象叫做溢色。

我們的摳像算法對(duì)溢色有專門的處理。像色度鍵一樣，我們也需要知道摳像目標(biāo)顏色，這個(gè)顏色就作為去除溢色的依據(jù)。我們會(huì)將原始圖像變換YUV空間，之后根據(jù)目標(biāo)顏色（也就是溢色的那個(gè)顏色）的色度和飽和度信息對(duì)原始信號(hào)進(jìn)行處理，將與溢色顏色相近的顏色從原始信號(hào)中去掉，之后將溢色處理過的圖像與新的背景進(jìn)行疊加，從而達(dá)到去溢色的目的。

圖7 合成后無溢色處理畫面

圖8 合成后經(jīng)過溢色處理畫面

圖7是摳像合成圖沒有進(jìn)行溢色處理的效果，可以明顯看出圖中人物的頭發(fā)邊緣，臉頰以及衣服上都有明顯的藍(lán)色反射光，這是由于攝影棚的藍(lán)布導(dǎo)致的。圖8則是進(jìn)行溢色處理之后的效果，可以看出藍(lán)色的溢色已經(jīng)被去除，整個(gè)合成畫面顯得更為真實(shí)。

2.4 對(duì)色度鍵進(jìn)行補(bǔ)丁(Patch)調(diào)優(yōu)

基于補(bǔ)丁的鍵信號(hào)調(diào)優(yōu)算法。這種算法的思想是：用戶覺得初始的色度鍵不滿意，那么用戶就通過某種交互方式告訴摳像工具具體是哪一部分顏色他覺得摳的不干凈。為此，我們給用戶提供了摳像補(bǔ)丁功能，也就是讓用戶對(duì)摳像不滿意的地方在圖像上面進(jìn)行直觀地選取，在得到選取的顏色信息之后，摳像補(bǔ)丁算法就會(huì)在RGB空間依據(jù)所選取的顏色進(jìn)行三維包圍盒建模，之后對(duì)原始的圖像變換到三維包圍盒建模之后的空間，然后再這個(gè)空間中對(duì)原始鍵信號(hào)進(jìn)行處理，將本來應(yīng)該摳掉的像素?fù)傅酶蓛?，從而達(dá)到了鍵信號(hào)調(diào)優(yōu)的目的。

圖9 色鍵度的直接結(jié)果

圖10 經(jīng)過補(bǔ)丁調(diào)優(yōu)后效果

圖9是色度鍵的直接結(jié)果，可以看到在人物的周圍還是有一些沒有摳干凈的像素。圖10則是經(jīng)過了補(bǔ)丁調(diào)優(yōu)后的鍵信號(hào)，可以看出人物的周圍可以說是一干二凈，完全達(dá)到了調(diào)優(yōu)的目的。另外我們可以看出雖然我們摳掉了更多的東西，但是對(duì)于人物的頭發(fā)絲等細(xì)節(jié)部分仍然保留得完好無損，這也說明我們的調(diào)優(yōu)算法可以做到無損失，高質(zhì)量的調(diào)優(yōu)。

補(bǔ)丁（Patch） 數(shù)學(xué)模型如下：

3.基于特征點(diǎn)跟蹤技術(shù)

跟蹤是通過對(duì)畫面中的某個(gè)點(diǎn)或某些點(diǎn)的追蹤，獲取圖像中運(yùn)動(dòng)元素的運(yùn)動(dòng)軌跡。

三維跟蹤技術(shù)的核心之一是攝像機(jī)定標(biāo)，它也是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要課題，即需要根據(jù)攝像機(jī)拍攝的二維圖象提取三維空間信息，建立起物景空間的世界坐標(biāo)與圖像空間的圖像坐標(biāo)的映射關(guān)系。

攝像機(jī)自定標(biāo)指的是只利用圖像之間的特征點(diǎn)對(duì)應(yīng)關(guān)系，計(jì)算出攝像機(jī)內(nèi)外參數(shù)的過程；三維點(diǎn)云指的是根據(jù)圖像中特征點(diǎn)二維位置信息和攝像機(jī)參數(shù)反推出這些點(diǎn)的三維坐標(biāo)信息。

像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成算法牽涉的技術(shù)很多，如圖像特征點(diǎn)生成以及跟蹤算法；攝像機(jī)模型；攝像機(jī)內(nèi)外參數(shù)多視點(diǎn)幾何關(guān)系；三維點(diǎn)重建；直接線性變換；Levenberg-Marquardt優(yōu)化方法等等。

自主開發(fā)的基于特征點(diǎn)跟蹤技術(shù)算法將綜合上述所有技術(shù)精確的標(biāo)定攝像機(jī)參數(shù)和三維點(diǎn)云的生成。首先生成圖像序列（視頻）畫面的特征點(diǎn)信息，包括特征點(diǎn)的像素位置和匹配關(guān)系、顏色信息；然后根據(jù)視點(diǎn)對(duì)極幾何關(guān)系[(Epipolar geometry)，即極線約束：（其中F是秩為2的 3× 3矩陣，稱為基礎(chǔ)矩陣（Fundamental matrix），m為第一幅圖象上的三維點(diǎn)投射點(diǎn)，m＇為第二幅圖象上的三同一個(gè)維點(diǎn)投射點(diǎn)），將那些不滿足極線約束的特征點(diǎn)剔除。選取初始幀對(duì)結(jié)構(gòu)與運(yùn)動(dòng)（Structure From Motion，SFM）進(jìn)行初始化，初始幀的選取需要滿足兩個(gè)條件：需要有足夠多的特征點(diǎn)匹配，幀之間距離不能太近，即基線（baseline）不能太短。否則求解的結(jié)構(gòu)會(huì)有較大誤差。基線的大小可以通過其中單應(yīng)矩陣（Homography）是一個(gè)3 * 3的滿秩矩陣，表示兩個(gè)平面之間的映射關(guān)系，用所有誤差在閾值以內(nèi)的匹配點(diǎn)，求取兩幀（i,k）之間使得b 最小的 H。單應(yīng)矩陣（Homography）要滿足下面的公式：

當(dāng)從圖像序列（視頻）中選出需要進(jìn)行求解的關(guān)鍵幀，這些關(guān)鍵幀的選取既要保證間隔要大，即基線越長(zhǎng)，求解越有利，同時(shí)要保證有足夠多的特征點(diǎn)匹配。一般我們推薦選擇的這些關(guān)鍵幀有150個(gè)以上的特征點(diǎn)匹配。我們將根據(jù)間隔自動(dòng)從圖像序列（視頻）中選取這些關(guān)鍵幀。按照一定比例選取關(guān)鍵幀加入求解過程，我們先采用最小二乘法對(duì)

4.結(jié)束語

本系統(tǒng)是在國(guó)外同類產(chǎn)品技術(shù)高度的基礎(chǔ)上，自主研發(fā)的國(guó)內(nèi)首個(gè)面向影視內(nèi)容的影視后期包裝系統(tǒng)。它采用摳像修補(bǔ)技術(shù)，提供多次調(diào)優(yōu)摳像結(jié)果的能力，確保合成畫面更加細(xì)致逼真；采用實(shí)時(shí)二維特征點(diǎn)動(dòng)態(tài)跟蹤技術(shù)，兼具光流矢量準(zhǔn)確性和粒子濾波高效性，比國(guó)際同類技術(shù)速度高出15%左右；采用攝像機(jī)軌跡反求技術(shù)，精準(zhǔn)求解出攝像機(jī)參數(shù)和三維空間點(diǎn)，實(shí)現(xiàn)拍攝畫面與虛擬物體的真實(shí)結(jié)合，求解速度是國(guó)際同類技術(shù)1倍以上。

本系統(tǒng)的實(shí)施轉(zhuǎn)化是國(guó)內(nèi)在該領(lǐng)域的重大創(chuàng)新，產(chǎn)品技術(shù)水平達(dá)到與國(guó)外領(lǐng)先水平相抗衡。

（作者單位：新奧特（北京）視頻技術(shù)有限公司）

TN948

A

1671-0134（2016）11-076-03

10.19483/j.cnki.11-4653/n.2016.11.032

2014年國(guó)家科技支撐計(jì)劃“面向影視內(nèi)容的高端特效包裝系統(tǒng)研發(fā)及應(yīng)用”，課題編號(hào)：2014BAK14B02