一種基于采樣的藍屏摳像方法

權巍，葛薇，張玉強，薛耀紅，韓成，蔣振剛，楊華民

（1.長春理工大學 計算機科學技術學院，長春 130022；2.長春理工大學 電子與信息工程學院，長春 130022）

藍屏摳像是指從具有已知的單色背景的圖像中精確地分離出前景目標，再與其它圖像合成，從而得到所需特殊效果的技術。藍屏摳像中，待摳像的圖像稱為前景圖像；用于與其合成的圖像稱為背景圖像；前景圖像中的已知的單色背景顏色稱為前景圖像關鍵色。早期的藍屏摳像通常要求前景圖像關鍵色是藍色，因此該技術被命名為藍屏摳像。隨著摳像技術的發(fā)展，對前景圖像的拍攝要求越來越小，前景圖像關鍵色的選取可根據(jù)拍攝環(huán)境條件決定，綠色、甚至是紅色等顏色均可作為前景圖像關鍵色。藍屏摳像技術是影視制作中一項非常重要且廣泛使用的技術。

在藍屏摳像處理過程中，存在一種色度溢出現(xiàn)象，即：在合成圖像中，前景目標與合成的背景之間有一條單色的邊，例如前景圖像關鍵色為藍色時，前景目標提取后，邊緣會有一圈藍色的邊。其實，色度溢出現(xiàn)象在未進行摳像處理的前景圖像中就已經(jīng)存在。發(fā)生色度溢出的像素點的顏色由光源顏色、物體反射光、單色背景反射光共同決定，因此，每個色度溢出點的顏色不同，且都與前景圖像關鍵色類似。

拍攝條件是影響色度溢出現(xiàn)象的主要因素，通過提高拍攝設備的分辨率和更有效地配合使用多光源等方式，可在某種程度上改善色度溢出程度，但需要較大的投資。當設備分辨率和布光等拍攝條件稍差時，就會導致較為嚴重的色度溢出，嚴重影響合成圖像的真實感。另一個解決色度溢出問題的方法，也是最為直接的方法，就是在拍攝后進行人工處理。例如，現(xiàn)今比較流行的摳像處理軟件After Effect等，都需要在拍攝后，進行復雜的人工操作，才能獲得滿意的效果。這種人工的處理方式無法滿足實時性的要求。

1 本文方法的提出

摳像就是將前景圖像中感興趣的目標對象，提取出來，之后與其他背景圖像合成，合成公式，如公式1所示。

其中，對于合成圖像中的某個像素點，F(xiàn)，B，C分別為前景圖像、背景圖像、合成圖像的顏色值，α稱為不透明度，α的范圍［0，1］［1］。

摳像技術實際上就是不透明度的估算。自然圖像摳像算法通常較復雜；藍屏摳像的背景單一，因此經(jīng)典的藍屏摳像算法相比自然圖摳像算法要簡單。但是，單一的背景色卻導致了明顯的色度溢出現(xiàn)象。

典型的藍屏摳像技術包括：三角摳像法［2］，顏色差異法［3，4］，色度摳像法［5-8］。現(xiàn)階段，最廣泛應用的是色度摳像法，該方法由Mishima提出，該方法主要根據(jù)感興趣的目標對象與前景圖像關鍵色的色度差異來進行不透明度的估計。但是，由于色度溢出現(xiàn)象的存在，色度摳像法的處理效果不理想；為了獲得較好的合成效果，往往需要大量的人工修正。

根據(jù)如何利用圖像統(tǒng)計特性和近鄰像素的相關性，自然圖像摳像大致分為基于顏色采樣和基于像素相似性傳播兩類技術［9］。但是，大部分自然圖像摳像技術耗時較長，對于一幅大概1百萬像素的圖像，將感興趣的目標從復雜背景中摳出往往需要花費幾十秒甚至幾分鐘來計算不透明度值［10，11］。Gastal和Oliveira提出一種實時的自然圖像/視頻摳像方法［12］。該技術基于小鄰域范圍內(nèi)像素具有相似的屬性這一思想來選擇前景和背景樣本對，計算不透明度α值，能夠得到較好的合成效果，并且減少了計算量，從而實現(xiàn)了實時摳像。然而，該方法是基于自然圖像摳像提出的，并不適合藍屏摳像。

綜上，本文提出一種基于采樣的藍屏摳像方法，基于Gastal和Oliveira的摳像思想，并對原算法進行改進和簡化以應用在藍屏摳像領域，并添加了色度溢出處理步驟，能夠較好的抑制色度溢出，獲得滿意的合成效果，并且僅需要簡單的輸入，即可自動地完成摳像工作，避免了大量的人工操作。通過實驗對比經(jīng)典的色度摳像算法，即使對于色度溢出現(xiàn)象較為嚴重的圖像，本文的方法也能獲得較好的合成效果，因此，也降低了對拍攝條件的嚴苛限制。

2 基于采樣的藍屏摳像方法

2.1 區(qū)域劃分

根據(jù)前景圖像關鍵色將前景圖像劃分為不透明區(qū)域、半透明區(qū)域、全透明區(qū)域。不透明區(qū)域像素點的α值為1、全透明區(qū)域像素點的α值為0，而半透明區(qū)域像素點的α值在0和1之間。

首先，獲取前景圖像關鍵色顏色值。前景圖像關鍵色通過用戶在程序窗口中使用鼠標在前景圖像關鍵色區(qū)域進行選擇獲得，如圖1程序運行界面中左側圖像所示，背景關鍵色區(qū)域的黑色線條即為所選的關鍵色像素點集。根據(jù)用戶選擇的像素點集計算平均值，得到前景圖像關鍵色平均值bˉ。

圖1 軟件運行界面截圖

其次，前景圖像初步區(qū)域劃分。對于前景圖像中的每個像素點q，計算它和前景圖像關鍵色的顏色距離 D(q,bˉ)。定義可調(diào)參數(shù) k1、k2，如果D(q,bˉ)＜k1，則 q 屬于全透明區(qū)域，記為 Rb；如果D(q,bˉ)＞k2，則像素 q 屬于不透明區(qū)域，記為 Rf；否則q屬于α值未知的半透明區(qū)域，記為Ru。

最后，根據(jù)顯示的圖像，調(diào)整參數(shù)k1、k2，直至得到較為滿意的區(qū)域劃分結果，如圖2（a）所示。參數(shù)k1、k2的范圍為［D1maxD1max，D2maxD2max］，其中，D1max為用戶選擇的前景關鍵色像素點與前景圖像關鍵色平均值bˉ的最大顏色距離，D2max為前景圖像像素與前景圖像關鍵色平均值bˉ的最大顏色距離。圖1程序運行界面中右側圖像中的黑色區(qū)域為全透明區(qū)域，白色區(qū)域為不透明區(qū)域，灰色區(qū)域為α值未知的半透明區(qū)域。

未知半透明區(qū)域的像素個數(shù)直接影響到算法的計算量。顏色距離法是一種經(jīng)典的藍屏摳像方法，使用該方法進行摳像的效果并不理想；本文將其應用于區(qū)域劃分中，得到了較好的區(qū)域劃分結果，有效的減少未知區(qū)域像素個數(shù)，降低了計算量。圖2為傳統(tǒng)的Trimap手工區(qū)域劃分結果，該方法較本文方法不僅操作復雜，并且產(chǎn)生的未知區(qū)域的像素較多，計算量大。

圖2 Trimap區(qū)域劃分

2.2 半透明區(qū)域像素點不透明度α值計算

（1）尋找樣本點

將半透明區(qū)域劃分成一些3*3的小塊，將每個3*3小塊的9個像素點進行編號{0,1,2,3,4,5,6,7,8}；對于3*3小塊中的每個像素點 pi，i∈[0,8]，以該點為中心，分別向其周圍四個方向尋找樣本點，在每一個樣本尋找方向上遇到的第一個不透明區(qū)域的點記做樣本點FiFi，像素點 pi可找到的樣本點集表示為

圖3 樣本對選擇

如圖3所示，用矩形表示3*3小塊中的像素點，用四條箭頭線表示樣本搜尋方向，四個樣本搜尋方向相互垂直；定義方向角θ為方向線與水平方向的夾角；3*3小塊中的每個像素點 pi的方向角θ=i*π/18θ=i*π/18 ，9個像素點的方向角如圖所示。3*3小塊中每個像素點的方向角周期性的變化，可使得結果更為有效。

（2）根據(jù)每一個樣本點進行不透明度α值估計

對于半透明區(qū)域的每一個像素點 p的每一個樣本點Fi，按照公式2分別計算α值。

（3）確定最佳樣本點，得到像素點的不透明度α值

對于半透明區(qū)域中的每一個像素點 p，最多可以尋找到四個樣本點Fi，相應地計算得到四個不透明度α值。那么就需要從中確定最佳樣本點，并確定像素點 p的不透明度值αp。因此，定義目標函數(shù)，如公式3所示。最佳樣本點應使得GFip的值最小，下面詳細論述目標函數(shù)各部分的含義及最佳樣本點的確定方法。

a.色度差異

對于半透明區(qū)域中的每一個像素點 p的每一個樣本點FiFi，計算色度差異，如公式4所示。其中，Cq為像素點q的顏色值。色度差異表示 p點的真實顏色值與根據(jù)計算得到的顏色值的差異。很顯然，的值越小，則表示的估計越準確，將令MFip值最小的不透明度值，記為

考慮到在小的鄰域范圍內(nèi)不會有色度的突變，因此，最佳樣本點不僅應使得 p點的色度差異值最小，也應使得p的小鄰域范圍內(nèi)的像素點的顏色差異最小。因此，在目標函數(shù)中，定義一個以p點為中心的3*3的區(qū)域Ωp，對于Ωp中的每一個點q ，根據(jù)值計算得到，最佳樣本點應使得最小，公式（3）中對其進行3次方的運算為加權因子。

b.像素距離

在確定最佳樣本對時，不僅要考慮像素點間的色度差異信息，還應考慮像素點間的像素距離。像素距離是用于估計像素點是否屬于感興趣的前景目標的重要信息。因此，在確定最佳樣本點時，目標函數(shù)中添加了像素距離的因子。公式（3）中，||Fi-p||和||bˉ-p||4分別表示 p點到 Fi點和bˉ點的像素距離，即歐式距離，4為加權因子。

（4）計算半透明區(qū)域中所有點的不透明度α值

在半透明區(qū)域中可能存在一些特殊的像素點p，按照本文所述方法在不透明區(qū)域中無法找到任何樣本點。下面根據(jù)這類像素點p的鄰域內(nèi)的像素點的最佳樣本對估計p點的不透明度α值。

其次，對于半透明區(qū)域中無法找到樣本點的每個像素點 p，選擇其Ω鄰域（以 p點為中心的5*5的矩形區(qū)域）中且屬于半透明區(qū)域的點的最佳樣本點，記錄使值最小的3個樣本點，得到三個二元組為了減少α摳圖結果中的噪聲的產(chǎn)生，計算這三個二元組的平均值，記為

最后，像素 p的不透明度值αp根據(jù)向量到的投影計算得到。如公式（7）所示，其中，Cp為 p點的顏色值，F(xiàn)rp值根據(jù)公式（8）計算得到。

2.3 圖像合成

按照上述方法，未知的半透明區(qū)域中每個像素點的不透明度α值最終都被計算出來。對于合成圖像的每一個像素點的三個通道的顏色值，按照公式（1）可計算得到。

2.4 色度溢出處理

自然界中不存在純粹的顏色，在藍屏摳像中，單色背景也不可能是純色的［7］。例如：若摳像背景為藍色，則該藍色背景的RGB的顏色分量值不可能是（0，0，255），實際上，其顏色值通常是藍色分量值遠大于綠色和紅色分量值，并且，由于自然界中的藍色往往綠色分量值比紅色分量值大［7］，因此其綠色分量值也大于紅色分量值。對于其它單色背景顏色也存在類似的特征。綜上，對于合成圖像中產(chǎn)生了色度溢出的點，其藍色分量值一定大于綠色和紅色分量值（仍以藍色背景圖像為例），且由于是合成的顏色值，其綠色分量值往往不大于紅色分量值；根據(jù)這一特性，便可找到色度溢出點。通過降低其藍色分量值，可以較好的抑制色度溢出現(xiàn)象。

3 實驗結果與分析

下面通過對比本文的基于采樣的藍屏摳像方法和經(jīng)典的色度摳像方法的實驗結果，來證明本文方法的有效性。如圖4所示，圖像（a）為前景圖像，分別采用色度摳像方法和本文方法提取前景圖像中的目標對象，并與具有相同亮度值的暗背景合成，結果分別如圖像（b）、圖像（c）所示。顯然，本文方法得到的結果圖像中人物邊緣的色度溢出現(xiàn)象得到了很好的抑制。圖4中的圖像（d）是在只有兩個場景照明并且沒有高分辨率攝影機的惡劣情況下拍攝得到的前景圖像；圖像（e）為色度摳像方法得到實驗結果，色度溢出現(xiàn)象嚴重；圖像（f）為本方法的實驗結果，色度溢出現(xiàn)象同樣得到較好的抑制。

Gastal和Oliveira的自然圖像摳像技術的優(yōu)勢在于高質(zhì)量的α摳像和實時視頻處理能力（基于GPU）。本文基于采樣的藍屏摳像方法繼承該方法的優(yōu)點，對該方法進行改進和完善，使其適用于藍屏摳像中，有效的抑制了色度溢出現(xiàn)象，獲得了良好的結果。但是，本文方法較色度摳像方法復雜，耗時也較長，因此，下一步應繼續(xù)研究算法的改進及其GPU實現(xiàn)，以實現(xiàn)實時視頻摳像。

4 結論

在數(shù)字摳像中，合成圖像的質(zhì)量至關重要。色度溢出現(xiàn)象的存在嚴重影響了藍屏摳像中圖像的合成質(zhì)量。本文通過研究一種基于采樣的藍屏摳像方法，很好的抑制了色度溢出現(xiàn)象。實驗表明，即使對于色度溢出現(xiàn)象較為嚴重的前景圖像，依然能夠得到較為滿意的結果。

圖4 藍屏綠屏背景下拍攝的圖像的實驗結果

［1］Wang J，Cohen M F.Image and video matting：a survey［J］.Foundationsand Trendsin Computer Graphics and Vision，2007，3（2）：97-175.

［2］Smith A R，Blinn J F.Blue screen matting.In：Proceedings of the 23rd ACM Conference on Computer Graphics andInteractive Techniques（SIGGRAPH）［C］.New Orleans，USA：ACM，1996：259-268.

［3］Vlahos P，Dadourian A，Sauve G.Method and apparatus for adjusting parameters used by compositing devices：U.S.Patent 5，907，315［P］.1999-5-25

［4］Ben-Ezra Moshe.Segmentation with invisible keying signal.Proceedings ofIEEE Conference on Computer Vision and Pat-tern Recognition［C］.Hilton Head Island，South Carolina，2000：32-37.

［5］Wang Wenyi，Zhao Jiying.Chroma-Keying Based on Global Weighted Sampling and Laplacian Propagation.Proceedings of IEEE 17th International Conference on Computational Science and Engineering（CSE）［C］.Chengdu，China，2014：857-854.

［6］Seoksoo Kim.Dept.of Multimedia，etc.Virtual studio system for augmented reality& Chroma key processing.Proceedings of IEEE 13th International Conference on Advanced Communication Technology（ICACT）［C］.2011：762-765.

［7］Keith Jack.Video Demystified［M］.Independent Pub Group（Computer），1996.

［8］Mishima Y.Soft edge chroma-key generation based upon hexoctahedral color space：U.S.Patent 5，355，174［P］.1994-10-11.

［9］陽偉.數(shù)字摳像技術的研究應用［D］.成都：電子科技大學，2013.

［10］Xiao Lin，Yang Shen.A unified framework for alpha matting.In：Proceedings of IEEE 12th International Conference on Computer-Aided Design and Computer Graphics（CAD/Graphics）［C］.Jinan，China：IEEE，2011：206-212.

［11］Tierney S.Sch.of Comput.&Math.，etc.Image matting for sparse user input by iterative refinement.In：Proceedings of IEEE Digital Image Computing：Techniques and Applications（DICTA）［C］.Hobart，TAS：IEEE，2013：1-7.

［12］Eduardo S L Gastal，Manuel M Oliveira.Shared sampling for real-time alpha matting［J］.Computer Graphics Forum.2010，29（2）：575-584.