基于隨機紋理的代價濾波式摳圖

陳秋鳳 申群太 劉鵬飛②

?

基于隨機紋理的代價濾波式摳圖

陳秋鳳*①申群太①劉鵬飛①②

①(中南大學信息科學與工程學院 長沙 410083)②(中國人民解放軍95856部隊 南京 210028)

該文針對摳圖中前背景顏色歧義這一難題，提出快速隨機紋理算法來對顏色信息進行有效的補償，先對原始圖像進行稠密抽取得到初始紋理，后經隨機投影降維，再根據前背景交疊度選擇最優(yōu)通道生成隨機紋理圖。結合生成的紋理信息，設計了空間、顏色、紋理聯(lián)合樣本選擇指標。接著，綜合考慮局部近鄰和非局部近鄰的作用，對樣本選擇代價進行濾波。最后論證近鄰迭代濾波與全局能量方程平滑的關系，推導了后期迭代平滑公式。實驗結果表明，基于隨機紋理的代價濾波式摳圖在前背景顏色分布近似時，能夠取得視覺和定量上更好的結果。

圖像處理；紋理摳圖；隨機投影；代價濾波；迭代平滑

1 引言

計算機摳圖是一項準確摳取前景的圖像軟分割技術，廣泛應用于圖像視頻的編輯與合成中。尤其在多層次圖像分離，半透明物體的提取中更突顯其優(yōu)勢。摳圖的建模方程為

2 問題描述

步驟1 設計采樣方式，采樣得到待篩選樣本集；

步驟2 設計樣本選擇指標，計算樣本對選取代價；

步驟4 后期柔滑處理。本文旨在解決前背景歧義問題，以下對傳統(tǒng)流程中存在的問題進行分析并提出解決方法，改進部分如圖1中虛線框所示。

針對步驟1，本文采用文獻[9]的方法；針對步驟2，主要是在樣本集中，找到未知點的最優(yōu)樣本對。判斷樣本對優(yōu)劣的主要指標有色度誤差、距離、紋理等?，F(xiàn)有算法中主要采用色彩和位置信息，但圖像的局部統(tǒng)計信息可有效地補充色彩信息，在文獻[6]采用的紋理算法中，首先采用兩級Harr小波分解，并分別在兩個層次8個子圖中計算區(qū)間內的梯度、平均值、方差等一共36維的紋理信息。最后用PCA和LDA兩級降維法得到3維紋理信息圖?？芍墨I[6]算法過程復雜，運算時間長。文獻[11]的紋理分類算法指出濾波器組對圖像局部塊的濾波操作，產生了一定的信息丟失，用圖像局部原始塊特征來代替?zhèn)鹘y(tǒng)的濾波器組輸出更能有效地區(qū)分不同紋理的圖像；受文獻[12]紋理分類算法的啟發(fā)，本文在HSV空間中，將該像素方形鄰域內所有像素的特征集合作為紋理特征，首先對原始圖像進行稠密抽取，再用隨機投影算法對原始紋理特征進行降維，而后根據前背景交疊度選擇最優(yōu)通道產生3維紋理圖。

針對步驟3和步驟4，傳統(tǒng)算法采用最優(yōu)者勝出原則，即代價最小的組合作為最優(yōu)的樣本對來計算值，而后用估計出來的值作為數(shù)據項，拉普拉斯矩陣作為平滑項構造能量函數(shù)，由于全局能量函數(shù)求解涉及高維線性方程，因而計算量大。并且當估算的值存在誤差時，柔滑作用反而將錯誤傳給鄰近的點。縱觀近幾年摳圖算法，對于最優(yōu)樣本對的選取策略中，代價函數(shù)的選擇中并沒有考慮空間連續(xù)性的指標。一個問題是：能否在最優(yōu)樣本的選擇過程中考慮空間連續(xù)性的指標？對于近鄰點對樣本對的影響，文獻[9]只簡單地將窗口內的色度誤差相加，認為窗口內的近鄰的影響權重是一致的。實際上由于空間顏色信息的差別，影響值的近鄰點不再局限于窗口，權重選擇隨著圖像的變化而變化。受代價濾波式立體匹配算法[13]的啟發(fā)，本文首先對樣本對選擇代價進行濾波，并據此選擇最優(yōu)樣本對，有別于基本的濾波算法，文中采用廣義上的近鄰(局部近鄰點和非局部近鄰點)，并且證明代價濾波是全局優(yōu)化能量方程求解過程的單步迭代。

按照改進的流程，論文安排為：3.1節(jié)論述塊紋理特征抽取及隨機投影降維，闡述隨機紋理圖求取過程及其對區(qū)分前背景的作用；3.2節(jié)設計樣本選擇指標；3.3節(jié)論述代價濾波對值的影響，近鄰選擇方法及其權重計算方式；3.4節(jié)證明迭代濾波與全局能量方程的關系；第4節(jié)為實驗；第5節(jié)為結論。

3 算法實現(xiàn)

3.1 基于隨機投影的紋理特征

圖像的原始特征塊能夠直接有效地表征圖像的紋理特征，借鑒文獻[12]的塊特征提取及隨機壓縮思想，首先對圖像進行稠密抽?。簣D像在點抽取大小為的特征塊，抽取公式為[12]

圖1 算法流程圖

由Johnson-Lindenstrauss (L-J)定理[14]可知，當投影矩陣的元素是隨機抽取自某種概率分布模型時，信號能夠保持兩兩數(shù)據間的距離不變。這就確保了在隨機投影后，紋理特征能夠保持原有的內在結構，從理論上說明了隨機投影壓縮對紋理提取的可行性。由于摳圖是提取感興趣的前景區(qū)域，提取的紋理特征應該更加符合人的視覺特點[15]，因而首先將圖像轉換到HSV空間中，分別對H, S, V 3個通道進行稠密提取。擴充圖像的邊界區(qū)域，更換像素標號為，圖像的紋理矩陣降維過程表示為

在圖2中，隨機算法產生的紋理圖前背景顏色視覺差更大，在圖3中，(a)的前背景區(qū)域顏色交疊嚴重(交疊度為0.64)，算法無法正確區(qū)分前背景，而文獻[6]算法和隨機算法前景和背景區(qū)分清楚(交疊度為0)。由此表明在根據顏色信息難以區(qū)分前背景時，紋理圖像能夠對原圖像進行有效的補充，極大地提高前背景的區(qū)分性。雖然圖3(b)與圖3(c)的交疊度相同，但隨機投影法的紋理分布曲線相互更加分離。而隨機紋理產生過程計算簡單，時間尺度為，速度比文獻[6]方法有了極大地提升。例如：圖2中的圖像大小為，圖2(b)和圖2(c)的計算時間為：54.32 s和0.79 s。

3.2 采樣方法與樣本選擇指標

首先將已知區(qū)域的邊界向未知區(qū)域擴展，再用射線式方法采集待選樣本集[9]，如圖2(a)所示。

圖2 輸入圖像及產生紋理圖比較

3.3 代價濾波

傳統(tǒng)的基于能量方程綜合考慮平滑作用、輸入限制、采樣估計輸入限制及其置信度的限制，形式為[9]

式(11)可采用圖割、置信傳播等方法來求解，但計算量大。在實際的摳圖算法中，由于取大值，使得數(shù)據項成為影響最優(yōu)解的主要部分，平滑項只實現(xiàn)了已知信息的小范圍傳播。在自然圖像中，在一定的局部區(qū)域內，前背景的變化是緩慢和微小的，局部線性顏色的變化主要是由梯度的變化引起，因而用局部濾波方式代替全局能量方程的作用是可行的。代價濾波的意義在于近鄰點對樣本的共同適應度：一個好的樣本不但要使得目標點對其代價最低，同時也需要近鄰對其代價也低。

在圖4(a)中，由于局部近鄰點與背景點的顏色近似，代價濾波后計算的值趨向于0,有更高的概率取為背景；類似地，在圖4(b)中，當近鄰點與前景點的顏色近似時，值趨向于1,有更高的概率取為前景。在圖4(c)中，非局部近鄰點在空間上更靠近背景點，使得點的值趨向于0；同理，在圖4(d)中，近鄰點在空間上更靠近前景點，使得點的值趨向于1。在圖4(a), 4(b)中，當未知點與近鄰點空間位置近但顏色差別卻很大時，即當為噪聲時，局部近鄰能夠引導正確樣本對的選擇，降低噪聲的影響。在圖4(c), 4(d)中，當未知點與近鄰點及樣本對的顏色都相近時，難以區(qū)分點是傾向于前景還是背景時，由非局部近鄰點的空間分布情況可以判定值的傾向性，有利于解決前背景顏色歧義問題。

圖4 近鄰濾波對值的影響

在樣本選擇前的代價濾波操作，可以看成一個隱含的連續(xù)性指標，即最優(yōu)樣本的選取不僅取決于目標點，也受其近鄰點的影響，避免逐點孤立地估計值，能夠有效地抑制圖像中噪聲或是離群點的影響，從而使值更平滑。包含局部近鄰和非局部近鄰的代價濾波的公式為

3.4 后期平滑

時，式(17)可簡化成：

以上形式正是濾波算法的基本形式，表明濾波算法實現(xiàn)的是雅可比算法的單步迭代。當按式(18)取值時，輸入限制權重和采樣估計限制權重將發(fā)生變化，尤其是的值將大為減小，輸入限制作用減弱，受到松弛輸入限制。在摳圖中，允許物體邊緣值的改變，以獲得平滑過渡的效果。

4 實驗結果

實驗包含：(1)與文獻[6]對比，驗證隨機紋理方法的快速性及有效性；(2)驗證代價濾波方法的有效性；(3)標準數(shù)據集上的綜合測試，對比方法有：基于相似度擴散的經典算法Closed Formed Matting (CF)[1]，空間近鄰采樣算法Robust Matting[3]，射線式全局采樣算法Shared matting[9]。標準圖像數(shù)據來自文獻[17]。算法的運行環(huán)境為：Intel Core i3雙核3.3 G CPU，編程環(huán)境為Matlab2014。

4.1 隨機投影算法的快速性及有效性

圖5為文獻[6]算法和隨機投影算法產生的紋理圖。Troll, Net, Plasticbag圖像分別為：前背景近似的圖像、許多孔洞的圖像、高透明度的圖像。與輸入圖像對比，紋理圖像各部分可區(qū)分性增大區(qū)域整體性增強，并且能保持圖像的各種細節(jié)信息，例如Troll圖像的中細小的毛發(fā)，Net圖像中的小洞，Plasticbag圖像中的塑料袋等信息。在兩種紋理圖像中，文獻[6]算法對邊緣效果更為明顯，而隨機算法紋理圖的區(qū)分性更大。由于紋理信息是取自圖像局部塊的信息，在摳圖中紋理信息只作為顏色的補充，在某些情況下，文獻[6]算法中過強的邊緣反而不利于信息的擴散，而隨機紋理圖更能滿足顏色補償?shù)男枨蟆?/p>

圖6為兩種紋理算法運行時間與前背景交疊系數(shù)的對比，橫坐標為27張標準圖片的編號[17]。

圖5 復雜圖像兩種紋理算法視覺效果對比

圖6 文獻[6]紋理算法與隨機紋理算法性能對比

4.2 代價濾波的作用

在圖7中，圖7(a1), 7(b1)為傳統(tǒng)Shared[9]式采樣方法，圖7(a2), 7(b2)為非局部和局部近鄰代價濾波式方法。GT02圖像為有孔洞的對象，若要正確的扣取前景，需要提供非局部近鄰的信息將球外的背景信息傳遞到球內部，在初始的摳圖結果中，傳統(tǒng)算法由于缺少非局部近鄰的作用，錯誤摳取背景，背景部分較代價濾波方法大，在平滑后仍然存在較大誤差，而代價濾波算法在平滑后基本消除了誤差。在GT06圖像的摳圖中，鴨子的手腳部分與背景近似容易產生粘黏，傳統(tǒng)方法即使在后期平滑后仍存在較大的誤差，而代價濾波后的方法，在平滑后基本接近真實值。

4.3 算法綜合比較

在表1中，對比了3種基于采樣的算法在GT02,GT13, GT19, GT26圖像上的均方誤差及平均絕對誤差。表2為基于射線式采樣的3種算法的運算時間對比。

圖7 代價濾波的作用

表1各算法誤差

輸入圖片RMSEMAE 文獻[3]文獻[9]本文算法文獻[3]文獻[9]本文算法 GT029.2e-29.2e-25.6e-23.2e-22.8e-21.9e-2 GT131.1e-11.1e-18.7e-25.0e-24.5e-23.7e-2 GT198.4e-28.4e-26.7e-23.7e-23.7e-22.4e-2 GT261.8e-11.8e-11.6e-11.0e-19.6e-27.8e-2

表2 27張標準圖像平均運算時間對比

文獻[6]文獻[9]本文算法 運行時間(s)121.459.0717.42

從表1中可以看出，本文算法的誤差最低。本文算法為了解決顏色歧義問題增加了紋理圖像求取和代價濾波的計算，因而運算時間比文獻[9]長，但與同樣采用紋理特征的文獻[6]算法相比，運算時間卻小了近一個數(shù)量級。

在標準集上的測試結果如圖8所示。對于文獻[1]算法，由于有空間近鄰的作用，摳取的結果連續(xù)性較好，但存在過平滑而產生的誤差，并因其為基于局部相似度擴散的算法，無法進行遠端信息擴散：如Plant圖像中葉子縫隙存在的模糊區(qū)域；對于文獻[3]算法和文獻[9]方法，利用采樣的方式雖然可以實現(xiàn)信息的遠端擴散，但仍然無法有效地區(qū)分前背景；因而本文算法中利用隨機紋理圖對顏色進行補充，能夠更有效地區(qū)分前背景，而且代價濾波式的采樣方式比文獻[9]中方法得到的效果連續(xù)性更好。

綜合以上結果，基于隨機紋理特征的代價濾波式摳圖算法，在增加少量運算時間的情況下，在處理復雜圖像的摳圖中，不但能取得更好的實際視覺效果，而且在誤差上也優(yōu)于其他兩種算法。

圖8 復雜圖像不同摳圖算法結果比較

5 結束語

本文分析了傳統(tǒng)摳圖算法存在的難點，針對前背景歧義這一公開問題，提出了基于隨機紋理的代價濾波式摳圖算法，該算法能夠快速有效地提取紋理特征，并且代價濾波式的樣本選擇策略能夠得到更為連續(xù)性的效果，用局部迭代平滑代替全局能量函數(shù)的求解降低了算法的復雜度，實驗結果表明，與其他摳圖算法相比，本文算法連續(xù)性好，從直觀效果和誤差上都有更好的性能，能夠有效地區(qū)分復雜圖像的前背景。但本文計算采用統(tǒng)一的抽取通道數(shù)和降維數(shù)，忽略了投影矩陣的隨機性，發(fā)掘抽取通道數(shù)及降維數(shù)與精確紋理方法之間的關系，以及將隨機投影紋理算法應用到其他領域將是以后的進一步工作。

[1] Levin A, Lischinski D, and Weiss Y. A closed form solution to natural image matting[J]., 2006, 30(2): 61-68.

[2] Shi Y, Au O C, Pang J,.. Color clustering matting[C]. IEEE International Conference on Multimedia and Expo, California, USA, 2013, 7: 1-6.

[3] Wang J and Cohen M F. Optimized color sampling for robust matting[C]. IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, USA, 2007, 6: 281-288.

[4] He B, Wang G J, and Zhang C. Iterative transductive learning for automatic image segmentation and matting with RGB-D data[J]., 2014, 25(5): 1031-1043.

[5] Shahrian E, Rajan D, Price B,.. Improving image matting using comprehensive sampling sets[C]. Conference on Computer Vision and Pattern Recognition, Oregon, Portland, USA, 2013, 6: 636-643.

[6] Shahrian E and Rajan D. Weighted color and texture sample selection for image matting[C]. IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island, USA, 2012, 6: 718-725.

[7] Rhemann C, Rother C, and Gelautz M. Improving color modeling for alpha matting[C]. The British Machine Vision Conference, Leeds, UK, 2008, 9: 1155-1164.

[8] He K, Rhemann C, Rother C,.. A global sampling method for alpha matting[C]. IEEE Conference on Computer Vision and Pattern Recognition, Colorado, USA, 2011, 6: 2049-2056.

[9] Gastal E S and Oliveira M M. Shared sampling for real‐time alpha matting[J]., 2010, 29(2): 575-584.

[10] Jubin J, Deepu R, and Hisham C. Sparse codes as alpha mattes[C]. The British Machine Vision Conference, Nottingham, England, 2014, 9: 1-11.

[11] Varma M and Zisserman A. A statistical approach to material classification using image patches[J]., 2009, 31(11): 2032-2047.

[12] Liu L and Paul W. Texture classification from random features[J]., 2012, 34(3): 574-586.

[13] Hosini A, Bleyer M, Rother C,.. Fast cost-volume filtering for visual correspondence and beyond[J]., 2013, 35(2): 504-511.

[14] Dasgupta S and Gupta A. An elementary proof of a theorem of Johnson and Lindenstrauss[J]., 2003, 22(1): 60-65.

[15] Sural S, Qian G, and Pramanik S. Segmentation and histogram generation using the HSV color space for image retrieval[C]. International Conference on Image Processing, New York, USA, 2002, 2: 589-592.

[16] Marius M and David GL. Fast approximate nearest neighbors with automatic algorithm configuration[C]. International Conference on Computer Vision Theory and Applications, Lisbon, Portugal, 2009, 2: 331-340.

[17] Rhemann C, Rother C, Wang J,.. A perceptually motivated online benchmark for image matting[OL].http://www.alphamatting.com. 2009, 5.

Cost Filtered Matting with Radom Texture Features

Chen Qiu-feng①Shen Qun-tai①Liu Peng-fei①②

①(,,410083,)②(95856,210028,)

In order to deal with the color overlap problem in matting, a fast random projection method is proposed to complement the color information. First, the raw texture matrix is obtained through dense abstraction from color image. The random projection is performed and the best three texture channels are chosen by the foreground and background overlap factors. Combining the texture image, the new cost function takes into account texture, color, and spatial information. Second, the filtering process is carried out to the sample selection cost, including the effect of the local and nonlocal neighbors. Finally, the relationship between iterative filter and global energy smooth is proven, and the post filter formula is obtained. Experiments show that the cost filtered matting with random texture features produces both visually and quantitatively better results when the color distributions of the foreground and background are similar.

Image processing; Texture matting; Random projection; Cost filtering; Iterative smooth

TP391

A

1009-5896(2015)11-2578-09

10.11999/JEIT150143

2015-01-27；改回日期：2015-06-29；

2015-08-27

陳秋鳳 chenqiufeng0204@126.com

國家自然科學基金(61473318, 60974048)

陳秋鳳： 女，1983年生，博士生，研究方向為圖像處理、智能信息控制等.

申群太： 男，1944年生，教授，博士生導師，研究方向為智能信息處理、工業(yè)控制等.

劉鵬飛： 男，1981年生，博士生，研究方向為制導武器識別與控制、武器裝備優(yōu)化保障等.

The National Natural Science Foundation of China (61473318, 60974048)