一種基于雙層框架的仿射類(lèi)圖像摳像方法

姚桂林 趙志杰 蘇曉東 辛海濤 胡文 秦相林

數(shù)字圖像的摳像與合成問(wèn)題是在虛擬現(xiàn)實(shí)中圖像處理領(lǐng)域的兩種經(jīng)典問(wèn)題,目的是從一幅合成圖像中將前景物體從背景中分離出來(lái),并合成到一幅新背景圖像中.對(duì)于合成問(wèn)題,對(duì)于在數(shù)字圖像I中的某個(gè)位置i=(x,y),給定前景圖像的顏色Fi、背景圖像顏色Bi以及一個(gè)透明度標(biāo)量αi ∈[0,1],其觀察到的顏色I(xiàn)i能夠用如下?lián)赶窆奖硎緸?/p>

如果αi=0 或αi=1,將點(diǎn)i稱(chēng)作絕對(duì)前景或者絕對(duì)背景,并統(tǒng)稱(chēng)為絕對(duì)像素.對(duì)于其余0<αi <1的點(diǎn),稱(chēng)為混合像素.

摳像問(wèn)題為合成問(wèn)題的逆問(wèn)題,同時(shí)也是欠約束問(wèn)題:給出各點(diǎn)的合成像素Ii,需要求出未知量Fi、Bi與αi.很多一般背景摳像問(wèn)題都需要用戶(hù)提供手工輸入的輔助三分圖Trimap,如圖1(a) 和(b)所示,它包括已知絕對(duì)前景區(qū)域?F和已知絕對(duì)背景區(qū)域?B,剩余部分為未知區(qū)域.于是,依據(jù)已知像素,并根據(jù)摳像公式及某些先驗(yàn)條件,可以估計(jì)未知區(qū)域內(nèi)的每個(gè)像素的{F,α}值.基于Trimap 的圖像摳像算法通常分為如下2 種方式:1) 基于仿射的摳像方法[1?7].該方法并不孤立地計(jì)算每個(gè)點(diǎn),而是考慮像素間的相關(guān)性,利用間接、迭代的方式遞歸地求出未知區(qū)域中各個(gè)點(diǎn)的α值.2) 基于采樣的摳像方法[8?17].該方法對(duì)每個(gè)未知點(diǎn)獨(dú)立從已知區(qū)域中選取樣本,并采用逐對(duì)樣本的計(jì)算方式,而并不考慮各個(gè)像素之間的聯(lián)系.

本文主要討論仿射類(lèi)方法[18].雖然相比仿射類(lèi)方法,采樣類(lèi)方法的采樣位置和采樣方式變化較多,而且獲取樣本方式非常直接,然而,仿射類(lèi)方法具有以下優(yōu)勢(shì).1) 仿射類(lèi)方法充分強(qiáng)調(diào)了像素間的相關(guān)性,該方式也可視為由已知區(qū)域向未知區(qū)域緩慢、漸進(jìn)的計(jì)算,因此在最終α結(jié)果的平滑性以及帶給或用戶(hù)的視覺(jué)感受上要明顯好于采樣類(lèi)方法.2) 采用遠(yuǎn)距離搜索的仿射類(lèi)方法對(duì)絕對(duì)點(diǎn)的計(jì)算效果較好,而在事實(shí)上,未知區(qū)域內(nèi)的大多數(shù)點(diǎn)為絕對(duì)像素,因此該類(lèi)方總體準(zhǔn)確率上有較為明顯的優(yōu)勢(shì).本文在第1 節(jié)首先闡述了仿射類(lèi)方法的2 種分類(lèi)方式以及它們優(yōu)點(diǎn)和缺點(diǎn),在第2 節(jié)中針對(duì)KNN 類(lèi)的特點(diǎn)討論了絕對(duì)像素劃分(即預(yù)處理) 方式,在第3 節(jié)中針對(duì)Matting Laplacian 類(lèi)的特點(diǎn)討論了剩余混合像素的計(jì)算,并在第4 節(jié)中討論了這2 類(lèi)方法各自的實(shí)驗(yàn)結(jié)果.最后第5、6 節(jié)討論了仿射方法目前存在的問(wèn)題并得出本文的結(jié)論.本文基于仿射方法的雙層次摳像框架如圖1 所示.需要說(shuō)明的是,由于仿射類(lèi)方法與采樣類(lèi)方法、乃至其他類(lèi)如特殊類(lèi)[19]、深度學(xué)習(xí)類(lèi)[20?22]等方法采用完全不同的計(jì)算機(jī)制,而且本文主要研究前者,因此無(wú)論在理論研究和實(shí)驗(yàn)數(shù)據(jù)上,本文并未引入任何其他類(lèi)方法,而且也不將結(jié)果傳至α評(píng)估系統(tǒng)[23]中,以保持仿射類(lèi)方法的整體一致性.

1 仿射類(lèi)摳像方法概述

假設(shè)每個(gè)未知像素的α值是它的K鄰域像素α值α1,α2,···,αK的線性組合,表示為

實(shí)際求解中,所有未知點(diǎn)i的αi可通過(guò)求解如下大型稀疏線性方程得到

其中,L為長(zhǎng)與寬均為圖像像素總數(shù)的稀疏方陣,未知點(diǎn)i所在行對(duì)應(yīng)K鄰域的系數(shù)記為wj,j=1,···,K,D為對(duì)角陣,在已知點(diǎn)所對(duì)應(yīng)的對(duì)角線元素的位置為1,未知點(diǎn)為0,θ為某個(gè)較大的數(shù).b為長(zhǎng)度等于像素總數(shù)的列向量,前景?F處位置為1,背景未知區(qū)域?U位置為0.上式可采用共軛梯度法求解.

1.1 仿射類(lèi)方法的分類(lèi)

各仿射類(lèi)方法、亦即稀疏矩陣L的構(gòu)造方式之間的主要區(qū)別是每個(gè)未知點(diǎn)i的若干近鄰像素位置的遠(yuǎn)近以及相應(yīng)權(quán)值wj的構(gòu)造方式.按是否采用摳像公式以及在摳像中的實(shí)際效果,仿射類(lèi)方法可分為不采用摳像公式的簡(jiǎn)單權(quán)重類(lèi)方法以及采用摳像公式的Matting Laplacian 類(lèi)方法.

圖1 圖像摳像問(wèn)題的基本輸入輸出和本文的雙層次摳像結(jié)構(gòu)Fig.1 Input and output of image matting and the hierarchical framework of our method

1.1.1 簡(jiǎn)單權(quán)重類(lèi)方法

該類(lèi)方法如圖2 左欄所示,其特點(diǎn)是不采用摳像公式,直接采用顏色差異的方法確定權(quán)重.具體的,當(dāng)前點(diǎn)i與各近鄰點(diǎn)j顏色差異的某個(gè)負(fù)函數(shù)即為各個(gè)權(quán)重,即與j的顏色越接近,權(quán)值越大,二者的α越相似.起初的Random Walk 算法[6]僅采用8 鄰域處最近的搜索范圍,但無(wú)論在絕對(duì)像素還是混合像素,其計(jì)算效果均很不理想.Nonlocal 算法[3]對(duì)鄰域空間進(jìn)行了擴(kuò)展,采用以每個(gè)未知點(diǎn)為中心、半徑為r的方形搜索尋找K個(gè)顏色最相近的點(diǎn).為減少計(jì)算量,采樣半徑r通常不大.KNN 算法[4]的搜索距離則更遠(yuǎn),需要尋找每個(gè)點(diǎn)在顏色約束和空間距離約束的特征下最近的K個(gè)點(diǎn).

圖2 仿射類(lèi)方法的2 種分類(lèi)方式對(duì)應(yīng)的算法及適用范圍(其中Lap 表明在原簡(jiǎn)單權(quán)重方法的基礎(chǔ)上采用Matting Laplacian)Fig.2 Two types of affinity based matting method and the corresponding algorithms and application scopes(where Lap denotes the application of matting Laplacian based on simple weight methods)

根據(jù)式(2),若αi或其K個(gè)近鄰像素的αj均接近于0 或1,即它們均為絕對(duì)前景或背景,此時(shí)的權(quán)值wj顯然幾乎無(wú)法構(gòu)成影響.因此,在KNN 算法中討論的權(quán)值是否采用exp(-x) 還是1-x的問(wèn)題則顯得不大重要.但若αi和αj為小數(shù),即它們均為混合點(diǎn),則權(quán)wj非常重要.然而,由于簡(jiǎn)單權(quán)重模式下的wj的產(chǎn)生并不采用摳像公式,而真實(shí)值αtrue是由摳像公式算出,因此此時(shí)的結(jié)果肯定不理想.由此可得出的結(jié)論是:該類(lèi)方法適合于計(jì)算絕對(duì)像素,而不是混合像素.

另一方面,搜索范圍較近的Random Walk 和Nonlocal 等方法,需要經(jīng)過(guò)多次傳遞才能到達(dá)已知區(qū)域,因此較易造成誤差累積.相反,搜索范圍較廣的KNN 算法可以通過(guò)較少次數(shù)的傳遞或直接搜索到達(dá)已知區(qū)域,會(huì)產(chǎn)生較少誤差累積,更有利于絕對(duì)前景和背景的計(jì)算.這與采樣類(lèi)方法中直接訪問(wèn)已知區(qū)域的方式較為相似.

絕對(duì)像素計(jì)算步驟也同時(shí)在文獻(xiàn)[24]中進(jìn)行了深入討論.據(jù)統(tǒng)計(jì),在評(píng)估系統(tǒng)[23]提供的所有訓(xùn)練圖像中,大型號(hào)與小型號(hào)Trimap 中的絕對(duì)點(diǎn)數(shù)量大大超過(guò)了混合點(diǎn)的數(shù)量,由此可以看出該步驟的重要性.進(jìn)一步,該步驟必須單獨(dú)采用一個(gè)獨(dú)立的、不采用摳像公式的步驟,使其區(qū)別于普通的混合像素計(jì)算步驟,而簡(jiǎn)單權(quán)重類(lèi)方法則完全符合這種絕對(duì)像素計(jì)算準(zhǔn)則.目前,絕對(duì)像素的計(jì)算的算法僅出現(xiàn)在采樣類(lèi)計(jì)算方式中,但局部類(lèi)方法[13?16,19]容易遺漏較遠(yuǎn)處的樣本,誤劃分率偏高,而全局類(lèi)方法[17]易受全局前景和背景顏色重疊影響,誤劃分率較高.由此可以看出,目前的絕對(duì)像素劃分方法仍然受到全局與局部采樣方式相互平衡的困擾.

1.1.2 Matting Laplacian 類(lèi)方法

該類(lèi)方法如圖2 右欄所示,它假設(shè)在某“局部集合”S內(nèi),任何點(diǎn)i的前景和背景顏色Fi和Bi都是兩個(gè)固定顏色{F1,F2} 和{B1,B2} 的線性組合,稱(chēng)為顏色線性模型(Color line model).結(jié)合摳像公式并經(jīng)推導(dǎo),結(jié)論為在某個(gè)集合S內(nèi)的(i,j)∈S,點(diǎn)i與j產(chǎn)生的權(quán)重為

其中,xi與xj分別為點(diǎn)i與j的三維顏色向量,X3為3×3 單位陣,ΣS、μS分別為S內(nèi)的3×3 協(xié)方差矩陣與3×1 的均值向量,ε為一個(gè)較小的數(shù).未知點(diǎn)i與j的權(quán)重為所有包含二者的集合S所產(chǎn)生的權(quán)重之和.顯然,由于采用了摳像公式,該類(lèi)方法非常適合于混合點(diǎn)的計(jì)算,也是目前為止,仿射類(lèi)方法中對(duì)混合點(diǎn)最重要的計(jì)算方式.

該類(lèi)方法的關(guān)鍵問(wèn)題是相關(guān)集合S如何選擇.Closed-Form 算法[1]提出將集合S定義為較小的局部窗口,對(duì)于寬度較窄的前景硬邊界效果較好,然而該類(lèi)小窗口無(wú)法充分涵蓋較寬的混合區(qū)域或前景空洞等實(shí)例的顏色信息.Large Kernel 算法[2]改進(jìn)了基于空間局部窗口的思想,提出了核寬度r與不同未知局部區(qū)域的寬度成比例的方式.然而事實(shí)上,核寬度很大程度上依賴(lài)于真實(shí)混合區(qū)域的寬度信息,而未知區(qū)域僅為用戶(hù)的粗略手工輸入,尤其輸入為稀疏的線條不能充分表達(dá)混合區(qū)域的實(shí)際信息,現(xiàn)實(shí)中還會(huì)存在很多偏差.CCM 算法[5]采用了KNN方式中的顏色近似的方法選取集合S,取代了空間方式的局部窗口.由于該方法搜索范圍過(guò)大并引入大量已知樣本,在實(shí)際中,它對(duì)絕對(duì)像素計(jì)算的效果較好,但對(duì)于混合像素的計(jì)算也受到全局絕對(duì)樣本影響,出現(xiàn)過(guò)于二值化的現(xiàn)象.

CNN Matting 方法[20]提到,KNN 算法與Closed Form 算法之間的區(qū)別并不直接,由此采用基于深度學(xué)習(xí)方式對(duì)二者進(jìn)行融合.然而經(jīng)本文討論至此,它們的區(qū)別已經(jīng)非常明朗,即KNN 類(lèi)方法適用于絕對(duì)像素的劃分,而Matting Laplacian類(lèi)(即Closed Form 類(lèi)) 適用于混合像素的計(jì)算.本文從仿射類(lèi)方法自身入手,據(jù)各類(lèi)方法自身的優(yōu)點(diǎn)和缺點(diǎn)做出相互的補(bǔ)充,避免了大量訓(xùn)練數(shù)據(jù)以及長(zhǎng)時(shí)間訓(xùn)練等問(wèn)題.

圖3 顯示了5 種典型算法在α評(píng)價(jià)系統(tǒng)[23]的52 幅訓(xùn)練圖像上(27 幅訓(xùn)練圖像中的大、小Trimap且不包含GT16),各αtrue區(qū)間的平均MSE 比較(不包含Random Walk),顯然,KNN 在0～0.25與0.95～1 區(qū)間較好,印證了它非常擅長(zhǎng)于絕對(duì)像素劃分,而較為平滑的背景使得在絕對(duì)背景劃分上更加優(yōu)秀.CCM 僅在0～0.05 區(qū)間較好,說(shuō)明它受前景和背景重疊的影響非常大.Closed Form 與Large Kernel 大致0.25～0.95 間較好,印證了它們擅長(zhǎng)混合像素的計(jì)算.同時(shí),近距離Nonlocal 算法在各區(qū)間中均不理想.

圖3 各αtrue 區(qū)間中5 種傳統(tǒng)仿射類(lèi)算法α 結(jié)果的平均MSE 比較(其中x 軸坐標(biāo)中的0.0 表示0.0～0.05 區(qū)間等)Fig.3 MSE comparison on five traditional affinity based matting algorithms in each αtrue interval (where 0.0 in x-label denotes the range of 0.0～0.05,etc)

1.2 本文方法的提出

事實(shí)上,KNN 類(lèi)算法中K近鄰像素的遠(yuǎn)近的選取,對(duì)該類(lèi)方法的絕對(duì)像素劃分結(jié)果會(huì)產(chǎn)生重要影響.在前景與背景的整體重合度不高的前提下,選擇更遠(yuǎn)距離的搜索范圍,不僅會(huì)為當(dāng)前未知點(diǎn)提供更多相似的已知點(diǎn),而且在Trimap 真實(shí)樣本距離未知點(diǎn)較遠(yuǎn)時(shí)(如未知區(qū)域較大、或者前景存在空洞) 計(jì)算效果更好.但如果較遠(yuǎn)處的前景與背景顏色存在較大重合,則會(huì)產(chǎn)生計(jì)算錯(cuò)誤,此時(shí)需要采用較小的搜索范圍.因此,所選取的近鄰像素的遠(yuǎn)近也是一個(gè)重要的平衡.然而,KNN 采用固定的遠(yuǎn)距離與近距離相結(jié)合的方式,無(wú)法根據(jù)空間上的顏色變化情況進(jìn)行自適應(yīng)調(diào)整.

基于上述分析,本文在第2 節(jié)新引入了KNN搜索上的3 種范圍(如圖2 左欄所示),并依據(jù)全局重疊與局部重疊程度,相應(yīng)采用其中2 種層次相結(jié)合的方式,以期對(duì)大部分絕對(duì)像素進(jìn)行劃分,并進(jìn)一步縮小未知區(qū)域的寬度.同時(shí),由于無(wú)法保證初始Trimap 與混合點(diǎn)之間的關(guān)系,該層次采用與初始Trimap 未知區(qū)域大小無(wú)關(guān)的方式,這與Large Kernel 算法不同.

如前文所述,混合像素計(jì)算過(guò)程中的Matting Laplacian 類(lèi)方法中的核寬度、或者搜索空間的大小,需要與真實(shí)未知區(qū)域的寬度相一致.若搜索范圍過(guò)小則無(wú)法充分涵知區(qū)域的信息,造成CNN 算法[20]提到的“過(guò)平滑”,而搜索范圍過(guò)大會(huì)導(dǎo)致混合像素的絕對(duì)像素化,如CCM.由于在第2 節(jié)中,相當(dāng)多的絕對(duì)像素已被劃分,且混合像素區(qū)域的大致輪廓也已確定,因此在此基礎(chǔ)上,第3 節(jié)引入了KNN及Nonlocal 搜索上的5 種范圍(如圖2 右欄所示),并采用結(jié)合未知區(qū)域?qū)挾鹊腗atting Laplacian 方法,計(jì)算最終剩余混合像素.

2 絕對(duì)像素劃分

本節(jié)討論基于KNN 搜索方式的絕對(duì)像素劃分.第2.1 節(jié)提出了搜索范圍因子的概念,并定義3 種搜索范圍下的直接點(diǎn)差異度,為后續(xù)章節(jié)打下基礎(chǔ);第2.2 節(jié)提出了圖像重概念,將圖像劃分為低重合度圖像和高重合度圖像,前者按2.3 節(jié)計(jì)算α,后者按第2.4 節(jié)計(jì)算α.最后按第2.5 節(jié)的截取方式得到預(yù)處理后的Trimap.

2.1 搜索范圍因子與直接點(diǎn)差異度

首先,類(lèi)似于KNN 算法,定義像素i的特征矢量(f)=[ri,gi,bi,sxi(f),syi(f)]為i的3 個(gè)通道的顏色值,{ri,gi,bi} 為點(diǎn)i的空間距離特征,表述為

其中,xi和yi為i的空間橫坐標(biāo)與縱坐標(biāo),f為控制空間距離遠(yuǎn)近的重要參數(shù).f越大,采集的像素越近,反之則越遠(yuǎn).在KNN 算法中,f的取值為1 和0.01 之間的融合,其最終效果近似于0.5,如圖2 所示.

前文曾提到,搜集像素位置的遠(yuǎn)近是KNN 類(lèi)方法的決定因素之一,該問(wèn)題非常依賴(lài)于前景與背景顏色的重合度.然而,傳統(tǒng)的仿射類(lèi)方法并不是直接訪問(wèn)已知區(qū)域的,直接獲取每個(gè)點(diǎn)的前景和背景信息.因此,本文提出一種類(lèi)似于采樣方式的、直接訪問(wèn)已知區(qū)域的方法,用來(lái)模擬和引導(dǎo)每個(gè)未知點(diǎn)間接搜索距離的方式.這里需要利用FLANN (Fast library approximate nearest neighbors)方法,在相關(guān)特征xi(f) 下,靠近未知區(qū)域的5 個(gè)像素寬度的已知前景區(qū)域ΦF和背景區(qū)域ΦB位置(簡(jiǎn)記為F與B),對(duì)每個(gè)像素i分別尋找最近的前景和背景點(diǎn)j各K=10 個(gè),將它們稱(chēng)為直接點(diǎn),如圖4(a) 下方的j點(diǎn)所示(以背景為例).在xi為xsi的前3 個(gè)空間無(wú)關(guān)特征分量、即顏色特征下,計(jì)算未知點(diǎn)i與上述前景與背景直接采樣點(diǎn)對(duì)于K個(gè)直接點(diǎn)的平均顏色差異di(f,F) 與di(f,B),之后在給定距離參數(shù)f之下,計(jì)算點(diǎn)i的前景與背景顏色的差異系數(shù):

圖4 以背景為例,未知點(diǎn)的各種搜索方式與搜索范圍Fig.4 Various kinds of searching manners and searching ranges for an unknown pixel

其中,θ1的取值在1 至2 之間時(shí),前景與背景的區(qū)分效果最好,這里取經(jīng)驗(yàn)值θ1=1.5.DFi(f) 越高,表明在距離參數(shù)f下,點(diǎn)i的直接前景與背景顏色差異性越大,重合性越低,該距離參數(shù)f就比較理想;否則,該距離參數(shù)就不理想.

對(duì)每個(gè)未知點(diǎn)i,計(jì)算近、中、遠(yuǎn)3 個(gè)級(jí)別的差異度DFi(0.5),DFi(0.1)和DFi(0.01),并為后面的計(jì)算所采用.這3 個(gè)級(jí)別的近似搜索范圍如圖4(b)所示.

2.2 像素采集遠(yuǎn)近及圖像的重合度判別

按文獻(xiàn)[25]的理論,局部(或近距離) 采樣方式應(yīng)作為基本方式,而全局(或遠(yuǎn)距離) 采樣方式是局部的一種補(bǔ)充.而這對(duì)于仿射類(lèi)方法同樣有效.考慮到各圖像中前中前景與背景的重疊程度不盡相同,采集像素遠(yuǎn)與近的范圍也不相同.首先,在未知區(qū)域?U內(nèi)、靠近已知前景和背景區(qū)域的位置,分別定義1 個(gè)像素寬度為“學(xué)習(xí)區(qū)域”(簡(jiǎn)記為F與B),首先在距離參數(shù)f之下,計(jì)算這2 個(gè)區(qū)域到各自已知前景和背景的平均顏色差異dL(f,F) 與dL(f,B),

rt1越小表明近處像素點(diǎn)已經(jīng)足夠判別絕對(duì)像素點(diǎn);否則,需要采集遠(yuǎn)處像素來(lái)實(shí)現(xiàn).

其次,在特定集合M下定義如下準(zhǔn)則:

其中,判定條件Cr=(DFi(0.5)

其中,M1={i|i ∈?U∧DFi(0.1)<1},M2={i|i ∈?U∧DFi(0.1)≥1},θ2=0.7,θ3=0.4.之后,若T1≤0.7×10?4,則該圖像為前景與背景重合度較高的圖像;否則,若T1≥1.2×10?4,則該圖為重合度較低的圖像.若T1在上述二值之間,則進(jìn)一步令T2=rt1·rt2(M1)θ2,若T2<0.8×10?4,則該圖為重合度較高的圖像,否則為重合度較低的圖像.上述參數(shù)均根據(jù)經(jīng)驗(yàn)取值.

最后,設(shè)定低度重合的圖像采用2 個(gè)遠(yuǎn)距離級(jí)別的f為0.1 和0.01,而高度重合的圖像采用2 個(gè)近距離的0.5 和0.1.每種重合度形式均采用近距離搜索范圍為主、遠(yuǎn)距離為輔的搜索形式.

2.3 低重合度圖像

對(duì)每個(gè)未知點(diǎn)i,計(jì)算如下比例:

其中,di為在第2.1 節(jié)中求得的i與直接點(diǎn)顏色差異.定義如下f=0.01 處的判別準(zhǔn)則

經(jīng)第1 節(jié)分析可知,背景通常較為平滑,而前景變化相對(duì)較大,因此,若rti(F)>rti(B),則θ4=5,否則θ4=1.5,同時(shí)對(duì)上述情況均取θ5=1,上述參數(shù)取值表明對(duì)前景的約束要高一些.上式成立時(shí)表明:1) 該點(diǎn)在f=0.01 下與直接前景點(diǎn)或背景點(diǎn)的差異較在f=0.1 時(shí)小;2) 該點(diǎn)在f=0.01 下對(duì)應(yīng)直接點(diǎn)的前景與背景之間差異較大.圖5 的第2、3 列顯示了DF的例子.

如前文所述,該方法需要利用直接點(diǎn)的前景與背景的重合程度,模擬KNN 類(lèi)方法對(duì)間接點(diǎn)的采集遠(yuǎn)近.具體的,利用FLANN 方法,對(duì)每個(gè)未知點(diǎn)i在空間特征xsi(0.1)、xsi(0.01) 下,在?U處以及靠近它的40 個(gè)像素寬度的已知前景和背景區(qū)域位置(比直接點(diǎn)區(qū)域要寬),尋找與i最近的點(diǎn)j各K個(gè),稱(chēng)為間接點(diǎn),如圖4(a) 上方的j點(diǎn)所示.于是,若滿(mǎn)足式(11) 對(duì)應(yīng)的約束條件,則未知點(diǎn)i選取遠(yuǎn)處f=0.01 的K個(gè)間接點(diǎn),否則選取中距離處f=0.1 的.最后,對(duì)于像素i搜索到的K個(gè)像素,令它們同時(shí)對(duì)應(yīng)了式(2) 中的K個(gè)位置,顏色特征為xj,則該類(lèi)方法的對(duì)應(yīng)式(2) 下的權(quán)值為wj=1-‖xi-xj‖/3.采用共軛梯度法求解所α值,記為αpre?our.

為了比較,本文也實(shí)現(xiàn)了單獨(dú)運(yùn)行的中距離搜索方法KNN-0.1 以及遠(yuǎn)距離搜索方法KNN-0.01.圖5 同時(shí)顯示了本文方法能夠結(jié)合KNN-0.1 與KNN-0.01 的優(yōu)點(diǎn),并避免它們的缺點(diǎn)的例子(包括局部與全局圖像).其中,前2 行顯示了2 個(gè)前景存在空洞、且前景與背景差異相對(duì)較大的圖像,此時(shí)第2、3 列顯示了KNN-0.01 比KNN-0.1 在較多關(guān)鍵點(diǎn)中的DF要大,本文結(jié)果會(huì)利用這種優(yōu)勢(shì)來(lái)覆蓋遠(yuǎn)處的已知背景像素,并避免在近距離搜索中容易遺漏的像素,使得更多已知點(diǎn)可以被劃分出來(lái).第3行顯示了一幅前景與背景重合較大的全局圖像,此時(shí)KNN-0.1 與KNN-0.01 的DF大都較小,而第4 行的局部圖像顯示了它們的DF仍然較為相似,此時(shí)對(duì)變化過(guò)大的前景像素進(jìn)行過(guò)量采集時(shí)會(huì)產(chǎn)生“過(guò)搜索”.在這2 種情況下,本文方法采用相對(duì)保守的近距離搜索,避免了這些情況產(chǎn)生的誤劃分.

圖5 全局低重合度圖像中本文預(yù)處理方法與其他2 種單一搜索方式的結(jié)果比較(前2 列與后2 列分別顯示了遠(yuǎn)距離與近距離搜索方法較好的例子,圖像中的線條表示前景與背景邊界)Fig.5 Comparison of pre-processing results between our method and two unary searching methods in low global overlapped cases (where the first and last two rows show good results in methods with long and short searching ranges respectively,and the lines in the input images show known foreground and background boundaries)

2.4 高重合度圖像

由于高重合度圖像在直接點(diǎn)處前景與背景的重合度也較高,無(wú)法完全提供二者的準(zhǔn)確信息,因此需要利用間接點(diǎn)的方式.類(lèi)似于第2.3 節(jié),首先,利用FLANN 方法,在上節(jié)定義的區(qū)域內(nèi)對(duì)每個(gè)未知點(diǎn)i,在空間特征(0.5)、(0.1) 下,尋找最近的K個(gè)間接點(diǎn)j.之后在f下計(jì)算每個(gè)未知點(diǎn)i與K個(gè)間接點(diǎn)的平均差異,記為di(f),并定義如下f=0.1處的判別準(zhǔn)則

其中,θ6=10,θ7=1,上述參數(shù)均根據(jù)經(jīng)驗(yàn)取值.上式成立時(shí)表明:1) 該點(diǎn)在f=0.1 下與鄰域間接點(diǎn)的差異較在f=0.5 時(shí)小很多;2) 該點(diǎn)f=0.1下對(duì)應(yīng)直接點(diǎn)的前景與背景之間差異較大.于是,若滿(mǎn)足式(12) 對(duì)應(yīng)的約束條件,則未知點(diǎn)i選取較遠(yuǎn)處f=0.1 的K個(gè)間接像素,否則選取f=0.5 處的.求解αpre?our過(guò)程仍采用共軛梯度法.為了比較,我們也實(shí)現(xiàn)了單獨(dú)運(yùn)行的近距離方法KNN-0.5.圖6 的2 個(gè)例子(包括局部和全局圖像) 顯示了前景與背景在遠(yuǎn)距離搜索KNN-0.1 上存在較大重合的圖像,此時(shí)KNN-0.5 較KNN-0.1 在DF的很多像素上要大一些,本文則傾向于采用KNN-0.5 來(lái)避免這類(lèi)重合所造成的計(jì)算錯(cuò)誤.其中第2 個(gè)例子是測(cè)試圖像,沒(méi)有真實(shí)值,因此實(shí)際上我們引入了評(píng)價(jià)系統(tǒng)[23]上排名最高算法的結(jié)果圖作為近似真實(shí)值.

最后,一種特例是該圖所有未知點(diǎn)與前景和背景的顏色差異都較大,該例在正常計(jì)算時(shí)誤差較大,此時(shí)該例完全簡(jiǎn)化為KNN-0.1,該平均顏色差異計(jì)算為

其中,直接像素差異di(0.01,O) 在第2.1 節(jié)定義,nU為未知點(diǎn)的個(gè)數(shù),該約束條件為≥0.003.

圖6 全局高重合度圖像中本文預(yù)處理方法與其他2 種單一搜索方式的結(jié)果比較Fig.6 Comparison of pre-processing results between our method and two unary searching methods in high global overlapped cases

2.5 Trimap 的更新

經(jīng)之前的分析可知,KNN 類(lèi)方法對(duì)絕對(duì)像素的計(jì)算較好,因此需要將αpre?our的絕對(duì)像素作為已解決的像素,并且將混合像素留給Matting Laplacian 方法計(jì)算.首先,對(duì)于未知像素i,成為新已知前景與新已知背景需要滿(mǎn)足的條件為

3 混合像素計(jì)算

圖7 顯示了經(jīng)過(guò)前節(jié)得到的新Trimap 的6 個(gè)例子,可以明顯看出,大部分絕對(duì)點(diǎn)都已被計(jì)算為已知點(diǎn),而且剩余未知區(qū)域也可以基本描述出混合像素的分布情況,包括變化迅速的實(shí)心物體邊緣(硬邊界)、毛發(fā)式邊界(軟邊界)、半透明物體等,這對(duì)于核寬度的選擇或采用其他處理方式都是極大的幫助.同時(shí),也很好地解決了Large Kernel 算法中提出的僅依據(jù)初始Trimap 中未知區(qū)域大小的缺陷.

依據(jù)前文的理論,混合像素的計(jì)算需要首先產(chǎn)生第1.2.2 節(jié)中的集合S,并利用Matting Laplacian 的方式生成權(quán)重.不同的是,本文并不采用Closed Form 和Large Kernel 算法中的基于空間連續(xù)的搜索方式,而是采用顏色特征相匹配的Nonlocal、KNN 及CCM 的搜索方式,該方式可以擴(kuò)大搜索范圍,并減少顏色線性模型帶來(lái)的計(jì)算誤差.這里每個(gè)未知點(diǎn)產(chǎn)生集合S的原則是:一方面,該集合要盡可能引入已知前景和背景區(qū)域,以消除在未知區(qū)域中傳遞次數(shù)過(guò)多而造成的累積誤差,另一方面,獲取的已知像素不能過(guò)多,以減少顏色過(guò)度重合造成的計(jì)算誤差.

具體的,在新Trimap 下,首先計(jì)算每個(gè)未知點(diǎn)i與新已知前景和背景的最近空間距離,分別記為Di(F),Di(B),并求出二者的平均距離,記為Di,之后利用該參數(shù)調(diào)整Nonlocal 方法中的方形搜索半徑r.進(jìn)一步,若r較大,逐點(diǎn)方形搜索的方式所花開(kāi)銷(xiāo)太大,這時(shí)需采用KNN 或CCM 算法中的FLANN 方法.此時(shí)仍然遵循第2 節(jié)的多層次搜索原則,分為f=0.5、0.1、0.01 的3 級(jí)搜索方式.此外,本節(jié)依然采用與第2 節(jié)類(lèi)似的、計(jì)算整幅圖像重合度的方式,以此作為搜索范圍的依據(jù).在新Trimap 下,對(duì)每個(gè)未知點(diǎn)i獲取經(jīng)第2.1 節(jié)計(jì)算的3 個(gè)級(jí)別的差異度DFi(0.5)、DFi(0.1) 和DFi(0.01),按第2.2 節(jié)重新計(jì)算已知前景和背景的平均顏色差異dL(f,F) 與dL(f,B),并按式(9) 重新計(jì)算整幅圖像的重疊度T1,若T1<2.0 則為高重合度圖像,否則為低重合度圖像.

根據(jù)每個(gè)未知點(diǎn)i與已知區(qū)域的空間距離,具體分為以下3 種常規(guī)情形,如圖7(a)～(c) 所示:

1)“硬邊界”,需要滿(mǎn)足至少如下2 種情形之一.a)Di ≤8;b) 整幅圖像是高重合度圖像.2 個(gè)局部的例子如圖7(a) 所示.此時(shí)對(duì)未知點(diǎn)i采用Nonlocal 的方形搜索方法,而搜索窗口要盡量覆蓋到已知前景和已知背景區(qū)域,但也要避免窗口過(guò)寬.因此在半徑為r下,按單純的顏色特征x搜索K=10個(gè)與之最近鄰的像素.半徑r計(jì)算為

2)“軟邊界”,需要滿(mǎn)足8≤Di <40.該情形代表較多毛發(fā)的邊緣,2 個(gè)局部的例子如圖7(b) 所示.類(lèi)似于第2.4 節(jié),利用FLANN 方法,在整幅圖像中對(duì)每個(gè)未知點(diǎn)i,在f=0.5、f=0.1 時(shí)尋找最近的K個(gè)間接像素.并定義f=0.1 處的判別準(zhǔn)則為DFi(0.1)≥0.1.若滿(mǎn)足該約束條件,則未知點(diǎn)i選取較遠(yuǎn)處f=0.1 的K個(gè)間接像素,否則選取較近處f=0.5 的.

3) 長(zhǎng)毛發(fā)邊緣與前景空洞,需要滿(mǎn)足Di ≥40,表明該點(diǎn)與已知背景距離很大,2 個(gè)局部的例子如圖7(c) 所示.類(lèi)似于第2.4 節(jié),對(duì)i在f=0.1、f=0.01 時(shí),尋找最近的K個(gè)間接像素,并定義f=0.01 處的判別準(zhǔn)則為DFi(0.01)≥0.1,若滿(mǎn)足該約束條件,則未知點(diǎn)i選取較遠(yuǎn)處f=0.01的K個(gè)間接像素,否則選取較近處f=0.1 的.

有時(shí),整幅圖像未知區(qū)域的空間距離或顏色差異較大,分為以下特例,如圖7(d)～(f) 所示,此時(shí)以上常規(guī)方法并不奏效,需獨(dú)立于上述情形之外單獨(dú)考慮.

4) 存在大量與已知區(qū)域差異較大的點(diǎn),或者所謂的“突兀點(diǎn)”,此時(shí)需要滿(mǎn)足ˉd >0.003,ˉd為式(13) 定義的未知區(qū)域的平均顏色差異.一個(gè)全局的例子如圖7(d) 所示,其中旗子部分與前景和背景的顏色差異都很大.此時(shí)在實(shí)踐中將式(15) 中min 函數(shù)內(nèi)的max 也同樣變?yōu)閙in 可以使得最終摳像效果大為改善.

圖7 預(yù)處理后的各種Trimap 情況Fig.7 Various kinds of Trimap after pre-processing

5) 存在大量半透明像素的前景物體,如塑料袋、網(wǎng)袋、杯子等.此時(shí)需要滿(mǎn)足ˉD >25,ˉD為所有Di的平均值,且不滿(mǎn)足條件4) 的情形.在大量像素需要遠(yuǎn)距離搜索的情況下,與CCM 類(lèi)似,此時(shí)Matting Laplacian 會(huì)經(jīng)常失效,又分為以下2 種情形:a) 該圖為低重合度圖像,一個(gè)全局的例子如圖7(e) 所示.此時(shí)不做后續(xù)處理,直接采用預(yù)處理后的結(jié)果.b) 該圖為高重合度圖像,一個(gè)全局的例子如圖7(f) 所示.此時(shí)意味著前面的預(yù)處理步驟很可能也不準(zhǔn)確,這里直接采用KNN 算法下的HSV 色彩區(qū)間的結(jié)果.

最后,對(duì)于上述前4 種情形搜索到的K個(gè)像素,按第1.1.2 節(jié)形成Matting Laplacian 的集合S,并按式(4) 為像素i提供K個(gè)未知的權(quán)值貢獻(xiàn),采用共軛梯度法求出最終解αlap.要注意的是,此時(shí)式(3) 中的列向量b,對(duì)應(yīng)所有已知點(diǎn)位置為其實(shí)際的α值,即新已知前景?′F處位置的范圍為[αupper,1],新已知背景?′B處位置的范圍為[0,αlower],其余未知點(diǎn)位置為0.求解中,若遇到共軛梯度法不收斂的情況,則直接采用預(yù)處理后的結(jié)果即可.

4 實(shí)驗(yàn)

為了體現(xiàn)本文方法對(duì)于Trimap 大小的兼容性,對(duì)于評(píng)價(jià)系統(tǒng)[23]中的27 幅訓(xùn)練圖像,除了大型號(hào)與小型號(hào)的Trimap 之外,我們另外為它們創(chuàng)建了“巨大”型號(hào)的Trimap,它們通過(guò)將大型號(hào)Trimap未知區(qū)域膨脹10 個(gè)像素、并保留面積小于500 的前景和背景區(qū)域得到.

4.1 絕對(duì)像素劃分

本文選擇了9 種仿射類(lèi)的預(yù)處理方法,包括5 種已存在的算法(不包含Random Walk),3 種KNN 類(lèi)算法KNN-0.5、KNN-0.1、KNN-0.01,以及本文方法.其中,Large Kernel 算法僅簡(jiǎn)單地將Matting Laplacian 的核寬度設(shè)為2,Nonlocal 算法的搜索半徑為20,搜索10 個(gè)最相似的像素.對(duì)各方法中獲得的α進(jìn)行預(yù)處理方式均按式(14) 進(jìn)行截取.為了比較預(yù)處理方法的有效性,未經(jīng)預(yù)處理的方法也被引入.

4.1.1 預(yù)處理劃分代價(jià)的比較

與傳統(tǒng)意義上的預(yù)處理評(píng)價(jià)準(zhǔn)則不同,由于在本文預(yù)處理步驟中的已知區(qū)域會(huì)引入一些半透明點(diǎn),因此在某種劃分下,將未知點(diǎn)i的代價(jià)函數(shù)定義為

表1 顯示了上述10 種預(yù)處理方法(包含無(wú)預(yù)處理) 在3 種型號(hào)Trimap 下的總體代價(jià)比較,本文算法在各種不同型號(hào)的Trimap 下,劃分代價(jià)均為10種預(yù)處理方法的最低.其他方法中,遠(yuǎn)距離方法(如CCM、KNN-0.01)在巨大型號(hào)Trimap 下代價(jià)較低,近距離搜索方法(如KNN-0.5)在小型號(hào)Trimap 下代價(jià)較低,過(guò)近距離搜索方法(如Nonlocal、Closed Form、Large Kernel) 在各種型號(hào)的Trimap 下代價(jià)均較高.搜索范圍適中的KNN-0.1 各種代價(jià)也較低,而KNN 算法本身效果與KNN-0.5 較為相似.

表1 9 種預(yù)處理方法與未預(yù)處理方法在3 種型號(hào)Trimap之下對(duì)所有訓(xùn)練圖像的代價(jià)值之和的比較Table 1 Comparison on sum cost of all the training images within 9 pre-processing methods and no pre-processing method over three types of Trimap

圖8 顯示了從圖5 和圖6 中獲取的5 個(gè)局部圖像,對(duì)它們采用10 種預(yù)處理方法(包含無(wú)預(yù)處理)的預(yù)劃分代價(jià).同樣,本文算法的劃分代價(jià)基本為10 種預(yù)處理方法的最低.

圖8 9 種預(yù)處理方法與無(wú)預(yù)處理方法在一些局部圖像中的代價(jià)比較(×10?4)Fig.8 Comparison on cost of several local images in 9 pre-processing methods and no pre-processing method (×10?4)

4.1.2 與后續(xù)摳像算法的聯(lián)合比較

預(yù)處理方法不僅需要單獨(dú)比較它們的漏劃分和誤劃分率,同時(shí)注意到,預(yù)處理步驟和摳像步驟終究是一個(gè)整體,預(yù)處理步驟的成敗需要最終的摳像結(jié)果反映出來(lái),因此需要適當(dāng)引入一些后續(xù)的摳像方法加以驗(yàn)證.本文選擇了8 種典型的后續(xù)摳像算法,其中4 種仿射類(lèi)算法(Closed Form、Nonlocal、KNN、CCM),3 種采樣類(lèi)算法(Robust、Global、KL-D-Sparse),1 種特殊算法(Sparse Coded).由于在預(yù)處理步驟中同時(shí)會(huì)引入一些半透明已知點(diǎn),它們也會(huì)為后續(xù)摳像步驟產(chǎn)生作用,因此需要對(duì)這些摳像算法做出稍許改進(jìn).1)仿射類(lèi)方法按第3 節(jié)方式初始化并求解;2) 采樣類(lèi)方法,假設(shè)每個(gè)未知點(diǎn)i的真實(shí)前景顏色Fi及背景顏色Bi與它的前景樣本點(diǎn)j和背景樣本點(diǎn)k的實(shí)際顏色相同,利用摳像式(1) 并推導(dǎo)可得

其中,Fj及Bk為前景和背景樣本點(diǎn)實(shí)際顯示的顏色,αj及αk為前景和背景樣本點(diǎn)的α值.之后αi通過(guò)如下一般求解公式得到

3) Sparse Coded 算法,對(duì)于未知點(diǎn)i,設(shè)其字典D中p點(diǎn)的透明度值為αp,編碼系數(shù)為βp,于是有

圖9 顯示了在巨型、大型、小型的Trimap 下10 種預(yù)處理方法針對(duì)上述8 種摳像算法的比較,因此每種型號(hào)下共有80 個(gè)結(jié)果,每個(gè)結(jié)果(即圖9 中的每個(gè)點(diǎn)) 是由27 個(gè)訓(xùn)練圖像結(jié)果的平均MSE 計(jì)算得到.顯然,本文算法在各種不同型號(hào)的Trimap下,對(duì)8 種摳像算法的平均排名均位列10 種預(yù)處理方法的第一位,在每種單一摳像算法下的排名同樣位居前列.與上節(jié)類(lèi)似,遠(yuǎn)距離方法(CCM、KNN-0.01)、較近距離搜索方法(KNN-0.5) 分別在巨大型號(hào)和在小型號(hào)Trimap 下?lián)赶裥Ч^好,而過(guò)近距離搜索方法(Nonlocal、Closed Form、Large Kernel)在各種型號(hào)的Trimap 下的摳像效果都較差.搜索范圍適中的KNN-0.1 排名也比較靠前,KNN 算法摳像效果與KNN-0.5 較為相似.

與上節(jié)不同,無(wú)預(yù)處理方法的排名并不在最后,說(shuō)明一些預(yù)處理中誤差過(guò)大的誤劃分對(duì)整體摳像結(jié)果影響非常大.而且,無(wú)預(yù)處理方法隨著Trimap 未知區(qū)域的變小而效果變好,說(shuō)明預(yù)處理的主要功能還是對(duì)于未知區(qū)域內(nèi)的絕對(duì)點(diǎn)的劃分.另一個(gè)有趣的現(xiàn)象是“自預(yù)處理”操作,即用一種算法本身進(jìn)行截取,之后再采用該算法本身做出最終摳像.結(jié)果表明,這種方式并不能為該算法帶來(lái)實(shí)質(zhì)性的提升.例如圖9(a) 中,若采用Closed Form 進(jìn)行預(yù)處理并采用Closed Form 進(jìn)行摳像,效果比單純采用Closed Form 摳像要差.從而進(jìn)一步說(shuō)明預(yù)處理與摳像步驟進(jìn)行分離、并采用不同方法的必要性.

4.2 混合像素計(jì)算

圖9 3 種型號(hào)的Trimap 下,對(duì)所有訓(xùn)練圖像摳像結(jié)果的平均MSE 比較,格式為:算法名稱(chēng)排名,排名為在8 種后續(xù)摳像算法下,每種預(yù)處理方法在10 種預(yù)處理方法中的平均排名Fig.9 Average MSE Comparisons on the matting results of all the training images over three types of Trimap,where the format is [algorithm name]rank and the rank denotes the average rank for each of the pre-processing methods out of 10 over the 8 matting methods

在第4.1 節(jié)本文預(yù)處理結(jié)果的基礎(chǔ)上,為了與本文混合像素的計(jì)算方法相比較,本文采用了其他8 種單一混合像素的計(jì)算方法,其中包括搜索半徑5、10、20 的Nonlocal 方法,將式(15) 中min 函數(shù)分別采用min 和max 時(shí)的方法,KNN-0.5 和KNN-0.1 方法,以及Closed Form 方法(即Nonlocal 的搜索半徑為1).另外,第4.1 節(jié)處理后的預(yù)處理結(jié)果(即第2 節(jié)中的αpre?our) 也被直接引入(記為無(wú)后處理).注意,這里各方法與第4.1 節(jié)的區(qū)別是它們均采用Matting Laplacian 取代了簡(jiǎn)單權(quán)重.

圖10 顯示了在圖7(a)～(c) 中的6 個(gè)局部圖像中采用上述10 種計(jì)算方法(包括無(wú)處理) 的MSE比較.顯然無(wú)論在硬邊界還是軟邊界,本文方法的計(jì)算效果均為最好.同時(shí)注意并未采用Matting Laplacian 的無(wú)預(yù)處理方法,該結(jié)果雖然也較為不錯(cuò),但相比上述方法中的一些結(jié)果要差,這驗(yàn)證了前文提出的需要進(jìn)一步引入Matting Laplacian 進(jìn)行混合像素計(jì)算的基本理論.在其他方法中,對(duì)于未知區(qū)域很窄的第1、2 個(gè)例子,Closed Form、半徑為5的Nonlocal 等近距離方法尚且不錯(cuò),但在第3、4 個(gè)例子中隨著未知區(qū)域的擴(kuò)大,一些半徑為10、20 的Nonlocal 方法變好,而至最后未知區(qū)域非常寬的第5、6 例子時(shí),固定搜索半徑的方法已基本失效.然而,由于KNN-0.5 及KNN-0.1 的搜索范圍并不完全受距離因子的局限,可以根據(jù)顏色變化情況,靈活和動(dòng)態(tài)選擇較遠(yuǎn)處的像素,因此它們的效果始終較好.

圖10 對(duì)于圖7 的前6 個(gè)局部圖像及預(yù)處理后的Trimap,采用10 種方法進(jìn)行摳像計(jì)算后的MSE 比較,其中前2 個(gè)例子為硬邊界,中間2 個(gè)例子為軟邊界,后2 個(gè)例子為長(zhǎng)毛發(fā)邊緣與前景空洞,且這些例子中未知區(qū)域的寬度也逐漸增大Fig.10 MSE comparison on matting results of the first 6 local images in Fig.7 for 10 matting methods,where the first,median,and last 2 cases are hard boundaries,soft boundaries,and long hair edges and foreground holes respectively,in which the sizes of unknown regions gradually enlarge

為了顯示本文方法的綜合計(jì)算能力,與上節(jié)類(lèi)似,上述10 種方法在3 種型號(hào)Trimap 下的27 幅訓(xùn)練圖像的α結(jié)果的平均MSE 比較均顯示在圖11 中.同時(shí),為了顯示α結(jié)果分別對(duì)于絕對(duì)像素和混合像素的處理能力,與圖3 類(lèi)似,將各αtrue劃分為若干均勻區(qū)間,并將絕對(duì)像素區(qū)間(0～0.15、0.85～1)與混合像素區(qū)間(0.15～0.85)分別顯示.

圖11 3 種型號(hào)的Trimap 下,在各α 區(qū)間上,10 種混合像素計(jì)算方法對(duì)所有訓(xùn)練圖像的摳像結(jié)果的平均MSE 比較,其中x 坐標(biāo)軸中的0.15 表示0.15～0.25 區(qū)間等Fig.11 Average MSE comparisons on matting results of all the training images for 10 matting methods over 3 types of Trimap in each α range,where 0.15 in x-label denotes the range of 0.15～0.25,etc.

顯然,相對(duì)其他處理方法,本文方法除了在混合像素上計(jì)算精確外,對(duì)剩余絕對(duì)像素的計(jì)算仍然具有明顯優(yōu)勢(shì).在其他方法中,由于大寬度未知區(qū)域的例子偏多,且占據(jù)誤差計(jì)算的主導(dǎo)地位,因此固定搜索寬度的Nonlocal 方法始終不理想,而搜索范圍相對(duì)靈活的KNN-0.5 及KNN-0.1 方法則要好很多.一個(gè)特殊的例子是搜索半徑為1、且效果同樣不錯(cuò)的Closed Form 方法,此時(shí)仍然可以理解為Matting Laplacian 在較小范圍內(nèi)更為有效,因此搜索范圍的遠(yuǎn)近也是一個(gè)微妙的平衡.

4.3 算法的整體評(píng)價(jià)

最后,我們將本文中的絕對(duì)像素劃分步驟與混合像素計(jì)算步驟合并為一個(gè)整體算法,并與9 種已經(jīng)出現(xiàn)的仿射類(lèi)算法(或變形) 做出比較.其中采用簡(jiǎn)單權(quán)重方法的有:搜索半徑20、10、5 的Nonlocal 方法,KNN-0.01、KNN-0.1、KNN-0.5、KNN方法;采用Matting Laplacian 方法的有:CCM 和Closed Form 方法.需要注意的是,上述單層次方法是可以與本文雙層次方法相比較的,主要由于這些單層次的方法也可以視為雙層方法,即首先對(duì)自身做預(yù)處理(先運(yùn)行一次該算法并做出α ≥0.95 和α ≤0.05 的絕對(duì)像素劃分)、再用自身做后處理(在預(yù)處理基礎(chǔ)上再運(yùn)行一次該算法).如前文所述,這些算法按雙層次方法運(yùn)行2 次,和只運(yùn)行該算法一次的效果相近,因此可以用一次運(yùn)行的上述算法模擬2 層次運(yùn)行結(jié)果.

表2 顯示了上述10 種方法在3 種型號(hào)的Trimap 下的平均MSE 總體排名和分別排名,本文方法對(duì)整體和各Trimap 型號(hào)的效果均為最優(yōu).

表2 10 種仿射類(lèi)方法最終摳像結(jié)果的MSE 比較Table 2 Final MSE comparison on matting results for 10 affinity based matting methods

圖12 10 種仿射類(lèi)摳像方法的3 個(gè)實(shí)例Fig.12 3 Cases of matting results for 10 affinity based matting methods

圖12 顯示了各算法對(duì)于摳像效果的視覺(jué)比較,其中前2 個(gè)例子(前4 行) 顯示了2 幅訓(xùn)練圖像.其中第一幅來(lái)自于圖7(d),國(guó)旗部分與前景和背景部分的顏色差異均非常大,而第2 幅的前景與Trimap的形狀均非常復(fù)雜.本文方法對(duì)這2 個(gè)例子均能處理的非常好.第3 個(gè)例子(后2 行) 顯示了1 幅測(cè)試圖像,它們經(jīng)第一步預(yù)處理后的未知區(qū)域仍然非常大,且無(wú)法通過(guò)普通Matting Laplacian 計(jì)算得到,本文方法能夠獲得最好的結(jié)果.

5 討論與后續(xù)工作

1) 離散與連續(xù)的KNN 類(lèi)搜索方式.本文對(duì)KNN 類(lèi)算法中的3 種由遠(yuǎn)及近的搜索范圍因子0.01、0.1、0.05,是3 種離散化的初級(jí)方式.而如何根據(jù)前景背景的重合情況,采用連續(xù)函數(shù)方式進(jìn)行搜索,需要后續(xù)工作的進(jìn)一步研究.

2) 簡(jiǎn)單權(quán)重與Matting Laplacian 的適用范圍.如圖2 所示,簡(jiǎn)單權(quán)重方法較適用在中遠(yuǎn)距離范圍,而Matting Laplacian 方法較適用在中近距離搜索范圍,但在二者的共同區(qū)域、即中距離或偏遠(yuǎn)的范圍上,應(yīng)采用何種權(quán)重的計(jì)算方式仍顯得非常模糊,例如KNN-0.01、KNN-0.1、Nonlocal 20 等方法,對(duì)于它們確切的應(yīng)用范圍仍需要進(jìn)一步實(shí)驗(yàn)來(lái)驗(yàn)證.

3) 初始Trimap 未知區(qū)域大小的問(wèn)題.介于本文在第一步預(yù)處理中對(duì)于Trimap 輸入無(wú)關(guān)的設(shè)計(jì)模式,并未考慮初始Trimap 未知區(qū)域的形狀和大小,這對(duì)于未知區(qū)域較寬的實(shí)例非常有效.然而事實(shí)上,當(dāng)初始Trimap 的未知區(qū)域非常小時(shí)(如評(píng)價(jià)系統(tǒng)中的小號(hào)Trimap),也可以適當(dāng)考慮采用更加保守的搜索方式以減少誤劃分,這種方式的摳像結(jié)果需要進(jìn)一步實(shí)驗(yàn)驗(yàn)證.

4) 仿射類(lèi)方法的局限性.盡管本文在預(yù)處理步驟中采用了直接像素,然而采樣類(lèi)方法的迭代最終需要間接的方式求解,與采樣類(lèi)方法相比,仍然缺乏前景和背景的直接信息,在某些場(chǎng)合中容易造成間接誤差的累積,而且無(wú)法像采樣類(lèi)方法在算法結(jié)束后對(duì)單個(gè)點(diǎn)進(jìn)行觀察與調(diào)試,若效果不佳,只能?chē)L試改進(jìn)一些算法參數(shù),并重新運(yùn)行整個(gè)程序,這也影響到了該類(lèi)算法的后續(xù)分析和改進(jìn).因此類(lèi)似于后處理方法[26?28],本文方法仍然可以與采樣方法結(jié)合.

5) 對(duì)于大規(guī)模圖像和視頻數(shù)據(jù)的摳像應(yīng)用,算法效率非常重要,今后的工作將考慮采用多核CPU、眾核GPU 等并行技術(shù)[29?30]來(lái)加速所提出的算法,以便處理大數(shù)據(jù)量的圖像和視頻.

6 結(jié)論

本文采用了“絕對(duì)像素劃分―混合像素計(jì)算”的雙層次計(jì)算方式求解仿射類(lèi)圖像摳像問(wèn)題.其中,第一層預(yù)處理步驟采用了基于KNN 類(lèi)簡(jiǎn)單權(quán)重的多種搜索距離的聯(lián)合方式,第二層后續(xù)摳像步驟采用了基于Matting Laplacian 的多種搜索距離的聯(lián)合方式,以充分發(fā)揮這兩種傳統(tǒng)摳像方法的特點(diǎn).同時(shí),本文針對(duì)全局與局部前景與背景的重合度,相應(yīng)采用不同的搜索層次,并采用了以局部近距離搜索為基礎(chǔ)、全局搜索為補(bǔ)充的策略.在實(shí)驗(yàn)中,本文同時(shí)引入了若干中間層次的摳像方法與本文方法進(jìn)行比較,以驗(yàn)證本文方法對(duì)上述2 個(gè)層次的摳像結(jié)果的有效性.最后,本文對(duì)后續(xù)探索方向進(jìn)行了展望,以推進(jìn)下一步的工作.

致謝

感謝趙世杰教授、徐耀群教授和白世貞教授在本文寫(xiě)作過(guò)程中的支持和幫助.