一種結(jié)合視覺(jué)顯著性與譜摳圖的自然圖像摳圖方法

段廷燕 張中蔚

摘 要：結(jié)合顯著性算法和譜摳圖算法，提出了一種從圖像中獲取完整前景的方法。首先利用譜摳圖算法將圖像分為若干摳圖成分，同時(shí)利用顯著性算法得到顯著圖；然后根據(jù)顯著圖得到初始標(biāo)注信息，將標(biāo)注結(jié)果反饋給摳圖算法；最后用枚舉法計(jì)算摳圖成分的最佳組合，得到摳圖結(jié)果。人工可以對(duì)摳圖結(jié)果進(jìn)行實(shí)時(shí)修改和反饋。結(jié)果表明，結(jié)合顯著圖的標(biāo)注信息和人工標(biāo)注信息，只需簡(jiǎn)單的點(diǎn)選像素便可很快得到較好的摳圖結(jié)果。

關(guān)鍵詞：譜摳圖 顯著性 摳圖成分 標(biāo)注信息

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-9082（2019）03-000-02

引言

摳圖技術(shù)的關(guān)鍵是如何精確地將一幅圖像中前景和背景分離出來(lái)。利用該技術(shù)，可以產(chǎn)生各種各樣、豐富多彩的圖像。例如個(gè)人寫真、婚紗攝影等，人們將自己拍攝出來(lái)的照片，使用摳圖技術(shù)對(duì)照片進(jìn)行處理，然后合成到另一個(gè)背景圖像中，給我們的生活帶來(lái)另一番視覺(jué)感受。但是，在對(duì)自然圖像進(jìn)行摳圖時(shí)，圖像中的有些前景或背景區(qū)域的邊界部分可能非常細(xì)小，甚至有些可能細(xì)小到一個(gè)像素，如頭發(fā)絲、葉子等。這些區(qū)域人工涂鴉標(biāo)注極其困難，使得精確摳圖實(shí)現(xiàn)難度增加。目前對(duì)結(jié)構(gòu)復(fù)雜的自然圖像摳圖的效果并不理想，而且獲取大量監(jiān)督信息費(fèi)時(shí)費(fèi)力。因此，如何獲得高質(zhì)量的監(jiān)督信息至關(guān)重要。

自然圖像摳圖的方法有很多，常見(jiàn)的有封閉式摳圖[1]、貝葉斯摳圖[2]、魯棒摳圖[3]等。這些方法計(jì)算摳圖結(jié)果耗費(fèi)時(shí)間很長(zhǎng)，而且不能將結(jié)果實(shí)時(shí)反饋給用戶。對(duì)于毛發(fā)等細(xì)節(jié)區(qū)域，涂鴉標(biāo)注的方式對(duì)普通用戶來(lái)說(shuō)難度較大，進(jìn)而會(huì)造成交互次數(shù)和耗時(shí)增加。想要得到理想摳圖結(jié)果需要獲取盡量多的標(biāo)注信息，而像素級(jí)別的標(biāo)注方式在增加樣本量上并不是最好的選擇。2008年由Levin等提出的譜摳圖[4]法較好的解決了上面問(wèn)題。譜摳圖法通過(guò)構(gòu)建拉普拉斯矩陣求出最小的Z個(gè)特征向量，再對(duì)這些向量進(jìn)行線性變換得到個(gè)摳圖成分，這部分運(yùn)算可以作為預(yù)處理步驟，不占用用戶的關(guān)注時(shí)間。計(jì)算好圖像的摳圖成分后，用戶標(biāo)注時(shí)只需點(diǎn)選或者涂鴉摳圖成分中的任意像素即可標(biāo)注整個(gè)成分。因而在細(xì)節(jié)區(qū)域的標(biāo)注變得簡(jiǎn)單了，且可以很快獲取大量標(biāo)注樣本。但該方法當(dāng)摳圖成分?jǐn)?shù)目較大時(shí)，用戶仍然有較大的標(biāo)注工作量。

從生物特性上來(lái)講，人類的視覺(jué)和感知系統(tǒng)會(huì)下意識(shí)的優(yōu)先選擇他們感知到的信息中最感興趣的部分，顯著區(qū)域是圖像中最能引起用戶興趣、最能表現(xiàn)圖像內(nèi)容的區(qū)域[5]。換個(gè)角度說(shuō)，多數(shù)情況下，顯著性高的區(qū)域即為用戶最感興趣的區(qū)域（想要摳出的前景部分）。因此，視覺(jué)顯著性可以為摳圖算法直接提供樣本信息，進(jìn)一步減少用戶的工作量。

本文在譜摳圖基礎(chǔ)上引入視覺(jué)顯著性檢測(cè)，通過(guò)計(jì)算摳圖成分的顯著性指標(biāo)直接提供標(biāo)注信息給摳圖算法，獲得初始摳圖結(jié)果；然后，通過(guò)用戶反饋進(jìn)行結(jié)果實(shí)時(shí)修正和反饋。其中計(jì)算摳圖成分和視覺(jué)顯著性都可以預(yù)先進(jìn)行，不占用用戶關(guān)注時(shí)間。

一、模型介紹

對(duì)于一幅自然圖像，首先用顯著性算法得出顯著性結(jié)果圖并將其歸一化到[0，1]區(qū)間，使用譜摳圖法計(jì)算得到的摳圖成分；然后根據(jù)顯著圖提供標(biāo)注信息給摳圖算法，并結(jié)合摳圖成分計(jì)算得到標(biāo)注成分圖；最后根據(jù)枚舉法計(jì)算摳圖成分的最佳組合得到結(jié)果α圖。如果對(duì)結(jié)果不滿意，人工可以根據(jù)結(jié)果α圖提示重復(fù)標(biāo)注摳圖成分直到得到滿意的摳圖結(jié)果為止。具體流程如圖1所示：

1.計(jì)算摳圖成分

在一般的摳圖算法中，假設(shè)輸入圖像中的每個(gè)像素Ii是前景色Fi和背景色Bi的線性組合[6]，如公式（1）所示。到目前為止有很多摳圖算法以公式（1）為基礎(chǔ)。

二、實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境：處理器：Intel（R） Xeon（R） CPU E5-2687W v3 @ 3.10 GHz（2處理器），內(nèi)存：208G內(nèi)存，系統(tǒng)：64位Windows操作系統(tǒng)，系統(tǒng)環(huán)境：Matlab R2016b。

1.摳圖流程

選擇原圖（如圖2（a）所示）進(jìn)行處理，計(jì)算出顯著圖（如圖2（b）所示）。根據(jù)預(yù)設(shè)的區(qū)間值對(duì)顯著圖進(jìn)行標(biāo)注得到標(biāo)注結(jié)果圖（如圖2（c）所示），結(jié)合顯著性標(biāo)注結(jié)果和譜摳圖算法得到初始α圖（如圖2（d）所示）。從初始α圖中可以看出人物面部和衣領(lǐng)部位結(jié)果有偏差，選中這兩個(gè)部位的摳圖成分進(jìn)行標(biāo)注得到人工標(biāo)注結(jié)果（如圖2（e）所示）。將人工標(biāo)注結(jié)果反饋給摳圖算法得到最終結(jié)果α圖（如圖2（f）所示）。

從上面結(jié)果可以看出，用顯著圖對(duì)圖像進(jìn)行初始化可以得到很大部分的初始信息。得到的初始結(jié)果邊緣部分已經(jīng)處理完成，只需對(duì)中間幾個(gè)成分進(jìn)行標(biāo)注。從結(jié)果來(lái)看，進(jìn)行一次人工標(biāo)注后，結(jié)果α圖已經(jīng)可以得到完整的摳圖結(jié)果。

2.計(jì)算效率

為了計(jì)算運(yùn)行效率，選擇阿爾法數(shù)據(jù)庫(kù)[8]中27幅低分辨率的圖像進(jìn)行處理。目前至少有50種摳圖算法以該數(shù)據(jù)庫(kù)的圖像進(jìn)行算法評(píng)估。在預(yù)先計(jì)算好圖像的摳圖成分和顯著圖的情況下，對(duì)阿爾法數(shù)據(jù)庫(kù)中的圖像處理時(shí)間進(jìn)行統(tǒng)計(jì)。用戶標(biāo)注后結(jié)果反饋的平均響應(yīng)時(shí)間如圖3所示。

三、總結(jié)

首先用譜摳圖算法計(jì)算出摳圖成分，通過(guò)顯著性算法得到顯著圖。然后使用顯著圖標(biāo)注的信息計(jì)算第一次摳圖結(jié)果。如果對(duì)結(jié)果不滿意，根據(jù)第一次摳圖結(jié)果選取錯(cuò)誤區(qū)域進(jìn)行人工標(biāo)注。標(biāo)注時(shí)只需點(diǎn)選摳圖成分中一個(gè)像素點(diǎn)即可獲取整個(gè)摳圖成分的值，標(biāo)注信息反饋給摳圖算法計(jì)算出新的結(jié)果圖。重復(fù)人工標(biāo)注過(guò)程，直至得到令人滿意的結(jié)果圖。結(jié)果表明結(jié)合譜摳圖和顯著性方法進(jìn)行摳圖，能夠有效減少人工標(biāo)注信息的成本和時(shí)間。

參考文獻(xiàn)

[1]Levin A，Lischinski D，Weiss Y.A closed-form solution to natural image matting[J].in IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）：228-242.

[2]Chuangl Y Y，Curlessl B，Salesin D H，et al.A Bayesian Approach to Di-gital Matting[C].Computer Vision and Pattern Recognition，2001，2（1）：264--271.

[3]Wang J，Cohen M F.Optimized color sampling for robust matting[C].Co-mputer Vision and Pattern Recognition，2007：1-8.

[4]Levin A，Rav-Acha A，Lischinski D.Spectral matting [J].IEEE transactions onpattern analysis and machine intelligence，2008，30（10）：1699-1712.

[5]馬陳.基于無(wú)監(jiān)督摳圖模型的顯著性區(qū)域提取算法研究[D].合肥工業(yè)大學(xué)，2014.

[6]Porter T，Duff T.Compositing digital images[C].ACM Siggraph Computer Graphics，1984，18（3）：253-259.

[7]Fu，H.，Cao，et al.Cluster-Based Co-Saliency Detection[J].IEEE Transactions on Image Processing，2013，22（10）：3766-3778.

[8]http：//www.alphamatting.com/

作者簡(jiǎn)介：段廷燕（1992—），女，貴州師范大學(xué)碩士研究生，研究方向：圖像處理與應(yīng)用。

張中蔚（1993—），男，云南大學(xué)碩士研究生，研究方向：圖像分析與處理。

王安志（1986—），男，貴州師范大學(xué)講師，研究方向：機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué)。

蘇彩霞（1983—），女，貴州師范大學(xué)講師，研究方向：遙感圖像處理。

范郁鋒（1982—），男，貴州財(cái)經(jīng)大學(xué)助教，研究方向：遙感圖像計(jì)算機(jī)處理與解譯。