基于高分辨率大尺寸圖像摳圖方法的研究綜述

文向東

（貴州師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，貴陽550001）

0 引言

摳圖技術(shù)是將圖像中特定的目標(biāo)區(qū)域精細(xì)提取出來的一種技術(shù)。除原始圖像外，摳圖算法還需要用到三分圖，在三分圖中，圖像像素被分為了三個類別：目標(biāo)區(qū)域像素，背景區(qū)域像素和未知區(qū)域像素。目標(biāo)區(qū)域像素和背景區(qū)域像素是用戶標(biāo)注的部分已知類別像素。摳圖算法需要確定未知區(qū)域中像素的類別歸屬。目前，多數(shù)算法基于這樣的模型假設(shè)[1]，即圖像未知區(qū)域的像素C的實際取值滿足公式：C=αF+（1-α）B，F(xiàn)是該位置前景圖取值，B是該位置背景圖取值，α是圖像透明度，取值介于0與1之間。在這個公式中，C是已知的，F(xiàn)和B還有α都是未知的，要通過各種摳圖算法來推測。

1 研究背景及意義

迄今為止摳圖算法由傳統(tǒng)算法和具有人工智能AI的深度學(xué)習(xí)算法組成。傳統(tǒng)算法走到今天，都是在采樣算法和傳播算法的基礎(chǔ)上發(fā)展，或者是將采樣算法和傳播算法相結(jié)合。

采樣算法有代表性的是最早由Mishima等人[2]進(jìn)行的藍(lán)屏摳圖、Yung-Yu Chuang等人提出了貝葉斯摳圖算法[3]、Gastal E SL等人提出的共享采樣摳圖算法[4]和Ehsan-Shahrian等人提出的加權(quán)顏色與紋理摳圖算法[5]，后來Ehsan-Shahrian等人又在2013年提出了綜合采樣摳圖算法[6]，后來Levent Karacan在Image matting with KL-divergence based sparse sampling一文中提出利用KL-散度[7]對采樣算法進(jìn)行了改進(jìn)。采樣算法有一個缺點就是要求三分圖做得較精細(xì)，才會有一個較好的摳圖結(jié)果，為彌補這一缺點，Johnson J等人在Sparsecodesasalphamatte一文中利用稀疏編碼摳圖[8]，應(yīng)用傳播算法作為后期處理，提高了最終摳圖結(jié)果的質(zhì)量。

傳播算法比較有代表的是Jian Sun等人在2004年提出泊松摳圖算法[9]和與之類似由L.Grady在2005年提出隨機游走算法[10]。還有Anat Levin于2008年提出的封閉式摳圖算法[11]和Zheng等人在2009年提出學(xué)習(xí)摳圖算法[12]。傳播算法的缺點是要求圖像局部平滑，所以它對毛發(fā)較多的圖像會產(chǎn)生較差的摳圖結(jié)果[13]。

將采樣算法和傳播算法相結(jié)合的最初代表有魯棒摳圖算法[14]（Robust Matting）和Y Aksoy提出的一種基于信息流[15]的摳圖算法。但相結(jié)合做得最有代表性的是2010年由Eduardo S.L.Gastal和Manuel M.Oliveira發(fā)表的Rear-Time Alpha Matting[16]算法。這個算法不僅考慮：①所取樣本的最小色彩失真，②還結(jié)合顏色的能量變化，進(jìn)行圖像的空間統(tǒng)計，最后結(jié)合，③像素點歐氏距離，④像素值RGB之間的差值距離，采取樣本精修及局部平滑的手段，對最終前景和背景顏色進(jìn)行判斷。在此以后的傳統(tǒng)算法，都是在此基礎(chǔ)上稍加變化，在上述的四個方向中的某個方向稍加改進(jìn)和突破，萬變不離其宗。

而以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法，到目前為止已是相當(dāng)成熟。最初有Donghyeon Cho等人提出的DCNN摳圖算法[17]，該算法將封閉式摳圖[18]的阿爾法圖、KNN摳圖[19]的阿爾法圖、歸一化的自然圖像作為神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，將真實阿爾法圖作為神經(jīng)網(wǎng)絡(luò)的期望輸出。還有沈小勇等人針對人物肖像的自動摳圖算法[20]，它利用卷積神經(jīng)網(wǎng)絡(luò)制作導(dǎo)向圖，利用封閉式摳圖算法對圖像進(jìn)行摳圖。而最有代表性的還是由Ning Xu、Brian Price、Scott Cohen、Thomas Huang做的Deep Image Matting[21]，創(chuàng)建了一個包含49300張訓(xùn)練圖像和1000張測試圖像的大型圖像匹配數(shù)據(jù)集，它利用網(wǎng)站http://www.alphamatting.com[22]提供的樣本進(jìn)行了測試，測試結(jié)果證明它的摳圖效果較傳統(tǒng)方法的摳圖結(jié)果已是有很大的提高。這里值得一提的是，Adobe在其發(fā)布的Photoshop 2020中的摳圖功能中，引入深度學(xué)習(xí)算法，取代原來版本的傳統(tǒng)算法，對一些以前摳圖比較困難的圖形（例如發(fā)絲等），都能夠得到良好的摳圖效果。

其實，不管是傳統(tǒng)算法和深度學(xué)習(xí)算法，都存在一個問題就是，遇到高分辨率大尺寸的圖像（這里一般指分辨率在1000×1000以上的，甚至分辨率在10000×10000左右的）時，計算量相當(dāng)大，要在大眾配置的臺式電腦、便攜電腦和手機等設(shè)備上直接進(jìn)行這種大尺寸圖像摳圖基本上不可能，所以當(dāng)大家研究摳圖問題的時候，都回避高分辨率大尺寸這類圖像。

因為這是一個慣例，當(dāng)?shù)头直媛市〕叽鐖D像（這里指分辨率在1000×1000以下的）的摳圖實驗成功后，就證明了摳圖算法實際上是行得通的，那么對那些高分辨率大尺寸的圖像的摳圖問題，要在大眾配置的臺式電腦、便攜電腦和手機等設(shè)備上解決，只是時間上的問題。事實上，矛盾在對立中發(fā)展，當(dāng)科技發(fā)展機器進(jìn)步到普通的臺式電腦，便攜電腦和手機等設(shè)備能解決當(dāng)今這類高分辨率大尺寸圖像的摳圖問題后，又會有新的更大更高清的圖像問題無法在大眾的電腦上解決。因此，在目前，如果有辦法解決這類高分辨率大尺寸的圖像在普通大眾機器上的摳圖問題，是有現(xiàn)實意義的。

表1 網(wǎng)站http://www.alphamatting.com提供測試用的輸入圖像的大小列表

2 研究現(xiàn)狀及存在的問題

到目前為止到目前為止，對摳圖問題的研究主要重點還是在算法上，但都局限于低分辨率小尺寸圖像。例如網(wǎng)站http://www.alphamatting.com[22]列出的幾乎所有摳圖算法訓(xùn)練和測試用到的輸入圖像及摳圖結(jié)果，全部是在像素800×720的低分辨率像素以內(nèi)，其中用到的最大像素的測試輸入圖像是elephant，它的大小是800×671像素。盡管網(wǎng)站http://www.alphamatting.com也提供了對應(yīng)的高分辨率圖像下載，這些輸入的圖像最高分辨率達(dá)到3908×2600像素，如表1，但迄今為止，這個網(wǎng)站暫不接受對這些高分辨率圖像的測試結(jié)果的提交和評估，更無法提供這些高分辨率的輸入圖像的測試評估數(shù)據(jù)。而如果是分辨率達(dá)到10000×10000的高分辨率以上的大尺寸圖像，短時間內(nèi)更是不可能直接用來做摳圖的實驗使用。

對于傳統(tǒng)摳圖算法，有很多文章做過總結(jié)或綜述，都是基于采樣和基于傳播兩種方法的各種變化及各種結(jié)合。其中李卓婷在對三種典型傳統(tǒng)的數(shù)字圖像摳圖方法[23]進(jìn)行比較后得出，輸入圖像的大小對摳圖速率的快慢起著決定性的影響。這個很好理解，圖像增大了，要處理的采樣像素對象或傳播像素對象就多了，耗費的時間自然就多。

而事實上是，大多數(shù)傳統(tǒng)算法為了便于統(tǒng)計和計算未知區(qū)域像素與純前景像素和純背景像素之間的權(quán)重關(guān)系，都用到了拉普拉斯的大型矩陣運算，造成計算量龐大，計算的時候耗費巨大的電腦內(nèi)存。

例如李卓婷在對三種典型的數(shù)字圖像摳圖方法[23]一文中詳細(xì)講解了傳播算法中拉普拉斯矩陣的構(gòu)成，利用像素點之間的權(quán)重關(guān)系構(gòu)成拉普拉斯矩陣，拉普拉斯矩陣是稀疏對稱的N*N正定矩陣，其中N是圖像中所有節(jié)點（像素點）的數(shù)量[23]。這就告知拉普拉斯矩陣是一個比較大的矩陣。

而傳統(tǒng)算法里面比較經(jīng)典的KNNMatting算法[19]，它在聚類拉普拉斯算子LC=（D-A）T（D-A）和拉普拉斯算子L=D-A（其中A是相似矩陣，Aij=k（i，j）是定義的內(nèi)核函數(shù)，D是對角矩陣兩者中，放棄了有利于更好圖聚類的聚類拉普拉斯算子，選擇了運行時間更快100倍的拉普拉斯算子，但如果對于高分辨率大尺寸的圖像，這樣大的拉普拉斯算子，依然難使運行時間快起來。

又如黎平[24]為了研究采樣算法與傳播算法的結(jié)合，還構(gòu)建了采樣算法的拉普拉斯矩陣，結(jié)合采樣算法與傳播算法提出了權(quán)重控制摳圖算法。為較好地控制采樣算法與傳播算法的摳圖力度，將采樣算法與傳播算法施加一組歸一化權(quán)重[24]，引入?yún)?shù)λ和公式：L=λLdata+(1-λ)Llap，其中，L是拉普拉斯矩陣，Ldata是采樣算法構(gòu)建的拉普拉斯矩陣，Llap是傳播算法構(gòu)建的拉普拉斯矩陣，λ是平衡采樣算法與傳播算法的權(quán)重參數(shù)。并提出拉普拉斯矩陣每個元素Lij代表了圖像中i位置像素與j位置像素的相似度[24]。這樣等于每計算一個拉普拉斯矩陣L，要先計算兩個拉普拉斯矩陣Ldata和Llap，計算量較其他普通算法提高了。

魏毅等人更是提出的聯(lián)合摳圖方法[25]，構(gòu)建的聯(lián)合相似矩陣則是更加巨大，它由兩個圖像的拉普拉斯矩陣組合構(gòu)成，是一個圖像的拉普拉斯矩陣四倍，計算量超大。

其他近幾年來凡是涉及到研究傳統(tǒng)算法的文獻(xiàn)，基本上都沿用了使用拉普拉斯矩陣算子計算的方法。例如有沈洋等人的閉形式方法[26]、聶棟棟等人的改進(jìn)的KNN摳圖技術(shù)[27]、王潔等人的最小移動二乘摳圖[28]、鄧爽等人的復(fù)雜環(huán)境下基于信息融合的視頻實時摳像算法[29]、戚駿的自然圖像摳圖算法研究與優(yōu)化[30]和談業(yè)靜的面向運動模糊圖像摳圖的K近鄰摳圖改進(jìn)算法研究[31]等，不勝枚舉。

如果對于高分辨率大尺寸圖像，其本身和對應(yīng)的三分圖都很大，會造成用來計算的拉普拉斯矩陣巨大，例如一張普通單反相機拍出的高分辨率大尺寸圖像，分辨率為6000×4000，它要構(gòu)建的拉普拉斯矩陣就有24000，000×24000，000那么大，雖然是稀疏矩陣，但也造成相應(yīng)的矩陣運算超級巨大，造成了對計算機內(nèi)存資源爆炸性需求，這就使得在一般機器上運行時內(nèi)存耗盡或者耗時過長難以忍受；甚至是不能運行。

對于深度學(xué)習(xí)摳圖算法，考慮到做卷積的深度和次數(shù)及整個網(wǎng)絡(luò)結(jié)構(gòu)運行效率（機器運行效率），在訓(xùn)練學(xué)習(xí)模型時也盡量不使用高分辨率大尺寸圖像。

典型的深度學(xué)習(xí)摳圖算法有兩種代表：

一種是以Ning Xu、Brian Price、Scott Cohen、Thomas Huang做的Deep Image Matting[21]為代表。如圖1，整個網(wǎng)絡(luò)結(jié)構(gòu)由編碼-解碼階段和細(xì)化階段組成，編碼網(wǎng)絡(luò)采用14個卷積層加5個max-pooling層，解碼網(wǎng)絡(luò)為了加速進(jìn)行了一定地縮小，只有6個卷積層和5個反池化層，細(xì)化階段有4個卷積層?？偣彩?4個卷積層和10個池化層。它訓(xùn)練用的是320×320分辨率的小尺寸圖像，它也利用網(wǎng)站http://www.alphamatting.com[22]提供像素800×700以內(nèi)的圖像進(jìn)行了測試，例如測試了的圖像elephant，它的大小是800×671像素。網(wǎng)站http://www.alphamatting.com也提供了大分辨率的圖像，例如同樣的elephant有2988×2508像素圖像提供，但網(wǎng)站沒有該算法對它進(jìn)行測試的數(shù)據(jù)。從理論上講，它訓(xùn)練和測試也可以用到高分辨率大尺寸圖像，但同樣一張2988×2508像素elephant圖像，像素是800×671的14倍，如果輸入網(wǎng)絡(luò)，對于同樣的卷積核，經(jīng)過24次卷積和10次池化，耗費的時間將是800×671像素圖像的476倍。如果輸入的分別是Plant圖像的高低分辨率圖像，則耗費的時間將相差816倍。這僅僅是一張圖像多耗費的時間，輸入多張圖像進(jìn)行訓(xùn)練或測試，將要耗費的時間還更久更多。另外，如果將分辨率太高尺寸太大的圖像輸入這樣的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，會影響機器一次可容忍的內(nèi)存數(shù)量或并行運算的效率。特別是對一些普通的大眾的計算機，多數(shù)機器沒有GPU輔助運算，運行起來將相當(dāng)困難。

圖1 Deep Image Matting網(wǎng)絡(luò)模型

許多其他的深度學(xué)習(xí)的摳圖網(wǎng)絡(luò)結(jié)構(gòu)，都與這個網(wǎng)絡(luò)類似。

最近的有Wang Y等人在Deep Propagation Based Image Matting[32]一文中用到的模型，與Deep Image Matting網(wǎng)絡(luò)模型基本相同，盡管它提出了一個新奇的基于深度傳播的圖像摳圖框架，融合了三大模塊，訓(xùn)練時的參數(shù)維度要更少，但它依然逃不開眾多的卷積和池化。文中提到它測試圖像用的是600×800分辨率的小尺寸圖像，在充分利用Intel MKL-optimized Caffe優(yōu)化模式的基礎(chǔ)下，用CPU進(jìn)行測試一張圖像耗費的時間大約是7.4秒?？梢韵胂螅绻麥y試一張6000×8000分辨率的高清圖像，將要耗費約100倍的時間，這還是在特定的實驗室電腦上，在普通的常用機器上，時間無法估算。

類似的還有Shaofan Cai等人在Deep Propagation Based Image Matting[33]一文中提到的新型摳圖方法AdaMatting，它將摳圖區(qū)分為trimap adaptation和alphaestimation兩個任務(wù)，并證明了這一區(qū)分對于提升基于CNN的摳圖方法至關(guān)重要。于是它的解碼階段分成了兩部分，這無疑增加了卷積層和反池化層，從而增加運行時間。

還有陳振鵬的基于單樣本學(xué)習(xí)的數(shù)字摳圖算法研究[34]也是基于這個網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行研究，訓(xùn)練樣本都是320×320分辨率的小尺寸圖像，測試樣本可以稍偏大，但測試的時間自然就偏多，如對太大的圖像進(jìn)行測試，在等待的時間上將不能容忍。

另一種深度學(xué)習(xí)摳圖算法是在模型中將若干個卷積層做成可分離的卷積模塊的形式。

例如Zhang Y等人在A Late Fusion CNNfor Digital Matting[35]一文中提到的模型，便用到了DenseNet算法塊及它的解碼塊。如圖2。雖然DenseNet算法將所有層直接連接起來，避免了梯度消失的問題，但它一個塊中存在太多的卷積層，與第一種深度學(xué)習(xí)摳圖算法來比，沒有本質(zhì)的區(qū)別。文中還提到：由于內(nèi)存的限制，我們在訓(xùn)練時要求圖像的長邊小于800。文中提到的電腦配置是（Intel Xeon E5-2682 CPU，32GRAM，8張NVIDIA Tesla P100顯卡）頂級豪華配置。

還有許征波等人基于多任務(wù)深度學(xué)習(xí)的快速人像自動摳圖的研究[36]，文中也用到類似的網(wǎng)絡(luò)模型，以達(dá)到快速對人像（小尺寸人像照）的摳圖功能，本質(zhì)上也是用到了多次的卷積和池化，要做到快速，并不適于高分辨率大尺寸圖像。

總之，現(xiàn)在的深度學(xué)習(xí)摳圖算法都離不開多次的卷積和池化，就主要只針對低分辨率小尺寸圖像，運行起來對機器都要求甚高，多數(shù)要借助CPU的多核和多GPU來輔助運行。

另外，對于深度學(xué)習(xí)摳圖算法的這樣的網(wǎng)絡(luò)結(jié)構(gòu)，要有大批的高分辨率大尺寸的圖像做樣本，也存在一個樣本難找，成本偏大的問題。

圖2 ALate Fusion CNNfor Digital Matting

3 結(jié)語

總結(jié)前面的現(xiàn)狀與問題，我們發(fā)現(xiàn)，對于大眾普通的電腦，目前還沒有針對高分辨率大尺寸的圖像良好有效的辦法，從理論上看，要想解決高分辨率大尺寸摳圖在一般機器上的運行，可以從兩方面入手：

（1）從摳圖算法角度，構(gòu)造面向大尺寸高分辨率圖像的摳圖機制，而這個機制的主要思想就是化大為小，化一個大圖并行為多個小圖串行。

（2）從充分利用硬件角度，利用當(dāng)前機器的多核和多GPU進(jìn)行并行計算。

當(dāng)然也可以兩者相結(jié)合，考慮到（2）對于目前的機器發(fā)展?fàn)顩r來看，只能起到輔助的作用，因此可以專注于第（1）方面。主要靠軟件系統(tǒng)的串行處理算法，做成一個GUI界面的摳圖應(yīng)用。當(dāng)然也可以稍加利用（2），一起來最終解決高分辨率大尺寸圖像的摳圖問題。在當(dāng)前這個摳圖算法不斷發(fā)展的過程中，如果有辦法同時解決這類高分辨率大尺寸的圖像在普通大眾機器上的摳圖問題，是有現(xiàn)實意義的，而且這個意義隨著摳圖算法的研究和發(fā)展，將一直伴隨，它將給其他同類問題帶來啟發(fā)。