基于上下文學(xué)習(xí)的輕量級自動摳圖算法

王文韻，黃根春，田 猛，王先培

(武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072)

0 引 言

自然圖像摳圖是指精確估計(jì)前景對象不透明度，并將前景對象和背景對象分離的問題，其有廣泛的應(yīng)用[1]。傳統(tǒng)的摳圖算法主要通過傳播、采樣或兩者的結(jié)合來實(shí)現(xiàn)。該類方法很大程度將顏色作為區(qū)別特征，導(dǎo)致對于前景和背景顏色分布重疊的情況分割性能較差。近年來，基于深度學(xué)習(xí)的自然圖像摳圖算法逐漸取得了主導(dǎo)地位。Cho等[2]將兩種傳統(tǒng)摳圖方法(Closed-form算法及KNN算法)的結(jié)果和歸一化RGB圖像作為輸入，通過端到端神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來預(yù)測一個新的Alpha圖。這種方法雖然利用了深度學(xué)習(xí)，但輸入部分依賴于傳統(tǒng)方法的結(jié)果，因此很容易遇到與以往摳圖方法相同的問題。為了避免受到以往方法的影響，Xu等[3]提出了一種兩階段的網(wǎng)絡(luò)，包括編解碼階段和細(xì)化階段。該方法無需依賴于其它方法的結(jié)果，僅以原始圖像和相應(yīng)的三分圖作為輸入便可預(yù)測Alpha圖。同時Xu等還提出了摳圖領(lǐng)域第一個大規(guī)模的數(shù)據(jù)集。由于該數(shù)據(jù)集的可用性，基于深度學(xué)習(xí)的摳圖方法得到了廣泛的探索。Lutz等[4]進(jìn)一步改進(jìn)了文獻(xiàn)[3]中的解碼器結(jié)構(gòu)，提出了一種生成對抗網(wǎng)絡(luò)。Yu等[5]針對高分辨率圖像進(jìn)行了基于深度學(xué)習(xí)的自動摳圖的研究。上述方法雖已取得較好的分割結(jié)果，但仍然存在一些不足。一是深層網(wǎng)絡(luò)易丟失部分低級語義信息，而低級特征對于保留Alpha圖的詳細(xì)紋理信息至關(guān)重要[6]。二是深層網(wǎng)絡(luò)普遍模型參量龐大，無法很好平衡精度和運(yùn)行時間，而目前大部分嵌入式設(shè)備的算力很難支撐深度卷積神經(jīng)網(wǎng)絡(luò)模型的實(shí)時運(yùn)行[7]。

針對上述問題，本文提出一種輕量級的自然圖像摳圖算法。該算法以U-Net框架為基線結(jié)構(gòu)，改進(jìn)的MobileNetV2為編碼器，結(jié)合上下文特征聚合模塊捕獲多尺度的上下文信息，有效保證模型的輸出精度。同時將深度可分離卷積應(yīng)用到上下文特征聚合模塊和解碼器模塊，大幅降低了模型參量。

1 網(wǎng)絡(luò)結(jié)構(gòu)與原理

本文提出的模型使用定制的U-Net架構(gòu)來實(shí)現(xiàn)自然圖像摳圖，系統(tǒng)框架如圖1所示。本文采用RGB圖像和相應(yīng)的三分圖作為網(wǎng)絡(luò)輸入,其沿通道維度連接，形成一個4通道輸入。網(wǎng)絡(luò)首先通過編碼器部分將輸入圖像編碼為特征映射，然后使用上下文特征聚合模塊融合多尺度的上下文信息，最后將增強(qiáng)后的特征映射解碼恢復(fù)對象邊界信息，得到預(yù)測的Alpha圖。

圖1 網(wǎng)絡(luò)模型

1.1 基線結(jié)構(gòu)

本文采用U-Net網(wǎng)絡(luò)作為基本結(jié)構(gòu)框架，該網(wǎng)絡(luò)由Ronneberger等提出。U-Net網(wǎng)絡(luò)近年來在語義分割領(lǐng)域取得了廣泛的成功，如Shelhamer等[8]進(jìn)行全卷積網(wǎng)絡(luò)的語義分割，Liu等[9]用于圖像修復(fù)以及Fan等[10]基于改進(jìn)的U型網(wǎng)絡(luò)進(jìn)行高分辨率遙感圖像分割。U-Net網(wǎng)絡(luò)主要有兩個顯著特點(diǎn)。一是U型對稱結(jié)構(gòu)，左側(cè)為編碼器，右側(cè)為解碼器。編碼器通過連續(xù)的卷積層和最大池化層對輸入數(shù)據(jù)進(jìn)行降維和特征提取，解碼器則通過上采樣層對提取的特征層進(jìn)行升維和特征放大。二是跳躍連接結(jié)構(gòu)，U-Net網(wǎng)絡(luò)的每個卷積層得到的特征圖都會連接到對應(yīng)的上采樣層，從而在后續(xù)的解碼過程中可以有效利用每層特征信息。對于摳圖問題，低層特征信息的保留對于恢復(fù)Alpha圖中詳細(xì)的紋理信息有著至關(guān)重要的作用。因此，本文設(shè)計(jì)解碼器在上采樣塊之前組合編碼器功能，避免在編碼器特征上發(fā)生更多的卷積，而該卷積應(yīng)該提供較低級別的特征。

1.2 輕量級編碼器-解碼器網(wǎng)絡(luò)

本文將以U-Net框架為基礎(chǔ)，保留其U型對稱結(jié)構(gòu)和跳躍連接結(jié)構(gòu)，改進(jìn)編碼器-解碼器結(jié)構(gòu)，搭建一個適用于自然圖像摳圖的輕量級神經(jīng)網(wǎng)絡(luò)。

為了更好平衡精度和模型參量，本文選取MobilbeNetV2的主干網(wǎng)絡(luò)作為編碼器結(jié)構(gòu)。MobileNetV2[11]網(wǎng)絡(luò)是由google團(tuán)隊(duì)2018年提出的輕量級神經(jīng)網(wǎng)絡(luò)模型，該模型在大幅減少模型參數(shù)和運(yùn)算量的同時保持了較高的準(zhǔn)確率。MobileNetV2在保留了MobileNetV1[12]中的深度可分離卷積的基礎(chǔ)上，提出了線性瓶頸的倒殘差結(jié)構(gòu)，進(jìn)一步提高網(wǎng)絡(luò)的表征能力。倒殘差結(jié)構(gòu)巧妙的反向利用了Resnet網(wǎng)絡(luò)[13]提出的殘差結(jié)構(gòu)，如圖2所示。通過倒殘差結(jié)構(gòu)，模型可以在高維度進(jìn)行特征提取和低維度減少計(jì)算量上得到一個良好的平衡。值得注意的是，針對倒殘差結(jié)構(gòu)中最后的1×1卷積層，MobileNetV2采用線性激活函數(shù)替代ReLU激活函數(shù)。由于倒殘差結(jié)構(gòu)輸出的是低維特征，線性激活函數(shù)較ReLU激活函數(shù)能夠更好保留低維特征信息。因此，使用MobileNetV2網(wǎng)絡(luò)既能夠有效保留低級語義信息進(jìn)而保證分割精度，又能降低模型的參數(shù)量。

具體地，本文采用的編碼結(jié)構(gòu)主要包含7個線性瓶頸的倒殘差結(jié)構(gòu)層和5個最大池化層。同時在最后一個倒殘差結(jié)構(gòu)層后添加了上下文特征聚合模塊，以在多個尺度上對特征進(jìn)行重新采樣，從而準(zhǔn)確高效預(yù)測任意尺度的區(qū)域。該模塊將在后續(xù)的章節(jié)中詳細(xì)闡述。

本文使用更簡單的結(jié)構(gòu)進(jìn)行解碼操作，同時將深度可分離卷積添加到解碼模塊中進(jìn)一步減低模型參量。解碼器部分由連續(xù)的最大值去池化層、卷積層以及和編碼器的跳躍連接組成，進(jìn)行上采樣特征映射輸出預(yù)測的Alpha圖。其中跳躍結(jié)構(gòu)能夠通過融合低層特征信息捕獲圖像中的精細(xì)結(jié)構(gòu)，進(jìn)而提高輸出精度。具體而言，解碼器包含7個解碼模塊(如圖3所示)和一個輸出預(yù)測層。每個解碼模塊的卷積層后使用批處理標(biāo)準(zhǔn)化層(batch normalization，BN)和ReLU6激活函數(shù)，緩解訓(xùn)練過程中梯度消失的問題。

圖3 解碼模塊

1.3 上下文特征聚合模塊

本文提出了一種基于改進(jìn)的空洞空間金字塔池化(astrous spatial pyramid pooling,ASPP)的上下文特征聚合模塊，用于捕獲多尺度的上下文信息。該模塊能夠與編解碼網(wǎng)絡(luò)結(jié)合，豐富網(wǎng)絡(luò)中的編解碼模塊。

空洞卷積是空洞空間金字塔池化(ASPP)中的重要組成部分，其通過在權(quán)重之間插入零來對卷積濾波器進(jìn)行上采樣，如圖4所示。相比普通的卷積，空洞卷積引入了一個稱為擴(kuò)張率(dilated rate)的超參數(shù)，該參數(shù)定義了卷積核處理數(shù)據(jù)時各值的間距。ASPP實(shí)質(zhì)上是幾個以不同的擴(kuò)張率并行的空洞卷積。DeepLabV3[14]首次應(yīng)用了ASPP捕獲多個尺度上的上下文信息，經(jīng)實(shí)驗(yàn)證實(shí)，該模型在分割基準(zhǔn)上確實(shí)取得了一定的提升。

圖4 空洞卷積

為了緩解網(wǎng)絡(luò)主干的池化或跨步卷積操作造成對象邊界詳細(xì)信息丟失的問題，同時避免增加過多的模型參量，本文將深度可分離卷積添加至空洞空間金字塔池化結(jié)構(gòu)并與編解碼網(wǎng)絡(luò)結(jié)合，具體的模塊結(jié)構(gòu)如圖5所示。該模塊能夠明確地控制由深度卷積神經(jīng)網(wǎng)絡(luò)計(jì)算的特征分辨率，并通過調(diào)整擴(kuò)張率以自適應(yīng)修改濾波器的視場獲取多尺度的信息。同時使用深度可分離卷積替代普通卷積可以在很大程度上控制模型參量的增加。

圖5 上下文特征聚合模塊

1.4 損失函數(shù)

本文提出的網(wǎng)絡(luò)使用兩個損失函數(shù)，分別為Alpha預(yù)測損失和合成損失。Alpha預(yù)測損失表示每個像素點(diǎn)處的真實(shí)Alpha值和預(yù)測Alpha值之間的絕對值差。合成損失則表示真實(shí)RGB顏色與預(yù)測RGB顏色之間的絕對差異，具體的計(jì)算公式如下[3]

(1)

(2)

式(1)中，αp表示閾值為0至1的預(yù)測層的輸出；αg表示真實(shí)值；ε取10-6。式(2)中，c為RGB通道，cp為預(yù)測的Alpha合成的圖像，cg為真實(shí)的Alpha合成的圖像?？倱p失為上述兩個損失的加權(quán)和，即Lo=ωlLα+(1-ωl)Lc。 在本文的實(shí)驗(yàn)中，ωl設(shè)置為0.5。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境

本文在基于Pytorch的深度學(xué)習(xí)框架下進(jìn)行訓(xùn)練和測試，接口語言為Python，操作系統(tǒng)為Ubuntu18.04，CPU為Intel i9-9900K，內(nèi)存為32 GB，顯卡配置為Quadro RTX 6000。

2.2 訓(xùn)練數(shù)據(jù)集

深度學(xué)習(xí)方法需要大量的數(shù)據(jù)才能很好地泛化。Alphamatting.com數(shù)據(jù)集(由Rhemann等提出)已經(jīng)在加速摳圖研究的發(fā)展方面取得了巨大的成功。然而，該數(shù)據(jù)集只有27張訓(xùn)練圖像和8張測試圖像，這遠(yuǎn)不足以訓(xùn)練神經(jīng)網(wǎng)絡(luò)。直到Xu等[3]發(fā)布了由431個獨(dú)特的前景對象和對應(yīng)的Alpha組成的新的摳圖數(shù)據(jù)集。該數(shù)據(jù)集使訓(xùn)練深層摳圖神經(jīng)網(wǎng)絡(luò)成為可能。然而，431張圖片仍不足以很好訓(xùn)練深層網(wǎng)絡(luò)，因此本文采用和Xu等相同的方法對數(shù)據(jù)集進(jìn)行增強(qiáng)。對于每一張前景圖像，隨機(jī)從MS COCO數(shù)據(jù)集(由Lin等提出)中選取100張圖像作為背景圖像與前景圖像進(jìn)行合成，于是可得到包含43 100張圖像的訓(xùn)練數(shù)據(jù)集。為進(jìn)一步增強(qiáng)數(shù)據(jù)，本文采取隨機(jī)旋轉(zhuǎn)、剪裁等處理方法，使得網(wǎng)絡(luò)具有更好的魯棒性。

2.3 訓(xùn)練細(xì)節(jié)

網(wǎng)絡(luò)編碼器部分用MobileNetV2在Imagenet數(shù)據(jù)集(由Russakovsky等提出)上的預(yù)訓(xùn)練模型進(jìn)行初始化，這種遷移學(xué)習(xí)的方式可以大大縮短訓(xùn)練的時間，同時提升模型的精度。由于本文修改了網(wǎng)絡(luò)的第一層以適應(yīng)4通道的輸入，因此采用零初始化卷積層中的額外通道。所有解碼器參數(shù)都用Xavier隨機(jī)變量初始化。

在訓(xùn)練過程中，使用Adam來更新整個編碼器-解碼器網(wǎng)絡(luò)，學(xué)習(xí)速率(Learning rate)設(shè)置為10-2，訓(xùn)練的批大小(batch size)設(shè)置為16，訓(xùn)練周期(epoch)為30。同時為了降低合成圖像對預(yù)測結(jié)果造成的影響，訓(xùn)練中使用了Alpha預(yù)測損失和合成損失兩種損失函數(shù)。

2.4 評價(jià)指標(biāo)

為了定量地評估摳圖算法的性能，預(yù)測輸出值需通過誤差度量與真實(shí)值進(jìn)行比較。本文實(shí)驗(yàn)評價(jià)指標(biāo)使用摳圖領(lǐng)域的4種通用衡量指標(biāo)，分別是絕對誤差和(sum of absolute differences, SAD)、均分誤差(mean square error, MSE)、梯度誤差(Gradient)和連通性誤差(Connectivity)(2009年由Rhemann等提出)。絕對誤差和(SAD)和均分誤差(MSE)作為簡單的評價(jià)指標(biāo)能夠?yàn)閳D像誤差度量提供良好的基礎(chǔ)，梯度誤差(Gradient)和連通性誤差(Connectivity)作為高級的視覺質(zhì)量評價(jià)指標(biāo)能夠?yàn)閾笀D算法提供與人類視覺感知相近的比較結(jié)果，具體的計(jì)算公式如下

(3)

(4)

(5)

(6)

2.5 實(shí)驗(yàn)結(jié)果與分析

本文在兩個數(shù)據(jù)集上評估了提出的算法。首先在Alphamatting.com數(shù)據(jù)集上進(jìn)行了定性的評估，該數(shù)據(jù)集是現(xiàn)有的圖像摳圖的基準(zhǔn)。其提供了8張測試圖像，每張圖像對應(yīng)3種尺寸的三分圖，分別為“用戶”，“大”和“小”。由于Alphamatting.com數(shù)據(jù)集的規(guī)模較小，包含對象的大小和范圍有限，本文進(jìn)一步在Composition-1k測試數(shù)據(jù)集進(jìn)行了定性和定量的評估。該數(shù)據(jù)集是摳圖領(lǐng)域的第一個大規(guī)模測試數(shù)據(jù)集，包含1000張測試圖像和50張獨(dú)特的前景，具有更廣泛的對象類型和背景場景。

2.5.1 Alphamatting.com數(shù)據(jù)集

Alphamatting.com測試數(shù)據(jù)集中包括具有不同透明度的各種對象：高透明度(網(wǎng)、塑料袋)、較高透明度(娃娃、巨魔)、中透明度(驢、大象)和低透明度(菠蘿、植物)，本文定性地將實(shí)驗(yàn)結(jié)果與其它6種最先進(jìn)的摳圖算法的實(shí)驗(yàn)結(jié)果進(jìn)行了比較，如圖6所示。對比算法分別為Closed-form算法(由Levin等提出)、Weighted color算法(由Shahrian等提出)、KNN算法(由Chen等提出)、Comprehensive Sampling算法(由Shahrian等提出)、Three-layer 算法[15](由Chao等提出)和DCNN算法[2](由Cho等提出)，實(shí)驗(yàn)結(jié)果選取的三分圖均為“大”尺寸。當(dāng)前景與背景顏色相近時，傳統(tǒng)算法通常性能較差，無法正確的將前景對象分割出來。如圖6中第一個示例所示，傳統(tǒng)算法無法精準(zhǔn)分割娃娃頭發(fā)與背景顏色相近部分，邊界區(qū)域明顯出現(xiàn)偽影。而本文提出的基于深度學(xué)習(xí)的方法明顯表現(xiàn)更好，對于非常精細(xì)的結(jié)構(gòu)(如頭發(fā))，基于深度學(xué)習(xí)的方法也能較好完成分割工作。一個關(guān)鍵的原因是傳統(tǒng)算法缺乏學(xué)習(xí)高級上下文信息并依賴于顏色相關(guān)的傳播方法。其中，DCNN算法[2]雖然是基于深度學(xué)習(xí)的方法，但是由于其模型是在小的局部補(bǔ)丁上進(jìn)行訓(xùn)練的，因此很難真正理解語義信息。此外由于本文提出的算法引用了更多的全局信息，因此當(dāng)面對較大的未知區(qū)域時，該算法具有更好的魯棒性。

2.5.2 Composition-1k測試數(shù)據(jù)集

Composition-1k測試數(shù)據(jù)集是由Xu等[3]提供，廣泛用于摳圖領(lǐng)域的評估數(shù)據(jù)集。為了進(jìn)一步驗(yàn)證模型的有效性，本文分別定量定性的在該數(shù)據(jù)集上評估了提出的方法。與文獻(xiàn)[3]中處理數(shù)據(jù)的方法相同，將作者提供的50個唯一的前景對象與Pascal VOC數(shù)據(jù)集(由Everingham等提出)中的1000個不同背景圖像進(jìn)行組合，生成了1000個不同的測試圖像。

本文將提出的方法與其它8種主流的摳圖算法進(jìn)行了定量比較，分別是：Closed-form算法、KNN算法、Comprehensive Sampling算法、Three-layer算法[15]、DCNN算法[2]、Information-flow算法[16](由Aksoy等提出)、DIM算法[3](由Xu等提出)、AlphaGAN算法[4](由Lutz等提出)。對于所有對比算法，使用作者提供的源代碼。本文方法的不同變體包括：a.編解碼網(wǎng)絡(luò)(基線結(jié)構(gòu))b.編解碼網(wǎng)絡(luò)(添加上下文特征聚合模塊)。定量比較的結(jié)果見表1，評估指標(biāo)使用上述介紹的4種通用衡量指標(biāo)。由表1可見，本文提出的算法在4項(xiàng)評價(jià)指標(biāo)的綜合性能上優(yōu)于以往的主流算法，梯度誤差指標(biāo)較DIM(deep image matting)算法提高了7.63%。對比基線網(wǎng)絡(luò)結(jié)構(gòu)，變體b在4項(xiàng)評價(jià)指標(biāo)上均取得了一定的提升，SAD提高了3.24%，梯度誤差提高了7.38%，充分了驗(yàn)證了本文提出的上下文特征聚合模塊的有效性。本文列出的DIM算法的實(shí)驗(yàn)結(jié)果不包含后續(xù)優(yōu)化模塊，僅對比編碼器-解碼器主干網(wǎng)絡(luò)的性能。

本文提出的網(wǎng)絡(luò)使用MobileNetV2作為編碼器結(jié)構(gòu)，同時將深度可分離卷積應(yīng)用至主干模塊，大幅減少模型參量，具體模型參量見表2。由表2可知，本文算法模型參數(shù)量和浮點(diǎn)計(jì)算量均遠(yuǎn)小于對比算法，模型大小僅為2.50 M，較DIM算法降低了98.1%，浮點(diǎn)計(jì)算量較DIM算法降低了94.0%。

表1 Composition-1k測試數(shù)據(jù)集上的定量結(jié)果

表2 模型參數(shù)量對照

圖7 Composition-1k測試數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

Composition-1k測試數(shù)據(jù)集上定性比較的實(shí)驗(yàn)結(jié)果如圖7所示。由圖中第二個示例可知，對于一些未知區(qū)域較大的圖像，傳統(tǒng)方法根本無法完成分割任務(wù)，而本文提出的方法能夠利用U-Net網(wǎng)絡(luò)的跳躍連接結(jié)構(gòu)及上下文特征聚合模塊捕獲更多的全局信息從而較好完成前景對象的精確分割任務(wù)。本文算法在透明度較高(如網(wǎng)篩、燈泡及蒲公英等)的摳圖任務(wù)中均取得了良好的視覺效果。這得益于該算法更多考慮了低級特征，這些特征有效保留了Alpha圖的細(xì)節(jié)紋理特征。

3 結(jié)束語

針對目前嵌入式設(shè)備難以運(yùn)行基于深度學(xué)習(xí)的自動摳圖模型的問題，提出了一種基于編解碼網(wǎng)絡(luò)和上下文信息聚合模塊的輕量級自然圖像摳圖模型，該模型的參數(shù)量較對比算法降低了98.1%。基于MobileNetV2的編碼器能夠?qū)ωS富的上下文信息進(jìn)行編碼，簡單而有效的解碼模塊有效恢復(fù)對象邊界信息，同時上下文特征聚合模塊能夠以任意分辨率提取編碼器特征。在Alphamatting.com數(shù)據(jù)集和Composition-1k數(shù)據(jù)集上進(jìn)行測試，實(shí)驗(yàn)結(jié)果表明本文提出的模型具有較為理想的摳圖精度，驗(yàn)證了本文方法的有效性。