圖像顯著性分割的非凸Trace Lasso方法研究

張騰敏

DOI：10.16644/j.cnki.cn33-1094/tp.2021.11.002

摘? 要： 根據(jù)無監(jiān)督的自下向上的思想，提出一種新的圖像顯著性分割方法。提取圖像的顏色特征、局部能量特征和局部對比特征，并根據(jù)這些特征建立一個(gè)基于多特征的非凸Trace Lasso模型，通過求解此模型得到圖像的顯著性區(qū)域。不同于一般的稀疏表示方法，該方法使用矩陣奇異值的非凸函數(shù)作為約束，對圖像進(jìn)行超像素分割，以每個(gè)超像素塊為單位進(jìn)行目標(biāo)函數(shù)的建立。既考慮了超像素塊的局部特征，又利用了全局特征，有效聯(lián)合了圖像的多個(gè)特征。實(shí)驗(yàn)結(jié)果表明，該方法能夠準(zhǔn)確地分割出圖像的顯著性區(qū)域。

關(guān)鍵詞： 多特征; 非凸Trace Lasso; 稀疏表示; 顯著性分割

中圖分類號：O241? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2021）11-05-04

Research on non convex Trace Lasso method for image saliency segmentation

Zhang Tengmin

（Jinshan College of Fujian Agriculture and Forestry University， Fuzhou， Fujian 350002， China）

Abstract： According to the unsupervised bottom-up idea， a new image saliency segmentation method is proposed. The color features， local energy features and local contrast features of the image are extracted， and a non convex Trace Lasso model based on multi-feature is established according to these features. The salient region of the image is obtained by solving this model. Different from the general sparse representation method， this method uses the non convex function of matrix singular value as the constraint to segment the image， and establishes the objective function in units of each super-pixel block. It not only considers the local features of super-pixel blocks， but also uses the global features to effectively combine multiple features of the image. Experimental results show that this method can accurately segment the salient region of the image.

Key words： multi-feature; non convex Trace Lasso; sparse representation; saliency segmentation

0 引言

人們在觀察一幅圖像時(shí)，能夠引起人類視覺關(guān)注的目標(biāo)或區(qū)域稱為顯著性目標(biāo)或顯著性區(qū)域。例如圖1（a），當(dāng)看到這幅圖像時(shí)，視覺對“路標(biāo)”這一目標(biāo)的關(guān)注度會明顯高于對背景區(qū)域的關(guān)注度，甚至?xí)苯雍雎员尘埃虼寺窐?biāo)就是顯著性目標(biāo)，其所在區(qū)域稱為顯著區(qū)域。

顯著性分割就是利用計(jì)算機(jī)根據(jù)人類視覺的注意機(jī)制來分割出一幅圖像中的顯著目標(biāo)或顯著區(qū)域，并使其盡可能地與人類視覺行為相一致。圖1（b）即為圖1（a）的顯著圖。

圖像顯著性分割的方法主要分為兩大類，即：無監(jiān)督的自下向上的方法和有監(jiān)督的自上向下的方法。后者需要已知大量樣本的顯著性，且要利用已知樣本進(jìn)行訓(xùn)練，計(jì)算量較大。本文研究基于無監(jiān)督的自下向上方法。這類方法中，最早的工作是文獻(xiàn)[1]提出的非常有影響力的生物啟發(fā)模型。Itti等[2]在生物啟發(fā)模式基礎(chǔ)上提出機(jī)器人視覺定位研究方法，但是該方法只能分割出圖像中較少的一部分顯著性目標(biāo)，并不能完全分割出圖像中完整的顯著性信息。Harel等[3]在2006年提出基于圖的視覺顯著性分割，該模型基本上能夠完全分割出圖像的顯著性信息，但分割結(jié)果受背景的干擾比較嚴(yán)重。Lin等[4]提出基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的顯著性分割方法，該方法雖然有不錯(cuò)的分割效果，但是計(jì)算復(fù)雜度較高。Shen等[5]提出基于低秩+稀疏分解的圖像表示模型，用稀疏部分檢測圖像的顯著性，但該方法只使用了圖像中的低水平特征，無法刻畫整幅圖像，并不能有效突出圖像的顯著性目標(biāo)。

以上所提工作都是基于單個(gè)特征建立模型，這些分割結(jié)果顯示基于單特征的分割方法不能完全分割出圖像的顯著性區(qū)域，并且根據(jù)不同特征得出的分割結(jié)果存在很大差異。本文參考文獻(xiàn)[6]的思想提取圖像的多特征，對圖像進(jìn)行超像素分割，然后以每個(gè)超像素塊為單位建立一種非凸的Trace lasso模型來融合這些多特征，既避免了單個(gè)特征分割所造成的誤差，又能緊密聯(lián)系局部特征與非局部特征。

1 顯著性分割的非凸Trace Lasso模型及其求解

1.1 相關(guān)工作

1.1.1 多特征提取

一幅自然圖像可以由多個(gè)特征來描述，例如人眼直觀看到的顏色特征、由圖像處理所得到的紋理特征和通過計(jì)算所得出的局部特征等?；趩蝹€(gè)特征的方法無法完全分割出圖像的顯著性目標(biāo)，因此，本文采用基于多特征的方法來建立模型。本文提取的用于顯著性分割的三類圖像特征如下。

顏色特征：結(jié)合圖像的[R，G]和[B]的值及他們的直方圖提取圖像的6維顏色特征，設(shè)第[i]個(gè)像素點(diǎn)的[RGB]值為[（Ri，Gi，Bi）]，那么該點(diǎn)所對應(yīng)的特征向量為[Ri，Gi，Bi，H（Ri），H（Gi），H（Bi）]，其中[HRi=-log （Pr（Ri））]（[H（Gi）]和[H（Bi）]的計(jì)算同上），[Pr（?）]為顏色的估計(jì)概率。本文在計(jì)算像素特征時(shí)用100個(gè)矩，每個(gè)超像素塊內(nèi)的特征為這個(gè)超像素塊內(nèi)所有像素點(diǎn)顏色特征的平均值。

局部能量特征：方向可調(diào)濾波器分解提供了一個(gè)接近人類視覺過程的頻域分解，其運(yùn)用的基本函數(shù)為來自不同尺度和不同方向的方向?qū)?shù)濾波器。本文運(yùn)用三個(gè)尺度和四個(gè)方向的濾波器，每個(gè)像素點(diǎn)在對應(yīng)的每個(gè)尺度和方向上都被分解為高頻部分和低頻部分，其中低頻部分用于下一個(gè)方向?qū)?shù)的分解，因此這個(gè)濾波過程產(chǎn)生了[3×4]維的特征向量，然后加上低頻部分，從而形成13維的局部能量特征。

局部對比特征：依文獻(xiàn)[2]的方法分別根據(jù)顏色特征、紋理特征和梯度對比特征計(jì)算三幅特征圖像，然后根據(jù)中心環(huán)繞差異計(jì)算每個(gè)像素點(diǎn)與圖像中心像素點(diǎn)的差距，進(jìn)而提取出三幅顯著性圖像，分別提取這三幅顯著性圖像中每個(gè)像素點(diǎn)的像素值作為該點(diǎn)的顯著性值，形成三維的局部能量特征。設(shè)超像素塊個(gè)數(shù)為[n]，那么以上三類特征分別可以由特征矩陣[X1]、[X2]、[X3]來表示。

1.1.2 Trace lasso和多任務(wù)模型

Lu等利用Trace Lasso[7]作為正則項(xiàng)，提出子空間學(xué)習(xí)模型如下：

其中[y]表示數(shù)據(jù)矩陣[X]的列向量，[w]為[y]在[X]下的表示，[?1]表示[l1]-范數(shù)，該范數(shù)用來刻畫數(shù)據(jù)中的稀疏噪聲，[XDiag（w）*]表示Trace Lasso，[λ]為平衡參數(shù)。由于Trace Lasso正則項(xiàng)利用了原始數(shù)據(jù)的信息，因此在子空間學(xué)習(xí)方面取得了良好的效果。

結(jié)合圖像的多個(gè)特征， Lang[6]等提出了顯著性分割的多任務(wù)稀疏模型：

其中[E=E1，E2，…，EK]是將[E1，E2，…，EK]按列排序得到的矩陣。文獻(xiàn)[6]通過求解上述模型得出最優(yōu)解[E*]，并根據(jù)[E*]計(jì)算圖像的顯著性，進(jìn)而分割出圖像的顯著性區(qū)域。

1.2 本文基于多特征的非凸Trace Lasso稀疏模型建立

Trace Lasso和多任務(wù)模型都是基于凸松弛進(jìn)行模型建立和求解，但是往往非凸松弛在實(shí)際應(yīng)用中能得到更好的性能。因此本文在Trace Lasso和多任務(wù)的基礎(chǔ)上，建立一個(gè)基于多特征的非凸Trace Lasso顯著性分割模型。首先對圖像進(jìn)行超像素分割，然后以每個(gè)超像素塊為子空間來建立模型：

其中[Xi]代表不同類型的特征矩陣，[yji]代表圖像的第[j]個(gè)超像素塊的第[i]類特征，[e=ej1，…，ejK]表示稀疏噪聲，[gλ（σl（XiDiag（wji）））]是關(guān)于[XiDiag（wji）]奇異值的非凸函數(shù)，根據(jù)實(shí)驗(yàn)效果本文選取SCAD作為模型中的非凸函數(shù)，即：

1.3 模型求解

本文采用方向交替迭代方法（ADM）來求解上述問題，引入輔助變量[Ji=XiDiagwji，i=1，…，K]，將模型⑷轉(zhuǎn)為如下等價(jià)模型：

問題⑸的增廣拉格朗日函數(shù)為：

其中[Tj1，…，TjK]和[Y1，…，YK]是拉格朗日乘子，[μ]是懲罰參數(shù)。對⑹式進(jìn)行交替極小化迭代求解。雖然ADM能很好地解決迭代問題，但是其只能用來解決凸問題，而[gλ（?）]是非凸的，因此[J]的更新迭代過程中出現(xiàn)了非凸問題，對于非凸問題[J]的求解，我們將問題[Ji]轉(zhuǎn)化為下列問題：

即為[J]的最終迭代公式。

通過求解模型⑶解出每個(gè)超像素塊所對應(yīng)的病態(tài)殘差為[eji（i=1，2，3;j=1，2，…，n）]，然后將[eji]按照[i]并聯(lián)，按照[j]串聯(lián)，得出融合了多個(gè)特征的顯著性矩陣。每個(gè)超像素塊[Pj]的顯著性值為[E]的第[j]列元素的平方和，即[S（Pj）=E（：，j）2]。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 主觀結(jié)果對比

為了凸顯本文方法的實(shí)驗(yàn)效果，我們將實(shí)驗(yàn)結(jié)果與先前的一些顯著性分割工作進(jìn)行對比，實(shí)驗(yàn)所用圖像數(shù)據(jù)庫為MSRA[8]，根據(jù)多個(gè)實(shí)驗(yàn)結(jié)果，本文最終設(shè)定參數(shù)[l]的值為3，g值為120，超像素塊個(gè)數(shù)為300。圖2為本文結(jié)果與其他方法的效果對比，從左到右依次為原圖、CBCD、ICIP、HSS、LW、LR、本文方法結(jié)果以及ground truth（二值圖）。通過對比發(fā)現(xiàn)，CBCD和ICIP方法的分割結(jié)果視覺感知比較低，LW的顯著結(jié)果混淆了背景和顯著性區(qū)域，HSS和LR的結(jié)果丟失了很多顯著信息，所以，這些方法都存在著自身的缺陷。本文的分割結(jié)果既可以明顯區(qū)分顯著性區(qū)域和背景區(qū)域，又可以有效突顯顯著性區(qū)域，跟標(biāo)準(zhǔn)二值圖像比較接近，在視覺效果上提升比較明顯。

2.2 客觀數(shù)據(jù)分析

在主觀分析的基礎(chǔ)上，本文同樣給出了CBCD、ICIP、HSS、LW、LR、HFT、CS和本文方法顯著性分割結(jié)果的客觀指標(biāo)對比，如圖3所示，圖3給出了本文方法與上述方法實(shí)驗(yàn)結(jié)果的ROC曲線圖，由各個(gè)結(jié)果的ROC曲線對比可以得出本文的實(shí)驗(yàn)效果在數(shù)據(jù)指標(biāo)上優(yōu)于其他方法，因此，本文方法的平均結(jié)果與數(shù)據(jù)庫的實(shí)驗(yàn)真值（GT）最為接近。

3 結(jié)束語

本文提出基于多特征的非凸Trace Lasso模型來對圖像進(jìn)行顯著性分割，首先，我們指出現(xiàn)有的稀疏模型RPCA、LRR等只能對單一類型特征進(jìn)行處理，會丟失圖像的一些局部特征;其次，我們提出基于非凸Trace Lasso的稀疏模型，并且以每個(gè)超像素塊為單位來進(jìn)行處理，充分考慮了圖像的多種特征以及局部特征與非局部特征的聯(lián)系。利用這個(gè)模型有效融合了圖像的多個(gè)特征，完成了自底向上的無監(jiān)督的圖像的顯著性分割。實(shí)驗(yàn)結(jié)果證明了我們的方法是合理、有效的，并且能夠取得很好的視覺效果。

參考文獻(xiàn)（References）：

[1] Koch C， Ullman S. Shifts in selective visual attention：

towards the underlying neural circuitry[M]//Matters of intelligence. Springer Netherlands，1987： 115-141

[2] Itti L， Koch C， Niebur E. A model of saliency-based visual

attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，1998.11：1254-1259

[3] Harel J， Koch C， Perona P. Graph-based visual saliency

[C]//Advances in neural information processing systems，2006：545-552

[4] Lin H S， Ding J J， Huang J Y. Graph Saliency Network：

Using Graph Convolution Network on Saliency Detection[C]// 2020 IEEE Asia Pacific Conference on Circuits and Systems （APCCAS）. IEEE，2020：177-180

[5] Shen X， Wu Y. A unified approach to salient object

detection via low rank matrix recovery[C]//Computer Vision and Pattern Recognition （CVPR），2012 IEEE Conference on. IEEE，2012：853-860

[6] Lang C， Liu G， Yu J， et al. Saliency detection by multitask

sparsity pursuit[J]. Image Processing， IEEE Transactions on，2012.21（3）：1327-1338

[7] Grave E， Obozinski G R， Bach F R. Trace lasso： a trace

norm regularization for correlated designs[C]//Advances in Neural Information Processing Systems，2011：2187-2195

[8] Liu T， Yuan Z， Sun J， et al. Learning to detect a salient

object[J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on，2011.33（2）：353-367