結(jié)合目標(biāo)局部和全局特征的CV遙感圖像分割模型

李曉慧，汪西莉

結(jié)合目標(biāo)局部和全局特征的CV遙感圖像分割模型

李曉慧1，汪西莉2

(1. 青海民族大學(xué)計(jì)算機(jī)學(xué)院，青海 西寧 810007； 2. 陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710119)

隨著遙感衛(wèi)星技術(shù)的發(fā)展，高分辨率遙感影像不斷涌現(xiàn)。從含有較多信息、背景復(fù)雜的遙感影像中自動(dòng)提取目標(biāo)成為一個(gè)亟待解決的難題。傳統(tǒng)的圖像分割方法主要依賴圖像光譜、紋理等底層特征，容易受到圖像中遮擋和陰影等的干擾。為此，針對(duì)特定的目標(biāo)類(lèi)型，提出結(jié)合目標(biāo)局部和全局特征的CV (Chan Vest)遙感圖像目標(biāo)分割模型，首先，采用深度學(xué)習(xí)生成模型——卷積受限玻爾茲曼機(jī)建模表征目標(biāo)全局形狀特征，以及重建目標(biāo)形狀；其次，利用Canny算子提取目標(biāo)邊緣信息，經(jīng)過(guò)符號(hào)距離變換得到綜合了局部邊緣和全局形狀信息的約束項(xiàng)；最終，以CV模型為圖像目標(biāo)分割模型，增加新的約束項(xiàng)得到結(jié)合目標(biāo)局部和全局特征的CV遙感圖像分割模型。在遙感小數(shù)據(jù)集Levir-oil drum、Levir-ship和Levir-airplane上的實(shí)驗(yàn)結(jié)果表明：該模型不僅可以克服CV模型對(duì)噪聲敏感的缺點(diǎn)，且在訓(xùn)練數(shù)據(jù)有限、目標(biāo)尺寸較小、遮擋及背景復(fù)雜的情況下依然能完整、精確地分割出目標(biāo)。

圖像分割；形狀先驗(yàn)；卷積受限玻爾茲曼機(jī)；深度學(xué)習(xí)；Chan Vest模型

隨著遙感技術(shù)的發(fā)展，高分辨率的遙感影像不斷涌現(xiàn)，從影像中自動(dòng)提取目標(biāo)引起了眾多學(xué)者的廣泛研究。與普通光學(xué)圖像相比，遙感圖像的場(chǎng)景、目標(biāo)分布等都更為復(fù)雜，針對(duì)遙感影像復(fù)雜背景下的小目標(biāo)分割[1-2]更為困難。在采用分割提取目標(biāo)的方法中，基于水平集的CV (Chan Vest)[3]圖像分割方法最大的優(yōu)勢(shì)在其處理拓?fù)渥兓哪芰?。但面?duì)復(fù)雜的遙感圖像時(shí)，僅依靠圖像顏色、紋理等底層信息，當(dāng)圖像中存在目標(biāo)部分被遮擋、目標(biāo)與背景雜糅等情況時(shí)，往往得不到正確的分割結(jié)果。因此，在基于水平集的CV模型中引入與目標(biāo)相關(guān)的形狀先驗(yàn)信息，有利于輔助模型分割出完整的目標(biāo)。但如何準(zhǔn)確且靈活地表示目標(biāo)形狀是困難的。形狀建模的方法主要分為3種：①基于映射的統(tǒng)計(jì)形狀建模方法[4-6]，即通過(guò)映射得到形狀的特征向量表達(dá)形狀特征空間，如主成分分析和核主成分分析。然而對(duì)于復(fù)雜的形狀，此類(lèi)方法不能靈活地表達(dá)。②基于標(biāo)記點(diǎn)統(tǒng)計(jì)特征的形狀建模方法[7-9]，即通過(guò)標(biāo)記目標(biāo)輪廓中的關(guān)鍵點(diǎn)，對(duì)其統(tǒng)計(jì)建模來(lái)表達(dá)全局形狀特征。這些標(biāo)記點(diǎn)都是手工標(biāo)記的，通過(guò)統(tǒng)計(jì)的方法建模形狀，建模過(guò)程較為復(fù)雜且不適合復(fù)雜形狀。③基于深度學(xué)習(xí)的形狀建模方法[10-12]，用深度生成式模型從大量的目標(biāo)形狀樣本中學(xué)習(xí)其結(jié)構(gòu)并建模表示形狀，模型不僅可以自動(dòng)提取訓(xùn)練集的目標(biāo)形狀特征，而且可以靈活地表示形狀及生成形狀。

考慮到在采用深度學(xué)習(xí)模型獲取目標(biāo)形狀的過(guò)程中，圖像歸一化的操作可能造成目標(biāo)形狀細(xì)節(jié)特征的丟失，本文在重建的目標(biāo)形狀基礎(chǔ)上，采用Canny[13]算子從原圖中提取目標(biāo)邊緣信息，結(jié)合局部邊緣和全局形狀構(gòu)造目標(biāo)形狀約束項(xiàng)，提出了一種結(jié)合目標(biāo)局部和全局特征的CV圖像分割模型，即采用深度學(xué)習(xí)的卷積受限玻爾茲曼機(jī)模型(convolutional restricted Boltzmann machine，CRBM)[14]來(lái)提取目標(biāo)全局形狀特征，并結(jié)合Canny算子提取的原圖像的邊緣信息，經(jīng)過(guò)符號(hào)距離變換得到含有邊緣約束的目標(biāo)形狀，以此為先驗(yàn)信息引入到CV模型中指導(dǎo)曲線演化，得到正確的分割結(jié)果。模型在訓(xùn)練數(shù)據(jù)有限、背景復(fù)雜、形態(tài)各異、尺度變化較大且成像面積小于2 000像素的遙感影像目標(biāo)提取中取得了理想的分割結(jié)果。

1 CV模型

CV模型是由Chan和Vest提出的圖像分割模型。該模型將圖像分割表達(dá)為能量函數(shù)最小化問(wèn)題，用表示待分割的灰度圖像，(,)的值表示中任意像素點(diǎn)(,)的灰度值。演化曲線將劃分成2個(gè)部分，1和2分別表示演化曲線內(nèi)部和外部的灰度信息的均值。()和()的值分別表示演化曲線的長(zhǎng)度以及演化曲線內(nèi)部的區(qū)域面積。1，2，，是各項(xiàng)的系數(shù)，則CV模型的能量泛函為

其中，前2項(xiàng)使得演化曲線不斷向目標(biāo)輪廓標(biāo)靠近，合稱為保真項(xiàng)；第3項(xiàng)用于約束演化曲線，確保獲得的曲線足夠短，稱為長(zhǎng)度約束項(xiàng)；第4項(xiàng)用于約束演化曲線，避免曲線振蕩，稱為面積項(xiàng)。只有當(dāng)保真項(xiàng)的值為零，即演化曲線在目標(biāo)邊界上時(shí)能量函數(shù)才能達(dá)到最小，實(shí)現(xiàn)對(duì)圖的分割。

將式(1)中演化曲線表示為水平集函數(shù)(,)，令(,)表示圖像中任意點(diǎn)(,)與演化曲線的最小歐式距離值。且設(shè)定當(dāng)(,)在圖像的內(nèi)部時(shí)水平集函數(shù)(,)>0，當(dāng)(,)恰好在目標(biāo)邊界上時(shí)，(,)=0 (即是初始化水平集)，否則水平集函數(shù)(,)<0，則式(1)改寫(xiě)為

其中，海氏(Heaviside)函數(shù)，()和狄拉克(Dirac)函數(shù)()分別為

根據(jù)變分原理，使用歐拉-拉格朗日(Euler- Lagrange)方法推導(dǎo)出水平集函數(shù)的演化方程為

其中，為演化曲線的曲率，通過(guò)迭代水平集函數(shù)的演化方程使得CV模型的能量函數(shù)值最小，得到分割結(jié)果。

2 深度生成形狀模型

2.1 卷積受限玻爾茲曼機(jī)

為了在CV分割模型中引入有效的目標(biāo)形狀先驗(yàn)知識(shí)，本文采用2層的卷積受限波爾茲曼機(jī)深度學(xué)習(xí)模型來(lái)建模和獲取目標(biāo)的全局形狀特征。該模型是在RBM的基礎(chǔ)上，引入卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[15]中“卷積權(quán)值共享”思想衍生的生成模型。如圖1所示，CRBM模型是包含一個(gè)輸入層和一個(gè)隱層的2層模型，由于CRBM模型中卷積操作增加了局部感受野和權(quán)值共享的特點(diǎn)，且CRBM的輸入是二維的，使得模型能夠較好地獲取輸入數(shù)據(jù)的二維空間結(jié)構(gòu)信息和圖像的局部信息。

圖1 CRBM模型結(jié)構(gòu)圖

故此，該模型的聯(lián)合概率分布為

2.2 卷積受限玻爾茲曼機(jī)模型訓(xùn)練

模型結(jié)構(gòu)確定后，利用訓(xùn)練樣本訓(xùn)練模型，其目的是確定模型的參數(shù)。本文訓(xùn)練CRBM模型時(shí)以二值圖像作為輸入，0表示背景，1表示目標(biāo)，即模型中所有的節(jié)點(diǎn)狀態(tài)均為二值變量。

CRBM模型采用對(duì)比散度算法(contrast divergence，CD)[16]訓(xùn)練模型，以訓(xùn)練集中的樣本作為模型的初始狀態(tài)，并將訓(xùn)練集中的樣本記為={0,1,···,x}，模型初始值記為0，用訓(xùn)練樣本初始化模型可視層單元的狀態(tài)，即令0=0。首先根據(jù)式(8)確定隱層單元的狀態(tài)，即由(|)求得；其次根據(jù)式(7)重構(gòu)輸入層單元的狀態(tài)，即由(|)求得。不斷重復(fù)上述步驟次，得到0對(duì)應(yīng)的重構(gòu)結(jié)果v。使用梯度下降法更新CRBM模型參數(shù)，故此，基于CD算法的參數(shù)的梯度更新公式為

其中，=1，該算法的偽代碼如下：

輸入：訓(xùn)練樣本={0,1,···,x}卷積核的個(gè)數(shù)，卷積核的大小N×N。輸入層大小N，隱層中特征圖的大小N。

輸出：權(quán)重矩陣w，輸入層的偏置，隱層的偏置b。

初始化：令輸入層的單元狀態(tài)0=0，w，和b的初始值隨機(jī)初始化。

更新參數(shù)：

2.3 卷積受限玻爾茲曼機(jī)模型生成形狀

在確定模型參數(shù)之后，采用多步吉布斯采樣的[17]方法從模型中生成形狀。其核心思想是通過(guò)模擬的聯(lián)合概率分布直接推導(dǎo)出條件分布，多次反復(fù)直到采樣得到的樣本與模型所定義的概率分布的樣本非常接近。CRBM模型的采樣過(guò)程如圖2所示，為了生成近似服從CRBM模型所定義的樣本，本文實(shí)驗(yàn)采用二值圖像初始化模型輸入層的單元狀態(tài)，并執(zhí)行Gibbs采樣得到輸入層單元的狀態(tài)(即生成樣本)。由于CRBM的輸入是二維的，使得模型能夠更好地獲取輸入樣本的二維空間結(jié)構(gòu)信息和圖像的局部信息，從而使得模型的生成形狀更加接近真實(shí)的形狀數(shù)據(jù)。

圖2 CRBM模型采樣過(guò)程圖

3 結(jié)合目標(biāo)局部和全局特征的CV遙感圖像分割模型(CLG-CV)

3.1 邊緣信息

邊緣信息作為圖像最基本特征之一，是圖像分割依賴的重要特征。Canny算子用一階導(dǎo)數(shù)的極大值表示邊緣，可以很好地描述圖像目標(biāo)的外部形狀和空間結(jié)構(gòu)的輪廓特性。圖3中的3行分別表示Levir數(shù)據(jù)集[18]中Levir-oil drum001，Levir-ship001和Levir-airplane001提取邊緣信息的距離變換示例，圖3(a)為原始圖像，圖3(b)為原始圖像邊緣提取結(jié)果圖，將圖3(b)距離變換得到圖3(c)，其表示邊緣形狀的距離函數(shù)圖，即令邊緣像素點(diǎn)的值為1，其他像素取其與最近邊緣像素點(diǎn)之間的歐式距離min(,)。由此邊緣距離函數(shù)可定義為

圖3 距離變換示例圖

3.2 形狀約束項(xiàng)

為了融合深度學(xué)習(xí)模型中的生成形狀和圖像邊緣信息，本文將深度學(xué)習(xí)模型中的生成形狀(圖4(a))用距離函數(shù)表示模型生成形狀的結(jié)果(圖4(b))，使得形狀邊界處像素點(diǎn)的值為1，其他像素取其與最近邊界點(diǎn)之間的歐式距離mindist (,)<1。由此生成形狀距離函數(shù)定義為

圖4 距離變換示例圖((a) 生成形狀；(b) 生成形狀距離函數(shù)；(c) 結(jié)合邊緣和深度學(xué)習(xí)的目標(biāo)形狀；(d) 結(jié)合邊緣和深度學(xué)習(xí)的目標(biāo)形狀的符號(hào)距離函數(shù)；(e) Ground-truth)

將生成形狀距離函數(shù)與邊緣距離函數(shù)作點(diǎn)乘運(yùn)算，即將圖4(b)以及圖3(c)中對(duì)應(yīng)位置像素的歐式距離值做乘運(yùn)算，將運(yùn)算結(jié)果作為輸出圖像相應(yīng)位置像素的歐式距離值，最終得到結(jié)合邊緣和深度學(xué)習(xí)的目標(biāo)形狀(圖4(c))。該方法不僅有效地去除了由Canny算子提取的邊緣信息中虛假目標(biāo)邊界，而且也改善了深度學(xué)習(xí)生成模型-CRBM生成形狀時(shí)，目標(biāo)邊緣細(xì)節(jié)丟失的情況。并將結(jié)合邊緣和深度學(xué)習(xí)的目標(biāo)形狀表示為符號(hào)函數(shù)(特殊的水平集函數(shù))[19](圖4(d))，即設(shè)定邊界上像素點(diǎn)的值為0，其他像素取與最近邊界上像素點(diǎn)之間的最小歐式距離。為方便描述，用符號(hào)距離函數(shù)表示結(jié)合邊緣和深度學(xué)習(xí)的目標(biāo)形狀，用水平集距離函數(shù)表示演化曲線，通過(guò)定義得到新的形狀約束項(xiàng)為

3.3 CLG-CV模型

本文提出的CLG-CV模型在傳統(tǒng)的CV模型的能量函數(shù)中做了以下改進(jìn)：首先舍棄了面積項(xiàng)對(duì)演化曲線的約束；其次融合邊緣和卷積受限玻爾茲曼機(jī)的目標(biāo)形狀信息，定義新的形狀約束項(xiàng)E，對(duì)演化曲線加以約束；最后結(jié)合CV模型的能量項(xiàng)E和形狀約束能量項(xiàng)E得到新的能量泛函。故CLG-CV模型的能量函數(shù)為

其中，為形狀先驗(yàn)項(xiàng)系數(shù)。通過(guò)對(duì)式(11)對(duì)應(yīng)的歐拉-拉格朗日方程進(jìn)行求解，可得到演化方程

最后通過(guò)迭代水平集函數(shù)的演化方程使得CV模型的能量函數(shù)值達(dá)到最小，曲線停止演化，得到最終的分割結(jié)果。

3.4 分割算法步驟

本文主要針對(duì)少于2 000像素的小目標(biāo)遙感圖像來(lái)提取目標(biāo)，其分割任務(wù)更具有挑戰(zhàn)性。所提模型通過(guò)施加包含全局和局部的目標(biāo)特征的約束，使分割得到的目標(biāo)在完整性和邊緣細(xì)節(jié)保留方面都體現(xiàn)得更好，在復(fù)雜背景下也能得到正確的分割結(jié)果。分割算法步驟如下：

步驟1.粗分割，給定待分割灰度圖像，建立CV模型對(duì)應(yīng)的能量函數(shù)E()，將其最小化，得到粗分割結(jié)果*；

步驟2.訓(xùn)練CRBM模型，把一批已歸一化至32×32大小的ground truth圖作為訓(xùn)練集，送入到CRBM模型中訓(xùn)練；

步驟3. 生成形狀，將*歸一化至32×32大小，并將其作為模型的輸入，經(jīng)過(guò)采樣得到重建結(jié)果，將擴(kuò)大至待分割圖像大小，由式(11)計(jì)算生成形狀距離函數(shù)；

步驟4.邊緣提取，用Canny算子提取原圖像的邊緣信息，并進(jìn)行距離變換，由式(10)計(jì)算邊緣距離函數(shù)；

步驟5. 定義形狀約束項(xiàng)，將步驟3中得到的與步驟4中得到的做點(diǎn)乘運(yùn)算得到融合邊緣信息和深度學(xué)習(xí)的目標(biāo)形狀，并將其表示成符號(hào)距離函數(shù)，由式(12)得到形狀約束項(xiàng)E；

步驟6. CLG-CV圖像分割，結(jié)合形狀約束項(xiàng)E和能量項(xiàng)E，由式(13)得到新的能量函數(shù)，求解對(duì)應(yīng)歐拉-拉格朗日方程，使能量函數(shù)達(dá)到最小值，得到最終的分割結(jié)果。

4 數(shù)據(jù)集、實(shí)驗(yàn)參數(shù)配置、對(duì)比方法和評(píng)價(jià)指標(biāo)

4.1 數(shù)據(jù)集

Levir數(shù)據(jù)集來(lái)源于Google Earth，包含RGB圖像、標(biāo)記圖像(含有檢測(cè)框的圖像) 2類(lèi)圖像，每幅彩色圖像的尺寸均為800×600，空間分辨率0.2 m。該數(shù)據(jù)集中的目標(biāo)為油桶、飛機(jī)、艦船3類(lèi)，目標(biāo)面積小于2 000像素。從標(biāo)記圖像中隨機(jī)選擇500張圖像作為實(shí)驗(yàn)對(duì)象。

采用3階段方法制作新的小目標(biāo)遙感數(shù)據(jù)集。第1階段，將所有標(biāo)記圖像按照標(biāo)記信息裁剪圖像，得到僅含一個(gè)特定類(lèi)別的圖像2 485幅。其中油桶651幅，船艦492幅，飛機(jī)1 342幅。第2階段，將第1階段中所有圖像，按類(lèi)別制作為L(zhǎng)evir-oil drum、Levir-ship和Levir-airplane 3個(gè)數(shù)據(jù)集。第3階段，從Levir-oil drum數(shù)據(jù)集中選取600幅圖像作為訓(xùn)練集，51幅圖像作為測(cè)試集。從Levir-ship數(shù)據(jù)集中選取400幅圖像作為訓(xùn)練集，92幅圖像作為測(cè)試集。從Levir-airplane數(shù)據(jù)集中選取1 000幅圖像作為訓(xùn)練集，342幅飛機(jī)圖像作為測(cè)試集。數(shù)據(jù)集中的部分圖像如圖5所示。

表1列出了Levir-oil drum，Levir-ship和Levir- airplane 3個(gè)數(shù)據(jù)集中的目標(biāo)尺寸分析，表明該數(shù)據(jù)集在圖像分割方面具有較大的挑戰(zhàn)。

表1 Levir數(shù)據(jù)集圖像中目標(biāo)尺寸分析表

4.2 實(shí)驗(yàn)參數(shù)配置

電腦配置為Intel(R)Xeon(R) CPU E5-2690，2.6 GHz，256 GB RAM，實(shí)驗(yàn)環(huán)境為Windows10系統(tǒng)下安裝的Matlab R2016a。CV模型分割實(shí)驗(yàn)中，使用數(shù)據(jù)集中的灰度圖像。設(shè)定初始演化曲線是通過(guò)位于圖像中心的矩形表示，步長(zhǎng)D=0.1，1與2取值均為1，迭代次數(shù)為100。在Canny算子提取邊緣實(shí)驗(yàn)中，直接調(diào)用Matlab中的Canny函數(shù)，不需單獨(dú)為不同的數(shù)據(jù)集設(shè)置參數(shù)。

參考文獻(xiàn)[20]并結(jié)合實(shí)際設(shè)置模型參數(shù)。針對(duì)Levir數(shù)據(jù)集中的油桶類(lèi)，CRBM的參數(shù)設(shè)置如下：卷積核的大小為3×3，卷積核個(gè)數(shù)為20，學(xué)習(xí)率為0.01，迭代次數(shù)為1 500。針對(duì)Levir數(shù)據(jù)集中的船艦類(lèi)，CRBM的參數(shù)設(shè)置如下：卷積核的大小為4×4，卷積核個(gè)數(shù)為20，學(xué)習(xí)率為0.01，迭代次數(shù)為2 000。針對(duì)Levir數(shù)據(jù)集中的飛機(jī)類(lèi)，CRBM的參數(shù)設(shè)置如下：卷積核的大小為3×3，卷積核個(gè)數(shù)為20，學(xué)習(xí)率為0.005，迭代次數(shù)為3 000。

4.3 對(duì)比方法

為了驗(yàn)證本文CLG-CV模型的分割性能，分別與CV分割模型和CG-CV分割模型進(jìn)行實(shí)驗(yàn)對(duì)比。

3種分割模型，其中CV模型的分割原理最簡(jiǎn)單，該方法通過(guò)統(tǒng)計(jì)中心區(qū)域與局部鄰域灰度特性對(duì)比度值，尋找遙感影像中的目標(biāo)區(qū)域信息，然后在通過(guò)空間關(guān)系剔除疑似的噪聲點(diǎn)，使得演化曲線向著目標(biāo)輪廓不斷逼近，最終得到正確的分割結(jié)果。優(yōu)點(diǎn)是對(duì)灰度均勻的圖像能自動(dòng)提取出完整的目標(biāo)，缺點(diǎn)是針對(duì)復(fù)雜的遙感影像中目標(biāo)背景區(qū)與目標(biāo)區(qū)雜糅在一起的情況，很難取得較好的分割結(jié)果。

CG-CV分割模型，是以傳統(tǒng)CV模型為基礎(chǔ)的衍生模型，首先，采用深度學(xué)習(xí)生成模型–卷積受限玻爾茲曼機(jī)建模表征目標(biāo)全局形狀特征，以及重建目標(biāo)形狀。其次，利用重建目標(biāo)形狀，做符號(hào)距離變換，得到結(jié)合目標(biāo)全局形狀信息的約束項(xiàng)。最終，以CV模型為圖像目標(biāo)分割模型，增加新的約束項(xiàng)得到結(jié)合目標(biāo)全局特征的CG-CV遙感圖像分割模型。該模型是在傳統(tǒng)的CV模型的能量函數(shù)中做了以下改進(jìn)：首先舍棄了面積項(xiàng)對(duì)演化曲線的約束。其次通過(guò)卷積受限波爾茲曼機(jī)生成形狀，并定義新的形狀約束項(xiàng)E。最后結(jié)合CV模型的能量項(xiàng)E和形狀約束能量項(xiàng)E得到新的能量泛函。由此新的CG-CV模型的能量函數(shù)為

該模型優(yōu)點(diǎn)是克服了傳統(tǒng)CV分割模型對(duì)噪聲敏感的缺點(diǎn)，即在采用深度學(xué)習(xí)模型CRBM獲取目標(biāo)形狀的過(guò)程中，圖像歸一化的操作造成目標(biāo)形狀細(xì)節(jié)特征的丟失。

4.4 評(píng)價(jià)指標(biāo)

本文采用全局精度(global accuracy，Global acc)和交并比(intersection over union，IOU) 2種評(píng)價(jià)標(biāo)準(zhǔn)來(lái)定量評(píng)價(jià)分割結(jié)果的正確性和完整性，其分別定義為

其中，為目標(biāo)正確分類(lèi)的像素?cái)?shù)目；為背景正確分類(lèi)的像素?cái)?shù)目；為目標(biāo)分為背景的像素?cái)?shù)目；為背景分為目標(biāo)的像素?cái)?shù)目。

5 實(shí)驗(yàn)結(jié)果及分析

5.1 Levir數(shù)據(jù)集生成形狀實(shí)驗(yàn)

分別使用Levir-oil drum，Levir-ship和Levir- airplane數(shù)據(jù)集來(lái)訓(xùn)練CRBM模型。通過(guò)度量生成的形狀圖像與原始形狀圖像之間的歐式距離差異，來(lái)定量地分析CRBM模型對(duì)不同形狀的建模效果差異，該值越小表明模型生成的形狀越接近真實(shí)的形狀。CRBM模型在不同數(shù)據(jù)集上的訓(xùn)練時(shí)間以及平均歐氏距離度量值見(jiàn)表2。通過(guò)對(duì)比3個(gè)數(shù)據(jù)集在CRBM的訓(xùn)練時(shí)間可以發(fā)現(xiàn)，Levir-ship數(shù)據(jù)集的訓(xùn)練時(shí)間最短，主要是由于其訓(xùn)練樣本的數(shù)量最少。針對(duì)不同的數(shù)據(jù)集在CRBM模型上的生成形狀不論是訓(xùn)練集還是測(cè)試集的平均歐氏距離都較小，這是由于CRBM中的卷積操作能夠很好地提取輸入樣本的的局部信息，從而使得生成形狀的結(jié)果更接近真實(shí)的形狀。

表2 模型訓(xùn)練時(shí)間及生成形狀結(jié)果的平均歐氏距離度量

圖6分別展示了Levir-oil drum，Levir-ship和Levir-airplane數(shù)據(jù)集的測(cè)試集中的5幅圖像生成形狀結(jié)果(圖6(I)a1，圖6(II)a2，圖6(III)a3)。模型生成形狀的時(shí)間都在0.25 s左右。由圖6(I)b1，圖6(II)b2，圖6(III) b3可見(jiàn)，在生成形狀的效果方面，油桶的生成形狀結(jié)果最好，重構(gòu)出來(lái)的形狀能很好地保留目標(biāo)油桶的形狀特征，符合真實(shí)形狀。從Levir-ship數(shù)據(jù)集中的生成形狀結(jié)果可以看出，對(duì)于包含多個(gè)目標(biāo)艦船的圖像，CRBM模型依然能夠很好地建模形狀。這是CRBM模型中的“卷積操作”使得模型能夠很好地提取輸入樣本的全局特征，靈活地表示形狀及生成形狀。從Levir-airplane數(shù)據(jù)集中的生成形狀結(jié)果可以看到，由于目標(biāo)飛機(jī)的形態(tài)結(jié)構(gòu)較為復(fù)雜，使得CRBM生成的飛機(jī)形狀與真實(shí)的飛機(jī)形狀仍有較大的差異，如圖6(III)b3-3，6(III)b3-5的所示，生成的飛機(jī)形狀丟失較多機(jī)翼和發(fā)動(dòng)機(jī)的細(xì)節(jié)特征。

圖6 不同數(shù)據(jù)集的生成形狀結(jié)果((a1)~(a3)輸入圖像；(b1~(b3))CRBM生成形狀結(jié)果)

5.2 Levir數(shù)據(jù)集分割實(shí)驗(yàn)

圖7(I)~7(III)分別展示了Levir-oil drum，Levir-ship和Levir-airplane等3個(gè)數(shù)據(jù)集的訓(xùn)練集和測(cè)試集中的5幅圖像分割結(jié)果圖。圖8(I)~圖8(III)分別對(duì)應(yīng)圖7(I)~圖7(III)中不同模型在上述3個(gè)數(shù)據(jù)集的訓(xùn)練集和測(cè)試集中的5幅圖像分割結(jié)果評(píng)價(jià)。其中Global acc和IOU分別衡量了分割的完整性和正確性，其值越高越好。由圖7(I)可見(jiàn)Levir-oil drum數(shù)據(jù)集中，存在原始圖像是目標(biāo)油桶被周?chē)繕?biāo)背景陰影遮擋的情況(圖7(I)a1-4、圖7(I)a1-5)、原始圖像是目標(biāo)油桶圖像較復(fù)雜的情況(圖7(I)a1-3、圖7(I)a2-6、圖7(I)a2-7)、以及原始圖像的尺寸小于32×32的情況(圖7(I)a1-1、圖7(I)a1-2、7(I)a2-10)。Levir-ship數(shù)據(jù)集中目標(biāo)船艦個(gè)數(shù)不同、形態(tài)各異，且目標(biāo)艦船周?chē)即嬖谝欢ǖ谋尘坝绊?。例如圖7(II)a1-1、圖7(II)a1-3、圖7(II)a1-5、圖7(II)a2-8是原始圖像中目標(biāo)艦船與背景海面相近且原始圖像尺寸均小于32×32的情況。圖7(II)a1-4是原始圖像中目標(biāo)艦船的個(gè)數(shù)為2個(gè)的情況。第圖7(II)a2-6、圖7(II)a2-7、圖7(II)a2-10是原始圖像中目標(biāo)船艦較小的情況。相較于傳統(tǒng)的CV模型，由于CG-CV模型和CLG-CV模型引入先驗(yàn)知識(shí)指導(dǎo)分割，使得CG-CV模型和CLG-CV模型能有效地克服目標(biāo)與背景雜糅、目標(biāo)遮擋等噪聲干擾的影響，提升了模型的分割精度。并且所提模型CLG-CV在每一幅圖上的度量指標(biāo)能夠達(dá)到最高，分割的結(jié)果更符合實(shí)際，效果更好。這是由于在CLG-CV模型中將邊緣信息引入模型的形狀約束項(xiàng)中，加強(qiáng)了目標(biāo)形狀的邊緣細(xì)節(jié)特征，能更好地約束演化曲線向目標(biāo)輪廓不斷逼近，得到正確的分割結(jié)果。

在Levir-airplane數(shù)據(jù)集中，由于原始圖像目標(biāo)飛機(jī)的形態(tài)較油桶及艦船更為復(fù)雜，且原始圖像中飛機(jī)周?chē)即嬖诒尘碍h(huán)境的影響。如圖7(III)a1-1是目標(biāo)飛機(jī)被云層遮擋的情況?？梢钥闯鰺o(wú)論是訓(xùn)練集還是測(cè)試集，雖然CLG-CV模型在每副圖像的性能評(píng)價(jià)值最高。這是由于在模型中將邊緣信息引入模型的形狀約束項(xiàng)中，加強(qiáng)了目標(biāo)形狀的邊緣細(xì)節(jié)特征，能更好地約束演化曲線向目標(biāo)輪廓不斷逼近，得到正確的分割結(jié)果。但與標(biāo)記圖相比仍有一定的差距，丟失了大量尾翼和飛機(jī)發(fā)動(dòng)機(jī)的細(xì)節(jié)信息。這是由于建模目標(biāo)形狀以及生成目標(biāo)時(shí)，模型的輸入尺寸為32×32，在圖像縮放的過(guò)程中丟失了細(xì)節(jié)信息。從而使得分割效果較差。

為了驗(yàn)證所提模型的分割性能，表3給出了CV，CG-CV以及CLG-CV模型在Levir數(shù)據(jù)集的測(cè)試上的分割性能評(píng)價(jià)結(jié)果。相較于CV模型，CLG-CV模型在Levir-oil drum，Levir-ship和Levir-airplane 3個(gè)數(shù)據(jù)集上的平均Global acc值分別提高至98.654%，97.936%以及96.628%。在Levir-oil drum，Levir-ship和Levir-airplane 3個(gè)數(shù)據(jù)集的測(cè)試集上的平均IOU值分別提高至95.328%，94.140%以及92.425%。

5.3 其他圖像分割實(shí)驗(yàn)

為了驗(yàn)證所提模型CLG-CV的推廣性，從網(wǎng)上選取與訓(xùn)練集中圖像在背景、位置、數(shù)目、上均有差異的256×256大小的圖像，送入模型進(jìn)行測(cè)試(圖9)。

表3 不同模型在Levir測(cè)試集上的分割結(jié)果評(píng)價(jià)

圖9 其他圖像上的分割結(jié)果圖

6 結(jié) 論

為解決遙感影像復(fù)雜背景下，遠(yuǎn)距離成像的小目標(biāo)分割問(wèn)題，提出結(jié)合目標(biāo)局部和全局特征的CV遙感圖像分割(CLG-CV)。在小目標(biāo)遙感數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，相較于只結(jié)合卷積受限玻爾茲曼機(jī)CG-CV模型，CLG-CV模型的分割效果最佳。這是由于CLG-CV在采用生成式模型獲取目標(biāo)形狀信息的同時(shí)，將原圖像的邊緣信息引入模型的形狀約束項(xiàng)中，通過(guò)“點(diǎn)乘”的方式減少了邊緣信息中虛假目標(biāo)邊界，彌補(bǔ)了深度學(xué)習(xí)生成模型的形狀時(shí)，丟失的目標(biāo)邊緣細(xì)節(jié)特征。通過(guò)圖像分割實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)CV模型和CG-CV模型分割方法相比，本文模型在小目標(biāo)以及其他尺寸較大的遙感影像分割應(yīng)用中也依然能取得較好的分割結(jié)果。

[1] 王好賢, 董衡, 周志權(quán). 紅外單幀圖像弱小目標(biāo)檢測(cè)技術(shù)綜述[J]. 激光與光電子學(xué)進(jìn)展, 2019, 56(8): 080001. WANG H X, DONG H, ZHOU Z Q. Review on dim small target detection technologies in infrared single frame images[J]. Laster & Optoelectronics Progress, 2019, 56(8): 080001 (in Chinese).

[2] 姚紅革, 王誠(chéng), 喻鈞, 等. 復(fù)雜衛(wèi)星圖像中的小目標(biāo)船舶識(shí)別[J]. 遙感學(xué)報(bào), 2020, 24(2): 116-125.YAO H G, WANG C, YU J.Recognition of small-target ships in complex satellite images[J]. Journal of Remote Sensing, 2020, 24(2): 116-125 (in Chinese).

[3] CHAN T F, SANDBERG B Y, VESE L A.Active contours without edges for vector-valued images[J].Journal of Visual Communication and Image Representation,2000,11(2):130-141.

[4] SCH?LKOPFB,SMOLA A, MüLLER K-R. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1996, 10(5): 1299-1319.

[5] 楊建功, 汪西莉, 李虎. 融合Kernel PCA 形狀先驗(yàn)信息的變分圖像分割模型[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20(8): 1035-1041. YANG J G, WANG X L, LI H. Variational image segmentation incorporating Kernel PCA-based shape priors[J]. Journal of Image and Graphics, 2015, 20(8): 1035-1041 (in Chinese).

[6] 田杰, 韓冬, 胡秋霞, 等. 基于PCA和高斯混合模型的小麥病害彩色圖像分割[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014, 45(7): 267-271. TIAN J, HAN D, HU Q X, et al. Segmentation of w heat rust lesion image using PCA and Gussian mix model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 267-271 (in Chinese).

[7] AMBERG B, VETTER T. Optimal landmark detection using shape models and branch and bound[C]//2011 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2011: 455-462.

[8] 王雷, 王升, 汪叢, 等. 基于析取正態(tài)水平集的彩色圖像分割[J]. 傳感器與微系統(tǒng), 2020, 39(6): 127-130. WANG L, WANG S, WANG C, et al. Color image segmentation based on disjunctive normal level set[J]. Transducer and Microsystem Technologies, 2020, 39(6): 127-130 (in Chinese).

[9] 雷曉亮, 于曉升, 遲劍寧, 等. 基于稀疏形狀先驗(yàn)的腦腫瘤圖像分割[J]. 中國(guó)圖象圖形學(xué)報(bào), 2019, 24(12): 2222-2232. LEI X L, YU X S, CHI J N, et al. Brain tumor segmentation based on prior sparse shapes[J]. Journal of Image and Graphics, 2019, 24(12): 2222-2232 (in Chinese).

[10] 張娟, 汪西莉, 楊建功. 基于深度學(xué)習(xí)的形狀建模方法[J]. 計(jì)算機(jī)學(xué)報(bào), 2018, 41(1): 132-144. ZHANG J, WANG X L, YANG J G. Shape modeling method based on deep learning[J]. Chinese Journal of Computers, 2018, 41(1): 132-144 (in Chinese).

[11] DOU F Z, DIAO W H, SUN X, et al. Aircraft reconstruction in high-resolution SAR images using deep shape prior[J]. International of Geo-Information, 2017, 12(6): 214-232.

[12] YUKA K, MATVEY S, TSUHAN C. In the shadows, shape priors shine: using occlusion to improve multi-region segmentation[C]//2016 IEEE Computer Society Conference on computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 392-401.

[13] CANNT J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine, 1986, 8(6): 679-698.

[14] NOROUZI M, RANJBAR M, MORI G.Stacks of convolutional restricted boltzmann machines for shift-invariant feature learning[C]//2009 IEEEComputer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2009:2735-2742.

[15] FUKUSHIMA K, MIYAKE S, ITO T. Neocognitron: a self-organizing neural network model for a mechanism of visual pattern recognition[J].IEEE Transactions on Systems Man and Cybernetics,1970,13(5):826-834.

[16] HINTON G E. Training products of experts by minimizing contrastive divergence[J]. Neural computation, 2002, 14(8): 1771-1800.

[17] WALSH B. Markov chain monte carlo and gibbs sampling[J]. Notes, 2004, 91(8): 497-537.

[18] Zou Z, Shi Z. Random access memories: a new paradigm for target detection in high resolution aerial remote sensing images[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1100-1111.

[19] CHAN T F, SANDBERG B Y, VESE L A. Active contours without edges for vector-valued images[J]. Journal of Visual Communication and Image Representation, 2000, 11(2): 130-141.

[20] 李曉慧, 汪西莉. 結(jié)合卷積受限玻爾茲曼機(jī)的CV分割模型[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(4): 041018. LI X H, WANG X L. CV image segmentation model combinig convolutional restricted Boltzman machine[J]. Laster & Optoelectronics Progress, 2020, 57(4): 041018 (in Chinese).

CV image segmentation model combining with local and global features of the target

LI Xiao-hui1, WANGXi-li2

(1. School of Computer Science, Qinghai Nationalities University, Xining Qinghai 810007, China; 2. School of Computer Science, Shaanxi Normal University, Xi’an Shaanxi 710119, China)

With the development of the remote sensing satellite technology, high-resolution remote sensing images are on an increasing trend. The automatic target extraction from remote sensing images containing other information and complex background urgently needs to be realized. The traditional image segmentation method mainly depended on such underlying features as image spectrum and texture, and in image segmentation tasks, was likely to be impacted by the interference of shadow and occlusion in the image, complicating the segmentation and leading to unsatisfactory results. For this reason, according to the specific target type, a CV (Chan Vest) image segmentation model combined with local and global features of the target was proposed. Firstly, the deep learning generation model-CRBM (convolution restricted Boltzmann machine) was employed to represent the global shape features of the target and to reconstruct the shape of the target. Secondly, the edge information of the target was extracted by Canny operator, and a new shape constraint term integrating the local edge and global shape information was obtained by symbolic distance transformation. Finally, the CV model served as the image target segmentation model, and new constraints were added to gain the CV remote sensing image segmentation model integrating the local and global features of the target. The experimental results on the remote sensing dataset Levir-oil drum, Levir-ship and Levir-airplane show that the proposed model can not only overcome the noise sensitivity of the CV model, but also segment the target completely and accurately in the case of limited training data, small target size, occlusion and complex background.

image segmentation; shape prior; convolutional restricted Boltzmann machine; deep learning; Chan Vest model

TP 391

10.11996/JG.j.2095-302X.2020060905

A

2095-302X(2020)06-0905-12

2020-07-15；

2020-08-12

15 July，2020；

12 August，2020

國(guó)家自然科學(xué)基金項(xiàng)目(41471280，61701290，61701289)

National Natural Science Foundation of China (41471280, 61701290, 61701289)

李曉慧(1992-)，女，青海西寧人，教師，碩士。主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、圖像處理。E-mail：lixiaohuihxl@163.com

LI Xiao-hui (1992-), female, master student. Her main research interests cover machine learning and image processing. E-mail：lixiaohuihxl@163.com

汪西莉(1969-)，女，陜西西安人，教授，博士。主要研究方向?yàn)橹悄苄畔⑻幚怼⒛Ｊ阶R(shí)別、圖像處理。E-mail：wangxili@snnu.edu.cn

WANG Xi-li (1969-), female, professor, Ph.D. Her main research interests cover intelligent information processing, machine learning and image processing. E-mail：wangxili@snnu.edu.cn