一種紅外熱圖像目標(biāo)區(qū)域分割的深度學(xué)習(xí)算法

朱 莉，趙 俊，傅應(yīng)鍇，張 晶，沈 惠，張守峰

(南昌大學(xué) 信息工程學(xué)院，江西 南昌 330031)

紅外熱成像是物體熱輻射產(chǎn)生的電磁波轉(zhuǎn)換為人類視覺可分辨圖像的過程。紅外熱圖像通過灰度級反映不同物體的差異，具有測量范圍廣、響應(yīng)快、非接觸式測量等優(yōu)勢，在特定場景下可代替可見光圖像[1-2]。目標(biāo)區(qū)域(Region Of Interest，ROI)分割是紅外熱圖像處理中的基本問題，從復(fù)雜的背景中分割出目標(biāo)區(qū)域，為后續(xù)的目標(biāo)識別等任務(wù)提供基礎(chǔ)。經(jīng)典的圖像分割方法可分為基于邊緣、基于區(qū)域和基于層的分割[3]。但是，紅外熱圖像往往存在信噪比低、對比度低等缺陷[4]，為目標(biāo)區(qū)域分割帶來很大的困難。文獻(xiàn)[5]中采用大津法(Otsu算法)用于紅外熱圖像的人體分割，但當(dāng)紅外熱圖像邊緣模糊和區(qū)域不明確時會造成嚴(yán)重的過分割。文獻(xiàn)[6]采用模糊C均值(Fuzzy C-Means，F(xiàn)CM)算法用于紅外艦船目標(biāo)的分割，可通過無監(jiān)督迭代分類實現(xiàn)低信噪比圖像目標(biāo)區(qū)域分割。然而該類方法對噪聲很敏感，需人工設(shè)定類別、種子點(diǎn)、聚類中心等參數(shù)，聚類性能不穩(wěn)定。文獻(xiàn)[7]采用著名的Chan-Vese模型，克服了信噪比低且邊緣模糊的問題，實現(xiàn)了紅外行人的有效分割。但該模型自適應(yīng)能力較差，在背景復(fù)雜的情況下會造成誤分割。

近年來，機(jī)器學(xué)習(xí)算法被廣泛應(yīng)用于圖像分類以及識別等。常用的算法有支持向量機(jī)、隱馬爾可夫模型及人工神經(jīng)網(wǎng)絡(luò)等。然而，傳統(tǒng)的機(jī)器學(xué)習(xí)算法在訓(xùn)練模型前需要人工提取特征，難度大且耗時長，會引起模型過擬合問題，造成分割效果不理想。隨之，深度學(xué)習(xí)算法在一些圖像分割比賽中取得了突破性進(jìn)展，并開始應(yīng)用于紅外領(lǐng)域，實現(xiàn)了人體動作的識別、健康監(jiān)測[8]和紅外與可見光圖像融合等。2017年，LU等[9]利用神經(jīng)網(wǎng)絡(luò)完成多波段紅外圖像的分割，直接通過有標(biāo)簽圖像樣本訓(xùn)練并優(yōu)化網(wǎng)絡(luò)，具有強(qiáng)大的復(fù)雜環(huán)境適應(yīng)能力，且無須過多的人工干預(yù)。同年，文獻(xiàn)[10]中將全卷積網(wǎng)絡(luò)用于紅外乳腺圖像的分割，即使在小數(shù)據(jù)集的情況下，該算法也能通過微調(diào)或數(shù)據(jù)擴(kuò)增等策略表現(xiàn)出良好的分割效果。與此同時，條件隨機(jī)場憑借其充分利用圖像上下文信息的優(yōu)勢，開始應(yīng)用于室內(nèi)場景分割和合成孔徑雷達(dá)圖像的分割等。

筆者在前期研究[11-12]中提出了兩種基于多模態(tài)特征圖融合的目標(biāo)區(qū)域分割算法，通過對比度、熵以及梯度特征構(gòu)建多模態(tài)特征圖，實現(xiàn)目標(biāo)區(qū)域分割。這兩種算法在實際采集到的紅外太陽能板數(shù)據(jù)集上已經(jīng)取得很好的分割結(jié)果。但是，在目標(biāo)區(qū)域不連通的情況下，則需要額外計算或手動標(biāo)記更多的種子點(diǎn)，在一定程度上會導(dǎo)致目標(biāo)區(qū)域漏分割問題。

針對上述現(xiàn)有的經(jīng)典分割算法存在需人工干預(yù)、復(fù)雜場景下漏分割以及誤分割率高等問題，在已有研究[11-12]基礎(chǔ)上，筆者進(jìn)一步提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)和稠密條件隨機(jī)場(Dense Conditional Random Field，DCRF)的深度學(xué)習(xí)分割算法，即FCN-DCRF。首先，對原始紅外圖像標(biāo)注含有二分類語義信息的標(biāo)簽，即目標(biāo)區(qū)域和背景；其次，將有標(biāo)簽數(shù)據(jù)放入全卷積網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練，對圖像進(jìn)行像素級別語義分類，得到每個像素的類別概率，完成粗分割；再次，將粗分割圖像作為稠密條件隨機(jī)場的輸入，利用圖像的空間上下文信息計算像素勢能，進(jìn)而實現(xiàn)精分割，得到最終的分割結(jié)果。本課題組采集了實際的太陽能板紅外熱圖像數(shù)據(jù)集，并將FCN-DCRF應(yīng)用于數(shù)據(jù)集進(jìn)行訓(xùn)練和測試。與經(jīng)典分割方法中的大津法、聚類分割方法中的FCM、Chan-Vese模型及本課題組前期提出的算法[11-12]進(jìn)行了客觀性能對比。

1 FCN-DCRF分割算法

1.1 算法流程

針對紅外熱圖像，筆者提出了一種基于深度學(xué)習(xí)的目標(biāo)區(qū)域分割算法——FCN-DCRF，算法流程如圖1所示。

圖1 FCN-DCRF算法流程圖

這種算法主要分為粗分割和細(xì)分割兩個模塊。粗分割模塊：為原始紅外熱圖像打造含有語義信息的標(biāo)簽，放入全卷積網(wǎng)絡(luò)訓(xùn)練以得到最優(yōu)模型進(jìn)行特征提取，實現(xiàn)像素級別語義分類，完成粗分割。細(xì)分割模塊：以稠密條件隨機(jī)場作為后處理過程，考慮空間上下文信息，通過計算像素一元勢能和二元勢能，推測出各像素點(diǎn)最可能的類別標(biāo)簽，得到最終的精分割結(jié)果。

1.2 全卷積網(wǎng)絡(luò)實現(xiàn)粗分割

筆者提出的FCN-DCRF算法首先利用全卷積網(wǎng)絡(luò)完成紅外熱圖像目標(biāo)區(qū)域的粗分割。全卷積網(wǎng)絡(luò)可以接受任意尺寸的圖片，不受卷積和池化過程對圖片大小的影響，實現(xiàn)端對端分割。FCN-DCRF中采用的全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)結(jié)構(gòu)如圖2所示。5層卷積層和5層池化層交替連接，后接3層全連接層，最后經(jīng)過上采樣完成像素級別的分類。

圖2 全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

輸入層：輸入原始紅外熱圖像，大小為320×240。

卷積層C1：用于特征提取。卷積是輸入圖像不同局部的矩陣和卷積核矩陣各個對應(yīng)位置的權(quán)值相乘，再通過激活函數(shù)輸出卷積層的特征圖。卷積核大小為3×3，步長為1，個數(shù)為64，輸出特征圖尺寸為518×438。C1的輸出公式如下：

C1i=(f(ωi*a))，i=1，…，N，

(1)

其中，f(·)指修正線性單元(Rectified Linear Unit，ReLU)激活函數(shù)；C1指卷積層輸出的特征圖；ωi指卷積核矩陣位置i的權(quán)值，其在隨機(jī)初始化后經(jīng)梯度下降法不斷更新達(dá)到最優(yōu)；a代表輸入圖像；*代表卷積；N值取9。C2～C5層的計算過程同C1層。

最大池化層P1：池化層夾在兩卷積層之間，作用是降維。池化層的采樣步長為2，逐個對518×438區(qū)域取其中最大值作為池化層處理后的元素值。輸出特征圖的尺寸為上一層輸出的1/2，輸出公式如下：

P1i=g(C1i) ，

(2)

其中，g(·)指最大池化操作；P1i指最大池化層的輸出特征圖。P2～P5層的計算過程同P1層。

全連接層F1～F3的計算過程同以上所有卷積層的，但F1卷積核大小為7×7，F(xiàn)2和F3卷積核大小為1×1，步長均為1。經(jīng)過5次卷積和池化后，輸出特征圖尺寸分別縮小為原始圖像的1/2，1/4，1/8，1/16，1/32。上采樣層：上采樣實際上是插值的過程。選擇對第5層輸出的圖像進(jìn)行32倍、對第4層輸出的圖像進(jìn)行16倍或是對第3層輸出的圖像進(jìn)行8倍上采樣到原圖大小。

1.3 稠密條件隨機(jī)場實現(xiàn)細(xì)分割

粗分割模塊利用深度學(xué)習(xí)算法實現(xiàn)了像素級別的類別分類，可有效地實現(xiàn)目標(biāo)區(qū)域的分割。然而，全卷積網(wǎng)絡(luò)沒有考慮圖像的上下文信息，導(dǎo)致分割邊緣粗糙。因此，在卷積神經(jīng)網(wǎng)絡(luò)的處理后加入條件隨機(jī)場，利用條件隨機(jī)場中的二元勢能獲取圖像的上下文信息，建模預(yù)測之間的相互作用，與全卷積網(wǎng)絡(luò)的分割有效性相結(jié)合，進(jìn)一步地提高分割的準(zhǔn)確率。對于一張W×H的圖像，設(shè)I為整幅圖像的觀測向量，X為所有觀測向量對應(yīng)的類別標(biāo)簽。條件隨機(jī)場可用吉布斯分布[13]表示：

(3)

(4)

其中，E(X|I)為能量函數(shù)。在能量函數(shù)中，ψi′(xi′)=-logP(xi′),是全卷積網(wǎng)絡(luò)最后一層概率輸出的一元勢能，P(xi′)是像素點(diǎn)i′的類別標(biāo)簽分配概率；ψi′j′(xi′,xj′)是模型的二元勢能函數(shù)，是為了描述圖中像素點(diǎn)i′和j′之間的空間上下文關(guān)系，其定義為

(5)

其中，i′和j′的取值范圍是[1，N′],其中N′=WH；pi′和Ii′分別代表原始測試圖像中像素點(diǎn)i′的坐標(biāo)位置和強(qiáng)度；|pi′-pj′|指像素點(diǎn)i′和j′之間的距離；|Ii′-Ij′|指像素點(diǎn)之間的灰度值差異；ω(1)和ω(2)指模型權(quán)重；θα，θβ和θγ是高斯核的標(biāo)準(zhǔn)差參數(shù)。

根據(jù)高效平均場近似算法，當(dāng)X滿足式(6)時，像素點(diǎn)類別分配達(dá)到最優(yōu)。

(6)

2 實驗

2.1 實驗數(shù)據(jù)采集與標(biāo)注

作為太陽能發(fā)電系統(tǒng)的核心組成部分，太陽能板是紅外熱圖像處理技術(shù)的一個重要應(yīng)用領(lǐng)域[14]。首先，在場景復(fù)雜的情況下，不同區(qū)域的熱差會使太陽能板與背景區(qū)域在紅外熱成像時呈現(xiàn)出一定的灰度差異，且太陽能板的紅外熱圖像紋理、邊緣信息豐富，有利于提出復(fù)雜背景下紅外熱圖像目標(biāo)區(qū)域的分割算法。因此，對太陽能板紅外熱圖像的研究具有重大的理論意義。其次，基于紅外熱成像的太陽能板區(qū)域的精準(zhǔn)分割，為后續(xù)定期的故障檢測提供方便，節(jié)省了人為巡檢排查的成本，具有很大的實際研究意義[15-16]。

(1) 紅外熱圖像實驗數(shù)據(jù)采集。在中國江蘇林洋光伏科技有限公司2MW并網(wǎng)光伏電站采集了紅外熱圖像來構(gòu)建數(shù)據(jù)集。數(shù)據(jù)采集時間為2016年7月至8月，采集每天早、中、晚不同室外溫度下的光伏電站太陽能板。采集設(shè)備為大立科技DM63非制冷焦平面在線式紅外熱像儀，圖像大小為320×240。經(jīng)嚴(yán)格的數(shù)據(jù)篩選，剔除由儀器不穩(wěn)定、惡劣天氣、不明原因造成圖像模糊等不合格數(shù)據(jù)，最終獲取159張圖像構(gòu)成數(shù)據(jù)集。其中，20%用于測試，80%用于訓(xùn)練，并采用五折交叉驗證對算法性能進(jìn)行客觀評估。

(2) 紅外熱圖像實驗數(shù)據(jù)標(biāo)注。使用MATLAB R2016b標(biāo)注，數(shù)據(jù)集的語義標(biāo)簽設(shè)定為：目標(biāo)區(qū)域(紅外熱太陽能板)和背景區(qū)域(非太陽能板的所有場景)兩類。對159張圖像進(jìn)行標(biāo)注的效果如圖3所示。

圖3 紅外熱圖像原圖與對應(yīng)的語義標(biāo)簽(白色代表目標(biāo)區(qū)域，黑色代表背景)

2.2 計算配置及參數(shù)配置

由于計算量大，采用配有GTX1080顯卡、Intel(R) Core(TM) i5-7400@3.00GHz處理器和8.00 GB內(nèi)存的計算機(jī)完成實驗，操作系統(tǒng)為Ubuntu16.04。在PyTorch框架上用VGG-16模型初始化全卷積神經(jīng)網(wǎng)絡(luò)，再在Caffe框架上完成FCN-DCRF訓(xùn)練與測試。網(wǎng)絡(luò)訓(xùn)練時主要的參數(shù)設(shè)置及訓(xùn)練時間如表1所示。

表1 主要參數(shù)及訓(xùn)練時間

2.3 算法性能評價指標(biāo)

文中采用4種評價指標(biāo)評估算法的性能，即準(zhǔn)確率(Precision，P)，又稱查準(zhǔn)率；召回率(Recall，R)，又稱查全率；Fβ指數(shù)(F-measure，F(xiàn)β)和J指數(shù)(Jaccard-measure，J)。4個指數(shù)的定義如下:

(7)

(8)

(9)

(10)

其中，S1代表算法提取到的正確像素點(diǎn)(包括邊界點(diǎn))集合，S2代表算法提取區(qū)域的所有像素點(diǎn)集合，S3代表人工提取區(qū)域的所有像素點(diǎn)集合，運(yùn)算符| · |表示該區(qū)域像素點(diǎn)的統(tǒng)計。Fβ指數(shù)是召回率和準(zhǔn)確率加權(quán)調(diào)和的平均。當(dāng)置信度β=1時，F(xiàn)β就是最常見的F1指數(shù)。F1指數(shù)越接近1，代表分割效果越好。J指數(shù)用來衡量各算法分割與人工分割結(jié)果的區(qū)域相似度。同樣，J指數(shù)越接近1，代表分割效果越好。

3 結(jié)果及分析

表2 五折交叉驗證結(jié)果

表3 算法分割性能評價指標(biāo)平均值對比

對Otsu、FCM、Chan-Vese及FCN-DCRF分割算法的各項分割性能評價指標(biāo)進(jìn)行T-test檢驗，統(tǒng)計檢驗結(jié)果如表4所示。綜合表3和表4可知：

(1)文中算法的分割性能優(yōu)于另外3種算法的，且其性能指標(biāo)R、F1、J具有統(tǒng)計意義。

(2)文中算法得到的P顯著高于Otsu算法的，雖然與FCM、Chan-Vese相比沒有顯著提高，但仍然高于這兩種算法的，且能滿足實際應(yīng)用中的分割要求。

表4 算法性能評價指標(biāo)的T-test檢驗

注：#表示p>0.05，*表示p<0.05，***表示p<0.001，p是統(tǒng)計檢驗的值。

圖4是各算法對5種典型紅外熱圖像的分割結(jié)果。由圖4可知：

(1)圖4第1列為第一類圖像，其特點(diǎn)是太陽能板紋理豐富，邊緣明顯。對于此類圖像，文中算法可以精準(zhǔn)地分割出目標(biāo)區(qū)域，而其余3種方法均受紋理影響，出現(xiàn)了過分割現(xiàn)象。

(2)第2列為第二類圖像，其特點(diǎn)是目標(biāo)區(qū)域與背景區(qū)域邊界模糊。對于此類圖像，文中算法能準(zhǔn)確分割，而其他3種方法均將目標(biāo)區(qū)域以外的區(qū)域誤分割為目標(biāo)區(qū)域。

(3)第3列為第三類圖像，其特點(diǎn)是目標(biāo)區(qū)域與背景之間界限清晰但相互交叉。對于此類圖像，其余3種方法都未能準(zhǔn)確分割中目標(biāo)區(qū)域嵌入的一小部分背景(圖左中部分)，文中算法能較好地完成分割。

(4)第4列為第四類圖像，其特點(diǎn)是背景復(fù)雜，與目標(biāo)區(qū)域溫差不大的區(qū)域較多。如圖右上角小塊區(qū)域及圖下半部區(qū)域均是背景。對于此類圖像，其余3種算法出現(xiàn)了明顯的誤分割，文中算法能很好地提取目標(biāo)區(qū)域。

(5) 第5列為第五類圖像，其特點(diǎn)是背景簡單，但目標(biāo)區(qū)域紋理信息較弱。對于此類圖像，其余3種算法將大量非目標(biāo)區(qū)域誤判為目標(biāo)區(qū)域。因此，文中算法分割結(jié)果明顯優(yōu)于對比算法的。

圖4 算法分割結(jié)果對比(a)測試原圖；(b)人工分割標(biāo)準(zhǔn)；(c)FCM算法；(d)Chan-Vese算法；(e)Otsu算法；(f)文中算法

為了客觀比較分割算法的性能，分別計算了圖4中圖像的P、R、F1指數(shù)和J指數(shù)。表5的結(jié)果表明，F(xiàn)CN-DCRF算法客觀分割效果均明顯優(yōu)于3種對比算法的。綜合圖4和表5可得出：

(1) 在背景復(fù)雜、較難分割的條件下，其余3種算法將大量非目標(biāo)區(qū)域誤判為目標(biāo)區(qū)域，少數(shù)情況下它們的P會高于文中算法的，但文中算法依舊能夠在不同背景下表現(xiàn)出良好的分割效果，R、F1指數(shù)和J指數(shù)都遠(yuǎn)高于對比算法的。

(2)其余3種算法僅適用于一些邊界明顯的簡單場景圖，文中算法能很好地滿足復(fù)雜場景下目標(biāo)區(qū)域分割。

另外，計算了FCM、Otsu、Chan-Vese和FCN-DCRF測試一張圖片所用時長。以均值標(biāo)準(zhǔn)差的形式分別表示為4.451 30.611 4 s、0.066 50.023 2 s、2.798 20.595 0 s和9.651 10.079 1 s。FCN-DCRF由于需要進(jìn)行多層神經(jīng)網(wǎng)絡(luò)層的特征計算，耗時會變長，但其分割指標(biāo)和均優(yōu)于運(yùn)算速度最快的Otsu算法，并且FCN-DCRF的運(yùn)算速度可滿足實際圖像處理的要求。

表5 算法性能評價指標(biāo)對比

圖5 文中算法與文獻(xiàn)[11-12]中算法分割結(jié)果的對比

作為全卷積網(wǎng)絡(luò)中的特征提取器，卷積層能提取到數(shù)據(jù)不同層次的抽象特征。圖6展示輸入一張紅外熱圖像，C1～C5特征圖的可視化偽彩色結(jié)果，只取每一層中64張?zhí)卣鲌D。由圖可見，C1輸出的特征圖細(xì)節(jié)較為清晰，提取到了圖像的邊緣。C2～C5的特征圖分辨率逐漸降低，部分特征圖中太陽能板棱角區(qū)域被顯著激活；另一部分特征圖中背景區(qū)域被顯著激活。因此，全卷積網(wǎng)絡(luò)可在不同層提取不同的特征，從而實現(xiàn)目標(biāo)區(qū)域分割。

圖6 全卷積神經(jīng)網(wǎng)絡(luò)卷積層的特征圖可視化

4 結(jié)束語

針對復(fù)雜背景下紅外熱圖像分割困難，現(xiàn)有算法存在誤分割、漏分割等問題，筆者提出了一種基于深度學(xué)習(xí)的全卷積網(wǎng)絡(luò)和稠密條件隨機(jī)場的分割算法，即FCN-DCRF。該算法首先利用全卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行特征提取和像素級別的語義分類，得到粗分割結(jié)果；再結(jié)合稠密條件隨機(jī)場算法，通過計算像素一元、二元勢能以及空間上下文信息，進(jìn)一步優(yōu)化粗分割結(jié)果，實現(xiàn)精分割。將該算法應(yīng)用于實際采集的太陽能板紅外熱圖像集，實驗結(jié)果表明，這種算法獲得的查全率、F1指數(shù)和J指數(shù)都明顯高于FCM、Chan-Vese和Otsu算法的；同時與本課題組前期的研究算法對比，這種算法能有效解決目標(biāo)區(qū)域不連通情況。因此，F(xiàn)CN-DCRF具有分割性能優(yōu)、耗時短、人工干預(yù)少的優(yōu)點(diǎn)，可廣泛用于復(fù)雜背景下的紅外熱圖像分割。