用于熱成像數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)特征圖篩選方法

張雷,沈國琛,歐冬秀

(同濟(jì)大學(xué)交通運(yùn)輸工程學(xué)院,上海 201804)

0 引言

隨著人工智能技術(shù)的發(fā)展,大量依靠人力完成的工作逐步被計算機(jī)自動化處理所代替。同時隨著計算機(jī)處理能力的不斷提升,原先人力無法實(shí)現(xiàn)的設(shè)想也逐漸成為了現(xiàn)實(shí)。此外,得益于互聯(lián)網(wǎng)基礎(chǔ)設(shè)施和移動互聯(lián)技術(shù)的快速發(fā)展,以國家戰(zhàn)略以及民間對便捷生活的自發(fā)追求為動力,諸如管理、服務(wù)、商貿(mào)等社會生活的交互也在向線上轉(zhuǎn)移。這種全社會自動化和數(shù)字化的轉(zhuǎn)變,離不開感知的全面數(shù)字化,由此也使多源數(shù)據(jù)得到極大豐富。多源大數(shù)據(jù)“涌現(xiàn)”的現(xiàn)象出現(xiàn)在各行各業(yè),其中較為突出的就有交通行業(yè)。交通行業(yè)的研究和實(shí)踐一直處于大數(shù)據(jù)的背景之下。在運(yùn)輸方面,軌道、航空、水路等運(yùn)輸方式很早就應(yīng)用了自動化輔助技術(shù),甚至部分實(shí)現(xiàn)了自動駕駛。隨著近年來公路運(yùn)輸自動駕駛和車路協(xié)同的蓬勃發(fā)展,智能化和自動化成為了五大交通運(yùn)輸方式的共同現(xiàn)狀。在管控和服務(wù)方面,近年來各地交管部門紛紛推出了智能交通云平臺和交通信息發(fā)布應(yīng)用軟件,一些企業(yè)也將交通信息發(fā)布整合到應(yīng)用軟件產(chǎn)品中。而無論是交通運(yùn)輸還是交通管控與服務(wù),產(chǎn)生的數(shù)據(jù)都具有非常明顯的多樣性,常見的有檔案文本數(shù)據(jù)、業(yè)務(wù)記錄數(shù)據(jù)、定位和軌跡數(shù)據(jù),以及大量傳感器數(shù)據(jù)。而傳感器數(shù)據(jù)又包括一維的物理量時序數(shù)據(jù)、二維的圖像/視頻/雷達(dá)數(shù)據(jù)、三維的雷達(dá)/點(diǎn)云數(shù)據(jù)等。得益于圖像處理算法的快速進(jìn)步,由攝像設(shè)備采集的二維視覺數(shù)據(jù)得到了廣泛的應(yīng)用。

視覺數(shù)據(jù)具有視場大、信息量大、分辨率高等優(yōu)勢[1],同時在交通場景的布設(shè)率高。因此無論是在自動駕駛還是在交通管控中,視覺數(shù)據(jù)都是非常重要且普遍的一類數(shù)據(jù)。但是視覺數(shù)據(jù)也存在明顯的局限性,如受天氣、光照等條件影響較大、特殊情況下會受到物體顏色信息的干擾等[1-2],由此造成的識別和判斷的失誤甚至失靈,會降低交通管理與控制所需數(shù)據(jù)的有效性,也會給交通運(yùn)輸帶來較大的事故風(fēng)險。紅外熱成像數(shù)據(jù)也是一種二維數(shù)據(jù),不同于視覺數(shù)據(jù)記錄的場景物體發(fā)射和反射的可見光,紅外熱成像數(shù)據(jù)記錄的是物體的熱輻射,可以避免視覺數(shù)據(jù)存在的受環(huán)境條件干擾的缺點(diǎn)[3]。同時熱成像數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)與圖像、視頻類似,非常適合移植現(xiàn)有的圖像處理算法。

提取可見光圖像數(shù)據(jù)的特征的算法,包括傳統(tǒng)方法和深度學(xué)習(xí)方法,諸如VGGNet[4]和ResNet[5]的卷積神經(jīng)網(wǎng)絡(luò)(CNN)就是深度學(xué)習(xí)方法中具有代表性的一類,得到了廣泛的應(yīng)用。而同樣是二維數(shù)據(jù)的紅外熱成像數(shù)據(jù)也可以利用常見的卷積神經(jīng)網(wǎng)絡(luò)提取特征。但是卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重需要大量的數(shù)據(jù)訓(xùn)練才能得到。可見光圖像數(shù)據(jù)有著豐富的訓(xùn)練數(shù)據(jù)集,這也是卷積神經(jīng)網(wǎng)絡(luò)能被大量圖像處理算法采納的原因之一,而紅外熱成像數(shù)據(jù)缺少這樣豐富的訓(xùn)練集。紅外熱成像數(shù)據(jù)與可見光圖像數(shù)據(jù)為不同的數(shù)據(jù)域,如果能通過域適應(yīng)(DA)將學(xué)習(xí)自可見光圖像數(shù)據(jù)的網(wǎng)絡(luò)應(yīng)用到紅外熱成像的特征提取上,就可以克服紅外熱成像數(shù)據(jù)缺少訓(xùn)練集的問題。

通過域適應(yīng)將原本從可見光圖像數(shù)據(jù)集中學(xué)習(xí)到的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到紅外熱成像數(shù)據(jù)的研究非常豐富,其中,無監(jiān)督的學(xué)習(xí)方法主要有利用域?qū)沟姆绞饺缬蚺袆e器訓(xùn)練特征學(xué)習(xí)網(wǎng)絡(luò)[6-7]、利用多光譜知識轉(zhuǎn)移的方式訓(xùn)練域編碼器和共享域解碼器[8-9]、利用注意力機(jī)制匹配不同域數(shù)據(jù)進(jìn)行訓(xùn)練[10-11]、利用對比學(xué)習(xí)方法學(xué)習(xí)可見光和熱成像數(shù)據(jù)的共同特征[12]、利用元學(xué)習(xí)范式改進(jìn)無監(jiān)督學(xué)習(xí)方法[13]。此外,還有利用目標(biāo)域樣本微調(diào)網(wǎng)絡(luò)初始層后通過自頂向下的方式完成域適應(yīng)[14-16]、將熱成像數(shù)據(jù)轉(zhuǎn)換到可見光域進(jìn)行網(wǎng)絡(luò)微調(diào)訓(xùn)練[17]、通過訓(xùn)練圖像變換器實(shí)現(xiàn)域適應(yīng)[18]、利用可見光-熱成像數(shù)據(jù)對訓(xùn)練熱成像數(shù)據(jù)識別網(wǎng)絡(luò)[19]、利用深層次對抗網(wǎng)絡(luò)將可見光特征轉(zhuǎn)移到熱成像數(shù)據(jù)進(jìn)而訓(xùn)練熱成像數(shù)據(jù)識別網(wǎng)絡(luò)[20]等方法,還有在已有的神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上訓(xùn)練特殊場景特殊樣本實(shí)現(xiàn)域適應(yīng)的方法[21-22]。盡管這些研究的方法各異,且有著較好的效果,但是還是離不開一定程度的訓(xùn)練。如果能直接獲取從可見光圖像數(shù)據(jù)集中學(xué)習(xí)到的域不變特征,用于構(gòu)建適用于紅外熱成像數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò),就可以避免再從本就為數(shù)不多的紅外熱成像數(shù)據(jù)中劃分出一部分訓(xùn)練集,同時避免了訓(xùn)練的流程,對于硬件設(shè)備的要求也相應(yīng)降低。

有研究者關(guān)注了圖像在頻率域的表現(xiàn)。HUANG等[23]分析得出圖像頻域的低頻段和高頻段主要包含隨域改變的成分,包括顏色、風(fēng)格等,而中頻段主要包含域不變的成分,包括結(jié)構(gòu)、形狀等。XU等[24]利用這一發(fā)現(xiàn),分離圖像的不同頻段,將域改變成分進(jìn)行隨機(jī)處理,再與原本的域不變成分一起還原成多樣的樣本,大大豐富了原來的數(shù)據(jù)集樣本,也增加了隨域改變的特征的多樣性,從而用于域?qū)箤W(xué)習(xí),使得域不變特征能被更好地從隨域改變的特征中分離。

在這一發(fā)現(xiàn)的啟發(fā)下,本文提出一種基于離散余弦變換(DCT)和卡方獨(dú)立性分?jǐn)?shù)的卷積神經(jīng)網(wǎng)絡(luò)特征圖篩選方法。使用離散余弦變換得到預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)淺層特征圖的頻域圖,并借鑒卡方獨(dú)立性檢驗(yàn)的思想定義一種卡方獨(dú)立性分?jǐn)?shù),根據(jù)特征圖在頻域的3個頻段分量度量特征圖的差異度。通過聚類的方法,根據(jù)這種差異度度量方法,卷積神經(jīng)網(wǎng)絡(luò)淺層特征圖被分成若干類。根據(jù)這些類中的特征圖共同表現(xiàn)出的3個頻段分量的占比,這些淺層特征圖可以被區(qū)分為主要包含域不變成分的特征圖和主要包含隨域改變成分的特征圖。保留前者,將后者在卷積神經(jīng)網(wǎng)絡(luò)中剔除,即可得到更適用于與可見光圖像數(shù)據(jù)具有不同數(shù)據(jù)域的紅外熱成像數(shù)據(jù)?；诮煌▓鼍爸熊囕v與行人熱成像數(shù)據(jù)的實(shí)驗(yàn)表明,本文所提方法能夠?qū)⒃咀R別紅外熱成像數(shù)據(jù)效果較差的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化為可以較好預(yù)測紅外熱成像數(shù)據(jù)中目標(biāo)類別的網(wǎng)絡(luò)。

1 特征圖篩選

1.1 問題描述

一個預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的淺層特征圖F={F1,F2,…,Fn}∈n×h×w主要包含域不變成分的特征圖I={FI1,FI2,…,FIk}∈k×h×w和主要包含隨域改變成分的特征圖V={FV1,FV2,…,FVl}∈l×h×w。其中,h和w為特征圖的高和寬,n=k+l為特征圖的數(shù)量。如圖1所示(彩色效果見《計算機(jī)工程》官網(wǎng)HTML版,下同),本文研究的問題是找出特征圖中主要包含域不變成分的特征圖I,組成篩選后的淺層特征圖F′=I,構(gòu)建適合與訓(xùn)練集數(shù)據(jù)域不同的預(yù)測集的神經(jīng)網(wǎng)絡(luò)。

圖1 特征圖篩選流程Fig.1 Procedure of feature maps filtering

1.2 頻域變換與頻譜成分分離

二維離散余弦變換被用于將圖像轉(zhuǎn)換到頻域,HUANG等[23]和XU等[24]使用二維離散余弦變換得到圖像的頻譜圖,并分離隨域改變成分和域不變成分。其中,頻譜圖的低頻和高頻成分被認(rèn)為主要是隨域改變的,而中頻成分則被認(rèn)為主要是域不變的。對于M×N圖像矩陣F[x,y],經(jīng)二維離散余弦變換得到的M×N頻域矩陣D[u,v]定義為:

(1)

對于得到的頻譜圖,為了分離不同頻率成分,構(gòu)造濾波器:

(2)

(3)

(4)

分別提取低頻、中頻、高頻的成分,其中,RL和RH分別為低頻截止頻率和高頻截止頻率。

1.3 特征圖分類與篩選

在卷積神經(jīng)網(wǎng)絡(luò)提取的某一層特征圖集合中,一部分特征圖保留較多的域不變特征,另一部分保留較多的隨域改變特征。表現(xiàn)在頻域上,一部分特征圖的頻譜含有更多的中頻成分,另一部分特征圖的頻譜含有更多的高頻和低頻成分。對于M×N特征圖的頻域矩陣A=(aij),計算三頻分量占比:

(5)

(6)

(7)

為了提取出保留較多域不變特征的特征圖,一種方法是直接篩選中頻成分占比較高的特征圖。但是這樣的方法勢必需要設(shè)定一個閾值,比較依賴經(jīng)驗(yàn)。為此,本文構(gòu)造了一種卡方獨(dú)立性分?jǐn)?shù),根據(jù)特征圖頻域的3種頻率分量占比,計算不同頻譜圖之間的相似度(距離),最后通過聚類分離特征圖集,找到主要保留域不變特征的特征圖。

1.3.1 卡方獨(dú)立性分?jǐn)?shù)

為了計算特征圖頻譜之間的相似度,根據(jù)卡方獨(dú)立性檢驗(yàn)的思想構(gòu)造卡方獨(dú)立性分?jǐn)?shù)。圖像的頻譜分為高頻、中頻、低頻3個部分,對于2張?zhí)卣鲌D的頻域矩陣A和B,他們的高頻占比為ha和hb,中頻占比為ma和mb,低頻占比為la和lb。

假設(shè)三頻占比與特征圖無關(guān),作為零假設(shè),可以得到各個特征圖在3個頻段上占比的期望。而備擇假設(shè)則是三頻占比與特征圖有關(guān),這意味著特征圖之間在三頻上的占比有明顯的統(tǒng)計差異。令:

Sa=ha+ma+la

(8)

Sb=hb+mb+lb

(9)

S=Sa+Sb

(10)

(11)

其中:O為觀測值;E為理論期望值。代入特征圖的實(shí)際三頻占比和期望三頻占比,計算得到式(12):

(12)

2個特征圖頻段分量樣本的自由度為(2-1)×(3-1)=2,根據(jù)卡方值和自由度,進(jìn)一步得到對應(yīng)的p值。

在卡方獨(dú)立性檢驗(yàn)中,p值如果小于設(shè)定的閾值,則認(rèn)為應(yīng)推翻零假設(shè)而接受備擇假設(shè),這意味著2張?zhí)卣鲌D在三頻上的占比有明顯差異。由于本文擬構(gòu)造的卡方獨(dú)立性分?jǐn)?shù)需要作為聚類分析的距離度量,距離越小說明特征圖的三頻占比差異越小,因此定義基于卡方獨(dú)立性檢驗(yàn)的獨(dú)立性分?jǐn)?shù)為:

D=1-p

(13)

1.3.2 基于聚類分析的特征圖分類與篩選

定義了卡方獨(dú)立性分?jǐn)?shù)以后,可以得到每一張?zhí)卣鲌D與其他特征圖之間的獨(dú)立性分?jǐn)?shù)矩陣,這個矩陣作為特征圖之間的距離度量矩陣,就可以對特征圖進(jìn)行分類。通過無監(jiān)督機(jī)器學(xué)習(xí)方法進(jìn)行聚類,可以將樣本劃分為若干類別,保證同一類別內(nèi)的樣本更加接近,并保證不同類別的樣本有足夠的差異。使用聚類分析的方法,以獨(dú)立性分?jǐn)?shù)作為特征圖樣本的距離,可以在沒有較多先驗(yàn)知識的前提下找出中頻成分占比較大(也即保留更多域不變特征)的特征圖。

聚類分析算法有非常多的類別,章永來等[25]將聚類算法分為小樣本聚類和大樣本聚類,又將小樣本聚類分為傳統(tǒng)聚類和智能聚類2類。傳統(tǒng)聚類又被分為劃分聚類和層次聚類。劃分聚類中有基于劃分的k-means算法、基于密度的DBSCAN算法、近鄰傳播算法等。層次聚類包括自底向上的聚合型聚類和分裂型聚類,其中較為常見的是聚合型聚類。由于特征圖樣本量不大,分類任務(wù)也較為簡單,因此可以使用傳統(tǒng)聚類方法。

為了提取保留了較多域不變特征的特征圖,本文分別使用了DBSCAN算法、近鄰傳播算法。DBSCAN算法通過預(yù)設(shè)半徑定義樣本鄰域,將鄰域內(nèi)樣本數(shù)量不少于預(yù)設(shè)最少相鄰樣本數(shù)量的樣本定義為核心樣本,將鄰域內(nèi)的樣本和鄰域中心樣本的關(guān)系定義為直接可達(dá),將直接可達(dá)的傳遞定義為可達(dá),將互相可達(dá)的核心樣本以及與它們可達(dá)的非核心樣本歸為一類(簇),與任何簇的任意核心樣本均不可達(dá)的樣本則為異常樣本。近鄰傳播算法定義了相似性、吸引度和歸屬度,通過不斷迭代更新吸引度、歸屬度以及決策判斷,最終確定聚類中心和歸屬。

考察聚類結(jié)果中每一類特征圖頻域樣本的頻段分布,選取中頻成分占比較高的類別作為需要保留的特征圖,標(biāo)記其他頻段占比較高的特征圖,從原先的網(wǎng)絡(luò)中剔除這部分特征圖,完成特征圖的篩選。

1.3.3 算法的偽代碼表示

算法1特征圖頻譜成分分離

輸入預(yù)訓(xùn)練特征圖張量F

輸出特征圖三頻分量矩陣S

D←dct(M)∥得到特征圖頻域張量

l←leftCut∥得到低頻到中頻的截止頻率

r←rightCut∥得到中頻到高頻的截止頻率

∥以下構(gòu)建三頻濾波器

L←zeros(shape(M)[1], shape(M)[2])

M←zeros(shape(M)[1], shape(M)[2])

H←zeros(shape(M)[1], shape(M)[2])

for i=0 to shape(M)[1]-1 do

for j=0 to shape(M)[2]-1 do

L[i,j]←1

M[i,j]←1

else

H[i,j]←1

∥以下計算特征圖三頻分量

S←zeros(shape(M)[0], 3)

for i=0 to shape(M)[0]-1 do

S[i,0]←sum(D[i]⊙L)

S[i,1]←sum(D[i]⊙M)

S[i,2]←sum(D[i]⊙H)

算法2特征圖分類(以DBSCAN聚類為例)

輸入特征圖三頻分量矩陣S

輸出特征圖類別向量Ic

∥以下計算卡方獨(dú)立性分?jǐn)?shù)矩陣

C←zeros(shape(S)[0], shape(S)[0])

for i=0 to shape(S)[0]-1 do

for j=0 to shape(S)[0]-1 do

C[i,j]←l+m+h

Ic=DBSCAN(eps, minSamples).fit(C)

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)所使用的數(shù)據(jù)是由紅外熱成像儀采集的熱成像影像。紅外熱成像儀型號是Fotric 618C,分辨率為640×480像素,鏡頭視場角水平29°,垂直21°,空間分辨率為0.78 mrad,響應(yīng)波段為7.5 ～14 μm,測溫范圍為-20℃～650℃。由于僅測試所提出的特征圖篩選方法對于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)預(yù)測的提升效果,因此截取影像中的感興趣目標(biāo),例如車輛、人物等。實(shí)驗(yàn)數(shù)據(jù)采集自戶外道路場景,包括了車輛目標(biāo)和人物目標(biāo),采集環(huán)境包括日間和夜間。

2.2 基準(zhǔn)網(wǎng)絡(luò)

為了測試所提出的特征圖篩選方法對于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)預(yù)測的提升效果,本文選擇ResNet50作為基準(zhǔn)網(wǎng)絡(luò),同時使用基于ImageNet 1000訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)。使用ImageNet預(yù)訓(xùn)練網(wǎng)絡(luò),沒有為熱成像數(shù)據(jù)做針對性訓(xùn)練,也可以保證訓(xùn)練集與驗(yàn)證集來自不同的域,用以更好地測試域適應(yīng)的效果。

2.3 預(yù)驗(yàn)證

圖2 預(yù)訓(xùn)練網(wǎng)絡(luò)淺層特征圖Fig.2 Low-level feature maps from pre-trained network

圖3 特征圖頻域基頻置零前后對比圖Fig.3 Comparison of the original frequency domain diagram of the feature map and the frequency domain diagram with the base frequency been set to zero

典型特征圖的頻域圖見圖4。將基頻置零后,部分特征圖的頻率成分主要集中在低頻處[如圖4(b)和圖4(d)所示],另一部分特征圖的頻率成分相對平均地分布在3個頻段內(nèi)[如圖4(a)和圖4(c)所示]。觀察特征圖的頻率圖,人為篩選出中頻成分占比較高的特征圖,將其他特征圖置零(如圖5所示)。

圖4 典型特征圖的頻域圖Fig.4 Frequency domain diagrams of typical feature maps

圖5 人工置零后的淺層特征圖Fig.5 Low-level feature maps after manual zeroing

在理想情況下,得分越高的類別應(yīng)該更接近實(shí)際目標(biāo)的類別,反之則類別與目標(biāo)的實(shí)際類別應(yīng)更無關(guān)。因此,根據(jù)網(wǎng)絡(luò)輸出得分最高的類別是否符合圖片中目標(biāo)的真實(shí)類別,可以檢驗(yàn)網(wǎng)絡(luò)的預(yù)測效果。ResNet網(wǎng)絡(luò)原文[5]中即使用網(wǎng)絡(luò)的top-5預(yù)測檢驗(yàn)網(wǎng)絡(luò)的效果,因此本文也選用了前5位預(yù)測輸出考察預(yù)測結(jié)果。比較熱成像影像的預(yù)訓(xùn)練網(wǎng)絡(luò)的預(yù)測輸出前5位和篩選后網(wǎng)絡(luò)的預(yù)測輸出前5位,并將可見光圖像數(shù)據(jù)的預(yù)訓(xùn)練網(wǎng)絡(luò)和篩選后網(wǎng)絡(luò)的預(yù)測輸出進(jìn)行對比,結(jié)果見表1。可以看到,針對可見光圖像數(shù)據(jù)訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)在預(yù)測熱成像數(shù)據(jù)時,前5位預(yù)測中識別為車輛的比例為0。但是經(jīng)過特征圖篩選后,預(yù)測結(jié)果更接近對可見光圖像數(shù)據(jù)的預(yù)測結(jié)果,識別為車輛的比例達(dá)到了60%。此外,前5名預(yù)測結(jié)果中的“輪胎”和“格柵”雖然不是車輛的類別,但也是車輛的組件(格柵是指車輛前部進(jìn)氣口位置的格柵)。由此可以看出,篩選后的網(wǎng)絡(luò)對可見光圖像數(shù)據(jù)和熱成像數(shù)據(jù)的車輛預(yù)測效果均較好。

表1 篩選前后目標(biāo)預(yù)測結(jié)果對比Table 1 Prediction results comparison between original network and filtered network

2.4 特征圖篩選

利用二維離散余弦變換對ResNet第1次卷積后提取的特征圖進(jìn)行頻域變換,再將基頻處置零。根據(jù)HUANG等[23]提出的3個頻段的截止頻率,計算特征圖的頻域圖在低、中、高3個頻段的分量,得到頻段分量向量。然后根據(jù)所提出的獨(dú)立性分?jǐn)?shù)定義,計算64個頻段分量向量之間的獨(dú)立性分?jǐn)?shù),作為聚類的距離度量。使用近鄰傳播算法得到的聚類結(jié)果如圖6所示,其中,第1類樣本(圖中右下)的低頻分量占比較高,第2類樣本(圖中左上)的高頻分量占比較高,第3類樣本(圖中左下)的高頻和低頻分量占比均相對較低,因此選擇第3類樣本作為需要保留的特征。

圖6 近鄰傳播算法聚類結(jié)果Fig.6 Clustering result using affinity propagation algorithm

使用DBSCAN算法得到的聚類結(jié)果如圖7所示,其中,第1類樣本(圖中左下)的高頻和低頻分量占比均較低,第2類樣本(圖中右部中間)的低頻分量占比較高,其余樣本(分布在左上、中后和右下)為離群樣本,其中既有低頻分量占比較高的樣本,又有高頻分量占比較高的樣本,因此不做進(jìn)一步區(qū)分,并將第1類樣本作為需要保留的特征。

圖7 DBSCAN算法聚類結(jié)果Fig.7 Clustering result using DBSCAN algorithm

使用近鄰傳播算法聚類后需要保留的特征圖序列為[0,2,4,6,8,18,21,23,24,30,31,32,36,38,40,41,42,45,47,51,55,56,57,58,63],使用DBSCAN算法聚類后需要保留的特征圖序列為[0,2,4,6,8,15,17,19,23,24,30,31,32,36,40,41,45,47,51,56,57,61,63],2種聚類方法保留的特征圖序列的交集為[0,2,4,6,8,23,24,30,31,32,36,40,41,45,47,51,56,57,63],并集為[0,2,4,6,8,15,17,18,19,21,23,24,30,31,32,36,38,40,41,42,45,47,51,55,56,57,58,61,63]。

2.5 網(wǎng)絡(luò)預(yù)測結(jié)果

2.5.1 車輛預(yù)測結(jié)果

將車輛的可見光圖像數(shù)據(jù)與熱成像數(shù)據(jù)分別輸入經(jīng)過篩選的網(wǎng)絡(luò)進(jìn)行預(yù)測。

當(dāng)選用較為嚴(yán)格的聚類結(jié)果,保留2種方法的特征圖序列交集時,預(yù)測結(jié)果如表2所示。由表2可見,雖然熱成像數(shù)據(jù)預(yù)測結(jié)果相對較好,識別為車輛的比例為60%,但是可見光圖像數(shù)據(jù)預(yù)測結(jié)果相比預(yù)訓(xùn)練網(wǎng)絡(luò)的預(yù)測結(jié)果明顯下降。

表2 保留特征圖序列交集的車輛預(yù)測結(jié)果Table 2 Vehicle prediction result of filtered network which kept the intersection of feature map sets

當(dāng)選用較為寬松的聚類結(jié)果,保留2種方法的特征圖序列并集時,預(yù)測結(jié)果如表3所示。由表3可見,選用較為寬松的聚類結(jié)果,既能保證熱成像數(shù)據(jù)預(yù)測的效果(識別為車輛的比例達(dá)到了90%),又能保證可見光圖像數(shù)據(jù)的預(yù)測效果。

表3 篩選后網(wǎng)絡(luò)保留特征圖序列并集的車輛預(yù)測結(jié)果Table 3 Vehicle prediction result of filtered network which kept the union of feature map sets

表4對比了預(yù)訓(xùn)練網(wǎng)絡(luò)和篩選后網(wǎng)絡(luò)的預(yù)測結(jié)果。預(yù)訓(xùn)練網(wǎng)絡(luò)預(yù)測熱成像數(shù)據(jù)的前5位類別與實(shí)際目標(biāo)完全無關(guān)。經(jīng)過嚴(yán)格篩選的網(wǎng)絡(luò),對于熱成像數(shù)據(jù)的預(yù)測效果得到了提升,但是會一定程度降低可見光圖像數(shù)據(jù)的預(yù)測效果,而經(jīng)過寬松篩選的網(wǎng)絡(luò)則可以有效預(yù)測熱成像數(shù)據(jù)的類別,同時仍具有對可見光圖像數(shù)據(jù)的預(yù)測有效性。

表4 預(yù)訓(xùn)練網(wǎng)絡(luò)及篩選后的網(wǎng)絡(luò)對車輛預(yù)測結(jié)果對比Table 4 Vehicle prediction result comparison between pre-trained network and filtered network %

上述對比結(jié)果表明,本文提出的特征圖篩選的這種域適應(yīng)方法,可以將由可見光圖像數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)應(yīng)用于熱成像數(shù)據(jù)。

2.5.2 人預(yù)測結(jié)果

預(yù)訓(xùn)練網(wǎng)絡(luò)對于人的可見光圖像數(shù)據(jù)和熱成像數(shù)據(jù)的預(yù)測結(jié)果如表5所示,預(yù)測類別主要是人物身上的小飾品或衣物,并未將人作為整體而預(yù)測,這是因?yàn)轭A(yù)訓(xùn)練數(shù)據(jù)集的標(biāo)注側(cè)重于這些物品,而缺少人這個整體的分類;而熱成像數(shù)據(jù)預(yù)測則與圖像內(nèi)容大多毫無關(guān)系。

表5 預(yù)訓(xùn)練網(wǎng)絡(luò)的人預(yù)測結(jié)果Table 5 Human prediction result of pre-trained network

將人的可見光圖像數(shù)據(jù)與熱成像數(shù)據(jù)分別輸入經(jīng)過篩選的網(wǎng)絡(luò)進(jìn)行預(yù)測。保留2種聚類方法的特征圖序列交集網(wǎng)絡(luò),預(yù)測結(jié)果如表6所示。由表6可見,在預(yù)測結(jié)果中,對人的圖像可以預(yù)測出許多人物身上的配飾,但是更多的是與圖像內(nèi)容毫無關(guān)系的類別。保留2種聚類方法的特征圖序列并集網(wǎng)絡(luò),預(yù)測結(jié)果如表7所示。由表7可見,預(yù)測結(jié)果與前一種篩選標(biāo)準(zhǔn)得到的預(yù)測結(jié)果類似,對人的檢測結(jié)果較差,但是會預(yù)測人身上的配飾。

表6 篩選后網(wǎng)絡(luò)保留特征圖序列交集的人預(yù)測結(jié)果Table 6 Human prediction result of filtered network which kept the intersection of feature map sets

表7 篩選后網(wǎng)絡(luò)保留特征圖序列并集的人預(yù)測結(jié)果Table 7 Human prediction result of filtered network which kept the union of feature map sets

表8對比了車輛和人的可見光圖像數(shù)據(jù)和熱成像數(shù)據(jù)分別由預(yù)訓(xùn)練網(wǎng)絡(luò)和篩選后網(wǎng)絡(luò)的預(yù)測結(jié)果。當(dāng)預(yù)訓(xùn)練網(wǎng)絡(luò)對可見光圖像數(shù)據(jù)的預(yù)測效果較好時,本文提出的特征圖篩選的域適應(yīng)方法能有效將網(wǎng)絡(luò)用于熱成像數(shù)據(jù)的預(yù)測,但是當(dāng)預(yù)訓(xùn)練網(wǎng)絡(luò)對可見光圖像數(shù)據(jù)的預(yù)測較差時,本文提出的域適應(yīng)方法并不能提升網(wǎng)絡(luò)的預(yù)測效果。對比結(jié)果說明了訓(xùn)練用的數(shù)據(jù)集和預(yù)訓(xùn)練網(wǎng)絡(luò)本身對于預(yù)測準(zhǔn)確度的重要性。篩選特征圖的域適應(yīng)方法能使本身就具備較好預(yù)測能力的網(wǎng)絡(luò)更好地遷移到不同的數(shù)據(jù)域中,但是不能改變網(wǎng)絡(luò)從訓(xùn)練集中學(xué)習(xí)到的預(yù)測能力。

表8 預(yù)訓(xùn)練網(wǎng)絡(luò)及篩選后網(wǎng)絡(luò)整體預(yù)測結(jié)果對比Table 8 Overall prediction result comparison between pre-trained network and filtered network

3 結(jié)束語

本文提出了一種基于離散余弦變換和卡方獨(dú)立性分?jǐn)?shù)的卷積神經(jīng)網(wǎng)絡(luò)特征圖篩選方法,直接提取出在可見光圖像數(shù)據(jù)樣本基礎(chǔ)上得到的預(yù)訓(xùn)練網(wǎng)絡(luò)中主要成分為域不變特征的特征圖,從而實(shí)現(xiàn)網(wǎng)絡(luò)的域適應(yīng),預(yù)測熱成像數(shù)據(jù)。其中:離散余弦變換將特征圖轉(zhuǎn)換到頻域,以便分離出特征圖中隨域改變和域不變成分;卡方獨(dú)立性分?jǐn)?shù)是根據(jù)卡方獨(dú)立性檢驗(yàn)的原理設(shè)計的一種根據(jù)特征圖頻段分量判斷特征圖相似性的指標(biāo)。最后通過聚類算法,將特征圖按頻域特性分類,從而得到主要成分為隨域改變特征的特征圖和主要成分為域不變特征的特征圖。對車輛圖像的預(yù)測實(shí)驗(yàn)結(jié)果表明,該方法無需大量樣本進(jìn)行重新訓(xùn)練,就可以使基于可見光圖像數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)同時適應(yīng)可見光圖像數(shù)據(jù)和熱成像數(shù)據(jù)。篩選后的網(wǎng)絡(luò)對熱成像數(shù)據(jù)的前5位預(yù)測結(jié)果與目標(biāo)相關(guān)的比例最高可達(dá)90%。但是對人的圖像的預(yù)測實(shí)驗(yàn)結(jié)果表明,這種優(yōu)化方法不能改變網(wǎng)絡(luò)在預(yù)訓(xùn)練時的學(xué)習(xí)目標(biāo)。

后續(xù)的研究可以考慮優(yōu)化劃分特征圖頻段的方法,尋找比憑經(jīng)驗(yàn)設(shè)置三頻截止頻率更合理且有效的算法。同時,卡方獨(dú)立性分?jǐn)?shù)是受卡方獨(dú)立性檢驗(yàn)的啟發(fā)而定義的,在卡方獨(dú)立性檢驗(yàn)中,只有當(dāng)p值小于設(shè)定的閾值,如0.05時,才可以推翻原假設(shè)。這意味著在判斷特征圖頻段分量相似性的時候,只有獨(dú)立性分?jǐn)?shù)大于0.95時,才能認(rèn)為2個特征圖差異較大。而根據(jù)統(tǒng)計學(xué)原理可知,這樣的標(biāo)準(zhǔn)無法避免差異性較大的特征圖被認(rèn)為差異較小的錯誤,因此也值得進(jìn)一步研究。此外,聚類分析的算法并未體現(xiàn)卡方獨(dú)立性分?jǐn)?shù)的統(tǒng)計學(xué)原理,后續(xù)也需要進(jìn)一步研究和優(yōu)化。