基于多視圖架構(gòu)深度神經(jīng)網(wǎng)絡(luò)的圖像威脅識(shí)別

葉晴昊,涂岱鍵,畢 奇,秦飛巍,葛瑞泉,白 靜

(1.杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院,杭州 310018; 2.武漢大學(xué) 遙感信息工程學(xué)院,武漢 430079;3.北方民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,銀川 750021)

0 概述

維持公共區(qū)域安全是保障社會(huì)和諧穩(wěn)定和人民群眾生命財(cái)產(chǎn)安全的一項(xiàng)重要工作。毫米波圖像方法被廣泛應(yīng)用于機(jī)場(chǎng)和地鐵站等公共區(qū)域的安檢威脅識(shí)別任務(wù)中[1-2]，該方法應(yīng)用于威脅識(shí)別過程中時(shí),要求精度好、效率高和誤報(bào)率低[3]。然而,在威脅識(shí)別過程中采集到的毫米波圖像存在形狀、大小和位置未知的隱藏物體,導(dǎo)致圖像處理方法存在較高的誤報(bào)率。毫米波圖像包括有源毫米波圖像和無源毫米波圖像2種類型。有源毫米波圖像通過區(qū)分目標(biāo)物體周圍輻射強(qiáng)度的差異來生成掃描圖像[4-6],能夠以相對(duì)較快的速度生成圖像,但該方法生成圖像的分辨率較低且識(shí)別精度較差。無源毫米波圖像通過解析目標(biāo)的毫米波能量來生成掃描圖像,可生成高分辨率的圖像,適用于公共場(chǎng)所的高精度威脅識(shí)別。文獻(xiàn)[7]提出一種改進(jìn)的雙基址結(jié)構(gòu),有效減少了掃描時(shí)間,同時(shí)提高生成圖像的質(zhì)量。目前，關(guān)于無源毫米波圖像的研究常采用超分辨率方法來提高圖像分辨率[8-10],以提高識(shí)別準(zhǔn)確率。文獻(xiàn)[11]提出一種基于高斯混合模型的方法,并將期望最大化算法用于分類階段，雖然其結(jié)果準(zhǔn)確性有所提高,但該方法會(huì)產(chǎn)生無關(guān)聯(lián)區(qū)域。文獻(xiàn)[12]提出一種雙重階段算法,該算法的準(zhǔn)確率高,但是過程復(fù)雜且耗時(shí)長(zhǎng),難以投入到實(shí)際應(yīng)用中。文獻(xiàn)[13]提出一種多重階段算法,通過優(yōu)化圖像處理速度,有效減少算法耗時(shí),且可達(dá)到較高的準(zhǔn)確率。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)已被廣泛應(yīng)用于識(shí)別、分類和分割等任務(wù)[14-16]，且CNN具有通過非線性映射來區(qū)分?jǐn)?shù)據(jù)獨(dú)立特征的性能[17-19]，因此在圖像識(shí)別領(lǐng)域的應(yīng)用較為廣泛。文獻(xiàn)[20]使用CNN-DL分類器檢測(cè)毫米波圖像中對(duì)象的可行性，并指出提高毫米波圖像識(shí)別精度的2個(gè)重要因素:模型的深度和圖像的完整性。由于訓(xùn)練樣本較少、樣本間類別不平衡問題顯著，目前深度學(xué)習(xí)方法在威脅識(shí)別領(lǐng)域中的應(yīng)用仍然較少。針對(duì)掃描對(duì)象的多角度視圖,多視圖間的特征信息聯(lián)系顯得尤為重要。文獻(xiàn)[21]并未考慮多視圖間的直接聯(lián)系，導(dǎo)致存在較高的漏檢率。因此，在威脅識(shí)別任務(wù)中存在隱藏物體形狀、大小和位置未知的問題，且不是每個(gè)角度都能檢測(cè)到危險(xiǎn)物品，多視圖角度下的區(qū)域重疊問題將會(huì)導(dǎo)致模型的誤報(bào)率增大。與此同時(shí)，在實(shí)際安檢過程中，由于多數(shù)檢測(cè)對(duì)象都為無威脅樣本，僅有少數(shù)樣本為危險(xiǎn)樣本，從而引起數(shù)據(jù)不均衡問題。

針對(duì)以上問題和挑戰(zhàn),本文構(gòu)建一種基于多視圖的深度神經(jīng)網(wǎng)絡(luò)模型PSS-Net用于毫米波圖像的威脅識(shí)別。該模型針對(duì)掃描圖像多視角問題進(jìn)行多視圖建模,從而增強(qiáng)各區(qū)域在不同角度之間的關(guān)聯(lián)程度,增強(qiáng)掃描對(duì)象的整體表征能力，并使用稠密性連接對(duì)單一視圖的表征能力進(jìn)行增強(qiáng)。與此同時(shí),該模型運(yùn)用注意力機(jī)制以及焦點(diǎn)損失函數(shù)解決掃描對(duì)象樣本中存在的數(shù)據(jù)不均衡問題。

1 面向威脅識(shí)別的多視圖深度神經(jīng)網(wǎng)絡(luò)

1.1 簡(jiǎn)述

針對(duì)輸入的人體掃描對(duì)象生成16個(gè)視圖,將每個(gè)視圖劃分為17個(gè)區(qū)域,隨后各視圖數(shù)據(jù)分別發(fā)送至殘差連接卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,且將通過注意力機(jī)制提取的多視圖卷積特征作為時(shí)序特征,通過基于稠密連接的長(zhǎng)短期記憶模型強(qiáng)化威脅區(qū)域的特征表達(dá)?；诮裹c(diǎn)損失函數(shù)優(yōu)化整個(gè)網(wǎng)絡(luò),構(gòu)成一個(gè)端到端的可訓(xùn)練框架,從而對(duì)單個(gè)掃描對(duì)象的各個(gè)區(qū)域進(jìn)行危險(xiǎn)預(yù)測(cè)。本文方法的應(yīng)用場(chǎng)景如圖1所示。

圖1 威脅識(shí)別人物場(chǎng)景

1.2 多視圖架構(gòu)

圖像序列建模[22-23]問題使得基于毫米波圖像的威脅識(shí)別任務(wù)更加困難。圖像序列建模[24]基于各掃描對(duì)象通常會(huì)生成多角度視圖。由于圖像部分區(qū)域重疊,使得識(shí)別難度增大,在這種情況下,多視圖[23]之間的關(guān)聯(lián)性顯得尤為重要。與此同時(shí),長(zhǎng)短期記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)[25]在處理序列問題上具有廣泛應(yīng)用,可以較好地建立序列之間的關(guān)系。根據(jù)以上問題與解決方案,構(gòu)建一個(gè)多視圖卷積神經(jīng)網(wǎng)絡(luò)模型架構(gòu),如圖2所示。其中,每個(gè)視圖被發(fā)送到參數(shù)相同的預(yù)訓(xùn)練ResNet-50[26]網(wǎng)絡(luò)中，以獲取像素之間的關(guān)系并提取空間位置上的特征。此外,在最終特征圖上,該模型采用一種基于稠密連接的長(zhǎng)短期記憶注意力機(jī)制，特征映射由具有不同步幅和內(nèi)核大小的卷積層處理。考慮到多視圖信息序列的處理問題,通過LSTM對(duì)掃描對(duì)象的多個(gè)視圖進(jìn)行空間鄰域上的掃描，并對(duì)掃描信息建模,從而對(duì)各個(gè)視圖在不同掃描角度下的特征進(jìn)行關(guān)聯(lián)性建模,提高區(qū)域的表征能力。PSS-Net模型架構(gòu)中的參數(shù)設(shè)置如表1所示。

圖2 PSS-Net模型架構(gòu)

表1 PSS-Net模型架構(gòu)中的參數(shù)設(shè)置

1.3 損失函數(shù)

利用模型對(duì)一個(gè)樣本中的17個(gè)區(qū)域分別進(jìn)行危險(xiǎn)概率的預(yù)測(cè),即對(duì)于N個(gè)樣本,模型將輸出17×N個(gè)概率。通常情況下,模型考慮使用交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)對(duì)模型進(jìn)行優(yōu)化,其表示方法如式(1)所示:

(1)

由于在毫米波圖像威脅識(shí)別任務(wù)中存在危險(xiǎn)的樣本數(shù)量較少,從而帶來數(shù)據(jù)不均衡問題,導(dǎo)致模型的識(shí)別召回率較低。因此對(duì)損失函數(shù)進(jìn)行加權(quán),以緩解樣本不均衡帶來的影響,具體如式(2)所示:

(2)

其中,α為樣本調(diào)節(jié)因子。

上述問題僅解決了樣本不均衡問題,并未考慮難分類樣本在任務(wù)中的重要性。文獻(xiàn)[27]提出一種焦點(diǎn)損失函數(shù),可有效解決數(shù)據(jù)不均衡問題。在收斂速度和性能方面,焦點(diǎn)損失函數(shù)優(yōu)于先前的損失函數(shù),具體如式(3)所示:

(3)

其中,γ與α為可調(diào)節(jié)的超參數(shù)(預(yù)設(shè)γ=2.0,α=0.750)。

PSS-Net模型選取焦點(diǎn)損失函數(shù)為最終損失函數(shù),并對(duì)模型進(jìn)行優(yōu)化。

1.4 注意力機(jī)制

注意力機(jī)制可增強(qiáng)圖像全局信息的表達(dá),降低局部信息對(duì)結(jié)果的影響,使得連接特征映射更加緊湊。CNN注意力機(jī)制通過全連接層進(jìn)行特征映射變換,考慮了單個(gè)視圖下的圖像特征。LSTM注意力機(jī)制通過增加目標(biāo)的權(quán)重并強(qiáng)調(diào)重要的區(qū)域,模擬人類觀察多角度物體的過程,從而有效減少信息損失。LSTM注意力機(jī)制根據(jù)M(本文設(shè)置為16)個(gè)圖像的全局信息重要性對(duì)每個(gè)掃描視圖進(jìn)行加權(quán),并輸入序列x=(x1,x2,…,xM),LSTM注意力機(jī)制計(jì)算輸出序列zi=(z1,z2,…,zM),具體如式(4)所示:

(4)

采用Softmax函數(shù)計(jì)算每個(gè)權(quán)重系數(shù)βij,具體如式(5)所示:

(5)

其中,βij表示第j個(gè)視圖的注意力權(quán)重,Wxij是線性變換層,輸入維度為768,輸出維度為17。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文方法旨在預(yù)測(cè)指定身體區(qū)域(來自17個(gè)全身區(qū)域)存在威脅的概率,每次掃描包含17個(gè)標(biāo)簽,對(duì)應(yīng)于17個(gè)身體區(qū)域中是否存在威脅。

HD-AIT毫米波人體威脅掃描數(shù)據(jù)集中的每個(gè)人類掃描對(duì)象包含16個(gè)視圖,且每個(gè)視圖被分成17個(gè)身體區(qū)域,具體如圖3所示。該數(shù)據(jù)集包含由新一代毫米波掃描儀獲得的11 470個(gè)掃描對(duì)象。不同對(duì)象穿著不同服裝類型(含夏季服裝和冬季服裝),具有不同的體重指數(shù),含有不同的威脅數(shù)量和不同類型的威脅。

圖3 人體掃描圖像身體區(qū)域分布

2.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)選擇60%數(shù)據(jù)作為訓(xùn)練集,20%數(shù)據(jù)作為驗(yàn)證集,20%數(shù)據(jù)作為測(cè)試集。對(duì)于焦點(diǎn)損失函數(shù),預(yù)設(shè)γ=2.0,α=0.750,并使用余弦學(xué)習(xí)率衰減策略對(duì)模型進(jìn)行訓(xùn)練,初始學(xué)習(xí)率設(shè)置為0.1?；赨buntu 16.04 LTS系統(tǒng),CPU采用36核2.6 GHz Intel Core i9-9870XE,內(nèi)存大小為94 GB。使用4塊GeForce GTX 1080Ti 型號(hào)GPU用于加速訓(xùn)練,總共訓(xùn)練150個(gè)Epoch,訓(xùn)練共計(jì)120 h。PSS-Net模型在PyTorch框架上訓(xùn)練,實(shí)驗(yàn)過程中模型在訓(xùn)練集和驗(yàn)證集上的損失可視化如圖4所示。從圖4可以看出,當(dāng)訓(xùn)練到80個(gè)～100個(gè)Epoch時(shí),損失函數(shù)已經(jīng)降低到相對(duì)較低水平且基本收斂。

圖4 訓(xùn)練集與驗(yàn)證集的損失函數(shù)

本文以準(zhǔn)確率(Accuracy)、精確度(Precision)、召回率(Recall)、特異性(Specificity)和假陽性率(False Positive Rate,FPR)作為評(píng)估指標(biāo),計(jì)算方法分別如式(6)～式(10)所示:

Accuracy=(TP+TN)/(TP+TN+FN+FP)

(6)

Precision=TP/(TP+FP)

(7)

Recall=TP/(TP+FP)

(8)

Specificity=TN/(TN+FN)

(9)

FPR=1.00-Specificity

(10)

其中,TP表示非威脅樣本中檢測(cè)為無威脅樣本的個(gè)數(shù),FP表示非威脅區(qū)域中誤檢為威脅樣本的個(gè)數(shù),FN表示威脅樣本中未能成功檢測(cè)出威脅的個(gè)數(shù),TN表示威脅樣本中正確檢測(cè)為威脅樣本的個(gè)數(shù)。

2.3 測(cè)試結(jié)果

由于損失函數(shù)中的超參數(shù)對(duì)實(shí)驗(yàn)結(jié)果有不同的影響,實(shí)驗(yàn)研究了不同參數(shù)的α對(duì)焦點(diǎn)損失函數(shù)的性能影響,結(jié)果如表2所示。從表2可以看出,隨著α的增大,焦點(diǎn)損失函數(shù)的準(zhǔn)確率和召回率均呈現(xiàn)先增大后降低的趨勢(shì),當(dāng)α為0.750時(shí)達(dá)到最優(yōu)。實(shí)驗(yàn)進(jìn)一步研究了不同的γ與α組合對(duì)焦點(diǎn)損失函數(shù)的性能影響,結(jié)果如表3所示,在實(shí)驗(yàn)過程中,當(dāng)測(cè)試γ時(shí),對(duì)應(yīng)的α均取實(shí)驗(yàn)中的最優(yōu)值。從表3可以看出,當(dāng)γ=2.0時(shí)性能達(dá)到最優(yōu),因此實(shí)驗(yàn)選擇γ=2.0,α=0.750作為損失函數(shù)的超參數(shù)。

表2 超參數(shù)α對(duì)焦點(diǎn)損失函數(shù)的性能影響(γ=0)Table 2 Effect of super parameter α on the performance of focal loss function(γ=0)

表3 超參數(shù)α與γ對(duì)焦點(diǎn)損失函數(shù)的性能影響Table 3 Effect of super parameter α and γ on the performance of focal loss function

為了有效對(duì)比各種模型在威脅識(shí)別方面的性能,實(shí)驗(yàn)對(duì)文獻(xiàn)[26-28]中的基線模型與本文模型進(jìn)行性能對(duì)比,結(jié)果如表4所示。從表4可以看出,本文提出的PSS-Net模型在測(cè)試集上的表現(xiàn)均高于其他基線模型,且該任務(wù)主要識(shí)別危險(xiǎn)圖像。同時(shí)，PSS-Net模型在召回率上相比其他方法提升更多。

表4 4種模型的測(cè)試結(jié)果對(duì)比

2.4 結(jié)果分析

每個(gè)區(qū)域的測(cè)試結(jié)果如表5所示。由表5可知,誤判集中在區(qū)域15(右腳踝)和區(qū)域16(左腳踝)中,誤判主要源于人體生理結(jié)構(gòu)的差異,考慮到數(shù)據(jù)集中多數(shù)樣本不存在局部病變的情況,因此當(dāng)目標(biāo)身體存在畸變時(shí)將干擾判斷,尤其是過于嚴(yán)重的生理形狀病變可能導(dǎo)致誤判。

表5 各區(qū)域的測(cè)試結(jié)果

2.5 消融研究

為比較模型中不同模塊對(duì)于性能的貢獻(xiàn),本文設(shè)計(jì)了消融實(shí)驗(yàn)進(jìn)行研究,分別比較了LSTM、多視圖卷積神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制和焦點(diǎn)損失函數(shù)模塊的測(cè)試結(jié)果,如表6所示。其中,實(shí)驗(yàn)1、實(shí)驗(yàn)2分別僅使用以ResNet-50和LSTM為基礎(chǔ)的模型,實(shí)驗(yàn)3使用以ResNet-50為基礎(chǔ)的多視圖架構(gòu),實(shí)驗(yàn)4在實(shí)驗(yàn)3的基礎(chǔ)上加入LSTM以用作序列處理。在多視圖架構(gòu)和LSTM的模型上,實(shí)驗(yàn)5加入注意力機(jī)制,實(shí)驗(yàn)6同時(shí)加入了注意力機(jī)制和焦點(diǎn)損失函數(shù)。從表6可以看出,對(duì)于不包含多識(shí)圖架構(gòu)的模型(LSTM和ResNet-50),從準(zhǔn)確率角度而言,其結(jié)果均超過0.9,但召回率方面存在明顯不足，加入多視圖架構(gòu)后,測(cè)試結(jié)果顯示召回率至少提升了0.28,將注意力機(jī)制加入模型后,準(zhǔn)確率和召回率均達(dá)到了0.97,最終PSS-Net模型在測(cè)試集上的準(zhǔn)確率為0.997,召回率為0.999。

表6 消融研究測(cè)試結(jié)果

3 結(jié)束語

本文提出一種基于多視圖的神經(jīng)網(wǎng)絡(luò)模型PSS-Net用于毫米波圖像威脅識(shí)別。多視圖架構(gòu)解決了掃描對(duì)象的多方位問題,注意力機(jī)制顯著提升召回率,在實(shí)際應(yīng)用中可有效降低誤判率。該模型在HD-AIT毫米波人體威脅掃描數(shù)據(jù)集中取得較高的識(shí)別精度,驗(yàn)證了其在威脅識(shí)別領(lǐng)域的有效性,有助于危險(xiǎn)物品的精細(xì)化識(shí)別,對(duì)于提升公共區(qū)域安全具有重要意義。后續(xù)將針對(duì)不同對(duì)象的生理畸變進(jìn)行研究,以提高本文模型在幾何變形嚴(yán)重場(chǎng)景下的識(shí)別準(zhǔn)確率。