紅外弱光環(huán)境下多尺度密集注意力鐵路異物檢測

陳 永，盧晨濤，王 鎮(zhèn)

(蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070)

隨著我國鐵路建設(shè)的快速發(fā)展，鐵路的運(yùn)營安全備受關(guān)注，異物侵入鐵路限界會(huì)嚴(yán)重影響高速鐵路行車安全[1]。在夜間等低照度環(huán)境下，鐵路區(qū)域不夠明顯，侵入鐵路異物的特征不夠清晰，給異物檢測造成極大困難。利用紅外成像系統(tǒng)抗干擾能力強(qiáng)、不易受惡劣環(huán)境影響的特點(diǎn)，開展弱光環(huán)境下鐵路異物侵限檢測，能夠有效彌補(bǔ)可見光設(shè)備在能見度低等條件下無法正常工作的不足，從而更好地保障鐵路的全天候異物侵限檢測。但不同于可見光彩色RGB圖像，紅外成像后存在信噪比低、色彩缺失、邊緣模糊、紋理細(xì)節(jié)缺失等問題[2]，導(dǎo)致對(duì)紅外弱光環(huán)境下鐵路異物的檢測難度增大。

傳統(tǒng)的紅外目標(biāo)檢測研究方法主要有模板匹配法、變化魯棒性檢測、背景差分法等[3-5]，大多依賴于先驗(yàn)特性及人工設(shè)計(jì)進(jìn)行目標(biāo)特征提取，檢測結(jié)果缺乏語義信息，對(duì)紅外場景目標(biāo)的檢測效果并不理想[6]。近年來，隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的興起，基于神經(jīng)網(wǎng)絡(luò)的紅外目標(biāo)檢測取得了較大進(jìn)展。Li等[7]針對(duì)鐵路不同異物場景，提出了一種改進(jìn)的單向多框檢測器 (Single Shot Multibox Detector，SSD)模型，通過添加多區(qū)域塊的特征提取機(jī)制增加局部上下文信息，提高了鐵路異物侵限中小目標(biāo)檢測的準(zhǔn)確率。Chen等[8]采用Faster R-CNN檢測算法獲得檢測候選區(qū)域，然后使用MOT的數(shù)據(jù)關(guān)聯(lián)方法將檢測到的對(duì)象關(guān)聯(lián)為軌跡，提升了紅外目標(biāo)的檢測穩(wěn)定性。趙興科等[9]設(shè)計(jì)使用輕量化網(wǎng)絡(luò)YOLOv3檢測網(wǎng)絡(luò)模型，采用MobileNetv2作為特征提取網(wǎng)絡(luò)，并使用BASNet生成顯著圖，通過通道替換和像素級(jí)加權(quán)融合兩種方案將熱紅外圖像與其對(duì)應(yīng)的顯著圖進(jìn)行融合增強(qiáng)，提升了交通場景下紅外目標(biāo)檢測模型的速度。

綜上所述，現(xiàn)有的深度學(xué)習(xí)方法大多采用多尺度特征提取方法，但存在不能充分利用層間語義信息的問題，導(dǎo)致在紅外弱光環(huán)境下鐵路異物侵限檢測時(shí)存在目標(biāo)特征提取不充分、檢測精度低的問題。針對(duì)以上問題，本文在Mask R-CNN檢測模型的基礎(chǔ)上，提出一種紅外弱光環(huán)境下的多尺度密集注意力鐵路異物檢測方法。首先，改進(jìn)設(shè)計(jì)密集連接的多尺度FPN金字塔特征提取網(wǎng)絡(luò)，加強(qiáng)對(duì)特征圖的利用，提高紅外弱光環(huán)境下目標(biāo)的檢測精度。其次，引入CBAM注意力機(jī)制并改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)，提高對(duì)弱光紅外目標(biāo)區(qū)域的關(guān)注度，突出紅外弱光環(huán)境下的目標(biāo)特征，使得弱光環(huán)境下鐵路異物檢測語義分割更準(zhǔn)確。然后，改進(jìn)k-means算法，重新預(yù)設(shè)錨點(diǎn)框大小，以提升錨點(diǎn)框?qū)δ繕?biāo)區(qū)域定位的準(zhǔn)確性。最后，采用鐵路紅外數(shù)據(jù)集及現(xiàn)場實(shí)驗(yàn)進(jìn)行算法性能測試，實(shí)驗(yàn)結(jié)果表明，本文方法在紅外弱光環(huán)境下可以更加準(zhǔn)確地檢測出鐵路異物，并實(shí)現(xiàn)了鐵路限界區(qū)域的準(zhǔn)確劃分，在主客觀評(píng)價(jià)方面均優(yōu)于對(duì)比方法。

1 本文算法

1.1 網(wǎng)絡(luò)整體架構(gòu)

弱光環(huán)境下紅外圖像對(duì)比度更低，紋理等細(xì)節(jié)信息缺乏，極易丟失目標(biāo)細(xì)節(jié)信息[10]?，F(xiàn)有深度學(xué)習(xí)方法在紅外圖像目標(biāo)檢測時(shí)，一般通過一系列卷積核提取圖像單尺度特征，比較適合紋理細(xì)節(jié)信息豐富的可見光圖像，在對(duì)紅外圖像進(jìn)行檢測時(shí)，容易出現(xiàn)紅外圖像特征提取能力弱、檢測精度低等問題。為此本文在Mask R-CNN[11]檢測模型的基礎(chǔ)上，提出一種弱光環(huán)境下多尺度密集注意力的鐵路異物檢測方法，其整體網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)

首先通過本文提出的密集連接CBAM-ResNet-FPN特征提取網(wǎng)絡(luò)，利用密集連接結(jié)構(gòu)充分提取特征信息，并結(jié)合注意力CBAM機(jī)制增強(qiáng)特征圖的有用信息，從而提高被檢測紅外目標(biāo)的關(guān)注度。然后，在區(qū)域建議網(wǎng)絡(luò)RPN中采用改進(jìn)k-means算法重新預(yù)設(shè)錨點(diǎn)框來提高對(duì)目標(biāo)區(qū)域建議的準(zhǔn)確性。最后，通過全連接層和全卷積網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)鐵路異物的語義分割及檢測，從而達(dá)到對(duì)鐵路異物侵限檢測的目的。通過本文提出的方法，不但可以獲得鐵路異物檢測的高準(zhǔn)確率，而且還可以獲得目標(biāo)像素級(jí)的語義分割。

1.2 密集連接FPN

原始FPN與本文密集連接FPN對(duì)比見圖2。原始Mask R-CNN是一種在Faster R-CNN基礎(chǔ)上提出的掩碼型區(qū)域目標(biāo)檢測卷積神經(jīng)網(wǎng)絡(luò)，采用多尺度金字塔FPN結(jié)構(gòu)進(jìn)行目標(biāo)特征提取，通過不同分支同時(shí)實(shí)現(xiàn)目標(biāo)檢測和目標(biāo)分割等任務(wù)，見圖2(a)。然而金字塔特征層次法存在不能充分利用層間語義信息的缺點(diǎn)，易導(dǎo)致小目標(biāo)對(duì)象漏檢[12]。同時(shí)，原始FPN網(wǎng)絡(luò)對(duì)分辨率較低的紅外目標(biāo)圖像的輪廓和邊緣信息特征提取能力較弱，尤其是夜間紅外圖像目標(biāo)特征不夠明顯，導(dǎo)致特征提取困難，影響了鐵路異物檢測的準(zhǔn)確率，給高速鐵路行車安全監(jiān)控造成了巨大的隱患。因此，本文借鑒DenseNet[13]密集連接思想，通過建立不同特征層之間的連接關(guān)系，在FPN網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了從低維特征到高維特征的密集強(qiáng)連接，如圖2(b)所示，以便更加充分利用特征圖信息。

圖2 原始FPN與本文密集連接FPN對(duì)比

在原始FPN中，如果所在特征圖位于l層，那么就會(huì)有1個(gè)自上而下的連接和1個(gè)對(duì)應(yīng)的橫向連接特征圖進(jìn)行融合，即

Xl=Hl+Xl-1

(1)

Xl=Hl+(X0+X1+…+Xl-1)

(2)

相比于原始FPN網(wǎng)絡(luò)，本文采用密集連接和橫向連接進(jìn)行特征融合，圖2(b)中右側(cè)特征圖的輸入將由對(duì)應(yīng)的橫向連接和前面每一層的輸入得到，可以充分利用不同尺度的特征信息，從而將不同尺度特征間的信息進(jìn)行融合，更好地利用高層和底層的特征信息，更有利于獲得豐富準(zhǔn)確的特征圖。

1.3 融合CBAM模塊

夜間鐵路異物侵限檢測時(shí)，由于物體的紅外輻射率差別不大，從而導(dǎo)致紅外弱光環(huán)境下紅外圖像細(xì)節(jié)不夠清楚[10]。為了提高弱光環(huán)境下目標(biāo)檢測的針對(duì)性，本文采用注意力機(jī)制抑制無用信息，而將檢測重心放在感興趣區(qū)域，有助于從弱光紅外圖像等復(fù)雜場景中迅速感知視覺顯著性目標(biāo)。為了更好地提取特征圖的空間信息和通道信息，將CBAM注意力機(jī)制[14]引入到Mask R-CNN的FPN特征提取網(wǎng)絡(luò)中，用于更好地對(duì)紅外圖像重要特征信息進(jìn)行提取。CBAM原理示意圖見圖3。首先將輸入的特征圖，通過通道注意力機(jī)制模塊，得到通道信息增強(qiáng)的通道注意力特征圖；然后將增強(qiáng)后的特征圖輸入到空間注意力機(jī)制模塊中，對(duì)空間域信息進(jìn)行相應(yīng)的變換，從而實(shí)現(xiàn)對(duì)關(guān)鍵信息的提取，最終得到信息增強(qiáng)的特征圖。

圖3 CBAM原理示意圖

采用CBAM機(jī)制對(duì)紅外圖像進(jìn)行顯著性特征檢測時(shí)，需要定義中間層的特征圖F，F(xiàn)∈RC*H*W，其中C、W、H分別為特征圖的通道數(shù)、寬度、高度。首先CBAM將會(huì)推理得到一個(gè)一維的通道注意力權(quán)重MC∈RC*1*1，通過該值與輸入的特征圖相乘得到F′。然后CBAM繼續(xù)推斷出一個(gè)二維的空間注意力權(quán)重MS∈R1*H*W。最后利用F′與MS相乘得到最終的特征圖F″。計(jì)算過程為

F′=MC(F)?F

(3)

F″=MS(F′)?F′

(4)

為了說明本文引入CBAM注意力模塊的效果，下面進(jìn)行加入CBAM注意力模塊后可視化熱力圖比較實(shí)驗(yàn)，將注意力特征圖與輸入原圖進(jìn)行空間映射，得到相應(yīng)的注意力熱力圖。紅外注意力特征熱力圖對(duì)比效果見圖4。在熱力圖中越偏紅色說明該區(qū)域?qū)τ谧罱K檢測結(jié)果的貢獻(xiàn)越大，藍(lán)色說明越小。從圖4比較實(shí)驗(yàn)可以看出，本文結(jié)果明顯優(yōu)于未加注意力機(jī)制的結(jié)果，說明通過本文方法增加注意力機(jī)制以后，對(duì)于夜間弱光環(huán)境下的鐵路被檢測區(qū)域和檢測目標(biāo)可以準(zhǔn)確地予以聚焦和關(guān)注，而且對(duì)于干擾等信息進(jìn)行了有效抑制，能夠有效提高對(duì)目標(biāo)通道和空間信息的聚焦能力。

圖4 紅外注意力特征熱力圖對(duì)比效果

1.4 改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)

弱光夜視環(huán)境下鐵路異物檢測時(shí)，當(dāng)遠(yuǎn)距離成像后，紅外圖像背景強(qiáng)度一般很高，空域背景變化復(fù)雜，而要檢測的目標(biāo)強(qiáng)度相對(duì)而言較弱，容易淹沒在較強(qiáng)的背景雜波里，給目標(biāo)檢測帶來很大困難，傳統(tǒng)的級(jí)聯(lián)深度模型難以實(shí)現(xiàn)有效檢測[12]。為了充分提取待檢測紅外圖像的目標(biāo)特征，本文提出采用改進(jìn)的ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取，采用自下至上、密集連接、橫向連接等方法進(jìn)行特征提取網(wǎng)絡(luò)結(jié)構(gòu)連接，并在特征圖連接中間穿插注意力機(jī)制CBAM模塊進(jìn)行特征圖有用信息增強(qiáng)。改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)見圖5。

圖5 改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)

圖5中采用自下至上連接的方式逐層進(jìn)行特征提取，以便獲得更多的細(xì)節(jié)特征信息。首先得到低層邊緣等特征信息，然后再逐步得到較高層語義等特征信息。自下至上連接的方式采用ResNet作為骨干網(wǎng)絡(luò)，由五部分構(gòu)成，對(duì)應(yīng)殘差模塊輸出表示為{C1，C2，C3，C4，C5}。其中每一層的分辨率不斷變?yōu)樵鹊?/2，分別對(duì)應(yīng)于下采樣的步長為2、4、8、16、32，選擇C2、C3、C4、C5這4層信息作為FPN的特征圖進(jìn)行后續(xù)運(yùn)算。

在提取紅外圖像高層語義特征后，為了充分利用高層語義特征，采用密集連接將高層的語義特征也傳遞給底層特征，使得底層特征也具有較高語義信息，從而更加有效地利用特征圖。每層密集連接的輸入均匯集之前所有層的輸出，對(duì)前面每一層進(jìn)行上采樣融合。圖5中，C5通過CBAM注意力機(jī)制模塊增強(qiáng)有用特征信息，再經(jīng)過1×1的卷積整合通道數(shù)得到M5特征圖。M4特征信息由M5和對(duì)應(yīng)的融合了CBAM模塊的橫向連接信息融合得到，以此類推，M3特征信息由M4、M5的特征信息和對(duì)應(yīng)的融合了CBAM模塊的橫向連接信息融合得到，M2特征信息由M3、M4、M5的特征信息和對(duì)應(yīng)的融合了CBAM模塊的橫向連接信息融合得到。采用密集連接方式可以更加充分地利用高層和底層的特征信息，以便獲得特征信息更加準(zhǔn)確的特征圖。

最后，對(duì)自下而上生成的特征圖和密集連接生成的特征圖采用橫向連接進(jìn)行融合，并通過1×1的卷積操作通道降維，最終得到特征更豐富的多尺度信息特征圖。整個(gè)過程可以表示為

(5)

式中：f1×1()為1×1的卷積；fCBAM()為CBAM模塊處理；函數(shù)f2up()、f4up()、f8up()分別為2倍、4倍、8倍上采樣操作；⊕為對(duì)應(yīng)元素相加的融合操作。最后，為了消除上采樣的混疊效應(yīng)[15]，對(duì)每個(gè)融合結(jié)果采用3×3的卷積核進(jìn)行卷積操作，從而得到最終的P2、P3、P4、P5層特征。

1.5 改進(jìn)錨點(diǎn)框聚類

由于原始Mask R-CNN目標(biāo)邊界框預(yù)測時(shí)采用的是大小為{(128×128)，(256×256)，(512×512)}、長寬比例為{(1∶1)，(1∶2)，(2∶1)}的9個(gè)錨點(diǎn)框，預(yù)訓(xùn)練采用的COCO數(shù)據(jù)集分類對(duì)象尺寸差異較大，而在鐵路異物侵限檢測中多以長而窄的矩形為主，這就使得原始Mask R-CNN預(yù)選框會(huì)出現(xiàn)某一尺度未能有效利用的情況，因此本文采用k均值聚類算法對(duì)原始錨點(diǎn)框進(jìn)行改進(jìn)。

傳統(tǒng)k-means算法在類間相似性計(jì)算時(shí)一般采用歐氏距離度量，但在檢測算法中，像素級(jí)的歐式距離計(jì)算導(dǎo)致運(yùn)算量較大，且無法實(shí)現(xiàn)對(duì)目標(biāo)的有效語義分割。為了度量錨點(diǎn)框的相似性，可以通過計(jì)算錨點(diǎn)框與k-means聚類中心框的相似度進(jìn)行比較，當(dāng)錨點(diǎn)框與聚類中心框的形狀相似度越大時(shí)，其共有相交的比例越大，該指標(biāo)可以用交并比IoU進(jìn)行衡量。交并比可以衡量錨點(diǎn)框和聚類框之間的重合程度，其值越大，表示錨點(diǎn)框與聚類中心框越相近。因此本文采用含有交并比的距離度量進(jìn)行聚類，其公式為

d(b,o)=1-IoU(b,o)

(6)

(7)

式中：bpred為預(yù)測框；btruth為實(shí)際框；d(b,o)為預(yù)測框b和聚類中心o之間的距離，其值的范圍在0～1之間。通過k-means算法對(duì)錨點(diǎn)框進(jìn)行重新優(yōu)化，得到適合鐵路異物侵限數(shù)據(jù)的預(yù)設(shè)錨點(diǎn)框，求得平均聚類結(jié)果為{(11，59)、(14，66)、(17，99)}，{(38，67)、(50，98)、(60，190)}，{(67，178)、(100，168)、(224，150)}。預(yù)設(shè)錨點(diǎn)框作用范圍比較見圖6。

圖6 預(yù)設(shè)錨點(diǎn)框作用范圍比較

從圖6可以看出，原始預(yù)設(shè)錨點(diǎn)框不能很好適應(yīng)鐵路異物圖像目標(biāo)，鐵路區(qū)域錨框及遠(yuǎn)處行人錨點(diǎn)框均無法有效實(shí)現(xiàn)對(duì)于待檢測目標(biāo)的擬合，造成后期特征圖計(jì)算量增大，見圖6(a)；而采用本文方法重新聚類后，可以看出錨點(diǎn)框比例大小符合鐵路異物圖像目標(biāo)的形狀特點(diǎn)，較好地對(duì)被檢測對(duì)象進(jìn)行選擇，如圖6(b)所示，改進(jìn)后可以生成更優(yōu)的目標(biāo)候選區(qū)域。

1.6 損失函數(shù)

損失函數(shù)設(shè)計(jì)與Mask R-CNN類似，包括分類損失Lclass、邊界框坐標(biāo)回歸損失Lbox、分割損失Lmask三部分[11]?？倱p失函數(shù)L為

L=Lcalss+Lbox+Lmask

(8)

Lclass、Lbox定義為

(9)

(10)

掩碼損失函數(shù)為平均二值交叉熵?fù)p失函數(shù)，計(jì)算公式為

(11)

2 實(shí)驗(yàn)驗(yàn)證

2.1 弱光環(huán)境下鐵路異物數(shù)據(jù)集

所有侵入鐵路限界、妨礙鐵路系統(tǒng)安全正常運(yùn)行的物體均可視為侵限異物，包括行人、車輛、動(dòng)物、落石等。將上述異物類型收集形成鐵路異物檢測數(shù)據(jù)集。首先選取FLIR公司發(fā)布的紅外交通數(shù)據(jù)集中夜間紅外數(shù)據(jù)作為FLIR異物數(shù)據(jù)集，并利用紅外攝像機(jī)在鐵路現(xiàn)場實(shí)地拍攝夜間鐵路紅外圖像，使用labelme工具進(jìn)行圖片標(biāo)記，制作成弱光環(huán)境下鐵路數(shù)據(jù)集，共計(jì)6 500張圖片。將其中70%作為訓(xùn)練集，用于模型的訓(xùn)練；30%作為測試集，用于驗(yàn)證模型的泛化能力。夜間紅外數(shù)據(jù)集示例見圖7，包括FLIR數(shù)據(jù)集和本文現(xiàn)場拍攝制作的數(shù)據(jù)集。

圖7 夜間紅外數(shù)據(jù)集示例

2.2 模型訓(xùn)練

為了驗(yàn)證本文算法的有效性，進(jìn)行對(duì)比實(shí)驗(yàn)。硬件配置為Intel(R) Core i7-9700K CPU@3.6 GHz，64.0 GB RAM，NVIDIA GeForce GTX 1660。模型訓(xùn)練時(shí)，學(xué)習(xí)率設(shè)為0.001，batch-size=32，epoch=100。經(jīng)過兩次遷移訓(xùn)練：第一次在FLIR數(shù)據(jù)集上進(jìn)行訓(xùn)練，增強(qiáng)模型對(duì)紅外圖像目標(biāo)的識(shí)別定位能力；第二次在自制的夜間紅外鐵路數(shù)據(jù)集上進(jìn)行，增強(qiáng)模型對(duì)鐵路場景目標(biāo)檢測的魯棒性和泛化能力。本文模型在TensorBoard損失函數(shù)可視化結(jié)果訓(xùn)練變化見圖8。

從圖8可以看出，隨著訓(xùn)練周期的迭代，本文模型逐步趨于平穩(wěn)收斂。

圖8 本文模型損失函數(shù)變化

2.3 遠(yuǎn)近景及遮擋異物侵限檢測實(shí)驗(yàn)

為了說明本文方法的有效性，針對(duì)近景、遠(yuǎn)景小目標(biāo)、穿越鐵軌、遮擋、多目標(biāo)等弱光紅外圖像進(jìn)行鐵路異物侵限檢測實(shí)驗(yàn)，并與文獻(xiàn)[7-9]以及原始Mask R-CNN[11]方法進(jìn)行對(duì)比。不同算法在弱光紅外鐵路場景下的檢測結(jié)果見圖9。圖9中對(duì)比算法檢測結(jié)果局部放大見圖10，為部分誤檢或漏檢的情況。

圖9 不同算法在弱光紅外鐵路場景下的檢測結(jié)果

圖10 對(duì)比算法檢測結(jié)果局部放大

圖9中五列分別為近景、遠(yuǎn)近景穿越鐵軌、遠(yuǎn)景小目標(biāo)、遮擋、多目標(biāo)等典型弱光鐵路異物侵限場景。從實(shí)驗(yàn)結(jié)果可以看出：對(duì)于近景和遠(yuǎn)近景穿越鐵軌，5種方法均能實(shí)現(xiàn)基本檢測功能。其中，文獻(xiàn)[7]采用改進(jìn)SSD的方法，通過添加多區(qū)域塊的特征提取機(jī)制增加局部上下文信息提高檢測精度，但在目標(biāo)框鐵路區(qū)域的選擇定位上沒有Faster R-CNN準(zhǔn)確，如圖9(b)中的第4幅，標(biāo)記3號(hào)與標(biāo)記4號(hào)目標(biāo)之間出現(xiàn)誤檢，局部放大圖見圖10(a)。文獻(xiàn)[8]采用Faster R-CNN在識(shí)別鐵軌時(shí)具有較高的精度，但在遮擋和遠(yuǎn)景多目標(biāo)檢測中出現(xiàn)了漏檢現(xiàn)象，如圖9(c)中的第4幅，標(biāo)記為2號(hào)的遮擋目標(biāo)未能有效檢測，局部放大圖見圖10(b)。文獻(xiàn)[9]采用改進(jìn)YOLOv3的方法具有較好的檢測結(jié)果，但因?yàn)樵摲椒ú捎幂p量化網(wǎng)絡(luò)進(jìn)行紅外目標(biāo)檢測，特征提取能力不足，導(dǎo)致其檢測準(zhǔn)確率低于文獻(xiàn)[8]Faster R-CNN方法；另外，YOLOv3在遠(yuǎn)景小目標(biāo)實(shí)驗(yàn)中出現(xiàn)了漏檢現(xiàn)象，如圖9(d)中的第3幅，標(biāo)記2號(hào)目標(biāo)之間出現(xiàn)漏檢，局部放大圖見圖10(c)。Mask R-CNN存在未能徹底對(duì)鐵路區(qū)域進(jìn)行分割的問題，如圖9(e)中第1幅中的近景行人，局部放大圖見圖10(d)，以及第5幅中仍有大量鐵軌區(qū)域未能準(zhǔn)確進(jìn)行分割。本文算法相較于比較方法，具有更高的檢測精度，對(duì)出現(xiàn)的鐵路和行人都做到了準(zhǔn)確的識(shí)別；相較于原始Mask R-CNN檢測結(jié)果，本文算法的圖像邊緣掩膜處理效果更好，如圖9(f)第5幅所示。由此可見，本文方法能夠完整地實(shí)現(xiàn)對(duì)該鐵路區(qū)域的分割，同時(shí)具有更加準(zhǔn)確的掩膜處理能力。

2.4 其他鐵路異物檢測實(shí)驗(yàn)

為了驗(yàn)證本文算法對(duì)其他常見鐵路異物檢測的有效性，在紅外弱光環(huán)境下對(duì)常見鐵路異物(石頭、動(dòng)物、人和自行車)進(jìn)行了現(xiàn)場檢測實(shí)驗(yàn)，檢測結(jié)果見圖11。從圖11中可以看出，本文算法在夜間弱光場景下能夠正確地劃分出鐵路限界區(qū)域，取得了良好的檢測效果。鐵路異物限界區(qū)域的劃分，對(duì)于保障行車安全具有重要的意義。其中，圖11(a)中對(duì)于并不明顯的石塊小目標(biāo)能夠?qū)崿F(xiàn)準(zhǔn)確的檢測；圖11(b)中同樣對(duì)于動(dòng)物也可以準(zhǔn)確檢測；圖11(c)中較好地對(duì)自行車和被遮擋的行人也做出了準(zhǔn)確的檢測。

圖11 常見鐵路異物檢測結(jié)果

2.5 鐵路異物侵限視頻檢測

為了進(jìn)一步驗(yàn)證本文算法在現(xiàn)實(shí)復(fù)雜鐵路場景應(yīng)用的有效性，選取了一段鐵路道口視頻進(jìn)行現(xiàn)場測試，紅外視頻測試結(jié)果見圖12。圖12中，待檢測場景環(huán)境復(fù)雜，存在較多隨機(jī)干擾因素，且紅外圖像中存在較多噪聲等影響。

圖12 紅外視頻測試結(jié)果

由圖12可見，本文算法能夠較好地檢測出鐵路區(qū)域，對(duì)該視頻序列中的鐵路區(qū)域能夠有效實(shí)現(xiàn)語義分割劃分，在夜間弱光環(huán)境下具有較好的檢測效果；對(duì)于視頻序列中出現(xiàn)的行人、汽車和農(nóng)用車輛等鐵路異物均取得了較好的檢測結(jié)果，如圖12(d)和圖12(e)所示，行人之間、車輛之間發(fā)生相互遮擋現(xiàn)象，本文方法均能有效檢出；圖12(c)中農(nóng)用車輛穿越鐵軌區(qū)域時(shí)也實(shí)現(xiàn)了準(zhǔn)確檢測；圖12(j)中行人運(yùn)動(dòng)過程中使目標(biāo)尺度發(fā)生改變，而本文算法能夠?qū)δ繕?biāo)進(jìn)行準(zhǔn)確的檢測。以上實(shí)驗(yàn)表明：本文算法在弱光低照度復(fù)雜鐵路場景下，能夠?qū)崿F(xiàn)目標(biāo)的有效檢測，具有較好的檢測結(jié)果。

3 性能評(píng)價(jià)

為了評(píng)估本文算法的鐵路異物侵限檢測性能，分別計(jì)算不同算法在測試集上的精確率P、召回率R、精確率和召回率的調(diào)和平均數(shù)F1值、像素準(zhǔn)確率PA值。PA值越大，表示掩碼位置越準(zhǔn)確；精確率越高代表模型的誤檢率越低；召回率越高代表模型的漏檢率越低。不同算法在異物侵限測試集上的測試結(jié)果對(duì)比見表1。

表1 不同算法在異物侵限測試集上的測試結(jié)果對(duì)比

從表1可以看出，文獻(xiàn)[11]的Mask R-CNN算法在檢測精度方面僅低于本文方法，而高于Faster R-CNN、YOLOv3和SSD算法。在5種方法中，本文算法檢測精度最高，精確率較Mask R-CNN提高了3%左右，召回率提高了6%左右，目標(biāo)的檢測能力得到提升。此外，在像素準(zhǔn)確率方面，PA值提升了8%左右，掩膜的位置更加準(zhǔn)確。從以上定性和定量評(píng)價(jià)實(shí)驗(yàn)可以得出：本文具有較高的紅外目標(biāo)檢測精度，可以有效實(shí)現(xiàn)對(duì)弱光環(huán)境下鐵路異物及鐵路鋼軌區(qū)域的檢測。

4 消融實(shí)驗(yàn)與聚類優(yōu)化比較

4.1 主干網(wǎng)絡(luò)模塊消融實(shí)驗(yàn)分析

在對(duì)不同比較方法性能對(duì)比分析后，為了驗(yàn)證不同模塊對(duì)本文模型的有效性，分別從模型空間大小、均值平均精度mAP、檢測時(shí)間指標(biāo)3個(gè)方面進(jìn)行消融實(shí)驗(yàn)，以得到不同模塊對(duì)于本文模型重要性的定量分析。不同網(wǎng)絡(luò)模塊在紅外鐵路異物測試集上的測試結(jié)果對(duì)比見表2。

表2 不同網(wǎng)絡(luò)模塊在紅外鐵路異物測試集上的測試結(jié)果對(duì)比

從表2 測試結(jié)果對(duì)比可以看出：在基準(zhǔn)模型上僅嵌入CBAM模塊后，網(wǎng)絡(luò)模型大小增加6 MB，平均精度均值mAP提升4%左右，驗(yàn)證了CBAM模塊的有效性；在增加了密集連接模塊后，模型大小幾乎沒有變化，其原因是密集連接并沒有新增卷積層，僅在已有基礎(chǔ)特征圖上進(jìn)行融合運(yùn)算，不會(huì)增加模型大小，而檢測性能指標(biāo)mAP由88.24%提升至90.15%；同時(shí)，在測試檢測時(shí)間方面，相較于基準(zhǔn)模型的檢測時(shí)間，嵌入模塊后檢測時(shí)間要略低于基準(zhǔn)模型，但差距不大；此外，在基準(zhǔn)模型上同時(shí)嵌入CBAM和密集FPN模塊后，平均精度mAP可以達(dá)到94.36%，比基準(zhǔn)模型提高了6%左右。通過上述消融實(shí)驗(yàn)可以發(fā)現(xiàn)，通過CBAM模塊和密集連接FPN模塊可以增強(qiáng)紅外弱光下目標(biāo)特征，提高了弱光環(huán)境下鐵路異物檢測的性能。

4.2 橫向連接CBAM模塊個(gè)數(shù)消融實(shí)驗(yàn)分析

在以上主干網(wǎng)絡(luò)模塊消融實(shí)驗(yàn)的基礎(chǔ)上，進(jìn)一步對(duì)CBAM橫向連接個(gè)數(shù)對(duì)模型的影響進(jìn)行分析。橫向連接中CBAM模塊個(gè)數(shù)消融實(shí)驗(yàn)分析結(jié)果見表3。從表3中可以看出，在嵌入第一個(gè)CBAM模塊后，模型大小增加了1.5 MB，但準(zhǔn)確率提升最為明顯，達(dá)到91.05%；當(dāng)分別嵌入2個(gè)、3個(gè)CBAM模塊后，模型在準(zhǔn)確率上略微有所提高，但檢測時(shí)間也有所增加；而每一層都嵌入CBAM模塊的連接方式，即嵌入4個(gè)CBAM模塊后，此時(shí)模型的準(zhǔn)確率最高，檢測時(shí)間變化不大。

表3 橫向連接中CBAM模塊個(gè)數(shù)消融實(shí)驗(yàn)分析結(jié)果

4.3 k-means聚類優(yōu)化性能分析

為了驗(yàn)證本文所提k-means聚類方法預(yù)設(shè)錨點(diǎn)框?qū)z測模型的影響，分別采用固定錨點(diǎn)框和加入聚類錨點(diǎn)框兩種策略對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與測試。加入聚類優(yōu)化錨點(diǎn)框后的模型測試結(jié)果對(duì)比見表4。原始Mask R-CNN算法中采用固定anchors大小尺度的方法來預(yù)設(shè)錨點(diǎn)框，而本文根據(jù)紅外鐵路異物數(shù)據(jù)集的特點(diǎn)采用改進(jìn)k-means聚類的方法獲得預(yù)設(shè)錨點(diǎn)框，對(duì)比兩種策略實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn)：選用本文聚類優(yōu)化錨點(diǎn)框的方式，可以有效縮短訓(xùn)練時(shí)間，加速網(wǎng)絡(luò)收斂，對(duì)于平均檢測精度均值而言，約有1%的性能提升。分析其原因?yàn)椴捎镁垲惙椒軌蚋玫貙⒈粰z測對(duì)象進(jìn)行選擇，使得復(fù)雜背景對(duì)框定目標(biāo)的干擾減少，從而更加準(zhǔn)確地得到目標(biāo)候選區(qū)域，加快網(wǎng)絡(luò)收斂時(shí)間，提高算法的檢測精度。

表4 加入聚類優(yōu)化錨點(diǎn)框后的模型測試結(jié)果對(duì)比

5 結(jié)論

為了提高夜間鐵路異物檢測能力，針對(duì)紅外弱光環(huán)境下鐵路異物侵限檢測時(shí)存在目標(biāo)特征提取不充分、檢測精度低的問題，在Mask R-CNN檢測模型的基礎(chǔ)上，提出一種紅外弱光環(huán)境下的多尺度密集注意力鐵路異物檢測方法。結(jié)果表明：

(1) 本文方法通過改進(jìn)設(shè)計(jì)密集連接的多尺度FPN金字塔網(wǎng)絡(luò)，促進(jìn)了不同尺度特征間的信息融合，更好地利用了高層和底層的特征信息，提高了紅外弱光環(huán)境下的鐵路異物檢測精度。

(2) 引入CBAM注意力機(jī)制并改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)后，提高了對(duì)目標(biāo)區(qū)域的關(guān)注度，突出了紅外弱光環(huán)境下的目標(biāo)特征，使得弱光環(huán)境下鐵路軌道區(qū)域分割效果更好。同時(shí)，改進(jìn)k-means算法來重新預(yù)設(shè)錨點(diǎn)框大小，可以提升錨點(diǎn)框?qū)δ繕?biāo)區(qū)域定位的準(zhǔn)確性。

(3) 通過鐵路紅外數(shù)據(jù)集及現(xiàn)場實(shí)驗(yàn)，表明本文方法具有較高的檢測精度，精確率可達(dá)89.24%，較Mask R-CNN召回率提高了6%，像素準(zhǔn)確率提升了8%，能夠在紅外弱光環(huán)境下更加準(zhǔn)確地檢測出鐵路異物。