基于深度卷積神經(jīng)網(wǎng)絡(luò)的高速鐵路積雪深度判識(shí)方法

包 云 ， 李俊波 ， 陳中雷 ， 溫桂玉

（1.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所，北京 100081；2.北京經(jīng)緯信息技術(shù)有限公司，北京 100081）

積雪對(duì)鐵路運(yùn)輸具有重要的影響，可導(dǎo)致道岔不能轉(zhuǎn)動(dòng)，軌旁設(shè)備、接觸網(wǎng)受損，甚至列車(chē)停運(yùn).因此，國(guó)內(nèi)外鐵路都非常重視對(duì)鐵路降雪的監(jiān)測(cè)和降雪天氣下的運(yùn)輸管理［1-3］.我國(guó)高速鐵路建設(shè)有自然災(zāi)害及異物侵限監(jiān)測(cè)系統(tǒng)，雪深監(jiān)測(cè)是系統(tǒng)的重要功能之一，通過(guò)在高速鐵路沿線設(shè)置雪深監(jiān)測(cè)設(shè)備監(jiān)測(cè)固定位置的積雪深度，當(dāng)積雪深度超過(guò)閾值時(shí)進(jìn)行報(bào)警，調(diào)度員根據(jù)規(guī)則進(jìn)行限速設(shè)置，指揮列車(chē)運(yùn)行［4］.高速鐵路雪深監(jiān)測(cè)設(shè)備設(shè)置于我國(guó)0°等溫線（秦嶺—淮河）以北地區(qū)且近10 年最大積雪深度超過(guò)30 mm 的區(qū)段.各線路雪深監(jiān)測(cè)點(diǎn)的設(shè)置數(shù)量不一，且監(jiān)測(cè)范圍有限.降雪過(guò)程中，由于受到列車(chē)運(yùn)行帶雪和風(fēng)吹雪等因素的影響［5］，軌道上的積雪深度動(dòng)態(tài)變化，因此需要研究鐵路沿線積雪深度的動(dòng)態(tài)判識(shí)方法.

目前，關(guān)于鐵路風(fēng)吹雪的研究較多，包括風(fēng)吹雪的形成機(jī)理［5-6］、模擬仿真［7］以及防治措施等［8-9］，對(duì)線路上積雪深度的研究較少.基于圖像識(shí)別的降雪研究多通過(guò)降雪過(guò)程中對(duì)雪花大小的識(shí)別進(jìn)行雪情分析.王步放［10］采用改進(jìn)的幀差法、背景差法對(duì)降雪視頻圖像進(jìn)行分割，判斷小雪、中雪和大雪等雪情.朱磊等［11-12］基于視頻分析雪粒子的特征并估算降雪強(qiáng)度，預(yù)測(cè)了無(wú)風(fēng)和風(fēng)吹雪情況下的雪深.上述研究多考慮無(wú)影響或某一種外部因素（如風(fēng)）影響下靜態(tài)積雪深度的估計(jì)，未考慮列車(chē)運(yùn)行等因素對(duì)線路上積雪深度的動(dòng)態(tài)影響，無(wú)法實(shí)時(shí)掌握鐵路沿線積雪深度.鐵路沿線建設(shè)有綜合視頻監(jiān)控系統(tǒng)，可實(shí)時(shí)獲取沿線視頻圖像，尤其是京張、京滬等線路，雙側(cè)視頻間距達(dá)到200 m，可為基于視頻圖像識(shí)別的雪深判識(shí)提供豐富的圖像資源.目前，氣象部門(mén)也在研究雪深的智能識(shí)別技術(shù)，通過(guò)在識(shí)別點(diǎn)設(shè)置視頻監(jiān)測(cè)設(shè)備和標(biāo)尺，采用視頻讀取標(biāo)尺刻度進(jìn)行積雪深度識(shí)別［13］.但鐵路沿線不具備設(shè)置標(biāo)尺的條件，通過(guò)綜合視頻監(jiān)控系統(tǒng)識(shí)別積雪的精確深度較難.本文根據(jù)高速鐵路雪深監(jiān)測(cè)需求，將高速鐵路沿線積雪深度劃分為100 mm 以下、100 mm~軌面和大于軌面3 個(gè)范圍，基于綜合視頻圖像，通過(guò)圖像分類(lèi)技術(shù)進(jìn)行積雪深度范圍估計(jì)，以動(dòng)態(tài)判識(shí)軌道上的積雪深度，為列車(chē)運(yùn)行和基礎(chǔ)設(shè)施運(yùn)維提供參考.

1 降雪對(duì)鐵路的影響及雪深監(jiān)測(cè)

降雪和積雪對(duì)鐵路具有重要影響，降雪導(dǎo)致軌面濕滑，列車(chē)制動(dòng)性能下降.積雪在道岔的可動(dòng)部位或道床板上凍結(jié)，可使道岔積雪或結(jié)冰后不能正常轉(zhuǎn)換.降雪導(dǎo)致接觸網(wǎng)結(jié)冰、機(jī)車(chē)受電弓掛雪，影響機(jī)車(chē)受流.黏附雪可能壓斷牽引供電和信號(hào)供電線，導(dǎo)致停電.黏著在車(chē)廂底部的雪，在列車(chē)高速運(yùn)行途中墜落，可能砸壞軌旁設(shè)備.另外，線路特定地段（如低填淺挖、堤塹過(guò)渡地段等）的風(fēng)吹雪可能導(dǎo)致雪害、雪崩甚至可能造成行車(chē)中斷［14］.

目前，高速鐵路通過(guò)在沿線設(shè)置自然災(zāi)害及異物侵限監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)軌枕中心的積雪深度，當(dāng)積雪深度達(dá)到報(bào)警閾值時(shí)進(jìn)行報(bào)警，并采集監(jiān)測(cè)點(diǎn)的視頻圖像.雪深監(jiān)測(cè)點(diǎn)根據(jù)各線路歷年降雪情況進(jìn)行設(shè)置，平原地區(qū)設(shè)置間距一般為30 km，山區(qū)設(shè)置間距一般為20 km，各線路雪深監(jiān)測(cè)點(diǎn)的設(shè)置數(shù)量不一，如哈大高速鐵路（哈爾濱—大連）設(shè)置18 處雪深監(jiān)測(cè)點(diǎn)，蘭新二線（蘭州西—烏魯木齊）設(shè)置1 處雪深監(jiān)測(cè)點(diǎn)，限速范圍根據(jù)各監(jiān)測(cè)點(diǎn)的地形地貌等情況設(shè)置.根據(jù)文獻(xiàn)［15］，冰雪天氣下的列車(chē)限速規(guī)定如表1 所示.

表1 冰雪天氣行車(chē)規(guī)定Tab.1 Regulations for driving in icy and snowy weather

由于列車(chē)在運(yùn)行過(guò)程中會(huì)將積雪帶走，大風(fēng)等外部環(huán)境也可能導(dǎo)致積雪的動(dòng)態(tài)變化，因此，高速鐵路自然災(zāi)害及異物侵限監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)的降雪只能代表監(jiān)測(cè)點(diǎn)附近的情況，并不能反映沿線降雪的情況.為及時(shí)了解線路上的積雪情況，需要研究鐵路線路積雪深度的動(dòng)態(tài)判識(shí)方法.

2 雪深圖像預(yù)處理

鐵路綜合視頻監(jiān)控系統(tǒng)實(shí)時(shí)采集鐵路沿線視頻流，為基于圖像識(shí)別的雪深范圍判識(shí)提供了數(shù)據(jù)支撐.目前，鐵路綜合視頻攝像頭不具有夜視功能，夜晚圖像的可用性較差，如圖1 所示，該圖像的雪深識(shí)別結(jié)果如圖2 所示，利用DenseNet-201 深度卷積神經(jīng)網(wǎng)絡(luò)模型判斷當(dāng)前雪深值小于100 mm 的概率為81.05%，識(shí)別結(jié)果的可信度和可用性較差.因此，本文僅采用白天光線較好情況下的圖像作為樣本.

圖1 夜晚綜合視頻圖像Fig.1 Integrated video image at night

圖2 夜晚圖像識(shí)別效果Fig.2 Identification result of the image at night

鐵路沿線綜合視頻監(jiān)控系統(tǒng)前端采集設(shè)備包括設(shè)置于軌旁的槍機(jī)和設(shè)置于鐵塔的球機(jī)，視頻采集范圍不同，尤其是設(shè)置于鐵塔的球機(jī)，采集圖像范圍廣，圖像背景復(fù)雜，圖3 為安裝于鐵塔的球機(jī)采集的視頻圖像，將整張圖像作為樣本，雪深識(shí)別效果如圖4 所示，其中，判識(shí)場(chǎng)景1 雪深小于100 mm 的概率為73.76%，判識(shí)場(chǎng)景2雪深高于軌面的概率為53.32%，識(shí)別結(jié)果的可用性較差.

圖3 復(fù)雜場(chǎng)景的綜合視頻圖像Fig.3 Integrated video images of complex scenarios

圖4 未分割的復(fù)雜場(chǎng)景綜合視頻圖像識(shí)別結(jié)果Fig.4 Identification results in unsegmented complex scenatios of integrated video images

為減少綜合視頻圖像不相關(guān)背景對(duì)識(shí)別結(jié)果的影響，采用U-Net 神經(jīng)網(wǎng)絡(luò)將軌道上的積雪圖像從綜合視頻圖像中分割出來(lái)形成軌道上的雪深數(shù)據(jù)集，以提高模型識(shí)別效果.U-Net 神經(jīng)網(wǎng)絡(luò)是一種用于圖像分割的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，整體網(wǎng)絡(luò)為U 形結(jié)構(gòu)，主要分為編碼器和解碼器2 部分［16］.其中，編碼器由多層卷積操作組成，可對(duì)輸入圖像進(jìn)行特征提取和壓縮，提高模型的感受野和抽象能力；解碼器由多層反卷積操作和跳躍連接組成，可恢復(fù)圖像分辨率，并融合編碼器的低級(jí)特征，提高模型的細(xì)節(jié)還原能力和分割精度.基于U-Net 神經(jīng)網(wǎng)絡(luò)的軌道雪深數(shù)據(jù)集生成過(guò)程分為2 個(gè)階段，如圖5 所示.第一階段，使用U-Net 網(wǎng)絡(luò)學(xué)習(xí)圖像中主要與鐵路相關(guān)的特征區(qū)域，生成掩碼（Mask）圖像，如圖5（b）所示.掩碼圖像是由純黑白像素組成的圖像，其中白色區(qū)域是需要提取的區(qū)域.第二階段，提取白色區(qū)域的外接四邊形，然后將原始圖像與黑白掩碼圖像進(jìn)行逐像素乘法，以獲取目標(biāo)切割區(qū)域的圖像，如圖5（c）所示.切割完成后，從切割區(qū)域中剪裁相應(yīng)大小的圖像，用于生成雪深數(shù)據(jù)集，如圖5（d）所示.相較于直接使用原始圖像進(jìn)行雪深的識(shí)別，基于U-Net 神經(jīng)網(wǎng)絡(luò)分割生成雪深數(shù)據(jù)集的方法能夠盡可能地保證識(shí)別過(guò)程的魯棒性.

圖5 基于U-Net 神經(jīng)網(wǎng)絡(luò)的雪深圖像分割過(guò)程Fig.5 Snow Depth image segmentation process based on U-Net neural network

根據(jù)表1 所示的高速鐵路列車(chē)運(yùn)行監(jiān)測(cè)以及鐵路沿線基礎(chǔ)設(shè)施維護(hù)需求，可將軌道上的積雪深度監(jiān)測(cè)需求劃分為雪深在100 mm 以下、100 mm~軌面和高于軌面3 個(gè)范圍，采用分類(lèi)法進(jìn)行圖像標(biāo)注，將圖像分為3 個(gè)類(lèi)別.高速鐵路自然災(zāi)害及異物侵限監(jiān)測(cè)系統(tǒng)雪深圖像采集是雪深測(cè)量的輔助功能，雪深監(jiān)測(cè)前端采集設(shè)備雪深計(jì)直接讀取雪深值，雪深報(bào)警時(shí)，系統(tǒng)彈出報(bào)警點(diǎn)的視頻圖像，并保存雪深具體值，進(jìn)行雪深報(bào)警復(fù)核，該部分圖像可作為參考對(duì)綜合視頻監(jiān)控系統(tǒng)采集的圖像進(jìn)行標(biāo)注，部分標(biāo)注結(jié)果如圖6 所示.

圖6 部分標(biāo)注結(jié)果Fig.6 Partial annotated results

3 積雪深度識(shí)別

本文提出的基于視頻圖像的雪深范圍判識(shí)屬于圖像分類(lèi)，常用的圖像分類(lèi)模型有K 最近鄰（KNearest Neighbor，KNN）、支持向量機(jī)（Support Vector Machine，SVM）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［17］等模型.由于鐵路綜合視頻監(jiān)控系統(tǒng)并非為視頻圖像識(shí)別而建設(shè)，而是應(yīng)用于工務(wù)、電務(wù)、車(chē)站、客運(yùn)、貨運(yùn)、治安等多個(gè)場(chǎng)景，所采集的圖像背景復(fù)雜.CNN 具有較強(qiáng)的自學(xué)習(xí)能力、容錯(cuò)能力、并行能力以及識(shí)別準(zhǔn)確率高、魯棒性強(qiáng)等特點(diǎn)，對(duì)包含復(fù)雜環(huán)境信息及復(fù)雜背景的圖像有很好的處理效果，在鐵路基礎(chǔ)設(shè)施故障診斷［18-19］、車(chē)體圖像分類(lèi)［20］、車(chē)號(hào)識(shí)別［21］等方面具有廣泛的研究和應(yīng)用.

研究采用深度卷積神經(jīng)網(wǎng)絡(luò)作為分類(lèi)模型進(jìn)行高速鐵路沿線雪深動(dòng)態(tài)判識(shí).用于圖像分類(lèi)的深度卷積神經(jīng)網(wǎng)絡(luò)有視覺(jué)幾何組（Visual Geometry Group，VGG）、殘差網(wǎng)絡(luò)（Residual Network，ResNet）、密集連接卷積網(wǎng)絡(luò)（Densely Connected Convolutional Networks， DenseNet）等.由于可獲得的雪深圖像有限，尤其是積雪較深的圖像，為提高識(shí)別的準(zhǔn)確率，考慮采用DenseNet-201 預(yù)訓(xùn)練模型進(jìn)行雪深深度范圍的判識(shí).

DenseNet 模型每一層的輸入來(lái)自前面所有層的輸出，通過(guò)前面所有層與后面層的密集連接，實(shí)現(xiàn)特征在通道維度上的復(fù)用，極大地縮減了網(wǎng)絡(luò)的參數(shù)量，同時(shí)有效緩解梯度消失問(wèn)題，擺脫了以往通過(guò)加深網(wǎng)絡(luò)層數(shù)（如ResNet 模型）或者拓寬網(wǎng)絡(luò)結(jié)構(gòu)（如Inception 模型）改善網(wǎng)絡(luò)性能的方式［22-23］，DenseNet 模型的輸出為

式中：[x0，x1，…，xk-1]表示將0 到k-1 層輸出的特征進(jìn)行級(jí)聯(lián)；Hk為轉(zhuǎn)換函數(shù).相比于一般深度網(wǎng)絡(luò)直接依賴于最后一層輸出的特征，DenseNet 模型可以融合利用更多低層次的特征，其訓(xùn)練得到的分類(lèi)器具備更加泛化的分類(lèi)性能.

DenseNet-201 模型在ImageNet 數(shù)據(jù)集的一個(gè)子集上進(jìn)行了預(yù)訓(xùn)練，學(xué)習(xí)的數(shù)據(jù)特征更加豐富，可更好地學(xué)到大數(shù)據(jù)集的普遍特征，因此，能夠提供更好的模型初始化和泛化性能. DenseNet-201 模型具有較好的抗過(guò)擬合性能，尤其適用于類(lèi)似于鐵路沿線雪深識(shí)別這種訓(xùn)練數(shù)據(jù)相對(duì)匱乏的情況.因此，本文選擇DenseNet-201 模型作為高速鐵路積雪深度動(dòng)態(tài)判識(shí)方法.

基于DenseNet-201 模型的高速鐵路沿雪深度的判識(shí)流程如圖7 所示，使用DenseNet-201 模型在ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到的權(quán)重作為高速鐵路積雪深度分類(lèi)的初始權(quán)重，然后將自建的積雪深度數(shù)據(jù)集作為輸入對(duì)DenseNet-201 模型進(jìn)行再訓(xùn)練，最后將測(cè)試集輸入到訓(xùn)練后的DenseNet-201 模型中進(jìn)行結(jié)果輸出，并進(jìn)行模型評(píng)價(jià).

圖7 基于DenseNet-201 的高速鐵路沿線積雪深度識(shí)別流程Fig.7 Snow depth identification process along high-speed railway based on DenseNet-201

DenseNet-201 結(jié)構(gòu)如圖8 所示，模型使用4 個(gè)稠密塊.

分類(lèi)器采用Softmax 函數(shù)，損失函數(shù)的計(jì)算式為

式中：zi表示類(lèi)別i的網(wǎng)絡(luò)輸出；n為類(lèi)別數(shù)；pi表示第i類(lèi)的概率.交叉熵?fù)p失函數(shù)為

式中：yi為類(lèi)別i的真實(shí)標(biāo)簽；N為樣本總數(shù).

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)運(yùn)行環(huán)境配置：內(nèi)存 128GB，CPU 為英特爾 Core i9-9900K@3.60 GHz 8 核，軟件環(huán)境為Windows 10 操作系統(tǒng)，深度學(xué)習(xí)框架為T(mén)ensorflow，python3.8.5.以某線路一個(gè)冬季綜合視頻的雪深圖像為樣本，采集下雪時(shí)的圖像1 086 張，其中，雪深在100 mm 以下的圖像418 張，在100 mm~軌面的圖像363 張，在軌面以上的圖像305 張，80% 作為訓(xùn)練集，20% 作為測(cè)試集.訓(xùn)練中采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化算法，網(wǎng)絡(luò)訓(xùn)練參數(shù)如表2 所示，識(shí)別的準(zhǔn)確率和損失值如圖9 所示，經(jīng)過(guò)100 次迭代之后，在測(cè)試集上的識(shí)別準(zhǔn)確率達(dá)93.57%，損失值為0.360 3.

表2 實(shí)驗(yàn)網(wǎng)絡(luò)訓(xùn)練采用的參數(shù)Tab.2 Parameters used in network training

基于同樣的數(shù)據(jù)集，將本文采用的DenseNet-201 模型與VGG-16 和ResNet-50 模型的識(shí)別結(jié)果進(jìn)行比較，結(jié)果如表3 所示.由表3 可知，DenseNet-201 模型的識(shí)別準(zhǔn)確率優(yōu)于VGG-16 和ResNet-50模型.DenseNet-201 模型參數(shù)量最小，這是因?yàn)槊芗B接所導(dǎo)致的高內(nèi)存訪問(wèn)成本和能耗增大，對(duì)內(nèi)存占用大，因此，計(jì)算耗時(shí)要長(zhǎng)于ResNet-50 模型，但是識(shí)別準(zhǔn)確率更高，考慮到實(shí)際應(yīng)用場(chǎng)景，無(wú)論是自然界的降雪、風(fēng)吹雪還是車(chē)帶雪導(dǎo)致的積雪積累到一定的深度都需要一個(gè)過(guò)程，因此，計(jì)算耗時(shí)是在可接受的范圍內(nèi).

表3 不同模型結(jié)果的比較Tab.3 Comparison of results between different models

綜上，建議光線較好時(shí)（如白天）考慮使用基于視頻圖像識(shí)別的高速鐵路沿線雪深范圍識(shí)別方法輔助鐵路沿線積雪深度的動(dòng)態(tài)判識(shí).當(dāng)識(shí)別的雪深范圍大于100 mm 時(shí)，識(shí)別系統(tǒng)會(huì)自動(dòng)提示調(diào)度員調(diào)取視頻圖像進(jìn)行復(fù)核，進(jìn)一步保障列車(chē)運(yùn)行安全.

5 結(jié)論

1） 基于鐵路沿線建設(shè)的綜合視頻監(jiān)控系統(tǒng)采集的視頻圖像，利用U-Net 神經(jīng)網(wǎng)絡(luò)對(duì)軌道上積雪圖像進(jìn)行分割，去除綜合視頻中與雪深識(shí)別無(wú)關(guān)的背景，建立軌道上雪深數(shù)據(jù)集，可提高軌道上雪深識(shí)別結(jié)果的可用性.

2） 采用Densenet-201 深度卷積神經(jīng)網(wǎng)絡(luò)模型建立軌道上雪深范圍動(dòng)態(tài)識(shí)別模型，實(shí)驗(yàn)結(jié)果表明，所建模型對(duì)于光線較好情況下的圖像識(shí)別準(zhǔn)確率達(dá)93.57%，較ResNet-50 和VGG-16 模型分別提高了2.08% 和4.24%.識(shí)別時(shí)間雖然長(zhǎng)于ResNet-50 模型，但在應(yīng)用允許的范圍內(nèi).

3） 作為高速鐵路軌道積雪深度的動(dòng)態(tài)判識(shí)方法，研究可識(shí)別高速鐵路線路上由于風(fēng)吹雪、車(chē)帶雪等導(dǎo)致的軌道上積雪動(dòng)態(tài)變化，便于掌握鐵路全線積雪情況，擴(kuò)大積雪監(jiān)測(cè)范圍.

由于獲得的雪深圖像有限，本文實(shí)驗(yàn)采用的雪深樣本數(shù)據(jù)較少，下一步將繼續(xù)收集雪深視頻數(shù)據(jù)，同時(shí)改進(jìn)優(yōu)化識(shí)別模型，進(jìn)一步減少識(shí)別時(shí)間，提高識(shí)別準(zhǔn)確率.