基于交叉并行卷積神經(jīng)網(wǎng)絡(luò)的貨物列車車廂號(hào)識(shí)別系統(tǒng)

（青島大學(xué) 自動(dòng)化學(xué)院，青島 266071）

0 引言

車廂號(hào)是區(qū)分不同車廂的標(biāo)志，在鐵路貨物運(yùn)輸系統(tǒng)中，準(zhǔn)確的識(shí)別和記錄車廂號(hào)，對(duì)運(yùn)輸費(fèi)用的結(jié)算、鐵路系統(tǒng)的安全穩(wěn)定運(yùn)行等具有十分重要的意義，對(duì)于貨物列車車廂號(hào)的識(shí)別問(wèn)題，國(guó)內(nèi)外已有典型解決方案，由Jang等設(shè)計(jì)的兩階段識(shí)別法[1]，借助模板匹配以及人工的神經(jīng)網(wǎng)絡(luò)來(lái)達(dá)到預(yù)期效果、國(guó)內(nèi)的有通過(guò)射頻識(shí)別的技術(shù)建立起車廂號(hào)的電子標(biāo)簽記錄系統(tǒng)等[2]。傳統(tǒng)的識(shí)別方法大多采用人工干預(yù)設(shè)計(jì)的特征，且包含分割圖像，邊緣提取等繁瑣的步驟，對(duì)周圍環(huán)境、圖片質(zhì)量要求較高，設(shè)計(jì)出來(lái)的系統(tǒng)常存在著效率不高、改造困難、維護(hù)復(fù)雜等缺陷。卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中通過(guò)卷積層以及下采樣層，自動(dòng)學(xué)習(xí)圖片的最優(yōu)特征，通過(guò)更新神經(jīng)元之間的權(quán)重與偏執(zhí)確立模型，在一定程度上，縮短了識(shí)別所需的時(shí)間，極大的提高測(cè)試識(shí)別的準(zhǔn)確率，并且整個(gè)系統(tǒng)更為靈活，便于后期的調(diào)試維護(hù)。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種前饋的拓?fù)浣Y(jié)構(gòu)，它主要包括重復(fù)交替的卷積層、池化層以及全連接層[3]，通過(guò)互聯(lián)多層的平面對(duì)獲取的子特征進(jìn)行階梯式處理，經(jīng)過(guò)多次迭代操作反向調(diào)整優(yōu)化權(quán)重和偏置，從而將視覺系統(tǒng)進(jìn)行模型化，使其對(duì)輸入數(shù)據(jù)的要求更低，具有更好的魯棒性和泛化力。

1.1 稀疏鏈接

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，一層內(nèi)的每個(gè)神經(jīng)元對(duì)下一層所有的神經(jīng)元節(jié)點(diǎn)都是采用全部連接的形式，從而導(dǎo)致網(wǎng)絡(luò)中整體參數(shù)的數(shù)量較多，計(jì)算量太大，而CNN則較之前做出了改進(jìn)，新增了舊網(wǎng)絡(luò)不包含的層級(jí)[4]，通過(guò)感知局部的區(qū)域，加強(qiáng)鄰層神經(jīng)元節(jié)點(diǎn)的局部有效連接來(lái)學(xué)習(xí)原始圖像的局部空間聯(lián)系特征，進(jìn)而能夠有效的減少學(xué)習(xí)網(wǎng)絡(luò)需要計(jì)算、調(diào)整的參數(shù)個(gè)數(shù)，提高設(shè)計(jì)系統(tǒng)的運(yùn)行速度。

圖1 稀疏鏈接

1.2 池化層

原始的輸入圖片經(jīng)過(guò)卷積層學(xué)習(xí)到局部聯(lián)系的特征之后，就要進(jìn)入池化層進(jìn)行圖像的壓縮處理，即合并在邏輯結(jié)構(gòu)上相似的子樣特征[5]，與傳統(tǒng)將全部的特征納入分類層相比，這種操作主要有兩方面的優(yōu)勢(shì)，一是實(shí)現(xiàn)了對(duì)特征的降維處理，一幅圖像中不可避免地包含諸多對(duì)系統(tǒng)運(yùn)行無(wú)用的內(nèi)容，池化層就可以有選擇性地保留關(guān)鍵部分的信息，有效的減少系統(tǒng)后期數(shù)據(jù)處理的計(jì)算規(guī)模；二是能夠歸一化特征尺度，不論原始的輸入圖像大小如何，經(jīng)過(guò)池化層后都會(huì)得到相同大小的池化特征，提高系統(tǒng)對(duì)空間位移變換的魯棒性。

圖2 池化層

2 搭建輕量級(jí)交叉并行卷積框架

物體的檢測(cè)、分類、識(shí)別一直是數(shù)字圖像處理領(lǐng)域較為熱點(diǎn)的研究方向，現(xiàn)已經(jīng)有RCNN、Fast RCNN等諸多模型結(jié)構(gòu)，這些模型大多先進(jìn)行物體的分類過(guò)程，然后再利用回歸器完成邊框預(yù)測(cè)，并且存在網(wǎng)絡(luò)結(jié)構(gòu)大，參數(shù)存儲(chǔ)空間需求大，系統(tǒng)運(yùn)行不迅速等劣勢(shì)。輕量級(jí)交叉并行卷積神經(jīng)網(wǎng)絡(luò)是最新提出的一種檢測(cè)方法，它合理調(diào)整網(wǎng)絡(luò)深度及每層卷積核大小，縮減網(wǎng)絡(luò)結(jié)構(gòu)，將物體的檢測(cè)問(wèn)題視為回歸類問(wèn)題，并且在一個(gè)獨(dú)立的網(wǎng)絡(luò)結(jié)構(gòu)中同時(shí)完成物體檢測(cè)和目標(biāo)分類兩個(gè)任務(wù)，將神經(jīng)元活躍的卷積池化層采用模型并行，而權(quán)值計(jì)算數(shù)量龐大的全連接層采用數(shù)據(jù)并行，它是一個(gè)端到端的網(wǎng)絡(luò)，輸入原始視頻，經(jīng)過(guò)一次推斷，就可以得到相應(yīng)的物體所處位置以及所屬類別，很大程度上化簡(jiǎn)了模型的復(fù)雜度，縮短識(shí)別時(shí)間，更有利于模型在實(shí)際場(chǎng)景中的泛化運(yùn)用。

由于我們要識(shí)別的數(shù)字類別只有十個(gè)，自己制作的數(shù)據(jù)集數(shù)量也只有20000張左右，如果直接采用原模型（PCNN）原本具備的11個(gè)卷積層[6]，就會(huì)出現(xiàn)層數(shù)過(guò)多、數(shù)據(jù)集過(guò)小的不匹配問(wèn)題，進(jìn)而導(dǎo)致欠擬合的現(xiàn)象，會(huì)大大降低定位、識(shí)別的準(zhǔn)確率，基于此，我們做出了改進(jìn)，縮小卷積層數(shù)及卷積核的大小，采用輕量級(jí)的五層卷積神經(jīng)網(wǎng)絡(luò)，包括并行的三個(gè)卷積池化層與兩個(gè)全連接層，與此同時(shí)，采用卷積層交叉并行的思想，用2×2的池化層進(jìn)行下采樣，最后將兩個(gè)并行通道的特征圖連接融合傳入到全連接層，具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 交叉并行卷積網(wǎng)絡(luò)結(jié)構(gòu)

3 訓(xùn)練、測(cè)試模型

在進(jìn)行系統(tǒng)訓(xùn)練時(shí)，首先將圖像歸一化尺度為448×448進(jìn)入輸入層，輸入的圖像會(huì)被切分成7×7個(gè)小方格區(qū)域，每個(gè)小方格只負(fù)責(zé)預(yù)測(cè)該方格內(nèi)是否包含目標(biāo)、目標(biāo)所屬類別、邊框的位置及大小[10]，經(jīng)過(guò)卷積、池化層完成目標(biāo)檢測(cè)和屬性分類，每個(gè)小方格會(huì)預(yù)測(cè)出2個(gè)預(yù)選框，10個(gè)類別，最后通過(guò)非極大值抑制算法，就是尋找局部像素點(diǎn)的最大值，把其余點(diǎn)的灰度值強(qiáng)制置0，輸出維度為7×7×（2×5+10）的向量。

3.1 交叉熵?fù)p失函數(shù)

神經(jīng)網(wǎng)絡(luò)中常用的損失函數(shù)是二次代價(jià)函數(shù)，其表達(dá)是如下：

其中C表示代價(jià)函數(shù)（cost function），n表示樣本數(shù)量，x表示具體的樣本。

改進(jìn)后的損失函數(shù)，參數(shù)的收斂速度只關(guān)系到樣本的預(yù)測(cè)值與實(shí)際值的差，激活函數(shù)本身的梯度問(wèn)題就不會(huì)對(duì)其產(chǎn)生負(fù)面的影響。

3.2 修正線性激活函數(shù)

RELU（rectified linear unit）修正線性單元，表達(dá)式為f(x)=max(0,x)，是一種更加契合人類神經(jīng)元工作原理的激活函數(shù)，已經(jīng)日益取代了Sigmoid函數(shù)成為了主流。傳統(tǒng)的Sigmoid函數(shù)缺乏稀疏性的特點(diǎn)，為了產(chǎn)生必要的稀疏數(shù)據(jù)，它需要借助懲罰因子來(lái)產(chǎn)生大量的近乎為0的數(shù)據(jù)，而RELU則通過(guò)直接將小于0的輸出置為0的操作[8]，強(qiáng)制性的產(chǎn)生稀疏數(shù)據(jù)，也就是說(shuō)，它會(huì)隨機(jī)初始化網(wǎng)絡(luò)，只讓一半的隱含層是處于真正的被激活的工作狀態(tài)，這種改進(jìn)使得輸出結(jié)果既具備了稀疏性的特點(diǎn)，又在一定程度上縮短了訓(xùn)練時(shí)間，即使系統(tǒng)不經(jīng)過(guò)預(yù)訓(xùn)練，也能達(dá)到較為理想的效果。

3.3 Adam優(yōu)化器

梯度下降算法（Gradient Descent）是在深度學(xué)習(xí)中常用的一種優(yōu)化手段，但是這種算法需要依賴經(jīng)驗(yàn)，預(yù)先設(shè)定學(xué)習(xí)率應(yīng)用于所有的參數(shù)，而且常常陷入鞍點(diǎn)或者局部最小點(diǎn)的狀態(tài)，為了盡量避免這種非最優(yōu)解的情況發(fā)生，我們采用Adam作為優(yōu)化器[9]，參數(shù)更新的表達(dá)式為：

4 實(shí)驗(yàn)結(jié)果

我們選用jupyter notebook作為程序運(yùn)行平臺(tái)，借助tensorflow框架，用python語(yǔ)言進(jìn)行代碼改寫，對(duì)自己標(biāo)注制作的20000張圖片進(jìn)行2000次訓(xùn)練達(dá)到了99.2%的測(cè)試效果。與Alex-Net模型結(jié)構(gòu)相比，我們?cè)O(shè)計(jì)的模型只需使用其1/50的神經(jīng)元及參數(shù)個(gè)數(shù)，就可以在節(jié)約20%時(shí)間的基礎(chǔ)上，將準(zhǔn)確率提高13%。模型間的各項(xiàng)參數(shù)對(duì)比如表1所示。

表1 模型各項(xiàng)參數(shù)對(duì)比

將訓(xùn)練好的模型運(yùn)用到測(cè)試集中，并打印預(yù)測(cè)數(shù)字，實(shí)驗(yàn)的結(jié)果如圖4所示，火車車廂的噴印數(shù)字分別為1633079、4959499，系統(tǒng)可以一次性實(shí)現(xiàn)定位數(shù)字位置、用帶顏色的矩形框?qū)⒚總€(gè)數(shù)字分割并對(duì)數(shù)字進(jìn)行識(shí)別。

圖4 測(cè)試效果圖

5 結(jié)束語(yǔ)

針對(duì)貨物列車車廂號(hào)識(shí)別所面臨的受自然環(huán)境影響大、準(zhǔn)確率不高、后期維護(hù)困難等問(wèn)題，本文通過(guò)搭建深度卷積框架LPCNN，在jupyter notebook平臺(tái)上實(shí)現(xiàn)了較好的測(cè)試效果，本文的創(chuàng)新點(diǎn)主要在兩個(gè)方面，一是縮減了模型結(jié)構(gòu)，創(chuàng)新性的搭建了輕量級(jí)五層交叉并行的神經(jīng)網(wǎng)絡(luò)模型?？紤]到圖片集與模型深度的匹配問(wèn)題，我們沒(méi)有盲目使用11層卷積模型，而是依據(jù)自己的圖片集數(shù)量，重新調(diào)整了卷積層數(shù)及卷積核的大小；二是針對(duì)數(shù)字的結(jié)構(gòu)特點(diǎn)，選擇了更為有效的交叉熵?fù)p失函數(shù)、RELU線性激活函數(shù)以及Adam優(yōu)化器，既保留了可同時(shí)輸出檢測(cè)到的邊框以及識(shí)別數(shù)字的優(yōu)勢(shì)，又顯著提高了數(shù)字識(shí)別的準(zhǔn)確率。