鐵路車號(hào)CMOS圖像傳感信息智能識(shí)別方法

摘 要：CMOS傳感器在采集鐵路車號(hào)圖像過(guò)程中存在多種外界因素的混合干擾，圖像重復(fù)區(qū)域增多，增加了鐵路車號(hào)識(shí)別復(fù)雜度。為此提出基于CMOS傳感器的鐵路車號(hào)識(shí)別方法。利用CMOS傳感器采集多種因素干擾條件下的鐵路車號(hào)圖像，利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)鐵路車號(hào)圖像重復(fù)區(qū)域進(jìn)行檢測(cè)，剔除無(wú)用矩形框，確定有效的車號(hào)區(qū)域。利用維納濾波器對(duì)鐵路車號(hào)預(yù)選框區(qū)域去噪處理，有效避免干擾因素對(duì)于鐵路車號(hào)圖像質(zhì)量的不利影響。搭建鐵路車號(hào)識(shí)別模型，利用多任務(wù)學(xué)習(xí)方法對(duì)該模型進(jìn)行訓(xùn)練，將去噪處理后的圖像輸入該模型中，得到鐵路車號(hào)識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明：所提方法的鐵路車號(hào)識(shí)別精度高和時(shí)間短，實(shí)際應(yīng)用效果好。

關(guān)鍵詞：CMOS傳感器；鐵路車號(hào)；智能識(shí)別；維納濾波器；多任務(wù)學(xué)習(xí)

中圖分類號(hào)：U271; TP391.41文獻(xiàn)標(biāo)志碼：B文章編號(hào)：1671-5276（2024）03-0275-05

Intelligent Recognition Method of Railway Vehicle Number CMOS Image Sensing Information

Abstract：Rearding the increases of image repetition area and complexity of railway vehicle number recognition caused by mixed interferences of various external factors in the process of collecting railway vehicle number image with CMOS sensor， a railway vehicle number recognition method based on CMOS sensor is proposed. The CMOS sensor is used to collect the railway vehicle number image under the interference of various factors， and the deep convolution neural network is applied to detect the duplicate area of the railway vehicle number image， eliminate the useless rectangular frame， and determine the effective vehicle number area. With the Wiener filter， the railway vehicle number pre-selection frame area is de-noised to effectively avoid the adverse impact of interference factors on the railway vehicle number image quality. A railway vehicle number recognition model is built， trained by multi-task learning method， input the de-noised image to get the railway vehicle number recognition results. The experimental results show that the train number recognition by the proposed method has high accuracy and short time with good practical application effect.

Keywords：CMOS sensor; train number; intelligent identification; Wiener filter; mult-task learning

0 引言

通過(guò)識(shí)別鐵路車號(hào)可實(shí)時(shí)獲取包括運(yùn)行位置、速度等一系列數(shù)據(jù)的車輛信息，對(duì)車輛進(jìn)行動(dòng)態(tài)化追蹤，從而實(shí)現(xiàn)鐵路車輛的綜合化管理［1］。每輛列車均有獨(dú)立的車牌編號(hào)，利用相關(guān)傳感器采集車輛信息，對(duì)車輛多參數(shù)進(jìn)行識(shí)別，可以減少人工采集上報(bào)的工作量，提供更加可靠準(zhǔn)確的數(shù)據(jù)信息。不僅如此，還能夠直接將控制任務(wù)指令發(fā)送到執(zhí)行終端，對(duì)列車執(zhí)行減速或者機(jī)械修理等操作，有利于加強(qiáng)車輛管理效率與管理水平［2］。

在已有的鐵路車號(hào)識(shí)別研究中，艾鑫等［3］基于圖像文本識(shí)別方法通過(guò)網(wǎng)絡(luò)提取車輛小尺度牌號(hào)信息特征并進(jìn)行多特征尺度融合，定位車號(hào)所屬區(qū)域。對(duì)車號(hào)進(jìn)行分類回歸，利用邊界敏感文本框識(shí)別車號(hào)信息，以此制定控制管理與機(jī)械維修策略；李猛坤等［4］提出一種移動(dòng)邊緣計(jì)算識(shí)別法，通過(guò)車聯(lián)網(wǎng)實(shí)現(xiàn)列車視頻采集，利用移動(dòng)邊緣計(jì)算方法對(duì)車聯(lián)網(wǎng)視頻采集邊緣進(jìn)行分離卷積核計(jì)算，在對(duì)視頻內(nèi)車號(hào)區(qū)域進(jìn)行數(shù)學(xué)形態(tài)處理后提取車號(hào)信息，實(shí)現(xiàn)鐵路車號(hào)識(shí)別。

當(dāng)前的識(shí)別硬件多采用的是CMOS傳感器，其所處環(huán)境較為復(fù)雜，車號(hào)圖像采集結(jié)果受到多種因素的干擾，導(dǎo)致圖像噪聲分量大幅度增加，使得鐵路車號(hào)識(shí)別過(guò)程存在較大困難，因此提出針對(duì)CMOS傳感器的鐵路車號(hào)識(shí)別方法。

1 鐵路車號(hào)目標(biāo)檢測(cè)

CMOS傳感器的使用，不僅可以省去現(xiàn)場(chǎng)抄寫車輛編號(hào)的步驟，同時(shí)可以根據(jù)車號(hào)信息識(shí)別，從而完成對(duì)列車車號(hào)的獲取，實(shí)現(xiàn)列車安全運(yùn)行追蹤判定和機(jī)械控制［5-6］。

利用馬氏距離定義和觀測(cè)列車距離信息：

式中：zi表示CMOS傳感器信號(hào)采集周期內(nèi)第i個(gè)目標(biāo)列車的觀測(cè)值；zkk－1表示在k－1時(shí)刻目標(biāo)列車距離預(yù)測(cè)值；Sk表示兩個(gè)相鄰傳感器之間的協(xié)方差矩陣?？蓪行n列矩陣中的指定元素看作是CMOS傳感器在m行n列中的協(xié)方差［7］。

將滿足CMOS傳感器距離觀測(cè)條件的列車序列集合表示為

式中：z表示CMOS傳感器觀測(cè)值序列集合中的單位元素，當(dāng)列車序列出現(xiàn)在式（2）中所涉及到的區(qū)域范圍內(nèi)時(shí)，證明列車車號(hào)正處于有效識(shí)別范圍內(nèi)，C表示對(duì)應(yīng)的限定閾值［8］。

當(dāng)CMOS傳感器同時(shí)采集鐵路車號(hào)序列圖像時(shí)，通常會(huì)出現(xiàn)冗余，需要先對(duì)CMOS傳感器采集到的圖像進(jìn)行融合處理，其中鐵路車號(hào)圖像序列表達(dá)式為

xk=fk（xk－1，uk－1，vk－1）（3）

式中：{xk，k=0，1，2，…，k}表示一個(gè)離散時(shí)間內(nèi)的狀態(tài)矢量序列，k表示圖像序列總量；uk－1表示目標(biāo)車輛機(jī)械控制輸入向量；{vk－1，k=0，1，2，…，k}表示正態(tài)分布的車輛序列分離獨(dú)立變量。

由于所處環(huán)境較為復(fù)雜，CMOS傳感器信號(hào)受多種因素的混合干擾，導(dǎo)致鐵路圖像車號(hào)區(qū)域出現(xiàn)重復(fù)，影響車號(hào)識(shí)別。對(duì)此需要對(duì)鐵路車號(hào)重復(fù)區(qū)域進(jìn)行檢測(cè)，剔除無(wú)用矩形框，確定有效的車號(hào)區(qū)域。將數(shù)字和字母作為檢測(cè)目標(biāo)，定位具體車號(hào)位置，為后續(xù)識(shí)別奠定良好基礎(chǔ)。

為了精確定位出預(yù)選框，預(yù)選框精度定義如式（1）所示。

式中xy、vk、C1、C2表示不同的預(yù)選框。

在實(shí)際操作中，采用預(yù)選框的面積來(lái)計(jì)算重合度，則計(jì)算公式為

式中：S1表示預(yù)選框C1的面積；S2表示預(yù)選框C2的面積；Sn表示兩個(gè)區(qū)域重合的面積。

針對(duì)車號(hào)區(qū)域的檢測(cè)，采用深度卷積神經(jīng)網(wǎng)絡(luò)提取預(yù)選框并進(jìn)行打分。深度卷積神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

具體步驟如下。

1）用nxn的滑動(dòng)窗口掃描，通過(guò)卷積層1映射到一個(gè)低維的特征向量，然后采用ReLU（rectified linear units）為每個(gè)滑窗位置考慮k種可能的參考窗口。

2）通過(guò)卷積層2（兩個(gè)并行卷積層），即reg窗口回歸層和cls窗口分類層，分別用于產(chǎn)生預(yù)選框（bounding-box）和對(duì)預(yù)選框進(jìn)行打分（判定是否為前景或背景）［9-10］。

預(yù)選框輸入到主網(wǎng)絡(luò)中的ROI池化層，會(huì)從中剔除沒有用的矩形框，從而對(duì)預(yù)選框進(jìn)行優(yōu)化。而非極大值抑制法是一個(gè)較好的方法，在剔除無(wú)用矩形框上有較好的效果。

非極大值抑制法的思路如下：

以9個(gè)預(yù)選框?yàn)槔?，根?jù)預(yù)選框的概率將其從小到大排序?yàn)锳、B、C、D、E、F、G、H、I。

a）從最大的概率框I開始，分別計(jì)算A到H的矩形框與I框的重疊度，將其與某個(gè)設(shè)定的閾值進(jìn)行比較。

b）剔除那些重疊度超過(guò)設(shè)定閾值的矩形框（例如B、C、F），此時(shí)對(duì)保留下來(lái)的I框進(jìn)行標(biāo)記。

c）從余下的矩形框A、D、E、G、H中，選定概率最大的H框，計(jì)算A、D、E、G與H的重疊度，將其與某個(gè)設(shè)定的閾值進(jìn)行比較。剔除超過(guò)設(shè)定閾值的矩形框，對(duì)保留的H框進(jìn)行標(biāo)記。重復(fù)上述步驟，直到所有需要保留的矩形框均被標(biāo)記，從而實(shí)現(xiàn)鐵路車號(hào)目標(biāo)檢測(cè)。

2 鐵路車號(hào)預(yù)選框區(qū)域去噪

維納濾波法是Norbert Wiener于1942年提出的以最小均方誤差為準(zhǔn)則的最佳線性濾波方法。維納濾波器［11-12］的輸入與輸出關(guān)系如圖2所示。

將式（8）代入式（7）得到

式中：Rm（i）表示圖像帶噪信號(hào)的自相關(guān)函數(shù)；Rn（i）表示圖像預(yù)選框帶噪信號(hào)與圖像預(yù)選框有效信號(hào)的互相關(guān)函數(shù)。按照最小均方誤差的原則，令導(dǎo)數(shù)大于0，得到如下的維納-霍夫方程：

將式（11）變換到z域，則有

重復(fù)上述過(guò)程，得到鐵路車號(hào)預(yù)選框區(qū)域去噪結(jié)果：

從維納-霍夫方程中得到的h（i），能夠使濾波器對(duì)圖像預(yù)選框區(qū)域達(dá)到最佳的去噪效果。

3 鐵路車號(hào)識(shí)別方法

利用關(guān)聯(lián)維數(shù)識(shí)別顏色、大小、形狀等圖像參數(shù)，將圖像全方位覆蓋尺寸相同的格子，通過(guò)分析車號(hào)參數(shù)出現(xiàn)在某個(gè)柵格的概率，再通過(guò)計(jì)算信息熵，明確穩(wěn)定性。信息熵計(jì)算公式如下：

式中：x表示格子邊長(zhǎng)；i表示格子；n表示格子總數(shù)量；Pi表示異常信號(hào)出現(xiàn)在格子i的概率。

信息維數(shù)計(jì)算公式為

式中DI表示信息維數(shù)。

關(guān)聯(lián)維數(shù)的計(jì)算方式與信息維數(shù)極為相仿，同樣是先計(jì)算車號(hào)參數(shù)出現(xiàn)在單元格內(nèi)的概率，再以該單元格為中心，與鄰域單元格交換數(shù)據(jù)信息，形成數(shù)據(jù)關(guān)聯(lián)網(wǎng)絡(luò)，結(jié)合數(shù)據(jù)關(guān)聯(lián)網(wǎng)絡(luò)搭建鐵路車號(hào)識(shí)別模型，該模型的具體描述如下：

式中Pr（x）表示參數(shù)識(shí)別函數(shù)。

采用多任務(wù)學(xué)習(xí)方法對(duì)于鐵路車號(hào)識(shí)別模型進(jìn)行訓(xùn)練，訓(xùn)練集的具體描述如下：

（xij，yij）brj=1（17）

式中：xij表示第i個(gè)鐵路車號(hào)參數(shù)識(shí)別任務(wù)的第j個(gè)樣本；yij表示xij對(duì)應(yīng)的樣本標(biāo)簽。多任務(wù)學(xué)習(xí)方法的目標(biāo)在于獲取一個(gè)預(yù)測(cè)函數(shù)，具體如下：

fi（xij）=vTixij+bi（18）

式中：bi表示第i個(gè)鐵路車號(hào)參數(shù)識(shí)別任務(wù)參數(shù)；vTi表示bi對(duì)應(yīng)的權(quán)重。為了保證為不同任務(wù)的模型參數(shù)應(yīng)該盡可能相似，需要構(gòu)建多任務(wù)分類模型。

式中：L（Y，wTkX）表示損失函數(shù)；λ1、λ2表示相似度度量函數(shù)；wk、wi、wj表示不同的預(yù)測(cè)模型參數(shù)。

結(jié)合多任務(wù)分類模型，搭建聯(lián)合特征學(xué)習(xí)模型，該模型的描述如下：

式中：U表示特征描述參數(shù)，W21，2表示wi2的l1，2范數(shù)，則鐵路車號(hào)識(shí)別模型訓(xùn)練目標(biāo)函數(shù)如下：

式中：P、QT分別表示不同的正則項(xiàng)參數(shù)；yi表示識(shí)別模型輸出誤差；XTi表示參數(shù)權(quán)重參數(shù)。

4 仿真實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

1）數(shù)據(jù)集介紹

訓(xùn)練數(shù)據(jù)集為本文手工標(biāo)注的7 000張車號(hào)區(qū)域圖像，針對(duì)其中的車號(hào)進(jìn)行可編輯的文本標(biāo)注，從中選取測(cè)試數(shù)據(jù)集共2 109張車號(hào)區(qū)域，與訓(xùn)練集沒有交集。

2）實(shí)驗(yàn)配置

實(shí)驗(yàn)環(huán)境為Ubuntu 16.04，GPU的型號(hào)是NVIDIA GeForce TITAN X，實(shí)驗(yàn)框架為caffe框架。在訓(xùn)練和測(cè)試階段，輸入車號(hào)區(qū)域均需要?dú)w一化為32像素，寬度同比例縮放。隱藏層特征數(shù)設(shè)置為256，解碼器特征數(shù)設(shè)置為512，Batchsize大小為64，訓(xùn)練一共迭代20 000次，學(xué)習(xí)率初始值為1。

4.2 實(shí)驗(yàn)結(jié)果分析

本文主要利用CMOS傳感器采集鐵路車號(hào)圖像，將車號(hào)區(qū)域作為目標(biāo)，如圖3所示。當(dāng)使用深度卷積神經(jīng)網(wǎng)絡(luò)提取預(yù)選框后，最終獲取的預(yù)選框仍然較多，如圖4所示。利用維納濾波器對(duì)鐵路車號(hào)預(yù)選框區(qū)域進(jìn)行去噪處理，處理后的結(jié)果如圖5所示。

將去噪處理后的圖像輸入至訓(xùn)練好的鐵路車號(hào)識(shí)別模型中，得到鐵路車號(hào)識(shí)別結(jié)果，如表1所示。

在列車駛?cè)脒^(guò)程中的相同位置上分別利用本文方法、文獻(xiàn)［3］方法和文獻(xiàn)［4］方法對(duì)列車車號(hào)進(jìn)行識(shí)別，識(shí)別精度進(jìn)行比較，結(jié)果如圖6所示。

從圖6可以看出，3種方法對(duì)車號(hào)識(shí)別精度隨著距離的增加而下降。通過(guò)比較可知，當(dāng)車距增加到500m時(shí)，對(duì)比方法對(duì)列車的識(shí)別精度相對(duì)較低，而本文方法的準(zhǔn)確度相對(duì)更高。

不同方法下的鐵路車號(hào)識(shí)別時(shí)間對(duì)比如圖7所示。從圖7中可以看出，本文方法能夠在保證識(shí)別精度的同時(shí)，使得識(shí)別時(shí)間更短，說(shuō)明該方法能夠精準(zhǔn)、快速地識(shí)別鐵路車號(hào)的多參數(shù)，實(shí)際應(yīng)用效果好。

5 結(jié)語(yǔ)

本文在CMOS傳感器的基礎(chǔ)上采集鐵路車號(hào)圖像，在圖像中設(shè)置鐵路車號(hào)預(yù)選框并對(duì)該區(qū)域去噪處理，將處理結(jié)果輸入訓(xùn)練好的識(shí)別模型中，得到鐵路車號(hào)識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明：實(shí)驗(yàn)及數(shù)據(jù)分析證明了本文方法的可靠性，識(shí)別精度、識(shí)別耗時(shí)以及傳感器信號(hào)延時(shí)效果均比較理想，可以在鐵路車號(hào)識(shí)別與機(jī)械設(shè)備管理領(lǐng)域得到廣泛應(yīng)用。

參考文獻(xiàn)：

［1］ 張濟(jì)民，宗振海，周和超，等. 獨(dú)立旋轉(zhuǎn)輪對(duì)軌道車輛自適應(yīng)導(dǎo)向控制研究［J］. 機(jī)械工程學(xué)報(bào)，2022，58（4）：232-239.

［2］ 李權(quán)福，張鍇，何應(yīng)德，等. 一種新型鐵路貨車車號(hào)標(biāo)簽質(zhì)量狀態(tài)自動(dòng)檢測(cè)方法［J］. 機(jī)械設(shè)計(jì)與制造工程，2021，50（12）：81-84.

［3］ 艾鑫，鄒琪，羅常津. 面向精確定位的列車車號(hào)文本定位與識(shí)別［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2020，32（11）：1863-1870.

［4］ 李猛坤，柯正軒，于定榮，等. 基于移動(dòng)邊緣計(jì)算的車聯(lián)網(wǎng)車牌號(hào)碼識(shí)別算法［J］. 計(jì)算機(jī)工程與設(shè)計(jì)，2021，42（11）：3151-3157.

［5］ 陳復(fù)揚(yáng)，姜斌，沙宇. 基于分布式光纖振動(dòng)傳感器的鐵路安全監(jiān)測(cè)算法［J］. 物聯(lián)網(wǎng)學(xué)報(bào)，2020，4（3）：106-111.

［6］ 張瑞國(guó)，申燕飛，曾興興，等. 基于紅外測(cè)距傳感器的鐵路貨車車載電子稱重方法［J］. 內(nèi)燃機(jī)與配件，2020（7）：257-260.

［7］ 門永林，李士佩，臧鐵剛. 基于雙排傳感器的轉(zhuǎn)軸式自動(dòng)循跡列車控制策略［J］. 機(jī)械制造與自動(dòng)化，2022，51（6）：180-184.

［8］ 金鵬，黃浩，劉檢華，等. 多傳感器信息融合的鐵路扣件缺陷檢測(cè)方法［J］. 機(jī)械工程學(xué)報(bào)，2021，57（20）：38-46.

［9］ 孫浩，陳進(jìn)，雷琳，等. 深度卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型對(duì)抗魯棒性技術(shù)綜述［J］. 雷達(dá)學(xué)報(bào)，2021，10（4）：571-594.

［10］ 段恩澤，方鵬，王紅英，等. 基于深層卷積神經(jīng)網(wǎng)絡(luò)的肉兔圖像分割與體質(zhì)量估測(cè)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（6）：259-267.

［11］ 吳孟禮，陳躍斌，吳海鋒，等. 抵御SSDF攻擊的維納濾波器檢測(cè)算法研究［J］. 計(jì)算機(jī)工程，2020，46（11）：187-193.

［12］ 杜社會(huì)，肖啟國(guó)，羅昌友，等. 基于AR模型的維納濾波器設(shè)計(jì)分析［J］. 信息技術(shù)與信息化，2020（9）：159-161.