一種基于時空相關(guān)分析的貨運列車車號識別方法研究

王保憲，王凱，楊宇飛，李義強，趙維剛

一種基于時空相關(guān)分析的貨運列車車號識別方法研究

王保憲1, 3，王凱2，楊宇飛2，李義強1, 3，趙維剛1, 3

(1. 石家莊鐵道大學 大型結(jié)構(gòu)健康診斷與控制研究所，河北 石家莊 050043；2. 石家莊鐵道大學 電氣與電子工程學院，河北 石家莊 050043；3. 河北省大型結(jié)構(gòu)健康診斷與控制重點實驗室，河北 石家莊 050043)

提出一種基于時空相關(guān)分析的貨運列車車號識別方法，該方法包括車號定位、片段聚類與車號識別3部分?；谶B通體分析技術(shù)，提出利用貨運列車車號字符間特定的幾何比例關(guān)系有效地定位車號區(qū)域；在車號定位基礎(chǔ)上，利用視頻序列時空冗余信息建立幀信息補正模型，對部分定位錯誤幀圖像進行補正并通過片段聚類方法將包含相同內(nèi)容的車號視頻序列進行切分；利用概率神經(jīng)網(wǎng)絡(luò)訓(xùn)練車號聯(lián)合識別決策器，對可能包含同一車號的多幀圖像進行聯(lián)合識別，有效提高車號識別的準確率。通過在實際貨運列車視頻數(shù)據(jù)集上進行測試驗證，本文算法對所有幀圖像的平均車號識別準確率高于90%，優(yōu)于傳統(tǒng)基于靜態(tài)圖像處理的車號識別方法。

貨運列車；車號定位；車號識別；時空相關(guān)性；概率神經(jīng)網(wǎng)絡(luò)

貨運列車車號識別是鐵路系統(tǒng)自動化建設(shè)中的一種新型管理方式。目前，基于數(shù)字圖像處理的車號識別技術(shù)以低成本、高效率、高精度的優(yōu)勢，受到國內(nèi)外研究人員的廣泛關(guān)注。車號區(qū)域定位是車號識別系統(tǒng)的首要步驟。邢益良等[1]使用投影法獲取特征明顯的圖像分割區(qū)域以定位車號范圍；楊紹華等[2]定位灰度大于平均投影灰度的區(qū)域作為車號區(qū)域。以上2種方法均利用投影法完成車號區(qū)域定位，投影定位算法簡單且具有較高的運算效率。但考慮到實際拍攝的圖像中存在背景雜波，應(yīng)用投影法僅可以粗略地定位車號范圍，無法實現(xiàn)對單個車號區(qū)域的精準定位。為了精準定位單個車號區(qū)域，趙入賓[3]利用車號字符筆畫邊緣信息對車號進行定位。王浩宇[4]提出一種改進筆畫寬度變換算法以快速確定車號位置。魏瑋等[5]利用數(shù)字具有的凹特征、中線、圓形度等矩特征定位車號。以上車號定位方法利用車號字符紋理變化，定位效果良好。但考慮到車廂表面其他區(qū)域也可能包含數(shù)字或字母，其具有和車號相同的紋理特征，可能導(dǎo)致一些虛假車號區(qū)域被定位。此外對于貨運列車而言，其車廂噴印的車型碼和車廂號之間滿足特定的幾何比例關(guān)系，這是與普通汽車車號最大的不同之處。然而既有研究均忽略了這一特點，導(dǎo)致其在鐵路復(fù)雜背景下的車號定位效果一般。完成單車號定位后，需要識別每個車號圖像內(nèi)容。楊吉[6]利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類模型完成單個字符識別。廖健[7]利用深度卷積神經(jīng)網(wǎng)絡(luò)識別定位結(jié)果。上述車號識別方法在靜態(tài)圖像拍攝條件下取得了良好結(jié)果。然而對于貨運列車，其車號識別過程一般是在列車運行場景下完成的。由于貨運列車運動會導(dǎo)致采集的圖像出現(xiàn)運動模糊，這使得傳統(tǒng)基于單幀靜態(tài)圖像處理的車號識別方法效果一般。即使部分采集圖像不存在模糊，由于既有方法未充分利用貨運列車視頻序列的時空冗余信息，限制了貨運列車車號識別精度的進一步提高?；谏鲜鰡栴}分析，本文提出一種基于時空相關(guān)分析的貨運列車車號識別方法，如圖1所示，包括車號定位、片段聚類、識別決策3部分，該方法具有以下創(chuàng)新點：1) 針對復(fù)雜背景，利用背景雜波所不具有的貨運列車車型碼內(nèi)部字符間的幾何比例關(guān)系，實現(xiàn)了復(fù)雜場景下車型碼的精準定位，并基于確定的車型碼參數(shù)，進一步定位該幀圖像的車廂號。2) 針對貨運列車運動導(dǎo)致的車號定位精度降低問題，利用貨運列車視頻序列的時空冗余信息建立時空幀信息補正模型，通過相鄰幀圖像信息的相互融合，避免了車號區(qū)域定位錯誤產(chǎn)生的影響。3) 建立多幀圖像聯(lián)合識別決策器，對可能包含相同車號的一系列圖像同時識別，輸出可能性最高的車號識別結(jié)果。由于連續(xù)多幀圖像聯(lián)合識別，提高了車號識別精度。

圖1 系統(tǒng)流程圖

1 算法概述

在圖1中，首先將輸入的貨運列車視頻分解成幀序列，對每一幀圖像進行預(yù)處理后通過車號定位模塊完成車號區(qū)域定位；接著，利用相鄰幀的定位結(jié)果對定位錯誤的幀進行補正，并把定位結(jié)果相似的圖像進行聚類；最后建立聯(lián)合識別決策器，識別可能包含同一車號的多幀圖像并將識別概率最大的結(jié)果作為這些圖像共同的識別結(jié)果輸出，從而完成車號識別功能。

2 車號定位

本文利用連通體分析法對車號進行定位，首先對貨運列車圖像進行包含灰度轉(zhuǎn)換、二值化與形態(tài)學運算的預(yù)處理，然后利用車號內(nèi)部字符的幾何特征關(guān)系對車號進行篩選以完成定位。

2.1 圖像預(yù)處理

在對采集到的圖像進行車號定位之前，先對圖像進行預(yù)處理：首先使用加權(quán)平均法對采集圖像進行灰度轉(zhuǎn)換，將原圖像在，和通道上對應(yīng)的3個矩陣合并轉(zhuǎn)化為1個矩陣，減少后期的運算量。之后，利用Niblack自適應(yīng)圖像分割法[8?9]對灰度圖像進行二值化處理，初步實現(xiàn)車號字符的分割；最后，搜索圖中所有的連通體，并設(shè)置一個合適的尺寸因子對所有連通體進行形態(tài)學開運算，消除面積很小的雜波連通體。圖2展示了貨運列車車廂原圖與各部分預(yù)處理的效果圖。

(a) 原圖；(b) 灰度轉(zhuǎn)換；(c) 二值化；(d) 形態(tài)學運算

由圖2(d)可知，進行預(yù)處理后的貨運列車圖像依舊存在許多背景雜波，因此需要進一步提取單個車型碼，便于后續(xù)單個車號字符的識別。

2.2 車型碼定位

考慮到車廂噴印的數(shù)字和字母的高寬比例在一定范圍內(nèi)，因此可設(shè)置一個高寬比例去除圖像中的部分雜波連通體。在此基礎(chǔ)上，經(jīng)過相關(guān)調(diào)研，可知貨運列車的車型碼滿足如下特定的幾何規(guī)律：

1) 車型碼首字符的高度約為之后字符高度的2倍；

2) 車型碼所有字符水平排列，且底端大致 對齊。

圖3展示了經(jīng)預(yù)處理后車型碼的連通體，圖4為車型碼連通體示意圖。

圖3 車型碼連通體圖

圖4 車型碼連通體示意圖

在圖4中，標號1和2分別為連通體C與C，3和4為C和C的質(zhì)心坐標(x,y)與(x,y)，5為C左側(cè)一定范圍內(nèi)的區(qū)域。設(shè)每個連通體的最小外接矩形的高度依次為h(=1,2,3,…,num)，從=1開始，在連通體C質(zhì)心左側(cè)標記區(qū)域范圍內(nèi)，搜索能夠與其組成最近鄰對的連通體C，步驟如下。

Step 1：判斷兩連通體的尺寸關(guān)系：

式中min與max為根據(jù)車型碼首字符約為其余字符高度的2倍這一特征而預(yù)先設(shè)置的比例系數(shù)。

Step 2：判斷2連通體質(zhì)心連線與水平線夾角是否在預(yù)先給定的范圍內(nèi)：

Step 3：限制被搜索的連通體在C的左側(cè)：

通過上述3個步驟對圖中所有連通體進行搜索，尋找所有符合條件的連通體構(gòu)成連通體對。在初步定位后，進一步在該連通體對的右側(cè)一定范圍內(nèi)搜索高度在[0.9,1.1]范圍內(nèi)的連通體，并與已知的連通體對組成車型碼字符鏈，實現(xiàn)對貨運列車車型碼區(qū)域位置的定位。

2.3 車廂號定位

經(jīng)調(diào)研，車廂號存在如下幾何先驗知識：

1) 車廂號所有字符高度與車型碼首字符高度相近；

2) 車廂號固定為7位，7位字符之間可能存在寬度為1～3個字符寬度的空檔；

3) 車廂號所有字符水平排列，且底端大致 對齊。

圖5展示了貨運列車車號字符的連通體，圖6為車廂號連通體示意圖，其中標號1～4為4個車廂號連通體，標號5為連通體3和4的質(zhì)心連線與水平線的夾角，為前文提取到車型碼首字符的高度，由于其高度與車廂號相近，圖中車廂號的字符高度以及字符間距均以該參數(shù)進行表示。

圖5 車號連通體圖

圖6 車廂號連通體示意圖

Step 1：判斷兩連通體的尺寸關(guān)系：

Step 3：限制兩連通體空間位置關(guān)系，要求：

式中：為預(yù)先給定的比例系數(shù)，它約束了2連通體可構(gòu)成連通體對時距離的上限。

Step 4：設(shè)完成連通體配對后的所有連通體對集合為={1,2,3,…,X}，檢查X中最后一個連通體與X中首個連通體是否相同，相同則進行合并，判定連通體鏈中包含3個以上字符時為車廂號部分，進一步在該連通體鏈左右兩側(cè)3的范圍內(nèi)尋找其它連通體對，合并為新的連通體鏈，直到其包含7個字符，則車號定位完成。

3 補正與聚類

本文基于貨運列車視頻中的冗余信息建立時空幀信息補正模型，利用車號定位結(jié)果的時空相關(guān)性對出現(xiàn)車號定位錯誤的圖像進行補正。同時，本文進一步計算各車號定位圖像之間的差異像素數(shù)，以此作為類間距離對車號圖像進行層次凝聚聚類管理，實現(xiàn)視頻序列的片段切分。

3.1 基于時空相關(guān)性的幀信息補正

本文利用視頻序列存在的時空相關(guān)性對車號定位錯誤圖像進行補正，如圖7所示，其原理是在確定定位錯誤幀位于視頻序列中的位置后，利用其相鄰2幀圖像的正確定位結(jié)果對錯誤定位結(jié)果進行替換。

圖7 幀信息補正流程圖

在判斷錯誤幀與哪一相鄰幀包含相同車號的過程中，本文對比相鄰幀的車號定位區(qū)域的尺寸與像素灰度，判定相鄰兩幀是否包含相同車號，然后根據(jù)不同判定結(jié)果進行對應(yīng)的歸屬判別。

3.1.1 定位區(qū)域尺寸對比

設(shè)錯誤幀位于視頻序列中的第幀，本文提取第?1和+1幀圖像的定位結(jié)果矩陣1，2，通過比較1和2的尺寸來判斷2幀圖像的定位結(jié)果是否相同，步驟如下。

Step 1：計算的歸一化矩陣寬度與高度的幾何比例：

Step 2：將k與k分別和預(yù)先給定的閾值進行比較，其結(jié)果分為以下2種情況：

1) 當k與k其中任何一個大于給定閾值時，認定1和22個矩陣的尺寸有較大差異，進而判定兩者包含不同車號；

2) 否則，認定1和22個矩陣的尺寸相近，該情況需要進一步計算兩矩陣的差異像素數(shù)來判定所包含車號是否相同。

3.1.2 定位區(qū)域像素對比

當1和22矩陣尺寸相近時，利用掃描技術(shù)計算兩矩陣像素差異從而判定兩矩陣所包含車號是否相同，具體步驟如下。

Step 1：將2放入一個更大的矩陣3中，矩陣的行數(shù)與列數(shù)由下式給出：

Step 2：使用1在3中進行掃描，統(tǒng)計1在每一位置與3的差異像素數(shù)量={1,2,3,…,N}，提取其最小值min。

Step 3：將min與預(yù)先設(shè)置的閾值進行比較：當min小于閾值時，判定1和2包含相同車號；否則，判定1和2包含不同車號。

3.1.3 幀信息補正

利用前2節(jié)方法可以得到相鄰2幀所包含車號相同或不同2種情況，針對這2種情況使用不同方案對錯誤幀圖像進行補正：

1) 當1和2包含相同車號時，則判定錯誤幀與相鄰2幀圖像都包含相同的車號內(nèi)容，即1和2均可用來對錯誤結(jié)果進行替換。

2) 當1和2包含不同車號時，再次利用掃描技術(shù)進行歸屬判定，具體步驟如下。

Step 1：使用1和2分別在錯誤幀進行掃描，統(tǒng)計2矩陣在每一位置的差異像素數(shù)={1,2,3,…,A}和={1,2,3,…,B}。

Step 2：對比集合與中的最小值min與min，認定較小的一方包含與錯誤幀相同的車號，將其對應(yīng)的1或2定位結(jié)果對錯誤幀的定位結(jié)果進行替換，完成幀信息的補正。

3.2 車號圖像片段聚類

為考察哪些圖像包含相同車號，需要對圖像進行聚類[10?11]。由于無法預(yù)先得知車號的個數(shù)，且圖像在序列中存在順序，使用一種改進的層次凝聚聚類法對視頻序列進行片段切分，具體過程如下。

Step 1：將視頻序列中的每一幀圖像看作一類，根據(jù)圖像在視頻序列中的位置對所有類進行排序。

Step 2：設(shè)置距離閾值，計算相鄰類之間的類間距離，然后把距離最近且距離小于的2個類合并成一個新的類。

Step 3：重復(fù)步驟2，進行反復(fù)迭代直到類數(shù)目的收斂不再增加，完成聚類。

由于是對圖像相似度的考察，本文以差異像素數(shù)作為類間距離，差異像素數(shù)的計算方法與前文中判定兩矩陣是否包含相同內(nèi)容的方法一致；同時，設(shè)定每個類中的首個圖像為類的中心。經(jīng)過上述貨運列車視頻序列的片段聚類過程，可能包含同一車號的多幀圖像都被聚類，使貨運列車視頻序列有了整體的片段切分。

4 聯(lián)合識別決策器

本文建立聯(lián)合識別決策器，首先利用概率神經(jīng)網(wǎng)絡(luò)[12?13]對所有圖像進行車號識別，然后統(tǒng)計經(jīng)聚類后各片段內(nèi)的識別結(jié)果，選取識別概率最大的結(jié)果，作為該片段的最終結(jié)果輸出。在對車號進行識別決策之前，先對貨運列車車號字符進行考察，經(jīng)調(diào)研，可知貨運列車車號字符具有以下特點：

1) 車型碼首字符必定為字母，其他字符可能為字母或數(shù)字。

2) 車廂號所有字符均為數(shù)字。

針對上述車號字符特點，為降低算法運算量并提高識別準確率，本文設(shè)計了3種包含不同訓(xùn)練樣本的識別模塊，分別對輸入樣本為數(shù)字、字母、數(shù)字及字母3種情況進行識別。圖8為本文所使用概率神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。

圖8 概率神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

系統(tǒng)整體的聯(lián)合識別決策步驟如下。

Step 1：提取視頻序列中的一個片段，將每幀圖像包含的字符進行分割，并對每個字符進行尺寸規(guī)范化處理，之后按照車型碼首字母、車型碼其它字符、車廂號分為3組。

Step 2：對所有字符進行特征提取，包括8個結(jié)構(gòu)特征與6個統(tǒng)計特征，其中8個結(jié)構(gòu)特征為：豎直1/4，1/2和3/4處像素數(shù)總和，水平1/3，1/2和2/3處像素數(shù)總和，兩對角線像素數(shù)總和；6個統(tǒng)計特征為：圖像左上、右上、左下、右下4個區(qū)域的像素數(shù)總和與圖像水平、豎直方向上中心1/3區(qū)域的像素數(shù)總和。

Step 3：3組分別通過訓(xùn)練樣本為字母、字母與數(shù)字、數(shù)字的識別模塊進行識別，其中，每個識別模塊中概率神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點數(shù)與輸入特征向量維數(shù)相同，模式層節(jié)點數(shù)與訓(xùn)練樣本數(shù)量相同，第類訓(xùn)練樣本的第個模式層節(jié)點輸出由下式給出：

式中：為某一輸入向量；x為第類輸入樣本的第個樣本的特征向量；為模型的超參數(shù)，需要提前設(shè)定。計算輸入圖像與每一類訓(xùn)練樣本之間的距離后，在求和層對同類測試樣本對應(yīng)的模式層節(jié)點輸出進行求和：

式中：n為某一類訓(xùn)練樣本中包含的樣本數(shù)量。之后，在輸出層選取求和層中輸出概率最大的一類為該張字符圖像的輸出結(jié)果。

Step 4：所有圖像經(jīng)過神經(jīng)網(wǎng)絡(luò)后均得到一個識別結(jié)果，統(tǒng)計同一片段內(nèi)可能包含相同字符的圖像的識別結(jié)果，包括識別結(jié)果的種類數(shù)及每種出現(xiàn)的次數(shù)，計算各種類出現(xiàn)的概率，并選取出現(xiàn)概率最大的識別結(jié)果作為該字符片段的最終識別結(jié)果輸出，其中最大出現(xiàn)概率為：

式中：=1,2,3,…,，為得到識別結(jié)果的種類數(shù)；n為第種識別結(jié)果的出現(xiàn)次數(shù)；為輸入測試樣本的數(shù)目。

Step 5：將每個字符的識別決策結(jié)果進行合并，完成該片段的字符識別。

Step 6：重復(fù)Step1～5，直到所有車號圖像片段完成識別決策。

5 算法驗證

為驗證本文所提車號識別方法的有效性，利用幀率為130FPS的凱視佳相機MU3HS230M/C放置在鐵路軌道一側(cè)進行列車視頻采集，該相機的實際采集幀率達到50FPS，被采集到的列車速度約為70 km/h，隨機抽取其中一段連續(xù)圖像作為測試數(shù)據(jù)，共計2 000幀，每幀圖像的分辨率為1 920×1 080。另外，在所有視頻數(shù)據(jù)中人工選擇識別模塊的訓(xùn)練樣本，數(shù)量為每種字符30個，其中英文字母包括：A，B，C，E，H，K，N，P，T和X共10種，英文字母樣本庫共300個樣本；數(shù)字包括0～9共10種，數(shù)字樣本庫共300個樣本。所有訓(xùn)練樣本經(jīng)灰度化、二值化與去噪后，規(guī)范化為64×64大小并送入概率神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

為評估算法性能，本文方法的車號定位部分將與2種具有代表性的方法進行對比，它們分別是投影法與紋理分析法。同時，本文進一步對比了傳統(tǒng)靜態(tài)的車號字符識別方法與本文所提聯(lián)合識別決策方案的識別準確率。上述方法均在Matlab平臺實現(xiàn)，并使用同一組實驗數(shù)據(jù)。

5.1 車號定位性能分析

為保證系統(tǒng)的魯棒性，所采集樣本中包含了光照、車號以外的字符區(qū)域等雜波干擾，圖9為某一包含了各種干擾的數(shù)據(jù)圖像。

(a) 光照干擾；(b) 示例圖像；(c) 車廂上其他字符干擾

可以明顯看到，光照區(qū)域和其他字符區(qū)域均會對車號定位產(chǎn)生影響，而車型碼字符間特定的幾何比例關(guān)系是背景雜波所不具有的，利用這一特點可以較好地提取車型碼，之后利用車型碼首字母與車廂號具有相近的尺寸這一特點在原圖中重新篩選車廂號即可完成定位，定位效果如圖10所示。

圖10 車號定位效果圖

5.2 補正與聚類性能分析

圖11展示了2種具有代表性的車號定位錯誤情況及其對應(yīng)的補正流程，2種情況分別為：

1) 如圖11(a)所示，由運動模糊導(dǎo)致所有字符的幾何比例不滿足車號定位時的篩選條件，該幀圖像的車號沒有被定位。

2) 如圖11(b)所示，由部分車號超出相機捕捉范圍導(dǎo)致定位車號位數(shù)不足。

同時，為驗證系統(tǒng)性能，設(shè)置1)和2)中相鄰幀分別包含相同/不同結(jié)果。

(a) 運動模糊圖像的補正流程；(b) 車號部分缺失圖像的補正流程

可以看到，無論相鄰幀圖像包含車號是否相同，本算法均可準確地完成錯誤幀的歸類與補正。之后，在圖像聚類過程中，圖12給出了部分類間距離的統(tǒng)計折線圖，共計100組，其橫軸數(shù)值代表進行類間距離計算的組次，縱軸數(shù)值代表組內(nèi)2類的類間距離。

圖12中，類間距離在8個位置出現(xiàn)了激增，說明對應(yīng)8個組內(nèi)的圖像包含不同內(nèi)容，二者不會被聚類，從而達到片段切分效果；同時，可以看到部分組的類間距離為0，這是由于部分車號定位錯誤圖像經(jīng)過了上述時空相關(guān)性補正過程，使錯誤定位結(jié)果被相鄰幀替換，因此二者包含完全相同的定位結(jié)果，即不存在類間距離。就結(jié)果來說，本算法將類間距離較小的一系列圖像成功聚類，成功實現(xiàn)視頻序列的片段切分。

圖12 部分類間距離統(tǒng)計折線圖

5.3 識別決策性能分析

圖13展示了經(jīng)聚類后一個片段中車型碼的識別決策結(jié)果，該片段共包含12幀圖像，車型碼共3位，圖13(b)3個表格為3種字符的各自12個識別結(jié)果的統(tǒng)計，表格第1列為輸入圖像序號，第2列為識別結(jié)果，結(jié)果中的0～9對應(yīng)數(shù)字0～9，25對應(yīng)英文字母“P”。

(a) 輸入字符；(b) 識別決策；(c) 決策結(jié)果

為驗證模型性能，特加入噪聲使數(shù)字“0”的第5幀被錯誤識別成“8”，從整體的統(tǒng)計結(jié)果來看，識別概率最大的依舊是數(shù)字“0”，而少數(shù)識別誤差會被忽略。就結(jié)果而言，該模型實現(xiàn)了車號的精準識別，并消除了部分誤差帶來的影響。

5.4 模型性能驗證

在不改變實驗環(huán)境的前提下，本文利用3種不同方法對2 000張樣本圖像進行車號定位，表1展示了3種方法的準確率與運算時間。

表1 3種定位方法準確率及時間對比

由表1的對比數(shù)據(jù)可知，本文所提算法具有較高準確率，而算法基于連通體分析技術(shù)，不需要復(fù)雜計算，有較高效率。同時，實驗數(shù)據(jù)中有42張圖像出現(xiàn)車號超出相機捕捉范圍、14張出現(xiàn)動態(tài)模糊的情況，在進行幀信息補正后，所有錯誤圖像都被替換，且定位準確率提高至93.22%。

之后，如表2所示，本文計算了傳統(tǒng)靜態(tài)的車號字符識別方法與本文所提聯(lián)合識別決策法的準確率與運算時間，2種方案均基于相同的概率神經(jīng)網(wǎng)絡(luò)。

表2 2種識別方案的準確率及時間對比

觀察表2可發(fā)現(xiàn)，由于決策本身是對識別結(jié)果進行統(tǒng)計并選出概率最大結(jié)果，不會過多增加運算時間，而對多個輸入圖像進行協(xié)同分析，對識別準確率有顯著的提高作用。

6 結(jié)論

1) 所提車號定位方法利用貨運列車車號內(nèi)部字符之間的幾何比例關(guān)系，較好地抵抗了復(fù)雜背景下光照、車廂其他字符等雜波的干擾，具有較高準確率。

2) 利用相鄰圖像的車號定位結(jié)果對定位出錯的圖像進行補正，可進一步提高定位準確率。

3) 使用層次凝聚聚類法對視頻序列進行片段切分，將可能包含同一車號定位結(jié)果的片段進行聯(lián)合識別決策，得到了較傳統(tǒng)識別方法更高的識 別率。

4) 通過在實際采集的2 000張貨運列車圖像數(shù)據(jù)集上進行測試驗證，本文的定位準確率達到93.22%，最終的識別準確率達到90.16%，具有良好的車號識別性能，驗證了本文方法的有效性。

[1] 邢益良, 馬亮, 韓寶如, 等. 積分投影和統(tǒng)計法在車號定位中的應(yīng)用[J].計算機與數(shù)字工程, 2013, 41(8):1333?1335.XING Yiliang, MA Liang, HAN Baoru, et al. Integral projection and statistical method’ application in train number positioning[J]. Computer & Digital Engineering, 2013, 41(8): 1333?1335.

[2] 楊紹華, 李建勇, 王恒. 基于BP神經(jīng)網(wǎng)絡(luò)的貨車車號識別方法研究[J]. 鐵路計算機應(yīng)用, 2007, 16(12): 4?7. YANG Shaohua, LI Jianyong, WANG Heng. Research on method of vehicle number recognition based on BP neural network[J]. Railway Computer Application, 2007, 16(12): 4?7.

[3] 趙入賓. 鐵路貨車車號識別的算法研究[D]. 天津: 河北工業(yè)大學, 2010. ZHAO Rubin. Research on railway freight car licence recognition algorithm[D]. Tianjin: Hebei University of Technology, 2010.

[4] 王浩宇. 列車車號定位與識別算法研究[D]. 西安: 長安大學, 2018. WANG Haoyu. Research on train number detection and recognition algorithm[D]. Xi’an: Chang’an University, 2018.

[5] 魏瑋, 趙入賓. 矩特征在鐵路貨車車號識別中的應(yīng)用[J]. 微計算機應(yīng)用, 2010, 31(11): 34?38. WEI Wei, ZHAO Rubin. Application of moment for train license recognition[J]. Microcomputer Applications, 2010, 31(11): 34?38.

[6] 楊吉. 基于圖像處理的高速列車車號識別算法研究[D]. 成都: 西南交通大學, 2017. YANG Ji. The research on high speed train number recognition algorithm based on image processing[D]. Chengdu: Southwest Jiaotong University, 2017.

[7] 廖健. 基于圖像的鐵路貨車車號自動識別研究[D]. 成都: 西南交通大學, 2016. LIAO Jian. Automatic recognition of railway wagon numbers based on images[D]. Chengdu: Southwest Jiaotong University, 2016.

[8] Niblack, Wayne. An introduction to digital image processing[C]// Advances in Computer Graphics Vi, Images: Synthesis, Analysis, and Interaction. Springer- Verlag, 1986.

[9] LI L Y, ZHANG X W, LI W T, et al. Visual inspection method of ceramic bottle surface defects based on niblack optimization[C]// Advanced Science and Industry Research Center. Proceedings of 2017 2nd International Conference on Computer, Mechatronics and Electronic Engineering (CMEE 2017). Advanced Science and Industry Research Center: Science and Engineering Research Center, 2017: 374?378.

[10] YANG Y, WANG H. Multi-view clustering: A survey[J]. Big Data Mining and Analytics, 2018, 1(2): 83?107.

[11] 鞠成恩. 基于圖像底層特征的圖像聚類與檢索研究[D]. 昆明: 昆明理工大學, 2018. JU Cheng’en. Research on image clustering and retrieval based on image bottom features[D]. Kunming: Kunming University of Science and Technology, 2018.

[12] Fikriye ?ztürk, Figen ?zen. A new license plate recognition system based on probabilistic neural networks[J]. Procedia Technology, 2012, 1: 124?128.

[13] 劉朝陽, 陳以, 李少博. 概率神經(jīng)網(wǎng)絡(luò)在手寫漢字識別中的應(yīng)用[J]. 電子設(shè)計工程, 2016, 24(2): 32?34. LIU Chaoyang, CHEN Yi, LI Shaobo. Application of probabilistic neural network in Chinese handwritten character recognition[J]. Electronic Design Engineering, 2016, 24(2): 32?34.

Research on identification method of freight train number based on spatio-temporal correlation analysis

WANG Baoxian1, 3, WANG Kai2, YANG Yufei2, LI Yiqiang1, 3, ZHAO Weigang1, 3

(1. Structure Health Monitoring and Control Institute, Shijiazhuang Tiedao University, Shijiazhuang 050043, China;2. School of Electrical and Electronic Engineering, Shijiazhuang Tiedao University, Shijiazhuang 050043, China;3. Key Laboratory for Health Monitoring and Control of Large Structures of Hebei Province, Shijiazhuang 050043, China)

In this paper, an effective and efficient freight train number identification model was processed based upon the spatiotemporal correlation analysis, which consists of three parts: train number location, fragment frame clustering and train number identification. Firstly, via the connected component analysis, the specific geometric proportion relation between these numbers characters of freight train was used to locate the train number area effectively. Secondly, on the basis of train number area location, one frame information complement framework was established by using the temporal and spatial redundancy information of video. Within this framework, the frame containing the error location result can be corrected, and the train sequences that contain the same contents were clustered by fragment clustering method. Thirdly, the probabilistic neural network was utilized for train number recognition, which jointly identifies multiple image frames which may contain the same train number, thereby improving the accuracy of train number recognition. Simulation results on the practical train video dataset demonstrate that the average recognition accuracy of our presented model is higher than 90%, which is better than the traditional static freight train number identification methods.

freight train; train number location; train number identification; spatiotemporal correlation; probabilistic neural network

10.19713/j.cnki.43?1423/u.T20200574

TP391.41

A

1672 ? 7029(2021)04 ? 0999 ? 10

2020?06?23

河北省重點研發(fā)計劃項目(19210804D)；國家自然科學基金資助項目(51808358)；河北省高等學?？茖W技術(shù)研究項目(BJ2020057)；國家能源投資集團有限責任公司科技創(chuàng)新項目(SHGF-15-41)；石家莊鐵道大學研究生創(chuàng)新資助項目(YC2020067)；石家莊鐵道大學優(yōu)秀青年科學基金資助項目

王保憲(1987?)，男，河北清河人，副教授，博士，從事數(shù)字圖像處理、智能感知技術(shù)與數(shù)據(jù)科學工程等方面研究；E?mail：wbx1025@163.com

(編輯 陽麗霞)