無(wú)砟道床板間相對(duì)位移測(cè)量中感興趣區(qū)域自動(dòng)提取方法

王魯明，李再幃，趙彥旭，路宏遙，何越磊

(1. 上海工程技術(shù)大學(xué)城市軌道交通學(xué)院，上海 201620；2. 中鐵二十一局集團(tuán)有限公司，甘肅 蘭州 730070)

雙塊式無(wú)砟軌道是中國(guó)高鐵軌道主要結(jié)構(gòu)形式之一，累計(jì)已鋪設(shè)1萬(wàn)余公里。隨著軌道結(jié)構(gòu)服役時(shí)間的不斷增加，其服役性能日益惡化，需要建立結(jié)構(gòu)性能參數(shù)監(jiān)測(cè)系統(tǒng)，以便及時(shí)有效地確定無(wú)砟軌道結(jié)構(gòu)服役狀態(tài)?，F(xiàn)場(chǎng)生產(chǎn)實(shí)踐表明：西北某高鐵所采用19.5 m 單元板道床結(jié)構(gòu)受外界環(huán)境影響顯著，灌注于道床板間伸縮縫的高分子材料，易于出現(xiàn)脫離、失效等結(jié)構(gòu)病害[1]。因此，為了保證雙塊式無(wú)砟軌道結(jié)構(gòu)服役狀態(tài)，有必要對(duì)雙塊式無(wú)砟道床板間位移進(jìn)行有效監(jiān)測(cè)，以便制定合理的無(wú)砟軌道養(yǎng)護(hù)維修策略。目前，無(wú)砟軌道結(jié)構(gòu)位移監(jiān)測(cè)主要有接觸式和非接觸式2種方法。接觸式方法通常利用軌道結(jié)構(gòu)上布線、打孔等工序來(lái)實(shí)現(xiàn)傳感器固定，已應(yīng)用于部分高鐵軌道監(jiān)測(cè)中[2?4]，但此種方法相比于非接觸式安裝較為復(fù)雜，對(duì)安裝人員要求較高，同樣也有破壞軌道結(jié)構(gòu)表面，測(cè)點(diǎn)無(wú)法重復(fù)利用的問(wèn)題。非接觸式則需要在線路結(jié)構(gòu)旁安裝光學(xué)感光元件，通過(guò)相應(yīng)的數(shù)字圖像處理方法實(shí)現(xiàn)無(wú)砟軌道位移測(cè)量，由于此種方法無(wú)須對(duì)軌道結(jié)構(gòu)進(jìn)行施工作業(yè)，避免了接觸式方法存在的缺點(diǎn)，已初步應(yīng)用于位移監(jiān)測(cè)中。苗壯等[5]通過(guò)在道旁布設(shè)攝像單元實(shí)現(xiàn)了軌道板層間位移的測(cè)量；魏秀琨等[6]給出了機(jī)器視覺(jué)在軌道檢查各個(gè)方面具體應(yīng)用的現(xiàn)狀；閔永智等[7-9]則利用單目視覺(jué)系統(tǒng)結(jié)合靶面特征幾何信息實(shí)現(xiàn)了無(wú)砟道床結(jié)構(gòu)沉降的有效監(jiān)測(cè)。這些研究中對(duì)于測(cè)量目標(biāo)的定位與提取往往采用套用灰度模板，并輔助人工標(biāo)記的方法進(jìn)行，此類(lèi)方法對(duì)于拍攝圖像質(zhì)量不佳以及測(cè)量目標(biāo)位移過(guò)大時(shí)，無(wú)法實(shí)現(xiàn)目標(biāo)定位，且操作較為繁瑣，圖像處理速度較慢。目前基于深度學(xué)習(xí)實(shí)現(xiàn)目標(biāo)定位技術(shù)已開(kāi)始應(yīng)用于軌道領(lǐng)域，尤其是在軌道結(jié)構(gòu)部件定位方面取得了良好的效果[10-14]，但此類(lèi)算法目前尚無(wú)應(yīng)用于位移測(cè)量的先例，將其直接應(yīng)用于位移測(cè)量尚存在諸多問(wèn)題，如對(duì)于不同光照條件、不同拍攝角度等情況的適用性不強(qiáng)，精度也不能滿足要求等。因此在進(jìn)行位移測(cè)量時(shí)，對(duì)于有標(biāo)靶的無(wú)砟軌道目標(biāo)圖像，研究可用于位移測(cè)量的基于深度學(xué)習(xí)目標(biāo)追蹤算法，實(shí)現(xiàn)感興趣區(qū)域(Re‐gion of interest,ROI)的自動(dòng)有效提取是必要的?；诖?，本文提出一種基于Faster R-CNN(Faster Re‐gions with CNN)的ROI區(qū)域自動(dòng)提取方法。根據(jù)雙塊式無(wú)砟道床板間縱向相對(duì)位移監(jiān)測(cè)特點(diǎn)，利用人工標(biāo)靶圖片作為基礎(chǔ)，基于Keras 深度學(xué)習(xí)庫(kù)對(duì)樣本集進(jìn)行有針對(duì)性的圖像數(shù)據(jù)增強(qiáng)，豐富樣本類(lèi)型，建立適用于西北地區(qū)復(fù)雜環(huán)境的人工標(biāo)靶數(shù)據(jù)集。另外對(duì)Faster R-CNN 算法模型進(jìn)行優(yōu)化，提高對(duì)于小目標(biāo)檢測(cè)的精度與效率，可自動(dòng)識(shí)別人工標(biāo)靶在圖片中的位置，對(duì)ROI 區(qū)域進(jìn)行快速準(zhǔn)確提取，最后基于機(jī)器視覺(jué)測(cè)量技術(shù)得到無(wú)砟道床板間縱向相對(duì)位移，為無(wú)砟軌道位移測(cè)量、結(jié)構(gòu)狀態(tài)檢測(cè)打下基礎(chǔ)，對(duì)保障高鐵列車(chē)安全運(yùn)行具有實(shí)際意義。

1 無(wú)砟道床板間相對(duì)位移非接觸式測(cè)量原理

1.1 基本原理

本文所量測(cè)對(duì)象為雙塊式無(wú)砟道床板間縱向相對(duì)位移，圖1 為基本檢測(cè)原理，點(diǎn)P(X,Y,Z)為固定在軌道結(jié)構(gòu)上的人工標(biāo)靶的中心坐標(biāo)，在無(wú)砟道床側(cè)方向路基上安裝攝像機(jī)，定時(shí)獲取包含標(biāo)靶的圖片，該標(biāo)靶中心在圖像坐標(biāo)系中坐標(biāo)為p(u,v)，Oc為攝像機(jī)光心。

圖1 道床板間縱向相對(duì)位移測(cè)量原理Fig.1 Measurement principle of longitudinal relative displacement between ballast slabs

為了有效地獲取P點(diǎn)坐標(biāo)，需要將圖像坐標(biāo)映射到軌道坐標(biāo)，有：

其中：Zc為人工標(biāo)靶到攝像機(jī)光心之間的距離在光軸上的投影長(zhǎng)度，在測(cè)量過(guò)程中是已知的；M為參數(shù)矩陣，其值為：

式中：第1 個(gè)矩陣為內(nèi)參數(shù)矩陣，F(xiàn)x，F(xiàn)y分別為圖像平面中x，y方向的等效焦距，Cx，Cy分別為光軸與像面焦點(diǎn)在圖像平面中x，y方向的圖像坐標(biāo)；第2個(gè)矩陣為外參數(shù)矩陣，R，T分別為3×3旋轉(zhuǎn)矩陣和3×1平移矩陣[5]。

在視覺(jué)測(cè)量模型中，標(biāo)記點(diǎn)中心坐標(biāo)單位是像素(pixel)，道床板間縱向相對(duì)位移單位是mm，需要通過(guò)標(biāo)定將像素單位轉(zhuǎn)換為長(zhǎng)度單位。初始標(biāo)定中，將已知2個(gè)圓心距離的標(biāo)定板固定于道床板上，若忽略外界環(huán)境因素，設(shè)2 個(gè)圓心(中心坐標(biāo)(x1,y1)和(x0,y0))的實(shí)際距離為L(zhǎng)，則標(biāo)定系數(shù)k為：其中：j表示第j個(gè)圓形標(biāo)記點(diǎn)，取1～4，n表示第n張圖像。

1.2 無(wú)砟道床板間相對(duì)位移測(cè)量方法

根據(jù)上述原理，現(xiàn)給出無(wú)砟道床板間相對(duì)位移有效測(cè)量計(jì)算流程，如圖3所示。

圖3 無(wú)砟道床板間縱向相對(duì)位移測(cè)量流程Fig.3 Measurement process of longitudinal relative displacement between bed plates of ballastless track

Step 1：基于圖像增強(qiáng)技術(shù)擴(kuò)充樣本數(shù)量，標(biāo)注無(wú)砟道床板圖片建立數(shù)據(jù)集，結(jié)合Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行位移檢測(cè)模型的訓(xùn)練；

Step 2：在檢測(cè)模型訓(xùn)練完成后，輸入待檢測(cè)圖片，自動(dòng)提取目標(biāo)ROI區(qū)域；

第三，充分利用互聯(lián)網(wǎng)和新興媒體，開(kāi)通多層次、多渠道的營(yíng)銷(xiāo)網(wǎng)絡(luò)，加大互聯(lián)網(wǎng)促銷(xiāo)力度，形成直銷(xiāo)和代理相結(jié)合的特色營(yíng)銷(xiāo)渠道。

Step 3：對(duì)ROI 區(qū)域圖像進(jìn)行處理，如二值化、濾波降噪、提取標(biāo)定圓等，利用式(4)計(jì)算無(wú)砟道床板間縱向相對(duì)位移。

圖2 標(biāo)記點(diǎn)的位移測(cè)量Fig.2 Displacement measurement of marked points

2 基于Faster R-CNN 的ROI 區(qū)域自動(dòng)提取算法

2.1 樣本集擴(kuò)充與構(gòu)建

鑒于西北地區(qū)無(wú)砟道床板服役環(huán)境的復(fù)雜性，風(fēng)雨雷電等因素影響顯著，由于前期測(cè)試中僅有少量圖片樣本，而通常為了實(shí)現(xiàn)樣本有效提取，避免算法中過(guò)擬合問(wèn)題，作為目標(biāo)識(shí)別的深度學(xué)習(xí)樣本數(shù)量要求至少為2 000 個(gè)。所以，本文基于Keras 深度學(xué)習(xí)庫(kù)[8?9]，對(duì)樣本集進(jìn)行有針對(duì)性的圖像數(shù)據(jù)增強(qiáng)，使之適用于西北地區(qū)復(fù)雜環(huán)境中拍攝的變化較大圖片，建立適用于西北地區(qū)環(huán)境的樣本庫(kù)。根據(jù)圖1中無(wú)砟道床板間縱向相對(duì)位移測(cè)量特點(diǎn)，由于測(cè)量對(duì)象中目標(biāo)方向的改變不會(huì)影響識(shí)別結(jié)果，可以通過(guò)對(duì)現(xiàn)有無(wú)砟道床板圖片樣本集進(jìn)行采用翻轉(zhuǎn)和旋轉(zhuǎn)方法，生成新的無(wú)砟道床板圖片樣本庫(kù)，使其滿足目標(biāo)檢測(cè)樣本數(shù)量要求。

這里采用以TensorFlow 平臺(tái)作為后端，通過(guò)調(diào)用內(nèi)嵌的Keras圖像數(shù)據(jù)增強(qiáng)Image Data Genera‐tor軟件包，建立圖像生成迭代器，經(jīng)過(guò)樣本試算，令旋轉(zhuǎn)最大角度為30°，亮度參數(shù)為0.1～5，可將現(xiàn)有700 余張采樣樣本，擴(kuò)展為樣本數(shù)量為5 622的樣本庫(kù)，滿足了深度學(xué)習(xí)對(duì)于樣本數(shù)量的要求。在此基礎(chǔ)上，進(jìn)行數(shù)據(jù)集的構(gòu)建，利用手工框選定位圖像中標(biāo)靶位置，并標(biāo)注目標(biāo)檢測(cè)所需數(shù)據(jù)，如圖4 所示。將標(biāo)注信息保存為xml 文件，然后使用TensorFlow 平臺(tái)將xml 文件轉(zhuǎn)為二進(jìn)制數(shù)據(jù)TFrecord文件，以便后續(xù)進(jìn)行數(shù)據(jù)處理。

圖4 圖像標(biāo)注Fig.4 Image annotation

2.2 人工標(biāo)靶目標(biāo)檢測(cè)

本文參考了原始的Faster R-CNN 算法模型，對(duì)模型進(jìn)行優(yōu)化，提高對(duì)于本文使用的人工標(biāo)靶一類(lèi)小目標(biāo)檢測(cè)的精度與效率。然后基于優(yōu)化的Faster R-CNN模型對(duì)無(wú)砟道床板間縱向相對(duì)位移測(cè)量圖像中人工標(biāo)靶ROI 區(qū)域進(jìn)行目標(biāo)檢測(cè)。主要思路是先通過(guò)CNN 中卷積層對(duì)任意一張?jiān)紙D像進(jìn)行特征映射圖提取；再經(jīng)過(guò)區(qū)域建議網(wǎng)絡(luò)(Re‐gional proposal net，RPN)中softmax 激活函數(shù)計(jì)算映射圖中每個(gè)特征點(diǎn)的概率，生成若干候選域；最后利用綜合卷積層提取特征映射圖與候選域，進(jìn)行感興趣區(qū)域池化提取候選特征圖，通過(guò)分類(lèi)和邊框回歸，精確標(biāo)記圖中的人工標(biāo)靶。本文所用Faster R-CNN模型如圖5所示，具體方法如下。

圖5 Faster R-CNN模型結(jié)構(gòu)Fig.5 Faster R-CNN model structure

Step 1：利用CNN 網(wǎng)絡(luò)卷積層進(jìn)行位移圖像特征提取，采用VGG16 模型，具體參數(shù)為13 個(gè)卷積層、13個(gè)ReLu激活層以及4個(gè)池化層。

Step 3：用3×3 卷積核滑窗對(duì)特征圖進(jìn)行搜索，然后利用softmax 激活函數(shù)計(jì)算映射圖中每個(gè)特征點(diǎn)的概率P，提取概率前300 的區(qū)域作為目標(biāo)ROI 候選域。

Step 4：將交并比IoU(Intersection over Union)作為衡量ROI候選域準(zhǔn)確度的指標(biāo)：

A 和B 為2 個(gè)候選域面積。利用IoU 作為指標(biāo)修正原始目標(biāo)ROI 候選區(qū)域的邊框，從而獲取真實(shí)的ROI區(qū)域。

3 實(shí)例驗(yàn)證

3.1 樣本來(lái)源

為了驗(yàn)證所提方法的有效性，本文在某250 km/h的雙塊式無(wú)砟軌道線路上安裝了基于Am‐link-Temolin 的道床板間縱向相對(duì)位移監(jiān)測(cè)系統(tǒng)，可實(shí)現(xiàn)24 h 在線監(jiān)測(cè)；其中，人工標(biāo)靶粘貼于道床板側(cè)表面，材質(zhì)為氧化鋁，表面光滑且垂直于地面，一般情況下不會(huì)受到污染；必要時(shí)也可通過(guò)更換新的人工標(biāo)記點(diǎn)或更新后續(xù)圖像的樣本集來(lái)保證測(cè)量系統(tǒng)長(zhǎng)期監(jiān)測(cè)的準(zhǔn)確性；攝像單元采用CMOS傳感器，鏡頭分辨率為400萬(wàn)像素，圖片分辨率為2 560×1 440。設(shè)備安裝和人工標(biāo)靶如圖6所示，攝像單元拍攝圖像如圖7所示。

圖6 監(jiān)測(cè)設(shè)備現(xiàn)場(chǎng)安裝情況Fig.6 Monitoring equipment installation on site

圖7 現(xiàn)場(chǎng)拍攝圖像Fig.7 Live images

3.2 方法有效性

采用前文所提算法，采用基于python3.6 的TensorFlow平臺(tái)，TensorFlow版本為1.3.0，系統(tǒng)環(huán)境為64 位Windows10，利用Faster R-CNN 模型對(duì)實(shí)際無(wú)砟道床板間縱向相對(duì)位移檢測(cè)圖像進(jìn)行識(shí)別?？紤]到標(biāo)靶大小固定，實(shí)踐中將RPN 網(wǎng)絡(luò)的批處理尺寸固定為256；同時(shí)，為使網(wǎng)絡(luò)模型更加全面、減小過(guò)擬合，設(shè)置隨機(jī)失活值為0.5；模型訓(xùn)練時(shí)設(shè)置最大迭代次數(shù)為20 000 次，優(yōu)化器為Adam，權(quán)值衰減系數(shù)為0.000 5，學(xué)習(xí)率為0.001。結(jié)果如圖8 所示，圖中98%，99%即準(zhǔn)確率，意味著正確檢出樣本的概率，可直觀反映模型的效果。

圖8 目標(biāo)檢測(cè)效果Fig.8 Target detection rendering

為評(píng)價(jià)檢測(cè)結(jié)果，這里采用召回率(Recall，R)、準(zhǔn)確率(Precision，P)以及多類(lèi)別平均準(zhǔn)確率(mean Average Precision，mAP)3 個(gè)指標(biāo)[8]進(jìn)行說(shuō)明。召回率R是指檢出樣本占所有樣本的比例；準(zhǔn)確率P是指檢出中正確樣本的占檢出樣本的比例；mAP值是多類(lèi)別AP(Average Precision)值的平均值，AP值越大模型效果越好，反之越差。

本文所用方法在經(jīng)過(guò)20 000 次迭代之后的召回率R為99.16%(成功檢測(cè)出2 790 個(gè)，未檢測(cè)出21 個(gè))樣本檢出結(jié)果如圖9 所示，準(zhǔn)確率P為98.91%(正確檢測(cè)2 761 個(gè)，錯(cuò)誤檢測(cè)29 個(gè))；未檢測(cè)出及錯(cuò)誤檢測(cè)的主要原因是訓(xùn)練使用的樣本集中缺少與之相近的樣本圖像，這也是本文算法可改進(jìn)的地方，可通過(guò)增加樣本集數(shù)量、提高樣本集多樣性、增加訓(xùn)練次數(shù)等減少此類(lèi)情況；另外由于個(gè)別圖像拍攝時(shí)的環(huán)境惡劣等客觀原因?qū)е聢D像質(zhì)量較差，也可能導(dǎo)致無(wú)法識(shí)別人工標(biāo)靶。mAP值為0.891 2，模型綜合素質(zhì)較好。這說(shuō)明基于Faster R-CNN 的ROI 區(qū)域自動(dòng)提取算法可以實(shí)現(xiàn)無(wú)砟道床板間縱向相對(duì)位移測(cè)量中靶點(diǎn)ROI 區(qū)域的準(zhǔn)確提取。

圖9 樣本檢出結(jié)果Fig.9 Sample test results

為驗(yàn)證本文所用的機(jī)器視覺(jué)位移測(cè)量方法的準(zhǔn)確性，設(shè)備在現(xiàn)場(chǎng)安裝之前，先設(shè)計(jì)進(jìn)行了室內(nèi)相關(guān)試驗(yàn)，確定方法的測(cè)量精度進(jìn)而證實(shí)其有效性。經(jīng)過(guò)對(duì)比試驗(yàn)，最終確定參數(shù)為鏡頭與標(biāo)靶距離5 m，人工標(biāo)靶邊長(zhǎng)60 mm，標(biāo)記圓直徑18 mm，鏡頭使用M12 標(biāo)準(zhǔn)50 mm 長(zhǎng)焦距鏡頭，夜間補(bǔ)光采用功率3 W 的LED 燈珠作為光源，左右傾角為0°。通過(guò)試驗(yàn)設(shè)備精確控制標(biāo)靶位移，單次位移值1 mm，共計(jì)10 次，總位移為10 mm。使用本文機(jī)器視覺(jué)位移測(cè)量方法計(jì)算標(biāo)靶位移變化，分析測(cè)量精度，結(jié)果如表1所示。

表1 測(cè)量位移與實(shí)際位移對(duì)比Table 1 Comparison of measured displacement and actual displacement

由表1 可知，本文方法在測(cè)量1 mm 位移時(shí)誤差均小于1.5%，即0.015 mm，在誤差的允許范圍之內(nèi)，且精度較高，滿足無(wú)砟道床板間縱向相對(duì)位移測(cè)量需求。

3.3 方法效果驗(yàn)證

為驗(yàn)證本文方法效果，將現(xiàn)有常用目標(biāo)識(shí)別算法YOLO v3[10]，SSD[11]，F(xiàn)ast R-CNN 算法[12-13]進(jìn)行比較，其中，YOLO v3 模型根據(jù)文獻(xiàn)[10]在Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上添加1 個(gè)步長(zhǎng)為2 的卷積核，增加4 組殘差組件，采用K-means 聚類(lèi)的方法來(lái)確定先驗(yàn)框參數(shù)；SSD 模型根據(jù)文獻(xiàn)[11]以Densenet 網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，對(duì)19×19 分辨率的特征圖采用卷積核為2×2，步長(zhǎng)為2 的轉(zhuǎn)置卷積參數(shù)，對(duì)38×38 分辨率的特征圖采用卷積核為3×3，步長(zhǎng)為2，擴(kuò)充邊緣為1 的轉(zhuǎn)置卷積參數(shù)。Fast R-CNN模型參數(shù)與文獻(xiàn)[12]保持一致。

將2.1 中數(shù)量為5 622 的樣本庫(kù)，輸入以上幾種常用目標(biāo)識(shí)別算法模型中進(jìn)行訓(xùn)練；經(jīng)20 000次迭代之后，結(jié)果圖10和圖11所示。

圖10 目標(biāo)檢測(cè)結(jié)果對(duì)比Fig.10 Comparison of target detection results

圖11 不同算法的mAP值隨迭代次數(shù)變化情況Fig.11 mAP values of different algorithms vary

由圖10 可知，本文方法準(zhǔn)確率最高，計(jì)算效率較好，滿足實(shí)際監(jiān)測(cè)的需求；基于Fast R-CNN的檢測(cè)方法檢測(cè)準(zhǔn)確率較高，但是計(jì)算速度最慢；SSD 算法將目標(biāo)檢測(cè)任務(wù)轉(zhuǎn)換成回歸問(wèn)題，降低計(jì)算量提高了計(jì)算效率，但檢測(cè)準(zhǔn)確性較低；YO‐LO v3 模型具有最快的處理速度，但其檢測(cè)精度最低。

對(duì)比分析圖11 可知，在前5 000 次迭代過(guò)程中不同算法的mAP值均提升較快、后趨于平穩(wěn)，本文方法、Fast R-CNN，SSD，YOLO v3 的mAP值分別為0.891 2，0.869 7，0.832 6 和0.808 1，說(shuō)明本文方法在模型整體性上有一定優(yōu)勢(shì)，可有效提高非接觸式無(wú)砟道床板間相對(duì)位移測(cè)量的準(zhǔn)確度與效率，具有實(shí)用價(jià)值。

4 結(jié)論

1) 基于Faster R-CNN 模型的靶點(diǎn)ROI 自動(dòng)提取算法召回率R為99.16%，準(zhǔn)確率P為98.91%，相對(duì)位移測(cè)量誤差均小于1.5%，在誤差的允許范圍之內(nèi)，精度較高，可以有效地滿足無(wú)砟道床板間縱向相對(duì)位移測(cè)量中精度和準(zhǔn)確率的要求。

2) 與其他的提取ROI 區(qū)域算法相比，本文所提方法在模型準(zhǔn)確性和整體精度上具有一定優(yōu)勢(shì)，計(jì)算速度上稍顯不足，但實(shí)踐經(jīng)驗(yàn)表明可滿足無(wú)砟道床板間相對(duì)位移監(jiān)測(cè)需求。

3) 建議高速鐵路無(wú)砟軌道結(jié)構(gòu)位移監(jiān)測(cè)中采用非接觸式測(cè)量方法，進(jìn)一步深化非接觸式位移測(cè)量核心算法研究。