基于2D與3D激光圖像的軌道扣件狀態(tài)智能檢測(cè)

陳文婷，羅文婷，李 林，秦 勇，溫王鵬，吳鎮(zhèn)濤

(1.福建農(nóng)林大學(xué)交通與土木工程學(xué)院，福建福州 350108；2.南京工業(yè)大學(xué)交通運(yùn)輸工程學(xué)院，江蘇南京 210009；3.北京交通大學(xué)，軌道交通控制與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100084)

0 引言

軌道扣件作為連結(jié)鋼軌與軌枕的主要構(gòu)件，起著穩(wěn)定鋼軌，防止鋼軌發(fā)生相對(duì)移動(dòng)的重要作用[1-2]。但由于列車車輪和軌道之間接觸摩擦和振動(dòng)沖擊的作用，以及軌道扣件長(zhǎng)年裸露于外界環(huán)境中，容易產(chǎn)生扣件失效等情況，嚴(yán)重影響了列車運(yùn)行的安全性。因此，有必要對(duì)軌道扣件狀態(tài)進(jìn)行定期檢測(cè)，以確保鐵路運(yùn)行的安全穩(wěn)定。

目前，軌道扣件的檢測(cè)主要基于人工檢測(cè)，由維修工作人員在夜晚檢查軌道沿線的扣件狀況，若發(fā)現(xiàn)異常或缺損的軌道扣件，及時(shí)對(duì)其進(jìn)行維護(hù)[3]，該巡檢模式不但效率低，且其主觀性較強(qiáng)，不能滿足日益增長(zhǎng)的鐵路運(yùn)營(yíng)里程的需求。早期主要通過(guò)渦流[4]、超聲[5-6]、紅外[7]、電磁層析成像[8]等物理技術(shù)進(jìn)行軌道自動(dòng)檢測(cè)，但上述檢測(cè)設(shè)備貴，且較依賴人工標(biāo)準(zhǔn)。J. Yang等[9]根據(jù)扣件的固定結(jié)構(gòu)，以方向場(chǎng)特征作為特征描述器，通過(guò)對(duì)圖像序列的處理，提出了緊固件定位算法，可以完成緊固件位置的針對(duì)性獲取。劉甲甲等[10]提出基于層級(jí)加權(quán)融合和貝葉斯壓縮感知的扣件缺損識(shí)別方法，可以自動(dòng)識(shí)別缺損的扣件。但該方法需要理想的背景環(huán)境，不具備較強(qiáng)的魯棒性。近幾年，隨著深度學(xué)習(xí)不斷發(fā)展，越來(lái)越多學(xué)者利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)。趙冰等[11]將部件檢測(cè)分為2個(gè)通道，分別為部件檢測(cè)通道與部件缺損分類通道，從而完成軌道關(guān)鍵部件缺損檢測(cè)。X. K. Wei等[12]提出使用Faster R-CNN[13]、TLMDDNet[14]、VGGNet[15]檢測(cè)有缺陷的扣件，但因?yàn)閿?shù)據(jù)不均衡，較難準(zhǔn)確地識(shí)別出缺損的扣件，這并不利于提高扣件病害分類的準(zhǔn)確率。此外，一些病害類型(如扣件松動(dòng)等)，需要有效空間信息才能正確判斷。

隨著三維激光成像技術(shù)的不斷發(fā)展，越來(lái)越多的學(xué)者基于三維激光圖像開展研究。C.Aytekin等[16]基于高速激光測(cè)距相機(jī)開發(fā)一套軌道扣件實(shí)時(shí)檢測(cè)系統(tǒng)，研究了基于圖像像素和直方圖相似性的多種方法，認(rèn)為基于直方圖的檢測(cè)方法更有效。A.G.Lorente[17]在三維圖像的基礎(chǔ)上通過(guò)模板匹配法對(duì)緊固件進(jìn)行初始定位，接著利用3D云點(diǎn)模型完成緊固件的最終定位，但是沒有具體描述如何采用3D云點(diǎn)模型實(shí)現(xiàn)緊固件的準(zhǔn)確定位。此外，一些研究人員利用面陣相機(jī)獲取軌道視頻數(shù)據(jù)，根據(jù)圖像序列以及編碼器信號(hào)進(jìn)行軌道緊固件定位[18]。代先星等[19]基于三維數(shù)據(jù)，采用先驗(yàn)知識(shí)對(duì)緊固件區(qū)域進(jìn)行定位，并獲取彈條的三維深度值，運(yùn)用支持向量機(jī)對(duì)緊固件進(jìn)行檢測(cè)。王樂(lè)等[20]通過(guò)構(gòu)建累積高度函數(shù)和先驗(yàn)知識(shí)分割鋼軌區(qū)域和扣件區(qū)域，實(shí)現(xiàn)扣件狀態(tài)的自動(dòng)化檢測(cè)。但上述算法檢測(cè)精度較低，針對(duì)不同鐵路線路的泛化性不足。文獻(xiàn)[21]在三維圖像的基礎(chǔ)上，通過(guò)圖像預(yù)處理方法對(duì)圖像進(jìn)行處理，如Canny算子邊緣檢測(cè)、形態(tài)學(xué)處理等，然后運(yùn)用模板匹配技術(shù)對(duì)缺損的扣件進(jìn)行識(shí)別。但是該方法遵循2D圖像的檢測(cè)思路，沒有考慮利用三維深度圖像的深度信息。

本研究利用三維線掃激光技術(shù)采集軌道扣件二維及三維圖像，結(jié)合圖像處理與深度學(xué)習(xí)，實(shí)現(xiàn)高效的軌道扣件狀態(tài)智能檢測(cè)與準(zhǔn)確的螺栓區(qū)域定位；基于螺栓定位結(jié)果，結(jié)合三維深度信息，實(shí)現(xiàn)螺栓松動(dòng)檢測(cè)。

1 數(shù)據(jù)采集系統(tǒng)

采用的數(shù)據(jù)采集設(shè)備是三維線掃激光成像系統(tǒng)，見圖1。該系統(tǒng)主要由CCD(charge coupled device)相機(jī)、激光器、計(jì)算機(jī)等構(gòu)成。將三維線掃激光成像系統(tǒng)搭載于軌檢小車上，安裝在車輪上的光電編碼器(DMI)能夠根據(jù)小車的移動(dòng)狀態(tài)，將脈沖信號(hào)實(shí)時(shí)發(fā)射給CCD相機(jī)，相機(jī)接收到信號(hào)后，按距離觸發(fā)采集軌道三維圖像。軌道檢測(cè)車如圖2所示。

圖1 三維線掃激光成像系統(tǒng)

圖2 軌道檢測(cè)車

系統(tǒng)采用垂直入射式三角激光原理，利用自適應(yīng)感光ROI優(yōu)化方法，根據(jù)激光條紋分布位置來(lái)自適應(yīng)調(diào)整感光芯片的感光區(qū)域，并使用改進(jìn)的灰度權(quán)重模型，提取亞像素級(jí)別的激光條紋中心位置[22]。在采集過(guò)程中，能夠同步獲得完全匹配的二維圖像及三維圖像[23]，并利用OpenGL對(duì)三維深度圖像進(jìn)行渲染。同步采集的二維、三維圖像及三維渲染圖像如圖3所示。

(a)二維激光圖像

(b)三維激光圖像

(c)三維渲染圖像

2 2D與3D圖像融合

二維激光圖像具有色彩灰度特征，但缺乏三維深度信息；而三維圖像具有三維深度信息，但其可視化效果不佳。因此，本文將二維與三維圖像進(jìn)行融合，使軌道扣件圖像包含更豐富的語(yǔ)義信息，從而提高目標(biāo)檢測(cè)的精度。

2.1 3D圖像灰度化

考慮到三維線掃激光成像采集系統(tǒng)采集得到的三維圖像為16位深度圖，軌道扣件區(qū)域灰度特征不明顯，因此在訓(xùn)練前將其進(jìn)行灰度化處理?；叶然幚硗ǔＳ?種方法。第1種方法將深度圖轉(zhuǎn)為灰度圖時(shí)保留原來(lái)的像素值，此方法僅改變位數(shù)而不改變具體數(shù)值，但是當(dāng)像素超過(guò)255將固定轉(zhuǎn)為255，會(huì)造成信息丟失，導(dǎo)致精度降低；第2種方法先將深度圖歸一化，然后再轉(zhuǎn)為灰度圖。方法2彌補(bǔ)了方法1的缺陷，且可視化效果較好，故本節(jié)使用第2種方法將三維深度圖像轉(zhuǎn)為二維灰度圖像，具體轉(zhuǎn)化公式見式(1)，轉(zhuǎn)化后的二維灰度圖如圖4所示。

(1)

式中:f(xij)為輸出的二維灰度圖像中各點(diǎn)的像素值；xij為輸入的三維深度圖像中某點(diǎn)的像素值；i、j的范圍為1～2 048，且i、j為整數(shù)；Pmin為輸入的三維深度圖像的最小像素值；Pmax為輸入的三維深度圖像的最大像素值。

(a)三維深度圖

(b)三維圖像灰度化

2.2 2D-3D線性加權(quán)融合

線性加權(quán)融合是一種經(jīng)典的二元像素操作，即對(duì)輸入的2個(gè)圖像矩陣按照給定的融合比例進(jìn)行線性疊加，從而達(dá)到在一幅圖像中表現(xiàn)2幅圖像局部特征的目的。本文將原始二維圖像與三維灰度化圖像作為待輸入的2幅圖像，對(duì)其進(jìn)行線性加權(quán)融合。在進(jìn)行線性加權(quán)融合時(shí)，假設(shè)2幅圖像的融合權(quán)重分別為α和β，則經(jīng)過(guò)線性加權(quán)融合后的輸出圖像g(x)中各點(diǎn)像素值為

g(x)=αf1(x)+βf2(x)

(2)

式中：α和β為2種圖片的融合權(quán)重，其中α+β=1且0≤α≤1，0≤β≤1；f1(x)和f2(x)表示輸入的兩幅圖像，分別為原始2D圖與三維灰度化圖像；g(x)為輸出圖像中各點(diǎn)的像素值。

實(shí)際上α、β和f1(x)、f2(x)相乘就是調(diào)整f1(x)、f2(x)對(duì)應(yīng)圖像的明暗度。α分別取0.1、0.2、0.3、0.5、0.7,融合后的圖像如圖5所示。

(a)α=0.1(b)α=0.2(c)α=0.3(d)α=0.5(e)α=0.7圖5 線性加權(quán)融合后的圖像

3 軌道扣件狀態(tài)智能檢測(cè)

3.1 數(shù)據(jù)庫(kù)構(gòu)建

利用三維線掃激光成像采集系統(tǒng)采集河北某實(shí)驗(yàn)基地的軌道扣件數(shù)據(jù)，并對(duì)采集得到的數(shù)據(jù)進(jìn)行人工篩選，剔除一些由于設(shè)備抖動(dòng)等原因產(chǎn)生異常的圖像，得到1 500張扣件清晰的圖像數(shù)據(jù)，并使用LabelImg軟件對(duì)篩選后的原始二維圖像、三維灰度化圖像、2D-3D線性加權(quán)融合圖像進(jìn)行人工標(biāo)注，構(gòu)建3組軌道扣件數(shù)據(jù)集。標(biāo)注的扣件類型分為：彈條缺失(sr_m)、彈條松動(dòng)(sr_l)、墊片缺失(pad)、異物(fb)、正常(nm)、螺栓(nut)、螺母缺失(nut_m)。當(dāng)圖中出現(xiàn)一半的扣件，較難定義其狀態(tài)，因此另外分為待定類(undet)。各扣件病害標(biāo)注示例以原始二維圖像為例，見圖6。數(shù)據(jù)庫(kù)中的訓(xùn)練集、驗(yàn)證集數(shù)量見表1。

(a)彈條缺失 (b)彈條松動(dòng) (c)墊片缺失 (d)異物

(e)正常 (f)螺栓 (g)螺母缺失 (h)待定圖6 各扣件病害標(biāo)注示例

表1 訓(xùn)練集、驗(yàn)證集數(shù)量 張

3.2 訓(xùn)練扣件病害識(shí)別模型

實(shí)驗(yàn)使用GPU為GTX1060，PyTorch版本為1.7，CUDA 版本為10.2，cuDNN版本為7.6。訓(xùn)練過(guò)程中運(yùn)用遷移學(xué)習(xí)的方法訓(xùn)練扣件病害識(shí)別模型，將準(zhǔn)備的3組數(shù)據(jù)集分別放入YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)中訓(xùn)練，訓(xùn)練前需對(duì)訓(xùn)練參數(shù)進(jìn)行設(shè)置，具體的設(shè)置參數(shù)見表2。

表2 訓(xùn)練參數(shù)設(shè)置

4 螺栓松動(dòng)檢測(cè)

由于三維線掃激光采集系統(tǒng)采用俯拍的方式采集軌道扣件圖像，而螺栓松動(dòng)的表現(xiàn)形式也是以垂直方向的松動(dòng)為主，因此在二維圖像上難以判別螺栓的松緊情況。因此本文在二維與三維圖像融合的基礎(chǔ)上，提出基于二維與三維圖像特征融合的螺栓松動(dòng)檢測(cè)算法。利用YOLOv5模型對(duì)融合圖像中的螺栓進(jìn)行定位，從而獲取螺栓檢測(cè)框在圖像中的像素坐標(biāo)信息；將螺栓檢測(cè)框內(nèi)的區(qū)域分成道釘與螺母兩類，根據(jù)圖像中道釘與螺母區(qū)域的坐標(biāo)，可在完全匹配的三維圖像中提取該區(qū)域的深度值；統(tǒng)計(jì)道釘與螺母的深度值眾數(shù)；將深度值眾數(shù)乘上相應(yīng)的換算系數(shù)即得到各類的高度值，計(jì)算高度差，合理設(shè)置閾值，實(shí)現(xiàn)螺栓松動(dòng)檢測(cè)。

4.1 道釘與螺母區(qū)域分類

道釘及螺母區(qū)域的深度值是判別扣件松動(dòng)的主要依據(jù)，但若在道釘和螺母的輪廓邊緣界定不準(zhǔn)確的情況下，提取整個(gè)區(qū)域的高程值，會(huì)影響扣件松動(dòng)的判別結(jié)果。本文嘗試了2種不同的區(qū)域分類方法來(lái)劃定道釘與螺母區(qū)域的邊緣，從而排除邊緣界定不準(zhǔn)確對(duì)判別精度的影響。

4.1.1 K-均值聚類法

螺栓松動(dòng)檢測(cè)的關(guān)鍵是準(zhǔn)確區(qū)分道釘與螺母區(qū)域。K-均值(K-Means)算法是一種無(wú)監(jiān)督學(xué)習(xí)的基于劃分的聚類算法[24]，主要以歐式距離作為衡量數(shù)據(jù)間相似度的指標(biāo)，可以將相似的對(duì)象歸到同一個(gè)簇中，將不相似對(duì)象歸到不同簇中。算法根據(jù)預(yù)先指定的聚類數(shù)目隨機(jī)初始化聚類中心，通過(guò)更新聚類中心，迭代計(jì)算最小化聚類中心與數(shù)據(jù)點(diǎn)之間的誤差平方和(sum of squared error，SSE)，當(dāng)聚類中心不再變化時(shí)，函數(shù)收斂，聚類結(jié)束[25]。設(shè)置簇的個(gè)數(shù)為3，將螺栓區(qū)域中每一像素點(diǎn)的深度值作為數(shù)據(jù)輸入，可將螺栓區(qū)域的深度值聚成3類。誤差平方和SSE的計(jì)算公式為

(3)

式中：x為數(shù)據(jù)對(duì)象；k表示預(yù)先指定的聚類數(shù)目，即簇的數(shù)目；Ci為第i個(gè)簇；μi為簇Ci的均值向量，即第i個(gè)聚類中心。

μi計(jì)算公式為

(4)

由于K-Means聚類不能事先定義目標(biāo)類別，僅得到每簇對(duì)應(yīng)的平均值，至于各平均值對(duì)應(yīng)屬于道釘還是螺母不能確定。因此需要進(jìn)一步結(jié)合道釘與螺母的實(shí)際空間位置對(duì)其進(jìn)行分類。

4.1.2 基于區(qū)域收斂的螺栓分類法

K-均值聚類法需要通過(guò)不斷迭代來(lái)找到最小距離，因此耗時(shí)較久。另外，當(dāng)螺母松動(dòng)至道釘頂部時(shí)，道釘與螺母深度值接近，因此K-均值算法易將其歸為一類，導(dǎo)致分類不準(zhǔn)確。因此，提出一種基于區(qū)域收斂的螺栓分類法。根據(jù)道釘與螺母區(qū)域的空間位置，選取比各區(qū)域邊緣收斂的區(qū)域作為目標(biāo)區(qū)域。

第1步，對(duì)螺栓檢測(cè)框進(jìn)行逐像素遍歷，計(jì)算檢測(cè)框內(nèi)每一像素坐標(biāo)距離檢測(cè)框中心點(diǎn)的距離，計(jì)算公式為

(5)

式中：d(x,y)為檢測(cè)框內(nèi)每一像素坐標(biāo)距離檢測(cè)框中心的距離；xi為某一像素點(diǎn)在檢測(cè)框中的橫坐標(biāo)；yi為某一像素點(diǎn)在檢測(cè)框中的縱坐標(biāo)；x0為檢測(cè)框中心橫坐標(biāo)；y0為檢測(cè)框中心縱坐標(biāo)。

第2步，根據(jù)軌道扣件圖像上螺栓檢測(cè)框內(nèi)目標(biāo)的坐標(biāo)位置，將檢測(cè)框內(nèi)的目標(biāo)分成道釘與螺母兩類，如圖7所示。

圖7 道釘與螺母區(qū)域劃定

為了確保提取的點(diǎn)都明確在各個(gè)類別中，因此選擇比各類邊界收斂的區(qū)域作為各個(gè)類別的收斂區(qū)域。對(duì)檢測(cè)框內(nèi)每一像素坐標(biāo)距離檢測(cè)框中心的距離值進(jìn)行判斷，以確定道釘及螺母區(qū)域。道釘與螺母區(qū)域的判別公式見式(6)。

(6)

式中：R1為道釘區(qū)域的半徑，R1=12;R2、R3為螺母區(qū)域的圓環(huán)半徑，R2=19、R3=22。

4.2 松動(dòng)判別算法

通過(guò)分析螺栓的形態(tài)特征可知，當(dāng)螺栓處于擰緊情況下，道釘?shù)母叨戎当嚷菽父叨戎荡?；?dāng)螺栓處于輕微松動(dòng)狀態(tài)時(shí)，道釘與螺母的高度差發(fā)生變化；當(dāng)螺栓處于嚴(yán)重松動(dòng)狀態(tài)時(shí)，螺母表面高度高于道釘表面高度。因此可根據(jù)道釘與螺母的高度差來(lái)判斷螺栓是否松動(dòng)。

基于檢測(cè)框內(nèi)目標(biāo)的分類結(jié)果，提取道釘及螺母兩類目標(biāo)對(duì)應(yīng)的3D點(diǎn)云的深度值。為了更直觀地展示，將深度值乘上系數(shù)0.08，最終結(jié)果如圖8所示。按類別統(tǒng)計(jì)各類的深度值眾數(shù)。為了保證后續(xù)提取眾數(shù)的準(zhǔn)確性，在統(tǒng)計(jì)眾數(shù)時(shí)剔除深度值為0的像素點(diǎn)。對(duì)檢測(cè)框內(nèi)各類目標(biāo)深度值眾數(shù)取平均值，將各類目標(biāo)的深度值眾數(shù)平均值作為該類目標(biāo)的深度值，計(jì)算公式為

(7)

式中：n為類別數(shù)，n=1代表道釘類，n=2代表螺母類；δn為類別的深度值眾數(shù)和；Nm為類別深度值眾數(shù)的個(gè)數(shù)；μi為類別各深度值眾數(shù)；εn為類別深度值眾數(shù)的平均值。

(a)擰緊

(b)松動(dòng)

用于判別螺栓松動(dòng)的道釘與螺母高度差的閾值，通過(guò)大量采集同類型不同狀態(tài)的螺栓數(shù)據(jù)，并進(jìn)行統(tǒng)計(jì)分析來(lái)確定。對(duì)現(xiàn)場(chǎng)采集的螺栓進(jìn)行深度值提取，統(tǒng)計(jì)道釘區(qū)域與螺母區(qū)域的深度值眾數(shù)，并將深度值眾數(shù)乘以系數(shù)0.03作為高度值，計(jì)算其高度差，見式(8)。根據(jù)螺栓松動(dòng)的判別條件(式(9))，即可實(shí)現(xiàn)螺栓松動(dòng)檢測(cè)。

Δ=ε1-ε2

(8)

(9)

式中：Δ為道釘與螺母之間的高度差測(cè)量值，mm；ε1為螺母的高度值，mm；ε2為道釘?shù)母叨戎?，mm；a、b為判斷螺栓狀態(tài)的高度差閾值。

5 實(shí)驗(yàn)結(jié)果分析

5.1 軌道扣件智能檢測(cè)實(shí)驗(yàn)分析

在進(jìn)行二維與三維圖像線性加權(quán)融合時(shí)，融合權(quán)重的大小將影響圖片的融合效果，從而影響目標(biāo)檢測(cè)模型的準(zhǔn)確率。通過(guò)對(duì)比在不同融合權(quán)重的影響下模型的精確率，選取最佳的融合權(quán)重。本文將二維圖像融合權(quán)重α分別取值0.1、0.2、0.3、0.5、0.7時(shí)產(chǎn)生的數(shù)據(jù)集送入YOLOv5檢測(cè)網(wǎng)絡(luò)，并對(duì)比最終模型的精確率，見表3。

表3 不同的融合權(quán)重對(duì)應(yīng)的模型精確率

由表3可知，當(dāng)二維圖像的融合權(quán)重α取值為0.2時(shí)，模型精確率為64.5%，分別比α取值為0.1、0.3、0.5、0.7時(shí)高出3.7%、3.2%、7.7%、13.6%。實(shí)驗(yàn)結(jié)果表明：在二維及三維線性加權(quán)融合時(shí)，當(dāng)原始二維圖像融合權(quán)重α=0.2，三維灰度化圖像融合權(quán)重β=0.8時(shí)，模型精確率最高。因此，本文選取為0.2作為線性加權(quán)融合的權(quán)重系數(shù)。

3組不同數(shù)據(jù)集的扣件病害識(shí)別模型的精確率、召回率、mAP0.5、mAP0.5:0.95值見表4。

表4 不同數(shù)據(jù)集模型的精確率、召回率、mAP值

由表4可知，經(jīng)過(guò)二維及三維線性加權(quán)融合的數(shù)據(jù)集訓(xùn)練出的模型精確率較高，分別比以原始2D圖、灰度化處理圖像作為數(shù)據(jù)集的模型精確率高3.2%、11.3%。經(jīng)過(guò)二維及三維線性加權(quán)融合的數(shù)據(jù)集訓(xùn)練出的模型的召回率仍然較高。綜上所述，經(jīng)過(guò)2D-3D線性加權(quán)融合后的圖像由于融合了二維圖像與三維圖像的特征，彌補(bǔ)了二維圖像缺乏深度信息的缺陷，提高了模型的精確率和召回率。因此，以線性加權(quán)融合后的圖像作為數(shù)據(jù)集訓(xùn)練出的模型綜合效果較好。

隨機(jī)選取100張扣件圖像作為測(cè)試集，利用線性加權(quán)融合的數(shù)據(jù)集訓(xùn)練出的模型對(duì)其進(jìn)行測(cè)試，各類別病害扣件測(cè)試結(jié)果示例圖如圖9所示。

(a)彈條缺失 (b)彈條松動(dòng) (c)墊片缺失

(d)異物 (e)螺母缺失 (f)待定圖9 扣件病害測(cè)試結(jié)果

由于螺栓松動(dòng)檢測(cè)是基于目標(biāo)檢測(cè)的識(shí)別結(jié)果，因此，為了實(shí)現(xiàn)螺栓松動(dòng)的正確檢測(cè)，在目標(biāo)檢測(cè)階段，要保證螺栓能夠被正確檢出。利用上述3組數(shù)據(jù)集訓(xùn)練得到的模型對(duì)3組測(cè)試集進(jìn)行測(cè)試，效果如圖10所示。模型對(duì)于原始二維圖像與三維灰度化圖像的測(cè)試存在螺栓漏檢的情況，而經(jīng)過(guò)線性加權(quán)融合后的圖像中的螺栓被正確檢出，其驗(yàn)證了第3組實(shí)驗(yàn)的相對(duì)準(zhǔn)確性。

(a)原始2D圖 (b)灰度化處理(c)線性加權(quán)融合圖10 3組實(shí)驗(yàn)測(cè)試結(jié)果

5.2 螺栓松動(dòng)實(shí)驗(yàn)分析

基于螺栓的定位結(jié)果，將螺栓分成道釘與螺母兩類，對(duì)K-均值聚類法與本文提出的基于區(qū)域收斂的螺栓分類法進(jìn)行對(duì)比實(shí)驗(yàn)，2種方法的分類效果如圖11、圖12所示。通過(guò)對(duì)比，K-均值聚類法雖能有效區(qū)分螺母與背景部分，但是對(duì)于道釘與螺母兩類之間區(qū)分度不高；本文提出基于區(qū)域收斂的螺栓分類法能準(zhǔn)確提取道釘與螺母區(qū)域，這對(duì)于后續(xù)進(jìn)行各類的深度值的提取，從而準(zhǔn)確判斷螺栓是否松動(dòng)至關(guān)重要。

圖11 K-均值聚類法

圖12 基于區(qū)域收斂的螺栓分類法

5.2.1 準(zhǔn)確性分析

為了驗(yàn)證基于區(qū)域收斂的螺栓分類法的準(zhǔn)確性，對(duì)實(shí)驗(yàn)室場(chǎng)景下的2組不同的扣件重復(fù)采集40次，2組扣件真實(shí)的螺栓高度差值分別為0.7 mm與5.7 mm。利用基于區(qū)域收斂的螺栓分類法，區(qū)分出螺母與道釘區(qū)域，提取其對(duì)應(yīng)的3D深度值，計(jì)算高度差，結(jié)果如圖13所示。

圖13 螺栓高度差測(cè)量值

將2組螺栓高度差的測(cè)量值與真實(shí)值進(jìn)行對(duì)比，并根據(jù)式(10)計(jì)算其相對(duì)誤差，2組螺栓高度差測(cè)量值的相對(duì)誤差如圖14所示。

(10)

圖14 高度差測(cè)量值的相對(duì)誤差

式中：γ為道釘與螺母之間的高度差測(cè)量值的相對(duì)誤差；Δ為道釘與螺母之間的高度差測(cè)量值；Δr為道釘與螺母之間的高度差真實(shí)值。

由圖14可知，螺栓2的相對(duì)誤差比螺栓1的相對(duì)誤差小，且螺栓2的相對(duì)誤差均穩(wěn)定在0～0.1之間，而螺栓1的相對(duì)誤差較分散。這是由于螺栓1的真實(shí)高度差較小，而螺栓2的真實(shí)高度差較大。由此說(shuō)明在道釘與螺母的真實(shí)高度差較大時(shí)，其測(cè)量結(jié)果的相對(duì)誤差小。

5.2.2 穩(wěn)定性分析

為了評(píng)估基于區(qū)域收斂的螺栓分類法的穩(wěn)定性，根據(jù)貝塞爾公式對(duì)上述40組道釘與螺母的高度差測(cè)量值計(jì)算標(biāo)準(zhǔn)偏差，貝塞爾公式見式(11)。

(11)

2組螺栓高度差測(cè)量值的標(biāo)準(zhǔn)偏差如圖15所示，標(biāo)準(zhǔn)偏差反映組內(nèi)個(gè)體間的離散程度，其值越小，反映螺栓高度差測(cè)量值的離散程度越小。本文螺栓1與螺栓2的標(biāo)準(zhǔn)偏差分別為0.38與0.33，說(shuō)明本文提出的基于區(qū)域收斂的螺栓分類法較穩(wěn)定。

圖15 2組螺栓的標(biāo)準(zhǔn)偏差

5.2.3 松動(dòng)判別實(shí)驗(yàn)分析

5.2.3.1 確定閾值

為了得到判別螺栓狀態(tài)的閾值，本文將實(shí)驗(yàn)基地的螺栓設(shè)置成3種狀態(tài)，分別為擰緊、輕微松動(dòng)、嚴(yán)重松動(dòng)，每種情況下螺栓的數(shù)量均為25個(gè)，統(tǒng)計(jì)螺栓在3種狀態(tài)下的高度差測(cè)量值，如圖16所示。

圖16 3種狀態(tài)下螺栓高度差測(cè)量值

由圖16可知，當(dāng)螺栓處于擰緊狀態(tài)時(shí)，其道釘與螺母之間的高度差Δ<-4 mm；當(dāng)螺栓處于輕微松動(dòng)狀態(tài)時(shí)，Δ在-4～0 mm之間；當(dāng)螺栓處于嚴(yán)重松動(dòng)狀態(tài)下，螺母上表面高于道釘上表面，Δ>0 mm。以此作為本文判別螺栓松動(dòng)的閾值，可以實(shí)現(xiàn)螺栓狀態(tài)檢測(cè)。

5.2.3.2 螺栓松動(dòng)檢測(cè)驗(yàn)證實(shí)驗(yàn)

利用本文提出的基于區(qū)域收斂的螺栓分類法與螺栓松動(dòng)判別法對(duì)螺栓進(jìn)行檢測(cè)，螺栓松動(dòng)測(cè)試結(jié)果如圖17所示，當(dāng)螺栓松動(dòng)時(shí)，在二維圖螺栓檢測(cè)框上標(biāo)注“l(fā)oose”代表該螺栓松動(dòng)，同時(shí)在三維渲染圖中也同步標(biāo)出螺栓松動(dòng)，直觀展示了松動(dòng)情況。

(a)螺栓松動(dòng)二維圖片

(b)螺栓松動(dòng)三維渲染圖片

6 結(jié)束語(yǔ)

本文利用實(shí)驗(yàn)室自主研發(fā)三維線掃激光成像采集系統(tǒng)獲得軌道扣件二維及三維圖像，通過(guò)三維圖像灰度化、圖像線性加權(quán)融合算法等進(jìn)行圖像處理，構(gòu)建以原始二維圖像、三維灰度化圖像以及2D-3D線性加權(quán)融合圖像為基礎(chǔ)的數(shù)據(jù)庫(kù)，并使用YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)3組軌道扣件數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試。實(shí)驗(yàn)結(jié)果表明：以2D-3D線性加權(quán)融合圖像作為數(shù)據(jù)集的模型精度較高，能夠?qū)崿F(xiàn)各類扣件病害的高效檢測(cè)，同時(shí)能夠精確定位出螺栓的具體位置。基于二維圖中螺栓識(shí)別結(jié)果，提出區(qū)域收斂的螺栓分類法與螺栓松動(dòng)判別法，同步提取三維深度圖中道釘與螺母的深度值，計(jì)算高度差，通過(guò)設(shè)置閾值，從而實(shí)現(xiàn)螺栓松動(dòng)的智能檢測(cè)。未來(lái)會(huì)將此方法運(yùn)用到實(shí)際扣件檢測(cè)系統(tǒng)中，并對(duì)其進(jìn)一步完善。