軌道電路引接線圖像識(shí)別技術(shù)研究

宋坤駿 中國(guó)鐵路上海局集團(tuán)有限公司科研所

1 引言

高鐵電務(wù)設(shè)備設(shè)施的服役狀態(tài)直接關(guān)系到高鐵的安全、平穩(wěn)運(yùn)營(yíng)。軌道電路引接線作為軌道電路元件的可靠連接線對(duì)于安全行車起著基礎(chǔ)保障作用。采用傳統(tǒng)人工上道方式巡檢引接線存在危險(xiǎn)性高，勞動(dòng)強(qiáng)度大，檢查準(zhǔn)確率低，巡檢效率低，天窗利用率低，故障處理倉(cāng)促，受環(huán)境因素影響顯著等缺陷，而采用深度學(xué)習(xí)技術(shù)處理探傷車采集的高分辨率圖像則能夠克服環(huán)境和天窗限制，節(jié)約人力資源的同時(shí)提升巡檢效率和準(zhǔn)確率。出于兼顧速度和精度的要求，本文用到的深度學(xué)習(xí)目標(biāo)檢測(cè)算法是scaled_yolov4。該算法由yolov3算法和yolov4 算法演進(jìn)而來(lái)，其為高端GPU 設(shè)計(jì)的YOLOv4-P7 模型在coco 數(shù)據(jù)集上取得了73.3%的mAP，并可達(dá)到16FPS。

2 Scaled_yolov4算法

圖1 所示為Scaled-YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)，其實(shí)為三個(gè)模型的集合，分別為面向云GPU 的YOLOv4-large，面向常規(guī)GPU的YOLOv4-CSP，面向小型輕量級(jí)GPU 的YOLOv4-Tiny。而YOLOv4-large 又分為YOLOv4-P5,YOLOv4-P6,YOLOv4-P7三種具體的網(wǎng)絡(luò)結(jié)構(gòu)，本文采用的具體網(wǎng)絡(luò)是YOLOv4-P5。

圖1 Scaled_yolov4網(wǎng)絡(luò)結(jié)構(gòu)

3 優(yōu)化技巧

3.1 自適應(yīng)亮度增強(qiáng)和對(duì)比度增強(qiáng)

增強(qiáng)原理：增強(qiáng)原理對(duì)于亮度、對(duì)比度、飽和度和銳度等是通用的，即線性插值和外推。這一方法對(duì)于許多點(diǎn)處理和面積圖像處理操作提供了通用的解決方案，而且還能獲得性能上的優(yōu)勢(shì)。所有的增強(qiáng)都基于下面這個(gè)線性插值公式：

不同的增強(qiáng)類型對(duì)應(yīng)不同的退化圖，即alpha=0時(shí)的圖image1。例如對(duì)于亮度增強(qiáng)，退化圖就是全黑圖，即全圖亮度為0，對(duì)于對(duì)比度增強(qiáng)，退化圖就是該圖的每個(gè)通道的每個(gè)像素值都等于原圖灰度平均值的圖，因?yàn)檫@張圖完全沒(méi)有對(duì)比度，所有像素之間的灰度差都是0。當(dāng)alpha在0-1 之間時(shí)代表內(nèi)插，在0-1 范圍外，則是外推，亮度增強(qiáng)和對(duì)比度增強(qiáng)都是通過(guò)alpha＞1來(lái)實(shí)現(xiàn)的。

自適應(yīng)亮度增強(qiáng):將0-255灰度劃分為0-80,80-160,160-255 三個(gè)亮度等級(jí)區(qū)間，首先判斷原圖平均灰度在哪個(gè)等級(jí)區(qū)間，然后隨機(jī)生成另外兩個(gè)亮度等級(jí)區(qū)間兩個(gè)隨機(jī)亮度值，將原圖按照這兩個(gè)隨機(jī)亮度值生成另外兩幅圖像，平均灰度等于這兩個(gè)隨機(jī)亮度值，這樣原來(lái)一張圖片擴(kuò)充為3 個(gè)亮度等級(jí)的3張圖片。

對(duì)比度增強(qiáng)：對(duì)比度增強(qiáng)固定倍數(shù)1.7 倍，即上面公式中alpha=1.7,如此外推可以增大目標(biāo)物和背景之間的灰度差。而不是像亮度增強(qiáng)那樣將所有像素灰度值平移增加一個(gè)數(shù)值。對(duì)于機(jī)器識(shí)別來(lái)說(shuō)作用更為明顯。見(jiàn)圖2、圖3。

圖2 對(duì)比度增強(qiáng), 左：原圖，右：對(duì)比度增強(qiáng)后效果

圖3 自適應(yīng)亮度增強(qiáng), 左：原圖，右：亮度增強(qiáng)后效果

亮度和對(duì)比度增強(qiáng)后，每張圖片對(duì)應(yīng)生成4張圖片，數(shù)據(jù)集規(guī)模擴(kuò)大了四倍，有效凸顯了目標(biāo)，并增加了對(duì)于各種光照條件的魯棒性。

3.2 基于ResNeXt101等網(wǎng)絡(luò)架構(gòu)的有砟無(wú)砟預(yù)分類

本文針對(duì)無(wú)砟軌道板和有砟軌道板分別訓(xùn)練了一個(gè)引接線檢測(cè)器。不排除一條以無(wú)砟軌道板為主的線路中還可能出現(xiàn)有砟軌道板，所以這里增加一個(gè)可選的速度精度權(quán)衡機(jī)制，即在軌道板圖像送入檢測(cè)器前先通過(guò)一個(gè)有砟無(wú)砟分類器，判斷屬于哪種軌道板類型，再送入相應(yīng)類型檢測(cè)器，這樣理論上是可以提升引接線檢測(cè)精度的，但會(huì)犧牲推理速度。注意有砟軌道板引接線檢測(cè)器在很多無(wú)砟軌道板的情況下也能檢測(cè)出來(lái)引接線，同理，無(wú)砟軌道板引接線檢測(cè)器在有砟軌道板上也能保持比較好的檢測(cè)性能，即道砟背景切換并不會(huì)導(dǎo)致引接線檢測(cè)性能的急劇下降。所用分類網(wǎng)絡(luò)架構(gòu)是何愷明團(tuán)隊(duì)的resnext101_32x32d。圖像壓縮成64×64大小，在10000張軌道板原圖上分類準(zhǔn)確率約等于100%。如圖4所示。

圖4 有砟無(wú)砟預(yù)分類網(wǎng)絡(luò)性能

實(shí)際上由于預(yù)分類只是一個(gè)中間過(guò)程，分類準(zhǔn)確率不用嚴(yán)苛要求達(dá)到非常高的水準(zhǔn)，因前已述及，分類錯(cuò)誤并不必然導(dǎo)致檢測(cè)錯(cuò)誤，很大概率分類錯(cuò)誤檢測(cè)結(jié)果仍然正確。通過(guò)改變輸入圖像分辨率和分類網(wǎng)絡(luò)架構(gòu)的方法可以尋求預(yù)分類步驟精度和速度的最優(yōu)折中。

3.3 基于分段拋物線灰度伸縮的推理時(shí)預(yù)處理

此預(yù)處理最初是為解決雨天圖像黑暗，目標(biāo)不清晰，檢測(cè)結(jié)果不佳設(shè)計(jì)的，但實(shí)際上它也可以作為一個(gè)通用的預(yù)處理步驟。其體現(xiàn)的中心思想是，首先通過(guò)灰度直方圖統(tǒng)計(jì)出引接線目標(biāo)大致的灰度范圍。該灰度范圍以內(nèi)的像素應(yīng)做灰度拉伸增強(qiáng)對(duì)比度，該灰度范圍以外的像素應(yīng)做灰度壓縮處理減少對(duì)比度。亦即對(duì)關(guān)心的目標(biāo)做灰度范圍拉伸，增加模型分辨力，對(duì)不關(guān)心的背景做灰度范圍壓縮，減少背景對(duì)模型的干擾。因?yàn)橐泳€的灰度最小值接近0，所以這里灰度拉伸的直線段接近從0 開始，直線段兩端則是進(jìn)行灰度壓縮的拋物線狀函數(shù)，整個(gè)分段函數(shù)的表達(dá)式如下式所示。

f(x)分為三段，其圖像如圖5所示。

圖5 分段拋物線灰度伸縮函數(shù)

之所以未采用通常的分段線性函數(shù)而在灰度壓縮段采用了拋物線狀函數(shù)，是因?yàn)橄Ｍ绞菢O端的灰度值，壓縮的越厲害一些，例如接近255 的灰度基本上在光帶附近才會(huì)出現(xiàn)，這種灰度的像素對(duì)于檢測(cè)沒(méi)有什么用處，可以讓它們的灰度值都減小到接近200，這樣模型碰到這種接近200 的像素值就發(fā)現(xiàn)這里沒(méi)有灰度的變化，就知道這里沒(méi)有目標(biāo)物。為了推理加速，上面這個(gè)作用于全圖所有像素的分段函數(shù)還采用了np.vectorize 函數(shù)進(jìn)行向量化加速。該預(yù)處理作用于推理階段，可顯著提高淋雨軌道板上引接線檢測(cè)效果，亦可作為訓(xùn)練階段數(shù)據(jù)增強(qiáng)手段加以運(yùn)用。

3.4 基于修改網(wǎng)絡(luò)配置文件的模型縮放技術(shù)

所謂模型縮放即希望一個(gè)算法衍生出多個(gè)模型，對(duì)計(jì)算和存儲(chǔ)的需求不同（精度當(dāng)然也不同），以滿足部署在不同平臺(tái)的需求。模型縮放通過(guò)改變模型輸入圖像的分辨率，模型的深度和寬度這三個(gè)要素來(lái)實(shí)現(xiàn)。本文，試驗(yàn)了yolov4_p7和yolov4_p5 這兩種網(wǎng)絡(luò)結(jié)構(gòu)，試驗(yàn)了三種輸入圖像分辨率800×800,640×640,512×512，試驗(yàn)了多種寬度乘數(shù)width_multiple和深度乘數(shù)depth_multiple 的組合，最終得到最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)是yolov4_p5，且寬度乘數(shù)為0.8，深度乘數(shù)為1.0，輸入圖像分辨率為640×640。這一結(jié)構(gòu)是滿足顯存大小和訓(xùn)練時(shí)間約束下速度精度權(quán)衡后最優(yōu)的選擇。

如此優(yōu)選的網(wǎng)絡(luò)結(jié)構(gòu)帶來(lái)的性能提升是最為顯著的，mAP從最開始yolov4_p7模型的0.766改進(jìn)為最終yolov4_p5模型的0.97，推理速度從平均0.1s一張圖提升為0.05s一張圖。

4 用戶界面和統(tǒng)計(jì)結(jié)果

本文成果涉及我國(guó)“四縱四橫”高鐵規(guī)劃網(wǎng)中滬漢蓉高速鐵路和徐蘭高鐵上引接線的智能檢測(cè)，成果體現(xiàn)為用戶可一鍵運(yùn)行的批處理程序，雙擊運(yùn)行后會(huì)彈出如下用戶界面供用戶選擇多次探傷車采集生成的軌道板圖像文件夾所在根目錄。選擇根目錄并點(diǎn)擊開始檢測(cè)后，軟件將自動(dòng)依次讀取根目錄下所有文件夾內(nèi)軌道板原始圖像并將引接線檢測(cè)結(jié)果自動(dòng)保存在根目錄下，程序平均約每0.05 s 處理一張標(biāo)準(zhǔn)的2048×2087 大小的原始圖片，在用戶界面下方有一欄檢測(cè)進(jìn)度會(huì)實(shí)時(shí)顯示當(dāng)前已經(jīng)處理到哪個(gè)文件夾的哪張圖片，整個(gè)過(guò)程無(wú)需人工干預(yù)即可遍歷完根目錄下所有批次文件夾，程序自動(dòng)挑出帶有引接線的圖片到同結(jié)構(gòu)的結(jié)果文件夾中。見(jiàn)圖6。

圖6 成果軟件用戶界面

考慮到漏檢和誤檢帶來(lái)的代價(jià)不對(duì)等，漏檢一例即可能帶來(lái)嚴(yán)重高鐵運(yùn)營(yíng)安全隱患，而誤檢一例僅增加少許人工看圖工作量，故成果優(yōu)化重點(diǎn)在引接線的漏檢率上，同時(shí)減負(fù)率=1-總檢出圖數(shù)/總圖數(shù)也是需要關(guān)注的成果指標(biāo)，因?yàn)樵撝笜?biāo)直接反映了機(jī)器智能檢測(cè)帶來(lái)的人工成本的降低。經(jīng)處理匯總，對(duì)于無(wú)砟軌道徐蘭高鐵和有砟軌道滬漢蓉高鐵的統(tǒng)計(jì)結(jié)果如表1 所示。其中漏檢率的分母是總帶目標(biāo)圖數(shù)，誤檢率的分母是總共統(tǒng)計(jì)圖數(shù)。見(jiàn)表1。

表1 徐蘭高鐵和滬漢蓉高鐵檢測(cè)結(jié)果統(tǒng)計(jì)匯總

5 結(jié)束語(yǔ)

本文在先進(jìn)目標(biāo)檢測(cè)算法Scaled_yolov4 基礎(chǔ)上結(jié)合一些訓(xùn)練及推理階段的優(yōu)化手段，提出了一些針對(duì)引接線檢測(cè)問(wèn)題的技巧，通過(guò)這些技巧的綜合運(yùn)用，能夠有效減少引接線漏檢率和誤檢率，顯著提高看圖工作減負(fù)率，所述模型在徐蘭高鐵和滬漢蓉高鐵上取得了良好的應(yīng)用效果。