一種將深度學(xué)習(xí)運(yùn)用于地鐵列車緊固件防松標(biāo)識檢測的方法

黃海東 顏歡

（東莞市軌道交通有限公司，廣東東莞 523000）

0.前言

如今，城市軌道交通飛速發(fā)展，地鐵是大多數(shù)人不可或缺的交通工具。為保證列車質(zhì)量可靠、運(yùn)行安全，列車檢查由主要人工定期巡檢完成。但人工巡檢安全保障模式存在以下問題：可能出現(xiàn)漏檢或誤檢，檢查效率低，給行車安全帶來隱患。其中，地鐵列車緊固件屬于關(guān)鍵部件，而其尺寸小、數(shù)量多，給檢測帶來了一定困難。緊固件連接是機(jī)械設(shè)備中廣泛使用的緊固件之一，因拆卸方便、緊固優(yōu)異的特點(diǎn)，多用于受力復(fù)雜部位或重要的結(jié)構(gòu)接頭處，但受使用環(huán)境和力學(xué)特性的影響，緊固件又往往是此類連接方式中的薄弱環(huán)節(jié)。地鐵車輛在裝配過程中會大量使用緊固件連接，當(dāng)車輛運(yùn)行時(shí)，高速行駛的車輛和鐵軌不斷相互作用，產(chǎn)生不同方向的振動(dòng)形式，很容易導(dǎo)致緊固件連接結(jié)構(gòu)松動(dòng)甚者脫落，造成安全問題。

本文中提出了一種新的緊固件異常檢測方法，該方法基于圖像處理與深度學(xué)習(xí)技術(shù)，通過拍攝地鐵列車車底、走行部等部位，分析所得圖像，自動(dòng)識別緊固件位置，自動(dòng)檢測緊固件防松標(biāo)識是否完整，從而檢測緊固件是否發(fā)生松動(dòng)。此前的緊固件松動(dòng)檢測方法大部分也是基于圖像處理，不過由于地鐵列車在行駛過程中緊固件處經(jīng)常會被油污、灰塵等覆蓋，導(dǎo)致防松標(biāo)識不完整或不清晰，使得大部分的檢測方法只能基于對比或緊固件外形來判斷，但其局限性較大，當(dāng)遇到緊固件表面灰塵變化或特殊形狀緊固件時(shí)，往往無法進(jìn)行判斷。基于這些情況，我們提出了一種新的檢測緊固件松動(dòng)的方法，通過深度學(xué)習(xí)圖像生成模型對緊固件圖像進(jìn)行恢復(fù)，還原其防松標(biāo)識的狀態(tài)，同時(shí)消除油污、灰塵等的干擾，大大提高了地鐵緊固件異常檢測的準(zhǔn)確率。

1.總體介紹

在本文中我們提出了一種地鐵列車緊固件異常檢測的算法，通過對列車圖像進(jìn)行分析，檢測地鐵列車緊固件防松標(biāo)識判斷螺栓是否發(fā)生松動(dòng)，在檢測過程中運(yùn)用了深度學(xué)習(xí)目標(biāo)檢測及圖像生成技術(shù)。在以往的方法中，判斷緊固件異常往往只能采用對比的方式，但緊固件表面的紋理或臟污等其他干擾因素會影響判斷結(jié)果。我們采用的新的方法針對以往方法遇到的問題，突破了只使用對比進(jìn)行檢測的弊端，使緊固件防松標(biāo)識可以更好地被提取出來，一定程度上解決了緊固件防松標(biāo)識被灰塵、油污等遮擋后難以檢測的問題，和以往的算法相比，提高了緊固件防松標(biāo)識提取的成功率，降低了漏報(bào)率。

我們算法總體可分為3個(gè)部分：第一部分為緊固件定位部分，通過一個(gè)深度學(xué)習(xí)目標(biāo)檢測模型對地鐵列車圖像中需要檢測的緊固件進(jìn)行定位，并根據(jù)緊固件形態(tài)進(jìn)行簡單分類，如螺栓、螺母、方孔鎖等；第二部分使用一個(gè)深度學(xué)習(xí)圖像生成模型對防松標(biāo)識進(jìn)行還原，由于列車在行駛過程中緊固件位置很可能會積累油污、灰塵等，會對緊固件防松標(biāo)識造成一定程度的遮擋，導(dǎo)致檢測出現(xiàn)偏差，而這也是以往算法無法解決的問題，我們通過訓(xùn)練一個(gè)深度學(xué)習(xí)圖像生成模型，對緊固件固定端與活動(dòng)端兩部分的防松標(biāo)識進(jìn)行還原，去除表面其他因素的干擾；第三部分中使用一個(gè)語義分割模型，對第二部分中生成的圖像進(jìn)行區(qū)域分割，提取緊固件防松標(biāo)識，后續(xù)就可以通過判斷防松標(biāo)識角度、位置等檢測緊固件是否發(fā)生松動(dòng)異常。

2.具體過程

2.1 第一部分：目標(biāo)檢測部分

在算法中的第一部分是一個(gè)目標(biāo)檢測模型，通過識別地鐵列車圖像，對其中需要檢測的緊固件識別定位，由于緊固件類型有多種，其防松標(biāo)識的畫法不同，所以，需要在定位的同時(shí)識別緊固件的類型。我們共設(shè)置了4個(gè)類別：螺栓、螺母、方孔鎖以及其他。其中，螺母端緊固部分，我們將其劃分為螺母類別，螺栓端緊固的部分，我們將其劃分為螺栓類別，方孔鎖部分，則統(tǒng)一劃分為方孔鎖類別，其余的緊固件結(jié)構(gòu)全部歸為其他類別。由于相機(jī)拍攝角度問題，緊固件防松標(biāo)識不一定正對相機(jī)，所以我們在上述4個(gè)類別的基礎(chǔ)上，添加了一個(gè)二級類別，分別包括：Ⅰ型緊固件和Ⅱ型緊固件，Ⅰ型緊固件指的是緊固件發(fā)生松動(dòng)時(shí)防松標(biāo)識在相機(jī)平面轉(zhuǎn)動(dòng)；Ⅱ型緊固件指的是緊固件發(fā)生松動(dòng)時(shí)防松標(biāo)識不在相機(jī)平面轉(zhuǎn)動(dòng)。

我們使用的是YOLO系列的YOLOv5模型，YOLOv5是一種單階段目標(biāo)檢測算法，是YOLO系列算法中較為先進(jìn)的算法模型，其基本框架與YOLOv3一致。在YOLOv4提出后，該算法又在YOLOv4的基礎(chǔ)上添加了一些新的改進(jìn)思路，使其速度與精度都得到了極大的性能提升。我們主要使用YOLOv5中的圖像增強(qiáng)方法，如Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放等。同時(shí)，利用其特征提取結(jié)構(gòu)，如Focus結(jié)構(gòu)與CSP結(jié)構(gòu)、FPN+PAN結(jié)構(gòu)等，在最后損失函數(shù)部分，我們根據(jù)自己的實(shí)際情況做出了調(diào)整。由于我們對類別做出了特殊約束，所以在損失函數(shù)部分采用了兩個(gè)交叉熵?fù)p失函數(shù)，總類別數(shù)設(shè)置為5，其中前4個(gè)類別使用一個(gè)交叉熵?fù)p失函數(shù)進(jìn)行判定，即使用前4個(gè)類別表示螺栓、螺母、方孔鎖以及其他，最后一個(gè)類別表示Ⅰ型緊固件或Ⅱ型緊固件。由于前4個(gè)類別相互之間是互斥的，第五個(gè)類別與前4個(gè)類別沒有相關(guān)性，所以前4個(gè)類別使用Softmax函數(shù)激活后使用交叉熵?fù)p失函數(shù)得到損失，第五個(gè)類別使用Sigmoid函數(shù)激活后使用二值交叉熵?fù)p失函數(shù)得到損失，最后再將兩個(gè)損失相加，具體公式如下：

其中，loss1為前4個(gè)類別的損失函數(shù)，loss2為第五個(gè)類別的損失函數(shù)，最后將兩個(gè)損失相加作為最終的損失。

2.2 第二部分：圖像生成部分

我們在算法第二部分中使用一個(gè)深度學(xué)習(xí)圖像生成模型，列車緊固件圖像中緊固件表面的防松標(biāo)識可能會被表面污漬遮擋，所以我們利用深度學(xué)學(xué)習(xí)圖像生成模型的目的是利用部分未被遮擋的防松標(biāo)識對緊固件防松標(biāo)識進(jìn)行完整還原。

圖像生成模型采用擴(kuò)散模型框架，擴(kuò)散模型不同于GAN模型，GAN模型同樣在圖像生成領(lǐng)域有著不錯(cuò)的效果，但其也存在訓(xùn)練困難，需要對參數(shù)進(jìn)行大量微調(diào)才可以達(dá)到較好的效果，擴(kuò)散模型則是一項(xiàng)受熱力學(xué)啟發(fā)的發(fā)明，近年來已顯著普及。擴(kuò)散模型通過反轉(zhuǎn)逐漸添加的噪聲過程來學(xué)習(xí)生成數(shù)據(jù)，是一種新型的圖像生成模型結(jié)構(gòu)，其中包含一個(gè)正向過程和一個(gè)逆向過程，正向過程也稱擴(kuò)散過程，通過逐步向圖像中添加噪聲使原始圖像變?yōu)橐粋€(gè)高斯分布的噪聲圖像，反向過程則是將噪聲圖像還原為原始圖像，訓(xùn)練過程則是通過神經(jīng)網(wǎng)絡(luò)擬合反向過程使神經(jīng)網(wǎng)絡(luò)可以將帶有噪聲的圖像還原為真實(shí)圖像。在我們這里則是控制添加噪聲的區(qū)域，只向緊固件防松標(biāo)識附近添加噪聲，模擬防松標(biāo)識被污漬遮擋的特征。在噪聲方面，原始的擴(kuò)散模型添加的是高斯噪聲，由于我們特有的圖像特征不同，所以我們這里是通過提取被污漬遮擋的緊固件防松標(biāo)識附近的圖像區(qū)域，提取區(qū)域灰度值分布，建立特征分布圖，根據(jù)特征分布對應(yīng)添加噪聲。

在噪聲添加部分，我們選擇了高斯噪聲。高斯噪聲是指它的概率密度函數(shù)服從高斯分布（即正態(tài)分布）的一類噪聲，常見的高斯噪聲包括起伏噪聲、宇宙噪聲、熱噪聲和散粒噪聲等。我們認(rèn)為，在圖像中緊固件表面的一些污漬或其他影響因素也屬于高斯噪聲的一種。所謂高斯噪聲，是指它的概率密度函數(shù)服從高斯分布（即正態(tài)分布）的一類噪聲。由于列車緊固件圖像會受水漬、污漬、天氣情況、相機(jī)情況等各種各樣的因素影響，各種因素在圖像中灰度值并不固定，但又有一定的規(guī)律性，所以，我們認(rèn)為在各種因素的加持下，可以將其灰度值分布視為高斯分布。

2.3 第三部分：圖像分割部分

在算法的第三部分，我們使用了一個(gè)圖像分割模型。圖像分割模型主要是用于提取緊固件防松標(biāo)識部分，第三部分的輸入是第二部分將原始圖像還原后的圖像，經(jīng)過第二部分處理后，圖像防松標(biāo)識部分特征更加突出，更容易提取對應(yīng)區(qū)域。在輸出部分，我們設(shè)置了3個(gè)類別，分別為：緊固件防松標(biāo)識、緊固件活動(dòng)段和緊固件固定端。識別緊固件活動(dòng)段與固定端主要是為了在后續(xù)過程中對防松標(biāo)識進(jìn)行進(jìn)一步區(qū)域劃分，由于緊固件活動(dòng)段與固定端的防松標(biāo)識特征一致，很難直接進(jìn)行區(qū)分，而我們關(guān)注的部分主要為緊固件活動(dòng)段部分的防松標(biāo)識，所以，需要將活動(dòng)段與固定端的區(qū)域做一個(gè)區(qū)分。

圖像分割模型我們采用的是Unet系列模型，Unet是在Fcn基礎(chǔ)上提出的一種應(yīng)用于醫(yī)學(xué)影響的分割網(wǎng)絡(luò)，由于醫(yī)學(xué)網(wǎng)絡(luò)模型通常只有很小的數(shù)據(jù)集，而Unet結(jié)構(gòu)可以使模型得到很好的泛化能力，而我們的數(shù)據(jù)集也同樣存在數(shù)據(jù)不足的情況，所以使用Unet結(jié)構(gòu)模型可以一定程度上減少因數(shù)據(jù)不足而帶來的過擬合的情況。由于圖像特征較為明顯，為防止過擬合，不需要使用網(wǎng)絡(luò)深度太大的模型，我們對原始的模型結(jié)構(gòu)進(jìn)行了量化剪枝操作，在加快了模型推理速度的同時(shí)能夠擁有更好的性能。在輸出的3個(gè)類別中，緊固件活動(dòng)段與緊固件固定端兩個(gè)類別是互斥的，緊固件防松標(biāo)識與其他兩個(gè)類別不互斥，所以我們使用了與第一部分同樣的操作，互斥的類別之間使用Softmax激活函數(shù)，防松標(biāo)識類別使用Sigmoid激活函數(shù)，損失函數(shù)部分都使用二值交叉熵?fù)p失函數(shù)。

交叉熵是深度學(xué)習(xí)中經(jīng)常用到的一個(gè)概念，常用在損失函數(shù)的定義中，用來求目標(biāo)值和預(yù)測值之間的差距。二值交叉熵被普遍應(yīng)用于二分類問題中，作為損失函數(shù)出現(xiàn)，其本質(zhì)是衡量兩個(gè)分布的相似度。

3.試驗(yàn)過程

由于整個(gè)算法中涉及多個(gè)深度學(xué)習(xí)模型，所以，我們在試驗(yàn)過車中將對各個(gè)部分分開進(jìn)行測試。其中，第一部分的結(jié)果作為第二部分的輸入，第二部分是一個(gè)圖像生成模型，無法對其進(jìn)行有效的單獨(dú)測試，因此，我們將第二部分與第三部分合并測試。

第一部分是通過一個(gè)深度學(xué)習(xí)目標(biāo)檢測模型對緊固件進(jìn)行定位及分類，我們將分別評估其緊固件檢出的準(zhǔn)確率和分類的準(zhǔn)確率。在前面說到，我們共設(shè)置了5個(gè)類別，其中前4個(gè)類別是互斥的，表示緊固件的一種屬性，最后一個(gè)類別表示緊固件的另外一種屬性，在測試過程中我們也將對這兩個(gè)屬性進(jìn)行分別統(tǒng)計(jì)。我們在測試中共使用了384張圖像，共包含緊固件1865個(gè)，其中，檢測出了1865個(gè)緊固件，誤檢了1個(gè)緊固件，檢測準(zhǔn)確率為99.95%，在分類過程中，1865個(gè)緊固件分類正確的個(gè)數(shù)為1835，分類準(zhǔn)確率為98.39%，Ⅰ型緊固件和Ⅱ型緊固件之間測試中未發(fā)生類別錯(cuò)誤。

第二部分與第三部分是聯(lián)合測試，第二部分為一個(gè)圖像生成模型，其輸出作為第三部分的輸入，由于我們關(guān)注的并不是生成結(jié)果的質(zhì)量好壞，而是第三部分輸出的結(jié)果的準(zhǔn)確率，所以，我們只對第三部分的結(jié)果作出評估。第三部分是一個(gè)圖像語義分割模型，在此部分共設(shè)置了3個(gè)類別，我們將分別計(jì)算每個(gè)類別的IOU指數(shù)，最后得出總體的mIOU作為評價(jià)指標(biāo)。我們共收集了200張防松標(biāo)識不明顯的緊固件圖像，作為第二部分的輸入，在第二部分進(jìn)行還原后，再將還原后的圖像輸入到第三部分中，然后比較第三部分結(jié)果與標(biāo)簽部分各類別的重疊面積比率，即mIOU，最后得出結(jié)果防松標(biāo)識與緊固件部分圖像語義分割準(zhǔn)確率達(dá)到83%，除個(gè)別位置其防松標(biāo)識角度本身無法滿足檢測的要求，其余緊固件均可通過第三部分的輸出判斷其是否發(fā)生松動(dòng)等異常。

4.結(jié)語

本文提出的地鐵列車緊固件檢測方法，主要利用一些先進(jìn)的深度學(xué)習(xí)圖像方法，解決了以往對緊固件異常進(jìn)行判斷時(shí)出現(xiàn)的無法檢測的問題，且充分考慮到了列車在行駛過程中緊固件的狀態(tài)，使用深度學(xué)習(xí)生成模型對緊固件各種狀態(tài)下的圖像進(jìn)行還原，使緊固件放松標(biāo)識在各種情況下都可以被提取出來，從而大大加強(qiáng)了列車緊固件異常檢測的準(zhǔn)確率。