基于深度學(xué)習(xí)與圖像配準(zhǔn)的螺栓松動(dòng)檢測

杜曉輝,潘科欣,劉 博

(1.電子科技大學(xué) 光電科學(xué)與工程學(xué)院, 成都 610054;2.電子科技大學(xué) 智能顯微技術(shù)聯(lián)合研究中心, 成都 610054)

0 引言

在可再生能源領(lǐng)域內(nèi),風(fēng)能的儲量豐富、經(jīng)濟(jì)效益高,具有廣闊的商業(yè)化發(fā)展前景[1]。由于風(fēng)力發(fā)電機(jī)組空氣動(dòng)力學(xué)的強(qiáng)非線性,結(jié)構(gòu)復(fù)雜,運(yùn)行工況的頻繁隨機(jī)切換以及有效風(fēng)速的不可測性導(dǎo)致風(fēng)力發(fā)電機(jī)組系統(tǒng)故障率極高[2]。齒輪箱螺栓是風(fēng)力發(fā)電機(jī)重要的組成部分,由于風(fēng)電機(jī)在高轉(zhuǎn)速工作時(shí)產(chǎn)生的載荷與振動(dòng)幅度會(huì)導(dǎo)致齒輪箱的螺栓松動(dòng),而螺栓松動(dòng)會(huì)導(dǎo)致其作用在接頭上的夾緊力降低,從而進(jìn)一步導(dǎo)致結(jié)構(gòu)剛度下降[3]。

傳統(tǒng)螺栓松動(dòng)檢測是采用基于傳感器的方法,主要分為基于聲學(xué)和基于壓電傳感2種?；诼晫W(xué)的方法利用了超聲波飛行時(shí)間[4],而壓電有源傳感的方法利用了介質(zhì)材料的壓電效應(yīng)[5]。Yang等[6]提出了一種基于超聲波衰減的診斷方法檢測太空作業(yè)車輛的螺栓松動(dòng)。Okugawa通過智能墊圈實(shí)現(xiàn)了基于壓電的螺栓松動(dòng)檢測[7]。Zhao等[8]提出了一種基于壓電傳感器來識別飛機(jī)機(jī)翼中鉚接面板的損壞。然而,上述方法依賴于人工操作,同時(shí)需要部署傳感器,花費(fèi)的成本較高,并且可移植性較低。

隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展,近年來基于計(jì)算機(jī)視覺的螺栓松動(dòng)檢測引起了廣泛重視。Cha等[9-11]將機(jī)器學(xué)習(xí)與基于機(jī)器視覺的螺栓尺寸提取相結(jié)合,提出了一種螺栓松動(dòng)檢測方法。然而,這種方法在需要識別具有不同尺寸或形狀的新型螺栓時(shí),必須重復(fù)訓(xùn)練過程。Li等[12]提出了一種基于圖像配準(zhǔn)的螺栓松動(dòng)檢測方法,但是這種方法需要人工將圖像中包含螺栓的區(qū)域框選出來。Yang等[13]提出了一種基于Faster-RCNN卷積神經(jīng)網(wǎng)絡(luò)的螺栓松動(dòng)檢測方法,不過這種方法依賴于相機(jī)拍攝的角度。

本文中提出了一種基于深度學(xué)習(xí)與圖像配準(zhǔn)的螺栓松動(dòng)檢測方法。與之前基于視覺的螺栓松動(dòng)檢測方法相比,本文中方法不需要人工將圖像中包含螺栓的區(qū)域框選出來,也不需要有關(guān)螺栓類型或螺栓損壞狀態(tài)的相關(guān)專業(yè)知識,因此該方法對于工程應(yīng)用將更加靈活并且具有更低的成本。本文中通過風(fēng)力發(fā)電機(jī)的齒輪箱螺栓做實(shí)驗(yàn)測試,測試結(jié)果證實(shí),經(jīng)改進(jìn)后的YOLOv5目標(biāo)檢測網(wǎng)絡(luò)檢測速度FPS為131.6,檢測指標(biāo)AP@0.5為0.981。

1 方法

首先收集一個(gè)包含349張螺栓圖像的數(shù)據(jù)集,并將數(shù)據(jù)集分離,其中297張圖像用于訓(xùn)練,52張圖片用于測試。然后對YOLOv5s進(jìn)行改進(jìn),并使用上述圖像數(shù)據(jù)集對該模型進(jìn)行訓(xùn)練和評估,實(shí)現(xiàn)了對圖像中螺栓位置的定位。其次使用圖像配準(zhǔn)和透視變換技術(shù),將不同檢查周期的圖像映射到同一坐標(biāo)系中,將灰度對比圖中的螺栓松動(dòng)部分進(jìn)行特征增強(qiáng),定位出因螺栓松動(dòng)引起的差異特征,從而檢測出松動(dòng)的螺栓。

假設(shè)目前有兩排風(fēng)力發(fā)電機(jī)齒輪箱螺栓需要被檢測,本文中在兩個(gè)檢查周期間進(jìn)行評估,并且在檢查間隔期間松開螺栓5。兩張輸入圖像中模板圖像和待檢測圖像如圖1所示。

圖1 擰緊和松動(dòng)的螺栓圖Fig.1 Images of tightened and loosened bolts

1.1 目標(biāo)檢測網(wǎng)絡(luò)YOLOv5

首先,需要識別出圖像1中螺栓的位置。本文中使用的目標(biāo)檢測網(wǎng)絡(luò)為YOLOv5[14]。在進(jìn)行目標(biāo)檢測時(shí),YOLO算法會(huì)首先將輸入圖片分成多個(gè)小網(wǎng)格,目標(biāo)中心所在的網(wǎng)格用于檢測該目標(biāo)類別。YOLO算法只需將圖片輸入到網(wǎng)絡(luò)中即可得到最終的檢測結(jié)果,因此該網(wǎng)絡(luò)將檢測問題轉(zhuǎn)換成回歸問題。并且,YOLO算法直接使用整幅圖像來進(jìn)行檢測,因此可以獲取全局信息,減少了將背景檢測為目標(biāo)的錯(cuò)誤。YOLO系列算法在經(jīng)歷了5個(gè)版本的發(fā)展后形成了如今完整的端到端目標(biāo)檢測網(wǎng)絡(luò)。YOLOv5的整體框架如圖2所示。

圖2 YOLOv5網(wǎng)絡(luò)模型

YOLOv5是單階段物體檢測網(wǎng)絡(luò),它與其他單級物體檢測網(wǎng)絡(luò)一樣具有3個(gè)重要部分。模型的Backbone部分主要用于從給定的輸入圖像中提取重要特征。在YOLOv5中,CSP(跨階段部分網(wǎng)絡(luò))從輸入圖像中提取豐富信息特征。Neck部分主要用于生成特征金字塔。特征金字塔有助于模型在對象縮放上很好地泛化,識別具有不同大小和比例的同一對象。其他目標(biāo)檢測模型采用的特征金字塔技術(shù)有FPN、BiFPN、PANet等,YOLOv5的Neck部分和YOLOv4中一樣,都采用FPN+PAN的結(jié)構(gòu)。但是YOLOv4的Neck結(jié)構(gòu)中采用的是普通的卷積操作,而YOLOv5的Neck結(jié)構(gòu)中使用的是PANet來獲取特征金字塔。模型Output部分主要用于執(zhí)行最后的檢測部分。它在特征上應(yīng)用錨框,并且能生成具有類別概率、對象性分?jǐn)?shù)和邊界框的最終輸出向量。

1.2 改進(jìn)的YOLOv5

雖然YOLOv5的檢測效果已經(jīng)達(dá)到了很高的標(biāo)準(zhǔn),但是其主要是針對Microsoft COCO數(shù)據(jù)集,并非在任何數(shù)據(jù)集上都能擁有優(yōu)秀的表現(xiàn)。目標(biāo)檢測模型的Backbone是用于獲取輸入圖像并從中提取特征映射的元素,這是任何目標(biāo)檢測網(wǎng)絡(luò)的關(guān)鍵部分,因?yàn)樗秦?fù)責(zé)從輸入圖像提取上下文信息以及將該信息提取為模式的主要結(jié)構(gòu)。因此,本文主要是在Backbone上對YOLOv5進(jìn)行修改。Zhang等在2018年推出了ShuffleNet[15],這是一種計(jì)算效率極高的輕量化CNN架構(gòu)。ShuffleNet利用逐點(diǎn)群卷積來降低計(jì)算成本,同時(shí)保持準(zhǔn)確性,并且其采用了通道混洗操作,用于幫助信息在功能通道之間流動(dòng)。與另一種輕型目標(biāo)檢測網(wǎng)絡(luò)MobileNet相比,ShuffleNet在ImageNet分類中的錯(cuò)誤率更低,并在保持精度的同時(shí),憑借其輕量化的設(shè)計(jì),其推理速度大概為AlexNet的13倍。ShuffleNetV2在ShuffuleNetV1的基礎(chǔ)上引入了通道分離操作,將輸入的特征圖分為兩支,之后采用拼接合并分支,讓前后的通道數(shù)一樣,然后再進(jìn)行通道混洗。ShuffleNetV2高效的架構(gòu)設(shè)計(jì),使每個(gè)構(gòu)建塊的效率被提高,從而能利用更多的特征圖和更大的網(wǎng)絡(luò)容量。因此,憑借ShuffleNetV2的優(yōu)異表現(xiàn),本文中選擇使用ShuffleNetV2來替換掉YOLOv5s原有的Backbone。ShuffleNetV2主要由1個(gè)3×3的卷積層、1個(gè)池化層和16個(gè)ShuffleNetV2 block組成,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 ShuffleNetV2-YOLOv5網(wǎng)絡(luò)模型

1.3 訓(xùn)練過程

基于Pytorch框架的目標(biāo)檢測網(wǎng)絡(luò)ShuffleNetV2-YOLOv5來定位螺栓的位置,實(shí)驗(yàn)在Windows 10(64bit)下進(jìn)行,該系統(tǒng)的硬件環(huán)境為Intel(R)Core(TM)i5-8400 CPU@2.80GHz,NVIDIA GeForce RTX2060 GPU和16GRAM。

在訓(xùn)練過程中,訓(xùn)練和測試集比例為6∶1。使用學(xué)習(xí)率為0.001、動(dòng)量為0.98、權(quán)重衰減為0.001、優(yōu)化方法為Adam的訓(xùn)練過程進(jìn)行了100次迭代,訓(xùn)練過程如圖4所示。當(dāng)?shù)螖?shù)達(dá)到100次時(shí),訓(xùn)練精度提升趨于平緩,其中AP@0.5值為0.981,在工程應(yīng)用領(lǐng)域可以被接受?；谝陨辖Y(jié)果,決定使用100次迭代之后生成的模型作為最終檢測模型。測試集中部分圖片的檢測結(jié)果如圖5所示。

圖4 訓(xùn)練過程

圖5 測試集中部分圖像檢測結(jié)果

1.4 基于強(qiáng)度的圖像配準(zhǔn)

圖像配準(zhǔn)算法可分為基于特征和基于強(qiáng)度2種算法。基于特征的方法是找到圖像特征(如點(diǎn)、線和輪廓)之間的對應(yīng)關(guān)系,根據(jù)圖像中多個(gè)點(diǎn)之間的對應(yīng)關(guān)系,再通過幾何變換將目標(biāo)圖像映射到參考圖像,從而在參考圖像和目標(biāo)圖像之間建立逐點(diǎn)對應(yīng)關(guān)系?；趶?qiáng)度的圖像配準(zhǔn)則不是通過基于特征的圖像配準(zhǔn)應(yīng)用幾何變換,而是根據(jù)相關(guān)性指標(biāo)比較圖像中的像素值,從待檢測圖中截取出和模板圖最相似的部分與模板圖做配準(zhǔn)。該方法已廣泛應(yīng)用于醫(yī)學(xué)成像[16]和遙感[17]。

從圖1中識別出各螺栓位置以后,本文中截取出包含螺栓的區(qū)域作為模板圖(ROI區(qū)域),如圖6(a)所示。在基于特征點(diǎn)和基于強(qiáng)度的2種配準(zhǔn)方法中,本文中經(jīng)過測試,選擇了效果更好的基于強(qiáng)度的配準(zhǔn)方法。圖1(a)中經(jīng)過圖6(a)圖配準(zhǔn)后截取出的圖像為圖6(b)圖。模板圖與待檢測圖之間的灰度圖強(qiáng)度比較如圖7所示,圖像整體存在少量噪聲。接下來,需要通過特征增強(qiáng)的方式,過濾掉圖像的噪聲,在原圖中標(biāo)記出松動(dòng)的螺栓。

圖6 模板圖和待檢測圖中包含螺栓的區(qū)域Fig.6 Areas containing bolts in the template image and the image to be inspected

圖7 灰度圖比對結(jié)果

1.5 特征增強(qiáng)

一旦完成2個(gè)圖像的配準(zhǔn)過程,即可通過識別配準(zhǔn)錯(cuò)誤識別松動(dòng)的螺栓。然而,直接識別松動(dòng)的螺栓仍然需要借助人工干預(yù),如:松動(dòng)的螺栓周圍存在噪聲等現(xiàn)象。因此,需要對灰度圖進(jìn)行特征增強(qiáng),消除噪聲,以避免螺栓松動(dòng)檢測出現(xiàn)錯(cuò)誤。

通過對圖7執(zhí)行SLIC(簡單線性迭代聚類)[18]超像素分割方法,圖像被分割為一系列局部區(qū)域,稱為超像素,如圖8(a)所示。超像素可以定義為一組具有共同特征(如像素強(qiáng)度)的像素。超像素?cái)y帶的信息比像素多,并且具有感知意義,相比幾乎沒有感知意義的像素網(wǎng)格中的單個(gè)像素,屬于同一個(gè)超像素組的像素具有某種共性,例如相似的顏色或紋理分布。同時(shí),超像素能夠?qū)D像本身的復(fù)雜性從數(shù)十萬個(gè)像素減少到僅數(shù)百個(gè)超像素,對于計(jì)算要求高的問題非常有用。

圖8 超像素分割結(jié)果Fig.8 Superpixel segmentation results

SLIC算法通過基于像素在圖像平面中的顏色相似性和接近度對像素進(jìn)行聚類,從而生成超像素。對于每個(gè)超像素區(qū)域,本文中計(jì)算該超像素區(qū)域內(nèi)所有像素的方差,計(jì)為強(qiáng)度變化系數(shù)并表示為variance。然后,通過設(shè)置截止閾值T,可以從配準(zhǔn)誤差中消除噪聲內(nèi)容,從而可以保留螺栓松動(dòng)特征,每個(gè)超像素區(qū)域的直方圖如圖8(b)所示。其中Superpixel1來自松開的螺栓區(qū)域,Superpixel2代表噪聲內(nèi)容。如圖8所示,松動(dòng)螺栓周圍的強(qiáng)度大小發(fā)生了顯著變化,而在其他區(qū)域平穩(wěn)過渡。在這方面,提取超像素的variance值可以有效地將松動(dòng)螺栓與它的背景噪聲分離。因此,本文中對variance值小于預(yù)定義閾值T的超像素區(qū)域不作處理,而對variance值大于預(yù)定義閾值T的超像素區(qū)域?qū)?yīng)的原圖像區(qū)域處理為紅色,表示螺栓松動(dòng)部分。最終檢測結(jié)果如圖9所示。

圖9 最終檢測結(jié)果

1.6 空間變換

對于平面區(qū)域,有2種方式的幾何轉(zhuǎn)換:一種是基于2×3矩陣進(jìn)行的變換,稱為仿射變換;另一種是基于3×3矩陣進(jìn)行的變換,稱為透視變換。一個(gè)平面內(nèi)的任意平行四邊形可以被仿射變換映射為另一個(gè)平行四邊形。可以將仿射變換想象成一幅圖像畫到一個(gè)膠版上,在膠版的角上推或拉,使其變形而得到不同類型的平行四邊形。相比較仿射變換,透視變換更具有靈活性,一個(gè)透射變換可以將矩形轉(zhuǎn)變成梯形,如圖10所示。

圖10 仿射變換與透視變換

如圖11所示,當(dāng)輸入的兩張圖片拍攝角度相差較大時(shí),如果不對圖像做任何處理而直接使用基于強(qiáng)度的圖像配準(zhǔn),匹配效果較差、噪聲難以去除。因此,做配準(zhǔn)前需要對待檢測圖片做空間變換。本文中采用的方法是基于FAST特征點(diǎn)匹配的透視變換。

圖11 模板圖與待檢測圖Fig.10 The template image and the image to be detected

提取圖11的FAST特征點(diǎn),對FAST特征點(diǎn)進(jìn)行匹配,找到最匹配的特征點(diǎn)對,提取最優(yōu)配對點(diǎn)的坐標(biāo),生成透視變換矩陣。作透視變換,生成待檢測圖像,如圖12所示。將待檢測圖像與模板圖像做配準(zhǔn)后使用SLIC算法進(jìn)行圖像分割,如圖13(a)所示。最后通過設(shè)置合適的閾值,得到最終檢測結(jié)果如圖13(b)所示。

圖12 經(jīng)FAST特征點(diǎn)匹配后生成待檢測圖像

圖13 經(jīng)圖像分割后得到最終檢測結(jié)果Fig.13 The final detection result is obtained after image segmentation

2 實(shí)驗(yàn)過程

2.1 數(shù)據(jù)來源與數(shù)據(jù)標(biāo)注

由于基于機(jī)器視覺的螺栓松動(dòng)研究目前還處于起步階段,因此還沒有官方的基準(zhǔn)數(shù)據(jù)集發(fā)布,為了確保神經(jīng)網(wǎng)絡(luò)能夠處理不同種類的螺栓,本文中數(shù)據(jù)集部分由DS-2DC2D40IW-DE3(2.8～12 mm)智能相機(jī)采集,部分從網(wǎng)絡(luò)上公開數(shù)據(jù)集中得到,總共收集了349張照片,并將數(shù)據(jù)集分成297張訓(xùn)練圖像和52張測試圖像。圖像數(shù)據(jù)集中部分圖片如圖14所示。為了提高深度學(xué)習(xí)算法的訓(xùn)練速度,所有圖片均統(tǒng)一轉(zhuǎn)換為640×640像素,此外,每一張圖像都使用LabelBox標(biāo)記工具所標(biāo)注,如圖15所示。

圖14 螺栓數(shù)據(jù)集

圖15 LabelBox標(biāo)注數(shù)據(jù)集

2.2 評價(jià)指標(biāo)

在目標(biāo)檢測領(lǐng)域,P(Precision)、R(Recall)和AP(Average Precision)是常見的3種衡量網(wǎng)絡(luò)性能的參數(shù)。Precision是檢測到的物體中目標(biāo)物體的比例,而Recall是實(shí)際檢測到的目標(biāo)物體總數(shù)的比例。精確召回(PR)曲線中y軸表示精確值,x軸表示召回值。AP是PR曲線與x軸和y軸所圍成的面積,是目標(biāo)檢測中廣泛使用的評價(jià)指標(biāo)。精確率、召回率以及AP計(jì)算如式(1)—式(3)所示,其中TP表示真陽性,FP表示假陽性,FN表示假陰性。

本文中主要選用推理時(shí)間和AP@0.5兩個(gè)參數(shù)對模型性能進(jìn)行評測。目標(biāo)檢測模型的推理時(shí)間含義為運(yùn)行檢測模型識別每張圖像中所有特定目標(biāo)所花費(fèi)的時(shí)間,本文中使用FPS來表示,單位為(幀/s)。AP@0.5是目標(biāo)檢測任務(wù)中廣泛使用的Microsoft COCO標(biāo)準(zhǔn)中的一個(gè)參數(shù),表示為當(dāng)IoU設(shè)為0.5時(shí),P-R曲線所圍成的面積。

2.3 模型對比與實(shí)驗(yàn)結(jié)果

表1列出了ShuffleNetV2-YOLOv5訓(xùn)練結(jié)果的細(xì)節(jié)。在本文中計(jì)算環(huán)境中,ShuffleNetV2-YOLOv5的檢測平均FPS為131.6,AP@0.5為0.981。

表1 ShuffleNetV2-YOLOv5訓(xùn)練結(jié)果

本文中將ShuffleNetV2-YOLOv5與其他常見的目標(biāo)檢測算法進(jìn)行了比較,如表2所示。本文中在mmdetection框架中搭建了Faster-RCNN[19]和RetinaNet[20],在Tensorflow框架中搭建了YOLOv3[21],發(fā)現(xiàn)它們的檢測速度和AP@0.5值都低于YOLOv5s,這證明了YOLOv5s相比上述3種目標(biāo)檢測網(wǎng)絡(luò)更適合作為基準(zhǔn)網(wǎng)絡(luò)進(jìn)行研究。相比YOLOv5自帶的骨干網(wǎng)絡(luò)DarkNet,ShuffleNetV2憑借其更為輕量化的設(shè)計(jì),在本文中數(shù)據(jù)集上表現(xiàn)優(yōu)異。盡管其AP@0.5值相比YOLOv5s并未得到明顯地改善,但是由于ShuffleNetV2-YOLOv5模型的參數(shù)量(8.4M)相比YOLOv5s(14.1M)減少了40.8%,因此其檢測速度上相比YOLOv5s得到了69.8%的提升。因此,可以認(rèn)為ShuffleNetV2-YOLOv5在本文中數(shù)據(jù)集上的綜合表現(xiàn)優(yōu)于YOLOv5s。

表2 不同模型對比

2.4 計(jì)算成本

在本文中提出的方法中,最耗時(shí)的過程是SLIC超像素分割。這個(gè)過程的計(jì)算成本與輸入圖像的分辨率、超像素分割的區(qū)域個(gè)數(shù)有關(guān)。如表3所示,在本文中計(jì)算環(huán)境下,如果輸入圖像分辨率為2 560×1 440,超像素分割的區(qū)域個(gè)數(shù)為240個(gè),圖像分割計(jì)算時(shí)間為7.2 s,圖像配準(zhǔn)耗時(shí)為378 ms。隨著圖像分辨率的降低,超像素分割的計(jì)算時(shí)間和圖像配準(zhǔn)耗時(shí)逐漸降低。在輸入圖像分辨率為640×360,超像素分割的區(qū)域個(gè)數(shù)為60個(gè)的情況下,圖像分割計(jì)算時(shí)間可顯著縮短至1.9 s,圖像配準(zhǔn)耗時(shí)縮短為28 ms。因此建議應(yīng)用較低分辨率的輸入圖像來降低計(jì)算成本。

表3 不同分辨率圖像耗時(shí)

3 魯棒性測試

3.1 輸入圖像分辨率

圖像分辨率并不會(huì)對本文方法造成不良影響。本實(shí)驗(yàn)采用圖1作為輸入圖像,通過縮小原始輸入圖像的大小并重復(fù)螺栓松動(dòng)檢測程序來進(jìn)行研究。本文中選擇了1 280×720和640×360兩種圖像分辨率,圖16顯示了不同輸入分辨率圖像的螺栓松動(dòng)檢測結(jié)果。

圖16 不同分辨率的檢測結(jié)果

3.2 松動(dòng)螺栓個(gè)數(shù)

由于本文之前的測試是假設(shè)只有單個(gè)螺栓松動(dòng)的情況下,因此,本實(shí)驗(yàn)對采集圖像中松動(dòng)螺栓的個(gè)數(shù)是否對本文方法產(chǎn)生不良影響進(jìn)行研究。本實(shí)驗(yàn)采用圖1作為模板圖像,并且在檢查間隔期間松開螺栓4、5,如圖17所示。實(shí)驗(yàn)結(jié)果表明松動(dòng)的螺栓個(gè)數(shù)并不會(huì)成為影響該方法的因素。

圖17 不同松動(dòng)螺栓個(gè)數(shù)的檢測結(jié)果

3.3 螺栓旋轉(zhuǎn)角度

由于螺栓自身的松動(dòng)是一個(gè)漫長的過程,因此需要在螺栓松動(dòng)角度較小時(shí)及時(shí)發(fā)現(xiàn)并處理。本實(shí)驗(yàn)將測試當(dāng)螺栓旋轉(zhuǎn)角度較小時(shí),本文方法是否能正確定位出松動(dòng)螺栓。本次測試兼顧檢測的準(zhǔn)確性和實(shí)時(shí)性,采用圖11作為模板圖像并且設(shè)置圖像分辨率為1 280×720,其中5號螺栓分別進(jìn)行了從5°、10°和15°的一系列逆時(shí)針旋轉(zhuǎn)。圖18顯示了本文中方法在螺栓旋轉(zhuǎn)角度較小的情況下依然能準(zhǔn)確定位松動(dòng)的螺栓。

圖18 不同旋轉(zhuǎn)角度的檢測結(jié)果

3.4 光照條件

兩次拍攝周期光照強(qiáng)度的變化是影響本文中方法檢測效果的重要因素。本實(shí)驗(yàn)采用圖1作為模板圖像,通過添加額外的光源來改變照明條件,導(dǎo)致第二個(gè)輸入圖像中的亮度發(fā)生了輕微變化。盡管如此,本文中方法仍然在這種情況下檢測到螺栓松動(dòng),如圖19所示。

圖19 光照條件改變后的檢測結(jié)果

3.5 截止閾值T

如第2.4節(jié)所述,通過引入截止閾值T對灰度圖中螺栓松動(dòng)區(qū)域進(jìn)行特征增強(qiáng)并消除配準(zhǔn)誤差中噪聲內(nèi)容。本小節(jié)將證明截止閾值T在特征增強(qiáng)過程中的重要性。本次測試采用圖19作為輸入圖像,不同截止閾值的檢測結(jié)果顯示在圖20。若閾值T設(shè)置得過高,松動(dòng)螺栓所在的超像素區(qū)域則可能被會(huì)當(dāng)作噪聲區(qū)域而被抑制;若閾值T設(shè)置得過低,部分噪聲區(qū)域則可能會(huì)被當(dāng)作是松動(dòng)螺栓所在的超像素區(qū)域而得不到準(zhǔn)確地抑制,這會(huì)直接導(dǎo)致檢測算法的準(zhǔn)確率受到很大的影響。本文中建議初始截止閾值T=100,并可根據(jù)測試結(jié)果進(jìn)一步調(diào)整。

圖20 不同截止閾值的檢測結(jié)果

3.6 拍攝角度

2次拍攝周期相機(jī)拍攝角度的變化是另一個(gè)影響本文中方法檢測效果的重要因素。之前測試中采用的2個(gè)輸入圖像都是相機(jī)在相同角度條件下拍攝獲取到的。當(dāng)2張輸入圖像相機(jī)拍攝角度發(fā)生較小的變化時(shí),也能通過透視變換的方法對輸入圖像進(jìn)行處理,從而定位到松動(dòng)的螺栓。本測試采用了圖11作為輸入圖像,檢測結(jié)果如圖21所示。

圖21 拍攝角度改變后的檢測結(jié)果

4 結(jié)論

1) 本文中提出的采用深度學(xué)習(xí)以及圖像配準(zhǔn)的螺栓松動(dòng)檢測方法,能實(shí)現(xiàn)螺栓松動(dòng)的全自動(dòng)化檢測。

2) 在YOLOv5s的基礎(chǔ)上進(jìn)行改進(jìn),采用ShuffleNetV2作為Backbone,根據(jù)對比實(shí)驗(yàn)結(jié)果,相較于YOLOv5s,該模型在檢測準(zhǔn)確率上和YOLOv5s相當(dāng),并且參數(shù)量降低了40.8%,推理速度提升了69.8%。

3) 在輸入圖像分辨率、螺栓的旋轉(zhuǎn)角度、光照條件等方面進(jìn)行魯棒性測試,實(shí)驗(yàn)結(jié)果表明本文方法的魯棒性健壯,當(dāng)螺栓發(fā)生5°以上旋轉(zhuǎn)時(shí)該方法能準(zhǔn)確檢測出螺栓松動(dòng),在風(fēng)力發(fā)電機(jī)螺栓松動(dòng)的智能化檢測方面具有重要意義。