張?zhí)忑?閆子權(quán) 喬廷強(qiáng) 丁曉宇
基于視覺測振和卷積神經(jīng)網(wǎng)絡(luò)的螺栓松動檢測方法
張?zhí)忑?閆子權(quán)2喬廷強(qiáng)3丁曉宇1
(1 北京理工大學(xué)機(jī)械與車輛學(xué)院,北京 100081;2 中國鐵道科學(xué)研究院集團(tuán)有限公司鐵道建筑研究所,北京 100081;3 中國航發(fā)沈陽發(fā)動機(jī)研究所,沈陽 110000)
螺栓松動故障的準(zhǔn)確檢測對于確保機(jī)械產(chǎn)品可靠性具有重要意義。為了解決現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的檢測方法所需的大量高質(zhì)量數(shù)據(jù)難以在實際工程中獲取的問題,本文提出了一種基于視覺測振和CNN的螺栓松動檢測方法。通過視覺測振技術(shù),從視頻中的每一個像素點提取出振動信號,有效解決了CNN模型訓(xùn)練數(shù)據(jù)難以獲取的問題,通過少量實測視頻樣本即可對CNN模型進(jìn)行訓(xùn)練,并實現(xiàn)對螺栓連接狀態(tài)的準(zhǔn)確預(yù)測。本文通過一個對懸臂梁結(jié)構(gòu)的敲擊實驗驗證了所提方法的有效性。
螺栓松動檢測;視覺測振技術(shù);卷積神經(jīng)網(wǎng)絡(luò);連續(xù)小波變換
螺栓連接具有結(jié)構(gòu)簡單、裝拆方便、成本低、標(biāo)準(zhǔn)體系完善等優(yōu)點,在各種機(jī)械產(chǎn)品中應(yīng)用廣泛。工程經(jīng)驗及大量研究表明,在振動環(huán)境下螺栓連接容易出現(xiàn)松動失效[1,2],是威脅機(jī)械產(chǎn)品可靠性的常見問題。因此,在螺栓連接松動產(chǎn)生的初期能夠?qū)⑵錂z測出來對于確保機(jī)械產(chǎn)品可靠性具有重要意義。
螺栓連接松動會改變結(jié)構(gòu)的剛度和阻尼,從而對結(jié)構(gòu)在特定激勵下的振動響應(yīng)產(chǎn)生影響,因此基于結(jié)構(gòu)的振動信號檢測螺栓松動一直被認(rèn)為是很有前景的檢測方法,受到各國學(xué)者的關(guān)注。目前,常見的基于振動信號的檢測方法一般包括信號采集、信號分析和處理、模式識別三個環(huán)節(jié)[3]。信號采集主要通過各種傳感器和數(shù)據(jù)采集模塊來采集信號;信號分析和處理的過程主要依靠小波變換等各種信號處理技術(shù)將信號轉(zhuǎn)換為反映被檢測結(jié)構(gòu)狀態(tài)的基本信息;而模式識別則通過這些基本信息對被檢測結(jié)構(gòu)的狀態(tài)進(jìn)行決策。
近年來,基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的結(jié)構(gòu)故障檢測成為了研究熱點,學(xué)者們借助CNN對滾動軸承[4]、齒輪箱[5]、風(fēng)機(jī)葉片[6]等結(jié)構(gòu)進(jìn)行了故障檢測,在螺栓松動檢測方面,CNN也表現(xiàn)出了優(yōu)異性能。Abdeljaber等[7]提出了使用一維CNN從加速度信號中提取損傷敏感特征的方法,能夠基于振動信號實時進(jìn)行螺栓松動故障的檢測和定位。Pal等[8]設(shè)計了一種基于CNN的深度學(xué)習(xí)模型,能夠從基于振動信號的時頻圖中提取特征,實現(xiàn)對螺栓松動故障的識別。
在基于CNN的螺栓松動或其它故障檢測方法中,除了CNN本身的架構(gòu)設(shè)計和參數(shù)優(yōu)化,充足的訓(xùn)練數(shù)據(jù)對于結(jié)果的準(zhǔn)確性至關(guān)重要。任勝杰等[9]建立了基于一維和二維CNN的螺栓松動故障診斷模型,使用六種螺栓連接狀態(tài)下的共960組(每種狀態(tài)下各160組)實測加速度信號進(jìn)行模型訓(xùn)練,最終達(dá)到大于99%的分類準(zhǔn)確率。然而,加速度計等常用傳感器一次只能獲取一個振動信號,為了獲得充足的數(shù)據(jù)用于CNN模型訓(xùn)練,需要開展大量的實驗,而這在實際工程中往往難以實現(xiàn)。因此,如何通過少量實測樣本實現(xiàn)CNN模型的訓(xùn)練,并得到螺栓松動故障的準(zhǔn)確識別是一個亟待解決的工程難題。
針對上述問題,本文提出了一種基于視覺測振和CNN的螺栓松動檢測方法。該方法使用基于相位法的視覺測振技術(shù)提取視頻中每個像素點處的振動位移信號(下文簡稱振動信號),即每一個像素點都可以視為一個位移傳感器,因此一次拍攝即可獲得大量的振動信號,能夠有效滿足CNN模型訓(xùn)練對大量數(shù)據(jù)的需求。該方法還利用連續(xù)小波變換(CWT)將振動信號轉(zhuǎn)換為時頻圖像,輸入到CNN模型中進(jìn)行訓(xùn)練,最終實現(xiàn)對螺栓連接松動故障的檢測。本文通過對一個懸臂梁結(jié)構(gòu)的敲擊實驗驗證了所提方法的有效性。
本文所提出的螺栓松動檢測方法的流程如圖1所示,包括以下主要環(huán)節(jié):
1)拍攝結(jié)構(gòu)振動視頻:對螺栓連接結(jié)構(gòu)施加激勵,利用相機(jī)拍攝其在不同狀態(tài)下的振動視頻;
2)提取振動信號:利用基于相位法的視覺測振技術(shù),提取多個區(qū)域內(nèi)每個像素點對應(yīng)位置的振動信號(下文簡稱像素點振動信號);
3)生成時頻圖:對提取的每個像素點振動信號進(jìn)行CWT,生成時頻圖像;將時頻圖像進(jìn)行尺度統(tǒng)一和標(biāo)準(zhǔn)化處理后構(gòu)造數(shù)據(jù)集,劃分訓(xùn)練集和測試集;
4)訓(xùn)練CNN模型:構(gòu)造CNN模型,利用訓(xùn)練集中的時頻圖像對CNN模型進(jìn)行訓(xùn)練;
5)CNN預(yù)測分類:利用訓(xùn)練好的CNN模型對測試集中的所有時頻圖像進(jìn)行預(yù)測分類,并通過“投票選舉法”確定視頻樣本對應(yīng)的螺栓連接狀態(tài)。
圖1 本文所提方法的主要流程
本文所采用的基于相位法的視覺測振技術(shù)能夠從拍攝的被測對象振動的視頻中提取出結(jié)構(gòu)的振動信息。Fleet和Jepson[10]首次提出了基于相位法的圖像運動場估計的思路,他們使用Gabor濾波器與圖像序列進(jìn)行卷積操作,對視頻中的每一幀圖像進(jìn)行分解,得到包含幅值和相位分量的復(fù)值響應(yīng),卷積操作的過程如式(1)所示
其中,()代表圖像亮度,()是方向的Garbor濾波器,A是響應(yīng)的幅值,Ф是響應(yīng)的相位。Fleet和Jepson[10]已經(jīng)證明,上述相位信息與圖像的運動場緊密相關(guān),且可以通過式(2)求得畫面中的運動場
通過式(2)可以得到每一位置的速度信號,在時間上積分后即得位移信號,最后再進(jìn)行快速傅里葉變換計算出頻域信號,由此得到了結(jié)構(gòu)的振動信息。所以,基于相位法的視覺測振技術(shù)可以提取出每個像素點的振動位移信號。本文基于MATLAB平臺實現(xiàn)了該算法。
本文通過CNN對結(jié)構(gòu)振動信號的時頻圖像進(jìn)行學(xué)習(xí)和分類,并最終對結(jié)構(gòu)的螺栓連接狀態(tài)做出分類。圖2為所采用的CNN網(wǎng)絡(luò)結(jié)構(gòu),由輸入層、三層交替的卷積層和池化層、全連接層和輸出層組成。在輸入層輸入由CWT生成的信號的RGB三通道時頻圖像。卷積層通過特定卷積核與上層的特征圖進(jìn)行卷積加上偏置值,再通過激活函數(shù)relu函數(shù)得到本層的輸出特征圖。池化層通過降采樣來控制計算量,池化方式為最大池化。最后,將數(shù)據(jù)平坦化后經(jīng)過一個全連接層,通過softmax分類器對樣本完成決策分類。CNN的訓(xùn)練采用批量樣本輸入的方式,主要包括數(shù)據(jù)的前向傳播和誤差的反向傳播兩個過程,采用Adam優(yōu)化器,學(xué)習(xí)率均設(shè)置為0.001。
本文基于一個懸臂梁結(jié)構(gòu)開展實驗,驗證所提出方法的有效性。實驗所用的懸臂梁結(jié)構(gòu)如圖3所示,它由45#鋼制成,包含三段梁,在搭接處(B1、B2)分別通過兩顆M8螺栓連接在一起,并在B0處通過兩顆M10螺栓將其固定在工作臺上。
圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)示意圖
圖3 本文采用的螺栓連接幾何模型及實物圖
實驗通過改變B1和B2處螺栓的預(yù)緊力矩,共設(shè)置了如表1所示的4種不同的螺栓連接狀態(tài),實驗的現(xiàn)場設(shè)置如圖4所示。
表1 螺栓連接狀態(tài)類別設(shè)置
圖4 實驗現(xiàn)場設(shè)置
使用力錘敲擊懸臂梁的自由端使其產(chǎn)生振動,采用Basler acA720-520um相機(jī)拍攝結(jié)構(gòu)振動過程的視頻,同時使用直流非頻閃的LED面光源進(jìn)行補(bǔ)光。拍攝視頻的幀率為500幀/s,每次拍攝的視頻時間為8s,所以每個視頻包含500×8=4000幀圖像。實驗在4種不同的螺栓連接狀態(tài)下各拍攝了18組視頻樣本。
拍攝的視頻界面如圖5所示。通過基于相位法的視覺測振技術(shù),可以從視頻中提取像素點振動信號,具體方法在2.1節(jié)中已經(jīng)介紹。在本實驗中通過視頻中結(jié)構(gòu)的已知實際尺寸與圖像中對應(yīng)的像素尺寸之比來計算比例系數(shù),進(jìn)而把圖像的測量結(jié)果轉(zhuǎn)換為實際的位移單位。本實驗在懸臂梁的三段上分別選擇了一塊區(qū)域(A1、A2、A3),從每塊區(qū)域中分別提取了200個像素點振動信號。表2展示了四種螺栓連接狀態(tài)下三區(qū)域的像素點振動信號示例。
圖5 視頻界面及像素點振動信號提取示意圖
表2 四種狀態(tài)下三區(qū)域的像素點振動信號示例
表3 四種狀態(tài)下三區(qū)域的像素點振動信號的時頻圖像示例
得到振動信號以后,通過CWT生成所有被選像素點振動信號的時頻圖像,表3給出了四種螺栓連接狀態(tài)下三區(qū)域像素點振動信號的時頻圖像示例。本實驗中每種螺栓連接狀態(tài)下一共有200(點數(shù)量)×3(區(qū)域數(shù)量)×18(視頻數(shù)量)=10800張時頻圖像。在輸入到CNN之前,將每一張時頻圖像大小統(tǒng)一為300×100像素,所有像素點的灰度值都標(biāo)準(zhǔn)化為[0, 1]。
為了測試本文提出方法的有效性以及面對在小樣本問題時的準(zhǔn)確性,通過改變訓(xùn)練樣本的數(shù)量進(jìn)行了多次測試。每種狀態(tài)下各18個視頻樣本,隨機(jī)取其中N(1、2、3、4)個作為訓(xùn)練集和驗證集數(shù)據(jù)的來源,其余(18-N)個作為測試集樣本,如表4所示。每一個視頻樣本包含200(點數(shù)量)×3(區(qū)域數(shù)量)=600個像素點振動信號時頻圖像,在輸入到CNN中進(jìn)行訓(xùn)練時,訓(xùn)練集和驗證集的時頻圖像按照1:1的比例隨機(jī)劃分。
表4 數(shù)據(jù)集劃分
在本文實驗中,根據(jù)輸入到CNN中數(shù)據(jù)樣本和CNN模型的不同共進(jìn)行了4組分析,如表5所示,其中每一組分析都按表4中的數(shù)據(jù)集劃分進(jìn)行4次測試。
表5 四組分析的條件對比
在組1的分析中,輸入到CNN中的數(shù)據(jù)樣本是由來自區(qū)域A1、A2、A3的各一個像素點振動信號的時頻圖像結(jié)合起來生成的三幀時頻圖像序列。以組1中的測試1為例,訓(xùn)練集和驗證集共200(每個區(qū)域中點數(shù)量)×1(N)=200個三幀時頻圖像序列,測試集為200(每個區(qū)域中點數(shù)量)×17(18-N)=3400個三幀時頻圖像序列的測試樣本。此時,神經(jīng)網(wǎng)絡(luò)模型用到的是三維CNN,具體結(jié)構(gòu)和參數(shù)如表6所示。CNN的主要參數(shù)包括卷積核數(shù)量、卷積核大小和池化區(qū)域大小,為了優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的性能,本文所用參數(shù)是通過反復(fù)試錯來確定的。
表6 組1中三維CNN的具體結(jié)構(gòu)和參數(shù)
為了探究選取結(jié)構(gòu)上不同區(qū)域內(nèi)的像素點振動信號對準(zhǔn)確率的影響,本文進(jìn)行了組2~組4的分析。在組2、組3、組4中,分別只采用來自A1、A2、A3其中一個區(qū)域內(nèi)的像素點振動信號的時頻圖像作為CNN的輸入數(shù)據(jù),此時,CNN的每個輸入數(shù)據(jù)為一張RGB時頻圖像,此時的神經(jīng)網(wǎng)絡(luò)模型為二維CNN,具體結(jié)構(gòu)和參數(shù)如表7所示。
表7 組2、3、4中二維CNN的具體結(jié)構(gòu)和參數(shù)
測試集中的每一個三幀時頻圖像序列或者每一張RGB時頻圖像都可以被訓(xùn)練后的CNN分類到某一種螺栓連接狀態(tài),而最終實測視頻樣本的分類依據(jù)“投票選舉法”,即每個視頻提取出的200個三幀時頻圖像序列或者RGB時頻圖像的測試樣本中分類得到類別最多的那一類就視為此視頻樣本的分類。以組1的分析為例,從某個視頻樣本中提取出的200個三幀時頻圖像序列的測試樣本中有150個被預(yù)測為類別1,而其余的50個被預(yù)測為其他類別,就將該視頻樣本分為類別1。根據(jù)“投票選舉法”,即可得到最終視頻中螺栓連接狀態(tài)的預(yù)測分類。
通過對比測試集中所有視頻樣本的預(yù)測分類與其對應(yīng)的螺栓連接狀態(tài)的真實分類得到準(zhǔn)確率,以衡量本文方法的性能,準(zhǔn)確率的計算方式為
其中,測試集一共包含(18-N)×4(類)=(72-4N)個視頻樣本。
4組分析的多次測試結(jié)果如表8和圖6所示,包含了在不同區(qū)域信號的選擇以及不同訓(xùn)練用的視頻樣本數(shù)量下模型的分類準(zhǔn)確率。其中,圖7(a)(b)分別為組1中訓(xùn)練集與驗證集為3個和4個視頻樣本時的準(zhǔn)確率和損失值曲線,圖8(a)(b)為此時的混淆矩陣。
從表8和圖6中可以看出,在每種狀態(tài)下的訓(xùn)練集和驗證集視頻數(shù)量僅有3個時,組1中模型對實測視頻樣本的分類準(zhǔn)確率即可達(dá)到100%,而視頻數(shù)量僅有4個時,所有模型的準(zhǔn)確率都可達(dá)到100%。因此,本文提出的方法在小樣本條件下依然能夠?qū)β菟ㄋ蓜庸收线M(jìn)行準(zhǔn)確識別,基于相位法的視覺測振技術(shù)提取的大量振動信號有效地解決了CNN訓(xùn)練所需大量實測數(shù)據(jù)難以獲取的問題。
此外,在相同條件下,選擇視頻中結(jié)構(gòu)的多個區(qū)域內(nèi)的像素點振動信號的時頻圖像作為CNN的輸入數(shù)據(jù)比單個區(qū)域更有利于CNN模型的學(xué)習(xí)和預(yù)測。因為不同位置處的信號包含結(jié)構(gòu)不同的振動響應(yīng)特性,神經(jīng)網(wǎng)絡(luò)因此能夠?qū)W習(xí)到更多的特征以幫助對結(jié)構(gòu)的不同螺栓連接狀態(tài)進(jìn)行分類。
表8 四組分析的各次測試的分類準(zhǔn)確率
圖6 四組分析中的各次測試準(zhǔn)確率變化
圖7 組1中訓(xùn)練集與驗證集為3個a)和4個b)視頻樣本時的訓(xùn)練曲線
圖8 組1中訓(xùn)練集與驗證集為3個(a)和4個(b)視頻樣本時的混淆矩陣
Fig.8 Confusion matrix when 3(a) or 4(b) video samples in training and validation datasets of group 1
表9對比了本文與其它幾種螺栓松動檢測方法的效果??梢钥闯觯渌膸追N方法均需要借助多個傳感器或者在同一螺栓連接狀態(tài)下重復(fù)采集大量信號才能達(dá)到較高的準(zhǔn)確率,而本文提出的方法在使用一個傳感器(即相機(jī))和3個實測樣本的前提下即可達(dá)到非常高的準(zhǔn)確率。
表9 幾種現(xiàn)有的螺栓松動檢測方法對比
本文提出了一種基于視覺測振和CNN的螺栓松動故障檢測方法。該方法使用基于相位法的視覺測振技術(shù)實現(xiàn)對結(jié)構(gòu)的振動信號采集,可以提取每一個像素點位置處的振動信號,從而基于一個視頻就可以提取到大量振動信號。利用CWT將振動信號變換為時頻圖像,輸入到CNN模型中進(jìn)行特征提取和模型訓(xùn)練,訓(xùn)練好的CNN模型能夠?qū)r頻圖像進(jìn)行預(yù)測分類,然后通過“投票選舉法”最終實現(xiàn)對螺栓連接結(jié)構(gòu)的松動故障檢測。
本文提出的檢測方法解決了CNN訓(xùn)練所需大量實測數(shù)據(jù)難以獲取的問題。本文通過對某懸臂梁結(jié)構(gòu)的敲擊實驗驗證了該方法的有效性以及在小樣本條件下的準(zhǔn)確性,實現(xiàn)了在每種狀態(tài)下只使用3個實測視頻樣本即可對螺栓連接松動故障進(jìn)行準(zhǔn)確的預(yù)測分類。
[1] 張鐵亮, 王卓, 徐樂, 等. 螺紋連接松動問題研究綜述[J]. 強(qiáng)度與環(huán)境, 2021,48(4): 37-47.[Zhang Tieliang, Wang Zhuo, Xu Le,et al.A survey of research on threaded connection looseness[J]. Structure& Environment Engineering, 2021,48(4): 37-47.]
[2] 鞏浩, 劉檢華, 丁曉宇. 振動條件下螺紋預(yù)緊力衰退機(jī)理和影響因素研究[J]. 機(jī)械工程學(xué)報,2019, 55(11): 138-148. [Gong Hao, Liu Jianhua, Ding Xiaoyu. Study on the mechanism and influencing factors of preload decline forbolted joints under vibration[J].Journal of Mechanical Engineering, 2019,55(11): 138-148.]
[3] Avci O, Abdeljaber O, Kiranyaz S, et al. A review of vibration-based damage detection in civil structures: from traditional methods to machine learning and deep learning applications[J]. Mechanical Systems and Signal Processing, 2021,147.
[4] 趙小強(qiáng), 張亞洲. 利用改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的滾動軸承變工況故障診斷方法[J]. 西安交通大學(xué)學(xué)報, 2021, 55(12): 108-118. [Zhao Xiaoqiang, Zhang Yazhou. Improved CNN-Based fault diagnosis method for rolling bearings under variable working conditions[J].Journal of Xi’an Jiaotong University, 2021,55(12): 108-118.]
[5] 周建華, 鄭攀, 王帥星, 等. 基于小波時頻圖和卷積神經(jīng)網(wǎng)絡(luò)的行星齒輪箱故障診斷方法[J]. 機(jī)械傳動,2022,46(1):156-163.[Zhou Jianhua, ZhengPan, WangShuaixing, et al. Fault diagnosis method of planetary gearbox based on wavelet time-frequency diagram and convolutional neural network[J]. Journal of Mechanical Transmission,2022,46(1): 156-163.]
[6] 王金軒, 湯占軍, 詹躍東, 等.基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)機(jī)葉片結(jié)冰故障檢測[J]. 計算機(jī)仿真,2021, 38(12):85-88+211. [Wang Jinxuan, Tang Zhanjun, Zhan Yuedong, et al. Fan blade icing fault detection based on convolution neural network[J].Computer Simulation,2021,38(12):85-88+211.]
[7] AB DE LJABER O, AVCI O, KIRANYAZ S, et al. Real-time vibration-based structural damage detection using one-dimensional convolutional neural networks[J]. Journal of Sound & Vibration, 2017,388: 154-170.
[8] Pal J, Sikdar S, Banerjee S. A deep-learning approach for health monitoring of a steel frame structure with bolted connections[J]. Structural Control & Health Monitoring, 2019(e2873).
[9] 任勝杰. 基于卷積神經(jīng)網(wǎng)絡(luò)的螺栓松動故障診斷研究[D]. 西安理工大學(xué), 2021.
[10] FLEET D J, JEPSON A D. Computation of component image velocity from local phase information[J]. International Journal of Computer Vision, 1990, 5(1): 77-104.
[11] 趙俊鋒, 張小麗, 閆強(qiáng), 等. 螺栓連接結(jié)構(gòu)動態(tài)特征學(xué)習(xí)與裝配緊度智能監(jiān)測[J]. 機(jī)械科學(xué)與技術(shù), 2019, 38(3): 351-357.[Zhao Junfeng, Zhang Xiaoli, Yan Qiang, et al. Dynamic feature learning and assembly tightness intelligent monitoring of bolted joint structure[J]. Mechanical Science and Technology for Aerospace Engineering,2019,38(3): 351-357.]
Bolt Looseness Detection Method Based on Visual Vibration Measurement and Convolution Neural Network
ZHANG Tian-long1YAN Zi-quan2QIAO Ting-qiang3DING Xiao-yu1
(1 School of Mechanical Engineering, Beijing Institute of Technology, Beijing, 100081,China; 2 Railway Engineering Research Institute, Beijing, 100081,China; 3 AVIC Shenyang Engine Design Institute, Shenyang, 110000,China)
Accurate detection of bolt loosening is significant to ensure the reliability of mechanical products. In order to solve the problem that a large amount of high quality data required by the existing detection methods based on convolution neural network (CNN) is difficult to obtain in practical engineering, a bolt loosening detection method based on visual vibration measurement and CNN is proposed in this paper. By the visual vibration measurement technology, the vibration signal is extracted from each pixel in the video, which effectively solves the problem that the training data of CNN are difficult to obtain. The CNN can be trained with a small number of measured video samples, and bolt connection conditions can be predicted accurately. In this paper, the effectiveness of the proposed method is verified by a knocking experiment on a cantilever beam structure.
Bolt looseness detection; Visual vibration measurement; Convolution neural network; Continuous wavelet transform
TH113, O327
A
1006-3919(2022)02-0048-08
10.19447/j.cnki.11-1773/v.2022.02.007
2021-07-15;
2021-10-22
國家自然科學(xué)基金重點支持項目(U2141217);航空發(fā)動機(jī)集團(tuán)產(chǎn)學(xué)研項目(HFZL2019CXY021-2);國家自然科學(xué)基金面上項目(51975055)
張?zhí)忑垼?996—),男,碩士研究生,研究方向:連接力學(xué);(100081)北京理工大學(xué)機(jī)械與車輛學(xué)院.