基于遷移學(xué)習(xí)的鋼絲繩斷絲定量檢測方法

張義清， 譚繼文， 孟慶文， 曾實現(xiàn)， 白曉瑞

(1. 聊城大學(xué) 機械與汽車工程學(xué)院，山東 聊城 252000； 2.青島理工大學(xué) 機械與汽車工程學(xué)院，山東 青島 266520；3. 德州市環(huán)境衛(wèi)生服務(wù)中心，山東 德州 253017； 4.青島黃海學(xué)院 智能制造學(xué)院，山東 青島 266520；5.海軍工程大學(xué) 兵器工程學(xué)院，武漢 430032)

鋼絲繩是礦井提升、斜拉橋、電梯等工作場景中主要的承力構(gòu)件。由于工作環(huán)境惡劣，鋼絲繩在使用過程中難免會產(chǎn)生各類損傷[1]。斷絲作為一種主要的損傷，直接關(guān)系到鋼絲繩的使用安全。許多機構(gòu)也根據(jù)一定長度內(nèi)斷絲的數(shù)量來評價鋼絲繩是否需要替換[2]。因此，對鋼絲繩進(jìn)行斷絲定量檢測具有重要意義。

近年來，許多專家和學(xué)者利用時頻分析技術(shù)和人工神經(jīng)網(wǎng)絡(luò)對鋼絲繩斷絲定量識別進(jìn)行了大量的研究[3-6]。田志勇等提出了基于BP(back propagation)神經(jīng)網(wǎng)絡(luò)的斷絲定量識別方法，利用試驗進(jìn)行了驗證，識別準(zhǔn)確率達(dá)到了86.9%；劉志懷等提出了基于主成分分析和BP網(wǎng)絡(luò)結(jié)合的鋼絲繩斷絲定量識別方法，利用主成分分析保留斷絲有效特征，再輸入BP網(wǎng)絡(luò)進(jìn)行分類，提高了網(wǎng)絡(luò)的訓(xùn)練速度和分類準(zhǔn)確率。朱良等在總結(jié)傳統(tǒng)斷絲信號特征的基礎(chǔ)上利用小波分解提取了斷絲信號的奇異值熵，使用這種特征實現(xiàn)不同種類斷絲的區(qū)分。

然而，目前的文獻(xiàn)主要針對鋼絲繩外部斷絲進(jìn)行識別，對內(nèi)部斷絲研究較少，而實際鋼絲繩可能同時存在外部斷絲和內(nèi)部斷絲。除此以外，大多定量識別方法需要人工進(jìn)行特征提取和挑選，然后輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和分類。這種方法費時費力且需要足夠的先驗知識，一旦這些人工選取的特征不能滿足任務(wù)的需要，模型的故障分類性能就會明顯下降。

深度學(xué)習(xí)(deep learning，DL)自提出就受到了各個領(lǐng)域的關(guān)注，其中卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)已經(jīng)在故障診斷領(lǐng)域取得了很多成功的應(yīng)用[7-11]。Jing等利用卷積神經(jīng)網(wǎng)絡(luò)自動從行星齒輪箱的振動信號中提取故障特征，實現(xiàn)了準(zhǔn)確的故障識別。Guo等提出了一種基于改進(jìn)算法的分層學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用到軸承故障診斷中，取得了較好的效果。深度學(xué)習(xí)強大的特征提取能力為鋼絲繩斷絲定量識別存在的問題提供了有效的解決方法。隨著深度學(xué)習(xí)的發(fā)展，出現(xiàn)了許多更深層的卷積神經(jīng)網(wǎng)絡(luò)，如VGG16，GoogLeNet，ResNet50等[12-13]。這些模型通常具有更好的泛化能力和自適應(yīng)性。然而，隨著深度模型隱含層數(shù)量和大小的增加，自由參數(shù)也增多，調(diào)整這些參數(shù)通常需要耗費大量的時間，且從零開始訓(xùn)練大型網(wǎng)絡(luò)更是需要大量的標(biāo)記數(shù)據(jù)和計算資源。

遷移學(xué)習(xí)(transfer learning，TL)是將已訓(xùn)練好的網(wǎng)絡(luò)的低層結(jié)構(gòu)和參數(shù)遷移到新的分類模型中，通過調(diào)整模型高層的參數(shù)來實現(xiàn)特定的分類任務(wù)[14]。這種方式減少了需要調(diào)整的參數(shù)，改進(jìn)了網(wǎng)絡(luò)的訓(xùn)練進(jìn)程。Shao等[15]提出了一種基于預(yù)訓(xùn)練深度卷積網(wǎng)絡(luò)VGG-16的遷移學(xué)習(xí)方法，并將其應(yīng)用到了故障診斷中，通過異步電動機、變速箱、和軸承的故障試驗驗證了該方法的有效性，實現(xiàn)了自然圖像到機械故障時頻圖像的遷移。

本文將遷移學(xué)習(xí)應(yīng)用到鋼絲繩斷絲定量識別中，基于連續(xù)小波變換和GoogLeNet遷移模型對內(nèi)外部斷絲進(jìn)行分類。

1 理論基礎(chǔ)

1.1 時頻成像

時頻成像是將信號頻率、時間序列數(shù)據(jù)轉(zhuǎn)換成時頻圖的一種技術(shù)。通過時頻轉(zhuǎn)換可以洞察原始信號更深的特征，有利于進(jìn)行故障分類。對信號進(jìn)行時頻轉(zhuǎn)換的方法很多，其中連續(xù)小波變換是一種有效的方法[16]。信號x(t)的連續(xù)小波變換(continuous wavelet transform,CWT)可以表示[13]為

(1)

式中:x(t)為要進(jìn)行轉(zhuǎn)換的信號；s為尺度因子；τ為平移因子；ψ(·)為母小波；ψ*(·)為函數(shù)ψ(·)的復(fù)共軛。通過式(1)，信號x(t)被變換并投影到二維時間和尺度，將一維時間序列轉(zhuǎn)換為時頻圖像。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于圖像分類任務(wù)中。它可以自動從輸入圖像中提取有用特征，經(jīng)過逐層處理在更高層形成抽象特征，從而完成準(zhǔn)確分類。典型卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，如圖1所示。網(wǎng)絡(luò)的前幾個階段主要由卷積層和池化層組成，后幾層為全連接層和分類層。

同一個卷積層中的神經(jīng)元共享它們的權(quán)重，這些權(quán)重形成一個卷積核。卷積層通常包含多個卷積核來同時提取不同的特征信息。卷積核對輸入圖像進(jìn)行卷積運算，通過非線性激活函數(shù)形成最終輸出值。卷積核掃描整個輸入圖像上生成特征圖，其可以看作是一種特征抽取器，不同的卷積核表示不同的特征提取操作。非線性變換前的第k個特征圖的特征值Zk可以表示為

Zk=Wk?x+bk

(2)

式中:Wk為第k個卷積核；bk為偏移項;x為此卷積層的輸入圖像；?為二維卷積。

池化層通常在卷積層之后，通過下采樣降低卷積得到的特征圖的維數(shù)。池化操作將特征圖分成多個小區(qū)域并生成新的特征值，可以表示為

yi,j,k=down(m,n)∈Ri,j(xm,n,k)

(3)

式中：down(·)為下采樣函數(shù)；yi,j,k為池化后第k個新特征圖；Ri,j為位置(i,j)附近的區(qū)域，即池化的感受野；xm,n,k為感受野內(nèi)的節(jié)點。

1.3 遷移學(xué)習(xí)和參數(shù)調(diào)整方法

遷移學(xué)習(xí)是深度學(xué)習(xí)的一個特定領(lǐng)域。簡單來說，給定一個源域Ds和目標(biāo)域Dt，遷移學(xué)習(xí)可以將從源域Ds中學(xué)習(xí)到的知識應(yīng)用到目標(biāo)域Dt中。遷移學(xué)習(xí)可以通過從預(yù)訓(xùn)練模型轉(zhuǎn)移來的參數(shù)初始化目標(biāo)模型來幫助訓(xùn)練目標(biāo)模型[17]。

從頭開始訓(xùn)練深度模型需要大量的標(biāo)記數(shù)據(jù)且調(diào)整網(wǎng)絡(luò)參數(shù)通常耗費大量的時間。遷移學(xué)習(xí)為這一問題提供了一個有效的解決方法，其利用已經(jīng)由一個數(shù)據(jù)集訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)的遷移實現(xiàn)特定分類任務(wù)。如前所述，卷積神經(jīng)網(wǎng)絡(luò)可以從圖像中逐層提取特征，并且嵌入預(yù)訓(xùn)練模型權(quán)重中的知識可以轉(zhuǎn)移到新任務(wù)中。卷積網(wǎng)絡(luò)的低層提取邊緣和曲線等低層特征，適用于常見的圖像分類任務(wù)，而高層可以學(xué)習(xí)更多特定于不同應(yīng)用領(lǐng)域的抽象特征。因此，可以將低層參數(shù)直接遷移，僅需要從新數(shù)據(jù)集中學(xué)習(xí)高層特征。調(diào)整高層權(quán)重的過程取決于源數(shù)據(jù)集與目標(biāo)數(shù)據(jù)集之間的差異。對于類似的數(shù)據(jù)集，只需要微調(diào)全連接層的參數(shù)即可，而對于差異較大的數(shù)據(jù)集，則需要調(diào)整一些卷積塊的參數(shù)。與完整訓(xùn)練一個網(wǎng)絡(luò)相比，這種方法可以在數(shù)據(jù)量較少的情況實現(xiàn)分類，且減少了需要被訓(xùn)練的參數(shù)。

2 基于遷移學(xué)習(xí)的分類模型

本文提出的基于遷移學(xué)習(xí)的鋼絲繩斷絲定量檢測方法的流程圖如圖2所示。鋼絲繩斷絲的漏磁信號由安裝在試驗臺上的傳感器獲得。通過連續(xù)小波變換將斷絲原始漏磁信號從時域轉(zhuǎn)換到時頻域，形成一組時頻圖像，用作預(yù)訓(xùn)練模型的輸入。

圖2 整體流程圖Fig.2 Overall flow char of the proposed method

為了訓(xùn)練和微調(diào)預(yù)訓(xùn)練的深度架構(gòu)，需要特定大小的RGB圖像，因此需要對時頻圖像進(jìn)行處理。由于轉(zhuǎn)換后的分布是僅具有一個通道的灰度圖像，因此通過將灰度圖像復(fù)制為3個通道并為每個通道添加基礎(chǔ)，執(zhí)行通道增強以得到具有3個通道的二維圖像。然后，這些時頻圖被劃分為訓(xùn)練集和驗證集，訓(xùn)練集用來訓(xùn)練預(yù)訓(xùn)練模型并調(diào)整參數(shù)，驗證集用于驗證目標(biāo)模型的性能。

其中，所使用的預(yù)訓(xùn)練模型為GoogLeNet[18]，該網(wǎng)絡(luò)具有22層深度網(wǎng)絡(luò)，已經(jīng)在ImageNet數(shù)據(jù)集上實現(xiàn)了準(zhǔn)確的分類。GoogLeNet的inception模塊如圖3所示，利用這種模塊在增加網(wǎng)絡(luò)深度的同時加快了網(wǎng)絡(luò)訓(xùn)練的速度。

圖3 Inception模塊Fig.3 Inception module

在訓(xùn)練過程中，對深度卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet的低層參數(shù)直接進(jìn)行遷移，高層進(jìn)行調(diào)整。具體調(diào)整策略為：移除GoogLeNet最后的可學(xué)習(xí)層，即最后的全連接層，添加一個新的全連接層，設(shè)置全連接層的輸出為斷絲類別數(shù)(6)，替換最后的分類層。通過訓(xùn)練集不斷調(diào)整模型參數(shù)來減小預(yù)測標(biāo)簽和實際標(biāo)簽之間的誤差，經(jīng)過足夠的訓(xùn)練輪數(shù)，對設(shè)計的模型調(diào)整完畢，保存模型的結(jié)構(gòu)以及所有參數(shù)。

3 試驗驗證

3.1 試件制作

使用6×37+FC的鍍鋅鋼絲繩來進(jìn)行試驗研究，其直徑為20 mm，絲徑為0.9 mm。在該繩上共制作6處斷絲損傷，前3處為1～3根外部斷絲，后3處為1～3根內(nèi)部斷絲。每處斷絲的斷口為12 mm。斷絲在鋼絲繩上的具體位置和實際損傷圖片如圖4所示，6處內(nèi)外部斷絲的標(biāo)簽如表1所示。

圖4 斷絲損傷Fig.4 The broken wires

表1 斷絲標(biāo)簽Tab.1 The label of broken wires

3.2 試驗臺

鋼絲繩檢測試驗臺如圖5所示。有損傷的鋼絲繩通過繩扣固定在試驗臺的支架上并通過加載裝置拉緊。移動托盤帶動聚磁傳感器[19]沿鋼絲繩移動實現(xiàn)損傷檢測。傳感器輸出的信號經(jīng)電路板預(yù)處理后傳遞給信號采集系統(tǒng)(圖6)。從圖6中可以看出，直流電源通過電纜給傳感器和電路板供電，這樣可以保證試驗過程中電路的穩(wěn)定。經(jīng)預(yù)處理后的漏磁信號被NI PCI-4496采集卡采集，然后通過計算機中LabVIEW采集程序進(jìn)行實時顯示和數(shù)據(jù)儲存。

圖5 試驗臺Fig.5 The test rig

圖6 信號采集系統(tǒng)Fig.6 Signal acquisition system

3.3 結(jié)果分析

試驗中采集到的斷絲信號如圖7所示，可以看到圖7中有6處突變信號，信號的突變位置正好對應(yīng)鋼絲繩的損傷位置，說明6處斷絲的漏磁信號均被檢測到。其中，信號的前3處突變?yōu)橥獠繑嘟z信號，后3處突變?yōu)閮?nèi)部斷絲信號。將每處斷絲信號分割為包含1 024個數(shù)據(jù)點的數(shù)據(jù)塊，再將每個數(shù)據(jù)塊轉(zhuǎn)換為大小為224×224的時頻圖像，以適用于預(yù)訓(xùn)練GoogLeNet網(wǎng)絡(luò)。通過復(fù)制原始圖像，將灰度時頻圖像擴展為3個圖像通道，這些處理后的圖像的格式為224×224×3。6種斷絲漏磁信號的轉(zhuǎn)換結(jié)果如圖8所示。

圖7 損傷信號Fig.7 The damage signal

圖8 漏磁信號頻譜圖Fig.8 The spectrums of the Magnetic flux leakage signals

試驗中共獲取600組內(nèi)外部斷絲的漏磁信號，轉(zhuǎn)換成600張時頻圖。將這些時頻圖作為目標(biāo)模型的輸入進(jìn)行訓(xùn)練，其中70%的數(shù)據(jù)集用于訓(xùn)練網(wǎng)絡(luò)，30%用于驗證，訓(xùn)練過程如圖9所示。圖9(a)為訓(xùn)練曲線，圖9(b)為損失。圖9中的橫坐標(biāo)為訓(xùn)練輪數(shù)，縱坐標(biāo)分別代表準(zhǔn)確率和損失大小?？梢钥闯觯S著訓(xùn)練輪數(shù)的增加，訓(xùn)練準(zhǔn)確率越來越高，訓(xùn)練損失越來越小。經(jīng)過12輪的訓(xùn)練最終達(dá)到了比較穩(wěn)定的效果，損失也降為最小，最終的準(zhǔn)確率為97.2%。

圖9 訓(xùn)練過程Fig.9 Training process

為了進(jìn)一步分析斷絲識別效果，使用混淆矩陣對分類結(jié)果進(jìn)行可視化，如圖10所示[20]?；煜仃嚨男写眍A(yù)測類，列代表實際類，對角線是正確的分類，非對角線是錯誤的分類，每個單元顯示分類的數(shù)量和百分比。從圖10可以看出，使用基于遷移學(xué)習(xí)的卷積網(wǎng)絡(luò)模型對6種內(nèi)外部斷絲的分類準(zhǔn)確率非常高，其中第3類、第5類和第6類故障的準(zhǔn)確率達(dá)到了100%。

圖10 基于遷移學(xué)習(xí)模型的混淆矩陣Fig.10 The confusion matrix of the model based on transfer learning

為了形成對比試驗，將斷絲定量識別中常用的BP神經(jīng)網(wǎng)絡(luò)方法作為對比。人工提取漏磁信號的波寬、波峰、波形下面積等特征，作為網(wǎng)絡(luò)的輸入向量，6種內(nèi)外部斷絲為輸出向量。利用BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練和分類。同樣的70%的數(shù)據(jù)用于訓(xùn)練，30%數(shù)據(jù)用于驗證，由BP網(wǎng)絡(luò)分類結(jié)果得到的混淆矩陣如圖11所示?？梢钥闯?，使用BP網(wǎng)絡(luò)的斷絲分類準(zhǔn)確率相對較低，整體準(zhǔn)確率只有83.3%。其中第2類斷絲故障的分類準(zhǔn)確率最低，只有58.1%。從混淆矩陣中可以看出，第2類故障和第3類故障發(fā)生了嚴(yán)重的混淆。相對于傳統(tǒng)的BP網(wǎng)絡(luò)，基于遷移學(xué)習(xí)的深度卷積模型在鋼絲繩斷絲識別和分類中展現(xiàn)了更優(yōu)越的性能。

圖11 基于BP網(wǎng)絡(luò)的混淆矩陣Fig.11 The confusion matrix based on BP network

4 結(jié) 論

本文提出了一種基于遷移學(xué)習(xí)的鋼絲繩斷絲定量識別方法。對預(yù)訓(xùn)練網(wǎng)絡(luò)GoogLeNet進(jìn)行結(jié)構(gòu)遷移和參數(shù)微調(diào)得到目標(biāo)模型。通過連續(xù)小波變換將漏磁信號轉(zhuǎn)換成時頻圖作為目標(biāo)模型的輸入進(jìn)行分類，對鋼絲繩6類內(nèi)外部斷絲分類的準(zhǔn)確率達(dá)到了97.2%。

該方法本質(zhì)上是利用深度學(xué)習(xí)強大的特征提取能力來自動提取斷絲故障特征并進(jìn)行分類，省去了冗長的人工特征提取工作，同時避免了人工特征選擇的局限性。相對于傳統(tǒng)的BP網(wǎng)絡(luò)，基于遷移學(xué)習(xí)的深度卷積模型對鋼絲繩斷絲分類展現(xiàn)出了更優(yōu)越的性能。

Vol．41 No．12 2022