基于神經(jīng)網(wǎng)絡(luò)和模型遷移學(xué)習(xí)的不相關(guān)多源頻域載荷識別

陳德蕾，王 成+，曾 煜，李海波，賴雄鳴,陳葉旺

(1.華僑大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，福建 廈門 361021；2.廈門市企業(yè)互操作與商務(wù)智能工程技術(shù)研究中心,福建 廈門 361021；3.華僑大學(xué) 機(jī)電及自動化學(xué)院，福建 廈門 361021)

0 引言

動態(tài)載荷識別技術(shù)[1]在現(xiàn)代工程設(shè)計、可靠性試驗、振動控制等方面廣泛應(yīng)用。在工程實踐中，振動幅頻特性或振動響應(yīng)相對容易測量，而因為施加的力的作用即載荷激勵通常無法輕易得到，所以在某些條件下，如飛行中的導(dǎo)彈、海上平臺和受激勵情況影響的其他大型建筑物，激勵和振動系統(tǒng)的參量不易直接測出，往往需通過逆分析才能獲取相應(yīng)參數(shù)，如獲取系統(tǒng)載荷。載荷識別屬于第二類反問題，主要根據(jù)已知的一些系統(tǒng)特性來獲得載荷。對于載荷識別問題,由于識別過程的復(fù)雜性以及各種因素,如結(jié)構(gòu)系統(tǒng)的頻率域、測量精度、激勵類別等都會影響載荷識別效果，因此確定隨機(jī)動載荷并科學(xué)地制定相應(yīng)的載荷譜是工程設(shè)計中亟待解決的問題。

所謂反問題指的是通過一些觀測特征來求解內(nèi)部規(guī)律的問題[1]。在載荷識別中，需要通過實驗測得的響應(yīng)數(shù)據(jù)來反求未知載荷，因此求解反問題的方法通常被用來識別作用在工程結(jié)構(gòu)上的荷載[2]。載荷識別方法從方法域上可分為頻域法和時域法，頻域方法主要通過激勵與響應(yīng)之間的傳遞函數(shù)的逆運(yùn)算來實現(xiàn)。JOHN等[3]基于傳遞函數(shù)直接求逆法對載荷位置未知情況下的動態(tài)載荷進(jìn)行識別，并利用奇異值分解技術(shù)進(jìn)行矩陣求逆。然而，進(jìn)行逆運(yùn)算的過程中通常需要求解矩陣的廣義逆，并且經(jīng)常遇到系數(shù)矩陣求解和奇異值分解問題的不適定問題[4-5]。為克服逆頻率傳遞函數(shù)中固有頻率附近存在的不適定問題，姜金輝等[6]提出一種基于矩陣譜分解理想的多源相關(guān)隨機(jī)載荷識別方法，利用正則化算法并通過L曲線法設(shè)置正則化參數(shù)，提高載荷識別結(jié)果的準(zhǔn)確性;WANG[7]利用多個載荷源的不相關(guān)解耦頻域載荷識別方程，提出一種基于頻域最小二乘的不相關(guān)多源載荷識別方法，使用廣義矩陣逆方法的最小二乘法將多目標(biāo)優(yōu)化問題轉(zhuǎn)化為單目標(biāo)優(yōu)化問題;LIU等[8]提出一種基于蓋根堡多項式展開理論及正則化的隨機(jī)結(jié)構(gòu)動力荷載識別方法，通過蓋根堡多項式展開理論將隨機(jī)結(jié)構(gòu)的荷載識別問題轉(zhuǎn)化為等效確定性系統(tǒng)，并采用改進(jìn)的正則化算子克服了載荷識別問題的不適定性。針對實際工程中由測量誤差產(chǎn)生的噪聲引起的不適定問題，CHEN等[9]提出一種基于截斷廣義奇異值分解法的橋面響應(yīng)動載荷識別方法，該方法旨在得到一個可接受的解，并使噪聲對不適定問題的擾動不敏感;JIA等[10]提出一種基于加權(quán)總體最小二乘來識別隨機(jī)動態(tài)載荷，該方法通過加權(quán)全最小二乘法來減小噪聲的影響，提高隨機(jī)動態(tài)載荷識別的精度。為克服諧振頻率下不相關(guān)多源頻域載荷識別的經(jīng)典最小二乘廣義方法的不適定逆問題，WANG等[11]提出一種基于改進(jìn)Tikhonov正則化算子的正則化方法,該方法不需要大量的實驗數(shù)據(jù)用于訓(xùn)練，且與神經(jīng)網(wǎng)絡(luò)相比需要的參數(shù)數(shù)量更少，運(yùn)行時間更短;WANG等[12]提出一種基于新型分?jǐn)?shù)階Tikhonov正則化的載荷識別方法，通過將原問題變成無約束優(yōu)化問題，并利用超記憶梯度法進(jìn)行求解;CHEN等[13]提出一種基于預(yù)處理最小二乘QR分解法的動載荷識別方法，該方法對不適定問題具有較強(qiáng)的魯棒性，比傳統(tǒng)的時域方法具有更高的識別精度。神經(jīng)網(wǎng)絡(luò)在解決回歸問題上有很好的效果，因此在載荷識別方面也有相關(guān)研究，CAO等[14]提出使用BP神經(jīng)網(wǎng)絡(luò)建立動載荷和響應(yīng)之間的關(guān)系模型，但是該模型容易陷入局部最優(yōu)，需要取得一個較好的神經(jīng)網(wǎng)絡(luò)初始權(quán)重才能得到較好的結(jié)果;WANG等[15]提出一種基于多神經(jīng)網(wǎng)絡(luò)和證據(jù)理論的載荷識別方法，綜合兩種數(shù)據(jù)融合方法的優(yōu)點和缺點，結(jié)合振動數(shù)據(jù)、電流數(shù)據(jù)和液壓缸數(shù)據(jù)，實時獲取掘進(jìn)機(jī)的動載荷;王琿瑋等[16]提出一種基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的彈體結(jié)構(gòu)載荷識別方法，該方法可以有效解決BP神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)解的問題，且具有更快的收斂速度和更高的識別精度;ZHOU等[17]提出一種利用深度遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)對非線性結(jié)構(gòu)載荷進(jìn)行識別的新方法，該方法即使在沖擊位置未知的情況下，也具有識別復(fù)雜沖擊載荷的能力，同時該模型識別精度對超參數(shù)和傳感器的放置方案均不敏感。

隨著深度學(xué)習(xí)的廣泛應(yīng)用，更多更深的神經(jīng)網(wǎng)絡(luò)框架被提出。這些深度學(xué)習(xí)框架能夠有效提升模型在數(shù)據(jù)上的表現(xiàn)，但要建立在花費(fèi)更多時間和計算資源的基礎(chǔ)上，因此基于神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)框架應(yīng)運(yùn)而生。考慮到某些數(shù)據(jù)或任務(wù)是相關(guān)的，遷移學(xué)習(xí)可以通過將相關(guān)任務(wù)模型的參數(shù)共享給目標(biāo)任務(wù)模型來加速和優(yōu)化模型訓(xùn)練，而不用像大多數(shù)網(wǎng)絡(luò)那樣從頭開始訓(xùn)練。為了從不同分布的數(shù)據(jù)中訓(xùn)練出高質(zhì)量的分類器，DAI等[18]提出一種基于實例的TrAdaBoost轉(zhuǎn)移學(xué)習(xí)算法，該算法利用訓(xùn)練數(shù)據(jù)從不同分布的數(shù)據(jù)中選擇有用的部分，以降低分類錯誤率。為解決遷移學(xué)習(xí)中的領(lǐng)域自適應(yīng)問題，LONG等[19]提出了深度自適應(yīng)網(wǎng)絡(luò)，將深度卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展到領(lǐng)域自適應(yīng)；CAO等[20]提出了基于選擇性對抗網(wǎng)絡(luò)(Selective Adversarial Networks, SAN)的部分遷移學(xué)習(xí)，它只傳輸源域中與目標(biāo)域相關(guān)的部分樣本，然后通過SAN處理部分遷移學(xué)習(xí)問題，由于對抗性網(wǎng)絡(luò)能夠很好地學(xué)習(xí)領(lǐng)域不變性特征，在遷移學(xué)習(xí)中具有重要的作用;PANAREDA等[21]提出了開放集域自適應(yīng)方法，它們利用源域和目標(biāo)域之間的關(guān)系來標(biāo)記目標(biāo)域的樣本，并將源域轉(zhuǎn)換為與目標(biāo)域相同的空間，最后對目標(biāo)域的樣本進(jìn)行分類。

基于以上研究，為了解決使用神經(jīng)網(wǎng)絡(luò)進(jìn)行載荷識別存在的訓(xùn)練效率低時間長、低精度的問題，本文提出基于神經(jīng)網(wǎng)絡(luò)和模型遷移學(xué)習(xí)的不相關(guān)多源頻域載荷識別方法。對比直接使用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過遷移學(xué)習(xí)得到的神經(jīng)網(wǎng)絡(luò)多源載荷識別模型能夠得到較好的神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)重，有效減少訓(xùn)練時間，且識別精度更高。

1 方法介紹

1.1 線性系統(tǒng)不相關(guān)多源頻域載荷識別的理論基礎(chǔ)

在多激勵和多響應(yīng)系統(tǒng)中，通過激勵可以得到線性時不變系統(tǒng)的振動響應(yīng)數(shù)據(jù)，即將系統(tǒng)的多源載荷作為輸入，響應(yīng)作為輸出[7]，并且可以利用傳遞函數(shù)對系統(tǒng)進(jìn)行求解，如圖1所示。

在該模型中,頻率ω下m個不相關(guān)多源載荷[f1(ω),f2(ω),…,fi(ω)…,fm(ω)]作為輸入，n個系統(tǒng)的響應(yīng)數(shù)據(jù)[y1(ω),y2(ω),…,yj(ω)…,yn(ω)]作為輸出,響應(yīng)與不相關(guān)多源載荷的關(guān)系如式(1)所示：

(1)

式中：ω表示頻率;Syjyj(ω)表示響應(yīng)點yj(j=1,2,…,n1)的自功率譜;Sfifi(ω)表示不相關(guān)多源載荷fi(ω)(i=1,2,…,m)的自功率譜;|Hj,i(ω)|表示對應(yīng)著載荷fi(ω)到響應(yīng)yj(ω)在對應(yīng)頻率處的傳遞函數(shù)的模。

記

B(ω)=

則式(1)可以表示為：

(2)

在n≥m的情況下，通過最小二乘廣義逆法可以得到不相關(guān)多源載荷的自功率譜的估計為：

(3)

由式(3)可知，多點振動響應(yīng)的自功率譜與不相關(guān)多源載荷的自功率譜之間存在線性關(guān)系，因此可以利用它們之間的傳遞函數(shù)和最小二乘廣義逆法進(jìn)行求解。

1.2 基于多輸入多輸出神經(jīng)網(wǎng)絡(luò)的不相關(guān)多源頻域載荷識別及其存在的問題

式(1)中的系統(tǒng)頻域傳遞函數(shù)Hj,i(ω)i=1,2,…,m,j=1,2,…,n難以獲取的情況下，可以采用數(shù)據(jù)驅(qū)動和多重多元回歸分析的方法對系統(tǒng)輸入的振動響應(yīng)進(jìn)行回歸分析，從而得到系統(tǒng)的不相關(guān)多源頻域載荷。

由于前饋型(Back Propagation, BP)神經(jīng)網(wǎng)絡(luò)在理論上可以擬合任何閉區(qū)間的連續(xù)函數(shù)[22]，在現(xiàn)有的很多回歸預(yù)測問題中得到廣泛的應(yīng)用。多輸入多輸出神經(jīng)網(wǎng)絡(luò)模型是多重多元回歸預(yù)測模型的一種實現(xiàn)，為每個頻率點單獨建立一個神經(jīng)網(wǎng)絡(luò)，利用多點振動響應(yīng)數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，不相關(guān)多源載荷作為神經(jīng)網(wǎng)絡(luò)的輸出，并利用歷史數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用實測載荷與網(wǎng)絡(luò)輸出的誤差來更新網(wǎng)絡(luò)權(quán)值。神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練結(jié)束后，利用測試集進(jìn)行測試，進(jìn)而對模型進(jìn)行精度評價。

由于不相關(guān)多源頻域載荷識別中存在多個頻率點，需要為每個頻率點建立一個多輸入多輸出的神經(jīng)網(wǎng)絡(luò)模型，用于該頻率點的不相關(guān)多源頻域載荷識別。如果每個頻率點的多輸入多輸出的神經(jīng)網(wǎng)絡(luò)模型是獨立訓(xùn)練的，會造成模型訓(xùn)練效率大大降低。而且在小樣本訓(xùn)練數(shù)據(jù)集的實驗中，神經(jīng)網(wǎng)絡(luò)模型往往表現(xiàn)不佳。

1.3 基于多輸入多輸出神經(jīng)網(wǎng)絡(luò)和模型遷移學(xué)習(xí)的不相關(guān)多源頻域載荷識別

由于神經(jīng)網(wǎng)絡(luò)模型的上述問題，在載荷識別的神經(jīng)網(wǎng)絡(luò)模型中引入模型遷移學(xué)習(xí)，提升訓(xùn)練效率。遷移學(xué)習(xí)大致可以分為基于樣本遷移、特征遷移、模型遷移、關(guān)系遷移4種方法[23]。目前，基于模型的遷移學(xué)習(xí)方法大部分是與深度神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合，通過對現(xiàn)有的一些神經(jīng)網(wǎng)絡(luò)的參數(shù)或結(jié)構(gòu)進(jìn)行微調(diào)，并加入與目標(biāo)域相適應(yīng)的更改使網(wǎng)絡(luò)能夠與目標(biāo)任務(wù)適配，最后對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。比較著名的基于ImageNet的圖片分類任務(wù)[24]，可以根據(jù)Google訓(xùn)練好的Inception_v3深度學(xué)習(xí)模型遷移到自己的圖片分類任務(wù)中，用目標(biāo)任務(wù)的少量數(shù)據(jù)進(jìn)行Fine-tuning,訓(xùn)練出自己的模型。

雖然不同頻率的樣本特征空間相同，并且識別任務(wù)均為頻域不相關(guān)載荷識別，但是不同頻率下的數(shù)據(jù)概率分布存在差異，而這種差異導(dǎo)致無法對不同頻率的模型直接進(jìn)行重用。但它們之間的概率分布存在一定的重疊，說明相鄰頻率點的載荷與響應(yīng)之間的關(guān)系存在一定的相似性，使得遷移學(xué)習(xí)的引入成為可能。與本文研究相類似的研究如SHI等[25]用不同物體的目標(biāo)識別任務(wù)的數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)；DING等[26]將中波紅外的數(shù)據(jù)知識遷移到長波紅外的模型中；LISANTI等[27]提取單人圖像中的知識，并將圖像中的知識遷移到多人圖像的任務(wù)中。因此，本研究在載荷識別的神經(jīng)網(wǎng)絡(luò)模型中引入遷移學(xué)習(xí)，對不同模型進(jìn)行重用，進(jìn)而提升訓(xùn)練效率。本文主要利用基于模型的遷移學(xué)習(xí)方法，在將輔助頻率下的神經(jīng)網(wǎng)絡(luò)載荷識別模型訓(xùn)練好的基礎(chǔ)上，將輔助頻率的神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)權(quán)值參數(shù)遷移到目標(biāo)頻率的神經(jīng)網(wǎng)絡(luò)模型中作為初值權(quán)重，然后用目標(biāo)函數(shù)的數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)，達(dá)到模型遷移的目的?；谏窠?jīng)網(wǎng)絡(luò)和模型遷移學(xué)習(xí)的不相關(guān)多源頻域載荷識別模型如圖3所示。

基于多輸入多輸出神經(jīng)網(wǎng)絡(luò)和模型遷移學(xué)習(xí)的不相關(guān)多源頻域載荷識別模型的流程如圖4所示，訓(xùn)練步驟如下：

步驟1在頻率點ω=1建立一個多輸入多輸出神經(jīng)網(wǎng)絡(luò)模型，利用歷史多點振動響應(yīng)多源載荷數(shù)據(jù)對該神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，建立該頻率點下的神經(jīng)網(wǎng)絡(luò)多源載荷預(yù)測模型。

步驟2為避免神經(jīng)網(wǎng)絡(luò)從頭開始訓(xùn)練，通過遷移學(xué)習(xí)遷移該頻域下已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型參數(shù)到相鄰ω+1頻率的神經(jīng)網(wǎng)絡(luò)中。

步驟3利用相鄰ω+1頻率的歷史數(shù)據(jù)對從步驟2得到的神經(jīng)網(wǎng)絡(luò)模型參數(shù)進(jìn)行微調(diào)訓(xùn)練，從而得到相鄰頻率的神經(jīng)網(wǎng)絡(luò)載荷識別模型。

步驟4判斷ω<Ω,即判斷所有頻率的神經(jīng)網(wǎng)絡(luò)載荷識別模型是否都已經(jīng)建立完成，建立完成則結(jié)束；否則ω=ω+1，轉(zhuǎn)步驟2。

2 實驗驗證結(jié)果與分析

為了驗證模型遷移學(xué)習(xí)對基于多輸入多輸出神經(jīng)網(wǎng)絡(luò)的不相關(guān)多源載荷識別模型的有效性，本文將未加入模型遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型與加入模型遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)多源載荷識別模型進(jìn)行對比，并在精度上與傳統(tǒng)多元一次線性回歸模型及最小二乘廣義逆和傳遞函數(shù)多源載荷識別模型進(jìn)行對比。

2.1 實驗裝置和數(shù)據(jù)集及其預(yù)處理介紹

本文的實驗裝置是固定在振動臺上并懸掛在彈性橡皮繩上的圓柱形結(jié)構(gòu)[28]。在圓柱殼的內(nèi)部與外部分別存在一個球形噪聲激勵裝置和一個懸掛式振動激勵裝置，其中振動激勵裝置包括記錄振動激勵、記錄外部聲激勵和記錄內(nèi)部裝置振動響應(yīng)的傳感器。內(nèi)部的聲激勵和外部的振動激勵分別有3個量級和5個量級，因此本實驗共能收集到P=15組多源載荷聯(lián)合激勵數(shù)據(jù)。本文有兩個激勵源，因此載荷的預(yù)測輸出m=2個。在圓柱殼上共有n=18個響應(yīng)測點，其位置分布如圖5和圖6所示。

本文采集到的數(shù)據(jù)為時域的振動響應(yīng)數(shù)據(jù)，因此需要通過快速傅里葉變換將時域數(shù)據(jù)轉(zhuǎn)換到頻域數(shù)據(jù)。變換后得到0 Hz～6 400 Hz、頻率間隔為4 Hz的Ω=1 601個頻率點數(shù)據(jù)。

由于不同頻域下其載荷數(shù)據(jù)的數(shù)量級差距較大，會對神經(jīng)網(wǎng)絡(luò)計算損失時產(chǎn)生數(shù)量級的偏差。如第一個載荷真實值為2×10e-4，其預(yù)測值為2×10e-3，MAE值為1.8×10e-3，另一個載荷真實值為2×10e-3，其預(yù)測值為3×10e-3，MAE值為10e-3。雖然在誤差計算時兩個載荷的誤差數(shù)量級相同、相差不多，但從工程上來說，第一個載荷的誤差是不能滿足工程上的需求的。因此，本文將載荷數(shù)據(jù)通過對數(shù)變換式(4)，使不同數(shù)量級的載荷數(shù)據(jù)變換在同一個數(shù)量級下,從而降低相對誤差。

fnew(ω)=log10f(ω)。

(4)

2.2 實驗評價方法與指標(biāo)

2.2.1 實驗評價方法

本文采用留一交叉驗證法對實驗結(jié)果進(jìn)行驗證。留一交叉驗證法每次取1組作為測試集，其余14組作為訓(xùn)練集，直到所有組均作為過測試集。最后取所有結(jié)果的平均值作為模型度量的估計。

2.2.2 實驗評價指標(biāo)

(5)

對于每一個頻率ω，若預(yù)測的載荷和真實的載荷不滿足式(5)，則該載荷標(biāo)記為該頻率下的3 dB誤差載荷，所有不滿足標(biāo)準(zhǔn)的載荷數(shù)據(jù)與所有預(yù)測載荷的比值即為該模型的3 dB超差率。

2.3 實驗參數(shù)設(shè)置

神經(jīng)網(wǎng)絡(luò)的超參數(shù)較多，且往往決定了模型結(jié)果的好壞。因此，超參數(shù)的設(shè)定至關(guān)重要。本文采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包含1個輸入層、1個輸出層、3個隱藏層，分別為128，64，64個全連接神經(jīng)單元，如圖7所示。

由于是對線性系統(tǒng)進(jìn)行預(yù)測，在本文中隱藏層選用非線性擬合能力較弱的Relu作為激活函數(shù)。Relu公式如下：

(6)

式中：g(·)為激活函數(shù);x為激活函數(shù)輸入值。

誤差函數(shù)選用對異常點較不敏感的平均絕對誤差(MAE)。MAE公式如下：

(7)

mt=β1mt-1+(1-β1)gt,

(8)

2.4 實驗結(jié)果

在相同網(wǎng)絡(luò)超參數(shù)但不同訓(xùn)練輪數(shù)(遷移學(xué)習(xí)+神經(jīng)網(wǎng)絡(luò)：20輪；神經(jīng)網(wǎng)絡(luò)：50輪)的條件下，基于神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型與加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)多源載荷識別模型以及最小二乘的多源載荷識別模型在3 dB誤差和在訓(xùn)練時間上的對比如表1所示；在頻率ω=4 Hz下，神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型與加入遷移學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型的前50輪學(xué)習(xí)效率比較如圖8所示(原始神經(jīng)網(wǎng)絡(luò)模型在最低損失0.233 2在第48輪取得,加入遷移學(xué)習(xí)后最低損失0.228 9在第11輪取得)；在相同網(wǎng)絡(luò)超參數(shù)與相同訓(xùn)練輪數(shù)20的條件下，基于神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型與加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)多源載荷識別模型的3 dB誤差對比如表2所示。為了更直觀地表示載荷識別的效果，圖9所示為第8組預(yù)測載荷和實際載荷的對比圖，圖10所示為第8組預(yù)測載荷和實際載荷的3 dB超差圖。

表1 基于神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)載荷識別模型與基于神經(jīng)網(wǎng)絡(luò)的載荷識別模型及其他傳統(tǒng)載荷識別方法的對比表

表2 基于神經(jīng)網(wǎng)絡(luò)的載荷識別模型與加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)載荷識別模型的對比表

2.5 實驗結(jié)果分析

從表1可以發(fā)現(xiàn)，單純的神經(jīng)網(wǎng)絡(luò)模型較傳統(tǒng)模型在本實驗的小樣本數(shù)據(jù)的表現(xiàn)并不理想，且由于神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)參數(shù)多，導(dǎo)致每次訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù)均會花費(fèi)大量時間，遠(yuǎn)遠(yuǎn)不如多元一次線性回歸模型和傳遞函數(shù)和最小二乘廣義逆模型的訓(xùn)練效率。但是在相同的網(wǎng)絡(luò)超參數(shù)(除訓(xùn)練輪數(shù))情況下，加入遷移學(xué)習(xí)的載荷識別的神經(jīng)網(wǎng)絡(luò)模型可以在保證精度的基礎(chǔ)上大大縮短訓(xùn)練時間，從每組2096.44 s的訓(xùn)練時間提升到每組457.26 s的訓(xùn)練時間，但由于神經(jīng)網(wǎng)絡(luò)的性質(zhì)，即使在加入遷移學(xué)習(xí)后，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率仍不如多元一次線性回歸模型和利用傳遞函數(shù)的最小二乘廣義逆模型。

由表1可知，不論是從平均誤差結(jié)果還是最好誤差結(jié)果上看，神經(jīng)網(wǎng)絡(luò)+遷移學(xué)習(xí)的模型同單純的神經(jīng)網(wǎng)絡(luò)模型、傳遞函數(shù)和最小二乘廣義逆模型及多元一次線性回歸模型相比較，其3 dB超差率也相對較低。因為基于神經(jīng)網(wǎng)絡(luò)的載荷識別模型中不存在矩陣求逆，所以不存在傳統(tǒng)的傳遞函數(shù)和最小二乘廣義逆模型、多元一次線性回歸模型的不適定性問題[7,11]，但是單純的神經(jīng)網(wǎng)絡(luò)模型在本實驗的小樣本數(shù)據(jù)的精度并不理想，而遷移學(xué)習(xí)的加入緩解了小樣本問題，大大提升了神經(jīng)網(wǎng)絡(luò)載荷識別模型的精度。

由圖8可以發(fā)現(xiàn)，加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型的訓(xùn)練初始誤差0.95左右，神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型的訓(xùn)練初始誤差在2.4左右，說明加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型權(quán)重的初值較好，也從側(cè)面反映了遷移學(xué)習(xí)對于神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型的有效性；而且加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型在第5輪訓(xùn)練的時候收斂到比較好的誤差，神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型在21輪訓(xùn)練的時候收斂到比較好的誤差，可以發(fā)現(xiàn)加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型收斂速度明顯快于神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型，而且在前50輪訓(xùn)練內(nèi)可以以更低的訓(xùn)練輪數(shù)達(dá)到更高的精度。并且從表2可以發(fā)現(xiàn)，在相同網(wǎng)絡(luò)超參數(shù)及訓(xùn)練輪數(shù)的情況下，加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型的預(yù)測指標(biāo)也遠(yuǎn)遠(yuǎn)超過未加入遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型。

由圖9和圖10以及表1可以看出，基于遷移學(xué)習(xí)的多輸入多輸出神經(jīng)網(wǎng)絡(luò)的不相關(guān)多源載荷識別模型在3 dB超差率的指標(biāo)上平均達(dá)到6.8%,4.6%的精度，預(yù)測載荷與實際載荷十分接近，基本符合工程要求。

綜合上述分析，遷移學(xué)習(xí)能夠取得較好的神經(jīng)網(wǎng)絡(luò)模型的初值權(quán)重，顯著提高基于多輸入多輸出神經(jīng)網(wǎng)絡(luò)的不相關(guān)多源載荷識別模型的訓(xùn)練效率，提升模型精度，且該模型能夠滿足工程上的需求。

3 結(jié)束語

本文針對基于神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型訓(xùn)練效率低、時間長和精度低的問題，利用頻域下相鄰頻率間關(guān)系相似的特點，提出了基于神經(jīng)網(wǎng)絡(luò)和模型遷移學(xué)習(xí)的多源載荷識別模型，并通過實驗驗證了該算法的有效性。該算法能夠取得較好的神經(jīng)網(wǎng)絡(luò)模型的初值權(quán)重，有效提高訓(xùn)練效率，提升實驗精度。在算例中，對比基于神經(jīng)網(wǎng)絡(luò)的多源載荷識別模型，基于神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的多源載荷識別模型的訓(xùn)練效率提升了5倍；而且基于神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的多源載荷識別模型中兩個載荷的3 dB識別超差率最低能達(dá)到1.7%,1.3%遠(yuǎn)遠(yuǎn)優(yōu)于傳遞函數(shù)和最小二乘廣義逆的多源載荷識別模型的6.1%,3.2%；神經(jīng)網(wǎng)絡(luò)模型結(jié)果的好壞往往取決于神經(jīng)網(wǎng)絡(luò)權(quán)重初值的設(shè)定，加入遷移學(xué)習(xí)，可以使神經(jīng)網(wǎng)絡(luò)模型的權(quán)重初值均在一個較好的范圍，從而有效提高識別精度。但基于神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的多源載荷識別模型仍然存在以下問題：

(1)神經(jīng)網(wǎng)絡(luò)的超參數(shù)較多，較難尋找到好的超參數(shù)；

(2)神經(jīng)網(wǎng)絡(luò)模型的結(jié)果存在不確定性，容易波動；

(3)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效率同一些線性回歸模型相比仍然差距較大。

另外，本文實驗驗證采用的是線性系統(tǒng)，沒有充分發(fā)揮神經(jīng)網(wǎng)絡(luò)對非線性函數(shù)擬合的能力，因此需要進(jìn)一步在強(qiáng)非線性系統(tǒng)上進(jìn)行驗證。