基于半監(jiān)督遷移學(xué)習(xí)的軸承故障診斷方法

張振良， 劉君強(qiáng)， 黃亮， 張曦

(南京航空航天大學(xué)民航學(xué)院， 南京 211106)

在航空發(fā)動(dòng)機(jī)的故障預(yù)測(cè)中，由于其系統(tǒng)復(fù)雜，長(zhǎng)時(shí)間處于高溫度、高速度等困難環(huán)境下，不僅部件更易損壞，而且故障的預(yù)測(cè)也更為困難?，F(xiàn)有的軸承故障預(yù)測(cè)方法大多選擇在實(shí)驗(yàn)狀態(tài)下測(cè)試，數(shù)據(jù)都在低負(fù)載、低速度以及常溫常壓下采集，對(duì)比發(fā)動(dòng)機(jī)內(nèi)環(huán)境過(guò)于溫和，而在發(fā)動(dòng)機(jī)內(nèi)部的軸承振動(dòng)數(shù)據(jù)又面臨具體故障的已標(biāo)記樣本獲取難度大以及過(guò)擬合等問(wèn)題。

在基于神經(jīng)網(wǎng)絡(luò)的軸承故障預(yù)測(cè)領(lǐng)域中，機(jī)器學(xué)習(xí)一直面臨著可用樣本不足、過(guò)擬合等問(wèn)題，大多數(shù)情況下，標(biāo)簽數(shù)據(jù)的獲取成本很高，而未標(biāo)記的數(shù)據(jù)則很容易獲得而且數(shù)量更多。基于這個(gè)原因，半監(jiān)督學(xué)習(xí)(Semi-Supervised Learning, SSL)獲得了越來(lái)越多的關(guān)注，其致力于從未標(biāo)記樣本中獲得信息，尋找大量的未標(biāo)記數(shù)據(jù)中的規(guī)律，再利用少部分已標(biāo)記數(shù)據(jù)的信息，做出預(yù)測(cè)。大多數(shù)現(xiàn)有的半監(jiān)督學(xué)習(xí)技術(shù)主要是在未標(biāo)記數(shù)據(jù)的信息獲取方式上加以區(qū)別。半監(jiān)督學(xué)習(xí)方法中，少量的有標(biāo)記樣本其實(shí)是訓(xùn)練學(xué)習(xí)的核心，過(guò)擬合的效果很難消除，同時(shí)隨著信息的增加，新增的未標(biāo)記樣本也未必嚴(yán)格與已標(biāo)記樣本同分布。

知識(shí)遷移就是一種能夠打破同分布樣本的假設(shè)，極大地增加機(jī)器學(xué)習(xí)的跨領(lǐng)域能力，提取更多的樣本用于訓(xùn)練。而并非所有的遷移都會(huì)提升預(yù)測(cè)效果，無(wú)價(jià)值或不相關(guān)的信息的遷入只會(huì)造成預(yù)測(cè)效果大打折扣。

房曉南[1]提出了半監(jiān)督框架下的自標(biāo)記技術(shù)和多學(xué)習(xí)器模型的結(jié)合方法，來(lái)解決欠標(biāo)記且不平衡的垃圾網(wǎng)頁(yè)數(shù)據(jù)集分類(lèi)問(wèn)題,是解決只有少量標(biāo)記且類(lèi)不平衡數(shù)據(jù)集分類(lèi)問(wèn)題的一個(gè)有效策略。楊印衛(wèi)[2]選取了支持向量機(jī)(SVM)、隱馬爾可夫模型(HMM)以及徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)這3個(gè)單學(xué)習(xí)器作為異構(gòu)集成學(xué)習(xí)模型的基分器，同時(shí)采用了majority voting和stacking兩種集成結(jié)果整合策略來(lái)選擇最優(yōu)組合，證明異構(gòu)集成學(xué)習(xí)模型的泛化能力相比于以往單分類(lèi)模型得到了改善，同時(shí)模型復(fù)雜度降低。張偉[3]利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)識(shí)別振動(dòng)信號(hào)的時(shí)域圖，引入了自適應(yīng)批量歸一化算法，取得了良好的變負(fù)載自適應(yīng)性能。

郭勇[4]給出了一種基于簡(jiǎn)單投票制的樣本遷移學(xué)習(xí)方法，有效提高了目標(biāo)領(lǐng)域預(yù)測(cè)學(xué)習(xí)器的分類(lèi)效果。對(duì) TrAdaBoost 算法進(jìn)行了權(quán)值更新策略方面的改進(jìn)，解決了 TrAdaBoost 算法源領(lǐng)域與目標(biāo)領(lǐng)域樣本權(quán)值之間易出現(xiàn)的兩極分化問(wèn)題。然后以基于遷移成分分析(Transfer Component Analysis,TCA)的域匹配算法為基礎(chǔ)，對(duì)其進(jìn)行了歸納式擴(kuò)展，并結(jié)合聚類(lèi)算法對(duì)源領(lǐng)域數(shù)據(jù)集數(shù)據(jù)分布作進(jìn)一步修正。

上述算法并未同時(shí)解決負(fù)遷移以及過(guò)擬合的問(wèn)題，基于此，本文采用基于遷移學(xué)習(xí)的半監(jiān)督集成算法，利用高相似度樣本的遷移提高半監(jiān)督學(xué)習(xí)的精度，同時(shí)利用半監(jiān)督算法篩選遷移學(xué)習(xí)的高相似度樣本，最大限度地防止負(fù)遷移的發(fā)生。

1 機(jī)器學(xué)習(xí)

1.1 半監(jiān)督學(xué)習(xí)

在半監(jiān)督的發(fā)展中，最早提出的是自訓(xùn)練以及直推學(xué)習(xí)，但訓(xùn)練出的學(xué)習(xí)器魯棒性極差，然后是協(xié)同訓(xùn)練算法，這種算法的一個(gè)主要困難是它需要2個(gè)完全獨(dú)立的視圖，在大多數(shù)的學(xué)習(xí)問(wèn)題中很難滿(mǎn)足這一要求。此外，在協(xié)同訓(xùn)練中，值得信賴(lài)的樣本的估計(jì)是通過(guò)交叉驗(yàn)證進(jìn)行的，這是一個(gè)耗時(shí)的過(guò)程。為了克服這些困難，Zhou和Li[5]提出了三重訓(xùn)練算法， 三重訓(xùn)練的思想是訓(xùn)練3個(gè)訓(xùn)練集，依此3個(gè)訓(xùn)練集生成3個(gè)學(xué)習(xí)器，而且無(wú)需滿(mǎn)足苛刻的獨(dú)立條件，然后使用其他2個(gè)學(xué)習(xí)器同意的未標(biāo)記數(shù)據(jù)對(duì)另一個(gè)學(xué)習(xí)器進(jìn)行改進(jìn)，由于未標(biāo)記數(shù)據(jù)的分類(lèi)誤差估計(jì)比較困難，因此，在未標(biāo)記數(shù)據(jù)與標(biāo)記數(shù)據(jù)具有相同分布的前提下，僅對(duì)標(biāo)記數(shù)據(jù)進(jìn)行分類(lèi)誤差估計(jì)。3次訓(xùn)練過(guò)程的訓(xùn)練一直持續(xù)到誤差停止減小為止，這意味著已經(jīng)達(dá)到了最大的泛化效果。在一定的理論證明限制下，將一致的未標(biāo)記樣本逐步加入到標(biāo)記數(shù)據(jù)中，用于細(xì)化相應(yīng)的學(xué)習(xí)器，直到?jīng)]有一個(gè)學(xué)習(xí)器的預(yù)測(cè)誤差進(jìn)一步減小，一旦訓(xùn)練過(guò)程完成，就可以用2個(gè)或多個(gè)成員學(xué)習(xí)器一致同意的標(biāo)簽來(lái)預(yù)測(cè)未標(biāo)記或看不見(jiàn)的數(shù)據(jù)[6]。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)的目的在于將已有的知識(shí)恰當(dāng)?shù)匾氲叫骂I(lǐng)域中，使機(jī)器能夠獲得“舉一反三”的能力[7]。本文將源領(lǐng)域DS定義為“一”，將目標(biāo)領(lǐng)域DT定義為“三”，也就是將DS的學(xué)習(xí)經(jīng)驗(yàn)遷移到DT中來(lái)。其中遷移的有效性很大程度上依賴(lài)于領(lǐng)域間的相似程度，當(dāng)相差過(guò)大時(shí)，就會(huì)發(fā)生負(fù)遷移，降低學(xué)習(xí)性能。遷移學(xué)習(xí)可以劃分為5類(lèi)：基于實(shí)例的遷移，基于參數(shù)的遷移，基于特征的遷移，給予相關(guān)知識(shí)的遷移以及基于模型的遷移。

1.3 基于強(qiáng)化學(xué)習(xí)的極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)(ELM)是一種神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)算法，采用基于有限集的局部逼近，收斂速度快，可以代替強(qiáng)化學(xué)習(xí)中Q值等于實(shí)現(xiàn)狀態(tài)動(dòng)作到Q值的映射。Q學(xué)習(xí)是強(qiáng)化學(xué)習(xí)的一種，在模型未知時(shí)通過(guò)估計(jì)Q值來(lái)實(shí)現(xiàn)目的[8]。

Q值函數(shù)更新公式為

Qt+1(st,at)=(1-η)Q(st,at)+

(1)

隨機(jī)設(shè)定輸入權(quán)值矩陣α以及偏置項(xiàng)β；計(jì)算隱含層輸出矩陣H，以及輸出量Q=Hw1，w1為權(quán)值向量，Q=[Q1，Q2,…,QL]T為對(duì)應(yīng)L個(gè)動(dòng)作的估計(jì)Q值向量，再通過(guò)廣義逆矩陣獲取權(quán)值w1。

1.4 集成學(xué)習(xí)

集成學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，最初，集成學(xué)習(xí)的提出是由于Schapire證明了多個(gè)弱學(xué)習(xí)器可以形成一個(gè)強(qiáng)學(xué)習(xí)器，集成學(xué)習(xí)的目的是通過(guò)組合多個(gè)學(xué)習(xí)器的輸出來(lái)構(gòu)造多個(gè)不同的學(xué)習(xí)器，如圖1所示[9]。所謂“集成”是專(zhuān)家的混合體，用以防止過(guò)度擬合以及減少所有基礎(chǔ)學(xué)習(xí)器的誤差，而如何結(jié)合多種學(xué)習(xí)器的輸出結(jié)果和提高基學(xué)習(xí)器的多樣性來(lái)提高學(xué)習(xí)器的精度是重點(diǎn)。為了提高集成的精度和穩(wěn)定性，人們開(kāi)發(fā)了不同的技術(shù)。這些技術(shù)因所使用的培訓(xùn)數(shù)據(jù)、所使用算法的類(lèi)型以及所遵循的組合方法而有所不同。所謂的異構(gòu)集成學(xué)習(xí)器就是構(gòu)造不同種類(lèi)的基學(xué)習(xí)器，然后進(jìn)行集成，多重訓(xùn)練的異構(gòu)集成學(xué)習(xí)器便是取多個(gè)基學(xué)習(xí)器分別訓(xùn)練學(xué)習(xí)，最后對(duì)所有預(yù)測(cè)結(jié)果進(jìn)行組合。

圖1 集成學(xué)習(xí)示意圖[9]Fig.1 Schematic diagram of integrated learning[9]

異構(gòu)集成學(xué)習(xí)器的關(guān)鍵是根據(jù)所有基學(xué)習(xí)器的預(yù)測(cè)來(lái)量化未標(biāo)記樣本的置信度，而精度也隨學(xué)習(xí)器的數(shù)量增加而增加，而且對(duì)所有的訓(xùn)練集以及算法沒(méi)有要求，避免了大量交叉驗(yàn)證。

2 基于遷移學(xué)習(xí)的支持向量機(jī)與極限學(xué)習(xí)機(jī)

2.1 基于遷移學(xué)習(xí)的支持向量機(jī)

一般來(lái)講基于SVM的遷移學(xué)習(xí)直接利用2個(gè)領(lǐng)域的數(shù)據(jù)構(gòu)建模型，但是面臨著目標(biāo)方程很難優(yōu)化的問(wèn)題，并且無(wú)法有效剔除源領(lǐng)域中的噪聲影響，隨著源領(lǐng)域數(shù)據(jù)的增多，算法復(fù)雜度將大大提高，由此本文提出篩選源領(lǐng)域相似度高的數(shù)據(jù)進(jìn)行遷移的SVM算法，思想如下：

源領(lǐng)域與目標(biāo)領(lǐng)域的高相似度勢(shì)必會(huì)導(dǎo)致2個(gè)分類(lèi)超平面過(guò)于接近，本文選取決定2個(gè)領(lǐng)域分類(lèi)超平面的支持向量來(lái)進(jìn)行篩選數(shù)據(jù)，從而最大程度降低負(fù)遷移的發(fā)生。源領(lǐng)域DS，以及目標(biāo)領(lǐng)域DT分別為

(2)

(3)

(4)

式中：k為目標(biāo)訓(xùn)練集個(gè)數(shù)。

具體步驟如下：

2) 將VS加入到源領(lǐng)域數(shù)據(jù)的已標(biāo)記數(shù)據(jù)中，將相似度函數(shù)考慮進(jìn)支持向量機(jī)的目標(biāo)函數(shù)中，構(gòu)造出如下新的優(yōu)化問(wèn)題：

(5)

式中：w為分類(lèi)超平面權(quán)值向量;b為偏置。

(6)

式中：M為已標(biāo)記樣本數(shù)量。

4) 求解上述問(wèn)題得到最優(yōu)解α*，以及最優(yōu)分類(lèi)平面權(quán)向量w*，b以及最終分類(lèi)函數(shù)f(x)如下，根據(jù)f(x)，得到最終學(xué)習(xí)器。

(7)

2.2 基于遷移學(xué)習(xí)的極限學(xué)習(xí)機(jī)

基于強(qiáng)化學(xué)習(xí)的遷移極限學(xué)習(xí)機(jī)通過(guò)貝葉斯理論計(jì)算目標(biāo)任務(wù)與源任務(wù)的相似度，依此衡量遷移的數(shù)量，繼續(xù)求出源任務(wù)各樣本屬于目標(biāo)樣本的概率并降序排列確定有效遷移樣本。

遷移學(xué)習(xí)的核心在于選擇合適的源任務(wù)添加進(jìn)訓(xùn)練集中[11]，本文通過(guò)計(jì)算源任務(wù)與目標(biāo)領(lǐng)域的相似度來(lái)對(duì)源任務(wù)目標(biāo)進(jìn)行排序篩選。具體方式如下。

具體步驟如下：

1) 執(zhí)行動(dòng)作ai，由式(8)和式(9)計(jì)算第K個(gè)源任務(wù)中第j個(gè)樣本與目標(biāo)任務(wù)中第i個(gè)樣本的狀態(tài)相似度以及回報(bào)相似度：

(8)

(9)

2) 計(jì)算第K個(gè)源任務(wù)中第j個(gè)樣本屬于目標(biāo)任務(wù)的概率：

(10)

式中：nT為從T個(gè)訓(xùn)練集中已遷移樣本數(shù)。

3) 獲取任務(wù)相似度，并且從每一個(gè)源任務(wù)中按照相似度排序選取(刪除“個(gè)”)樣本到目標(biāo)樣本集：

(11)

式中：χu為狀態(tài)回報(bào)相似度的匹配度。

4) 使用新的訓(xùn)練集對(duì)ELM進(jìn)行訓(xùn)練更新。

循環(huán)以上步驟直到達(dá)到最大迭代次數(shù)。

2.3 基于遷移學(xué)習(xí)的三重訓(xùn)練學(xué)習(xí)器

在Tri-Training的基礎(chǔ)上引入遷移學(xué)習(xí)，需要強(qiáng)學(xué)習(xí)器對(duì)源領(lǐng)域樣本進(jìn)行篩選，比較弱學(xué)習(xí)器選擇的樣本進(jìn)行迭代更新，通過(guò)判斷弱學(xué)習(xí)器選擇的樣本與上一輪是否一致來(lái)調(diào)整樣本權(quán)重以及對(duì)目標(biāo)任務(wù)學(xué)習(xí)的影響，這里不再贅述具體步驟[12]。

3 基于遷移學(xué)習(xí)的半監(jiān)督集成學(xué)習(xí)器

集成學(xué)習(xí)可以綜合多個(gè)基學(xué)習(xí)器的優(yōu)勢(shì)，這是其優(yōu)勢(shì)，但會(huì)因此集成到對(duì)結(jié)果有負(fù)面影響的基學(xué)習(xí)器，因此本文需要為基學(xué)習(xí)器設(shè)置權(quán)值，并根據(jù)錯(cuò)誤率實(shí)時(shí)更新權(quán)值最大限度地降低基學(xué)習(xí)器的負(fù)面作用。

根據(jù)圖2的學(xué)習(xí)器構(gòu)造方式，集成最終的學(xué)習(xí)器。

參考圖2，具體的步驟如下：

步驟1通過(guò)boosting方法將已標(biāo)記樣本L(xi，yi)構(gòu)造為具有差異性訓(xùn)練集的L1到L6，同樣的方法將未標(biāo)記樣本U(xj)構(gòu)造得到訓(xùn)練集U1到U3，定義目標(biāo)領(lǐng)域樣本集D1到D3。

步驟2根據(jù)訓(xùn)練集L1到L3分別訓(xùn)練得到基學(xué)習(xí)器SVM、ELM、Tri-training。再按照上述改進(jìn)的遷移學(xué)習(xí)算法通過(guò)訓(xùn)練集L2和D1、L4和D2、L6和D3分別獲得遷移學(xué)習(xí)的支持向量機(jī)(TSVM)、基于遷移學(xué)習(xí)的極限學(xué)習(xí)機(jī)(TELM)和基于遷移學(xué)習(xí)的三重訓(xùn)練學(xué)習(xí)器(TTri-training)。

步驟3將未標(biāo)記樣本U1通過(guò)SVM以及TSVM進(jìn)行識(shí)別，若兩學(xué)習(xí)器對(duì)樣本x1j判別結(jié)果相同都為y1j，則將樣本分類(lèi)結(jié)果(x1i，y1i)添加到L7中，同理將U2通過(guò)ELM以及TELM進(jìn)行識(shí)別，獲得已標(biāo)記樣本L8，同理獲得L9。

步驟4將L7、L1以及D1中遷移學(xué)習(xí)過(guò)程中認(rèn)可的目標(biāo)樣本共同訓(xùn)練得到半監(jiān)支持向量(Semi-supervised Support Vector Machines,SSVM)、半監(jiān)督極限學(xué)習(xí)器(Semi-supervised Extreme Learning Machine,SELM)以及半監(jiān)督三重訓(xùn)練學(xué)習(xí)器(Semi-supervised Triple training learning machine,STri-training)。

步驟5將U4(x4j)通過(guò)3個(gè)半監(jiān)督基學(xué)習(xí)器SSVM、SELM以及STri-training進(jìn)行識(shí)別，按照式(12)集成其識(shí)別結(jié)果，將集成結(jié)果加入到L10(x10k，y10k)中，將L10用于測(cè)試基學(xué)習(xí)器的錯(cuò)誤率εi，如式(13)，并以錯(cuò)誤率獲得基學(xué)習(xí)器權(quán)重ωi。

(12)

(13)

(14)

式中：H(y)為預(yù)測(cè)結(jié)果函數(shù);ωj為第j個(gè)半監(jiān)督集成學(xué)習(xí)器的權(quán)重，等于其2個(gè)同簇初始基學(xué)習(xí)器權(quán)重ωi相加;hik(x10k)為第i個(gè)初始基學(xué)習(xí)器對(duì)L10中第k個(gè)樣本的識(shí)別結(jié)果。

圖2 學(xué)習(xí)器構(gòu)造方式圖Fig.2 Learning device structure diagram

步驟6不斷調(diào)整學(xué)習(xí)器權(quán)重并實(shí)時(shí)記錄學(xué)習(xí)器誤差，直到權(quán)重以及誤差都穩(wěn)定得到穩(wěn)定的半監(jiān)督基學(xué)習(xí)器，并按照穩(wěn)定后的權(quán)值集成最終學(xué)習(xí)器。

在上述算法中，為便于理解，通過(guò)示意圖3闡述在上述步驟中使用的半監(jiān)督學(xué)習(xí)算法流程，圖4為T(mén)SVM的構(gòu)造方式，圖5為T(mén)ELM的構(gòu)造方式。其中集成算法的步驟可參考文獻(xiàn)[2]。

相比于其他算法，基于遷移學(xué)習(xí)的集成學(xué)習(xí)器的優(yōu)點(diǎn)有：

圖3 半監(jiān)督算法構(gòu)造示意圖Fig.3 Schematic diagram of semi-supervision algorithm construction

圖4 TSVM算法示意圖Fig.4 Schematic diagram of TSVM algorithm

圖5 TELM算法示意圖Fig.5 Schematic diagram of TELM algorithm

1) 提出改進(jìn)遷移學(xué)習(xí)器加入到基學(xué)習(xí)器中。

2) 利用改進(jìn)的遷移學(xué)習(xí)器提高半監(jiān)督學(xué)習(xí)的精度。

3) 利用半監(jiān)督學(xué)習(xí)調(diào)整遷移學(xué)習(xí)的效率。

4) 集成方式上可以在運(yùn)算中調(diào)整各學(xué)習(xí)器權(quán)值，進(jìn)行增量式學(xué)習(xí)，進(jìn)一步提升學(xué)習(xí)器性能。

4 仿真實(shí)例

為驗(yàn)證算法的有效性，本文在2個(gè)數(shù)據(jù)集中分別進(jìn)行實(shí)驗(yàn)。在字母識(shí)別數(shù)據(jù)集中，主要驗(yàn)證算法在分類(lèi)識(shí)別上的效果，量化半監(jiān)督學(xué)習(xí)方法與遷移學(xué)習(xí)方法間的相互影響，調(diào)整算法中的參數(shù)以及分析各基分類(lèi)器的精度變化。在發(fā)動(dòng)機(jī)軸承數(shù)據(jù)集中主要驗(yàn)證本文方法在軸承故障識(shí)別的效果，尋找最優(yōu)的遷移數(shù)據(jù)以及半監(jiān)督數(shù)據(jù)。

4.1 公共數(shù)據(jù)集實(shí)驗(yàn)

為了測(cè)試最終學(xué)習(xí)器的性能，本文在機(jī)器學(xué)習(xí)存儲(chǔ)庫(kù)(UCI)的字母識(shí)別數(shù)據(jù)集上進(jìn)行了模擬[13]。選取26個(gè)字母中A～E 個(gè)字母為源任務(wù)，選取F～N為目標(biāo)領(lǐng)域樣本，具體的樣本特征如表1所示。

實(shí)驗(yàn)采用RBF為基分類(lèi)算法，隱藏節(jié)點(diǎn)取20，每次實(shí)驗(yàn)做5次取其平均值，設(shè)定初始基學(xué)習(xí)器的權(quán)重都為1/6，已標(biāo)記樣本數(shù)量、未標(biāo)記樣本與遷移樣本比例為1∶4∶4。安排單純的半監(jiān)督神經(jīng)網(wǎng)絡(luò)以及基于遷移學(xué)習(xí)的學(xué)習(xí)器作為對(duì)比。

圖6為誤差穩(wěn)定后基學(xué)習(xí)器以及集成學(xué)習(xí)器的預(yù)測(cè)精度變化。從圖中可見(jiàn)，分類(lèi)效果經(jīng)過(guò)遷移學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)后有顯著的提升，無(wú)論是穩(wěn)定性還是精度都大幅優(yōu)于單一的學(xué)習(xí)器，而且經(jīng)過(guò)少量的樣本的訓(xùn)練后精度就達(dá)到了良好的效果，而單獨(dú)的遷移學(xué)習(xí)或半監(jiān)督學(xué)習(xí)都無(wú)法做到。這是由于基于遷移學(xué)習(xí)的半監(jiān)督集成學(xué)習(xí)器(SSIT)可以更充分利用樣本的信息，無(wú)需大量迭代就會(huì)達(dá)到良好的效果。

表1 數(shù)據(jù)集屬性Table 1 Data set properties

圖7為基學(xué)習(xí)器權(quán)重變化，經(jīng)由錯(cuò)誤率的調(diào)整后可以看出，遷移學(xué)習(xí)器的權(quán)重都由于可以提取目標(biāo)樣本的信息而逐漸提高，三重訓(xùn)練器權(quán)重不斷拔高。若本文保持初始權(quán)值恒定，預(yù)測(cè)精度會(huì)下降大約8%。據(jù)此本文也調(diào)整初始學(xué)習(xí)器權(quán)重，使其在訓(xùn)練過(guò)程中減輕權(quán)重變化的迭代，可以更快地達(dá)到穩(wěn)定的預(yù)測(cè)精度。

本文通過(guò)調(diào)整實(shí)驗(yàn)找到精度提升的原因。圖8為調(diào)整未標(biāo)記樣本U的數(shù)量，對(duì)比遷移學(xué)習(xí)器的精度，可以發(fā)現(xiàn)無(wú)標(biāo)記樣本對(duì)于遷移學(xué)習(xí)的效果有較大的影響，在沒(méi)有無(wú)標(biāo)記樣本時(shí)，也就是不進(jìn)行半監(jiān)督學(xué)習(xí)時(shí)，預(yù)測(cè)精度下降了大約10%。隨著無(wú)標(biāo)記樣本的增加，遷移學(xué)習(xí)器精度以及遷移數(shù)量都會(huì)穩(wěn)步提升，這是因?yàn)闊o(wú)標(biāo)記樣本的訓(xùn)練信息可以篩選目標(biāo)領(lǐng)域中的高相似度樣本，保證遷移學(xué)習(xí)的效果。但精度的增加有一個(gè)上限，這是由于少量的有標(biāo)記樣本仍然是訓(xùn)練的核心，仍然會(huì)有過(guò)擬合的作用。數(shù)量的增長(zhǎng)也有上限，因?yàn)槟繕?biāo)領(lǐng)域內(nèi)高相似度樣本數(shù)量也有限。

圖6 預(yù)測(cè)精度變化Fig.6 Prediction accuracy change

圖7 基學(xué)習(xí)器權(quán)重變化Fig.7 Base learning device weight change

圖8 遷移學(xué)習(xí)器精度變化Fig.8 Transfer base learning device accuracy change

同理本文保持U的數(shù)量恒定，調(diào)整D中的樣本數(shù)量，如圖9和圖10所示，發(fā)現(xiàn)若是沒(méi)有遷移目標(biāo)領(lǐng)域的樣本，半監(jiān)督學(xué)習(xí)效果的穩(wěn)定性很差，最大最小精度之間有較大差異，這是由于半監(jiān)督學(xué)習(xí)一旦做出錯(cuò)誤的判斷便會(huì) “一錯(cuò)再錯(cuò)”，自身很難糾正，需要目標(biāo)領(lǐng)域樣本來(lái)調(diào)整，隨著遷移樣本的增加，預(yù)測(cè)精度穩(wěn)步增加且趨于穩(wěn)定，最大最小精度差異也下降到2%左右。

繼續(xù)調(diào)整已標(biāo)記樣本的比例，圖11為SSIT學(xué)習(xí)器精度變化。已標(biāo)記樣本的增加固然可以提高辨識(shí)度，但過(guò)多的已標(biāo)記樣本可以保持最高精度，但平均精度反而有所下降，這是由于學(xué)習(xí)器過(guò)于追求少量的已標(biāo)記樣本，過(guò)擬合效果增大，魯棒性也下降，反而不易對(duì)大量復(fù)雜的樣本進(jìn)行預(yù)測(cè)。在已標(biāo)記樣本比較少時(shí)，SSIT仍然表現(xiàn)表現(xiàn)出穩(wěn)定的預(yù)測(cè)性能，而單獨(dú)的半監(jiān)督或遷移學(xué)習(xí)算法卻受到極大影響，這是因?yàn)镾SIT并不依賴(lài)那些少量的已標(biāo)記樣本，可以從目標(biāo)領(lǐng)域以及未標(biāo)記樣本中提取到充足的信息來(lái)保證預(yù)測(cè)精度。

圖9 遷移數(shù)量變化Fig.9 Transfer data change

圖10 半監(jiān)督學(xué)習(xí)精度變化Fig.10 Semi-supervised learning accuracy change

圖11 精度隨已標(biāo)記樣本比例變化Fig.11 Change of accuracy with labeled sample scale

4.2 民航發(fā)動(dòng)機(jī)軸承故障診斷實(shí)驗(yàn)

在公共數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了所提算法對(duì)遷移以及半監(jiān)督效果的改進(jìn)作用，但對(duì)于具體的發(fā)動(dòng)機(jī)內(nèi)數(shù)據(jù)效果猶未可知，接下來(lái)本文搭建接近航空發(fā)動(dòng)機(jī)內(nèi)部的軸承振動(dòng)試驗(yàn)設(shè)備對(duì)軸承故障進(jìn)行診斷，實(shí)驗(yàn)具體設(shè)置如下。

本文搭建航空發(fā)動(dòng)機(jī)機(jī)轉(zhuǎn)子實(shí)驗(yàn)平臺(tái)進(jìn)行模擬實(shí)驗(yàn)，其模擬了真實(shí)發(fā)動(dòng)機(jī)的內(nèi)部結(jié)構(gòu)，達(dá)到真實(shí)發(fā)動(dòng)機(jī)的振動(dòng)效果，圖12為發(fā)動(dòng)機(jī)實(shí)驗(yàn)平臺(tái)內(nèi)部結(jié)構(gòu)，圖13為遷移實(shí)驗(yàn)平臺(tái)示意圖。選擇型號(hào)6205的軸承，滾動(dòng)體9個(gè)。在模擬發(fā)動(dòng)機(jī)50 000磅(22.68 t)推力下通過(guò)加速度傳感器收集3種軸承故障(內(nèi)圈、外圈、滾動(dòng)體)以及正常情況下的軸承振動(dòng)數(shù)據(jù)各1 000組。

模擬發(fā)動(dòng)機(jī)最大推力63 800磅下軸承振動(dòng)數(shù)據(jù)500組作為遷移領(lǐng)域D1，模擬50 000磅推力下同位置6206型號(hào)軸承振動(dòng)數(shù)據(jù)500組為D2，取來(lái)自凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)庫(kù)型號(hào)6205軸承在負(fù)載746 W、轉(zhuǎn)速2 000 r/min下軸承振動(dòng)數(shù)據(jù)500組為D3。

首先利用包絡(luò)譜的方法提取振動(dòng)信號(hào)的具體特征[14]，其中載波頻率為5000Hz，將通過(guò)得到的分量組成特征矩陣并采用奇異值分解方法求得對(duì)應(yīng)的特征向量，于是每個(gè)樣本信號(hào)都有對(duì)應(yīng)的特征向量作為訓(xùn)練的輸入。圖14和圖15分別為內(nèi)圈故障振動(dòng)信號(hào)時(shí)域波形以及包絡(luò)圖。

圖12 發(fā)動(dòng)機(jī)轉(zhuǎn)子實(shí)驗(yàn)平臺(tái)內(nèi)部結(jié)構(gòu)Fig.12 Internal structure of engine rotor experimental platform

圖13 遷移軸承實(shí)驗(yàn)平臺(tái)示意圖Fig.13 Schematic diagram of transfer bearing test rig

通過(guò)上述方法將振動(dòng)信息提取為特征向量，得到帶有故障結(jié)果的軸承振動(dòng)特征向量數(shù)據(jù)集L，以及無(wú)故障結(jié)果的數(shù)據(jù)集U以及遷移數(shù)據(jù)D。為檢驗(yàn)算法的有效性，本文采用同樣數(shù)量已標(biāo)記樣本的訓(xùn)練樣本以及相同的測(cè)試樣本，分別使用基學(xué)習(xí)器、CNN以及基于距離的譜聚類(lèi)(SL)算法[15]進(jìn)行對(duì)比測(cè)試[16]，其中采用同樣特征提取方法將特征向量的輸入到訓(xùn)練好的TELM中進(jìn)行診斷，再利用卷積神將網(wǎng)絡(luò)提取振動(dòng)信號(hào)的包絡(luò)譜進(jìn)行學(xué)習(xí)，保證特征的提取程度不變。

將訓(xùn)練成熟后的學(xué)習(xí)器輸入測(cè)試樣本的特征向量，根據(jù)輸出向量的值進(jìn)行故障預(yù)測(cè)，其中信號(hào)類(lèi)型中1、2、3、4等分別代表無(wú)故障，內(nèi)圈故障，外圈故障以及滾珠故障。圖16為在不同方法對(duì)樣本的預(yù)測(cè)結(jié)果與實(shí)際結(jié)果的對(duì)比。

選取不同的測(cè)試樣本分別測(cè)試5次，表2為在不同數(shù)據(jù)集合方法的精度比較，訓(xùn)練過(guò)后的SSIT的平均精度達(dá)到了90.6%，遠(yuǎn)高于CNN等預(yù)測(cè)精度，雖然CNN方法對(duì)于大量的圖片識(shí)別率基本上達(dá)到了99%以上的識(shí)別率，但對(duì)于航空發(fā)動(dòng)機(jī)的軸承振動(dòng)時(shí)域圖卻因?yàn)橐褬?biāo)記樣本信息過(guò)少且特征復(fù)雜的原因而大大降低了識(shí)別率，SSIT卻可以從大量的源領(lǐng)域以及未標(biāo)記樣本中獲得輔助信息幫助判斷。TELM以及SELM的低預(yù)測(cè)精度也表明半監(jiān)督以及遷移學(xué)習(xí)在面對(duì)少量已標(biāo)記樣本時(shí)有著相輔相成缺一不可的關(guān)系。

圖14 時(shí)域波形圖Fig.14 Time domain waveform

圖15 包絡(luò)譜分析Fig.15 Envelope spectrum analysis

圖16 不同方法對(duì)故障的預(yù)測(cè)結(jié)果Fig.16 Fault prediction result by different methods

本文選取3個(gè)數(shù)據(jù)集，比較3個(gè)遷移領(lǐng)域最終的遷移樣本量，3個(gè)領(lǐng)域的區(qū)別在于工作負(fù)載以及環(huán)境的差異，差異越大越難以遷移，從表3中可以看出，實(shí)驗(yàn)狀態(tài)下D3數(shù)據(jù)集的軸承振動(dòng)數(shù)據(jù)難以用于預(yù)測(cè)民航發(fā)動(dòng)機(jī)故障預(yù)測(cè)，而這正是現(xiàn)如今大量軸承預(yù)測(cè)方法難以在發(fā)動(dòng)機(jī)環(huán)境內(nèi)奏效的原因，D1于D2則展現(xiàn)了與源領(lǐng)域樣本的高相似度，對(duì)于SSIT的故障預(yù)測(cè)給予了巨大幫助，由此本文可以增加同發(fā)動(dòng)機(jī)不同推力下的目標(biāo)領(lǐng)域樣本以及不同軸承型號(hào)相同推力下的樣本，以期遷移更多的樣本幫助預(yù)測(cè)。

表2 不同數(shù)據(jù)集各方法預(yù)測(cè)精度對(duì)比Table 2 Comparison of prediction accuracy of different methods on different data sets %

表3 最終遷移樣本百分比Table 3 Percentage of final migrated sample %

圖17為在D1領(lǐng)域下，遷移樣本量的提升，SSIT精度的精度變化。從圖中可以看出，在遷移樣本達(dá)到350個(gè)以后，遷移學(xué)習(xí)提升了整個(gè)學(xué)習(xí)器18%的精度。

半監(jiān)督算法中的未標(biāo)記樣本選用實(shí)驗(yàn)前已記錄的無(wú)結(jié)果振動(dòng)數(shù)據(jù)[17]，但是本文在實(shí)驗(yàn)中發(fā)現(xiàn)如果加入部分測(cè)試時(shí)間點(diǎn)前后的振動(dòng)信息作為未標(biāo)記樣本參與訓(xùn)練會(huì)提升算法的精度以及穩(wěn)定性。而無(wú)法確定的是多少量的已記錄樣本(HS)，測(cè)試前樣本(BS)，測(cè)試后樣本(AS)能夠最大提升精確性，本文不斷調(diào)整無(wú)標(biāo)記樣本中三者的比例來(lái)測(cè)試其精確度的變化。如圖18所示?？梢钥闯黾尤氲臏y(cè)試節(jié)點(diǎn)樣本有效地提升了精度，并且在(4.84，6.58)達(dá)到最大值，這是因?yàn)槲礃?biāo)記樣本中加入測(cè)試節(jié)點(diǎn)前后的振動(dòng)數(shù)據(jù)，可以在訓(xùn)練時(shí)完善預(yù)測(cè)節(jié)點(diǎn)的特征，特別是在航空發(fā)動(dòng)機(jī)內(nèi)的軸承振動(dòng)信息，復(fù)雜的噪聲下不易提取到精確的振動(dòng)信號(hào)特征，而未標(biāo)記樣本的半監(jiān)督訓(xùn)練相當(dāng)于又一次進(jìn)行了特征提取，提高了預(yù)測(cè)的精度。

圖17 D1下遷移樣本量對(duì)精度的影響Fig.17 Effect of transfer sample size on accuracy under D1

圖18 測(cè)試前后樣本量對(duì)精度的影響Fig.18 Effect of HS and BS on prediction accuracy

5 結(jié) 論

本文提出了一種半監(jiān)督遷移學(xué)習(xí)集成學(xué)習(xí)器，構(gòu)造改進(jìn)遷移學(xué)習(xí)器組成6種初始基學(xué)習(xí)器來(lái)集成同簇的半監(jiān)督基學(xué)習(xí)器，利用遷移學(xué)習(xí)降低半監(jiān)督學(xué)習(xí)中的不穩(wěn)定性，再利用無(wú)標(biāo)記樣本減少負(fù)遷移作用，并不斷調(diào)整基學(xué)習(xí)器權(quán)重，提升SSIT的精度與穩(wěn)定性，得出如下結(jié)論：

1) 遷移學(xué)習(xí)可以提高半監(jiān)督學(xué)習(xí)的穩(wěn)定性以及降低過(guò)擬合效果。

2) 半監(jiān)督學(xué)習(xí)可以幫助遷移算法挑選更多更好的高相似度樣本。

3) 同簇集成的方法也可以通過(guò)調(diào)整權(quán)重的方法減少負(fù)學(xué)習(xí)的效果。

4) 溫和環(huán)境下的軸承振動(dòng)數(shù)據(jù)難以直接遷移至發(fā)動(dòng)機(jī)內(nèi)部的軸承預(yù)測(cè)中，而不同推力以及不同發(fā)動(dòng)機(jī)下的振動(dòng)數(shù)據(jù)則展現(xiàn)了良好的遷移效果。

5) 測(cè)試節(jié)點(diǎn)前后的數(shù)據(jù)加入到無(wú)標(biāo)記樣本的半監(jiān)督訓(xùn)練中可提升最終的預(yù)測(cè)精度。

將研究更加多部件故障的遷移方法，并將其運(yùn)用到發(fā)動(dòng)機(jī)其他部件的故障預(yù)測(cè)方面，利用大量的目標(biāo)領(lǐng)域樣本來(lái)提高預(yù)測(cè)精度。