基于深度遷移學(xué)習(xí)的航天器故障診斷

唐藝璠， 竇立謙*， 季春惠， 劉文靜， 宗 群

1. 天津大學(xué), 天津 300072 2. 北京控制工程研究所, 北京 100094

0 引 言

航天器運(yùn)行過程中，由于星上資源和人工干預(yù)能力有限，且空間環(huán)境具有不可預(yù)知性，極容易發(fā)生故障，而姿態(tài)控制系統(tǒng)作為航天器最為關(guān)鍵的一個(gè)分系統(tǒng)，具有結(jié)構(gòu)復(fù)雜、工作環(huán)境惡劣、未知干擾及不確定因素多的特點(diǎn)，是發(fā)生故障最多的分系統(tǒng)之一.及時(shí)地故障診斷不僅可以減少設(shè)備損耗，還可以節(jié)省航天器發(fā)射和運(yùn)行成本，減輕人員傷亡.

國(guó)內(nèi)外常用航天器故障診斷方法有以下幾種：基于解析模型的方法、基于信號(hào)處理的方法和基于知識(shí)的方法[1].目前，基于解析模型的方法在航天器故障診斷中得到了廣泛應(yīng)用，但其數(shù)據(jù)利用率不夠高.基于學(xué)習(xí)的故障診斷方法主要是通過在軌航天器的正常數(shù)據(jù)以及故障數(shù)據(jù)來訓(xùn)練學(xué)習(xí)算法,進(jìn)而實(shí)現(xiàn)故障診斷.傳統(tǒng)的機(jī)器學(xué)習(xí)方法得益于診斷專家獲取的廣泛領(lǐng)域?qū)＜抑R(shí)，但需要花費(fèi)大量的時(shí)間和人力[2-3].

與傳統(tǒng)的機(jī)器學(xué)習(xí)過程不同，深度學(xué)習(xí)可以通過多層結(jié)構(gòu)表示數(shù)據(jù)，提高數(shù)據(jù)分類的準(zhǔn)確性.文獻(xiàn)[4]將深度學(xué)習(xí)模型用于識(shí)別動(dòng)態(tài)特性進(jìn)行機(jī)床早期故障診斷.文獻(xiàn)[5]通過使用卡爾曼濾波器更新神經(jīng)網(wǎng)絡(luò)的加權(quán)參數(shù)，對(duì)無人機(jī)系統(tǒng)的傳感器和執(zhí)行器進(jìn)行在線故障診斷.文獻(xiàn)[6]針對(duì)航天器遙測(cè)數(shù)據(jù)，采用長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)異常數(shù)據(jù)進(jìn)行診斷，實(shí)現(xiàn)了對(duì)異常數(shù)據(jù)的高預(yù)測(cè)性.文獻(xiàn)[7]將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于域適應(yīng)問題，通過將深層特征嵌入再生核希爾伯特空間中，減少域差異，提高特征的遷移能力.文獻(xiàn)[8]利用BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)對(duì)異步電機(jī)的故障特征進(jìn)行學(xué)習(xí)和分類，有效提高了異步電機(jī)故障診斷的準(zhǔn)確性.文獻(xiàn)[9]利用信像轉(zhuǎn)換法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，在不需要預(yù)先定義參數(shù)的情況下提取原始數(shù)據(jù)的二維特征，利用深度卷積神經(jīng)網(wǎng)絡(luò)和補(bǔ)零的方法增加特征的非線性.文獻(xiàn)[10]提出了基于神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)方法實(shí)現(xiàn)時(shí)變工況下少目標(biāo)數(shù)據(jù)的滾動(dòng)軸承故障診斷.文獻(xiàn)[11]基于深度卷積遷移學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)特征并識(shí)別機(jī)器健康狀況，并且通過最大化域識(shí)別錯(cuò)誤和最小化概率分布距離實(shí)現(xiàn)領(lǐng)域自適應(yīng)，實(shí)現(xiàn)機(jī)器故障特征的學(xué)習(xí)和遷移.

現(xiàn)有的大多數(shù)基于學(xué)習(xí)的故障診斷方法適用于標(biāo)記數(shù)據(jù)豐富的診斷任務(wù)，然而對(duì)于在軌航天器執(zhí)行器的實(shí)時(shí)故障診斷問題，原始遙測(cè)數(shù)據(jù)量小且故障數(shù)據(jù)未標(biāo)記.本文采用基于深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)算法解決在軌航天器故障診斷問題：首先，利用地面測(cè)試數(shù)據(jù)以及其他航天器在軌數(shù)據(jù)對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，獲得網(wǎng)絡(luò)初始參數(shù)，以便于對(duì)在軌航天器進(jìn)行故障診斷；其次，將訓(xùn)練好的應(yīng)用于當(dāng)前在軌航天器的故障診斷任務(wù)中，基于聯(lián)合分布自適應(yīng)減小域差異，實(shí)現(xiàn)領(lǐng)域自適應(yīng)的目標(biāo)；最后，通過仿真驗(yàn)證設(shè)計(jì)的網(wǎng)絡(luò)的有效性和基于遷移學(xué)習(xí)的故障診斷方法的準(zhǔn)確性.本文創(chuàng)新點(diǎn)如下：

(1)采用歸一化方法，將航天器多維狀態(tài)數(shù)據(jù)轉(zhuǎn)換為二維圖像，實(shí)現(xiàn)數(shù)據(jù)預(yù)處理；

(2)基于遷移學(xué)習(xí)方法將經(jīng)過預(yù)訓(xùn)練的網(wǎng)絡(luò)應(yīng)用于當(dāng)前在軌航天器故障診斷任務(wù)；

(3)基于聯(lián)合分布自適應(yīng)方法重構(gòu)殘差網(wǎng)絡(luò)的代價(jià)函數(shù)，在匹配源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的同時(shí)提升遷移性能，以提高故障診斷準(zhǔn)確率.

1 航天器故障診斷模型

由于在軌航天器執(zhí)行器的原始遙測(cè)數(shù)據(jù)樣本小、噪聲高、無標(biāo)記，故障信號(hào)難以診斷.在實(shí)際應(yīng)用中正常運(yùn)行數(shù)據(jù)樣本與故障數(shù)據(jù)樣本數(shù)量相差較大，傳統(tǒng)的故障診斷方法難以保證故障診斷的準(zhǔn)確度.搭建基于深度卷積神經(jīng)網(wǎng)絡(luò)的故障診斷模型框架如圖1所示.

圖1 航天器故障診斷模型框架Fig.1 Spacecraft fault diagnosis model framework

1.1 數(shù)據(jù)預(yù)處理

航天器的敏感器與執(zhí)行機(jī)構(gòu)相關(guān)數(shù)據(jù)是根據(jù)時(shí)間變化的多維數(shù)據(jù).在數(shù)據(jù)預(yù)處理過程中，如果采用傳統(tǒng)的數(shù)據(jù)處理方法，不僅會(huì)增加手工操作的繁瑣程度，還會(huì)丟失部分特征信息.為便于從帶有強(qiáng)噪聲的原始遙測(cè)中提取故障特征，在多狀態(tài)變量情況下，本文將多維時(shí)域數(shù)據(jù)轉(zhuǎn)換為二維圖像對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，圖像像素與數(shù)據(jù)值的大小相關(guān).

隨機(jī)選擇m個(gè)時(shí)間步m維狀態(tài)數(shù)據(jù)的時(shí)域信號(hào)，基于數(shù)據(jù)歸一化方法將多維航天器狀態(tài)時(shí)域信號(hào)轉(zhuǎn)換為m×m大小的二維圖像，轉(zhuǎn)換公式為：

(1)

1.2 智能故障診斷模型預(yù)訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)作為最有效的深度學(xué)習(xí)方法之一，已被廣泛應(yīng)用于圖像分類和處理、計(jì)算機(jī)視覺和語音識(shí)別[12].殘差網(wǎng)絡(luò)(ResNet)作為卷積神經(jīng)網(wǎng)絡(luò)中的一種，在圖像分類和物體識(shí)別領(lǐng)域表現(xiàn)出良好的性能，并且能夠通過增加一定的深度提高準(zhǔn)確率，如ResNet18，ResNet34，ResNet50，ResNet101等.本文選取ResNet50對(duì)航天器狀態(tài)二維圖像的故障特征進(jìn)行提取.

將預(yù)處理后得到的2D圖像作為故障診斷模型輸入信號(hào)進(jìn)行卷積運(yùn)算，并采用線性整流函數(shù)(ReLU)作為網(wǎng)絡(luò)的激活函數(shù). 卷積層的運(yùn)算可表示為：

hcr=ReLU(conv(wr,ar)+br)

(2)

其中，conv表示卷積運(yùn)算，ar為第r個(gè)隱藏層的輸入，wr為r個(gè)隱藏層的權(quán)值，br為第r個(gè)隱藏層的偏置.在每個(gè)卷積層后，采用核大小為3×3的最大池化層來減小特征矩陣的大小，并通過全連接層對(duì)特征進(jìn)行分類.

綜合考慮故障時(shí)與非故障時(shí)的特征不同點(diǎn)，選擇交叉熵代價(jià)函數(shù)作為預(yù)訓(xùn)練階段卷積神經(jīng)網(wǎng)絡(luò)的代價(jià)函數(shù)：

(3)

表1 ResNet50網(wǎng)絡(luò)結(jié)構(gòu)配置Tab.1 Layer configurations of ResNet50

2 基于遷移學(xué)習(xí)的模型參數(shù)重調(diào)

遷移學(xué)習(xí)可以利用源域中豐富的標(biāo)記數(shù)據(jù)構(gòu)建目標(biāo)域的精確分類器[12]，在航天器故障診斷中，源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集在邊緣分布和條件分布上有顯著差異，現(xiàn)有的大多數(shù)遷移學(xué)習(xí)方法都是基于邊緣分布或條件分布來度量分布差異.為同時(shí)減少源域數(shù)據(jù)集與目標(biāo)域數(shù)據(jù)集間邊緣分布和條件分布的差異，考慮基于聯(lián)合分布自適應(yīng)的遷移學(xué)習(xí)方法.與其他基于學(xué)習(xí)的故障診斷方法相比，基于聯(lián)合分布自適應(yīng)的遷移學(xué)習(xí)故障診斷方法能夠在匹配源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的同時(shí)提升遷移性能.

由于當(dāng)前在軌航天器的故障數(shù)據(jù)未標(biāo)記，因此無法直接基于目標(biāo)數(shù)據(jù)集構(gòu)造新的代價(jià)函數(shù).為將預(yù)訓(xùn)練學(xué)習(xí)到的經(jīng)驗(yàn)擴(kuò)展到當(dāng)前在軌航天器的診斷任務(wù)中，通過將分布自適應(yīng)和交叉熵代價(jià)函數(shù)結(jié)合，構(gòu)造新的代價(jià)函數(shù)如圖2所示.

圖2 采用遷移學(xué)習(xí)對(duì)故障診斷模型進(jìn)行參數(shù)重調(diào)Fig.2 Transfer learning-based parameter readjustment of fault diagnosis model

2.1 聯(lián)合分布自適應(yīng)

(4)

其中，φ(·)是從X到再生核希爾伯特空間H的完備的映射函數(shù). 由于目標(biāo)域數(shù)據(jù)無標(biāo)簽，故無法計(jì)算其條件分布Qt(yt|xt)，考慮借助于帶有標(biāo)簽的源數(shù)據(jù)的預(yù)訓(xùn)練模型，提供目標(biāo)數(shù)據(jù)的偽標(biāo)簽，通過利用目標(biāo)域數(shù)據(jù)的偽標(biāo)簽來處理無監(jiān)督域自適應(yīng)中的條件分布自適應(yīng). 基于偽標(biāo)簽對(duì)邊緣分布Qs(xs|ys=k)，Qt(xt|yt=k)進(jìn)行估計(jì).假設(shè)k∈{1,…,K}，最大平均差異為范圍k與條件分布Qs(xs|ys=k)，Qt(xt|yt=k)的不匹配度：

(5)

通過整合邊緣最大平均差異和條件最大平均差異，聯(lián)合分布配適的正則化項(xiàng)可以表示為：

(6)

其中，Js和Jt分別是源域Ds和目標(biāo)域Dt的聯(lián)合概率分布.

2.2 深度遷移學(xué)習(xí)

為了在深度學(xué)習(xí)框架下實(shí)現(xiàn)領(lǐng)域自適應(yīng)，本文選擇卷積神經(jīng)網(wǎng)絡(luò)作為基本模型.為增大源域與目標(biāo)域之間的相似性，減小二者分布差異以實(shí)現(xiàn)遷移學(xué)習(xí)，結(jié)合交叉熵代價(jià)函數(shù)(3)和聯(lián)合分布配適的正則化項(xiàng)(6)構(gòu)造新的代價(jià)函數(shù)：

(7)

通過最小化，預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型可用于目標(biāo)域.網(wǎng)絡(luò)優(yōu)化采用小批量隨機(jī)梯度下降算法和反向傳播算法，該算法在迭代過程中不斷更新網(wǎng)絡(luò)權(quán)值，提高了訓(xùn)練速度.為使代價(jià)函數(shù)loss(θ)最小，采用自適應(yīng)矩估計(jì)對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行訓(xùn)練. 對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)重調(diào)的優(yōu)化目標(biāo)為：

(8)

通過上述訓(xùn)練，獲得最優(yōu)的核映射函數(shù)φ(·)，使得遷移后的網(wǎng)絡(luò)具有更好的模型泛化能力，提升網(wǎng)絡(luò)對(duì)目標(biāo)域數(shù)據(jù)集的故障診斷能力.算法流程圖如圖3所示.

圖3 基于深度遷移學(xué)習(xí)的航天器智能故障診斷流程圖Fig.3 Flow chart of deep transfer learning-based intelligent fault diagnosis of spacecraft

3 仿真與分析

為驗(yàn)證設(shè)計(jì)的算法的有效性，在Windows10操作系統(tǒng)上，基于Python環(huán)境下Tensorflow深度學(xué)習(xí)工具包實(shí)現(xiàn)算法的仿真實(shí)驗(yàn)，仿真計(jì)算機(jī)配置為Intel Core i7@4.00 GHz處理器，16G內(nèi)存，Nvidia GeForce GTX 1660顯卡.

仿真數(shù)據(jù)的源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集均來自某航天器的采集數(shù)據(jù)，其中源數(shù)據(jù)集包含15000組數(shù)據(jù)，目標(biāo)數(shù)據(jù)集包含99 790組數(shù)據(jù)，每組數(shù)據(jù)均包含27個(gè)數(shù)據(jù)量.為便于數(shù)據(jù)預(yù)處理，首先，將樣本數(shù)據(jù)維數(shù)擴(kuò)展至28維；其次，將擴(kuò)展后的數(shù)據(jù)樣本分為n組，每組數(shù)據(jù)包含28個(gè)時(shí)間步28維狀態(tài)數(shù)據(jù).在樣本數(shù)據(jù)維數(shù)擴(kuò)展和分組過程中，若有空缺數(shù)據(jù)，將數(shù)據(jù)值設(shè)置為零.

將該航天器C部件1-6號(hào)標(biāo)志位的數(shù)據(jù)作為源數(shù)據(jù)集、G部件1-6號(hào)標(biāo)志位的數(shù)據(jù)作為目標(biāo)數(shù)據(jù)集.圖4～5分別為C部件和G部件歸一化后的數(shù)據(jù)，由圖可知故障發(fā)生在C部件2號(hào)標(biāo)志位和G部件1號(hào)標(biāo)志位，圖5中的小圖為G部件2-6號(hào)標(biāo)志位歸一化后的數(shù)據(jù)的放大圖.

圖4 C部件1-6號(hào)標(biāo)志位的數(shù)據(jù)Fig.4 Data of 1-6 flag bit in C part

圖5 G部件1-6號(hào)標(biāo)志位的數(shù)據(jù)Fig.5 Data of 1-6 flag bit in G part

本節(jié)利用網(wǎng)絡(luò)訓(xùn)練損失及故障診斷準(zhǔn)確率描述所設(shè)計(jì)網(wǎng)絡(luò)的故障診斷性能；通過對(duì)比遷移方法與非遷移方法所訓(xùn)練網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果，驗(yàn)證了基于深度遷移學(xué)習(xí)的故障診斷策略具有較好的故障診斷性能.圖6-7為采集的該航天器數(shù)據(jù)經(jīng)過分組后的某組數(shù)據(jù)經(jīng)預(yù)處理后獲得的2D圖像示例，每張圖片大小為28×28像素，即包含784個(gè)像素點(diǎn).其中，圖6為無故障數(shù)據(jù)集經(jīng)過轉(zhuǎn)換后的2D圖像，圖7為故障數(shù)據(jù)集經(jīng)過轉(zhuǎn)換后的二維圖像，圖中每一行的各個(gè)像素?cái)?shù)據(jù)分別對(duì)應(yīng)著同一時(shí)間序列下，航天器的不同部件、不同標(biāo)志位的輸出數(shù)據(jù).將預(yù)處理后的源數(shù)據(jù)集二維圖像作為網(wǎng)絡(luò)輸入，以最小化交叉熵代價(jià)函數(shù)作為優(yōu)化目標(biāo)，對(duì)搭建的殘差網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練.

圖6 無故障數(shù)據(jù)集二維圖像Fig.6 2D image of non-fault dataset

圖7 故障數(shù)據(jù)集二維圖像Fig.7 2D image of fault dataset

進(jìn)一步地，基于深度遷移學(xué)習(xí)方法，將故障診斷網(wǎng)絡(luò)習(xí)得的知識(shí)遷移到當(dāng)前在軌航天器數(shù)據(jù)集，以該數(shù)據(jù)集作為目標(biāo)數(shù)據(jù)集，并基于源域和目標(biāo)域的分布差異重構(gòu)網(wǎng)絡(luò)訓(xùn)練的代價(jià)函數(shù)，重構(gòu)的代價(jià)函數(shù)中非負(fù)正則化參數(shù)λ的值為：

(9)

其中，i為當(dāng)前訓(xùn)練的回合數(shù)，rounds為總回合數(shù)，

本實(shí)驗(yàn)訓(xùn)練過程共進(jìn)行了200個(gè)迭代回合.

最后，基于提出的故障診斷模型參數(shù)重調(diào)方法，對(duì)網(wǎng)絡(luò)各層參數(shù)微調(diào)，通過網(wǎng)絡(luò)訓(xùn)練損失和診斷準(zhǔn)確率反應(yīng)所提策略的故障診斷性能.為方便對(duì)比，實(shí)驗(yàn)中另外增加了普通的殘差網(wǎng)絡(luò)的驗(yàn)證訓(xùn)練，相應(yīng)的訓(xùn)練對(duì)比結(jié)果如圖8～9所示.

圖8 網(wǎng)絡(luò)訓(xùn)練損失對(duì)比Fig.8 Comparison of network training loss

圖8為網(wǎng)絡(luò)訓(xùn)練損失對(duì)比，其中L1為基于遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)的訓(xùn)練代價(jià)函數(shù)變化曲線，L2為普通的殘差網(wǎng)絡(luò)訓(xùn)練代價(jià)函數(shù)變化曲線.通過對(duì)比可以看出隨著訓(xùn)練回合數(shù)的增加，基于遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)的訓(xùn)練損失逐漸減小，而普通的殘差網(wǎng)絡(luò)的損失始終較大.圖9為基于遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)和普通的殘差網(wǎng)絡(luò)的故障診斷準(zhǔn)確率對(duì)比圖，可以看出普通的殘差網(wǎng)絡(luò)的故障診斷準(zhǔn)確率最高在70%左右，且基本不會(huì)隨著訓(xùn)練回合數(shù)的增加而有所提升；而基于遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)對(duì)當(dāng)前在軌航天器數(shù)據(jù)的故障診斷準(zhǔn)確率很快到達(dá)90%以上，且此后一直保持穩(wěn)定.經(jīng)上述對(duì)比實(shí)驗(yàn)可知，經(jīng)過遷移學(xué)習(xí)和模型參數(shù)重調(diào)訓(xùn)練后的殘差網(wǎng)絡(luò)對(duì)當(dāng)前在軌航天器數(shù)據(jù)具有較好的適應(yīng)性以及較優(yōu)越的故障診斷性能.

圖9 故障診斷準(zhǔn)確率對(duì)比Fig.9 Comparison of fault diagnosis accuracy

4 結(jié) 論

本文通過采用基于深度遷移學(xué)習(xí)的智能故障診斷方法，解決在軌航天器故障診斷問題.針對(duì)在軌航天器遙測(cè)數(shù)據(jù)樣本小、噪聲高、未標(biāo)記的問題，將源域中經(jīng)過預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)應(yīng)用到目標(biāo)域中，并基于聯(lián)合分布自適應(yīng)方法重構(gòu)代價(jià)函數(shù)，實(shí)現(xiàn)殘差網(wǎng)絡(luò)參數(shù)重調(diào).仿真結(jié)果表明，相比于基本的基于殘差網(wǎng)絡(luò)的故障診斷方法，基于深度遷移學(xué)習(xí)的故障診斷方法具有更好的診斷效果.