基于集成局部費舍爾判別分析的故障分類

鐘 凱徐明星韓 敏

(1.大連理工大學 電子信息與電氣工程學部,遼寧 大連 116024;2.大連理工大學 工業(yè)裝備智能控制與優(yōu)化教育部重點實驗室,遼寧 大連 116024;3.安徽大學 物質(zhì)科學與信息技術研究院,安徽 合肥 230601)

1 引言

現(xiàn)代的工業(yè)生產(chǎn)過程趨向于流水化作業(yè),并且具有大型化、智能化、復雜化的特點.隨之而來的便是過程間的交互變得更加頻繁,設備的結(jié)構(gòu)也變得更加多樣.如果其中的某一子系統(tǒng)或者零件發(fā)生故障,就像多米諾骨牌效應一樣,不僅會造成產(chǎn)品質(zhì)量的降低,而且也會破壞工業(yè)生產(chǎn)的設備,對整個企業(yè)的生產(chǎn)造成影響,更嚴重的是還有可能對環(huán)境造成不可逆轉(zhuǎn)的破壞,甚至出現(xiàn)人員傷亡[1–2].因此及時有效的過程監(jiān)測對工業(yè)生產(chǎn)效率的提高和企業(yè)自身的發(fā)展都具有重要的意義[3–6].

作為過程監(jiān)測研究領域重要的分支之一,故障診斷(某種意義上等價于故障分類)近年來取得了較大的發(fā)展和進步,并取得豐碩的理論研究成果和工程應用實例.故障診斷主要是將過程中已經(jīng)發(fā)生的故障與其他樣本劃分開來,從而確定故障的位置,故障的原因以及故障的類別等[7],以便采取后續(xù)的故障隔離和過程恢復措施.針對故障診斷方法的分類,目前業(yè)內(nèi)比較認可的是由文獻 [8]提出的基于解析模型、基于過程知識和基于數(shù)據(jù)驅(qū)動這三大類.由于基于數(shù)據(jù)驅(qū)動的方法只需要一定的過程數(shù)據(jù)而無需建立復雜的數(shù)學模型,實施簡單且更為有效,因此獲得更廣泛的關注和青睞.另一方面計算機技術的發(fā)展以及數(shù)據(jù)分析手段的豐富,也為數(shù)據(jù)驅(qū)動故障分類方法的發(fā)展提供了極大的便利.

常見的數(shù)據(jù)驅(qū)動的過程監(jiān)測方法主要有主成分分析法(principal component analysis,PCA)[9],費舍爾判別分析法 (Fisher discriminant analysis,FDA)[10],前者主要是將高維數(shù)據(jù)投影到低維空間,同時保留重要的樣本信息,因此更適用于故障檢測.而FDA模型通過判別投影方向使得屬于不同類別的樣本間分離性變大,同一類別中的樣本間分離性變小,所以常常適用于故障 診斷和分類[11].在過去 的20年,大量的基于FDA 模型的故障分類方法被提出.例如,文獻 [12]提出基于核方法建立的核FDA模型,從而可以處理非線性過程的故障診斷問題.文獻 [13]將局部費舍爾判別分析(local Fisher discriminant analysis,LFDA)應用于復雜過程的監(jiān)測,并在分類多個故障時展示了比常規(guī)的FDA模型更好的性能.文獻 [14]將PCA和FDA原理融合提出半監(jiān)督的費舍爾判別分析模型,該模型不但能保留各自的優(yōu)點還克服了自身的局限性,并在化工過程的故障診斷中取得了較高的精度.隨后,文獻 [15]設計一種半監(jiān)督的局部費舍爾判別分析模型,并成功應用于旋轉(zhuǎn)機械的微小故障的分類.近期,文獻 [16]討論了不同變量對故障的影響程度,并 設計了稀 疏的LFDA模型,且在真實和仿真的過程中都驗證了方法的有效性.

雖然上述的基于FDA模型的故障分類方法能 夠解決某一特定的問題,但是很少有方法同時從樣本和變量的角度挖掘數(shù)據(jù)的局部結(jié)構(gòu)特性,也沒有考慮不同變量子塊對故障分類結(jié)果的差異化影響.基 于此,本文提出一種集成的局部費舍爾判別分析模型(integrated local Fisher discriminant analysis,ILFDA).論文的主要創(chuàng)新點包括:

1) 有效利用機理知識將系統(tǒng)進行合理的劃分,排除了無關變量的干擾并降低了建模的難度,刻畫了變量維度的數(shù)據(jù)局部特性.

2) 利用分類性能加權(quán)策略將局部結(jié)果進行有機集成.不但獲取了樣本維度的數(shù)據(jù)局部信息,還定量地刻畫不同子塊(變量)對當前故障的影響程度.

3) 所提的ILFDA模型不但是子分類器的集成和增強,也是過程機理知識和數(shù)據(jù)驅(qū)動方法的融合和互補,為復雜過程故障分類提供了新的研究思路.

2 預備知識

2.1 費舍爾判別分析

FDA是一種有監(jiān)督的判別分析方法,主要思想是尋找最優(yōu)的投影方向,使得類間離散度最大的同時類內(nèi)離散度最小.對于含有n個樣本和m個特征的原始數(shù)據(jù)矩陣X=(x1x2···xn)∈Rn×m.且n個樣本被劃分為K個類別,其中第k(1 ≤k≤K)個類別Ck中含有nk個樣本.則類間離散度矩陣Sb和類內(nèi)離散度矩陣Sw計算如下:

為了更方便介紹LFDA模型,在式(1)和式(2)的基礎上給出FDA算法的對等形式:

則FDA的 最優(yōu)判別方向 可以通過優(yōu)化下面的目標函數(shù)得到

2.2 局部費舍爾判別分析

一般的FDA方法忽視了數(shù)據(jù)的局部特征,而只關注數(shù)據(jù)的全局特征.因此,當來自相應類別的數(shù)據(jù)不服從多元高斯分布,且同一類別間的樣本展現(xiàn)出多模態(tài)特性時,傳統(tǒng)的FDA算法不再適用.為了克服常規(guī)FDA方法的上述不足,文獻 [17]將FDA和局部保留投影(locality preserving projection,LPP)算法結(jié) 合提出了LFDA模型.

LFDA模型的類間散度矩陣與類內(nèi)散度矩陣可以定義如下:

由于故障數(shù)據(jù)集內(nèi)部的數(shù)據(jù)分布復雜,對故障分類的結(jié)果影響也不盡相同,所以不能對所有的類別賦予相同的權(quán)重,為了充分考慮局部特性,加權(quán)矩陣定義為

與式(7)類似,LFDA模型的投影方向可通過求解下式得到:

上述的優(yōu)化問題可以轉(zhuǎn)化為以下的廣義特征值問題:

其中λ,分別為廣義特征值和特征向量.

對于新的測試數(shù)據(jù)集x,可通過下面的判別函數(shù)將其劃分為具體的類別中去[18]:

3 集成局部費舍爾判別分析

本小節(jié)給出了所提的ILFDA模型的具體介紹,包括過程分塊策略,多塊分類結(jié)果的集成等,最后給出ILFDA算法的主要步驟.

3.1 過程分塊策略

在實際的工業(yè)過程中,過程數(shù)據(jù)有時會表現(xiàn)出復雜的特征，變量間也會展現(xiàn)出多種關聯(lián)性,因此很難依靠單一的數(shù)據(jù)驅(qū)動模型對整個過程進行建模和監(jiān)測.此外,由于采樣設備和采樣環(huán)境的局限性,可能無法獲取完整的過程數(shù)據(jù),特別是故障樣本,這些都會導致數(shù)據(jù)驅(qū)動方法的效率大打折扣.因此,有必要將數(shù)據(jù)驅(qū)動方法和過程機理進行融合,實現(xiàn)方法之間的優(yōu)勢互補.首先需要根據(jù)已知的過程結(jié)構(gòu)或者機理知識將復雜的系統(tǒng)劃分為多個子塊,并將具有類似特征或者是關聯(lián)性較強的變量劃分到同一子塊中,然后對每一子塊分別建立數(shù)據(jù)驅(qū)動的故障診斷模型,計算相應的統(tǒng)計指標,提取局部故障特征信息并進行集成.其基本原理如圖1所示.

圖1 過程分塊步驟Fig.1 The procedures of process partition

此類分塊方法的優(yōu)點為:由于按照結(jié)構(gòu)原理將整個復雜系統(tǒng)合理地劃分為多個子塊,減少了一些無關和冗余變量的影響,降低了直接對整個系統(tǒng)建模的難度,進而提高故障診斷的精度和模型的可解釋性.但是根據(jù)機理知識進行分塊的方法也有其自身的局限性,例如當過程機理和先驗知識未知時,就無法對過程進行準確的分塊.所以本文所提的ILFDA模型是建立在機理知識和數(shù)據(jù)驅(qū)動方法相結(jié)合的基礎上,比較適用于機理知識已知的情形,且是單一方法或者局部模型的有效集成和增強.

3.2 多塊分類模型集成

根據(jù)第3.1小節(jié)的過程分塊方法,可以將整個系統(tǒng)劃分為M個變量子塊.分別在每個子塊中建立LFDA模 型,并根據(jù) 式 (14) 和 式 (15) 求 得M個判別函數(shù),(1 ≤l≤M).由于不同變量子塊對故障分類的影響可能不盡相同,為了更好地刻畫不同子塊對診斷結(jié)果的差異化影響,利用加權(quán)策略建立如下的集成判別函數(shù):

其中權(quán)值矩陣定義如下:

Accl表示第l個子塊 中訓練 樣本的 故障分 類精度(classifcation accuracy,Acc).對于新采集的實時監(jiān)測數(shù)據(jù)x,可通過下式將其劃分為某一確定的類別:

從以上的分析可知,如果某一子塊中訓練數(shù)據(jù)的分類精度越高則該子塊的加權(quán)系數(shù)就越大,其在集成的模型中所起的作用就越重要,反之亦然.所以ILFDA模型可以從樣本和變量兩個維度刻畫數(shù)據(jù)的局部特性,更全面地凸顯樣本局部信息和變量局部信息在故障分類中的作用,有助于提高故障分類精度.

3.3 ILFDA算法流程

為了更好地理解本文所提的ILFDA算法,圖2給出了該算法的流程圖.

圖2 ILFDA算法流程圖Fig.2 The flowchart of the ILFDA algorithm

該算法的詳細過程總結(jié)如下:

步驟1根據(jù)過程機理知識將原始系統(tǒng)劃分為M個子塊;

步驟2在每個子塊中建立LFDA模型,分別計算第l個子塊中訓練數(shù)據(jù)集的故障分類精度Accl;

步驟3根據(jù)式(17)計算權(quán)值系數(shù)wl;

步驟4對新的實時測試樣本數(shù)據(jù)x,根據(jù)步驟1的分塊結(jié)果將其分為M個子塊;

步驟5根據(jù)式(14)和式(15)計算M個子塊的判別函數(shù),1≤l≤M;

步驟6將步驟3得到的權(quán)值系數(shù)wl分別賦予x的M子塊;

步驟7根據(jù)式(16)計算集成判別函數(shù)Igk(x);

步驟8根據(jù)式(18)對x進行分類.

4 仿真實驗

4.1 TE過程介紹

為了驗證所提ILFDA方法的故障分類性能,本文在田納 西–伊斯曼過程(Tennessee Eastman,TE)中 進行仿真實驗.TE過程是 由伊斯 曼化學 品公司 的J.J.Downs和E.F.Vogel于1993年首次提出[19],并成為驗證過程控制和監(jiān)測方法廣泛使用的基準平臺.TE過程包括5個主要單元:反應器、冷凝器、壓縮機、分離器和汽提塔.TE過程中進行的化學反應主要包含4種反應物A,C,D,E和兩種生成物G,H以及一種惰性物質(zhì)B和副產(chǎn)品F.該過程中共有41個測量變量和12個操作變量(如表1所示).測量變量中的前22個是連續(xù)型變量(如表2所示),后19個屬于成分變量.本文選取22個連續(xù)型變量和前11個操作變量,共33個變量用以建模.另外,TE過程含有21種不同的預設故障,每種故障工況數(shù)據(jù)集的前161個樣本為無故障樣本,后800個樣本為故障樣本,并且TE過程還包含960個正常工況的樣本,采自過程的平穩(wěn)狀態(tài).更多關于TE過程的介紹可參考文獻 [20].

表1 TE過程的操作變量Table 1 The operating variables of TE process

表2 TE過程的測量變量Table 2 The measurement variables of TE process

4.2 實驗條件設置

首先根據(jù)TE過程結(jié)構(gòu)的原理將其劃分為5個子塊,即原料塊、反應器塊、分離器塊、汽提塔塊、壓縮機塊.每個子塊包含的變量具體如下:

子塊1(原料塊):V1,V2,V3,V4,;

子塊2(反應器塊):V6,V7,V8,V21,;

子塊3(分離器塊):V11,V12,V13,V14,;

子塊4(汽提塔塊):V9,V15,V16,V17,V18,V19,;

子塊5(壓縮機塊):V5,V10,V20,V22,.

本實驗選擇TE過程中的故障3和故障5以及故障11用以驗證ILFDA方法的有效性,3種故障的具體介紹如表3所示,從表中可以看出這3種故障都為TE過程中的溫度異常,所以相互之間的關聯(lián)性較為密切,此外3種故障發(fā)生于不同的子塊而且故障的類型也不盡相同,所以比較適合用于驗證本文的集成的故障診斷方法.3種故障都包含了訓練數(shù)據(jù)集(每種故障480個樣本)、測試數(shù)據(jù)集(每種故障都選擇第161–560個故障工況樣本),所有的故障數(shù)據(jù)在使用前都利用正常工況樣本的均值和方差進行了標準化處理.

表3 從TE過程選擇的故障Table 3 The selected faults from TE process

首先使用LFDA計算訓練樣本中各個子塊的分類精度,得到各個子塊的權(quán)值如圖3所示.

圖3 各個子塊的權(quán)值Fig.3 The weight of each sub-block

4.3 仿真結(jié)果分析

本文以EDA[11],FDA和LFDA模型作為對比實驗進行仿真實驗.4種方法對不同故障的判別函數(shù)如圖4所示,對于確定的樣本點,如果其在某一故障的判別函數(shù)值最大,則該樣本即被劃分為此類故障.圖4的橫坐標中共有1200個采樣樣本,其中樣本1–400為故障3,樣本401–800為故障5,樣本801–1200為故障11.從圖4(a)中可以看出EDA模型對故障5有較好的分類結(jié)果,但是在區(qū)間1–400和801–1200,故障3和故障11的判別函數(shù)都有大量的交叉和重疊,說明EDA對故障3和故障11的分類精度都很低,無法有效地將這兩種故障劃分開來.而圖4(b)中故障3和故障11 的誤分類現(xiàn)象有了一定的改善,分類精度得到了提高,但是還是存在較多的誤分類點.此外,FDA也可以較好的對故障5進行分類.由于LFDA可以克服FDA方法無法描述數(shù)據(jù)局部特征的缺陷,所以在圖4(c)中3種故障的判別函數(shù)交叉和重疊現(xiàn)象進一步被消除,也就是說故障的分類精度得到了提升.而在圖4(d)中可以較為清楚的看出本文所提的ILFDA模型在較好地將故障5分類的同時,還能夠顯著提升故障3和故障11的分類精度.

圖4 不同方法對3種故障的判別函數(shù)Fig.4 Discriminant functions of the three faults by different methods

此外,還將不同方法對3種故障的分類結(jié)果繪制如圖5所 示.類似地,橫坐標中的樣本1–400,樣本401–800和樣本801–1200分別為故障3,故 障5和故障11,縱坐標代表故障的標簽.從圖5(a)可知大量的故障3和故障11的樣本被EDA誤分為其他的故障,特別是對故障11.類似的情況也出現(xiàn)在圖5(b)中,FDA模型對故障11的分類精度也較低.而在圖5(c)中,由于LFDA模型能夠考慮數(shù)據(jù)的局部特性,所以取得了比EDA和FDA都高的故障分類精度.最后在圖5(d)中,所提的ILFDA模型能夠同時將這3種故障進行有效的劃分,取得了最好的故障分類性能.究其原因,主要是由于ILFDA模型不但能夠有機融合機理知識和數(shù)據(jù)驅(qū)動模型的優(yōu)點,同時從樣本和變量角度挖掘數(shù)據(jù)的局部特征,還能將多個局部的故障分類模型進行集成和增強.

圖5 不同方法對3種故障的分類結(jié)果Fig.5 Classification results of the three faults by different methods

為了定量的分析4種方法的分類精度,將具體分類精度列于表4中,且最高的分類精度用粗體標出,以方便辨識.由表的第1行可知,EDA模型對3種故障的分類精度分別為64.25%,98.75%和34.75%,而平均的分類精度為65.92%,雖然對故障5的分類效果較好,但對于剩余兩種故障的分類精度不能滿足要求.同樣的,雖然FDA比EDA對故障3的分類精度有了一定的提升,但是FDA仍然無法有效提高故障11的分類精度.作為FDA的改進方法,LFDA雖然提升了故障11的分類精度(達到61.5%),但是故障3的分類精度反而出現(xiàn)較大的下降,總體76%的平均分類精度也難以讓人滿意,因此仍然具有可提升的余地.而ILFDA方法同時對故障3和故障11取得了 最高的 分類精 度(分別為97.5%和92.25%),即便對故障5沒有取 得最好的分類效果,但ILFDA也和最優(yōu)的LFDA模型相 差無幾(99.5%和99.75%),此外ILFDA的平均分類精度要遠高于對比算法(96.42%對比65.92%,68.83%,76%),也從另一個角度證明所提方法的有效性.

表4 3種故障的分類精度Table 4 Classifcation accuracy of the faults %

5 結(jié)論

本文提出的ILFDA是一種基于LFDA模型的集成多子塊的判別方法,不但能將機理知識和過程數(shù)據(jù)進行優(yōu)勢互補,還能將多個局部故障分類模型進行集成和增強,可以從變量和樣本兩個角度挖掘數(shù)據(jù)的局部特性.為了充分獲取變量之間的局部信息,首先根據(jù)機理知識對系統(tǒng)變量進行合理的分塊.然后在每個子塊中分別建立LFDA模型,并得到相應的局部分類結(jié)果.最后利用基于訓練樣本分類精度的加權(quán)集成策略將各個子塊的分類結(jié)果進行有機的融合.利用TE過程進行方法驗證,仿真結(jié)果表明所提方法取得了最高的分類精度,降低了故障的誤分類情況,具有一定的實際應用價值.