基于粒子群優(yōu)化核獨(dú)立分量的特征降維算法及其應(yīng)用研究

孫 磊，賈云獻(xiàn)，王衛(wèi)國，張英波，趙勁松,3

(1.軍械工程學(xué)院裝備指揮與管理系, 河北石家莊 050003; 2.軍械工程學(xué)院科研部, 河北石家莊 050003;3.軍事交通學(xué)院裝備保障系, 天津 300161)

為了更好地掌握裝備的運(yùn)行狀態(tài)，在對裝備實(shí)施狀態(tài)監(jiān)測時(shí)往往采集多種狀態(tài)信息[1]。例如：對于油液光譜分析采集的元素種類多達(dá)20幾種，這些狀態(tài)信息間存在一定的相關(guān)性，若把這些狀態(tài)信息直接用于裝備的剩余壽命預(yù)測將導(dǎo)致計(jì)算量急劇增大或難以計(jì)算，而且由于引入了與裝備狀態(tài)相關(guān)度較小的狀態(tài)信息而導(dǎo)致結(jié)果存在偏差。因此，如何從大量狀態(tài)信息中提取影響裝備壽命的主要特征信息，使得這些特征信息間既充分反映原來的狀態(tài)信息的作用又彼此相互無關(guān)，就顯得十分重要，為下一步的故障診斷與預(yù)測提供有效特征值[2-3]。

獨(dú)立分量分析(independent component analysis，ICA)是近年來在信號分析與處理中發(fā)展形成的一種數(shù)據(jù)處理方法[4]。ICA作為一種有效的盲源分離技術(shù)仍是信號處理領(lǐng)域的熱點(diǎn)，但目前的算法在處理非線性變化的信號時(shí)還有一定的局限，而基于非線性函數(shù)空間的ICA方法——核獨(dú)立分量分析(kernel independent component analysis，KICA)[5]則可以解決這一問題。KICA方法具有更好的靈活性和魯棒性，不僅能夠?qū)崿F(xiàn)高維非線性數(shù)據(jù)的降維，更重要的是，基于信號的高階研究信號間的獨(dú)立關(guān)系使經(jīng)過變換所得到的各個(gè)分量之間不僅正交，而且相互獨(dú)立，避免了數(shù)據(jù)的非線性對預(yù)測模型的影響[6-7]。

由于KICA算法精度受到核函數(shù)類型及其參數(shù)的影響，因此選擇合適的核參數(shù)至關(guān)重要。目前核參數(shù)的選擇方法仍是主要靠大量的試驗(yàn)人為確定或采用交叉檢驗(yàn)的辦法，不但費(fèi)時(shí)費(fèi)力效率低，而且這樣確定的核函數(shù)參數(shù)不一定是最優(yōu)的。因此，對KICA核函數(shù)參數(shù)的優(yōu)化方法進(jìn)行研究，對改善其特征降維結(jié)果具有重要的意義。粒子群優(yōu)化算法(particle swarm optimization，PSO)是一種全局并行的尋優(yōu)方法，近年來已在函數(shù)優(yōu)化、自動(dòng)控制、機(jī)器學(xué)習(xí)、人工生命等領(lǐng)域都得到了廣泛的應(yīng)用[8-9]。筆者針對KICA技術(shù)在核函數(shù)參數(shù)選擇上的盲目性，首先利用Fisher判別函數(shù)的思想建立核函數(shù)的參數(shù)優(yōu)化的適應(yīng)度，進(jìn)而基于PSO算法求出核函數(shù)參數(shù)優(yōu)化模型的全局最優(yōu)解，改善KICA的性能。最后通過案例驗(yàn)證了方法的可行性與有效性。

1 獨(dú)立分量分析

假設(shè)S=[s1,s2,…,sn]T為n個(gè)相互獨(dú)立的源信號，X=[x1,x2,…,xn]T為m個(gè)觀測信號，其滿足以下關(guān)系[10]：

X=AS。

式中：A為m×n階矩陣，該式表示了觀察所得的狀態(tài)變量是如何由獨(dú)立分量構(gòu)成的。目的是通過觀測數(shù)據(jù)x估計(jì)未知獨(dú)立源s和混合矩陣A，即求解一個(gè)解混矩陣W，使得

的各分量相互獨(dú)立，并把Y作為S的估計(jì)。獨(dú)立分量分析中所有的出發(fā)點(diǎn)都是一個(gè)基本假定：即認(rèn)為這些獨(dú)立分量si互相統(tǒng)計(jì)獨(dú)立，且不服從高斯分布。若記Y=WTX，則可以通過最大化WTX的非高斯性來求W，從而求得獨(dú)立分量Y。

2 核獨(dú)立分量分析

2.1 Mercer核

事實(shí)上任何一個(gè)函數(shù)只要滿足Mercer條件，就可以用作Mercer核，同時(shí)可以分解成特征空間的點(diǎn)積形式。假設(shè)輸入空間的樣本xk∈RN，k=1,2,…,l，被某種非線性映射φ映射到某一特征空間R，得到φ(x1),φ(x2),…,φ(xl)。那么輸入空間的內(nèi)積運(yùn)算，在特征空間就可以用Mercer核表示為K(xi,xj)=φ(xi)·φ(xj)。

2.2 KICA算法步驟

輸入：數(shù)據(jù)矢量x1,x2,…,xn和核函數(shù)K(x,z)。

1)對輸入數(shù)據(jù)矢量x1,x2,…,xn進(jìn)行預(yù)白化處理，使輸入的向量之間相互正交。

2)利用Cholesky分解求出原始獨(dú)立數(shù)據(jù)z1,z2,…,zn的Gram矩陣K1,K2,…,Km，其中zi=Wxi，W為獨(dú)立分量分析中的解混矩陣。

3)定義λH(K1,K2,…,Km)為下式的最大特征值：

(1)

輸出：W矩陣。上面的算法不斷在步驟2)和4)之間重復(fù)運(yùn)行，直到滿足了收斂性的條件便可以得到解混矩陣W，W為m×n階(m

3 基于粒子群優(yōu)化算法的核獨(dú)立分量分析技術(shù)

3.1 基本PSO算法

圖1 粒子位置更新示意圖Fig.1 Scheme of particle position updating

PSO算法將每個(gè)優(yōu)化問題的潛在解看作是搜索空間的粒子，每個(gè)粒子都有一個(gè)被優(yōu)化函數(shù)決定的適應(yīng)值和一個(gè)決定其運(yùn)動(dòng)方向和距離的速度向量，然后粒子群就追隨當(dāng)前的最優(yōu)粒子在解空間進(jìn)行搜索[11]。PSO初始化為一群隨機(jī)粒子，通過不斷迭代搜索最優(yōu)解。在每一次迭代中，粒子通過跟蹤2個(gè)極值來更新自己，一個(gè)就是粒子本身到當(dāng)前時(shí)刻為止找到的最優(yōu)解，稱為個(gè)體最優(yōu)值；另一個(gè)就是整個(gè)種群到當(dāng)前時(shí)刻找到的最優(yōu)解，稱為全局最優(yōu)值，粒子位置更新過程如圖1所示。

圖中：xid(t)為第i個(gè)粒子的當(dāng)前位置；vid(t)為第i個(gè)粒子的當(dāng)前速度，vid∈[-Vmax,Vmax]，Vmax是最大限制速度，非負(fù)；pid(t)為第i個(gè)粒子迄今為止搜索到的最優(yōu)位置；pgd(t)為整個(gè)粒子群搜索到的最優(yōu)位置。

假設(shè)在一個(gè)D維的目標(biāo)搜索空間中，有m個(gè)粒子組成一個(gè)群體，其中第i個(gè)粒子的位置表示為向量xi=(xi1，xi2，…,xiD),i=1,2,…,m,其速度也是一個(gè)D維的向量，記為vi=(vi1,vi2,…,viD)。第i個(gè)粒子迄今為止搜索到的最優(yōu)位置為pi=(pi1,pi2,…,piD)，整個(gè)粒子群搜索到的最優(yōu)位置為pg=(pg1,pg2,…,pgD)，粒子更新公式如下[12]：

vid(t+1)=vid(t)+c1r1(pid-xid(t))+c2r2(pgd-xid(t))；

(2)

xid(t+1)=xid(t)+vid(t+1)。

(3)

將式(2)稱為基本粒子群優(yōu)化算法。其中，當(dāng)vid>Vmax時(shí)，取vid=Vmax；當(dāng)vid<-Vmax時(shí)，取vid=-Vmax；i=1,2,…,m；d=1,2,…,D；加速常數(shù)c1和c2為非負(fù)常數(shù)；r1和r2服從[0,1]上的均勻分布隨機(jī)數(shù)。

3.2 基于PSO的核函數(shù)參數(shù)優(yōu)化方法

大量數(shù)值實(shí)驗(yàn)表明，核參數(shù)的取值對基于核函數(shù)的特征降維算法性能具有很大的影響。例如：高斯徑向基核函數(shù)σ過大，樣本“勢力范圍”也會(huì)過大，以致一些毫無關(guān)系的訓(xùn)練樣本會(huì)干擾對新測試樣本作出正確判斷；σ過小，則會(huì)導(dǎo)致核學(xué)習(xí)只有記憶功能而無法對新樣本進(jìn)行判斷[13]。所以選擇合適的函數(shù)寬度需要在兩者之間進(jìn)行權(quán)衡。

根據(jù)前面的分析，KICA的主要思想是使得各分量的數(shù)據(jù)點(diǎn)散布于最大統(tǒng)計(jì)相關(guān)方向，強(qiáng)調(diào)的是分解出來的各分量之間的相互獨(dú)立性。而Fisher線性判別分析(fisher linear discriminant analysis，F(xiàn)DA或LDA)的基本思想是選擇使得Fisher準(zhǔn)則函數(shù)達(dá)到極值的向量作為最優(yōu)投影方向，把原始數(shù)據(jù)沿該方向進(jìn)行投影得到一條直線，使投影后不同類別的數(shù)據(jù)盡可能分開，相同類別的數(shù)據(jù)則盡可能的聚集，即投影后模式樣本的類間散布最大而類內(nèi)散布最小。因此，基于KICA和FDA基本思想之間的相通性，可以借鑒FDA的思想來探索KICA中核參數(shù)優(yōu)化方法。

1)建立核參數(shù)優(yōu)化適應(yīng)度函數(shù)

設(shè)X1,X2,…,XD是特征空間D個(gè)樣本類，特征樣本X為n維實(shí)向量，即X∈Rn，經(jīng)過非線性映射Φ后對應(yīng)樣本向量為Φ(X)∈H。則樣本類Xi在特征空間的均值向量為

(4)

式中，ni為第i個(gè)樣本類的樣本數(shù)。

定義樣本的類間散度Sb為

(5)

定義樣本的類內(nèi)散度Sw為

(6)

式中，Φ(xij)表示特征空間H中第i類第j個(gè)樣本。對于高斯徑向基核函數(shù)，由于k(xij,xij)的值等于1，所以對高斯徑向基函數(shù)式(6)可以簡化為

(7)

那么，根據(jù)Fisher極小鑒別準(zhǔn)則，在此建立適應(yīng)度函數(shù)為

(8)

實(shí)驗(yàn)表明，對于完全非線性可分問題，F(xiàn)isher鑒別函數(shù)F(w)的極小值點(diǎn)w*存在[14]。對于高斯徑向基核函數(shù)把w*作為參數(shù)σ的值可以取得較好的效果；而對于多項(xiàng)式核函數(shù)則把w*作為多項(xiàng)式的階次d的取值。對于線性可分或幾乎線性可分問題，隨著w由小變大，F(xiàn)(w)值急劇下降，然后趨于平穩(wěn)，此時(shí)可以取F(w)開始趨于平穩(wěn)時(shí)的w作為w*。

2)KICA算法中核參數(shù)的粒子群優(yōu)化過程

在實(shí)現(xiàn)核參數(shù)優(yōu)化過程中，對于適應(yīng)度函數(shù)式(8)，需要求Fisher鑒別函數(shù)F(w)的極值點(diǎn)。F(w)有可能是多峰值函數(shù)，存在多個(gè)極值點(diǎn)。為了得到全局最優(yōu)值，在此結(jié)合PSO算法對參數(shù)w進(jìn)行優(yōu)化，建立PSO-KICA算法流程，如圖2所示。具體步驟如下。

輸入：數(shù)據(jù)樣本x1,x2,…,xn，選擇核函數(shù)K(x,z)。

圖2 PSO-KICA算法流程Fig.2 Flow chart of PSO-KICA

1)計(jì)算樣本的類間散度Sb和類內(nèi)散度Sw；

2)構(gòu)建Fisher鑒別函數(shù)F(w)作為粒子群優(yōu)化的適應(yīng)度函數(shù)；

3)給定核參數(shù)w的取值范圍(wmin,wmax)、種群規(guī)模m、加速常數(shù)c1和c2、最大進(jìn)化代數(shù)Tmax、最大限制速度Vmax、慣性權(quán)重ω和計(jì)算精度ε。

4)隨機(jī)產(chǎn)生初始群體，計(jì)算個(gè)體適應(yīng)度值Fp和種群整體適應(yīng)度值Fg；

5)對粒子的位置和速度進(jìn)行更新；

6)判斷迭代次數(shù)t是否達(dá)到最大進(jìn)化代數(shù)Tmax或評價(jià)值小于給定精度ε。如果達(dá)到最大進(jìn)化代數(shù)Tmax或評價(jià)值小于給定精度ε，得到最優(yōu)核參數(shù)w；

7)利用優(yōu)化的核函數(shù)實(shí)現(xiàn)KICA算法。

輸出：根據(jù)z=Wx分離出相互獨(dú)立的信號。

4 案例分析

由于自行火炮發(fā)動(dòng)機(jī)工作條件復(fù)雜多變、工作環(huán)境相對惡劣，對其進(jìn)行狀態(tài)監(jiān)測往往采用油液分析方法提取潤滑油中金屬元素的成分和濃度。然而，油液數(shù)據(jù)大多具有高維、非線性特點(diǎn)，不利于進(jìn)一步的分析處理，人們往往采用降維的手段對其進(jìn)行分析處理。

為驗(yàn)證上述所建立的基于粒子群優(yōu)化算法的核獨(dú)立分量分析技術(shù)的可行性和有效性，采用油液光譜分析的監(jiān)測方式采集某型發(fā)動(dòng)機(jī)潤滑油中各元素的濃度為狀態(tài)信息[15]。筆者重點(diǎn)收集了該發(fā)動(dòng)機(jī)潤滑油中鐵、鋁、鉛、硼、鋇、鉻、鎂、硅等8種元素濃度值。圖3是原始的油液光譜分析數(shù)據(jù)散點(diǎn)圖(由于篇幅所限僅給出Fe元素和Al元素的濃度散點(diǎn)圖)。

圖3 Fe元素和Al元素濃度散點(diǎn)圖Fig.3 Graphical of iron and aluminum oil concentration records

基于油液濃度數(shù)據(jù)，采用PSO算法對KICA中的高斯徑向基核函數(shù)參數(shù)進(jìn)行優(yōu)化，確定KICA分析的最優(yōu)核函數(shù)，參數(shù)收斂過程如圖4所示?？梢姡?dāng)核函數(shù)參數(shù)進(jìn)化到50代時(shí)，適應(yīng)度函數(shù)已收斂到規(guī)定的精度要求并逐漸趨于穩(wěn)定，且核函數(shù)寬度也逐漸收斂于1。即當(dāng)高斯徑向基核函數(shù)σ=1.07時(shí)，適應(yīng)度函數(shù)F(w)取得最優(yōu)值為3.428 6。

圖4 基于PSO的高斯徑向基核函數(shù)參數(shù)優(yōu)化Fig.4 Parameter optimizion of gausion kernel function based on PSO

圖5 油液濃度數(shù)據(jù)特征降維結(jié)果Fig.5 Feature dimension reducing result of oil concentration data

圖6 原始油液梯度數(shù)據(jù)投影和梯度數(shù)據(jù)KICA投影Fig.6 Projective and KICA projective chart of oil concentration data

得到最優(yōu)核函數(shù)之后，根據(jù)前述降維算法對發(fā)動(dòng)機(jī)油液濃度數(shù)據(jù)進(jìn)行降維分析與處理，得到了3個(gè)獨(dú)立主成分，如圖5所示。圖6a)是油液濃度數(shù)據(jù)進(jìn)行PSO-KICA算法降維后，前3個(gè)獨(dú)立成分在空間的投影圖，可見各個(gè)分量之間具有較好的獨(dú)立性。而未經(jīng)KICA分析處理的原始數(shù)據(jù)則存在較大的相關(guān)性，如圖6b)所示。利用PSO-KICA算法對油液濃度數(shù)據(jù)進(jìn)行處理的過程表明，該算法不僅避免了核函數(shù)參數(shù)選擇過程的盲目性，而且實(shí)現(xiàn)了高維非線性數(shù)據(jù)的降維，得到了相互獨(dú)立的特征分量。

5 結(jié) 語

針對KICA特征降維算法在核函數(shù)參數(shù)的選擇上存在的問題，利用PSO算法實(shí)現(xiàn)了核函數(shù)參數(shù)的優(yōu)化，建立了基于PSO-KICA的特征降維算法。通過對某自行火炮發(fā)動(dòng)機(jī)油液濃度數(shù)據(jù)進(jìn)行降維處理，達(dá)到了基于PSO-KICA降低特征向量的維數(shù)的目的，驗(yàn)證了該方法用于特征降維的可行性和有效性。

參考文獻(xiàn)/References:

[1] JARDINE A K S,LIN D,BANJEVIC D. A review on machinery diagnostics and prognostics implanting condition-based maintenance[J]. Mechanical System and Signal Processing， 2006, 20(1): 1 483-1 510.

[2] ABRAHAM B,MEROLA G. Dimensionality reduction approach to multivariate prediction[J]. Computational Statistics and Data Analysis, 2005, 48(1):5 016.

[3] 歐陽曉黎，張延生，楊 軍. 復(fù)雜電子裝備智能故障診斷方法[J]. 河北科技大學(xué)學(xué)報(bào), 2004,25(2):42-49.

OUYANG Xiaoli，ZHANG Yansheng，YANG Jun. The intelligent fault diagnosis methods for complex electronic equipments[J]. Journal of Hebei University of Science and Technology, 2004, 25(2):42-49.

[4] COMON P. Independent component analysis-a new concept[J]. Signal Processing， 1994(36):287-314.

[5] 胥永剛, 李 強(qiáng), 王正英, 等. 基于獨(dú)立分量分析的機(jī)械故障信息提取[J]. 天津大學(xué)學(xué)報(bào), 2006, 39(9) :1 066-1 071.

一篇好的文章，里面的語法必須要使用規(guī)范。學(xué)生在英語寫作當(dāng)中必須要注意語法的使用，如果出現(xiàn)了語法錯(cuò)誤，那么整個(gè)句子就達(dá)不到所要表達(dá)的意思，當(dāng)然，所有的章節(jié)也會(huì)失去本身的含義。

XU Yonggang, LI Qiang, WANG Zhengying, et al. Fault information extraction of mechanical equipment based on independent component analysis[J]. Journal of Tianjin University， 2006, 39(9):1 066-1 071.

[6] FAUVEL M,CHANUSSOT J,BENEDIKTSSON J A. Kernel principal component analysis for feature reduction in hyperspectral images analysis[A]. Proceedings of the 7th Nordic[C].[S.l.]: Signal Processing Symposium, 2006.238-241.

[7] XU Anbang, JIN Xin, GUO Ping. KICA feature extraction in application to FNN based image registration[A]. 2006 International Joint Conference on Neural Networks[C].[S.l.]:[s.n.], 2006.3 602-3 608.

[8] 高 峰，武 睿，劉南平.基于自適應(yīng)蚊群算法的無線傳感器網(wǎng)絡(luò)能量優(yōu)化[J]. 河北工業(yè)大學(xué)學(xué)報(bào), 2010,39(16):4-7.

GAO Feng,WU Rui,LIU Nanping.An approachto WSN energy optimization based on self-adaptive ant colony algorithm[J]. Journal of Hebei University of Technology, 2010,39(6):4-7.

[9] 李正濤,趙環(huán)宇,馬獻(xiàn)果. 應(yīng)用粒子群算法從已知數(shù)據(jù)中確定置信測度和似然測度[J]. 河北科技大學(xué)學(xué)報(bào),2011, 32(2): 128-132.

[10] BACH F R, JORDAN M I. Kernel independent component analysis[J]. Machine Learning Research, 2002(3): 1-48.

[11] 何學(xué)文. 基于支持向量機(jī)的故障智能診斷理論與方法研究[D]. 長沙：中南大學(xué), 2004.

HE Xuewen. Research on Fault Intelligent Theory Based on SVM [D]. Changsha： Central South University, 2004.

[12] KENNEDY J,EBERHART R. Particle swarm optimization[A]. Proc IEEE Int'l Conf on Neural Networks, IV. Piscataway[C]. NJ: IEEE Servive Center, 1995. 1 942-1 948.

[13] 魏秀業(yè). 基于粒子群優(yōu)化的齒輪箱智能故障診斷研究[D]. 太原：中北大學(xué),2009.

WEI Xiuye. Study on Intelligent Fault Diagnosis of Gearbox Based on Particle Swarm Optimization [D]. Taiyuan：North University of China, 2009.

[14] 褚蕾蕾, 陳綏陽, 周 夢，等. 計(jì)算智能的數(shù)學(xué)基礎(chǔ)[M]. 北京: 科學(xué)出版社, 2002.

CHU Leilei, CHEN Suiyang, ZHOU Meng，et al. Mathematics Foundation of Computation Intelligent[M]. Beijing: Science Press, 2002.

[15] 陳 麗. 基于狀態(tài)的維修模型及應(yīng)用研究[D]. 石家莊：軍械工程學(xué)院,2009.

CHEN Li. Condition Based Maintenance Model and Application[D]. Shijiazhuang ：Ordance Engeerning College, 2009.