基于改進(jìn)NSGA3的焊接缺陷評估特征選擇

李 波, 周家豪, 劉民岷, 朱品朝

(1. 電子科技大學(xué)航空航天學(xué)院, 四川 成都 611731; 2. 飛行器集群智能感知與協(xié)同控制四川省 重點實驗室, 四川 成都 611731; 3. 四川成焊寶瑪焊接裝備工程有限公司, 四川 成都 610052)

0 引 言

新能源汽車電池包底盤作為典型的大尺寸鋁合金薄壁零件,其外殼封裝的連續(xù)性、一致性嚴(yán)重影響著整套電池組的一致性與安全性。且薄壁鋁合金材料熔點低、導(dǎo)熱系數(shù)大,導(dǎo)致其在焊接過程中極易產(chǎn)生焊接缺陷?；趩蝹鞲性吹暮附尤毕葑R別在信息的全面性和可靠性方面存在著不足,例如電弧電信號傳感易受高頻磁場干擾,電弧聲音傳感易受環(huán)境噪聲干擾。因此,基于多源信息融合的焊接缺陷識別已逐漸成為熱點。但隨著數(shù)據(jù)規(guī)模的增加,高維的特征集帶來了維數(shù)災(zāi)難問題。

特征選擇是數(shù)據(jù)降維的方法之一,依據(jù)某種標(biāo)準(zhǔn)從原始特征集中選擇出最優(yōu)的特征子集解決維數(shù)災(zāi)難?；谛畔⒄摰奶卣鬟x擇方法可直接從數(shù)據(jù)中提取有價值的信息,是特征選擇算法中的研究熱點。其利用不同的啟發(fā)式過濾器來衡量特征的重要性，主要可分為① 最小化冗余信息的算法，如互信息特征選擇(mutual information feature selection, MIFS)，最小冗余最大相關(guān)(minimum redundancy maximum relevance, MRMR)，條件互信息(conditional mutual information，CMI)，條件最大熵特征提取(conditional infomax feature extraction, CIFE)，快速過濾特征選擇算法等；② 基于三維交互信息的算法,如聯(lián)合互信息最大化，雙輸入對稱相關(guān)(double input symmetrical relevance, DISR), 最大相關(guān)最大獨立(max-relevance and max-independence, MRI)算法，特征相關(guān)性分解(composition of feature relevancy, CFR)，動態(tài)變化特征選擇(dynamic change of selected feature, DCFS)等。MIFS算法在特征選擇階段同時考慮特征集的相關(guān)性與冗余性，利用參數(shù)來衡量相關(guān)與冗余的相對重要程度，但參數(shù)依賴于專家的判斷。文獻(xiàn)[8-9]對MIFS進(jìn)行了改進(jìn)，利用歸一化的互信息取代了原有的互信息，性能表現(xiàn)優(yōu)于MIFS。MRMR將參數(shù)量化為所選特征數(shù)量的倒數(shù),其認(rèn)為選擇的特征越多,特征冗余的影響就越小。上述方法的冗余評價標(biāo)準(zhǔn)是根據(jù)候選特征和選定子集的特征之間的互信息值計算的,忽視特征與類標(biāo)簽之間的冗余關(guān)系。由此產(chǎn)生了諸如CMI和CIFE為代表的考慮類標(biāo)簽信息的最小化冗余算法。但這類方法忽略了特征之間的交互信息,因此特征子集的質(zhì)量會受到影響。因此,融合冗余分析與交互信息的算法被提出,代表性的算法有MRI,CFR,DISR。這些方法的實質(zhì)是預(yù)先設(shè)置冗余參數(shù)、互補(bǔ)參數(shù)來衡量冗余、互補(bǔ)的重要程度,并由此構(gòu)建一個啟發(fā)式過濾器進(jìn)行特征選擇。因而存在兩個問題,一是參數(shù)和的預(yù)設(shè)依賴于專家經(jīng)驗,二是這些方法采用貪心思想進(jìn)行特征選擇,容易導(dǎo)致算法陷入局部最優(yōu)陷阱,從而無法選出質(zhì)量最優(yōu)的特征子集。

特征選擇本質(zhì)上是一個多目標(biāo)優(yōu)化問題,利用多目標(biāo)優(yōu)化求解特征選擇問題不僅可以避免局部最優(yōu)陷阱,同時也避免了預(yù)設(shè)參數(shù)的不確定性。因此,近幾年涌現(xiàn)出許多基于多目標(biāo)優(yōu)化的特征選擇方法。Kozodoi等人將最大化期望利潤與最小化特征數(shù)量作為目標(biāo)函數(shù)進(jìn)行特征選擇。Singh等人基于非支配排序遺傳算法-Ⅱ((non dominated sorting genetic algorithm-Ⅱ, NSGA2))通過最小化分類誤差與特征數(shù)量解決電能質(zhì)量擾動分類中特征選擇的問題。Mlakar等人提出了一種多目標(biāo)包裹式特征選擇方法,該方法以特征集維度最小、分類準(zhǔn)確率最高為目標(biāo)函數(shù)進(jìn)行特征選擇。Amoozegar等人提出一種基于粒子群的多目標(biāo)優(yōu)化算法,并以最小化分類誤差與特征數(shù)量為目標(biāo)進(jìn)行特征選擇。這些方法選擇特定分類器輸出的分類錯誤率對特征集進(jìn)行評價,這樣可以獲得在特定分類器上的優(yōu)秀性能,但在其他的分類器上不一定突出,并且在具有大量特征時計算成本很高。Labani等人提出了一種基于互信息的多目標(biāo)特征選擇算法,該方法可識別出一組與目標(biāo)類具有最小冗余和最大相關(guān)性的特征。Dong等人使用互信息來度量特征和標(biāo)簽集之間的相關(guān)性和特征之間的冗余度,提出一種基于兩粒子群的多目標(biāo)特征選擇方法。

基于互信息的多目標(biāo)特征選擇方法相較于基于分類錯誤率的多目標(biāo)特征選擇方法而言擁有更快的計算速度。但上述研究只是將互信息引入了多目標(biāo)優(yōu)化進(jìn)行求解,而多目標(biāo)迭代尋優(yōu)過程是將特征集作為整體進(jìn)行評估,其目標(biāo)函數(shù)與變異算子等應(yīng)做特殊的調(diào)整與設(shè)計。針對上述問題,本文提出一種基于改進(jìn)NSGA3的多目標(biāo)焊接缺陷評估特征選擇方法。該方法首先對特征集進(jìn)行相關(guān)、冗余和互補(bǔ)特性分析,再以冗余性最小,相關(guān)性與互補(bǔ)性最大為目標(biāo)建立多目標(biāo)特征選擇優(yōu)化模型;并基于相關(guān)、冗余和互補(bǔ)評價函數(shù)提出一種新的變異算子來引導(dǎo)變異過程;最后設(shè)計實驗將本文所提出的方法與其他特征選擇方法(NSGA3、DISR、CIFE)進(jìn)行性能對比分析。對比結(jié)果表明,本文提出的算法在特征子集維度和分類精度方面獲得了更好的性能。

1 模型建立

1.1 相關(guān)、冗余與互補(bǔ)分析

熵和互信息是信息論中兩個重要的概念。熵用來衡量隨機(jī)變量的不確定性,互信息則用來表征隨機(jī)變量之間的相關(guān)性,互信息值越大,兩個變量共享的信息越多,互信息與熵的關(guān)系如圖1所示,表達(dá)式為

(;)=()-(|)=()-(|)=()+()-(,)

(1)

式中：()和()代表變量與的熵；(,)代表和的聯(lián)合熵;(|)代表條件熵;(;)是和的互信息,其范圍處于[0,∞)。

圖1 熵與互信息Fig.1 Entropy and mutual information

在基于信息論的特征選擇中,特征與標(biāo)簽之間的互信息(;)用來衡量特征與標(biāo)簽的相關(guān)性,互信息值越大說明特征能為標(biāo)簽提供更多的信息,也就更為重要。對稱不確定性(symmetric uncertainty, SU)是對互信息的歸一化,可解決互信息對較大特征值的偏見問題,其值限定在[0,1]范圍內(nèi)。因此,利用對稱不確定性衡量特征與標(biāo)簽之間相關(guān)性,可表達(dá)為

(2)

但僅考慮特征與標(biāo)簽的相關(guān)性無法剔除冗余特征。同樣,利用特征與特征之間的對稱不確定性來衡量特征之間的冗余程度,可表達(dá)為

(3)

SU(,)的值越大,說明特征與特征之間冗余越大,該值為0則說明特征與特征之間相互獨立。但上述分析僅考慮了特征與標(biāo)簽的相關(guān)性、特征與特征之間的冗余性。而特征集作為一個整體,特征關(guān)于標(biāo)簽的聯(lián)合作用不容忽視。Gu等人利用特征之間的三維交互信息(;;)來衡量特征關(guān)于標(biāo)簽的聯(lián)合作用,可表達(dá)為

(;;)=(;|)-(;)

(4)

并基于對稱不確定性提出一種特征互補(bǔ)衡量準(zhǔn)則,表達(dá)為

(5)

If(,,)可以是正數(shù)、負(fù)數(shù)或者零。當(dāng)為正值時,說明特征與之間的協(xié)同信息大于各自信息總和,說明特征關(guān)于標(biāo)簽是互補(bǔ)的;當(dāng)為負(fù)值時,表示其關(guān)于標(biāo)簽提供了冗余信息;當(dāng)為零時,表明特征與關(guān)于標(biāo)簽獨立。

Gu等人以順序前向進(jìn)行特征選擇,迭代過程中為選定特征為待選特征,并利用式(5)對特征可帶來的互補(bǔ)信息進(jìn)行衡量。但多目標(biāo)迭代尋優(yōu)過程是將特征子集作為一個整體來進(jìn)行評估,而不再以貪心思想逐個檢查特征一次。因此,特征與之間的改進(jìn)的三維交互信息可表達(dá)為

((;)+(;))]

(6)

同樣,基于對稱不確定性提出特征與關(guān)于標(biāo)簽的互補(bǔ)衡量準(zhǔn)則IR(,,)表達(dá)為

(7)

1.2 構(gòu)建多目標(biāo)數(shù)學(xué)模型

根據(jù)上述的相關(guān)性、冗余和互補(bǔ)性分析,提出的特征集相關(guān)性評價函數(shù)表達(dá)為

(8)

式(8)計算了特征集中所有特征對標(biāo)簽的相關(guān)性貢獻(xiàn)度的總和。

特征集冗余性評價函數(shù)表達(dá)為

(9)

式(9)計算了特征集中每對特征之間的冗余度的總和。

特征集互補(bǔ)性評價函數(shù)表達(dá)為

(10)

式(10)計算了特征集中每對特征關(guān)于標(biāo)簽的協(xié)同互補(bǔ)能力的總和。

本文目的是選出一個特征集,實現(xiàn)特征集冗余性的最小化以及相關(guān)性、互補(bǔ)性的最大化。提出的多目標(biāo)優(yōu)化數(shù)學(xué)模型如下:

(11)

2 算法求解

NSGA3是NSGA2基礎(chǔ)上提出的一種基于參考點的多目標(biāo)優(yōu)化求解算法,NSGA3與NSGA2的根本區(qū)別在于面對非支配等級相同的個體時,所采用的選擇方式不同。NSGA2在面對非支配等級相同的個體時,優(yōu)先選擇擁擠度距離較大的個體。而NSGA3則基于參考點的方式對個體進(jìn)行選擇,在面對多個目標(biāo)時具有更好的收斂性和分布性。

但NSGA3算法側(cè)重于解決連續(xù)的多目標(biāo)優(yōu)化問題,而特征選擇問題是離散空間的組合優(yōu)化問題。因此,針對本文提出的多目標(biāo)數(shù)學(xué)模型,對求解算法的編碼策略、變異算子進(jìn)行設(shè)計,提出了一種基于改進(jìn)NSGA3的多目標(biāo)模型求解算法。

2.1 編碼規(guī)則

對于基于實數(shù)編碼的多目標(biāo)優(yōu)化特征選擇,利用閾值將實數(shù)編碼轉(zhuǎn)化為二進(jìn)制編碼,并由此決定當(dāng)前特征是否被選中。對于具有個特征的特征集(),其實數(shù)編碼與二進(jìn)制編碼轉(zhuǎn)化方式如圖2所示。染色體長度為初始特征集大小,實數(shù)編碼染色體(1)中特征編碼取值范圍為[0,1]。當(dāng)前特征實數(shù)編碼值大于閾值時,對應(yīng)的二進(jìn)制編碼為1,表示選擇了當(dāng)前特征;反之,二進(jìn)制編碼為0,表示未選擇當(dāng)前特征。閾值的大小會影響特征子集的維度與分類能力,通常認(rèn)為<05時特征子集能獲得更高的分類性能,當(dāng)>05時特征子集維度更小。本文將閾值設(shè)為05以平衡特征子集維度與分類能力。對種群中個體而言,所有二進(jìn)制編碼為1的特征組成了當(dāng)前個體所代表的特征子集,按式(8)～式(10)可求得該個體的相關(guān)、冗余以及互補(bǔ)性適應(yīng)值。

圖2 二進(jìn)制編碼Fig.2 Binary coding

2.2 自適應(yīng)概率變異算子

NSGA3采用多項式變異算子對實數(shù)編碼的染色體進(jìn)行突變。這種方法存在兩個問題,其一是該操作可能產(chǎn)生大量重復(fù)的個體,如圖3所示,當(dāng)選擇個體的第二個基因進(jìn)行突變時,生成了與父代相同的個體;其二是可能導(dǎo)致特征集中對標(biāo)簽貢獻(xiàn)性強(qiáng)的基因被丟棄,而貢獻(xiàn)性弱的基因被選擇,從而產(chǎn)生了質(zhì)量較差的后代。

圖3 NSGA3突變操作Fig.3 NSGA3 mutation operation

本文提出一種改進(jìn)的變異算子,該算子基于特征集的相關(guān)、冗余及互補(bǔ)能力去引導(dǎo)基因突變,提高貢獻(xiàn)度高的特征被選擇的概率,如算法1所示。該方法首先將特征根據(jù)其二進(jìn)制編碼是否為1分為與,如圖4所示。

算法 1 自適應(yīng)概率變異算子輸入 種群個體A,變異概率Pm輸出 變異個體B1:[Xi,Xj]=divide(A);2:Xk=?;3:for each f∈Xi4: if(SU(f,C)>max r)5: max r=SU(f,C);∥相關(guān)性最大值6: end7:end8:for each f∈Xi9: rand p=rand(0,1);10: ifp

11: x(f)=rand(0,1);∥進(jìn)行變異操作12: if(x(f)>σ)13: Xk=Xk∪f;14: end15: end16:end17:cms=getcm(Xj);∥獲取聚類18:for each cm∈cms19: for each f∈cm∥互補(bǔ)性最大值20: max c=max(max c,F(Xk,f));21: end22: for each f∈cm23: rand p=rand(0,1);24: ifpσ)27: num=num+1;28: end29: end30: end31: end

圖4 劃分基因集合Fig.4 Compartmentalizing gene sets

對于特征集,按式(2)計算特征與標(biāo)簽的相關(guān)性,并記最大相關(guān)性為max?；诖颂岢鲆环N自適應(yīng)變異概率sa_,如下式所示:

(12)

當(dāng)特征相關(guān)性越強(qiáng)時,變異概率sa_越小,因此可以更好地保護(hù)相關(guān)性強(qiáng)的特征。變異完成后二進(jìn)制編碼仍為1的特征被保留到集合中。

對于中的特征,首先按如下步驟進(jìn)行聚類:① 計算中兩兩特征之間的冗余度,形成冗余度矩陣,矩陣中(,)表示中特征與特征的冗余度;② 計算矩陣的中位數(shù)Med,構(gòu)建特征矩陣如下：

(13)

其中,(,)為1表示基因所代表的特征與基因所代表的特征具有較強(qiáng)的冗余關(guān)系。由此可將中的特征分為不同的聚類集合cm,cm,…,cm,為聚類集合數(shù)量,同一聚類集中的特征具有較強(qiáng)冗余。

聚類后,對每個聚類cm,求其內(nèi)特征與集合關(guān)于標(biāo)簽的互補(bǔ)能力:

(14)

并記聚類中能提供的最大互補(bǔ)值為max?；诖颂岢鲆环N自適應(yīng)變異概率，如下式所示：

(15)

其中,num用以衡量當(dāng)前特征帶來的冗余,初始為1,每當(dāng)該聚類中一個特征的二進(jìn)制編碼變異為1時num加1。由式(15)可知,sa_變異概率由具體的特征決定,特征能提供更大的互補(bǔ)能力時sa_偏大,特征會進(jìn)一步增強(qiáng)特征集冗余時sa_值偏小。

綜上所述,提出的自適應(yīng)概率變異算子可表達(dá)為

(16)

綜合考慮了特征集的相關(guān)、冗余和互補(bǔ)能力,賦予相關(guān)性、互補(bǔ)性大的特征更大的選中概率,冗余特征更小的選中概率,能夠有效提高算法的搜索能力。

2.3 改進(jìn)的NSGA3總體流程

本文基于改進(jìn)的NSGA3算法求解特征選擇問題,具體流程描述如下。

編碼與初始化種群:首先定義一組參考點,然后隨機(jī)生成大小為pop的初始種群,并按編碼規(guī)則形成二進(jìn)制編碼。

選擇操作:計算出與每個個體距離最近的參考點,并基于Niche-Preservation操作進(jìn)行個體篩選,使個體數(shù)量等于pop。

交叉操作:對種群中個體進(jìn)行交叉操作,并放入。

變異操作:基于自適應(yīng)概率變異算子引導(dǎo)種群的突變過程,變異個體加入。

合并操作:合并種群、、生成新種群+1。

終止條件:如果達(dá)到算法最大迭代次數(shù),則流程結(jié)束,否則=+1,并重復(fù)步驟2。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

新能源汽車電池包底盤作為典型的大尺寸鋁合金薄壁零件,其焊接過程中易發(fā)生燒穿等焊接缺陷,如圖5所示。

圖5 燒穿Fig.5 Burn through

而單一地使用某種特征來實現(xiàn)焊接缺陷識別,在信息的全面性和多元性上存在著不足。因此,對電弧電信號以及電弧聲音信號的多個特征進(jìn)行了提取,提取方法如下:

(1) 對電弧電信號做自適應(yīng)噪聲完備集合經(jīng)驗?zāi)B(tài)分解(complete ensemble empirical mode decomposition with adaptive noise, CEEMDAN),分解得到的本征模態(tài)函數(shù)(intrinsic mode function,IMF)如圖6所示。進(jìn)一步,利用皮爾遜相關(guān)系數(shù)求分解得到的各IMF與輸入信號之間的關(guān)系,并由此確定出與焊接缺陷密切相關(guān)的IMF分量,記為敏感IMF,本文共計選取4個敏感IMF。對所有敏感IMF提取如表1所示的特征參數(shù),共計44維。

圖6 CEEMDAN分解結(jié)果Fig.6 CEEMDAN decomposition results

表1 電信號特征參數(shù)

(2) 將電弧聲音信號經(jīng)小波閾值去噪后,提取其12維的梅爾頻率倒譜系數(shù)(Mei-freguency cepstral coefficients, MFCC),及其一階差分系數(shù)12維,二階差分系數(shù)12維。其中,MFCC一階差分系數(shù)可視化結(jié)果如圖7所示。

圖7 ΔMFCC可視化結(jié)果Fig.7 ΔMFCC visualization results

綜上所述,共計構(gòu)建了包含80維特征的高維特征集合。然而,由電弧電信號和電弧聲音信號特征所組成的高維特征集合雖然在信息描述上更為全面、多元,但也不可避免地帶來了特征冗余問題。為剔除冗余、無關(guān)特征,求出最優(yōu)特征子集,首先利用本文所建立的多目標(biāo)特征選擇模型,對高維特征集合的相關(guān)性、冗余性和互補(bǔ)性進(jìn)行定量描述;然后,基于改進(jìn)的NSGA3算法對數(shù)學(xué)模型進(jìn)行求解。本文中所有計算均采用編程實現(xiàn),實驗條件為Intel(R) Core(TM) i5-9300H CPU @2.4 GHz/16 GB/Windows 10/Matlab R2019。算法種群規(guī)模設(shè)置為100,最大迭代次數(shù)為100,交叉概率為0.8,變異概率為0.4。實驗采用交叉驗證的方式,將80%的數(shù)據(jù)樣本作為訓(xùn)練集進(jìn)行模型訓(xùn)練,將20%的數(shù)據(jù)樣本作為測試集進(jìn)行測試,并交替輪換共進(jìn)行5次訓(xùn)練與驗證,最終取5次實驗的結(jié)果的平均值作為衡量模型準(zhǔn)確性的指標(biāo)。本文選取了廣泛使用的支持向量機(jī)作為分類器開展實驗。

3.2 實驗結(jié)果分析

利用改進(jìn)的NSGA3算法對模型進(jìn)行求解所得到的結(jié)果如圖8所示,其中3個坐標(biāo)軸分別表示特征集相對于標(biāo)簽的相關(guān)性的相反數(shù)、冗余性、互補(bǔ)性的相反數(shù)。可以看出,特征集相關(guān)性與互補(bǔ)性偏大時,往往冗余性同樣偏大,即相關(guān)性最大、冗余度最小、互補(bǔ)性最大為一組具有矛盾關(guān)系的目標(biāo),此時算法會得到一組非支配解。

圖8 改進(jìn)的NSGA3算法的非支配解分布Fig.8 Improved NSGA3 algorithm for non-dominated solution distribution

改進(jìn)的NSGA3算法3個目標(biāo)函數(shù)隨種群進(jìn)化代數(shù)的變化如圖9所示,圖中從上到下的線條分別代表對應(yīng)適應(yīng)值的最大值、平均值和最小值。

圖9 特征集目標(biāo)變化情況分析Fig.9 Analysis of changes in feature set targets

從圖9可以看出隨著進(jìn)化代數(shù)的增加,特征集的相關(guān)性、冗余度和互補(bǔ)性3個目標(biāo)函數(shù)都趨于平穩(wěn)。在迭代50代之后基本達(dá)到收斂狀態(tài),這是由于此后種群的個體均為非支配解。

為考察改進(jìn)的NSGA3算法的特征選擇效果,本文選擇了3種先進(jìn)的特征選擇方法(NSGA3、DISR、CIFE)作為對比方法開展了分析。本文通過分類準(zhǔn)確率與特征子集的大小來驗證改進(jìn)的NSGA3算法的性能。如圖10所示,與DISR、CIFE相比,改進(jìn)的NSGA3算法選擇的最佳特征子集大小與分類性能上皆占優(yōu)。這是因為DISR、CIFE實際上屬于貪心搜索方法,在選擇特征時沒有充分考慮特征之間的相互作用,而特征一旦被選定就無法修改,容易陷入局部最優(yōu)陷阱。改進(jìn)的NSGA3算法的表現(xiàn)同樣優(yōu)于NSGA3算法,這是因為新的突變算子通過提高貢獻(xiàn)度高的特征被選擇的概率,降低冗余與不相關(guān)特征被選擇的概率,加強(qiáng)了算法的搜索能力,能夠得到質(zhì)量更高的特征集。

圖10 特征子集分類準(zhǔn)確率比較Fig.10 Comparison of classification accuracy of feature subsets

4 結(jié) 論

本文基于信息論對特征子集的相關(guān)、冗余、互補(bǔ)性進(jìn)行了目標(biāo)函數(shù)式的描述,提出了一種基于改進(jìn)NSGA3算法的多目標(biāo)特征選擇方法。該方法充分考慮了特征子集之間的冗余互補(bǔ)信息,提出一種自適應(yīng)概率的變異算子來引導(dǎo)變異過程,對焊接缺陷評估應(yīng)用中出現(xiàn)的高維特征子集進(jìn)行約簡并提高特征子集的數(shù)據(jù)質(zhì)量。為了驗證改進(jìn)的NSGA3算法的有效性,在支持向量機(jī)上利用分類指標(biāo)對特征子集進(jìn)行了全面的評估。實驗結(jié)果表明,改進(jìn)的NSGA3算法在特征子集維度與焊接缺陷評估準(zhǔn)確率上優(yōu)于NSGA3、DISR、CIFE方法。