基于多層感知機(jī)的密封繼電器PIND信號識別

李 響 蔣愛平 楊世華 薛永越 王國濤，2

(1.黑龍江大學(xué)電子工程學(xué)院，哈爾濱 150008;2.哈爾濱工業(yè)大學(xué)電器與電子可靠性研究所，哈爾濱 150001;3.上海航天設(shè)備制造總廠有限公司，上海 200245)

1 引 言

在密封電子元器件的生產(chǎn)過程中，由于設(shè)計(jì)水平工藝條件的限制，會(huì)由于各種外界原因，引入材質(zhì)不同大小不一的多余物顆粒[1]。某些多余物顆粒在航天繼電器使用之前的各項(xiàng)檢測中未被檢測出來，殘留在腔體內(nèi)部的某個(gè)部位未被發(fā)現(xiàn)。在航天使用的過程中，由于受到外界環(huán)境的影響被激活，游離于腔體內(nèi)，對器件產(chǎn)生嚴(yán)重危害[2～4]。一旦未檢測出密封繼電器內(nèi)的多余物就會(huì)造成不可預(yù)知的影響。在目前的設(shè)計(jì)水平、工藝條件下很難完全避免多余物的產(chǎn)生。因此，在密封電子元器件使用之前對其進(jìn)行多余物檢測可以較好地提高設(shè)備和模塊的工作可靠性，降低故障率。

現(xiàn)階段使用的相關(guān)鑒定方法主要包括：顯微鏡觀察法、X光照相法、MATARA方法及微粒碰撞噪聲檢測(Particle Impact Noise Detection，PIND)法等[5]。其中，PIND檢測方法是目前主要的檢測方法，經(jīng)常用于各種密封電子元器件的出廠檢測[6]。經(jīng)過長期的發(fā)展和完善，該檢測方法日漸成熟，但是PIND方法的檢測精度并不理想，有多種影響因素，其中組件信號干擾是導(dǎo)致檢測精度不高的重要原因[7]。組件信號是在外部正弦振動(dòng)激勵(lì)下，試件內(nèi)部可動(dòng)部件產(chǎn)生受迫振動(dòng)而檢測到的固有機(jī)械信號。

學(xué)者前期在對PIND試驗(yàn)方法進(jìn)行拓展研究時(shí)，發(fā)現(xiàn)組件信號具有時(shí)域上周期性的變化[8]。高宏亮在前人研究的基礎(chǔ)上，進(jìn)一步針對航天繼電器多余物檢測中組件信號展開了研究，同樣認(rèn)為組件脈沖總是等周期的出現(xiàn)。基于該特性，認(rèn)為得到對應(yīng)脈沖發(fā)生時(shí)刻序列近似為等差序列，時(shí)間間隔序列則近似為常數(shù)序列[9]。烏英嘎等對組件信號頻譜特性做過進(jìn)一步的研究，認(rèn)為組件信號的頻譜相對于多余物信號較窄[10]。

目前針對組件信號與多余物信號的檢測方法，只是依靠單一時(shí)域特性(周期性)的相似度進(jìn)行聚類。但大量實(shí)驗(yàn)數(shù)據(jù)表明,單個(gè)組件信號脈沖特征不論在時(shí)域還是頻域和多余物信號脈沖特征的相似程度較高,區(qū)分二者較為困難；另外，以往對密封電子元器件組件信號的研究和分類不夠深入，認(rèn)為組件信號的表現(xiàn)形式僅為不同周期內(nèi)連續(xù)存在的單組脈沖序列，而實(shí)際上要復(fù)雜的多；這些因素都會(huì)導(dǎo)致某些組件信號被誤判為多余物信號。并且跟據(jù)檢測現(xiàn)場的統(tǒng)計(jì)結(jié)果，目前廣泛使用的4511系列和DZJC系列多余物檢測系統(tǒng)，對多余物信號和組件信號的識別準(zhǔn)確率約為75%，誤判率較高。為降低組件信號和多余物信號的誤識別率，提高多余物檢測精度，本文在總結(jié)前人研究的基礎(chǔ)上，分析現(xiàn)存有待解決的問題，提出了以下的識別方法。

文中提出一種基于多層感知機(jī)神經(jīng)網(wǎng)絡(luò)的多維條件下密封繼電器PIND信號識別方法，首先對多余物信號和組件信號的產(chǎn)生原理進(jìn)行分析并其進(jìn)行信號特征提取和選擇。然后建立了基于多層感知機(jī)的密封繼電器PIND信號識別模型，并根據(jù)多維條件下影響密封繼電器PIND信號檢測準(zhǔn)確度變動(dòng)數(shù)據(jù)的具體特征，對神經(jīng)網(wǎng)絡(luò)模型采取網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化和參數(shù)針對性調(diào)整。最后使用測試樣本集進(jìn)行改進(jìn)后模型的驗(yàn)證，實(shí)驗(yàn)結(jié)果驗(yàn)證了該模型的準(zhǔn)確性和有效性。

2 試驗(yàn)數(shù)據(jù)的獲取

本文使用的數(shù)據(jù)集是由元器件生產(chǎn)方提供的檢測數(shù)據(jù)和研究人員自行采集的試驗(yàn)數(shù)據(jù)共同組成的。所有試驗(yàn)數(shù)據(jù)均使用哈爾濱工業(yè)大學(xué)設(shè)計(jì)的DZJC-III型多余物自動(dòng)檢測系統(tǒng)采集，該系統(tǒng)如圖1所示。在檢測系統(tǒng)中對傳入的被檢測聲音信號進(jìn)行處理，建立檢測信號的數(shù)據(jù)樣本集[7]。

圖1 DZJC-III型多余物自動(dòng)檢測系統(tǒng)

3 多余物信號與組件信號的特征分析

3.1 多余物信號與組件信號介紹

多余物信號是已經(jīng)被激活多余物微粒與密封電子元器件內(nèi)部相關(guān)組成機(jī)構(gòu)或密封內(nèi)壁碰撞產(chǎn)生的。振動(dòng)發(fā)聲信號是通過聲發(fā)射傳感器以一定的電壓量表現(xiàn)出來的信號。在每次碰撞過程中，隨機(jī)產(chǎn)生一個(gè)單邊震蕩衰減的脈沖。多余物信號主要表現(xiàn)為隨機(jī)性的尖峰脈沖序列，單個(gè)脈沖呈單邊振蕩衰減趨勢，即脈沖初始幅值上升速度快，當(dāng)其達(dá)到一定峰值迅速衰減。

組件信號是密封電子元器件可動(dòng)組件自行振動(dòng)激活所產(chǎn)生的信號。組件信號主要表現(xiàn)為具有周期性尖峰脈沖序列，必須具有一定的起振過程才能使可動(dòng)部件被激活，當(dāng)外界沖擊消失，其又需要一定的時(shí)間才能回到靜止?fàn)顟B(tài)。典型的多余物信號脈沖序列和組件信號脈沖序列如圖2所示。

圖2 典型多余物信號脈沖序列和組件信號脈沖序列

由于多余物信號和組件信號有以上的差異，可以利用這些差異對二者進(jìn)行區(qū)分，分別從時(shí)域和頻域兩方面計(jì)算信號特征。

3.2 多余物信號與組件信號的特征選擇

對檢測系統(tǒng)提取到的脈沖信號由MATLAB程序，將脈沖處理成可用的數(shù)據(jù)，對數(shù)據(jù)清洗，去除異常值后進(jìn)行特征選擇。

在特征選擇中我們主要從以下角度考慮：特征是否發(fā)散;特征越發(fā)散對樣本的群分能力越強(qiáng)。特征與目標(biāo)的相關(guān)性;與目標(biāo)相關(guān)性高的特征，應(yīng)當(dāng)優(yōu)先選擇?？偟膩碚f特征選擇是選擇與目標(biāo)相關(guān)性強(qiáng)、且特征彼此間相關(guān)性弱的特征子集[11，12]。

我們分別從時(shí)域和頻域兩方面統(tǒng)計(jì)收集了近年來常用的且具有代表性的14個(gè)特征，并對這14個(gè)特征進(jìn)行特征選擇。本文選用了兩種方法分別是卡方檢驗(yàn)和基于樹模型的特征選擇方法。卡方檢驗(yàn)法的目標(biāo)就是檢驗(yàn)特征與分類目標(biāo)的相關(guān)性程度?？ǚ綑z驗(yàn)值越大，相關(guān)性越強(qiáng)。選用基于樹模型的特征選擇方法目的是計(jì)算每個(gè)特征對模型的重要程度。試驗(yàn)結(jié)果如圖3所示。由圖可知特征zerorate在卡方檢驗(yàn)中得分最高，說明其與分類目標(biāo)的相關(guān)性最強(qiáng)。MSFcha特征對于模型分類準(zhǔn)確度影響最為重要。

圖3 特征選擇結(jié)果圖

本文還嘗試采用PCA對數(shù)據(jù)特征進(jìn)行了數(shù)據(jù)降維，用處理后的四維特征數(shù)據(jù)進(jìn)行模型訓(xùn)練后發(fā)現(xiàn)，雖然整體的準(zhǔn)確率有所提高，但是多余物信號的召回率、精度、以及F1-score值都明顯低于經(jīng)過卡方檢驗(yàn)和基于樹模型所選出的特征所進(jìn)行訓(xùn)練后的結(jié)果。在分類器模型評價(jià)時(shí)，僅選用準(zhǔn)確率這一單一評價(jià)指標(biāo)不足以表明分類器的提升程度和整體性能。并且PCA方法所獲得的主成分特征的物理意義不明確，對后續(xù)研究的特征工程不能給出很好的啟示作用。因此本文在特征選擇方面沒有使用PCA方法。

表1 結(jié)果對比Tab.1 Comparisonofresults方法類別PrecisionRecallF1-scoreAccuracy卡方檢驗(yàn)和基于樹模型多余物0.870.700.7887.1%PCA多余物0.520.130.2189.3%

如表1所示，通過對比分析試驗(yàn)結(jié)果且綜合考慮各個(gè)特征的區(qū)分度和計(jì)算速度，選取出了以下四個(gè)特征分別為頻譜質(zhì)心s、頻率均方根MSFcha、峰值因子bf、過零率Zerorate。

頻譜質(zhì)心s表現(xiàn)了信號脈沖的集中程度和集中位置如公式(1)所示：

(1)

式中：f2——頻譜下限截止頻率；f1——頻譜下限截止頻率；f——信號脈沖；X(f)——信號的頻率幅度譜。

頻率均方根MSFcha即對單個(gè)脈沖的頻譜數(shù)據(jù)計(jì)算其具體的方差，其表示頻率對于其中心頻率的離散程度如公式(2)所示：

(2)

式中：PSD——已知功率譜密度的離散信號；N2、N1——分別是起始和終止信號。

峰值因子bf表現(xiàn)了峰值在波形中的極端程度如公式(3)所示：

(3)

式中：Vmax——PIND信號的峰值電壓；VRMS——PIND信號的電壓有效值。

過零率Zerorate表示單位時(shí)間內(nèi)信號通過零點(diǎn)的次數(shù)如公式(4)所示：

(4)

式中：N——一幀的長度；sgn[]——符號函數(shù)；Sω(n)——輸入信號。

4 模型的構(gòu)建與測試

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks)適合處理大型圖像等復(fù)雜的情況，特征維數(shù)多，數(shù)據(jù)量大的樣本。本文樣本數(shù)據(jù)數(shù)量以及特征維數(shù)較少，使用復(fù)雜的模型使得網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化，不僅增加了網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間，同時(shí)也更容易使模型出現(xiàn)過擬合現(xiàn)象。相對比多層感知機(jī)模型結(jié)構(gòu)更靈活，所實(shí)現(xiàn)功能更適合于本文樣本數(shù)據(jù)。

多層感知機(jī)(Multilayer Perceptron，MLP)的結(jié)構(gòu)如圖4所示，除了第一層的輸入層和最后一層的輸出層，它中間可以有多個(gè)隱含層，不同層之間是全連接的。多層感知機(jī)是一種誤差反向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)算法。在隱含層中通過選用不同的激活函數(shù)能夠給神經(jīng)元引入非線性因素，這樣可以將神經(jīng)網(wǎng)絡(luò)運(yùn)用到更多的非線性模型中。

圖4 多層感知機(jī)結(jié)構(gòu)圖

4.1 試驗(yàn)數(shù)據(jù)

本文使用的數(shù)據(jù)集是由元器件生產(chǎn)方提供的檢測數(shù)據(jù)和研究人員自行采集的試驗(yàn)數(shù)據(jù)共同組成的。每條數(shù)據(jù)由四個(gè)特征值和一個(gè)分類標(biāo)簽組成，經(jīng)過預(yù)處理后共包括196297組數(shù)據(jù)，其中多余物數(shù)據(jù)63611組，組件數(shù)據(jù)132686組，按3∶1的比例隨機(jī)抽取出訓(xùn)練集和測試集。數(shù)據(jù)集的具體描述如表2所示。

表2 樣本數(shù)據(jù)信息Tab.2 Sampledatainformation多余物個(gè)數(shù)組件個(gè)數(shù)總數(shù)訓(xùn)練集4770799515147222測試集159043317149075總數(shù)63611132686196297

在訓(xùn)練模型過程中要輸入多維特征數(shù)據(jù)，但由于特征性質(zhì)的不同，特征的數(shù)值范圍會(huì)相差很大，一些過大或過小的數(shù)據(jù)會(huì)影響模型的訓(xùn)練，從而影響分類結(jié)果。此外，數(shù)據(jù)分布范圍很廣也會(huì)影響訓(xùn)練結(jié)果。所以在訓(xùn)練模型前需要對原始特征數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理，以保證模型訓(xùn)練結(jié)果的準(zhǔn)確性。本文將特征中的數(shù)值進(jìn)行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，即轉(zhuǎn)換為標(biāo)準(zhǔn)的正態(tài)分布。其轉(zhuǎn)化函數(shù)為

X*=(x-μ)/σ

(5)

式中：X*——標(biāo)準(zhǔn)化后的值；x——原始數(shù)據(jù)值；μ——原始數(shù)據(jù)的均值；σ——原始數(shù)據(jù)的標(biāo)準(zhǔn)差。

最后得到的新的數(shù)據(jù)的均值就是0，方差1。

4.2 評價(jià)指標(biāo)

在分類器模型評價(jià)時(shí)，僅選用準(zhǔn)確率這一單一評價(jià)指標(biāo)不足以表明分類器的提升程度和整體性能，所以選用召回率(Recall)、精度(Precision)作為評價(jià)指標(biāo)。

Accuracy=(TP+TN)/(TP+FN+FP+TN)

(6)

式中：Accuracy——準(zhǔn)確率；TP——被正確分類的正類樣本數(shù)量；TN——被正確分類的負(fù)類樣本的數(shù)量；FN——被錯(cuò)誤分類的正類樣本的數(shù)量；FP——被錯(cuò)誤分類的負(fù)類樣本的數(shù)量。

Recall=TP/(TP+FN)

(7)

Precision=TP/(TP+FP)

(8)

則精度和召回率的調(diào)和均值F1-score:

F1-score=2×(Precision×Recall)/(precision+Recall)

(9)

由于召回率體現(xiàn)了分類模型對正類樣本的識別能力。在信號識別領(lǐng)域更加側(cè)重的是信號被正確檢測出的概率，也就是分類器模型評價(jià)指標(biāo)中的召回率。而F1-score相當(dāng)于精度和召回率的綜合評價(jià)指標(biāo)，它體現(xiàn)了分類模型的穩(wěn)健程度。綜上考慮，本文在評價(jià)分類模型性能時(shí)更加注重召回率和F1-score值的變化。

4.3 超參數(shù)的選擇

超參數(shù)是用來確定模型的一些參數(shù)。對于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練來說，超參數(shù)的選取起著極其重要的作用[13]。為了使網(wǎng)絡(luò)模型的結(jié)構(gòu)最優(yōu)，分類的準(zhǔn)確度最高，整體性能最好，本文對隱含層的層數(shù)、單層的節(jié)點(diǎn)數(shù)量(hidden-layer-sizes)、隱含層激活函數(shù)(activation)和權(quán)重優(yōu)化算法(solver)這四個(gè)常用影響參數(shù)進(jìn)行調(diào)優(yōu)。文中采用網(wǎng)格搜索法搜索多層感知機(jī)模型的最佳結(jié)構(gòu)，選取使模型性能最好的超參數(shù)組合。

首先對隱含層的層數(shù)進(jìn)行縱向?qū)Ρ冗x擇，不同隱含層數(shù)對分類結(jié)果的影響如表3所示。

表3 不同隱含層數(shù)模型結(jié)果對比Tab.3 Comparisonofdifferenthiddenlayermodelresults隱含層層數(shù)損失值準(zhǔn)確率10.357585.74%20.348985.94%30.345786.18%40.355385.70%

表3比較了隱含層的層數(shù)對感知機(jī)模型分類性能的影響。從表中可以看出，隨著層數(shù)的增加，由損失函數(shù)計(jì)算出的當(dāng)前損失值在逐漸減小，但當(dāng)層數(shù)為4時(shí)損失值上升。同時(shí)隨著層數(shù)的增加準(zhǔn)確率也在不斷的上升，但在層數(shù)為4時(shí)準(zhǔn)確率下降。這是因?yàn)殡S著隱含層層數(shù)的增加使得網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化，不僅增加了網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間，同時(shí)也更容易使模型出現(xiàn)過擬合現(xiàn)象。結(jié)合實(shí)驗(yàn)情況和實(shí)際情況綜合考慮，在隱含層數(shù)為2和3時(shí)總體性能接近。3層隱含層模型結(jié)構(gòu)較復(fù)雜，訓(xùn)練時(shí)間較長但性能提升效果不明顯，所以最終選擇隱含層層數(shù)為兩層。

然后對單層神經(jīng)元節(jié)點(diǎn)數(shù)目進(jìn)行選擇，在這里我們先對單層神經(jīng)元個(gè)數(shù)范圍進(jìn)行粗略選擇。運(yùn)用網(wǎng)格搜索法在神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)范圍為[20,211]內(nèi)進(jìn)行粗略尋優(yōu)，初步確定神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)的最佳范圍。實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 單一層神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)性能對比

由圖5可以看出神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)為512時(shí)模型整體準(zhǔn)確率最高，所以我們可以初步確定神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)最佳范圍為[450，550]。

最后采用網(wǎng)格搜索法對隱含層激活函數(shù)和權(quán)重優(yōu)化算法以及精細(xì)范圍神經(jīng)元個(gè)數(shù)進(jìn)行尋優(yōu)。

采用交叉驗(yàn)證方法對訓(xùn)練樣本進(jìn)行測試[14]，如表4所示。本文設(shè)置K=3，即3折交叉驗(yàn)證。經(jīng)過網(wǎng)格搜索法和交叉驗(yàn)證法對多層感知機(jī)在二分類任務(wù)中的超參數(shù)組合得到調(diào)優(yōu)結(jié)果。效果最好超參數(shù)(activation,solver,hidden-layer-sizes)分別為(relu,lbfgs,527)，在測試集上能達(dá)到的最高分類準(zhǔn)確率為87.1%。

表4 參數(shù)范圍選取Tab.4 Parameterrangeselection優(yōu)化參數(shù)名稱優(yōu)化參數(shù)范圍隱含層激活函數(shù)(activation)‘tanh’,‘relu’,‘logistic’權(quán)重優(yōu)化算法(solver)‘sgd’,‘a(chǎn)dam’,‘lbfgs’單層的節(jié)點(diǎn)數(shù)量(hidden-layer-sizes)(450,550)

4.4 試驗(yàn)結(jié)果

本文設(shè)定神經(jīng)網(wǎng)絡(luò)隱含層層數(shù)為2，單層神經(jīng)元個(gè)數(shù)為527，隱含層激活函數(shù)為relu，權(quán)重優(yōu)化算法為lbfgs的超參數(shù)組合對49075組測試集數(shù)據(jù)進(jìn)行分類。為了驗(yàn)證算法的有效性，同時(shí)也使用了機(jī)器學(xué)習(xí)中常用分類算法決策樹(DecisionTree)算法進(jìn)行測試。測試結(jié)果如表5所示。

表5 測試結(jié)果對比Tab.5 Comparisonoftestresults算法類別PrecisionRecallF1-scoreAccuracy多層感知機(jī)算法多余物0.870.700.78組件0.870.950.9187.1%決策樹算法多余物0.710.720.72組件0.820.810.8281.3%

通過對比決策樹算法證明了運(yùn)用多層感知機(jī)算法檢測信號的模型是可靠的。由表5可知運(yùn)用多層感知機(jī)算法對信號進(jìn)行檢測其分類準(zhǔn)確率達(dá)到87.1%，對多余物和組件信號的檢測精度均為0.87，其中組件信號召回率為0.95高于多余物信號召回率為0.7。組件信號F1-score值為0.91高于多余物信號F1-score值為0.78。經(jīng)初步分析，筆者認(rèn)為此結(jié)果是由于多余物信號樣本與組件信號樣本數(shù)據(jù)集不平衡所導(dǎo)致，在后續(xù)的研究中會(huì)對其進(jìn)行深入研究?？傮w來說分類模型的穩(wěn)健程度較好。

5 結(jié)束語

本文提出的基于多層感知機(jī)的航天繼電器內(nèi)組件信號識別方法，選取了組件信號和多余物信號時(shí)域和頻域上的頻譜質(zhì)心、頻率均方根、峰值因子、過零率作為特征量。經(jīng)實(shí)驗(yàn)分析后選擇了神經(jīng)網(wǎng)絡(luò)隱含層層數(shù)為2，單層神經(jīng)元個(gè)數(shù)為527，隱含層激活函數(shù)為relu，權(quán)重優(yōu)化算法為lbfgs的超參數(shù)組合建立分類模型。通過試驗(yàn)驗(yàn)證其分類準(zhǔn)確率達(dá)到87.1%，遠(yuǎn)高于現(xiàn)有組件信號識別方法的準(zhǔn)確率75%,證明了本文提出的方法可以更好的識別組件信號和多余物信號，解決實(shí)際工程問題。

在后續(xù)的工作和研究中，可基于當(dāng)前的研究工作對多層感知機(jī)的內(nèi)部其他超參數(shù)選擇繼續(xù)研究，從而實(shí)現(xiàn)減少識別誤差、提高精度、降低運(yùn)行時(shí)間、更為理想的分類效果等。還可以通過選用不同優(yōu)化參數(shù)的算法組合，實(shí)現(xiàn)更加精準(zhǔn)、更加快速確定最優(yōu)解，最終實(shí)現(xiàn)分類器的優(yōu)化。