一種改進(jìn)的增量型隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)及應(yīng)用?

劉 偉 謝林柏 彭 力

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 無(wú)錫 214122）

1 引言

火災(zāi)探測(cè)是一個(gè)社會(huì)熱點(diǎn)問(wèn)題，關(guān)系到每個(gè)人的生命和財(cái)產(chǎn)安全。傳統(tǒng)的傳感器火焰檢測(cè)方法存在抗干擾能力差，響應(yīng)時(shí)間長(zhǎng)和準(zhǔn)確性低等問(wèn)題。隨著計(jì)算機(jī)技術(shù)的發(fā)展，結(jié)合計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理的火災(zāi)檢測(cè)算法得到了廣泛研究。提取火焰特征，使用模式識(shí)別算法檢測(cè)火焰是圖像型火焰檢測(cè)的一類(lèi)主流方法?；鹧鏅z測(cè)領(lǐng)域中的模式識(shí)別算法包括支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類(lèi)器、決策樹(shù)以及馬爾可夫模型等［1］。單隱藏層前饋神經(jīng)網(wǎng)絡(luò)（SLFN）由于結(jié)構(gòu)簡(jiǎn)單，且能夠以任意精度逼近復(fù)雜非線性連續(xù)函數(shù)，被廣泛運(yùn)用于分類(lèi)識(shí)別問(wèn)題。但是，傳統(tǒng)的SLFN 在訓(xùn)練過(guò)程中基于梯度優(yōu)化網(wǎng)絡(luò)參數(shù)，迭代時(shí)容易陷入局部最優(yōu)，且耗時(shí)較長(zhǎng)［2］。為了緩解上述問(wèn)題，Pao［3］提出了一種使用不同訓(xùn)練機(jī)制的網(wǎng)絡(luò)，即隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)（Random Vector Functional Link，RVFL）。RVFL 最大特點(diǎn)是網(wǎng)絡(luò)中的輸入權(quán)值和隱藏層（也稱(chēng)為增強(qiáng)層）偏差在給定范圍內(nèi)隨機(jī)分配，并在整個(gè)訓(xùn)練過(guò)程中保持固定，然后采用最小二乘法對(duì)輸出權(quán)值進(jìn)行計(jì)算。整個(gè)訓(xùn)練過(guò)程不需要迭代，保持快速學(xué)習(xí)的同時(shí)擁有良好的泛化能力。隱藏層節(jié)點(diǎn)數(shù)是RVFL 中唯一需要預(yù)定義的參數(shù)，它在確定學(xué)習(xí)性能以及網(wǎng)絡(luò)計(jì)算效率方面起著至關(guān)重要的作用［4］。設(shè)置過(guò)少的隱藏層節(jié)點(diǎn)會(huì)因?yàn)閿M合不充分而導(dǎo)致訓(xùn)練誤差過(guò)大。設(shè)置過(guò)多的隱藏單元又會(huì)因?yàn)檫^(guò)擬合而導(dǎo)致訓(xùn)練誤差較小，但降低訓(xùn)練模型的泛化能力。

針對(duì)以上問(wèn)題，Huang［5］提出了一種增量型RVFL（I-RVFL）算法，并將其命名為增量型極限學(xué)習(xí)機(jī)。在添加新的隱藏節(jié)點(diǎn)前，所有現(xiàn)有隱藏節(jié)點(diǎn)的輸入和輸出參數(shù)固定不變，只需要計(jì)算新添加的隱藏節(jié)點(diǎn)的輸出權(quán)值。I-RVFL不僅具有良好的泛化性能，也在一定程度上避免了“過(guò)擬合”問(wèn)題［6］。

雖然增量型RVFL 可以獲得極快的速度和較好的泛化性能，但是輸入權(quán)值和隱藏層偏差是從固定范圍隨機(jī)生成，可能會(huì)導(dǎo)致模型不穩(wěn)定，降低模型的學(xué)習(xí)效率［7］。近年來(lái)有許多方法被提出用于指導(dǎo)RVFL參數(shù)的選擇，如激活函數(shù)的選擇［8］，隱藏層參數(shù)的隨機(jī)范圍選擇［9］等，但是這些方法都是根據(jù)試驗(yàn)結(jié)果所得出的經(jīng)驗(yàn)性方法。因此，在參數(shù)隨機(jī)配置時(shí)，需要約束機(jī)制指導(dǎo)參數(shù)的選擇以提高建模的效率和穩(wěn)定性。

針對(duì)上述問(wèn)題，本文提出一種改進(jìn)的增量型RVFL 網(wǎng)絡(luò)，利用指數(shù)加權(quán)平均算法優(yōu)化隨機(jī)參數(shù)以限制隨機(jī)配置時(shí)產(chǎn)生的離群值；同時(shí)，將凸函數(shù)的下降梯度比運(yùn)用到網(wǎng)絡(luò)的誤差序列中加快模型的收斂速度。最后，將改進(jìn)的網(wǎng)絡(luò)應(yīng)用到火焰識(shí)別中，對(duì)采集的樣本進(jìn)行訓(xùn)練和分類(lèi)。

2 增量型隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)

給定輸入X={x1,x2,…,xN},xi?Rd和標(biāo)簽值T={t1,t2,…,tN},ti?Rm，當(dāng)網(wǎng)絡(luò)中已經(jīng)構(gòu)建L個(gè)隱藏節(jié)點(diǎn)時(shí)，可以表示為

式中，HL是輸入和隱藏節(jié)點(diǎn)輸出的連接矩陣，Y是模型的預(yù)測(cè)值。HL可以表示為

式中，xi=[xi1,…,xid]T表示第i個(gè)訓(xùn)練樣本；ωi=[ωi1,…,ωiL]T和bi?R分別為輸入層到第i個(gè)隱藏層節(jié)點(diǎn)的輸入權(quán)值和偏差；g(?)為隱藏層的激活函數(shù)。βi=[βi1,…,βim]T表示第i個(gè)隱藏層節(jié)點(diǎn)的輸出權(quán)值。

根據(jù)RVFL 學(xué)習(xí)算法［10］，網(wǎng)絡(luò)的輸出權(quán)值β通過(guò)最小二乘解獲得：

式中，H?是隱藏層輸出矩陣H的Moore-Penrose廣義逆。

當(dāng)網(wǎng)絡(luò)已經(jīng)構(gòu)建L個(gè)節(jié)點(diǎn)時(shí)，目標(biāo)函數(shù)可以表示為

網(wǎng)絡(luò)的誤差：eL=f-fL=[eL,1,…,eL,m]。假設(shè)網(wǎng)絡(luò)的最大隱藏節(jié)點(diǎn)數(shù)Lmax，預(yù)設(shè)的容忍誤差為?，當(dāng)L>Lmax或者‖eL‖≤?時(shí)，整個(gè)網(wǎng)絡(luò)訓(xùn)練結(jié)束；否則，繼續(xù)添加第L+1個(gè)節(jié)點(diǎn)。

3 算法改進(jìn)

3.1 指數(shù)加權(quán)平均算法優(yōu)化參數(shù)

指數(shù)加權(quán)平均算法是一種有效減少誤差的統(tǒng)計(jì)學(xué)方法。該方法根據(jù)權(quán)重因子對(duì)歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)按照比例分配來(lái)穩(wěn)定序列，平均輸入流中的數(shù)據(jù)，逐漸降低對(duì)較早數(shù)據(jù)點(diǎn)的加權(quán)程度，平滑數(shù)據(jù)中的隨機(jī)波動(dòng)［11］。增量型網(wǎng)絡(luò)通過(guò)逐個(gè)增加節(jié)點(diǎn)構(gòu)建而來(lái)，可以將整個(gè)迭代過(guò)程視為一個(gè)具有歷史數(shù)據(jù)的時(shí)間序列。計(jì)算指數(shù)加權(quán)平均值：

式中，VL是生成第L節(jié)點(diǎn)時(shí)的平均權(quán)值或偏差，θL是生成第L個(gè)節(jié)點(diǎn)時(shí)隨機(jī)分配的權(quán)值或偏差，α是權(quán)重因子。α決定了各個(gè)神經(jīng)元參數(shù)的權(quán)重。α的值越大，表明此次迭代的權(quán)值與偏差參考之前節(jié)點(diǎn)分配的權(quán)值與偏差的程度更多，平穩(wěn)性更強(qiáng)。利用指數(shù)加權(quán)平均方式限制參數(shù)隨機(jī)配置時(shí)產(chǎn)生的異常值，從而降低異常值對(duì)建模的影響，使整個(gè)模型訓(xùn)練過(guò)程更平穩(wěn)有效。

3.2 凸函數(shù)優(yōu)化誤差序列

如圖1 所示的兩條單調(diào)遞減曲線，其中函數(shù)y1(t)和y2(t)分別為凹函數(shù)和凸函數(shù)，顯然y2(t)的下降速度快于y1(t)。考慮t1，t2和t3具有相等間隔，定義梯度比為

圖1 凸/凹函數(shù)下降曲線

i=1,2 。根據(jù)凸函數(shù)的定義，對(duì)于t1

給 定 輸 入X={x1,x2,…,xN},xi?Rd和 標(biāo) 簽T={t1,t2,…,tN},ti?Rm，構(gòu)建第L個(gè)節(jié)點(diǎn)時(shí)，擬合誤差eL-1=f-fL-1=[eL-1,1,…,eL-1,m] 。將上述函數(shù)的梯度比應(yīng)用于誤差序列，得到：

其中，gL是隱藏神經(jīng)元的激活函數(shù)。將式（6）視為βL,q的方程，對(duì)其進(jìn)行求導(dǎo)求極值：

將式（7）帶入式（6），得：

因?yàn)?<λL,q≤1，因此：

eL-1(X)=[eL-1,1,…,eL-1,m(X)]T，且eL-1,q(X)=

其 中，?L=Σmq=1?L,q,q=1,…,m。誤 差 矩 陣 為[eL-1,q(x1),…,eL-1,q(xN)],q=1,2,…,m。

hL(X)=[gL(ωTLx1+bL),…,gL(ωTL xN+bL)]T表 示的是輸入xi在第L個(gè)節(jié)點(diǎn)的激活函數(shù)值。

根據(jù)文獻(xiàn)［12］，將式（9）轉(zhuǎn)化為如下形式：

式（5）~式（10）建立了誤差序列之間的聯(lián)系使得網(wǎng)絡(luò)輸入權(quán)值ω和偏差b不再是完全隨機(jī)分配。更新的ω和b必須滿足式（10）的?L,q，且對(duì)于q=1,2,…,m都有?L,q>0，通過(guò)這樣一種約束關(guān)系，提升建模穩(wěn)定性，加快模型訓(xùn)練的收斂速度。

3.3 算法步驟

指數(shù)加權(quán)平均算法的權(quán)重因子對(duì)于參數(shù)訓(xùn)練很重要，合適的權(quán)重因子可以提升整個(gè)建模過(guò)程的穩(wěn)定性。權(quán)重因子過(guò)小，表明參考之前數(shù)據(jù)的比例較少，在隨機(jī)產(chǎn)生離群值時(shí)，無(wú)法降低離群值的權(quán)重。權(quán)重因子過(guò)大，每次的輸入權(quán)值與偏差值較為接近，在計(jì)算過(guò)程中浪費(fèi)計(jì)算資源。本文選取集合{0.4,0.5,0.6,0.7} 的數(shù)作為權(quán)重因子動(dòng)態(tài)調(diào)整的范圍，并引入增強(qiáng)型增量網(wǎng)絡(luò)［20］的訓(xùn)練方式，分配候選節(jié)點(diǎn)通過(guò)計(jì)算后篩選優(yōu)質(zhì)節(jié)點(diǎn)，進(jìn)一步提升隱藏層神經(jīng)元的質(zhì)量。值得注意的是‖eL-2,q‖2在L=1 時(shí)并不存在，本文在增加第一個(gè)節(jié)點(diǎn)時(shí)，直接使用增強(qiáng)型網(wǎng)絡(luò)節(jié)點(diǎn)的訓(xùn)練方式計(jì)算獲得模型的訓(xùn)練誤差e1。后續(xù)節(jié)點(diǎn)添加步驟的具體偽代碼如下：

輸 入 ：數(shù) 據(jù)X={x1,x2,…,xN},xi?Rd，標(biāo) 簽T={t1,t2,…,tN},ti?Rm；輸出：輸出權(quán)值βL

1.初始化：初始誤差矩陣e0=[t1,t2,…,tN]T，e1，節(jié)點(diǎn)數(shù)L=2，最大隱藏節(jié)點(diǎn)數(shù)Lmax網(wǎng)絡(luò)的容忍誤差?，候選節(jié)點(diǎn)數(shù)M，參數(shù)的隨機(jī)分配范圍[-γ,γ]。

2.WhileL≤Lmaxand‖eL‖>?

3.在區(qū)間[-γ,γ]內(nèi)隨機(jī)分配M個(gè)候選節(jié)點(diǎn)的權(quán)值與偏差

4.根據(jù)式（3）利用權(quán)重因子序列計(jì)算候選節(jié)點(diǎn)的權(quán)值與偏差

6.If min{?L,1,?L,2,…,?L,m}≥0 ，保 存?L=及其對(duì)應(yīng)的(ω'(i),b('

i))。

7.Else返回步驟3。

8.搜尋滿足，保存對(duì)應(yīng)的，更新網(wǎng)絡(luò)的ωL,bL。

9.根據(jù)X,ωL,bL計(jì)算輸入和隱藏層節(jié)點(diǎn)輸出的連接矩陣HL。

10.根據(jù)HL通過(guò)式（2）計(jì)算輸出權(quán)值βL。

11.計(jì)算本次搜索后的誤差eL=eL-1-βLHL，更新L=L+1。返回步驟2。

12.End While

4 火焰的特征提取與預(yù)處理

4.1 特征提取

現(xiàn)有圖像型檢測(cè)算法大多針對(duì)已經(jīng)形成火災(zāi)的火焰進(jìn)行分析與識(shí)別，對(duì)于未形成火災(zāi)的早期火焰檢測(cè)能力有限［13］。普通相機(jī)也很難透過(guò)阻擋鏡頭的障礙物來(lái)檢測(cè)，降低了探測(cè)器的監(jiān)測(cè)能力。當(dāng)圖像中存在與火焰相似的背景時(shí)，會(huì)導(dǎo)致誤報(bào)率上升。使用紅外攝像機(jī)采集火焰數(shù)據(jù)可以有效地解決上述問(wèn)題。紅外熱成像技術(shù)利用物體輻射出的波長(zhǎng)，將被測(cè)物體的熱量信息通過(guò)圖像形式可視化展現(xiàn)，不受可見(jiàn)光和遮蔽物的影響，能夠直接反映火焰燃燒的本質(zhì)。紅外火焰圖像在燃燒階段會(huì)表現(xiàn)出很多靜態(tài)特征與動(dòng)態(tài)特征。本文選取圓形度［14］與尖角數(shù)［15］作為靜態(tài)特征，選取面積變化率［16］、相對(duì)穩(wěn)定性［17］和邊緣抖動(dòng)性［17］作為動(dòng)態(tài)特征。

4.2 預(yù)處理

面積、Hu 矩變化以及質(zhì)心點(diǎn)的移動(dòng)情況是動(dòng)態(tài)特征，而模式識(shí)別算法處理的是靜態(tài)數(shù)據(jù)。對(duì)于動(dòng)態(tài)特征，主要利用其波動(dòng)性［17］。本文以10 幀為間隔計(jì)算動(dòng)態(tài)特征值的方差，將動(dòng)態(tài)特征轉(zhuǎn)化為靜態(tài)數(shù)據(jù)。方差的計(jì)算公式為

式中，s2表示動(dòng)態(tài)特征值的方差，m為間隔幀數(shù)，Xi表示當(dāng)前幀的特征值，表示間隔幀數(shù)中特征值的平均值。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 UCI數(shù)據(jù)集驗(yàn)證

本節(jié)使用四個(gè)UCI 機(jī)器學(xué)習(xí)庫(kù)的分類(lèi)數(shù)據(jù)集來(lái)進(jìn)行仿真實(shí)驗(yàn)。數(shù)據(jù)集的屬性信息如表1所示。

表1 數(shù)據(jù)集屬性信息

為方便描述，將改進(jìn)的算法表示為II-RVFL。I-RVFL，RI-RVFL［18］，OI-RVFL［6］，EI-ELM［12］和II-RVFL 在DataSet1 上進(jìn)行訓(xùn)練和測(cè)試的分類(lèi)性能如圖2 所示。從圖中可以看出經(jīng)過(guò)候選節(jié)點(diǎn)篩選和參數(shù)配置優(yōu)化后的算法相對(duì)于其他算法能夠保持良好的收斂速度以及泛化能力。從圖中還可以看出，II-RVFL 在200 節(jié)點(diǎn)時(shí)的分類(lèi)精度甚至高于I-RVFL、OI-RVFL、RI-RVFL 在300 節(jié)點(diǎn)的分類(lèi)精度。表2 中數(shù)據(jù)集DataSet2-4 的結(jié)果也表現(xiàn)出II-RVFL在分類(lèi)任務(wù)上的優(yōu)越性，而且50次實(shí)驗(yàn)結(jié)果的標(biāo)準(zhǔn)差最小，表明在經(jīng)過(guò)指數(shù)加權(quán)平均約束后的算法體現(xiàn)出更好的穩(wěn)定性，最終分類(lèi)精度的變化幅度最小且均值最高。尤其對(duì)DataSet3，在訓(xùn)練集精度相差不大的情況下，測(cè)試集的精度相對(duì)其他算法高出7 個(gè)~10 個(gè)百分點(diǎn)，表明了優(yōu)化后算法的分類(lèi)性能更好。

表2 DataSet2-4上的訓(xùn)練和測(cè)試的分類(lèi)準(zhǔn)確性

圖2 各算法300節(jié)點(diǎn)分類(lèi)性能：平均訓(xùn)練準(zhǔn)確率和平均測(cè)試準(zhǔn)確率

5.2 紅外火焰識(shí)別中的應(yīng)用

本節(jié)通過(guò)采集的紅外火焰數(shù)據(jù)集來(lái)驗(yàn)證所改進(jìn)算法的有效性。所采集的總樣本數(shù)為1012，其中測(cè)試集樣本個(gè)數(shù)為760，測(cè)試集樣本個(gè)數(shù)為252。類(lèi)似地，每個(gè)算法做50 次實(shí)驗(yàn)，選取50 次實(shí)驗(yàn)的平均值作為最終結(jié)果。圖3 為各算法在紅外火焰數(shù)據(jù)集上的分類(lèi)結(jié)果，可以看出無(wú)論是訓(xùn)練集還是測(cè)試集，改進(jìn)的算法II-RVFL在火焰數(shù)據(jù)集上同樣表現(xiàn)出優(yōu)異的分類(lèi)性能。從表3 可知，相較于其他算法，II-RVFL 在20 個(gè)節(jié)點(diǎn)時(shí)，火焰識(shí)別精度已經(jīng)達(dá)到98%以上。

表3 各算法檢測(cè)的火焰準(zhǔn)確率

圖3 各算法的火焰數(shù)據(jù)集分類(lèi)性能：平均訓(xùn)練準(zhǔn)確率和平均測(cè)試準(zhǔn)確率

另選200 組數(shù)據(jù)，通過(guò)訓(xùn)練好的參數(shù)進(jìn)一步驗(yàn)證改進(jìn)后的算法對(duì)火焰識(shí)別的有效性。為了能夠清晰地顯示火焰判別效果，將有火源的標(biāo)簽樣本置為-1，沒(méi)有火源的標(biāo)簽置為1。檢測(cè)結(jié)果如圖4 所示，其中橫坐標(biāo)代表樣本序列，縱坐標(biāo)代表輸出的估計(jì)值。將估計(jì)值大于零的點(diǎn)判別為無(wú)火焰，將估計(jì)值小于零的點(diǎn)判別為有火焰。通過(guò)真實(shí)值與估計(jì)值的誤差大小可以更直觀地顯示II-RVFL 算法識(shí)別的準(zhǔn)確性，僅有少數(shù)點(diǎn)的估計(jì)值與真實(shí)值之間的誤差較大，但都是處于誤差容許范圍內(nèi)，無(wú)錯(cuò)報(bào)現(xiàn)象，實(shí)現(xiàn)了火焰識(shí)別的高準(zhǔn)確率預(yù)報(bào)。

圖4 II-RVFL算法的火焰檢測(cè)結(jié)果

6 結(jié)語(yǔ)

本文針對(duì)I-RVFL網(wǎng)絡(luò)的輸入權(quán)值與偏差隨機(jī)分配導(dǎo)致的模型不穩(wěn)定問(wèn)題，提出使用指數(shù)加權(quán)算法來(lái)優(yōu)化隨機(jī)配置時(shí)產(chǎn)生的離群值，并將凸函數(shù)的下降梯度比應(yīng)用于網(wǎng)絡(luò)的誤差序列中來(lái)優(yōu)化建模過(guò)程。通過(guò)這兩種方法改善了網(wǎng)絡(luò)參數(shù)隨機(jī)配置中存在的問(wèn)題。最后，使用UCI數(shù)據(jù)集和在紅外火焰識(shí)別上的應(yīng)用來(lái)進(jìn)一步驗(yàn)證算法的有效性。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的算法穩(wěn)定性更高，泛化性能更好，火焰識(shí)別的準(zhǔn)確率高。