基于小波函數(shù)的模糊大腦情感學(xué)習(xí)分類(lèi)器

高佳倩，潘培華，孫 園，王綺楠，郭前進(jìn)

(廈門(mén)理工學(xué)院電氣工程與自動(dòng)化學(xué)院，福建 廈門(mén)361024)

分類(lèi)問(wèn)題是機(jī)器學(xué)習(xí)、模式識(shí)別與數(shù)據(jù)挖掘等領(lǐng)域內(nèi)重要的研究?jī)?nèi)容，目前有大量的算法運(yùn)用于分類(lèi)研究，包括決策樹(shù)(decision tree)、樸素貝葉斯(na?ve bayes，NB)、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)、K-近鄰(k-nearest neighbor,KNN)、支持向量機(jī)(support vector machines，SVM)等[1-2]。在眾多算法中，由于神經(jīng)網(wǎng)絡(luò)擁有自學(xué)習(xí)和良好的泛化能力，因此被廣泛地應(yīng)用于分類(lèi)問(wèn)題。小腦神經(jīng)網(wǎng)絡(luò)(cerebellar model articulation controller neural network，CMACNN)和大腦情感學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(brain emotional learning neural network，BELNN)是人工神經(jīng)網(wǎng)絡(luò)中2種成熟的神經(jīng)網(wǎng)絡(luò)模型，且已有文獻(xiàn)成功地將2種神經(jīng)網(wǎng)絡(luò)應(yīng)用于分類(lèi)問(wèn)題[3-4]。為提高模型的性能，一些學(xué)者嘗試對(duì)網(wǎng)絡(luò)進(jìn)行改進(jìn)，例如將模糊系統(tǒng)加入小腦神經(jīng)網(wǎng)絡(luò)和大腦情感學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)得到模糊小腦模型(fuzzy cerebellar model articulation controller，F(xiàn)CMAC)和模糊大腦情感學(xué)習(xí)模型(fuzzy brain emotional learning，F(xiàn)BEL)，以對(duì)不確定的輸入信號(hào)進(jìn)行處理，降低輸入信號(hào)的復(fù)雜性[5-6]。但當(dāng)輸入信號(hào)為含有噪聲的復(fù)雜數(shù)據(jù)時(shí)，傳統(tǒng)的模型函數(shù)缺少對(duì)噪聲的處理能力，影響FBEL模型對(duì)復(fù)雜數(shù)據(jù)的處理能力。為此，本文提出一種小波模糊大腦情感學(xué)習(xí)分類(lèi)器(wavelet fuzzy brain emotional learning classifier，WFBELC)，用小波函數(shù)替換原本的高斯函數(shù)作為隸屬函數(shù)，改進(jìn)FBEL對(duì)復(fù)雜數(shù)據(jù)的處理能力，從而提高算法精度和分類(lèi)效果。

1 WFBELC的基本結(jié)構(gòu)

小波模糊大腦情感學(xué)習(xí)分類(lèi)器(WFBELC)共分為5部分:感覺(jué)輸入、感覺(jué)皮層、權(quán)值空間、杏仁核、眶額皮質(zhì)的加權(quán)求和空間和輸出空間。

小波模糊大腦情感學(xué)習(xí)分類(lèi)器的基本結(jié)構(gòu)如圖1所示。

圖1 小波模糊大腦情感學(xué)習(xí)分類(lèi)器的基本結(jié)構(gòu)Fig.1 Structure of wavelet fuzzy brain emotional learning classifier

第1部分是感覺(jué)輸入層。輸入向量I=[I1,…,Ii,…,In]T∈Rn，Ii代表第i個(gè)輸入樣本。

第2部分是感覺(jué)皮層空間。感覺(jué)輸入在該空間進(jìn)行模糊化處理。

如果I1為B1且I2為B2，…，且In為Bn，則：

(1)

如果I1為B1，且I2為B2，…，且In為Bn，則：

(2)

式(1)和(2)為杏仁核和眶額皮質(zhì)的模糊推理規(guī)則。其中，i=1,2,…,n，n為輸入樣本數(shù)；j=1,2,…,m，m為神經(jīng)元個(gè)數(shù)；Bi為第i個(gè)輸入Ii對(duì)應(yīng)的輸入模糊語(yǔ)言值；A為杏仁核的輸出；O為眶額皮質(zhì)的輸出；Vij、Wij分別表示杏仁核和眶額皮層權(quán)重。Ath表示丘腦信號(hào)，Vth表示Ath傳輸?shù)叫尤屎藭r(shí)的連接權(quán)值。

由于小波函數(shù)相比于高斯函數(shù)有時(shí)頻局部化特性[7-8]，對(duì)突變信號(hào)的感知更靈敏，且能消除噪聲。因此，采用小波函數(shù)進(jìn)行模糊化，模糊化公式[9]為

(3)

式(3)中：Sij代表式(1)中第i個(gè)輸入Ii對(duì)應(yīng)的輸入模糊語(yǔ)言值Bi；mij和σij為小波函數(shù)的平移參數(shù)和伸縮參數(shù)；Ii代表第i個(gè)輸入樣本。

第3部分是權(quán)值空間。從感覺(jué)皮層到杏仁核，每個(gè)節(jié)點(diǎn)都有一個(gè)對(duì)應(yīng)的連接權(quán)值V，V=[V111,…,Vijt,…,Vnmk]T∈Rnmk；到眶額皮質(zhì)系統(tǒng)，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的連接權(quán)值為W，W=[W111,…,Wijt,…,Wnmk]T∈Rnmk。權(quán)值V和W中的t=1,2,…,k，k代表分類(lèi)樣本的類(lèi)別維度，若分類(lèi)數(shù)據(jù)集是多分類(lèi)時(shí)k≥3。此外，丘腦接收的最大輸入信號(hào)直接輸入到杏仁核，被稱為丘腦信號(hào)Ath，表示為

Ath=max(Sij)。

(4)

第4部分是杏仁核、眶額皮質(zhì)的加權(quán)求和空間?？纛~皮質(zhì)節(jié)點(diǎn)接收到的信號(hào)主要是來(lái)自感知層的刺激信號(hào)Sij。因此，眶額皮質(zhì)的輸出O表示為

(5)

杏仁核接受來(lái)自感知層的刺激信號(hào)Sij和丘腦信號(hào)Ath，且丘腦信號(hào)經(jīng)過(guò)丘腦權(quán)值Vth，則杏仁核的輸出A表示為

(6)

第5部分是輸出空間。u是小波模糊大腦情感學(xué)習(xí)分類(lèi)器的輸出，表示為

u=A-O。

(7)

輸出結(jié)果u為具體數(shù)值，而分類(lèi)器的輸出應(yīng)反映類(lèi)別標(biāo)簽，因此需要將數(shù)值轉(zhuǎn)化為與實(shí)際類(lèi)別相同的標(biāo)簽值。通常采用sigmoid函數(shù)將結(jié)果映射到[0,1]之間，公式為

(8)

對(duì)于二分類(lèi)問(wèn)題，設(shè)置一個(gè)[0,1]之間的值為閾值，y若大于閾值置為1，小于閾值置為0，以此對(duì)應(yīng)2種類(lèi)別。而對(duì)于多分類(lèi)問(wèn)題，該方法可能會(huì)產(chǎn)生一些障礙。因此，通過(guò)改變分類(lèi)器的類(lèi)別輸出形式，采用最大置1法[10]，使模型預(yù)測(cè)結(jié)果與標(biāo)簽值對(duì)應(yīng)。舉例說(shuō)明：一個(gè)數(shù)據(jù)集樣本分為3類(lèi)，用[1,0,0]表示第1類(lèi)，[0,1,0]表示第2類(lèi)，[0,0,1]表示第3類(lèi)。令分類(lèi)器輸出結(jié)果u為1×3的矩陣，即u=[u1,u2,u3]，通過(guò)sigmoid函數(shù)得到y(tǒng)=[y1,y2,y3]，再找出y1,y2,y3中的最大值并將其置1，其余的結(jié)果置0，如下式(9)所示:

(9)

經(jīng)過(guò)置1法后的輸出值y與樣本實(shí)際類(lèi)別的表示形式相同，且認(rèn)定其與對(duì)應(yīng)類(lèi)別的相似度最高。

2 WFBELC的參數(shù)自學(xué)習(xí)規(guī)則

小波模糊大腦情感學(xué)習(xí)分類(lèi)器(WFBELC)中杏仁核和眶額皮質(zhì)情感學(xué)習(xí)過(guò)程都是一個(gè)動(dòng)態(tài)的權(quán)重調(diào)節(jié)過(guò)程，這兩部分主要是對(duì)杏仁核權(quán)值V和眶額皮質(zhì)權(quán)值W進(jìn)行學(xué)習(xí)更新，更新公式[11]為

ΔVij=λv(Sijmax(0,REW-A))。

(10)

ΔWij=λw(Sij(A-O-AthVth-REW))。

(11)

式(10)和(11)中：λv和λw分別為更新權(quán)值V和W的學(xué)習(xí)速率，是影響學(xué)習(xí)速度的關(guān)鍵因素。REW是情感刺激或強(qiáng)化刺激的獎(jiǎng)勵(lì)信號(hào)，促進(jìn)杏仁核學(xué)習(xí)過(guò)程的進(jìn)行，具體表示為

REW=k1e+k2y。

(12)

式(12)中：輸出誤差e=T-y，T為樣本的標(biāo)簽值，y為分類(lèi)器輸出的預(yù)測(cè)值；k1和k2均為信號(hào)常數(shù)增益。小波函數(shù)中平移參數(shù)mij和伸縮參數(shù)σij的更新采用梯度下降法，更新公式為

(13)

(14)

(15)

(16)

3 仿真驗(yàn)證

實(shí)驗(yàn)仿真環(huán)境如下：處理器采用Intel i5-1035G1，基準(zhǔn)頻率1 GHz，加速頻率3.6 GHz；RAM內(nèi)存16.0 GB；操作系統(tǒng)為Windows10，64位操作系統(tǒng)，基于x64的處理器；編程環(huán)境為Matlab R2019a。選取加州大學(xué)歐文分校機(jī)器學(xué)習(xí)資源庫(kù)[12]中的3個(gè)分類(lèi)數(shù)據(jù)集，對(duì)所提出WFBELC的性能進(jìn)行驗(yàn)證。

3.1 數(shù)據(jù)集介紹

仿真實(shí)驗(yàn)采用的3個(gè)數(shù)據(jù)集分別是Wine、Sonar和Ionosphere數(shù)據(jù)集。表1列出數(shù)據(jù)集的基本信息及數(shù)據(jù)集的劃分情況。仿真時(shí)，將數(shù)據(jù)集按照7∶3的比例劃分訓(xùn)練集和測(cè)試集。如表1所示，Wine數(shù)據(jù)集包含178個(gè)樣本，13種特征，為3分類(lèi)樣本；仿真時(shí)訓(xùn)練集有125個(gè)樣本，測(cè)試集有53個(gè)樣本。同理，可知Sonar和Ionosphere數(shù)據(jù)集的信息。

表1 數(shù)據(jù)集基本信息及劃分情況Table 1 Dataset information and classification 單位：個(gè)

3.2 仿真參數(shù)設(shè)置

為加快訓(xùn)練收斂速度，在建立仿真模型前須對(duì)數(shù)據(jù)集參數(shù)進(jìn)行歸一化。本文采用的歸一化方式是離差標(biāo)準(zhǔn)化，對(duì)原始數(shù)據(jù)進(jìn)行線性變換使結(jié)果落到[0,1]區(qū)間，公式為

(17)

式(17)中：x是原始數(shù)據(jù)；x*是歸一化后的數(shù)據(jù)；min、max分別是樣本數(shù)據(jù)中的最小值和最大值。

表2為不同數(shù)據(jù)集對(duì)應(yīng)的仿真參數(shù)設(shè)置。

表2 不同數(shù)據(jù)集的仿真參數(shù)設(shè)置Table 2 Parameters for simulation in different datasets

小波函數(shù)的平移參數(shù)mij和伸縮參數(shù)σij初始值均設(shè)為隨機(jī)值，權(quán)值V和W設(shè)為0。通過(guò)參數(shù)自學(xué)習(xí)規(guī)則和梯度下降法對(duì)參數(shù)mij、σij、V、W進(jìn)行更新，更新時(shí)對(duì)應(yīng)的學(xué)習(xí)率λm、λσ、λv、λw設(shè)置相等。

3.3 仿真性能評(píng)價(jià)指標(biāo)及結(jié)果分析

3.3.1 性能評(píng)價(jià)指標(biāo)及收斂性分析

為評(píng)估分類(lèi)器的性能，以測(cè)試樣本的分類(lèi)準(zhǔn)確率為評(píng)價(jià)指標(biāo)，即為

(18)

式(18)中：Acc表示測(cè)試準(zhǔn)確率；T為正確預(yù)測(cè)的樣本個(gè)數(shù)；S為測(cè)試樣本總數(shù)。為確保公平比較，每個(gè)數(shù)據(jù)集在不同算法模型上均進(jìn)行10次仿真，且在每次仿真前會(huì)打亂樣本順序以避免出現(xiàn)過(guò)擬合的情況。

圖2 Wine數(shù)據(jù)集損失函數(shù)仿真圖像Fig.2 Loss function of Wine dataset

從圖2可以看出，迭代到200次時(shí)誤差收斂，表明WFBELC已經(jīng)訓(xùn)練完成。

3.3.2 結(jié)果分析

仿真實(shí)驗(yàn)采用混淆矩陣來(lái)直觀地反映數(shù)據(jù)集的分類(lèi)結(jié)果，3個(gè)數(shù)據(jù)集的分類(lèi)結(jié)果如圖3所示。以Sonar數(shù)據(jù)集為例。圖3(a)為利用Matlab中混淆矩陣函數(shù)生成的Sonar數(shù)據(jù)集測(cè)試結(jié)果，橫坐標(biāo)代表Sonar的2種實(shí)際類(lèi)別，縱坐標(biāo)代表預(yù)測(cè)的2種類(lèi)別，圖3(a)中第1行第2列數(shù)字4說(shuō)明實(shí)際類(lèi)別為1，預(yù)測(cè)結(jié)果為0的錯(cuò)誤分類(lèi)樣本有4個(gè)。依此類(lèi)推可知，Sonar數(shù)據(jù)集正確預(yù)測(cè)樣本數(shù)為58，錯(cuò)誤預(yù)測(cè)樣本數(shù)為5，用于測(cè)試的樣本共有63個(gè)，根據(jù)式(18)計(jì)算可得測(cè)試準(zhǔn)確率為92.10%。同理，Wine數(shù)據(jù)集和Ionosphere數(shù)據(jù)集的測(cè)試結(jié)果見(jiàn)圖3(b)和(c)。

圖3 3個(gè)數(shù)據(jù)集采用WFBELC仿真的混淆矩陣Fig.3 Confusion matrix of the three datasets by WFBELC simulation

為驗(yàn)證WFBELC的性能，將其與BP、FCMAC和FBEL 3種算法模型進(jìn)行對(duì)比。表3為4種分類(lèi)模型的分類(lèi)準(zhǔn)確率對(duì)比。由表3可知，WFBELC在Ionosphere、Sonar數(shù)據(jù)上準(zhǔn)確率平均值為92.97%和86.19%，均高于其他3種模型；在Wine數(shù)據(jù)集上的準(zhǔn)確率最大值達(dá)到100%，平均值為97.56%，也高于其他3種模型。由此可得，相比于其他模型，本文提出的WFBELC在數(shù)據(jù)集上的分類(lèi)效果得到提升，證明了WFBELC用于數(shù)據(jù)分類(lèi)的準(zhǔn)確性。

表3 4種模型的分類(lèi)準(zhǔn)確率對(duì)比Table 3 Classification accuracy of four classification models compared 單位：%

3.3.3 與其他分類(lèi)算法模型比較

為進(jìn)一步說(shuō)明WFBELC的性能，本文列出了近幾年其他文獻(xiàn)中采用相同數(shù)據(jù)集的算法模型的分類(lèi)結(jié)果，具體如表4所示。由表4可知，對(duì)同一種數(shù)據(jù)集，WFBELC除在Ionosphere數(shù)據(jù)集的準(zhǔn)確率平均值低于SVM模型0.13%，另2個(gè)數(shù)據(jù)集的準(zhǔn)確率平均值均高于其他文獻(xiàn)中的算法模型。通過(guò)表4數(shù)據(jù)的對(duì)比，進(jìn)一步體現(xiàn)出WFBELC用于數(shù)據(jù)分類(lèi)的優(yōu)越性。

表4 WFBELC與其他文獻(xiàn)算法模型的分類(lèi)準(zhǔn)確率對(duì)比Table 4 Classification accuracy of WFBELC compared with other literature algorithm models

4 結(jié)論

本文將小波函數(shù)作為模糊推理規(guī)則中的隸屬函數(shù)，構(gòu)成小波模糊大腦情感學(xué)習(xí)分類(lèi)器。由于小波函數(shù)能敏感地反映突變信號(hào)且有良好的去噪效果，使得模型具有更快的學(xué)習(xí)能力和更好的泛化能力。將3個(gè)數(shù)據(jù)集應(yīng)用于此模型，并與BP算法模型、模糊小腦模型(FCMAC)和模糊大腦情感學(xué)習(xí)模型(FBEL)進(jìn)行對(duì)比。仿真結(jié)果顯示，分類(lèi)器在3個(gè)數(shù)據(jù)集上的分類(lèi)準(zhǔn)確率平均值均為最高，其中在Wine數(shù)據(jù)集上的準(zhǔn)確率最大值達(dá)到100%，平均值為97.56%，表明基于小波函數(shù)的模糊大腦情感學(xué)習(xí)分類(lèi)器具有較高的精度，可以作為分類(lèi)決策中的一種工具。