基于Voting機(jī)制的IMA-BP不平衡數(shù)據(jù)分類算法

黃富幸,韓文花

(上海電力大學(xué)自動(dòng)化工程學(xué)院,上海 200090)

深度學(xué)習(xí)[1]是機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)熱門的研究方向。能夠通過無監(jiān)督或有監(jiān)督的方式[2-3],表現(xiàn)出高效強(qiáng)大的分類能力和特征學(xué)習(xí)能力。深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次,使得模型能夠識(shí)別文字、圖像和聲音等數(shù)據(jù)。通過不斷研究發(fā)展,許多深度學(xué)習(xí)模型[4-7]相繼被研究開發(fā)出來。使得分類模型在垃圾分類、損傷識(shí)別、醫(yī)療和故障診斷等方面運(yùn)用也越來越熱門[8-10]。分類模型在實(shí)際應(yīng)用中對提取到的不平衡數(shù)據(jù)特征進(jìn)行分類時(shí),其準(zhǔn)確率要求也越來越高,也有越來越多的學(xué)者對分類算法進(jìn)行優(yōu)化。羅金滿等[11]提出了一種結(jié)合K最近鄰分類算法和改進(jìn)粒子群算法的變電站設(shè)備分類識(shí)別方法提高了設(shè)備的分類識(shí)別精度。劉宇韜等[12]提出了一種基于自適應(yīng)增強(qiáng)學(xué)習(xí)框架的最小二乘支持向量機(jī)算法(adaptive boosting-least squares support vector machines,AdaBoost-LSSVM),應(yīng)用于玻璃纖維損傷識(shí)別問題來提高損傷識(shí)別的準(zhǔn)確率。雖然以上方法分類準(zhǔn)確率效果尚可,但是分類模型中或多或少都有存在一定的分類錯(cuò)誤,分類模型的準(zhǔn)確率還有得提高。

深度學(xué)習(xí)中有關(guān)神經(jīng)網(wǎng)絡(luò)的研究有很多,但相比之下,反向傳播(back propogation,BP)神經(jīng)網(wǎng)絡(luò)的理論是最完善的,具備良好的泛化能力、自適應(yīng)、魯棒性和學(xué)習(xí)性。BP神經(jīng)網(wǎng)絡(luò)的輸入層、隱含層和輸出層這簡單的三層結(jié)構(gòu)能夠很好地處理精度低的數(shù)據(jù)。現(xiàn)階段BP神經(jīng)網(wǎng)絡(luò)現(xiàn)在已經(jīng)被廣泛應(yīng)用在圖像處理、函數(shù)逼近和分類識(shí)別等方面Comes等[13]使用遺傳算法(genetic algorithm,GA)來優(yōu)化人工神經(jīng)網(wǎng)絡(luò)對來復(fù)合材料層合板的損傷位置和嚴(yán)重程度進(jìn)行識(shí)別,使得識(shí)別變得準(zhǔn)確。耿文莉等[14]提出了一種灰色神經(jīng)網(wǎng)絡(luò)的安全風(fēng)險(xiǎn)評估模型,對風(fēng)險(xiǎn)信息準(zhǔn)確分類,能確保網(wǎng)絡(luò)云平臺(tái)大數(shù)據(jù)存儲(chǔ)的安全性能。鐘蒙等[15]提出了BP 神經(jīng)網(wǎng)絡(luò)與灰色關(guān)聯(lián)度分析結(jié)合起來對公路的貨運(yùn)量進(jìn)行預(yù)測,得到了較高的準(zhǔn)確率。王麗等[16]用混沌天牛優(yōu)化算法群優(yōu)化BP神經(jīng)網(wǎng)絡(luò),使得網(wǎng)絡(luò)分類準(zhǔn)確率提高。雖然總體優(yōu)化使得網(wǎng)絡(luò)效果有所提升,但BP神經(jīng)網(wǎng)絡(luò)還是存在收斂速度差,容易掉入局部最優(yōu)的陷阱的缺點(diǎn)[17]。

因此,為了提高分類的準(zhǔn)確率,現(xiàn)使用改進(jìn)蜉蝣算法(improved mayfly algorithm,IMA)優(yōu)化BP神經(jīng)網(wǎng)絡(luò),并將其作為弱分類器,再將多個(gè)弱分類器得出的結(jié)果通過集成學(xué)習(xí)投票(Voting)機(jī)制進(jìn)行融合,來進(jìn)一步提高分類性能,最終形成一個(gè)Voting機(jī)制的IMA-BP多分類算法模型。最后將該模型與其他分類模型用數(shù)據(jù)庫中的數(shù)據(jù)集來進(jìn)行測試對比,來驗(yàn)證本文所構(gòu)建的分類算法模型的準(zhǔn)確性和有效性。

1 原理及方法

1.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)[18-19],它的主要結(jié)構(gòu)可分為3層:輸入層、隱含層和輸出層,如圖1所示。BP神經(jīng)網(wǎng)絡(luò)的性能主要由它的網(wǎng)絡(luò)結(jié)構(gòu)、閾值、權(quán)重和學(xué)習(xí)效率等因素決定。網(wǎng)絡(luò)結(jié)構(gòu)主要是隱藏神經(jīng)元,其主要影響B(tài)P神經(jīng)網(wǎng)絡(luò)所需的訓(xùn)練次數(shù)。隱含層神經(jīng)元太少需要增加訓(xùn)練次數(shù)來取得更好的結(jié)果,若隱含層神經(jīng)元太多,那么訓(xùn)練時(shí)間會(huì)綿長且容易過擬合。所以經(jīng)過多次實(shí)驗(yàn),隱含層神經(jīng)元需要滿足關(guān)系式

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

(1)

式(1)中:x為輸入層;z為輸出層;y為隱含層神經(jīng)元;a為[0,10]的自然數(shù)。

BP神經(jīng)網(wǎng)絡(luò)包括信號的前向傳播和誤差的反向傳播兩個(gè)過程。在前向傳播階段時(shí),輸入信號通過隱含層處理,再通過非線性變換,產(chǎn)生輸出信號,如果實(shí)際輸出與期望輸出不相符,那就進(jìn)入下一個(gè)階段誤差的反向傳播。誤差的反向傳播是將從各層獲得的誤差信號作為調(diào)整各單元權(quán)值的依據(jù),通過預(yù)測使得誤差沿梯度方向下降,經(jīng)過多次學(xué)習(xí)訓(xùn)練,確定與最小誤差相對應(yīng)權(quán)值和閾值,從而使BP神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出靠近期望輸出。

1.2 蜉蝣算法

蜉蝣算法(mayfly algorithm,MA)[20-22]的靈感主要來源于蜉蝣的社會(huì)行為,尤其是蜉蝣的交配過程。蜉蝣算法的尋優(yōu)過程大體可分為:雄性蜉蝣的運(yùn)動(dòng)、雌性蜉蝣的運(yùn)動(dòng)和雄雌優(yōu)異個(gè)體的交配。蜉蝣算法結(jié)合了飛行算法和進(jìn)化算法的優(yōu)點(diǎn),在結(jié)構(gòu)上也結(jié)合改進(jìn)了粒子群算法和遺傳算法,是一種新型元啟發(fā)式優(yōu)化算法,具有尋優(yōu)性能好、收斂速度快的特點(diǎn)。

1.2.1 雄性蜉蝣的運(yùn)動(dòng)

(2)

考慮到蜉蝣的運(yùn)動(dòng)特性,將雄性蜉蝣的速度定義為

(3)

(4)

式(4)中:ibest代表pbest和gbest;ibest,j表示在j維度時(shí)pbest和gbest的取值,xi表示雄性蜉蝣i;xij表示在j維度時(shí)雄性蜉蝣i的取值;n為雄性蜉蝣維度的上限。

依據(jù)蜉蝣特性,種群中最好的蜉蝣會(huì)表演它們特有的上下舞蹈,所以將這種行為表示為

(5)

式(5)中:d為隨機(jī)舞蹈系數(shù);r為[-1,1]的一個(gè)隨機(jī)數(shù)。

1.2.2 雌性蜉蝣的運(yùn)動(dòng)

(6)

考慮到雌雄蜉蝣相互吸引的隨機(jī)性,將雌性蜉蝣的速度表示為

(7)

1.2.3 雄雌蜉蝣的交配

雄雌蜉蝣交配過程,可以使用交叉算子來表示,從雄性蜉蝣種群中選擇一個(gè)樣本為父本,從雌性蜉蝣種群中選擇一個(gè)樣本為母本。這兩個(gè)樣本在各自種群適應(yīng)度排名相同。采用優(yōu)勝劣汰的機(jī)制,將最優(yōu)個(gè)體的雄性和雌性蜉蝣進(jìn)行繁殖得到最優(yōu)個(gè)體,將其表示為

(8)

式(8)中:O為雌雄蜉蝣繁衍的后代;xmale為父本;yfemale為母本;L為[-1,1]的一個(gè)隨機(jī)數(shù)。

1.3 蜉蝣算法的改進(jìn)

雖然蜉蝣算法與其他群智能優(yōu)化算法相比有擁有良好的性能和優(yōu)勢,但是算法在前期的全局搜索能力較弱,這可能會(huì)導(dǎo)致后期難以達(dá)到理想解。為了提高蜉蝣算法的全局搜索能力,同時(shí)加強(qiáng)局部搜索能力,使用以下兩種方法改進(jìn)。

(1)阻尼比系數(shù)。

借鑒粒子群改進(jìn)算法中粒子速度權(quán)重g的改變能優(yōu)化算法的思想。在調(diào)試蜉蝣算法中,發(fā)現(xiàn)隨機(jī)舞蹈系數(shù)d和隨機(jī)游走系數(shù)f的改變同樣對算法有所影響,因此引入阻尼比系數(shù)damp,使得隨機(jī)舞蹈系數(shù)d和隨機(jī)游走系數(shù)f隨著迭代次數(shù)的變化而穩(wěn)定遞減,表達(dá)式為

(9)

引入阻尼比系數(shù)后,每一次迭代都會(huì)將隨機(jī)舞蹈系數(shù)d和隨機(jī)游走系數(shù)f進(jìn)行一次運(yùn)算,同時(shí)將運(yùn)算結(jié)果給下一次迭代使用。此方法能夠加強(qiáng)算法的全局搜索和局部搜索,防止算法陷入局部最優(yōu)。

(2)非線性慣性權(quán)重因子。

慣性權(quán)重因子對算法的搜索能力和開發(fā)能力有著良好的指導(dǎo)性作用。當(dāng)慣性權(quán)重因子較大時(shí)算法有較好的全局搜索能力,較小時(shí)算法的開發(fā)能力較強(qiáng),有較好的局部搜索能力。因此,為了達(dá)到前期慣性權(quán)重因子較大,后期慣性權(quán)重因子較小的要求,循環(huán)時(shí)的慣性因子計(jì)算公式為

(10)

式(10)中:t為迭代次數(shù);Tmax為最大迭代次數(shù)。

當(dāng)算法中引入非線性慣性權(quán)重因子后,雌性蜉蝣和雄性蜉蝣的位置更新表示為

(11)

當(dāng)算法進(jìn)行迭代運(yùn)算時(shí),慣性權(quán)重因子會(huì)從最大非線性的減小到0。通過加入非線性慣性權(quán)重因子能夠提升算法在前期的全局搜索能力,同時(shí)能夠加強(qiáng)后期局部搜索能力。

1.4 改進(jìn)蜉蝣算法性能分析

將改進(jìn)的蜉蝣算法與基礎(chǔ)的蜉蝣算法MA、粒子群算法(particle swarm optimization,PSO)、遺傳算法GA這3種優(yōu)化算法進(jìn)行比較。將這4種優(yōu)化算法應(yīng)用于函數(shù)尋優(yōu)中,找到函數(shù)最小值時(shí)的最優(yōu)解,然后對算法的優(yōu)化效果進(jìn)行比較,函數(shù)表達(dá)式為

F=x2-6x+9

(12)

在尋優(yōu)時(shí),將4種算法的初始種群都設(shè)為20,迭代次數(shù)都設(shè)置為10,解的上下限范圍都設(shè)為(2,4)。最后各個(gè)優(yōu)化算法得出的最優(yōu)解與迭代次數(shù)如圖2所示。從圖2中可以看出,PSO和GA得到最優(yōu)解次數(shù)分別為第8次和第7次,而MA得出的最優(yōu)解在第3次,改進(jìn)后的IMA在第2次就得到了最優(yōu)解,可以表明IMA優(yōu)化效果好,且改進(jìn)后算法能夠提升算法前期全局搜索能力和后期局部搜索能力,使算法能夠更快地搜索到最優(yōu)解。

圖2 各優(yōu)化算法比較

2 IMA-BP混合模型與Voting機(jī)制

2.1 IMA-BP混合模型

針對傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)分類結(jié)果精度低的問題,引入改進(jìn)蜉蝣算法 (improved mayfly algorithm,IMA)來對BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化,流程圖如圖3所示。通過改進(jìn)后的蜉蝣算法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合,改進(jìn)后的蜉蝣算法可以優(yōu)化網(wǎng)絡(luò)的權(quán)值和閾值。將通過算法優(yōu)化后的網(wǎng)絡(luò)權(quán)值和閾值傳遞到BP神經(jīng)網(wǎng)絡(luò)分類模型中,再對數(shù)據(jù)進(jìn)行訓(xùn)練與分類,通過這種方法能有效預(yù)防BP神經(jīng)網(wǎng)絡(luò)在分類時(shí)陷入一個(gè)局部極值,能夠提高BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率、速度和學(xué)習(xí)能力,且優(yōu)化了網(wǎng)絡(luò)的性能,獲得更加準(zhǔn)確的分類結(jié)果。IMA-BP模型的步驟如下。

圖3 IMA-BP流程圖

步驟1輸入數(shù)據(jù),將數(shù)據(jù)劃分為了測試集和訓(xùn)練集。

步驟2初始化蜉蝣算法的參數(shù),主要為迭代次數(shù)、種群大小、蜉蝣的初始位置和速度等參數(shù)。

步驟3將BP神經(jīng)網(wǎng)絡(luò)分類模型和訓(xùn)練集得出的分類準(zhǔn)確率作為適應(yīng)度函數(shù)來計(jì)算蜉蝣個(gè)體的適應(yīng)度值。

步驟4根據(jù)適應(yīng)度值對蜉蝣群體歷史最優(yōu)位置pbest和蜉蝣個(gè)體歷史最優(yōu)位置gbest進(jìn)行更新。

步驟5根據(jù)引入的阻尼比系數(shù)和非線性慣性權(quán)重因子對雄性蜉蝣和雌性蜉蝣的速度和位置進(jìn)行更新。

步驟6雄雌蜉蝣進(jìn)行交配,若生成子代后的適應(yīng)度值較優(yōu)則替換掉對應(yīng)的較差個(gè)體,此時(shí)子代的初始速度為0。

步驟7判斷是否滿足輸出條件(迭代次數(shù)是否達(dá)到限定次數(shù)).如果滿足條件則輸出最優(yōu)值,如果不滿足則返回步驟3。

步驟8將步驟7中輸出的最優(yōu)值,即經(jīng)過蜉蝣算法優(yōu)化后的最優(yōu)權(quán)值和閾值分別傳遞反饋給BP神經(jīng)網(wǎng)絡(luò)分類模型,再將準(zhǔn)備好的訓(xùn)練集放入模型對模型進(jìn)行學(xué)習(xí)與訓(xùn)練,最后將測試集放入模型中進(jìn)行分類,得出分類結(jié)果和準(zhǔn)確率。

IMA-BP混合模型的算法偽代碼如下所示。

IMA-BP混合模型偽代碼輸入:訓(xùn)練集train,測試集test輸出:準(zhǔn)確率Accuracy建立神經(jīng)網(wǎng)絡(luò)模型初始化神經(jīng)網(wǎng)絡(luò)參數(shù)W,b初始化雄性和雌性蜉蝣的種群和速度求出各蜉蝣適應(yīng)度值(網(wǎng)絡(luò)對訓(xùn)練集的分類準(zhǔn)確率)得出gbestWhile 未滿足中止條件 更新雌雄蜉蝣的速度和解 評估解 雌雄蜉蝣排序 雌雄蜉蝣交配 評估子代 將子代劃為雌性和雄性種群 更新pbest和gbestEnd將gbest給W,b賦值通過優(yōu)化后的網(wǎng)絡(luò)對測試集進(jìn)行分類計(jì)算出準(zhǔn)確率Accuracy

通過偽代碼可以對算法進(jìn)行復(fù)雜度分析。算法執(zhí)行所消耗的時(shí)間可以稱為時(shí)間復(fù)雜度,可以檢驗(yàn)算法的性能。在算法中,包含著雌性蜉蝣和雄性蜉蝣兩個(gè)種群,假設(shè)種群數(shù)量分別為N和M,當(dāng)算法的維度為k,且迭代次數(shù)為G時(shí),那么該算法的時(shí)間復(fù)雜度為O[(N+M)kG]。

2.2 Voting機(jī)制

集成學(xué)習(xí)(ensemble learning,EL)在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)中有重要的應(yīng)用。集成學(xué)習(xí)顧名思義就是把所建立的不同模型通過某些機(jī)制或按要求設(shè)定的標(biāo)準(zhǔn)進(jìn)行集成融合,從而能夠得到一個(gè)更加強(qiáng)大穩(wěn)健的模型。集成學(xué)習(xí)的方法有多數(shù)票機(jī)制、套袋法和Adaboost等。

由于BP神經(jīng)網(wǎng)絡(luò)的分類具有隨機(jī)性,為了提升分類算法的準(zhǔn)確率,將IMA-BP分類算法作為一個(gè)弱分類器,把多個(gè)弱分類器得出的結(jié)果通過集成學(xué)習(xí)中投票(Voting)機(jī)制來進(jìn)行融合,形成一個(gè)強(qiáng)分類器,如圖4所示。

圖4 集成學(xué)習(xí)

集成學(xué)習(xí)中的投票(Voting)機(jī)制可以分為硬投票(hard voting)和軟投票(soft voting)。硬投票表示各弱分類器在權(quán)重相同的情況下進(jìn)行投票,其原理為多數(shù)投票原則,滿足少數(shù)服從多數(shù)。同時(shí)投票中如果弱分類器的某一分類結(jié)果超過半數(shù),那么選擇該結(jié)果,如果沒有半數(shù),那么結(jié)果則無輸出。軟投票也稱加權(quán)平均概率投票,雖然軟投票的原理也是多數(shù)投票原則,但是軟投票是基于弱分類投票所占的權(quán)重來進(jìn)行投票,每次投票都可以將 器的準(zhǔn)確率作為權(quán)重,最終選擇值最大的一個(gè),通過n個(gè)分類器分類的一組數(shù)據(jù)的各個(gè)分類結(jié)果值的運(yùn)算公式為

(13)

式(13)中:S(Label=A)代表分類標(biāo)簽為A時(shí)求得的值;Acc為第i個(gè)弱分類器的準(zhǔn)確率;n為弱分類器的個(gè)數(shù);P(A)的值為1或0,當(dāng)?shù)趇個(gè)弱分類器的結(jié)果為A時(shí)P(A)=1,否則P(A)=0。

3 結(jié)果分析

為了能夠驗(yàn)證IMA-BP分類算法的有效性,使用Vehicle 數(shù)據(jù)集來進(jìn)行測試。Vehicle數(shù)據(jù)集是加利福尼亞大學(xué)公開的UCI 數(shù)據(jù)庫中的公開數(shù)據(jù)集,該數(shù)據(jù)集中包含846 組車輛的數(shù)據(jù),每組數(shù)據(jù)有18維特征,這846組數(shù)據(jù)中的共計(jì)4個(gè)車型類別。

在仿真實(shí)驗(yàn)中,將數(shù)據(jù)庫中4類總計(jì)150組數(shù)據(jù)劃分為了測試集,將剩余696組數(shù)據(jù)劃分為訓(xùn)練集。通過訓(xùn)練集和測試集來比較該方法與BP、PSO-BP、GA-BP和MA-BP這4種模型的分類準(zhǔn)確率。將每種模型進(jìn)行5次測試,最后得出平均準(zhǔn)確率,如表1所示。從表1中可以看出,IMA-BP算法在數(shù)據(jù)庫相同的情況下相比其他4種算法準(zhǔn)確率更高,證明了IMA-BP分類算法能夠更好地進(jìn)行多分類。

表1 UCI數(shù)據(jù)集測試結(jié)果

為了進(jìn)一步提高分類的準(zhǔn)確率,將IMA-BP作為弱分類器后,通過投票機(jī)制對結(jié)果進(jìn)行融合分析,為了確認(rèn)軟投票和硬投票的效果,將IMA-BP弱分類器進(jìn)行25次分類運(yùn)算,將分類得出的數(shù)據(jù)從5、10、15、20和25組數(shù)據(jù)通過兩種投票方式進(jìn)行計(jì)算,以此來區(qū)分兩種方法的效果,實(shí)驗(yàn)結(jié)果如表2所示。從表中可以看出,軟投票在5組、10組、15組和20組的數(shù)據(jù)下的分類準(zhǔn)確率要高于硬頭票,同時(shí)硬投票在有25組數(shù)據(jù)下得出的分類準(zhǔn)確率要高于軟投票。這表明在數(shù)據(jù)較少時(shí),軟投票的分類準(zhǔn)確率的分類效果優(yōu)于硬投票,當(dāng)數(shù)據(jù)量足夠時(shí),硬投票的效果較好。

表2 軟投票和硬投票

為了確定當(dāng)有幾個(gè)弱分類器時(shí)其分類效果更好,通過IMA-BP分類得出的25組數(shù)據(jù),依次遞加數(shù)據(jù)組個(gè)數(shù)來進(jìn)行軟投票和硬投票的計(jì)算,得出的結(jié)果如圖5和圖6所示。從圖5中可以看出在弱分類器有3個(gè)準(zhǔn)確率最高達(dá)到了88.666 7%,而從圖6中可以看出在弱分類器有2個(gè)準(zhǔn)確率最高達(dá)到了87.333 3%,相比之下軟投票的效果要優(yōu)于硬投票。

圖5 軟投票弱分類器個(gè)數(shù)與準(zhǔn)確率

圖6 硬投票弱分類器個(gè)數(shù)與準(zhǔn)確率

實(shí)驗(yàn)仿真結(jié)果表明軟投票機(jī)制下的IMA-BP分類模型的效果相較于其他模型效果好,該模型的準(zhǔn)確率達(dá)到了88.666 7%。為進(jìn)一步研究該分類算法模型的效果,繪制了混淆矩陣,如圖7所示。從圖7混淆矩陣中可以直觀地看出,混淆矩陣中斜角方向的藍(lán)色方塊中的數(shù)字表示被分類準(zhǔn)確的樣本個(gè)數(shù),其他顏色方塊中的數(shù)字則表示被分類錯(cuò)誤的樣本個(gè)數(shù),行列方向都表示4個(gè)類別的標(biāo)簽。可以明顯看出類別為1和2的樣本的分類準(zhǔn)確率較高,而類別3和4的樣本的分類準(zhǔn)確率較低,容易將類別3和類別4分類結(jié)果相反,偶爾會(huì)分類成類別1和類別2。但是整體的分類準(zhǔn)確率很可觀。

圖7 測試集分類結(jié)果混淆矩陣

將本文所構(gòu)建的分類模型和其他分類模型進(jìn)行比較。其他分類模型選取KNN、PSO-NBC和AB-LSSVM這3個(gè)分類模型。將這3種分類模型對相同的訓(xùn)練樣本和測試樣本進(jìn)行分類,分類出的結(jié)果如表3所示。從表3中可以看出KNN和粒子群優(yōu)化的樸素貝葉斯分類這兩個(gè)分類模型的效果不太好,KNN甚至相差了22.67個(gè)百分點(diǎn),而基于AdaBoost算法的最小二乘支持向量機(jī)分類模型準(zhǔn)確率雖然很高但是比本文模型少了將進(jìn)7個(gè)百分點(diǎn)。通過實(shí)驗(yàn)仿真結(jié)果表明,本文構(gòu)建的分類算法模型與其他分類模型相比有更高的準(zhǔn)確率。

表3 不同分類模型測試結(jié)果

為了進(jìn)一步驗(yàn)證本文模型對不同數(shù)據(jù)集的分類效果,將本文所構(gòu)建Voting IMA-BP分類模型和BP、MA-BP、PSO-BP、GA-BP、KNN、PSO-NBC、AB-LSSVM其他分類模型使用其他的數(shù)據(jù)集進(jìn)行比較。數(shù)據(jù)集選取了UCI中除Vehicle數(shù)據(jù)集外的數(shù)據(jù)集,包含Iris、WIL(wireless indoor localization)和CE(car evalution)。這些數(shù)據(jù)集中包含是樣本數(shù)、特征維度、類別、劃分的訓(xùn)練集和測試集樣本數(shù)如表4所示。每個(gè)數(shù)據(jù)集的測試集通過不同的分類算法模型得到的分類結(jié)果如表5所示。

表4 數(shù)據(jù)集信息

表5 不同數(shù)據(jù)集分類準(zhǔn)確率

從表5中通過比較分類的準(zhǔn)確率可以看出,在對Iris、WIL和CE數(shù)據(jù)集進(jìn)行分類時(shí),本文提出的Voting IMA-BP分類模型相比于其他的分類模型都有較高的分類準(zhǔn)確率。從表中的數(shù)據(jù)進(jìn)行確切的分析,Voting IMA-BP分類模型與BP、PSO-BP、GA-BP和MA-BP這些分類模型的相比較下,分類準(zhǔn)確率都有不俗的提升,相比之下雙方的分類準(zhǔn)確率最大相差了13.34個(gè)百分點(diǎn),最小也有相差1.19個(gè)百分點(diǎn),表明了IMA相比于其他優(yōu)化算法能夠更好地優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值,能更好地加強(qiáng)BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率。把Voting IMA-BP的準(zhǔn)確率于其他KNN、PSO-NBC、AB-LSSVM這些分類模型相比,發(fā)現(xiàn)Voting IMA-BP的準(zhǔn)確率更高,對分類的準(zhǔn)確率都有不小的提升,相比之下雙方的分類準(zhǔn)確率最大相差了20個(gè)百分點(diǎn),最小也有相差3.34個(gè)百分點(diǎn),表明Voting機(jī)制下的IMA-BP分類算法相對于其他分類模型來說對不平衡數(shù)據(jù)有更好的分類準(zhǔn)確率。

4 結(jié)論

為了能夠更好地對不平衡數(shù)據(jù)進(jìn)行分類,構(gòu)建出了基于集成學(xué)習(xí)Voting機(jī)制的IMA-BP分類算法模型,同時(shí)使用公開的UCI 數(shù)據(jù)庫中的數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證,得出以下結(jié)論。

(1)IMA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)對Vehicle數(shù)據(jù)集分類準(zhǔn)確率為84.24%,比MA、PSO、GA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率都高,說明了IMA優(yōu)化算法相對于MA、PSO、GA優(yōu)化算法能更好地對BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化,提高BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率。

(2)Voting機(jī)制的IMA-BP分類模型對4個(gè)數(shù)據(jù)集的分類準(zhǔn)確率分別為88.67%、96.67%、91.25%、93.52%,且分類準(zhǔn)確率都要高于其他模型,表明了Voting機(jī)制下的IMA-BP分類算法分類效果好,與其他分類模型相比有更好的分類準(zhǔn)確率。

本文分類模型有著很強(qiáng)的潛力,在面對不同分類任務(wù)如車型識(shí)別、垃圾分類、損傷識(shí)別和故障診斷等方面,較容易收集到不平衡數(shù)據(jù)特征,將本文模型應(yīng)用到這些任務(wù)中,能夠減小不平衡數(shù)據(jù)的影響,使分類具有較好的精度,對這些分類任務(wù)具有指導(dǎo)作用和較強(qiáng)的應(yīng)用價(jià)值。