Hadoop 下多模式并行分類算法及其應(yīng)用研究

李玉丹,鄭曉薇

(遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院,遼寧 大連 116081)

1 概述

BP 神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network,BPNN)具有高度的非線性映射能力,通過(guò)構(gòu)建合適的網(wǎng)絡(luò),可以以任意精度逼近任何非線性映射函數(shù),因而在眾多領(lǐng)域得到廣泛應(yīng)用,如文獻(xiàn)[1]使用BP 神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別復(fù)雜背景下的各種手勢(shì)；文獻(xiàn)[2]利用BP 神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像進(jìn)行分類；文獻(xiàn)[3-4]分別將BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用于泥石流和電力價(jià)格的預(yù)測(cè)系統(tǒng)中。傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法,是將搜集到的全部資料樣本作為一個(gè)整體訓(xùn)練集,在單機(jī)上串行處理。然而,在圖像檢索等應(yīng)用領(lǐng)域中,此方法針對(duì)大規(guī)模雜亂無(wú)序的圖像樣本的多語(yǔ)義分類問題,往往表現(xiàn)出2 個(gè)方面的不足：(1)由于不同語(yǔ)義模式的樣本特征值存在明顯的差異性,這些特征值作為BP 神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)會(huì)使輸入層的輸入值發(fā)生較大跳躍,使BP 網(wǎng)絡(luò)很難學(xué)習(xí)到樣本數(shù)據(jù)的內(nèi)在特征和規(guī)律,導(dǎo)致網(wǎng)絡(luò)迭代時(shí)間長(zhǎng)、訓(xùn)練精度低；(2)隨著樣本規(guī)模的不斷增大,算法的串行訓(xùn)練方式內(nèi)存開銷成為瓶頸問題,通信耗時(shí)增長(zhǎng)、系統(tǒng)效率低。

為解決上述問題,本文提出一種SOM-MBP(Selforganizing Mapping Multi-back Propagation Neural Network)多模式并行分類算法。該算法將自組織映射(Self-organizing Mapping,SOM)網(wǎng)絡(luò)和多個(gè)并行BP 網(wǎng)絡(luò)相結(jié)合,由自組織網(wǎng)絡(luò)對(duì)全部樣本進(jìn)行初期自動(dòng)聚類,再用不同的BP 網(wǎng)絡(luò)訓(xùn)練不同的聚類樣本集,改善了數(shù)據(jù)多樣性的樣本訓(xùn)練對(duì)BP 性能的影響?；谠朴?jì)算平臺(tái)Hadoop 中MapReduce 編程模型設(shè)計(jì)了多作業(yè)并行處理機(jī)制,實(shí)現(xiàn)SOM-MBP 神經(jīng)網(wǎng)絡(luò)自身及多個(gè)BP 神經(jīng)網(wǎng)絡(luò)間的并行處理,并縮短了訓(xùn)練時(shí)間。

2 SOM-MBP 多模式并行分類算法

2.1 自組織映射網(wǎng)絡(luò)

自組織映射網(wǎng)絡(luò)是一種無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò),它模擬了生物神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的興奮、抑制與競(jìng)爭(zhēng)機(jī)制,即一個(gè)神經(jīng)元興奮后,通過(guò)它的分支會(huì)對(duì)周圍其他神經(jīng)元產(chǎn)生抑制,實(shí)現(xiàn)優(yōu)勝劣汰的選擇過(guò)程[5],其結(jié)構(gòu)如圖1 所示,由輸入層和競(jìng)爭(zhēng)層兩部分組成。假如輸入層有n個(gè)神經(jīng)元,競(jìng)爭(zhēng)層有m個(gè)神經(jīng)元,每個(gè)樣本對(duì)應(yīng)于輸入層第i個(gè)神經(jīng)元的輸入值表示為Xi,競(jìng)爭(zhēng)層第j個(gè)神經(jīng)元的輸出值表示為Yj；輸入層與競(jìng)爭(zhēng)層之間的連接權(quán)值表示為Wij,依據(jù)式(1)所示的學(xué)習(xí)規(guī)則,求得該輸入樣本的輸出值Yj,規(guī)定Yj中最大值所在的神經(jīng)元為獲勝神經(jīng)元。

圖1 SOM 網(wǎng)絡(luò)結(jié)構(gòu)

SOM 網(wǎng)絡(luò)只能實(shí)現(xiàn)單種模式的歸類判別,當(dāng)樣本數(shù)據(jù)由輸入層進(jìn)入SOM 網(wǎng)絡(luò)模型,通過(guò)一定的學(xué)習(xí)規(guī)則,競(jìng)爭(zhēng)層僅有一個(gè)神經(jīng)元為獲勝者,將僅與獲勝神經(jīng)元相聯(lián)系的各連接權(quán)值朝著有利于競(jìng)爭(zhēng)的方向調(diào)整,其他權(quán)值保持不變。獲勝神經(jīng)元代表已定義的樣本數(shù)據(jù)模式中的一種,使用式(2)調(diào)整網(wǎng)絡(luò)權(quán)值。SOM 網(wǎng)絡(luò)不是以一個(gè)神經(jīng)元的狀態(tài)矢量反映分類結(jié)果,而是以若干神經(jīng)元同時(shí)反映分類結(jié)果,因此其存在需要高度訓(xùn)練的缺點(diǎn)。

其中,η∈(0,1]為學(xué)習(xí)率為權(quán)值Wij所對(duì)應(yīng)的權(quán)值增量；t為迭代次數(shù)。

2.2 MBP 并行神經(jīng)網(wǎng)絡(luò)

BP 網(wǎng)絡(luò)與SOM 網(wǎng)絡(luò)不同,它需要期望信號(hào),是一種有監(jiān)督的神經(jīng)網(wǎng)絡(luò)。其結(jié)構(gòu)與SOM 類似,不同的是在輸入層和輸出層中間存在一或多個(gè)隱藏層[6]。BP 神經(jīng)網(wǎng)絡(luò)的主要思想是：首先輸入樣本數(shù)據(jù),根據(jù)給定的學(xué)習(xí)規(guī)則從輸入層至輸出層,正向計(jì)算網(wǎng)絡(luò)的實(shí)際輸出,學(xué)習(xí)規(guī)則如式(3)所示。神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元的激發(fā)函數(shù)表示為f(x),第k層第j個(gè)神經(jīng)元的實(shí)際輸出值表示為然后將實(shí)際輸出與期望信號(hào)進(jìn)行比較,得到的誤差從輸出層至輸入層反向傳播,對(duì)網(wǎng)絡(luò)權(quán)值沿著使誤差縮小的方向進(jìn)行修改,權(quán)值調(diào)整見式(4)：

其中,η為學(xué)習(xí)率,一般介于0～1 之間；t為迭代次數(shù)。

BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是修改網(wǎng)絡(luò)的權(quán)值,當(dāng)學(xué)習(xí)結(jié)束時(shí),該權(quán)值反映了同種模式輸入樣本的共同特征；對(duì)預(yù)測(cè)的樣本數(shù)據(jù),通過(guò)學(xué)習(xí)規(guī)則實(shí)現(xiàn)一種或多種模式分類。在實(shí)際應(yīng)用中,要達(dá)到較好的分類效果,BP 神經(jīng)網(wǎng)絡(luò)需要進(jìn)行大量的樣本訓(xùn)練,這就需要預(yù)先獲取有代表性的訓(xùn)練樣本集。此外,由于網(wǎng)絡(luò)的所有輸出神經(jīng)元的誤差均影響各層之間的權(quán)值調(diào)整量,在多模式分類的情況下,不同的輸出誤差將產(chǎn)生不同的權(quán)值調(diào)整方向,會(huì)對(duì)調(diào)整效果產(chǎn)生不利影響。

本文設(shè)計(jì)的MBP 并行神經(jīng)網(wǎng)絡(luò),采用多個(gè)BP網(wǎng)絡(luò)并行集成方法,可有效地避免權(quán)值的調(diào)整效果被相互抵消的問題。在本系統(tǒng)中,每個(gè)并行的BP 神經(jīng)網(wǎng)絡(luò)各自訓(xùn)練一種語(yǔ)義模式,這樣每個(gè)BP 網(wǎng)絡(luò)就可最大限度地逼近其所代表的語(yǔ)義模式函數(shù),充分學(xué)習(xí)各語(yǔ)義模式間的細(xì)微差別,提高訓(xùn)練精度。

2.3 SOM-MBP 多模式并行分類模型

SOM-MBP 多模式并行分類模型結(jié)構(gòu)如圖2 所示。本文實(shí)驗(yàn)選用圖像樣本做分類,首先對(duì)樣本進(jìn)行特征值提取的預(yù)處理,得到能夠代表樣本的特征數(shù)據(jù),然后利用SOM 網(wǎng)絡(luò)對(duì)樣本數(shù)據(jù)進(jìn)行自組織聚類,將具有相似特征和規(guī)律的樣本劃分為N個(gè)樣本集。該N個(gè)樣本集作為BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本,這樣既為BP 神經(jīng)網(wǎng)絡(luò)提供了有代表性的含有期望信號(hào)的樣本數(shù)據(jù)集,同時(shí)由于同一樣本集內(nèi)的樣本數(shù)據(jù)具有相似性,克服了因輸入值跳躍造成的BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效果差的問題。依據(jù)SOM 樣本聚類集的個(gè)數(shù),在N個(gè)單輸出的并行BP 神經(jīng)網(wǎng)絡(luò)中,每個(gè)BP 網(wǎng)絡(luò)獨(dú)立訓(xùn)練一個(gè)樣本集。在多語(yǔ)義類綜合判斷階段,匯總N個(gè)BP 網(wǎng)絡(luò)的結(jié)果,依據(jù)規(guī)定的閾值判斷所屬的多個(gè)模式,這樣就彌補(bǔ)了SOM 單模式歸類的不足,方便地實(shí)現(xiàn)多種語(yǔ)義模式的分類。

圖2 SOM-MBP 模型結(jié)構(gòu)

3 MapReduce 并行的SOM-MBP 多模式分類

目前,云計(jì)算是處理大規(guī)模數(shù)據(jù)的主流平臺(tái),Hadoop 是開源云計(jì)算平臺(tái)的典型代表,Hadoop 平臺(tái)下采用的并行化技術(shù)主要是MapReduce 模型[7],該模型根據(jù)分而治之的思想,將并行計(jì)算簡(jiǎn)化為Map和Reduce 過(guò)程,同時(shí)隱藏很多繁瑣的細(xì)節(jié)[8],如自動(dòng)并行化、負(fù)載均衡和災(zāi)備管理等[9-10]。Map(映射)函數(shù)用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)；Reduce(化簡(jiǎn))函數(shù)用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

在圖像分類檢索的應(yīng)用中,由于人工神經(jīng)網(wǎng)絡(luò)在樣本學(xué)習(xí)過(guò)程中,對(duì)每一個(gè)樣本均要遍歷迭代所有神經(jīng)元,因此當(dāng)圖像樣本個(gè)數(shù)較多、每個(gè)樣本的特征數(shù)據(jù)維數(shù)較大時(shí),往往會(huì)出現(xiàn)內(nèi)存開銷大、通信耗時(shí)長(zhǎng)、分類效率低的現(xiàn)象。本文在Hadoop 平臺(tái)下將SOM-MBP 多模式并行分類模型通過(guò)MapReduce 編程模型予以并行化設(shè)計(jì),采用Map 函數(shù)和Reduce 函數(shù)實(shí)現(xiàn)SOM-MBP 神經(jīng)網(wǎng)絡(luò)內(nèi)部的自動(dòng)并行化,同時(shí)利用MapReduce 提供的多作業(yè)并行處理機(jī)制實(shí)現(xiàn)多個(gè)BP 神經(jīng)網(wǎng)絡(luò)間的并行執(zhí)行。此設(shè)計(jì)能大大縮短SOM-MBP 算法的樣本聚類和訓(xùn)練時(shí)間,提高訓(xùn)練的精度。

3.1 SOM 子模型的MapReduce 并行方法

自組織映射網(wǎng)絡(luò)算法由網(wǎng)絡(luò)權(quán)值修改量的精度控制迭代次數(shù),在每次迭代過(guò)程中,需要對(duì)所有樣本數(shù)據(jù)判斷其獲勝神經(jīng)元的位置,并修改與獲勝神經(jīng)元連接的權(quán)值。在MapReduce 并行中針對(duì)每一次迭代,Map 階段判定獲勝神經(jīng)元,計(jì)算其相應(yīng)的權(quán)值修改量。Reduce 階段對(duì)相同的獲勝神經(jīng)元,統(tǒng)計(jì)與其連接的每個(gè)權(quán)值的總體更新量,然后對(duì)權(quán)值更新。算法如下：

(1) Map 階段

1) 輸入鍵值對(duì)＜key,value ＞,其中,key 表示樣本序號(hào)；value 表示樣本的特征值集合；每個(gè)＜key,value ＞對(duì)代表一個(gè)樣本記錄。

2) 根據(jù)學(xué)習(xí)規(guī)則計(jì)算競(jìng)爭(zhēng)層的輸出值。

3) 判定獲勝神經(jīng)元,將其輸出狀態(tài)設(shè)為1,其他所有神經(jīng)元狀態(tài)設(shè)為0。設(shè)定獲勝標(biāo)志flag 為獲勝神經(jīng)元在競(jìng)爭(zhēng)層的位置。

4) 計(jì)算與獲勝神經(jīng)元相連接的各權(quán)值更新量,其他權(quán)值保持不變。

5) 輸出鍵值對(duì)＜key,value ＞,其中,key 表示flag 獲勝標(biāo)志；value 表示與獲勝神經(jīng)元相連接的各權(quán)值更新量。

(2) Reduce 階段

1) 接收Map 階段的結(jié)果作為輸入鍵值對(duì)＜key,value ＞,其中,key 表示flag 獲勝標(biāo)志；value表示list ＜與獲勝神經(jīng)元相連接的各權(quán)值更新量＞,即具有相同獲勝標(biāo)值的權(quán)值更新列表作為value 值。

2) 累計(jì)每個(gè)權(quán)值的總體更新量,求得平均更新量。

3) 調(diào)整相應(yīng)的網(wǎng)絡(luò)權(quán)值。

4) 輸出鍵值對(duì)＜key,value ＞,其中,key 表示權(quán)值更新狀態(tài)；value 表示更新后的網(wǎng)絡(luò)權(quán)值。

5) 更新全局文件,使文件中對(duì)該網(wǎng)絡(luò)的權(quán)值為reduce 的輸出值。

重復(fù)以上MapReduce 過(guò)程,直到各權(quán)值的調(diào)整量趨近于規(guī)定的精度值。

3.2 MBP 子模型的MapReduce 多作業(yè)并行方法

本文中SOM-MBP 網(wǎng)絡(luò)模型的BP 神經(jīng)網(wǎng)絡(luò)部分是將多個(gè)單輸出的BP 并列集成,在Hadoop 云計(jì)算平臺(tái)下,將每個(gè)BP 神經(jīng)網(wǎng)絡(luò)加載為一個(gè)獨(dú)立的作業(yè),由MapReduce 框架提供的submit()方法并行提交作業(yè),實(shí)現(xiàn)多個(gè)BP 神經(jīng)網(wǎng)絡(luò)作業(yè)的并行執(zhí)行。同時(shí),每個(gè)BP 神經(jīng)網(wǎng)絡(luò)由Map 函數(shù)和Reduce 函數(shù)實(shí)現(xiàn)其自身內(nèi)部的并行處理。Map 階段計(jì)算每個(gè)樣本數(shù)據(jù)其對(duì)應(yīng)的所有權(quán)值變化量。Reduce 階段統(tǒng)計(jì)整個(gè)網(wǎng)絡(luò)中每個(gè)權(quán)值的總體更新量,然后對(duì)權(quán)值進(jìn)行更新,寫入Hadoop 文件系統(tǒng),供下一次迭代使用。

(1) MBP 子模型的Map 階段

首先將SOM 算法的聚類結(jié)果,即樣本的特征值集合+類別信號(hào),作為BP 神經(jīng)網(wǎng)絡(luò)輸入鍵值對(duì)＜key,value ＞的value 值,樣本序號(hào)作為key 值,輸入到網(wǎng)絡(luò)中。根據(jù)式(3)的學(xué)習(xí)規(guī)則向前逐層計(jì)算網(wǎng)絡(luò)的輸出值。與SOM 不同,在網(wǎng)絡(luò)輸出層無(wú)需判定獲勝神經(jīng)元,而是將輸出層的實(shí)際輸出值與期望的類別信號(hào)比較,逐層計(jì)算學(xué)習(xí)誤差。然后根據(jù)學(xué)習(xí)誤差計(jì)算網(wǎng)絡(luò)中每個(gè)權(quán)值的更新量。將每個(gè)樣本所對(duì)應(yīng)的所有權(quán)值更新量作為Map 輸出鍵值對(duì)＜key,value ＞的value 值,輸出給Reduce 階段使用。

(2) MBP 子模型的Reduce 階段

接收來(lái)自Map 階段的輸出結(jié)果,即每個(gè)樣本所對(duì)應(yīng)的所有權(quán)值更新量。然后累計(jì)所有樣本相同權(quán)值的總體更新量,得到每個(gè)權(quán)值的總體平均更新量并更新網(wǎng)絡(luò)中的各權(quán)值。將更新后的網(wǎng)絡(luò)權(quán)值作為Reduce 階段的輸出寫入到HDFS 上指定的權(quán)值文件中,以供下一次迭代使用。

重復(fù)以上Map-Reduce 過(guò)程,直到誤差達(dá)到定義的精度或達(dá)到最大迭代次數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證SOM-MBP 多模式并行分類算法在Hadoop 云計(jì)算平臺(tái)下對(duì)大量數(shù)據(jù)集的分類效率,對(duì)自然風(fēng)景圖像進(jìn)行了多種語(yǔ)義模式分類的測(cè)試實(shí)驗(yàn)。

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)

硬件配置：Hadoop 集群平臺(tái)由55 個(gè)節(jié)點(diǎn)機(jī)構(gòu)成,各節(jié)點(diǎn)機(jī)均為Intel(R) Core(TM) i3-3240 CPU @3.40 GHz,4.00 GB 內(nèi)存,64 位操作系統(tǒng)。

軟件：Linux 操作系統(tǒng)Ubuntu13.04；編程環(huán)境為MapReduce 類庫(kù)和Eclipse 編譯器；程序設(shè)計(jì)語(yǔ)言為Java 語(yǔ)言。

實(shí)驗(yàn)數(shù)據(jù)：實(shí)驗(yàn)數(shù)據(jù)選自互聯(lián)網(wǎng)百度圖像庫(kù)。選取涵蓋日光、河海、高山、樹木、花朵5 種類別的自然圖像,圖像總數(shù)多達(dá)30 000 000 幅,圖像分辨率是300 ×210 像素。

模型結(jié)構(gòu)：由于本文實(shí)驗(yàn)是對(duì)自然風(fēng)景圖像進(jìn)行5 種語(yǔ)義模式的多語(yǔ)義分類,因此自組織映射網(wǎng)絡(luò)的競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)為5 個(gè),相應(yīng)地,構(gòu)建5 個(gè)單輸出的BP 神經(jīng)網(wǎng)絡(luò)。圖像樣本預(yù)處理階段,在OpenCV 環(huán)境下對(duì)每幅圖像樣本從顏色、紋理、形狀3 個(gè)方面進(jìn)行底層特征的提取,其中,顏色特征64 維、紋理特征48 維、形狀特征7 維,即每幅圖像特征向量共計(jì)119 維,因此,對(duì)SOM 和每個(gè)單獨(dú)的BP神經(jīng)網(wǎng)絡(luò)而言,依據(jù)所提取的圖像樣本底層特征數(shù)量,輸入層節(jié)點(diǎn)個(gè)數(shù)Ni取119,每個(gè)單獨(dú)的BP 神經(jīng)網(wǎng)絡(luò)其輸出層節(jié)點(diǎn)個(gè)數(shù)No為1,隱藏層節(jié)點(diǎn)個(gè)數(shù)依據(jù)經(jīng)驗(yàn)公式,經(jīng)過(guò)反復(fù)實(shí)驗(yàn)取15 效果較好。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果具體如下：

(1) 文獻(xiàn)[11]采用單BP 多個(gè)輸出的網(wǎng)絡(luò)模型對(duì)自然圖像進(jìn)行多種語(yǔ)義的分類,本文將該分類算法引用到本文實(shí)驗(yàn)環(huán)境中并通過(guò)Java 予以實(shí)現(xiàn),選取5 000 幅作為測(cè)試樣本,30 000 幅為訓(xùn)練樣本,將其分類測(cè)試結(jié)果與本文提出的SOM-MBP多模式并行分類算法測(cè)試結(jié)果進(jìn)行對(duì)比,如表1所示。

表1 不同分類算法測(cè)試結(jié)果對(duì)比 %

由表1 數(shù)據(jù)可計(jì)算出,文獻(xiàn)[11]單BP 多輸出分類算法的總體平均查全率為79.1%,平均準(zhǔn)確率為81.0% ；SOM-MBP 多模式分類算法的總體平均查全率為88.2%,平均準(zhǔn)確率為87.6% 。

(2) 單BP 多輸出神經(jīng)網(wǎng)絡(luò)分類算法、SOM-MBP順序串行與MapReduce 并行的SOM-MBP 多模式分類算法,在圖像樣本總數(shù)從3 000 幅～30 000 000幅數(shù)據(jù)量下的運(yùn)行時(shí)間對(duì)比如表2 所示。

表2 算法運(yùn)行時(shí)間對(duì)比 s

(3) 為檢測(cè)并行優(yōu)化的結(jié)果,對(duì)程序運(yùn)行的并行加速比進(jìn)行對(duì)比,加速比的定義如下[12]：

其中,Ts為單個(gè)處理器上求解問題所花的時(shí)間；Tp為p個(gè)相同處理器并行計(jì)算機(jī)求解同一問題所花時(shí)間；Tcomp為計(jì)算時(shí)間；Tcomm為通信時(shí)間。

Hadoop 下并行SOM-MBP 多模式分類算法的加速比隨節(jié)點(diǎn)個(gè)數(shù)、樣本數(shù)量變化趨勢(shì)如圖3 所示。

圖3 Hadoop 下并行SOM-MBP 多模式分類算法的加速比

4.3 結(jié)果分析

從表1 的實(shí)驗(yàn)結(jié)果可知,由于SOM 階段將具有相似特征和規(guī)律的圖像劃分為一個(gè)樣本集,每個(gè)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個(gè)樣本集時(shí)能夠充分學(xué)習(xí)該類圖像間的細(xì)微特征差別,因而與文獻(xiàn)[11]提出的單BP多輸出分類算法相比,本文的SOM-MBP 多模式并行分類算法表現(xiàn)出了更高的查全率和準(zhǔn)確率,表明了采用MapReduce 并行的SOM-MBP 多模式分類算法在自然圖像多模式分類中的高效性。

由表2、圖3 可見,MapReduce 并行的SOM-MBP多模式分類算法在樣本數(shù)為3 000 時(shí),由于Hadoop 自身系統(tǒng)開銷等原因的影響,并行處理速度并不如串行SOM-MBP 算法,但當(dāng)樣本個(gè)數(shù)達(dá)到30 000以上后,由于采用并行化及Hadoop 分布式文件存儲(chǔ),降低了數(shù)據(jù)網(wǎng)絡(luò)傳輸?shù)拈_銷和內(nèi)存開銷,并行效率開始顯現(xiàn),隨著數(shù)據(jù)量的增大并行處理速度逐漸提高、加速比逐漸增長(zhǎng)；當(dāng)樣本個(gè)數(shù)達(dá)到300 000后,加速比增長(zhǎng)趨勢(shì)更明顯,這充分體現(xiàn)了該Hadoop 下并行SOM-MBP多模式分類算法在處理大規(guī)模數(shù)據(jù)時(shí)的優(yōu)越性,說(shuō)明了該算法是有效可行的。

5 結(jié)束語(yǔ)

在模式識(shí)別及樣本分類中,由于同種模式內(nèi)的樣本特征值存在相似性,異種模式間的樣本特征值差異性較大,因此對(duì)復(fù)雜無(wú)序的樣本進(jìn)行多種語(yǔ)義模式的分類時(shí),BP 神經(jīng)網(wǎng)絡(luò)通常很難學(xué)習(xí)到樣本數(shù)據(jù)的內(nèi)在特征和規(guī)律,同時(shí)隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大,在對(duì)大數(shù)據(jù)的存儲(chǔ)和處理過(guò)程中會(huì)產(chǎn)生內(nèi)存溢出、數(shù)據(jù)解析時(shí)間長(zhǎng)、磁盤與內(nèi)存之間傳輸過(guò)大等問題,導(dǎo)致BP 網(wǎng)絡(luò)很難達(dá)到較好的分類效率。本文根據(jù)人工神經(jīng)網(wǎng)絡(luò)自組織和高度并行的特點(diǎn),提出一種云計(jì)算環(huán)境下MapReduce 并行的SOM-MBP 多模式分類算法,并在Hadoop 集群上進(jìn)行了應(yīng)用測(cè)試。實(shí)驗(yàn)結(jié)果表明,該算法相比傳統(tǒng)單BP 多輸出算法訓(xùn)練速度更快、分類精度更高,驗(yàn)證了該算法的有效性和可行性,為神經(jīng)網(wǎng)絡(luò)在多模式分類中的應(yīng)用提供了借鑒。

[1]王先軍,白國(guó)振,楊勇明,等.復(fù)雜背景下BP 神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(3)：247-249,267.

[2]孫君頂,李 琳.基于BP 神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像分類[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2012,21(3)：160-162,212.

[3]Chang Tung-Chueng,Chao Ru-Jen.Application of Backpropagation Networks in Debris Flow Prediction[J].Engineering Geology,2006,85(3/4)：270-280.

[4]Meng K,Dong Z Y,Wong K P.Self-adaptive Radial Basis Function Neural Network for Short-term Electricity Price Forecasting[J].IET Generation,Transmission &Distribution,2009,3(4)：325-335.

[5]肖 婧,鄭更生,方 勇,等.基于自組織神經(jīng)網(wǎng)絡(luò)的分簇成鏈協(xié)議[J].計(jì)算機(jī)工程,2013,39(7)：148-151.

[6]肖會(huì)敏,郭 鵬.基于主成分分析與BP 神經(jīng)網(wǎng)絡(luò)的供應(yīng)商選擇模型[J].計(jì)算技術(shù)與自動(dòng)化,2013,32(1)：130-133.

[7]賈瑞玉,劉范范,潘雯雯,等.基于MapReduce 模型的并行量子進(jìn)化算法[J].計(jì)算機(jī)工程,2012,38(8)：180-182,188.

[8]Jeffrey D,Sanjay G.MapReduce：Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1)：107-113.

[9]李建江,崔 健,王 聃,等.MapReduce 并行編程模型研究綜述[J].電子學(xué)報(bào),2011,39(11)：2635-2642.

[10]劉 義,景 寧,陳 犖,等.MapReduce 框架下基于R-樹的k-近鄰連接算法[J].軟件學(xué)報(bào),2013,24(8)：1836-1851.

[11]謝文蘭,石躍祥,肖 平,等.應(yīng)用BP 神經(jīng)網(wǎng)絡(luò)對(duì)自然圖像分類[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(2)：163-166.

[12]陳國(guó)良.并行計(jì)算：結(jié)構(gòu),算法,編程[M].北京：高等教育出版社,1999.