基于卷積神經(jīng)網(wǎng)絡(luò)的粗粒度數(shù)據(jù)分布式算法

駱 焦 煌

(閩南理工學(xué)院 信息管理學(xué)院, 福建 泉州 362000)

以文本信息為主體的網(wǎng)絡(luò)信息主要存儲于各級數(shù)據(jù)庫中, 基于數(shù)據(jù)表的大小、 類別和用途歸類, 將數(shù)據(jù)庫中的信息分為粗粒度信息和細(xì)粒度信息[1]. 粗粒度表示類別級, 即僅考慮對象的類別, 不考慮對象的某個特定實(shí)例. 粗粒度文本信息在本文中被稱為粗粒度數(shù)據(jù), 是一種不具特定實(shí)例的信息或數(shù)據(jù). 在現(xiàn)實(shí)數(shù)據(jù)庫系統(tǒng)中粗粒度信息較難獲得, 而在很多場景下粗粒度信息在綜合信息評價方面用途較廣, 因此對粗粒度信息的分類、 評價與應(yīng)用, 已成為當(dāng)前大數(shù)據(jù)挖掘與應(yīng)用領(lǐng)域的研究熱點(diǎn)之一. 數(shù)據(jù)庫中的粗粒度信息與細(xì)粒度信息具有緊密的關(guān)聯(lián)性, 粗粒度數(shù)據(jù)的挖掘還要基于不同粒度數(shù)據(jù)庫表之間的權(quán)重和關(guān)聯(lián)關(guān)系.

關(guān)于粗粒度文本數(shù)據(jù)挖掘、 分類及計算的傳統(tǒng)方法主要包括基于決策樹與基于不同粒度數(shù)據(jù)之間關(guān)聯(lián)度的計算方法, 存在召回率較低和泛化誤差較高等問題. 近年來, 隨著人工智能技術(shù)和機(jī)器學(xué)習(xí)算法的發(fā)展, 人工神經(jīng)網(wǎng)絡(luò)被應(yīng)用于粗粒度數(shù)據(jù)的分布式計算中, 人工神經(jīng)網(wǎng)絡(luò)方法具有強(qiáng)大的泛化能力與學(xué)習(xí)能力, 能集中處理和訓(xùn)練海量不確定性的大數(shù)據(jù)集. 隨著文本數(shù)據(jù)規(guī)模的不斷擴(kuò)大及數(shù)據(jù)結(jié)構(gòu)差異化程度的提高, 已有數(shù)據(jù)庫中通常包含結(jié)構(gòu)數(shù)據(jù)、 非結(jié)構(gòu)數(shù)據(jù)和半結(jié)構(gòu)混合數(shù)據(jù), 且數(shù)據(jù)庫中各種信息的均衡度不同, 給文本數(shù)據(jù)的分類挖掘帶來很大難度. 以人工神經(jīng)網(wǎng)絡(luò)為代表的機(jī)器學(xué)習(xí)方法在計算效率、 計算復(fù)雜度等方面都需提高和改善. 因此, 本文在原有一維卷積粗粒度數(shù)據(jù)計算模式基礎(chǔ)上, 提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的粗粒度數(shù)據(jù)分布式算法, 利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的后饋性能和泛化性能[2], 更精確地提取網(wǎng)絡(luò)文本中的粗粒度數(shù)據(jù)信息, 提高系統(tǒng)的分布式運(yùn)算能力.

1 卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

在數(shù)據(jù)庫表的分析與處理, 尤其是文本信息的拆分與使用中, 為提高數(shù)據(jù)類的復(fù)用性和計算機(jī)語言的功能性, 常將功能更復(fù)雜的粗粒度信息拆分成若干細(xì)粒度信息. 在數(shù)據(jù)庫設(shè)計中, 為減少文本數(shù)據(jù)庫表的復(fù)雜度, 常會減少數(shù)據(jù)庫表之間的連接關(guān)系, 進(jìn)而獲取數(shù)據(jù)庫文本數(shù)據(jù)的粗粒度信息. 與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型相比, 卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)要經(jīng)過卷積層、 池化層和全連接層, 再經(jīng)過神經(jīng)元的模擬計算輸出[3], 卷積神經(jīng)網(wǎng)絡(luò)模型的框架結(jié)構(gòu)如圖1所示.

在自然語言處理中, 由于文本文件無法直接作為輸入數(shù)據(jù)使用, 因此在處理文本文件時先將自然語言轉(zhuǎn)換為數(shù)值型數(shù)據(jù). 卷積層是模型的中心結(jié)構(gòu), 輸入經(jīng)過處理和轉(zhuǎn)換的數(shù)據(jù)在卷積層要經(jīng)過疊加和加權(quán)處理, 完成特征的歸類和提取[4]. 卷積層包括多個不同大小的濾波器[5], 輸入經(jīng)過卷積計算復(fù)雜度能得到控制, 也簡化了神經(jīng)元系統(tǒng)的運(yùn)算流程. 池化層主要負(fù)責(zé)對輸入數(shù)據(jù)進(jìn)行多維度采樣[6], 以增強(qiáng)網(wǎng)絡(luò)泛化能力, 經(jīng)池化后的數(shù)據(jù)進(jìn)入神經(jīng)網(wǎng)絡(luò)模型全連接, 并完成對文本數(shù)據(jù)的分類或聚類. 卷積神經(jīng)網(wǎng)絡(luò)模型在結(jié)構(gòu)設(shè)計上優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型, 因?yàn)榧尤肓司矸e計算和數(shù)據(jù)的池化環(huán)節(jié), 故在數(shù)據(jù)粒度劃分方面更有效. 卷積神經(jīng)網(wǎng)絡(luò)提升了神經(jīng)元的局部連接性能[7], 因此不受傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)模型最多神經(jīng)元數(shù)量容納的限制, 提高了神經(jīng)網(wǎng)絡(luò)的容納深度. 網(wǎng)絡(luò)局部連接性能的提升主要得益于網(wǎng)絡(luò)結(jié)構(gòu)匯總卷積層的引入, 若在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的第n層含有5個基礎(chǔ)神經(jīng)元, 則在第(n+1)和(n-1)層的局部連接方式如圖2所示. 由圖2可見, 當(dāng)增加網(wǎng)絡(luò)層數(shù)時, 神經(jīng)元層相對于輸入層中感受野的值也會增大, 這種結(jié)構(gòu)具有更強(qiáng)大的過濾性能, 減少網(wǎng)絡(luò)參數(shù)設(shè)定的復(fù)雜度. 隨著網(wǎng)絡(luò)層數(shù)的增加, 神經(jīng)元的泛化能力會拓展到全局, 并實(shí)現(xiàn)權(quán)值的共享與分配. 與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)方式相比, 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率更高[8], 在對粗粒度文本信息處理中, 特征提取的準(zhǔn)確率也更有優(yōu)勢.

圖1 卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

圖2 神經(jīng)元局部連接示意圖

2 基于卷積神經(jīng)網(wǎng)絡(luò)模型的粗粒度數(shù)據(jù)訓(xùn)練與池化

本文用于粗粒度數(shù)據(jù)計算的卷積神經(jīng)網(wǎng)絡(luò)模型包括卷積層、 池化層、 連接層和激活層, 其中卷積層是最關(guān)鍵部分, 大量分布在底層網(wǎng)絡(luò)中的卷積核構(gòu)成了卷積層, 該層的功能是提取粗粒度集的文本數(shù)據(jù)特征, 更適用于文本數(shù)據(jù)特征的提取與存儲, 相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在分布式運(yùn)算中的處理能力更強(qiáng).

算法描述如下：

步驟1) 初始化各隱藏層和輸出層的Weight,bias值為隨機(jī)值;

步驟2) for iter from 1 to Max;

步驟3) forj=1 tom;

步驟4) 將Convolutional Neural Network輸入a1設(shè)置為xi對應(yīng)的張量;

步驟5) fork=2 toL-1;

步驟6) 如果當(dāng)前層是全連接層, 則aj,k=σ(wkai,k-1+bl);

步驟7) 如果當(dāng)前是卷積層, 則ai,k=σ(wk*ai,k-1+bl);

步驟8) 如果當(dāng)前層是池化層, 則ai,k=pool(ai,k-1);

步驟9) 對于輸出層ai,k=softmax(zi,k);

步驟10) 通過損失函數(shù)計算輸出δi,k;

步驟11) fork=L-1 to 2;

步驟12) 如果當(dāng)前層是全連接層, 則δi,k=(wk+1)Tδi,k+1⊙σ′(zi,k);

步驟13) 如果當(dāng)前層是卷積層, 則δi,k=δi,k+1*rot180(wk+1)T⊙σ′(zi,k);

步驟14) 如果當(dāng)前層是池化層, 則δi,k=upsample(δi,k+1)⊙σ′(zi,k);

步驟15) fork=2 toL;

步驟16) 更新當(dāng)前全連接層或卷積層;

步驟17) 如果所有更新后的Weight和bias值都小于停止迭代閾值ε, 則跳出迭代循環(huán).

(1)

g(x)=(1+ex)-1,

(2)

而非Sigmoid型函數(shù)的變換區(qū)間為[-1,1], 其值域區(qū)間定義為

g(x)=tanh(x)=(1-e-2x)/(1+e-2x).

(3)

由于非Sigmoid型函數(shù)的值域范圍更廣, 因此應(yīng)用范圍也更廣, 在模型梯度優(yōu)化和調(diào)整過程中, 非Sigmoid型函數(shù)激活卷積層的神經(jīng)元細(xì)胞, 并調(diào)整網(wǎng)絡(luò)權(quán)值, 直至模型梯度函數(shù)中數(shù)據(jù)擴(kuò)散現(xiàn)象消除. 粗粒度文本數(shù)據(jù)在經(jīng)過卷積函數(shù)處理后, 提高了特征分布的均勻度, 有利于數(shù)據(jù)的分類、 聚類和特征輸出, 同時也減輕了數(shù)據(jù)庫過度細(xì)分帶來的運(yùn)算壓力.

卷積處理后的文本數(shù)據(jù)維度仍較高, 池化層主要負(fù)責(zé)對高維粗粒度數(shù)據(jù)的降維處理和數(shù)據(jù)采樣, 并提取出粗粒度文本數(shù)據(jù)的固有特征. 池化采樣包括最大池化和平均池化兩個過程, 按照一定的順序和規(guī)則池化窗在數(shù)據(jù)間移動, 并輸出池化特征. 傳統(tǒng)最大池化和平均池化過程效率較低, 過程冗余, 因此本文模型中將兩種池化方法相結(jié)合, 采用一種混合池化方法處理卷積激活后的文本數(shù)據(jù)：

(4)

其中: 參數(shù)λ為(0,1)內(nèi)的隨機(jī)變量； |Mij|為池化池中的全部數(shù)據(jù)個數(shù). 卷積與池化參數(shù)列于表1.

給定一個訓(xùn)練集A={(xi,yj)|i,j=1,2,…,n,yj∈{1,2,…,k}}, 其中yj為文本數(shù)據(jù)xi所對應(yīng)的函數(shù)值, 在粗粒度數(shù)據(jù)計算中需先確定損失函數(shù). 采用隨機(jī)梯度算法以保證不影響模型的收斂速度[11], 每次迭代中僅保證一小部分樣本數(shù)據(jù)參與, 以獲得更快的模型收斂速度. 為保證評估模型的可靠性, 將全部樣本數(shù)據(jù)平均分成若干小組計算均值, 并優(yōu)化參數(shù), 確保粗粒度數(shù)據(jù)分布式計算的效率和準(zhǔn)確率.

表1 卷積與池化參數(shù)

3 參數(shù)優(yōu)化與粗粒度數(shù)據(jù)的分布式運(yùn)算

用粒度梯度下降法求解模型的最小損失函數(shù), 并持續(xù)更新權(quán)值, 在參數(shù)更新中為保證損失函數(shù)迭代過程的穩(wěn)定, 采用如下參數(shù)優(yōu)化與更新策略：

(5)

卷積網(wǎng)絡(luò)模型的訓(xùn)練包括前饋操作和反向操作兩個過程[8], 前饋操作從卷積層開始依次傳遞到池化層、 神經(jīng)網(wǎng)絡(luò)層, 非Sigmoid型函數(shù)的工作模式可描述為

g(x)ypre=gn[gn-1ωn(gn-2ωn-1+c1)+…+cn],

(6)

(7)

訓(xùn)練后獲得的梯度函數(shù)為

(8)

圖3 基于卷積神經(jīng)網(wǎng)絡(luò)分布式運(yùn)算的實(shí)現(xiàn)過程

經(jīng)過多次迭代確定閾值范圍后滿足粗粒度數(shù)據(jù)模態(tài)處理的要求, 還可保證權(quán)值之和為1, 方便后續(xù)模型的訓(xùn)練與測試. 卷積神經(jīng)網(wǎng)絡(luò)模型下的分布式計算方法以模型并行和數(shù)據(jù)并行兩種方法為主, 并實(shí)現(xiàn)了兩種分布式計算方法的融合. 在模型運(yùn)行中卷積神經(jīng)網(wǎng)絡(luò)包含的各種神經(jīng)元, 將粗粒度數(shù)據(jù)均勻劃分到各節(jié)點(diǎn), 各節(jié)點(diǎn)協(xié)調(diào)工作, 共同完成訓(xùn)練任務(wù). 分布式運(yùn)算的處理方式避免了過多的網(wǎng)絡(luò)開銷, 在粗粒度數(shù)據(jù)并行處理過程中, 轉(zhuǎn)換后的輸入數(shù)據(jù)被分成若干小型的數(shù)據(jù)塊[13], 再將數(shù)據(jù)塊分發(fā)到Hadoop網(wǎng)絡(luò)集群中實(shí)現(xiàn)對初始數(shù)據(jù)的并行化處理. 卷積和池化處理后的文本數(shù)據(jù)維度降低, 提高了訓(xùn)練精度. 在Hadoop網(wǎng)絡(luò)結(jié)構(gòu)模式下, 并行的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)模式如圖3所示.

Hadoop網(wǎng)絡(luò)具有強(qiáng)大的并行計算能力, 借助Hadoop網(wǎng)絡(luò)結(jié)構(gòu), 卷積神經(jīng)網(wǎng)絡(luò)模型將卷積和池化后的數(shù)據(jù)分成了m個數(shù)據(jù)塊, 并將處理后的數(shù)據(jù)傳遞到神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn). 在相同條件下, 每個獨(dú)立的網(wǎng)絡(luò)節(jié)點(diǎn)單獨(dú)訓(xùn)練網(wǎng)絡(luò)數(shù)據(jù), 但這種模式效率較低, 卷積神經(jīng)網(wǎng)絡(luò)模型將局部神經(jīng)元連接成一體, 形成一個鏈狀的網(wǎng)絡(luò)結(jié)構(gòu), 并賦予結(jié)構(gòu)不同的權(quán)重, 與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型相比效率更高. 同時, 交叉鏈狀結(jié)構(gòu)與Hadoop網(wǎng)絡(luò)結(jié)構(gòu)的兼容性更好, 也可更好地發(fā)揮Map函數(shù)的分類和聚類功能. 當(dāng)訓(xùn)練完成后, Reduce函數(shù)重新將分散加工的節(jié)點(diǎn)數(shù)據(jù)聚合, 并重新計算權(quán)重值, 直到迭代后滿足設(shè)定的閾值. 卷積神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)模型中增加了卷積層和池化層[14], 不僅提高了模型的海量數(shù)據(jù)處理能力, 還提升了數(shù)據(jù)運(yùn)算效率, 在網(wǎng)絡(luò)層和中間隱含層中, 基于權(quán)重確定了神經(jīng)元之間的內(nèi)在關(guān)聯(lián)度, 從而保證了粗粒度文本數(shù)據(jù)處理的效率和準(zhǔn)確率.

4 算法性能分析

4.1 實(shí)驗(yàn)設(shè)置

為提升實(shí)驗(yàn)驗(yàn)證應(yīng)用結(jié)果的普遍性, 樣本數(shù)據(jù)集包含中文數(shù)據(jù)集和英文數(shù)據(jù)集兩類. 其中中文數(shù)據(jù)集以某高校中文系教學(xué)實(shí)驗(yàn)數(shù)據(jù)為研究樣本, 具體類別包含經(jīng)濟(jì)、 科技、 社會、 體育4個類別的15 250個樣本； 英文數(shù)據(jù)采用美國加州大學(xué)歐文分校Iris數(shù)據(jù)集中的14 750個樣本. 實(shí)驗(yàn)環(huán)境： CPU為Core i7 3.6 GHz, RAM為16 GB, ROM為2 TB, 采用Hadoop 2.8.0, 編程語言為Python 2.8. 參數(shù)配置： 中、 英文數(shù)據(jù)各占1/2, 數(shù)據(jù)維度為50, 訓(xùn)練倍數(shù)為20, 分塊數(shù)為10.

4.2 實(shí)驗(yàn)設(shè)計

在Hadoop網(wǎng)絡(luò)框架下, 將卷積神經(jīng)網(wǎng)絡(luò)模型與分布式網(wǎng)絡(luò)框架相結(jié)合, 運(yùn)行步驟如下:

1) 利用卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層訓(xùn)練全部的粗粒度文本詞條, 并將樣本轉(zhuǎn)換成二維矩陣的模式, 格式轉(zhuǎn)換后的粗粒度數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)模型;

2) 將輸入神經(jīng)網(wǎng)絡(luò)系統(tǒng)的文本數(shù)據(jù)矩陣模型按高斯分布初始化處理, 并逐層驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)模型在數(shù)據(jù)特征歸類中的有效性;

3) 利用Hadoop網(wǎng)絡(luò)框架模型對輸入系統(tǒng)的分布式特征數(shù)據(jù)降維, 并基于神經(jīng)網(wǎng)絡(luò)中隱含神經(jīng)元訓(xùn)練粗粒度文本數(shù)據(jù), 用分布式計算方法提高模型訓(xùn)練效率, 獲得最優(yōu)的分類計算結(jié)果.

4.3 實(shí)驗(yàn)結(jié)果與分析

圖4 單機(jī)模式下各算法的分布式計算效率對比

圖5 集群環(huán)境下各算法的分布式計算效率

以全部30 000個中英文混合數(shù)據(jù)為訓(xùn)練樣本, 并將全部樣本數(shù)據(jù)分成10個區(qū)塊. 首先考察在單機(jī)條件下卷積神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練效率. 為使訓(xùn)練對比結(jié)果更直觀, 與傳統(tǒng)基于決策樹的算法和一維卷積算法進(jìn)行對比, 單機(jī)模式下不同算法的分布式計算效率如圖4所示. 由圖4可見, 隨著迭代次數(shù)的增加, 卷積神經(jīng)網(wǎng)絡(luò)分布式算法對訓(xùn)練耗時的控制效果更好, 當(dāng)?shù)螖?shù)為140次時, 訓(xùn)練時間控制在1.34 h內(nèi), 顯著優(yōu)于傳統(tǒng)基于決策樹的分布式算法和一維卷積算法. 這主要是由于卷積神經(jīng)網(wǎng)絡(luò)中將輸入的文本數(shù)據(jù)疊加及加權(quán)處理, 提高了分類器的數(shù)據(jù)處理能力, 而文本數(shù)據(jù)的池化環(huán)節(jié)將50維的高維數(shù)據(jù)降至10維以下, 更有助于混合數(shù)據(jù)的聚類和分類處理, 效率更高. Hadoop網(wǎng)絡(luò)框架結(jié)構(gòu)的應(yīng)用, 能提高單機(jī)操作模式下的粗粒度數(shù)據(jù)分布效率, 在Hadoop2.8.0集群環(huán)境下不同算法的計算效率如圖5所示. 由圖5可見, 在Hadoop2.8.0集群環(huán)境下, 基于卷積神經(jīng)網(wǎng)絡(luò)的粗粒度文本計算效率十分穩(wěn)定, 隨著迭代次數(shù)的變化穩(wěn)定性更強(qiáng)； 決策樹算法和一維卷積算法相對于單機(jī)模式下計算效率也有改善.

下面對決策樹算法、 一維卷積算法和卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對比, 檢驗(yàn)各算法對中英文混合數(shù)據(jù)集的處理性能及在相同環(huán)境下粗粒度數(shù)據(jù)的分布式處理性能. 將30 000個中英文混合數(shù)據(jù)劃分為10個區(qū)塊, 分別測試不同算法對粗粒度數(shù)據(jù)的分類準(zhǔn)確率、 召回率、 訓(xùn)練時間和測試時間, 3種算法在相同的數(shù)據(jù)分塊和Hadoop集群環(huán)境進(jìn)行測試, 統(tǒng)計結(jié)果分別列于表2～表4.

表2 決策樹算法性能評估

表3 一維卷積算法性能評估

表4 卷積神經(jīng)網(wǎng)絡(luò)算法性能評估

圖6 不同算法的泛化誤差對比

由表2～表4可見, 卷積神經(jīng)網(wǎng)絡(luò)分布式算法文本數(shù)據(jù)的分類準(zhǔn)確率和召回率更高, 與決策樹算法相比, 兩個指標(biāo)的平均值分別提高了6.91%和7.58%； 在訓(xùn)練時間和測試時間方面, 卷積神經(jīng)網(wǎng)絡(luò)算法分別節(jié)省了0.629 h和1.649 h. 與一維卷積算法相比, 兩個指標(biāo)的平均值分別提高了8.59%和12.01%； 在訓(xùn)練時間和測試時間方面, 卷積神經(jīng)網(wǎng)絡(luò)算法分別節(jié)省了1.48 h和2.46 h. 分布式運(yùn)算效率得到了明顯提高和改善.

泛化能力是衡量算法性能的重要指標(biāo)之一, 通常對泛化誤差的控制能力越強(qiáng), 表明算法的泛化能力越強(qiáng). 圖6為11個數(shù)據(jù)區(qū)塊范圍內(nèi)粗粒度數(shù)據(jù)處理的泛化誤差邊界范圍. 由圖6可見, 卷積神經(jīng)網(wǎng)絡(luò)算法誤差控制在±0.01內(nèi), 優(yōu)于決策樹網(wǎng)絡(luò)和一維卷積的算法性能, 因此本文算法具有更強(qiáng)的泛化能力及分布式數(shù)據(jù)處理能力.

綜上所述, 本文針對傳統(tǒng)粗粒度文本數(shù)據(jù)計算方法及一維卷積算法在數(shù)據(jù)訓(xùn)練和測試中存在的問題, 提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的粗粒度數(shù)據(jù)分布式算法. 由于在神經(jīng)網(wǎng)絡(luò)模型中加入了卷積函數(shù)運(yùn)算和池化降維環(huán)節(jié), 因此算法的性能和泛化能力得到了顯著改善.