云計(jì)算下低占用率大數(shù)據(jù)智能分類仿真研究

楊小琴，朱玉全

(1. 南京工業(yè)大學(xué)浦江學(xué)院，江蘇 南京 211134；2. 江蘇大學(xué)，江蘇 鎮(zhèn)江 212013)

1 引言

智能分類技術(shù)是一種非常重要的大數(shù)據(jù)管理技術(shù)，目前已經(jīng)成功的使用到了各個(gè)領(lǐng)域，但傳統(tǒng)大數(shù)據(jù)分類時(shí)會出現(xiàn)的方法占用率較高、分類效率低的問題還是很難解決，針對上述現(xiàn)象，國內(nèi)外學(xué)者提出了以下解決方法。

文獻(xiàn)[1]首先分析用戶的反饋數(shù)據(jù)文本，再對大數(shù)據(jù)使用半自動(dòng)建造的語義映射進(jìn)行幾率計(jì)算，從而形成有效的屬性類別，并把該方法運(yùn)用到云計(jì)算中，可以更針對性的分類大數(shù)據(jù)屬性類別。但該方法在進(jìn)行映射時(shí)會出現(xiàn)大量的冗余數(shù)據(jù)，導(dǎo)致在分類完成后，冗余數(shù)據(jù)會占據(jù)云計(jì)算空間。文獻(xiàn)[2]分析大數(shù)據(jù)的各項(xiàng)指標(biāo)說明，依據(jù)指標(biāo)分析數(shù)據(jù)的特性，然后對其進(jìn)行檢索，將檢索獲取的結(jié)果進(jìn)行特征提取，遵照其特點(diǎn)利用模糊分類對大數(shù)據(jù)進(jìn)行智能分類，但是該方法在對數(shù)據(jù)檢索時(shí)，需要進(jìn)行的步驟較為復(fù)雜，導(dǎo)致其后續(xù)的智能分類，需要花費(fèi)大量的時(shí)間計(jì)算，分類結(jié)果的精準(zhǔn)性較低。文獻(xiàn)[3]首先使用沖突數(shù)據(jù)檢測方法判定數(shù)據(jù)的分類是否存在沖突。如果存在沖突，就將其變換為約束滿足問題，經(jīng)過分析分類問題的約束變量，確準(zhǔn)分類其中含有處理沖突的內(nèi)容，構(gòu)建海量數(shù)據(jù)分類中沖突判別表現(xiàn)形式，從而實(shí)現(xiàn)大數(shù)據(jù)智能分類的目的。但該方法只能針對沖突數(shù)據(jù)進(jìn)行有效分類，而存儲在云空間內(nèi)的大數(shù)據(jù)種類復(fù)雜繁多，該方法存在較大的局限性，實(shí)用性差，難以應(yīng)對現(xiàn)實(shí)需求。

為解決上述問題，本文提出了一種云計(jì)算下低占用率大數(shù)據(jù)智能分類方法，通過樸素貝葉斯智能分類器，計(jì)算過程簡單、效率快，能夠有效解決后續(xù)分類較慢問題，并且適用于各類系統(tǒng)，同時(shí)訓(xùn)練模型還能夠使智能分類后的大數(shù)據(jù)不會出現(xiàn)冗余噪聲，大幅度降低云空間占用率。

2 云計(jì)算下低占用率大數(shù)據(jù)智能分類

2.1 大數(shù)據(jù)預(yù)處理階段

大數(shù)據(jù)預(yù)處理的重點(diǎn)就是為樸素貝葉斯分類做準(zhǔn)備，其具體工作要依據(jù)實(shí)際情況選擇特征屬性，再對所有特征屬性進(jìn)行分類，使連續(xù)的特征屬性變成離散化狀態(tài)，從而取得人類需要的數(shù)據(jù)。比如某種特征屬性的取值就是離散化的，那就不用在對其進(jìn)行離散化處理。該階段的輸入為每一種包括連續(xù)的特征屬性大數(shù)據(jù)測試集和大數(shù)據(jù)訓(xùn)練，輸出如果是離散化的屬性值。那么在分類過程中其質(zhì)量會起到非常重要的作用，并且特征屬性的分割、訓(xùn)練樣本與為特征屬性決定分類器質(zhì)量的關(guān)鍵。所以需要對大數(shù)據(jù)樣本屬性并行計(jì)算最優(yōu)質(zhì)分割區(qū)域，實(shí)現(xiàn)將連續(xù)屬性進(jìn)行離散化，預(yù)處理階段能夠?qū)崿F(xiàn)Ma-pReduce并行化。

通常情況下利用NBS算法對大數(shù)據(jù)進(jìn)行智能分類里，使用初始數(shù)據(jù)作為特征，但對大數(shù)據(jù)的樣本而言，數(shù)據(jù)之間所表示的權(quán)重都各不相同，即，不同的源數(shù)據(jù)[4]中的區(qū)分程度也各不相同，本文在特征選取方面進(jìn)行了一些改進(jìn)，改進(jìn)后的結(jié)果如式(1)所示

(1)

式中tfik代表樣本xi第k中元數(shù)據(jù)的頻率，fik代表元數(shù)據(jù)在樣本中出現(xiàn)的次數(shù)。

(2)

式中，N代表樣本點(diǎn)的總數(shù)，nk表示源數(shù)據(jù)樣本的出現(xiàn)次數(shù)。最后的權(quán)重計(jì)算如式(3)所示

(3)

因大多數(shù)頻率都含有非零權(quán)值，因此本文將初始數(shù)據(jù)設(shè)置為1。

2.2 數(shù)據(jù)特征的壓縮函數(shù)

在云計(jì)算中大多使用VSM模型[5]來標(biāo)引大數(shù)據(jù)，就是大數(shù)據(jù)名稱能夠直接使用詞條T表示。但大數(shù)據(jù)名稱中存在大量的特征點(diǎn)，然而其中的部分高維特征對智能分類未必都是有用的，并且高維特征會使云計(jì)算空間被大量占用。因此本文首先對大數(shù)據(jù)的特征進(jìn)行降維操作，剔除部分冗余向量。

在特征降維中，特征選擇是較為重要的，就是把大數(shù)據(jù)中不重要的數(shù)據(jù)和數(shù)據(jù)量較小的特征從云計(jì)算中消除，從而減少特征的數(shù)量，它是大數(shù)據(jù)智能分類的關(guān)鍵步驟。

特征選擇方法大多都是通過對特征中含有的信息進(jìn)行估算，獲得可以映射特征信息含量的數(shù)值，或是特征區(qū)分實(shí)例的能力值。為了便于描述，本文簡要寫出特征選擇的經(jīng)典過程。擬定T={t1，t2，t3，…，tn}是對大數(shù)據(jù)做分詞后獲得的特征全集，使用M代表權(quán)重集合{1，2，3，…，m}。其特征選擇是確定從T到M的一種投影，即

F-Selection:T→M

(4)

這種投影函數(shù)[6]是特征權(quán)值計(jì)算的函數(shù)，隨后取一種N值，認(rèn)為T中某些權(quán)值大于N的特征是選取的特征，記作Ts，在隨后智能分類過程中，就是以Ts為基本參照標(biāo)準(zhǔn)特征對大數(shù)據(jù)進(jìn)行VSM模型表示。根據(jù)某種算法來較比待測實(shí)例向量與特征樣本向量中的關(guān)聯(lián)度，取關(guān)聯(lián)度最高的樣本為待測實(shí)例的類別。

2.3 智能分類算法選擇

因?yàn)榇髷?shù)據(jù)所在的空間是以云計(jì)算為基礎(chǔ)存在的，其屬于一種文本表達(dá)方式，所以能夠借助文本分類算法進(jìn)行智能分類。

目前較為流行的文本分類算法有很多，其中含有K進(jìn)鄰算法、NB算法、支持向量機(jī)算法、潛在語義索引、神經(jīng)算法[7]與決策樹算法。下面就集中常見的分類算法分析：

1)K近鄰算法：是一種傳統(tǒng)基于統(tǒng)計(jì)的分類方法，它是從樣本特征空間中找到K個(gè)長度最近的樣本，再通過多數(shù)樣本的類型進(jìn)行分類預(yù)測的一種方式。比如：對一個(gè)待測實(shí)例x，分類器在特征集中找到和該實(shí)例長度最近的k種樣本，如果這k種樣本多數(shù)為cj類，那么待測實(shí)例x為類別cj的可能性就較大。計(jì)算公式如下

(5)

式中，x表示為待測實(shí)例的向量表示：d代表數(shù)據(jù)集中樣本的向量表示，y(x，cj)是關(guān)聯(lián)度計(jì)算公式，也是待測實(shí)例和數(shù)據(jù)集樣本之間的長度，依據(jù)關(guān)聯(lián)度結(jié)果，從數(shù)據(jù)集中取出和待測實(shí)例最為關(guān)聯(lián)的k中樣本。利用其關(guān)聯(lián)度對數(shù)據(jù)進(jìn)行壓縮，以減少數(shù)據(jù)所占內(nèi)存，提高空間使用率，其數(shù)據(jù)壓縮計(jì)算公式如下

(6)

2)決策樹算法：決策樹是一種近似于流程圖的樹形結(jié)構(gòu)，其中所有的內(nèi)部節(jié)點(diǎn)都分別代表一種屬性測試，所有分支都分別代表一種輸出，而所有的樹葉節(jié)點(diǎn)都分別代表屬性的種類。

決策樹算法使用貪心思想，經(jīng)過對訓(xùn)練數(shù)據(jù)的學(xué)習(xí)，制作出一般化規(guī)則，再使用該規(guī)則解決問題。它是訓(xùn)練集以上至下方式為預(yù)先設(shè)定的所有屬性種類建造的一顆決策樹，然后將獲得的待測實(shí)例屬性在決策樹上進(jìn)行測試。路徑是分解節(jié)點(diǎn)到葉節(jié)上，最后獲得該實(shí)例所屬的種類。

3)支持向量機(jī)：SVM首先經(jīng)過非線性轉(zhuǎn)換將輸入數(shù)據(jù)融入到一個(gè)高維空間，再新空間中計(jì)算最優(yōu)質(zhì)線性分類面，而這個(gè)非線性轉(zhuǎn)換的前提是經(jīng)過適當(dāng)?shù)膬?nèi)積函數(shù)實(shí)現(xiàn)的。

SVM以構(gòu)建風(fēng)險(xiǎn)最小化為基礎(chǔ)，經(jīng)過選擇合適的函數(shù)子集和該子集的辨別函數(shù)使學(xué)習(xí)機(jī)的實(shí)際風(fēng)險(xiǎn)到達(dá)最小化，確保經(jīng)過有限訓(xùn)練的樣本得到的分類器對單獨(dú)測試集的測試誤差達(dá)到最小化，但SVM需要對實(shí)例進(jìn)行大量實(shí)驗(yàn)，導(dǎo)致需要太長的訓(xùn)練時(shí)間[8]。

4)貝葉斯定理：概率論中貝葉斯定理是一種較為重要的公式理論，通過新樣本數(shù)據(jù)中獲取新知識[9-11]。本文依據(jù)其融合統(tǒng)計(jì)原理和大數(shù)據(jù)樣本歸類到某種類別的先驗(yàn)知識，來完成云計(jì)算下大數(shù)據(jù)智能分類。

經(jīng)過上述過程，完成大數(shù)據(jù)的獲取及預(yù)處理，為實(shí)現(xiàn)數(shù)據(jù)的特征分類，本文將引入NBC處理方法進(jìn)行分類。

2.4 基于NBC的大數(shù)據(jù)特征分類模型建立

本文將貝葉斯定理融合到大數(shù)據(jù)的分類模型中，從而生成貝葉斯智能分類算法，該算法利用概率統(tǒng)計(jì)知識對大數(shù)據(jù)樣本進(jìn)行分類，其同樣看可作為一種統(tǒng)計(jì)學(xué)智能分類算法[12]。擬定訓(xùn)練樣本集與它每一種分類構(gòu)成的結(jié)合是T，設(shè)一個(gè)類別c∈C，樣本數(shù)據(jù)中包含n種屬性A1，A2，A3，…，An，測試樣本x=(a1，a2，…，an)∈X，根據(jù)設(shè)定含有多種屬性的樣本集，開始計(jì)算p(x|c)的運(yùn)算量較為廣泛。為了可以對p(x|c)的有效計(jì)算，貝葉斯智能分類器大多會擬定所有屬性間都為互相獨(dú)立的狀態(tài)。針對某種特定的類別，并且該類別的屬性都是互相獨(dú)立的，就會產(chǎn)生

(7)

融合貝葉斯公式，可得

(8)

式(8)對每一種類別p(x)是相同的。所以NBC分類器能夠使用下列公式表示

(9)

式(9)代表NBC模型，該模型是一種比較簡單、有效的智能分類模型，其分類性能相比神經(jīng)網(wǎng)絡(luò)、決策樹等智能分類器效果要更好。

經(jīng)過式(9)可以得出，在通過將大數(shù)據(jù)的集中樣本分割到某一種類的過程中，只要求出N(c)與N(c，ak)就可以了，很大程度的簡化了求出后驗(yàn)幾率所需要的計(jì)算過程。已知測試大數(shù)據(jù)集中某條樣本數(shù)據(jù)A的所有維屬性Ai。

for(測試大數(shù)據(jù)中某種記錄A)；

for(類別cj)；

for(樣本A的屬性Ai)catePro*=N(cj，ai)；

catePro/=N(c)n-1。

最后，本文對輸出的N種幾率值進(jìn)行排序，最大幾率值所相應(yīng)的類別就是該測試的所屬類別。

NBC的分類原理：經(jīng)過對大數(shù)據(jù)樣本的數(shù)量統(tǒng)計(jì)，并計(jì)算出樣本的先驗(yàn)幾率，再通過貝葉斯公式得出樣本要統(tǒng)一到那種類別的后驗(yàn)幾率，然后在選擇出后驗(yàn)幾率值較大的一個(gè)，當(dāng)做大數(shù)據(jù)樣本的類別。通過上述能夠得出，樸素貝葉斯智能分類器為一個(gè)能夠很大程度節(jié)省分類時(shí)間，且容錯(cuò)率較小的分類器，擬定源組被分割為m種類別：c1，c2，…，cj，…，cm相對于要把測試數(shù)據(jù)劃分到m種類別的問題，能夠經(jīng)過構(gòu)建下列分類模型計(jì)算。有式(10)推理可得

(10)

式中，N代表樣本總數(shù)，是可以忽略的常數(shù)。N(c)是c類的樣本總數(shù)，N(c，ak)是c類中屬性為ak出現(xiàn)的數(shù)量。經(jīng)過上述完成基于NBC的大數(shù)據(jù)特征分類模型的建立，為檢驗(yàn)本文方法的有效性，需進(jìn)行仿真。

3 仿真證明

3.1 仿真環(huán)境及參數(shù)

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境和MATLAB6.1的軟件環(huán)境。仿真系統(tǒng)中包含數(shù)據(jù)干擾模塊、資源調(diào)度模塊以及任務(wù)產(chǎn)生模塊，基于上述部分的組成，以MS-COCO數(shù)據(jù)集作為數(shù)據(jù)獲取來源，并在該數(shù)據(jù)集中任意采取1000個(gè)任務(wù)數(shù)據(jù)，同時(shí)將任務(wù)數(shù)據(jù)擬存于仿真系統(tǒng)中，數(shù)據(jù)字節(jié)控制在[256～568kb]之間，實(shí)驗(yàn)終止條件設(shè)置為300次，將本文方法分別與文獻(xiàn)[1]以及文獻(xiàn)[2]進(jìn)行對比。本文仿真算法參數(shù)如表1所示。

表1 仿真算法參數(shù)

3.2 智能分類模型訓(xùn)練

為實(shí)現(xiàn)低占用率大數(shù)據(jù)的智能分類，需建立智能分類模型，訓(xùn)練任務(wù)數(shù)據(jù)。訓(xùn)練的工作就是將樣本數(shù)據(jù)進(jìn)行訓(xùn)練，并獲取靜態(tài)值，其目的就是為了獲取測試樣本數(shù)據(jù)的某種類別幾率做準(zhǔn)備。通過NBS算法能夠看出，把訓(xùn)練樣本分配到Map任務(wù)節(jié)點(diǎn)上，會干擾最后結(jié)果，所以該階段能夠?qū)崿F(xiàn)Ma-pReduce并行化，使其在分類過后，并不會占用太多的云計(jì)算空間。

Map函數(shù)輸入的是Ma-pReduce的輸入模式。key代表樣本數(shù)據(jù)對于大數(shù)據(jù)起始初始位置的偏移量，value的形式是x=(c，a1，a2，a3，…，ai，…，an)的樣本數(shù)據(jù)。通過Map函數(shù)處理后生成中間結(jié)果建值對，其中key1含有兩個(gè)類型：attrIndex，attrVal-ue，category和category。前者代表統(tǒng)計(jì)特定類別時(shí)每種屬性值出現(xiàn)的數(shù)量，后者用在統(tǒng)計(jì)各類別的樣本數(shù)量。Valuel都是統(tǒng)計(jì)其個(gè)數(shù)。

將value中取得訓(xùn)練樣本數(shù)據(jù)：Value起始為1。

取得樣本數(shù)據(jù)x的類標(biāo)簽categort當(dāng)做key1，建造字符串，含有其樣本的屬性值、樣本類標(biāo)簽categort和樣本的序列號。

當(dāng)做key1，輸出(key1，valel)，把Map輸出的不相同的key1經(jīng)過上述投影到狀況不同的Reduce任務(wù)節(jié)點(diǎn)上。通過對應(yīng)的處理，key1不變，對同種key1值的balue1進(jìn)行疊加，所以能夠獲取每一種類別的樣本總數(shù)與特征類別中不同列的每一種屬性數(shù)量。

通過對大數(shù)據(jù)樣本進(jìn)行某種類別的歸屬測試和對模型訓(xùn)練，從而獲取大數(shù)據(jù)的靜態(tài)值。然而對大數(shù)據(jù)樣本進(jìn)行測試的時(shí)候，在算法計(jì)算之前，要獲取模型在訓(xùn)練后的結(jié)果和其中含有的路徑，就需要將該結(jié)果與HashMap、Array-List進(jìn)行融合，這樣就測試階段的結(jié)果獲取就變得非常簡單。

在最終測試中，Map函數(shù)的輸入值與模型的訓(xùn)練階段是一樣的。所以在不同的樣本中測試可以完整并獨(dú)立的獲取訓(xùn)練完成后的完整靜態(tài)數(shù)據(jù)，使測試樣本階段擁有并行性。首先將大數(shù)據(jù)樣本的測試集在特征類別的狀態(tài)下每一種取值都概率累乘，在算出最終的概率catePm。對每一種大數(shù)據(jù)樣本的測試，都需要將所有種類c進(jìn)行計(jì)算，并獲取屬于特征種類c的概率。

從value中算出大數(shù)據(jù)樣本測試數(shù)據(jù)x；

原始化變量lvalue，將在記錄c的所有變量屬性值；

原始化變量catePro，記錄屬于某種特定類c的幾率。原始值是1，0，對某種特征類c；

lvalue=lvalue.nextTokems

從訓(xùn)練階段取得的靜態(tài)數(shù)據(jù)中提取出該類別c中屬性列中取值是lvalue的數(shù)量num：

把特定類c當(dāng)做key1；

把所求的幾率catePro當(dāng)做valuel；

輸出(key1，valel)。

通過上述完成分類模型數(shù)值的訓(xùn)練，并輸出k值。

3.3 不同算法的性能檢測

3.3.1 分類時(shí)長開銷

為了證明本文方法的分類性能，首先給出本文方法和傳統(tǒng)方法，在云計(jì)算下不同的數(shù)據(jù)量的智能分類時(shí)間比較。

如圖1所示能夠看出本文方法從時(shí)間的消耗上遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)方法，能夠得出本文所提出的樸素貝葉斯模型能夠有效減少了方法的計(jì)算量，從而簡化了方法的分類效率。

圖1 不同方法的智能分類時(shí)間對比

3.3.2 分類數(shù)據(jù)的壓縮處理效率

以上述處理結(jié)果為基礎(chǔ)，進(jìn)行分類數(shù)據(jù)的壓縮處理效率分析。效率分析過程為：將本文算法輸入至仿真系統(tǒng)中，同時(shí)，將獲取的1000條數(shù)據(jù)發(fā)送到MATLAB6.1系統(tǒng)中，檢測本文方法的壓縮處理效率，處理結(jié)果如圖2所示。

圖2 數(shù)據(jù)分類的處理效率

通過分析圖2可知本文方法的處理效率能力高，對于大小為2GB的分類數(shù)據(jù)進(jìn)行壓縮時(shí)僅需3分零9秒，具有高效的壓縮能力。

3.3.3 分類精準(zhǔn)度

經(jīng)過擬定不同的k值進(jìn)行實(shí)驗(yàn)，對比傳統(tǒng)方法和本文方法在不同k值下的分類精準(zhǔn)度，如圖2所示。

圖3 不同方法的準(zhǔn)確度和占用率對比

通過上述實(shí)驗(yàn)?zāi)軌蚩闯觯谠朴?jì)算下的大數(shù)據(jù)智能分類上，本文方法較比傳統(tǒng)方法，有著分類效率高、數(shù)據(jù)分類精準(zhǔn)高的優(yōu)點(diǎn)。

4 結(jié)論

本文針對云計(jì)算下大數(shù)據(jù)智能分類效率低和占用空間較大的問題，提出了一種云計(jì)算下低占用率大數(shù)據(jù)智能分類。本文主要內(nèi)容及過程為：

1)通過構(gòu)建智能分類模型，對大數(shù)據(jù)進(jìn)行進(jìn)行特征選擇；

2)將構(gòu)建的樸素貝葉斯智能分類模型進(jìn)行訓(xùn)練，并對選擇出的特征進(jìn)行智能分類；

3)進(jìn)行仿真，證明本文方法在云計(jì)算下大數(shù)據(jù)智能分類方面，有著分類效率高和占用率低的優(yōu)點(diǎn)。