大數(shù)據(jù)集序列模式挖掘算法分析

李克

摘 要：大數(shù)據(jù)時(shí)代背景下，網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)技術(shù)的使用非常關(guān)鍵，對(duì)于社會(huì)發(fā)展也起到了重要的作用。本文筆者針對(duì)大數(shù)據(jù)集序列模式挖掘算法進(jìn)行了分析研究，文章中闡述了大數(shù)據(jù)以及序列模式挖掘，并針對(duì)BLSPM算法進(jìn)行試驗(yàn)和結(jié)果分析。

關(guān)鍵詞：大數(shù)據(jù);BLSPM算法;序列模式挖掘

1 大數(shù)據(jù)和序列模式挖掘的概念

1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)是信息社會(huì)發(fā)展過程中形成的數(shù)據(jù)集合，其發(fā)展的背景信息化技術(shù)。計(jì)算機(jī)技術(shù)問世，其兩方面技術(shù)應(yīng)用最為廣泛，其一是數(shù)據(jù)運(yùn)算，其二就是數(shù)據(jù)信息管理，能夠?qū)崿F(xiàn)數(shù)據(jù)的儲(chǔ)存和分析。而隨著社會(huì)技術(shù)的發(fā)展，數(shù)據(jù)量也不斷增加，當(dāng)前在社會(huì)發(fā)展的過程中，信息技術(shù)開始逐漸朝向數(shù)據(jù)技術(shù)發(fā)展，形成了大數(shù)據(jù)技術(shù)。大數(shù)據(jù)當(dāng)前而言主要包括兩個(gè)方面。其一，是數(shù)據(jù)處理儲(chǔ)存量不斷增大，計(jì)算機(jī)技術(shù)中數(shù)據(jù)處理的單位從MB已經(jīng)達(dá)到了ZB，其數(shù)據(jù)變化巨大，并且相關(guān)數(shù)據(jù)專家預(yù)測(cè)，數(shù)據(jù)技術(shù)的儲(chǔ)存容量還會(huì)繼續(xù)增大10倍甚至20倍。另外一方面，大數(shù)據(jù)技術(shù)應(yīng)用于數(shù)據(jù)分析，其中包括數(shù)據(jù)庫(kù)分析、數(shù)據(jù)關(guān)系分析以及數(shù)據(jù)結(jié)構(gòu)分析等，數(shù)據(jù)分析技術(shù)在當(dāng)前社會(huì)中應(yīng)用更加廣泛，其具體分析過程中還包括數(shù)據(jù)采集、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)統(tǒng)計(jì)以及數(shù)據(jù)挖掘等多個(gè)技術(shù)部分，對(duì)于數(shù)據(jù)的分析處理有非常重要的作用。在未來，數(shù)據(jù)容量更大，數(shù)據(jù)采集技術(shù)更加先進(jìn)、數(shù)據(jù)挖掘也將會(huì)被更多的應(yīng)用，大數(shù)據(jù)將會(huì)對(duì)世界帶來重大的改變[2]。

1.2 序列模式挖掘的概念

序列模式挖掘是大數(shù)據(jù)背景下對(duì)數(shù)據(jù)挖掘的重要技術(shù)模式，在當(dāng)前社會(huì)中的應(yīng)用非常廣泛，信息市場(chǎng)調(diào)研、預(yù)測(cè)天氣變化、市場(chǎng)變化趨勢(shì)、網(wǎng)絡(luò)網(wǎng)站訪問模式等。在序列模式挖掘具體應(yīng)用的過程中，是在序列數(shù)據(jù)庫(kù)當(dāng)中將子序列頻繁出現(xiàn)作為數(shù)據(jù)的挖掘模式進(jìn)行數(shù)據(jù)分析，能夠?qū)崿F(xiàn)數(shù)據(jù)挖掘分析的精度提升。應(yīng)用較為早期的序列模式挖掘算法為Apriori，其在計(jì)算中使用到關(guān)聯(lián)性原則，而隨著現(xiàn)代社會(huì)中數(shù)據(jù)量的逐漸增大，所以在實(shí)際的社會(huì)應(yīng)用中Apriori算法應(yīng)用精度較差，所以現(xiàn)代社會(huì)發(fā)展中，急需一種適應(yīng)社會(huì)的序列發(fā)展模式，保證數(shù)據(jù)使用更加高效。

2 大數(shù)據(jù)集序列模式挖掘算法

2.1 BLSPM算法和實(shí)驗(yàn)結(jié)果

BLSPM是一種新式序列模式挖掘算法，其發(fā)展的前身是PrefixSpan算法以下是對(duì)該算法進(jìn)行的分析研究。在BLSPM算法中，提出了利用隔層投影和剪枝策略的相互合作數(shù)據(jù)挖掘計(jì)算模式，可以減少數(shù)據(jù)庫(kù)處理中的投影數(shù)據(jù)量，并完成對(duì)最小支持度數(shù)據(jù)序列模式的剪枝刪除，從而保證數(shù)據(jù)分析更加精準(zhǔn)。

為了研究BLSPM算法，本文針對(duì)算法應(yīng)用進(jìn)行了具體的試驗(yàn)，試驗(yàn)中設(shè)立數(shù)據(jù)庫(kù)為S（圖1），并且設(shè)置為min_sup=2。以下是對(duì)BLSPM 算法挖掘記性的相關(guān)闡述。1.初始挖掘運(yùn)算中，數(shù)據(jù)庫(kù)開始完成對(duì)1個(gè)長(zhǎng)度單位的序列模式進(jìn)行查找，查找過程中對(duì)BLSPM序列集進(jìn)行全盤掃描，挖掘頻繁序列模式以及非頻繁序列模式，并對(duì)費(fèi)頻繁序列模式進(jìn)行減除。2.實(shí)際的數(shù)據(jù)挖算法中利用序列集中的頻繁序列項(xiàng)作為X軸和Y軸，從而構(gòu)建形成M矩陣。以下圖2為S矩陣構(gòu)建圖。通過矩陣圖構(gòu)建能夠完成對(duì)數(shù)據(jù)的有效采集，從而保證數(shù)據(jù)處理更加高效。

3.利用序列模式數(shù)據(jù)庫(kù)進(jìn)行子集查找。支持度不小于 2序列模式在數(shù)據(jù)集中查找，遞歸地挖掘頻繁序列的子集。4. BLSPM算法中第四部是對(duì)兩部分進(jìn)行重復(fù)查找和執(zhí)行，并對(duì)所有的長(zhǎng)度頻繁序列進(jìn)行集合，從而保證頻繁序列集合查找更加精準(zhǔn)。5.是BLSPM算法的最終結(jié)果步驟，其中包括頻繁項(xiàng)目集的序列模式并將進(jìn)行排序。以下表三為最終序列圖。

2.2 基于Map-Reduce的BLSPM算法和結(jié)果

基于Map-Reduce的BLSPM算法也是當(dāng)前BLSPM算法的發(fā)展，在其行和具體計(jì)算的過程中其計(jì)算主要分為以下幾方面內(nèi)容;1.數(shù)據(jù)分片是BLSPM算法中的重要組成部分，在實(shí)際的計(jì)算過程中，選擇將BLSPM的大數(shù)據(jù)集進(jìn)行分部，將其分部成連續(xù)性的數(shù)據(jù)片，從而做好數(shù)據(jù)分類。2.數(shù)據(jù)并行計(jì)數(shù)。數(shù)據(jù)并行技術(shù)也是利用大數(shù)據(jù)庫(kù)進(jìn)行掃描，實(shí)際的計(jì)算過程中，選擇利用Map-Reducwe型進(jìn)行序列支持度計(jì)算，計(jì)算全局的長(zhǎng)度為 1 的頻繁項(xiàng)集Flist。3.建立三角矩陣。在Map-Reduce的BLSPM算法中，也是利用Flist1 中 n 個(gè)序列進(jìn)行三角矩陣設(shè)計(jì)，分別建設(shè)X軸和Y軸。4.均衡分組設(shè)計(jì)。均衡分組設(shè)計(jì)是在實(shí)際的計(jì)算過程中，選擇使用到負(fù)載均衡策略進(jìn)行序列模式分組，制定成為新Glist數(shù)據(jù)表。5. 在Map-Reduce的BLSPM算法中選擇使用并性挖掘技術(shù)對(duì)大數(shù)據(jù)集中的組別進(jìn)行劃分，利用Glist數(shù)據(jù)表進(jìn)行并行數(shù)據(jù)挖掘，也選擇使用Map-Reduce軟件來完成第二階段的數(shù)據(jù)挖掘，完成對(duì)序列集的數(shù)據(jù)挖掘和計(jì)算。以下是Map-Reduce軟件的數(shù)據(jù)計(jì)算代碼。

Input： key is the number of each shard， value is T

Output： ， where key is the item of T ，value is the number of item

Begin

String str= value.toString（）;

While（str.hasNext（））

{

Item=str.next（）;

//輸出

Context.Write （item，1）;

}

End

3.結(jié)束語(yǔ)

本文以具體試驗(yàn)詳細(xì)闡述了BLSPM算法與Map-Reduce的BLSPM算法的計(jì)算過程，希望能夠?qū)Υ髷?shù)據(jù)集序列模式挖掘算法的發(fā)展有所幫助。

參考文獻(xiàn)：

[1]曾毅， 張福泉. 基于多效用閾值的分布式高效用序列模式挖掘[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2020， 041（002）：449-457.

（河北省信息資源管理中心? 河北? 石家莊? 050000）