基于云計算的大數(shù)據(jù)關(guān)聯(lián)規(guī)律挖掘分析方法

王世興

（山東交通職業(yè)學院，山東 濰坊 261206）

0 引言

時代的進步和發(fā)展讓互聯(lián)網(wǎng)的應(yīng)用越來越廣泛，并在諸多領(lǐng)域展現(xiàn)重要優(yōu)勢。互聯(lián)網(wǎng)技術(shù)的發(fā)展和進步也衍生出“云計算”技術(shù)，該技術(shù)是在互聯(lián)網(wǎng)支撐下的相關(guān)服務(wù)的使用、交互與增加，通常情況下是利用互聯(lián)網(wǎng)提供虛擬化、動態(tài)化、易擴展性的資源，這都讓互聯(lián)網(wǎng)技術(shù)在原有基礎(chǔ)上得以進一步的發(fā)展，也在數(shù)據(jù)拓展方面予以不斷拓展。也正是因為大數(shù)據(jù)數(shù)量及應(yīng)用范圍的延伸，都讓數(shù)據(jù)關(guān)聯(lián)規(guī)律的挖掘顯得日漸重要，通過數(shù)據(jù)挖掘平臺的建立以及大數(shù)據(jù)關(guān)聯(lián)規(guī)律挖掘分析方法的探索，能夠讓云計算技術(shù)得以最大價值的提升，也讓數(shù)據(jù)挖掘在現(xiàn)實中具有應(yīng)用價值[1]。

1 云計算定義及架構(gòu)

1.1 云計算定義

云計算屬于計算平臺的范疇。在云計算中，可以利用服務(wù)器與部分大規(guī)模的數(shù)據(jù)，通過動態(tài)的數(shù)據(jù)流動形式，將多樣化的信息資料呈現(xiàn)出來。云計算對分布式計算、并行計算與網(wǎng)絡(luò)計算三種計算形式，開展了相關(guān)的整理與合并活動，利用動態(tài)化與透明化的形式，將部分虛擬計算活動提供給用戶，還可以存儲有關(guān)的信息資源。在具體的實踐活動中，關(guān)于云計算方面，利用虛擬計算互動，可以促使客戶所有的具體需要得到滿足，還能夠?qū)⑵渲械馁Y源科學的分配給與之相對應(yīng)的用戶，這樣，所具備的存儲能力非常突出，而且所花費的成本費用比較少，將其應(yīng)用于具體的活動中，所取得的效果比較理想[2]。

1.2 基于云計算的數(shù)據(jù)挖掘系統(tǒng)架構(gòu)

（1）目標系統(tǒng)模型。在基于云計算的數(shù)據(jù)挖掘系統(tǒng)架構(gòu)中，所需要的硬件資源比較簡潔，相關(guān)活動話費的成本費用比較低。在開展項目研發(fā)活動時，通過模塊與模塊間的合作，可以通過系統(tǒng)資源直接開展相關(guān)的研究與分析活動。

在具體的實踐活動中，通過目標系統(tǒng)模型，可以將多樣化的信息服務(wù)提供給廣大客戶。在目標系統(tǒng)中，可以開展應(yīng)用程序的建設(shè)活動，促使具備開放性接口的生成。在進行實踐活動的過程中，利用終端，用戶還可以開展運用活動。通過對有關(guān)應(yīng)用程序做出間接調(diào)用，可以對所有開放式的接口模式作出提供，在開展有關(guān)研究工作時，可以研究并分析所運用的算法種類與數(shù)量數(shù)據(jù)處理方式，關(guān)于具體的考量工作方面，無需研究計算機的存儲率與系統(tǒng)自身的實現(xiàn)能力。

（2）功能層次框架設(shè)計。在功能層次框架系統(tǒng)的層次架構(gòu)中，重點對由下而上的結(jié)構(gòu)形式作出了運用，主要對一些模塊做出了利用，比如：數(shù)據(jù)規(guī)約工具、云計算平臺、開放接口、用戶界面、氛圍異構(gòu)數(shù)據(jù)集合，在這些層次中，需要將透明化的服務(wù)提供給上一層次。利用底層的云計算平臺，可以對云計算中的應(yīng)用程序接口作出提供。關(guān)于用戶與云計算的交互活動方面，在開展有關(guān)設(shè)計工作的過程中，主要在頂層的開放式接口中完成。在開放接口中，其主要作用就是，將多種多樣的信息數(shù)據(jù)提供給廣大用戶，這樣用戶就可以對數(shù)據(jù)集作出獲取。除此之外，還可以將所有算法提供給用戶，并集成應(yīng)用各種算法，在此基礎(chǔ)上，確保平臺開行特征的完成[3]。

2 基于云計算大數(shù)據(jù)挖掘的關(guān)鍵技術(shù)

云計算大數(shù)據(jù)挖掘技術(shù)的實現(xiàn)需要對其中關(guān)鍵技術(shù)予以深入分析，并結(jié)合其中的關(guān)鍵技術(shù)來深入探索大數(shù)據(jù)關(guān)聯(lián)規(guī)律，進而實現(xiàn)數(shù)據(jù)挖掘價值呈現(xiàn)。其中的關(guān)鍵技術(shù)主要包括數(shù)據(jù)采集和儲存、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘算法并行化等內(nèi)容，本節(jié)就相關(guān)技術(shù)進行分析。

2.1 數(shù)據(jù)采集和儲存

在大數(shù)據(jù)的采集技術(shù)中，可以利用多樣化的方法，比如：社交網(wǎng)絡(luò)交互數(shù)據(jù)、傳感器數(shù)據(jù)、移動互聯(lián)網(wǎng)數(shù)據(jù) 、RFID視頻數(shù)據(jù)等，對所有非結(jié)構(gòu)化和半結(jié)構(gòu)化以及結(jié)構(gòu)化的大數(shù)據(jù)信息作出獲取。伴隨著科學技術(shù)的日新月異，數(shù)據(jù)信息的增長速度也處于不斷加快之中，尤其是非結(jié)構(gòu)化數(shù)據(jù)具備飛快的增長速度。所以，在開展有關(guān)工作的過程中。所運用的基礎(chǔ)設(shè)備，除了具備優(yōu)良的性能與較大容量之外，所具備的吞吐率也應(yīng)當比較突出，只有這樣，才可以確保大數(shù)據(jù)存儲工作的順利實現(xiàn)。

2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理指的是，在開展發(fā)掘任務(wù)工作之前，針對不規(guī)則的大數(shù)據(jù)或非標準的大數(shù)據(jù)，初步開展相關(guān)的預(yù)先處理活動。倘若數(shù)據(jù)信息具備一定的真實性與高效性，可以促使處理結(jié)果的準確性與可靠性得到保障。在預(yù)處理有關(guān)數(shù)據(jù)信息的過程中，除了上述工作之外，數(shù)據(jù)的選取、轉(zhuǎn)換、清洗、集成、數(shù)據(jù)規(guī)約與異常檢測等內(nèi)容同樣居于主要地位。所以，面對大量的數(shù)據(jù)信息，在完成數(shù)據(jù)預(yù)處理工作之后，方可開展數(shù)據(jù)的挖掘活動，這樣可以增強處理后數(shù)據(jù)質(zhì)量，與此同時，還可以提升數(shù)據(jù)挖掘活動的可靠性與高效性，確保相關(guān)活動的順利實現(xiàn)[4]。

2.3 數(shù)據(jù)挖掘算法并行化

要想促使數(shù)據(jù)挖掘算法并行化工作的順利完成，主要運用的是基于云計算的大數(shù)據(jù)關(guān)聯(lián)規(guī)律挖掘技術(shù)，該技術(shù)發(fā)揮著至關(guān)重要的作用。通過基于云計算數(shù)據(jù)挖掘這一關(guān)鍵技術(shù)的應(yīng)用，可以最大限度實現(xiàn)大數(shù)據(jù)發(fā)掘適用性能的提升。在基于云計算的大數(shù)據(jù)關(guān)聯(lián)規(guī)律挖掘技術(shù)中，并行關(guān)聯(lián)、聚類、分類與回歸算法也居于主要地位，具有非常重要的作用。運用數(shù)據(jù)挖掘的常用算法并行化的方式方法，可以有效推動與之相對應(yīng)的優(yōu)化工作的完成。還可以將Map Reduce計算模型，應(yīng)用于云計算的平臺中，進而促使在相關(guān)平臺中，可以直接開展大數(shù)據(jù)挖掘活動。所以，為了提升大數(shù)據(jù)挖掘工作完成的科學性與高效性，可以進一步探究數(shù)據(jù)挖掘算法的并行化實現(xiàn)工作。

3 云計算技術(shù)下數(shù)據(jù)挖掘平臺設(shè)計

大數(shù)據(jù)挖掘技術(shù)要想真正得以應(yīng)用與滲透，就需要做好數(shù)據(jù)挖掘平臺的搭建，這也成為大數(shù)據(jù)挖掘技術(shù)的重要支撐。該平臺建設(shè)涵蓋了云計算技術(shù)、虛擬化技術(shù)、分布式存儲技術(shù)等多技術(shù)手段，并將這些技術(shù)融會貫通，實現(xiàn)了云計算技術(shù)挖掘平臺的高質(zhì)量建設(shè)，為云計算大數(shù)據(jù)挖掘技術(shù)的更好實現(xiàn)提供了支撐和基礎(chǔ)。

3.1 系統(tǒng)總體設(shè)計

在以云計算技術(shù)為基礎(chǔ)，開展數(shù)據(jù)挖掘平臺設(shè)計工作的過程中，三層結(jié)構(gòu)模式的運用居于主要地位，發(fā)揮著至關(guān)重要的作用。在該過程中，將主要層次確定為數(shù)據(jù)預(yù)處理、云計算與數(shù)據(jù)挖掘平臺，以此來實現(xiàn)平臺總體性能的提高，推動數(shù)據(jù)挖掘功能的完成。在主要的系統(tǒng)設(shè)計結(jié)構(gòu)中，首先需要對通信資源信息與服務(wù)器端數(shù)據(jù)，開展數(shù)據(jù)預(yù)處理工作，并使有關(guān)信息進入數(shù)據(jù)倉庫，然后，利用云計算技術(shù)，對有關(guān)信息的規(guī)則、模式、模型與圖表作出處理。最后，進入數(shù)據(jù)挖掘平臺，為決策管理與資源管理活動的開展提供重要支撐，進一步改進并優(yōu)化通信性能[5]。

在開展數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)設(shè)計工作時，通過數(shù)據(jù)預(yù)處理層，可以儲存分布式數(shù)據(jù)文件，推動整個平臺分布式管理工作的完成。在云計算層中，可以從整體上調(diào)度并控制所有數(shù)據(jù)的挖掘步驟與模塊，確保原始數(shù)據(jù)預(yù)處理工作的順利完成，并對多樣化的挖掘數(shù)據(jù)做出獲取。在具體的實踐活動中，可以高效利用數(shù)據(jù)挖掘平臺，可以對具體需要做出系統(tǒng)考量，科學開展設(shè)計工作[6]。

3.2 系統(tǒng)功能設(shè)計

在云計算技術(shù)下的數(shù)據(jù)挖掘平臺中，其數(shù)據(jù)挖掘功能比較多樣，是由多個模塊共同組成的，如：數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)收集模塊、應(yīng)用接口模塊等。在數(shù)據(jù)收集模塊中，主要負責整理平臺服務(wù)器端口中的數(shù)據(jù)信息，歸納用戶的所有信息材料，利用文本形式開展收集活動，并將上述信息數(shù)據(jù)返回。在數(shù)據(jù)預(yù)處理模塊中，利用所返回的數(shù)據(jù)信息，去除部分不存在價值的信息數(shù)據(jù)，促使數(shù)據(jù)挖掘系統(tǒng)的挖掘性能得到強化。在應(yīng)用接口模塊中，主要負責有效對接并處理數(shù)據(jù)與數(shù)據(jù)挖掘平臺。

3.3 平臺數(shù)據(jù)庫設(shè)計

在具體的數(shù)據(jù)庫設(shè)計活動中，可以將所有數(shù)據(jù)庫特征高效運用起來，這樣能夠高效刪減冗余數(shù)據(jù)，統(tǒng)一開展數(shù)據(jù)的存儲活動。通過主鍵與外鍵，可以促使生產(chǎn)動態(tài)視圖的生成，為編寫程序與查詢檢索代碼創(chuàng)造更加優(yōu)良的條件。在該平臺中，通過Reduce，可以對所有模式的任務(wù)數(shù)據(jù)作出接收，任務(wù)不同，其所傳輸?shù)男畔?shù)據(jù)也具備一定的順序。在云計算下的數(shù)據(jù)挖掘平臺中，倘若Reduce接收的是較少的數(shù)據(jù)信息，可以直接將其存儲于內(nèi)存中。在數(shù)據(jù)量不低于緩沖區(qū)比例的情況下，可以合并并處理所有信息數(shù)據(jù)。

3.4 數(shù)據(jù)挖掘平臺算法實現(xiàn)

通過高效整合數(shù)據(jù)挖掘技術(shù)與云計算，在規(guī)模無窮的機器集群中，可以高效的開展計算機的擴散分析活動。在以Map/Reduce為基礎(chǔ)的框架中，可以計算分析并處理所有請求活動。在進行數(shù)據(jù)挖掘時，可以劃分具體的數(shù)據(jù)挖掘作業(yè)，分成為不同的任務(wù)，并在此基礎(chǔ)上，開展分配活動，利用不同的機器完成相關(guān)任務(wù)。在完成有關(guān)任務(wù)之后進入至下一個數(shù)據(jù)挖掘步驟中，合并上述文件，并對企業(yè)開展輸出活動。在數(shù)據(jù)平臺系統(tǒng)中，利用循環(huán)應(yīng)用算法，可以對所生成的Reduce任務(wù)，開展有關(guān)處理工作，使其轉(zhuǎn)變成數(shù)據(jù)挖掘目標文件，滿足具體的需要活動。通過數(shù)據(jù)挖掘平臺算法對數(shù)據(jù)挖掘平臺進行設(shè)計，可以促使數(shù)據(jù)信息變得更加靈活，提高數(shù)據(jù)挖掘效率，強化數(shù)據(jù)挖掘質(zhì)量，實現(xiàn)工作效率的提升。

4 結(jié)論

伴隨著互聯(lián)網(wǎng)和信息技術(shù)突飛猛進的發(fā)展和進步，信息的總量更是與日俱增，世界范圍內(nèi)所面臨的大數(shù)據(jù)挑戰(zhàn)更加嚴峻。云計算的海量數(shù)據(jù)與突出的計算和數(shù)據(jù)處理能力，可以為數(shù)據(jù)發(fā)掘活動提供重要支撐。通過基于云計算的大數(shù)據(jù)關(guān)聯(lián)規(guī)律發(fā)掘分析活動，可以對業(yè)務(wù)數(shù)據(jù)的發(fā)掘應(yīng)用起到有效的推動作用，平臺用戶還可以對大量的數(shù)據(jù)信息作出獲取，并開展相關(guān)儲存活動，在提升數(shù)據(jù)管理效率的同時，降低有關(guān)成本費用。