基于云計(jì)算技術(shù)的分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)構(gòu)建

楊曉嵐

摘要：隨著我國(guó)互聯(lián)網(wǎng)用戶群體的不斷擴(kuò)大，提升數(shù)據(jù)的挖掘、分析以及應(yīng)用能力是未來(lái)互聯(lián)網(wǎng)技術(shù)發(fā)展的重要方向之一，特別是經(jīng)濟(jì)社會(huì)的發(fā)展導(dǎo)致人們對(duì)數(shù)據(jù)處理的需求越來(lái)越高，現(xiàn)有的海量網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)方案已經(jīng)不能滿足人們的需求。因此，探索將云計(jì)算技術(shù)應(yīng)用于分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)的構(gòu)建中，能充分發(fā)揮云計(jì)算技術(shù)與分布式網(wǎng)絡(luò)的優(yōu)勢(shì)，從而提高海量數(shù)據(jù)的處理效率。

關(guān)鍵詞：云計(jì)算技術(shù)；分布式網(wǎng)絡(luò)；海量數(shù)據(jù);處理系統(tǒng)

中圖分類(lèi)號(hào)：TM73中圖分類(lèi)號(hào)? 文獻(xiàn)標(biāo)志碼：A文獻(xiàn)標(biāo)志碼

0 引言

隨著我國(guó)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，截止到2020年，我國(guó)的互聯(lián)網(wǎng)用戶已經(jīng)超過(guò)了10億，互聯(lián)網(wǎng)技術(shù)進(jìn)入千家萬(wàn)戶，成為人們?nèi)粘Ｉ畹谋貍涔ぞ?，這也為網(wǎng)絡(luò)技術(shù)的發(fā)展帶來(lái)了新的機(jī)遇［1］。龐大的互聯(lián)網(wǎng)用戶中的大部分會(huì)參與到網(wǎng)絡(luò)購(gòu)物中，以淘寶、拼多多、京東等為主的網(wǎng)絡(luò)購(gòu)物平臺(tái)成為便利人們生活的重要手段。在用戶進(jìn)行互聯(lián)網(wǎng)活動(dòng)時(shí)，不可避免地會(huì)產(chǎn)生數(shù)據(jù)，而通過(guò)對(duì)這些數(shù)據(jù)的分析能夠更好地推動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展創(chuàng)新。因此，學(xué)會(huì)對(duì)網(wǎng)絡(luò)海量數(shù)據(jù)進(jìn)行處理，是促進(jìn)互聯(lián)網(wǎng)發(fā)展的有效途徑。本文將云計(jì)算技術(shù)與分布式網(wǎng)絡(luò)數(shù)據(jù)處理相結(jié)合，構(gòu)建一個(gè)數(shù)據(jù)處理系統(tǒng)，以此來(lái)更好地對(duì)用戶需求進(jìn)行分析、處理。

1 基于云計(jì)算技術(shù)的海量數(shù)據(jù)處理需要解決的問(wèn)題

要想搭建基于云計(jì)算的數(shù)據(jù)處理系統(tǒng)，需要推動(dòng)其在高速流數(shù)據(jù)特征的海量感知數(shù)據(jù)的分布式儲(chǔ)存技術(shù)，而這種簡(jiǎn)單化的、高效的海量異構(gòu)感知數(shù)據(jù)分布式知識(shí)發(fā)現(xiàn)和并行化數(shù)據(jù)挖掘算法，需要解決以下問(wèn)題。

1.1 儲(chǔ)存問(wèn)題

互聯(lián)網(wǎng)平臺(tái)中，感知層的傳感器節(jié)點(diǎn)、監(jiān)控終端以及RFID的標(biāo)簽種類(lèi)多樣，且不同的節(jié)點(diǎn)擁有不同的功能特征，會(huì)導(dǎo)致最終采集的數(shù)據(jù)并不一致，儲(chǔ)存方式也會(huì)有明顯的不同。例如數(shù)據(jù)會(huì)存在動(dòng)態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)兩類(lèi)，其對(duì)于儲(chǔ)存的需求并不一致，要想實(shí)現(xiàn)其在數(shù)據(jù)儲(chǔ)存系統(tǒng)中的有效儲(chǔ)存，必須搭建多態(tài)異構(gòu)的感知數(shù)據(jù)儲(chǔ)存方案，從而使得不同結(jié)構(gòu)的數(shù)據(jù)都能夠得到有效儲(chǔ)存，從而便于后續(xù)的處理工作［2］。

1.2 時(shí)效性問(wèn)題

在龐大的互聯(lián)網(wǎng)中，每分每秒所產(chǎn)生的數(shù)據(jù)數(shù)量都是龐大的，如果將所有數(shù)據(jù)都進(jìn)行儲(chǔ)存，很可能會(huì)導(dǎo)致數(shù)據(jù)系統(tǒng)的崩潰。同時(shí)搜集到的海量數(shù)據(jù)并不一定有用，如果單純地對(duì)所有數(shù)據(jù)都進(jìn)行備份，那么在長(zhǎng)期的系統(tǒng)運(yùn)行中會(huì)減緩系統(tǒng)的運(yùn)作效率。因而在設(shè)計(jì)基于云技術(shù)的分布式海量數(shù)據(jù)處理系統(tǒng)時(shí)，要充分考慮數(shù)據(jù)的時(shí)效性，通過(guò)數(shù)據(jù)篩選的方式來(lái)提高系統(tǒng)的數(shù)據(jù)處理效率，也能夠增強(qiáng)系統(tǒng)的可靠性。

1.3 分析挖掘問(wèn)題

在對(duì)海量數(shù)據(jù)進(jìn)行搜集時(shí)，通常不會(huì)進(jìn)行結(jié)構(gòu)化的劃分，而是以原始數(shù)據(jù)的形式納入數(shù)據(jù)處理系統(tǒng)中，通過(guò)圖結(jié)構(gòu)、序列等特殊的結(jié)構(gòu)來(lái)對(duì)數(shù)據(jù)進(jìn)行分析，而對(duì)于一些非特征的數(shù)據(jù)不能直接使用數(shù)據(jù)挖掘算法，如何解決這些非結(jié)構(gòu)性數(shù)據(jù)的挖掘工作成了亟待解決的問(wèn)題。這需要在搭建數(shù)據(jù)處理系統(tǒng)時(shí)注重對(duì)數(shù)據(jù)挖掘算法的效率提升，從而實(shí)現(xiàn)在時(shí)空非向量空間中直接執(zhí)行分析挖掘操作的算法［3］。

2 分布式網(wǎng)絡(luò)數(shù)據(jù)的特征及其設(shè)計(jì)思路

分布式網(wǎng)絡(luò)是通過(guò)不同的終端設(shè)備連接而形成的網(wǎng)絡(luò)結(jié)構(gòu)，與傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)相比，其能夠在某條線路出現(xiàn)故障時(shí)依靠其他終端設(shè)備維持網(wǎng)絡(luò)的運(yùn)行，從而體現(xiàn)出較高的適應(yīng)，提升網(wǎng)絡(luò)的適應(yīng)范圍。這種突出優(yōu)勢(shì)使得在網(wǎng)絡(luò)技術(shù)發(fā)展的過(guò)程中，分布式網(wǎng)絡(luò)得到了有效的推廣，成為最常用的網(wǎng)絡(luò)結(jié)構(gòu)之一［4］。但正是由于分布式網(wǎng)絡(luò)的端口多，獲取到的數(shù)據(jù)也更加繁復(fù)，這無(wú)疑會(huì)增加系統(tǒng)的工作量，不利于對(duì)海量數(shù)據(jù)進(jìn)行處理。為了提升分布式網(wǎng)絡(luò)的處理效率，在研發(fā)的過(guò)程中不少團(tuán)隊(duì)會(huì)傾向于使用分析算法以及模糊聚類(lèi)算法，從而能夠?qū)?shù)據(jù)進(jìn)行集中的處理，但其應(yīng)用效果也十分有效，常常需要較長(zhǎng)的時(shí)間進(jìn)行分析，如果將其應(yīng)用于數(shù)據(jù)挖掘工作中，會(huì)使得挖掘效率大大降低，因此探索將云計(jì)算技術(shù)納入分布式網(wǎng)絡(luò)研究成了當(dāng)下的熱點(diǎn)。

要想實(shí)現(xiàn)云計(jì)算技術(shù)上的分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)，需要在充分了解兩者特性的基礎(chǔ)上，從數(shù)據(jù)處理系統(tǒng)的實(shí)際需求入手，分析海量數(shù)據(jù)的特點(diǎn)，從而促進(jìn)系統(tǒng)設(shè)計(jì)的完善。在這個(gè)過(guò)程中，最重要的是發(fā)揮云計(jì)算技術(shù)與分布式網(wǎng)絡(luò)的優(yōu)勢(shì)，對(duì)分布式網(wǎng)絡(luò)的研究發(fā)現(xiàn)，其能夠在短時(shí)間內(nèi)產(chǎn)生海量數(shù)據(jù)，通常一天內(nèi)就能夠獲取數(shù)百萬(wàn)條信息，而要想對(duì)這些數(shù)據(jù)進(jìn)行處理，需要經(jīng)過(guò)一系列的流程才能保障每條信息都能得到妥善處理，而這個(gè)處理過(guò)程勢(shì)必會(huì)較其他的網(wǎng)絡(luò)結(jié)構(gòu)較長(zhǎng)［5］。因此，在設(shè)計(jì)時(shí)要充分發(fā)揮云計(jì)算的優(yōu)勢(shì)，將其應(yīng)用于分布式網(wǎng)絡(luò)的數(shù)據(jù)挖掘中，根據(jù)數(shù)據(jù)特性、數(shù)據(jù)種類(lèi)等方式對(duì)數(shù)據(jù)進(jìn)行分區(qū)處理，從而提升數(shù)據(jù)處理系統(tǒng)的效率。以熱點(diǎn)數(shù)據(jù)識(shí)別為例，在數(shù)據(jù)挖掘的過(guò)程中出現(xiàn)頻率較高的數(shù)據(jù)則被稱(chēng)為熱點(diǎn)數(shù)據(jù)，利用云計(jì)算技術(shù)將熱點(diǎn)數(shù)據(jù)從海量數(shù)據(jù)中脫離出來(lái)，并建立專(zhuān)門(mén)的數(shù)據(jù)庫(kù)，從而便于數(shù)據(jù)的識(shí)別。通過(guò)熱點(diǎn)數(shù)據(jù)識(shí)別的方式，能夠縮減數(shù)據(jù)的檢索范圍，是系統(tǒng)的處理系統(tǒng)在合理的負(fù)載范圍內(nèi)。同時(shí)要認(rèn)識(shí)到分布式網(wǎng)絡(luò)的龐大數(shù)據(jù)量，根據(jù)數(shù)據(jù)的來(lái)源對(duì)其進(jìn)行分類(lèi)處理，可以提升處理效率。在云計(jì)算技術(shù)的支持下，分布式網(wǎng)絡(luò)能夠?qū)?shù)據(jù)處理的要求進(jìn)行分解，將原本復(fù)雜的任務(wù)轉(zhuǎn)化為一個(gè)個(gè)工作量較小的任務(wù)，通過(guò)多端共同處理的方式來(lái)分解一個(gè)端口的壓力，促進(jìn)數(shù)據(jù)處理系統(tǒng)的穩(wěn)定。

3 基于云計(jì)算技術(shù)的分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)

3.1 轉(zhuǎn)變處理思路

分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)與傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)之間有著明確的差異，在應(yīng)用過(guò)程中研發(fā)人員必須明確分布式網(wǎng)絡(luò)的特征，在致力于促進(jìn)云計(jì)算技術(shù)融合的基礎(chǔ)上進(jìn)行系統(tǒng)搭建，可以實(shí)現(xiàn)對(duì)數(shù)據(jù)系統(tǒng)處理思路的轉(zhuǎn)變。將云計(jì)算與分布式網(wǎng)絡(luò)聯(lián)合后，能夠大大地提升系統(tǒng)對(duì)于海量數(shù)據(jù)的處理效率，從而滿足數(shù)據(jù)處理的需求。在這個(gè)過(guò)程中，做好對(duì)數(shù)據(jù)的定位就顯得至關(guān)重要。海量的數(shù)據(jù)要進(jìn)行挖掘必須經(jīng)一定的特性進(jìn)行引導(dǎo)，如熱點(diǎn)數(shù)據(jù)就可成為數(shù)據(jù)的一種特性，經(jīng)過(guò)定位的數(shù)據(jù)能夠減少數(shù)據(jù)挖掘的工作量，在短時(shí)間內(nèi)實(shí)現(xiàn)對(duì)數(shù)據(jù)的挖掘，以此來(lái)促進(jìn)系統(tǒng)處理效率的提升。以云計(jì)算技術(shù)作為系統(tǒng)優(yōu)化的手段，為數(shù)據(jù)處理提供多一層的保障，從而促進(jìn)數(shù)據(jù)處理的正確率提升［6］。

3.2 建立數(shù)據(jù)挖掘模型

將數(shù)據(jù)挖掘技術(shù)以模型的形式呈現(xiàn)，推動(dòng)了云計(jì)算技術(shù)在系統(tǒng)設(shè)計(jì)中的應(yīng)用，能夠?qū)Ａ繑?shù)據(jù)實(shí)現(xiàn)明確的分類(lèi)，從而促進(jìn)數(shù)據(jù)處理有效性的提升。在這個(gè)過(guò)程中，研發(fā)人員要建立基于數(shù)據(jù)挖掘技術(shù)的基本模式，將各項(xiàng)數(shù)據(jù)處理活動(dòng)有序地連接起來(lái)，從而促進(jìn)數(shù)據(jù)挖掘的展開(kāi)。數(shù)據(jù)挖掘基本模型可分為3個(gè)層次，分別為用戶層、運(yùn)算層與服務(wù)層。在服務(wù)層中依托于HDFS、MapReduce、Hadoop技術(shù)建立一個(gè)云計(jì)算環(huán)境，將個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)連接到一起從而形成一個(gè)循環(huán)相連的網(wǎng)絡(luò)結(jié)構(gòu)，為用戶層與運(yùn)算層提供服務(wù)。運(yùn)算層中主要運(yùn)行海量數(shù)據(jù)的挖掘機(jī)優(yōu)化工作，以聚類(lèi)算法、分類(lèi)算法、回歸算法、關(guān)聯(lián)規(guī)則等將各數(shù)據(jù)關(guān)聯(lián)起來(lái)，對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、清洗、集成以及加載，實(shí)現(xiàn)數(shù)據(jù)的預(yù)處理。最后的用戶層分為用戶輸入模塊與結(jié)束展示模塊兩部分，在輸入過(guò)程中根據(jù)數(shù)據(jù)挖掘技術(shù)對(duì)其提供個(gè)性化的應(yīng)用，而結(jié)束時(shí)則體現(xiàn)為Web服務(wù)與知識(shí)流。通過(guò)3個(gè)層次之間的相互聯(lián)系，彼此之間展開(kāi)數(shù)據(jù)交換，一方面用戶通過(guò)數(shù)據(jù)輸入來(lái)獲取自身的預(yù)期信息，另一方面對(duì)數(shù)據(jù)挖掘、分析的過(guò)程也會(huì)不斷優(yōu)化系統(tǒng)的運(yùn)作方式，提供數(shù)據(jù)展示的準(zhǔn)確性，從而達(dá)到數(shù)據(jù)處理的效果。

3.3 節(jié)點(diǎn)設(shè)計(jì)

基于云計(jì)算的分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)的建設(shè)，最主要的就是對(duì)節(jié)點(diǎn)的設(shè)計(jì)，而其中中心控制節(jié)點(diǎn)尤為重要。中心控制節(jié)點(diǎn)是整個(gè)系統(tǒng)中的核心，通過(guò)中心節(jié)點(diǎn)能夠控制系統(tǒng)內(nèi)部的所有環(huán)節(jié)，并起到分配任務(wù)的作用，是系統(tǒng)調(diào)節(jié)和運(yùn)轉(zhuǎn)的關(guān)鍵［7］?？紤]到意外情況，中心控制節(jié)點(diǎn)需要使用雙機(jī)熱備的方式來(lái)進(jìn)行備份，一般而言中心控制節(jié)點(diǎn)下包括通信模塊、任務(wù)調(diào)度模塊、任務(wù)管理模塊、鎖管理等多個(gè)模塊。以通信模塊為例，其是中心控制模塊與其他模塊之間的溝通橋梁，負(fù)責(zé)對(duì)數(shù)據(jù)處理任務(wù)的分發(fā)，同時(shí)建立不同模塊之間的聯(lián)系。而任務(wù)管理模塊是對(duì)數(shù)據(jù)處理任務(wù)進(jìn)行管理的模塊，包括對(duì)任務(wù)的建立、對(duì)任務(wù)的分解以及任務(wù)的執(zhí)行與維護(hù)等，凡與任務(wù)相關(guān)的環(huán)節(jié)都需要經(jīng)過(guò)任務(wù)管理模塊。任務(wù)調(diào)度模塊則是負(fù)責(zé)任務(wù)的調(diào)度工作，如能夠根據(jù)任務(wù)的需求及用戶的要求對(duì)任務(wù)的實(shí)施進(jìn)行安排，包括鎖進(jìn)程的維護(hù)與管理等。除此之外，定時(shí)器模塊主要是對(duì)系統(tǒng)的數(shù)據(jù)處理時(shí)間進(jìn)行監(jiān)督，從而保障系統(tǒng)的處理效率。當(dāng)系統(tǒng)的處理時(shí)間超過(guò)預(yù)期時(shí)間后，則會(huì)對(duì)超時(shí)的情況進(jìn)行記錄，包括超時(shí)處理后導(dǎo)致后續(xù)處理工作的障礙等，以此來(lái)完成系統(tǒng)運(yùn)行狀況的檢測(cè)。一旦出現(xiàn)超時(shí)處理，表明系統(tǒng)在運(yùn)行過(guò)程中受到了阻礙，使得預(yù)期的目標(biāo)難以實(shí)現(xiàn)，那么在解決問(wèn)題時(shí)不僅要注重當(dāng)下，更要對(duì)以后數(shù)據(jù)處理過(guò)程設(shè)定備用程序，避免相同的問(wèn)題再次出現(xiàn)。

3.4 云儲(chǔ)存方案

在云計(jì)算技術(shù)的支持下，通過(guò)對(duì)分布式網(wǎng)絡(luò)海量數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)其搜集的數(shù)據(jù)具有異構(gòu)性、不確定性，同時(shí)數(shù)據(jù)龐大，常規(guī)的儲(chǔ)存方式難以滿足系統(tǒng)的建設(shè)需要，因此通過(guò)云計(jì)算技術(shù)提高數(shù)據(jù)處理系統(tǒng)的儲(chǔ)存功能具有良好的應(yīng)用前景。在設(shè)計(jì)云儲(chǔ)存方案時(shí)，要注重與提升數(shù)據(jù)儲(chǔ)存的可擴(kuò)展性、容錯(cuò)性，同時(shí)降低數(shù)據(jù)處理系統(tǒng)的運(yùn)作能耗，在設(shè)計(jì)中以3層儲(chǔ)存結(jié)構(gòu)的方式來(lái)搭建云儲(chǔ)存方案。其中第一層運(yùn)行支撐數(shù)據(jù)，第二層運(yùn)行結(jié)果數(shù)據(jù)，第三層則是儲(chǔ)存歷史數(shù)據(jù)，根據(jù)數(shù)據(jù)的性質(zhì)不同將其劃分到不同的數(shù)據(jù)儲(chǔ)存層次，從而科學(xué)化、規(guī)范化地進(jìn)行云儲(chǔ)存。至于對(duì)數(shù)據(jù)的分類(lèi)由中央儲(chǔ)存進(jìn)行調(diào)度，根據(jù)需求將其分布到3層儲(chǔ)存層中，但這3個(gè)儲(chǔ)存層并不是完全獨(dú)立的，而是彼此相互印證。以歷史數(shù)據(jù)儲(chǔ)存層為例，其是對(duì)處理過(guò)的數(shù)據(jù)進(jìn)行儲(chǔ)存，從而將新的數(shù)據(jù)轉(zhuǎn)變?yōu)闅v史數(shù)據(jù)的層次，在支撐數(shù)據(jù)和結(jié)構(gòu)數(shù)據(jù)的每次運(yùn)行結(jié)束后，都會(huì)將數(shù)據(jù)送入到歷史數(shù)據(jù)層，實(shí)現(xiàn)對(duì)歷史數(shù)據(jù)層的豐富，而在對(duì)歷史數(shù)據(jù)層進(jìn)行調(diào)度的過(guò)程中，也需要支撐數(shù)據(jù)與結(jié)果數(shù)據(jù)的支持，從而使得所調(diào)度的數(shù)據(jù)具有一致性。這樣的分層云儲(chǔ)存方式能夠?qū)⒑Ａ繑?shù)據(jù)處理系統(tǒng)中的數(shù)據(jù)進(jìn)行分類(lèi)儲(chǔ)存，既便于對(duì)數(shù)據(jù)系統(tǒng)的管理，又能夠?qū)崿F(xiàn)數(shù)據(jù)的及時(shí)調(diào)度。云儲(chǔ)存的方式也能減少系統(tǒng)本身的能耗，使得系統(tǒng)運(yùn)作效率大大提升，這是對(duì)云計(jì)算技術(shù)的有效利用。

3.5 優(yōu)化系統(tǒng)運(yùn)行算法

系統(tǒng)運(yùn)行算法直接關(guān)系到系統(tǒng)對(duì)數(shù)據(jù)處理的效率，研發(fā)人員在進(jìn)行系統(tǒng)設(shè)計(jì)的過(guò)程中，要遵照云計(jì)算技術(shù)與分布式網(wǎng)絡(luò)的特性，優(yōu)先使用SPRINT算法來(lái)進(jìn)行系統(tǒng)運(yùn)算。SPRINT算法又被稱(chēng)為決策樹(shù)算法，其分為兩個(gè)步驟：（1）由數(shù)據(jù)的根節(jié)點(diǎn)形成并對(duì)遞歸的數(shù)據(jù)進(jìn)行分片，從而實(shí)現(xiàn)對(duì)樹(shù)的生成；（2）去除一些可能是噪音或異常的數(shù)據(jù)來(lái)完成樹(shù)的修剪，以此來(lái)進(jìn)行決策樹(shù)的創(chuàng)建。在建立基礎(chǔ)的決策樹(shù)模型后，研發(fā)人員要對(duì)決策樹(shù)的使用狀況進(jìn)行調(diào)試，以多次數(shù)據(jù)處理的形式來(lái)不斷挖掘決策樹(shù)運(yùn)行中可能出現(xiàn)的問(wèn)題，并針對(duì)這些問(wèn)題進(jìn)行優(yōu)化完善，使得決策樹(shù)的結(jié)構(gòu)更加符合分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)的需求，同時(shí)優(yōu)化決策樹(shù)的過(guò)程勢(shì)必將提升決策樹(shù)的運(yùn)作效率，對(duì)于優(yōu)化系統(tǒng)運(yùn)作模式有著重要意義。決策樹(shù)算法的過(guò)程，可根據(jù)用戶的需求設(shè)置個(gè)性化應(yīng)用，例如設(shè)置索引、類(lèi)別等來(lái)方便用戶的查詢(xún)，使得用戶能夠在短時(shí)間內(nèi)實(shí)現(xiàn)對(duì)數(shù)據(jù)的搜集工作。在這個(gè)優(yōu)化系統(tǒng)算法的過(guò)程中，工作人員也要對(duì)數(shù)據(jù)處理的任務(wù)需求進(jìn)行分析，對(duì)不同數(shù)據(jù)的分類(lèi)要求進(jìn)行歸納，從而提升數(shù)據(jù)處理的有效性。

4 結(jié)語(yǔ)

海量數(shù)據(jù)處理系統(tǒng)是在網(wǎng)絡(luò)時(shí)代實(shí)現(xiàn)數(shù)據(jù)處理的最佳途徑，而將云計(jì)算技術(shù)與分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)結(jié)合起來(lái)，能夠有效地提升其對(duì)于龐大的數(shù)據(jù)流的處理效率，同時(shí)以數(shù)據(jù)分類(lèi)的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)的精確分析，這使得數(shù)據(jù)處理的準(zhǔn)確性得到了較高的提升。而云計(jì)算技術(shù)對(duì)于數(shù)據(jù)處理系統(tǒng)的優(yōu)勢(shì)在于其能夠?yàn)橄到y(tǒng)提供云計(jì)算與云儲(chǔ)存，將原本的海量數(shù)據(jù)以云儲(chǔ)存的方式儲(chǔ)存在網(wǎng)絡(luò)中，能夠減輕系統(tǒng)的處理負(fù)擔(dān)，使得數(shù)據(jù)處理系統(tǒng)的處理時(shí)間縮短，提升系統(tǒng)處理效率。在未來(lái)，云計(jì)算技術(shù)將為分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)的優(yōu)化帶來(lái)更多好處，兩者之間的融合研究具有良好的發(fā)展前景。

參考文獻(xiàn)

［1］劉巧利.云計(jì)算技術(shù)在分布式網(wǎng)絡(luò)均衡負(fù)載控制中的應(yīng)用［J］.信息與電腦（理論版），2021（4）：28-30.

［2］盧鵬，蘆立華.基于云計(jì)算技術(shù)的分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)［J］.現(xiàn)代電子技術(shù)，2020（18）：36-39.

［3］任尚云.云計(jì)算環(huán)境下網(wǎng)絡(luò)空間數(shù)據(jù)分布式存儲(chǔ)方法研究［J］.信息通信，2019（8）：21-22，25.

［4］周艷艷.基于云計(jì)算下網(wǎng)絡(luò)流媒體分布式存儲(chǔ)與分配優(yōu)化策略［J］.電腦迷，2018（8）：235.

［5］畢云星.云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)及應(yīng)用實(shí)踐研究［J］.數(shù)碼世界，2017（12）：554.

［6］袁超.面向分布式網(wǎng)絡(luò)的跨異構(gòu)域認(rèn)證密鑰協(xié)商及加密算法研究［D］.成都：西南交通大學(xué)，2017.

［7］楊波.分布式網(wǎng)絡(luò)中海量空間特征數(shù)據(jù)檢測(cè)仿真［J］.計(jì)算機(jī)仿真，2017（3）：427-430.

（編輯 李春燕編輯）

Construction of distributed network mass data processing system based on cloud computing technology

Yang? Xiaolan

（Shanxi Vocational and Technical College， Taiyuan 030000， China）

Abstract：? With the continuous expansion of my countrys Internet user groups， improving data mining， analysis and application capabilities is one of the important directions for the development of Internet technology in the future， especially the economic and social development has led to peoples increasing demand for data processing ， the existing massive network data processing system solutions can no longer meet peoples needs， so exploring the application of cloud computing technology to the construction of distributed network massive data processing systems can give full play to the advantages of cloud computing technology and distributed networks. Thereby， the processing efficiency of massive data is improved.

Key words： cloud computing technology; distributed network; massive data； processing system