基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)技術(shù)研究

，

(浙江安防職業(yè)技術(shù)學(xué)院，浙江 溫州 325000)

基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)技術(shù)研究

姜迪清，張麗娜

(浙江安防職業(yè)技術(shù)學(xué)院，浙江溫州325000)

為了使網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用的范圍更廣，更大程度地提高網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)與管理精度，減少網(wǎng)絡(luò)數(shù)據(jù)處理與控制的時(shí)間，需要對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究；當(dāng)前的網(wǎng)絡(luò)大數(shù)據(jù)研究方法多是采用Hadoop基礎(chǔ)架構(gòu)對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究，在數(shù)據(jù)存儲(chǔ)中沒(méi)有設(shè)定具體的安全存儲(chǔ)指標(biāo)，無(wú)法得到數(shù)據(jù)安全存儲(chǔ)指標(biāo)權(quán)重，存在數(shù)據(jù)存儲(chǔ)安全性能低，網(wǎng)絡(luò)大數(shù)據(jù)研究精度偏差大等問(wèn)題；為此，提出一種基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法；該方法首先利用分級(jí)網(wǎng)絡(luò)編碼對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行傳輸，以傳輸?shù)臄?shù)據(jù)為基礎(chǔ)，采用CRC算法實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的計(jì)算，然后依據(jù)分組存儲(chǔ)的方式將數(shù)據(jù)進(jìn)行存儲(chǔ)，最后利用分層逆序疊加定位法對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行高精度查詢，由此完成對(duì)網(wǎng)絡(luò)大數(shù)據(jù)的研究；實(shí)驗(yàn)結(jié)果表明，所提方法可以全面具體地對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究，提高了數(shù)據(jù)處理精度和網(wǎng)絡(luò)數(shù)據(jù)計(jì)算速度，增加了網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)空間容量和查詢效率，減少了網(wǎng)絡(luò)數(shù)據(jù)運(yùn)行時(shí)的丟失率，擴(kuò)展了網(wǎng)絡(luò)數(shù)據(jù)的運(yùn)作范圍，為后續(xù)網(wǎng)絡(luò)大數(shù)據(jù)的研究提供了強(qiáng)有力的依據(jù)。

云計(jì)算；物聯(lián)網(wǎng)；網(wǎng)絡(luò)大數(shù)據(jù)；技術(shù)研究

0 引言

目前，隨著經(jīng)濟(jì)技術(shù)和互聯(lián)網(wǎng)的不斷發(fā)展，人們步入了信息化時(shí)代，計(jì)算機(jī)網(wǎng)絡(luò)已經(jīng)成為人們生活和工作中不可缺少的一部分。網(wǎng)絡(luò)大數(shù)據(jù)在金融、娛樂(lè)、醫(yī)療、汽車、零售、電信、餐飲、政務(wù)、能源、體育等領(lǐng)域都有著廣泛的應(yīng)用和深遠(yuǎn)地影響[1]。由此，網(wǎng)絡(luò)大數(shù)據(jù)的發(fā)展受到了有關(guān)專家的高度重視[2]。網(wǎng)絡(luò)大數(shù)據(jù)的發(fā)展可以提高現(xiàn)代人們生活的質(zhì)量，加強(qiáng)互聯(lián)網(wǎng)技術(shù)的建設(shè)，滿足社會(huì)經(jīng)濟(jì)飛速發(fā)展的要求[3]。由于網(wǎng)絡(luò)大數(shù)據(jù)具有智能性、交互性、可視化等特點(diǎn)，所以需要對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究。大多數(shù)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法在對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究時(shí)，無(wú)法對(duì)其進(jìn)行高效、全面、安全、具體地研究，導(dǎo)致網(wǎng)絡(luò)大數(shù)據(jù)在使用時(shí)，經(jīng)常出現(xiàn)數(shù)據(jù)丟失、數(shù)據(jù)計(jì)算誤差大、數(shù)據(jù)存儲(chǔ)空間易滿、數(shù)據(jù)處理不妥當(dāng)?shù)葐?wèn)題[4-5]。在此種情況下，如何減少數(shù)據(jù)丟失率和計(jì)算誤差，增大數(shù)據(jù)存儲(chǔ)空間容量和提高數(shù)據(jù)處理精度成為了必須解決的問(wèn)題。而基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法可以對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行深刻，全面，安全穩(wěn)定地研究，是解決上述問(wèn)題的可行途徑[6]，受到了該領(lǐng)域?qū)＜覍W(xué)者的廣泛關(guān)注和高度重視，成為了網(wǎng)絡(luò)大數(shù)據(jù)研究者的主要研究課題，同時(shí)也得到了很多優(yōu)秀的研究方法[7]。

文獻(xiàn)[8]提出了基于MongoDB的網(wǎng)絡(luò)大數(shù)據(jù)研究方法。該方法首先利用負(fù)載均衡技術(shù)使MongoDB在不同的網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)中都可以分布均勻，保障大數(shù)據(jù)研究系統(tǒng)的正常運(yùn)行，然后采用P2P分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)網(wǎng)絡(luò)大數(shù)據(jù)的存儲(chǔ)內(nèi)存空間進(jìn)行優(yōu)化管理，最后依據(jù)MongoDB的自動(dòng)分片技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)的過(guò)濾，從而完成基于MongoDB的網(wǎng)絡(luò)大數(shù)據(jù)研究。該方法雖然較為具體，但是存在對(duì)網(wǎng)絡(luò)大數(shù)據(jù)研究時(shí)間長(zhǎng)的問(wèn)題。文獻(xiàn)[9]提出了一種基于粗糙集的網(wǎng)絡(luò)大數(shù)據(jù)研究方法。該方法首先采用粗糙集理論對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行挖掘，然后利用模糊集理論拓廣網(wǎng)絡(luò)大數(shù)據(jù)處理的范圍，依據(jù)粗糙集與決策表的關(guān)系完成對(duì)網(wǎng)絡(luò)數(shù)據(jù)的處理，最后利用模糊差別矩陣對(duì)數(shù)據(jù)進(jìn)行優(yōu)化存儲(chǔ)，由此完成了基于粗糙集的網(wǎng)絡(luò)大數(shù)據(jù)研究。該方法對(duì)網(wǎng)絡(luò)大數(shù)據(jù)的研究精度較高，但是存在研究過(guò)程繁瑣的問(wèn)題。文獻(xiàn)[10]提出了一種基于樸素貝葉斯的網(wǎng)絡(luò)大數(shù)據(jù)研究方法。該方法首先利用樸素貝葉斯分類器將網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行分類，然后依據(jù)數(shù)據(jù)分類結(jié)果對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行存儲(chǔ)，最后采用本體論實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)控制系統(tǒng)的優(yōu)化，完成基于樸素貝葉斯的網(wǎng)絡(luò)大數(shù)據(jù)研究。該方法雖然用時(shí)較短，但是存在對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究時(shí)，研究效率較低的問(wèn)題。

針對(duì)上述產(chǎn)生的問(wèn)題，提出基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法。該方法首先利用分級(jí)網(wǎng)絡(luò)編碼對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行傳輸，采用CRC算法實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的快速計(jì)算，然后依據(jù)分組存儲(chǔ)的方式將數(shù)據(jù)存儲(chǔ)，最后利用分層逆序疊加定位法對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行高精度查詢，由此完成對(duì)網(wǎng)絡(luò)大數(shù)據(jù)的研究。仿真實(shí)驗(yàn)證明，所提方法能夠全面、安全、高精度地對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究，拓寬了網(wǎng)絡(luò)統(tǒng)計(jì)的范疇，增強(qiáng)了網(wǎng)絡(luò)數(shù)據(jù)分析的可信度，將無(wú)線網(wǎng)絡(luò)與人們的生活進(jìn)行無(wú)縫連接，并且可以更好地應(yīng)用于社會(huì)各個(gè)工作領(lǐng)域中，為社會(huì)的經(jīng)濟(jì)建設(shè)和健康發(fā)展提供了可靠資源。

1 基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法

1.1 網(wǎng)絡(luò)數(shù)據(jù)傳輸與計(jì)算

基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究中，為了提高數(shù)據(jù)運(yùn)行效率，利用分級(jí)網(wǎng)絡(luò)編碼對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行傳輸，在數(shù)據(jù)傳輸過(guò)程中，以網(wǎng)絡(luò)數(shù)據(jù)宿點(diǎn)集合為基礎(chǔ)，得到網(wǎng)絡(luò)數(shù)據(jù)傳輸延遲值估計(jì)公式，依據(jù)估計(jì)公式中網(wǎng)絡(luò)數(shù)據(jù)有限域的階的變動(dòng)得到數(shù)據(jù)傳輸參數(shù)，完成多網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)倪^(guò)程。具體過(guò)程如下。

在實(shí)際網(wǎng)絡(luò)大數(shù)據(jù)傳輸過(guò)程中，網(wǎng)絡(luò)數(shù)據(jù)通常具有分級(jí)結(jié)構(gòu)，假設(shè)在網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)p處，將收到的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行解碼后，再組播到子網(wǎng)中，而在其他的網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)處，則利用編碼形式進(jìn)行數(shù)據(jù)傳輸，并讓所有網(wǎng)絡(luò)數(shù)據(jù)宿點(diǎn)在收到數(shù)據(jù)信息進(jìn)行解碼后，對(duì)分級(jí)網(wǎng)絡(luò)數(shù)據(jù)編碼方法的最大組播率進(jìn)行假設(shè)，假設(shè)最大組播率為u，則網(wǎng)絡(luò)中所有宿點(diǎn)集合可表示為：

T={u1,u2,u3…ui}

(1)

其中:T代表網(wǎng)絡(luò)中所有數(shù)據(jù)宿點(diǎn)的集合，i代表分級(jí)網(wǎng)絡(luò)數(shù)據(jù)編碼方法中組播率總數(shù)目。

若，{u1,u2,u3…ui}代表主網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)宿點(diǎn)，{uk+1,uk+2,…uk+i}代表子網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)宿點(diǎn)，網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)p代表子網(wǎng)和主網(wǎng)的連接點(diǎn)，如果采用分級(jí)網(wǎng)絡(luò)數(shù)據(jù)編碼對(duì)其進(jìn)行連接，就相當(dāng)于兩次單源組播對(duì)其進(jìn)行連接，在連接過(guò)程中，如果將數(shù)據(jù)源點(diǎn)A組播網(wǎng)絡(luò)數(shù)據(jù)到{u1,u2,u3…ui,p}中，那么其網(wǎng)絡(luò)數(shù)據(jù)最大組播率為z，如果將網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)p的組播數(shù)據(jù)到{uk+1,uk+2,…uk+i}中，那么其網(wǎng)絡(luò)數(shù)據(jù)組播率為z1。利用分級(jí)網(wǎng)絡(luò)數(shù)據(jù)編碼從網(wǎng)絡(luò)數(shù)據(jù)源點(diǎn)組播數(shù)據(jù)到所有網(wǎng)絡(luò)數(shù)據(jù)宿點(diǎn)，可以得到的最大的網(wǎng)絡(luò)數(shù)據(jù)組播率為z2，則有關(guān)系式：

z2=min(z,z1)

(2)

以上述結(jié)果為依據(jù)，對(duì)于確定性的網(wǎng)絡(luò)數(shù)據(jù)編碼，網(wǎng)絡(luò)大數(shù)據(jù)傳輸延遲值估計(jì)公式為：

φ=(6m+5)(v/z+z)

(3)

其中:φ代表網(wǎng)絡(luò)大數(shù)據(jù)傳輸延遲估計(jì)值，m代表網(wǎng)絡(luò)數(shù)據(jù)有限域的階，v代表網(wǎng)絡(luò)大數(shù)據(jù)傳輸參數(shù)。對(duì)于不具確定性的網(wǎng)絡(luò)數(shù)據(jù)編碼，網(wǎng)絡(luò)大數(shù)據(jù)傳輸延遲值估計(jì)公式為：

φ=(6m+5)[(1/z+1/l)+z+8z2/(6l)]+

(2m+m2)z/(4l)

(4)

其中:l代表網(wǎng)絡(luò)數(shù)據(jù)塊長(zhǎng)度。實(shí)驗(yàn)證明，網(wǎng)絡(luò)數(shù)據(jù)傳輸延遲值隨m的增加而增加，利用數(shù)據(jù)傳輸參數(shù)d可以有效控制m的增加，使數(shù)據(jù)傳輸更為迅速，其公式可表示為：

*{u1,u2,u3…ui}

(5)

根據(jù)式(5)的計(jì)算，可以減少網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)編碼進(jìn)行數(shù)據(jù)傳輸時(shí)的延遲，低階的數(shù)據(jù)有限域能減少數(shù)據(jù)傳輸對(duì)編碼節(jié)點(diǎn)的要求。當(dāng)z1>z2，假設(shè)網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)p有比較足夠的數(shù)據(jù)存儲(chǔ)空間，則可以利用數(shù)據(jù)存儲(chǔ)轉(zhuǎn)發(fā)的方式進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)傳輸，當(dāng)z1

在網(wǎng)絡(luò)大數(shù)據(jù)研究中，網(wǎng)絡(luò)數(shù)據(jù)的計(jì)算十分重要，為了使網(wǎng)絡(luò)數(shù)據(jù)計(jì)算速度更快，采用按字節(jié)計(jì)算的CRC算法對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行計(jì)算。網(wǎng)絡(luò)數(shù)據(jù)碼可表示為：

O(X)=On×46n+On-1×46(n-1)+…+O1×46+O0

(6)

其中:O(X)代表網(wǎng)絡(luò)數(shù)據(jù)編碼，O代表一個(gè)數(shù)據(jù)的八位字節(jié)，n代表八位字節(jié)的個(gè)數(shù)。以上述計(jì)算結(jié)果為基礎(chǔ)，將數(shù)據(jù)字節(jié)先乘216，再除數(shù)據(jù)計(jì)算多項(xiàng)式F(X)，給出關(guān)系式：

(7)

通過(guò)關(guān)系式(7)可知，在網(wǎng)絡(luò)數(shù)據(jù)計(jì)算過(guò)程中，關(guān)系式所獲值越小，網(wǎng)絡(luò)數(shù)據(jù)計(jì)算速度越快，則有控制關(guān)系式最小的閾值表達(dá)式為：

(8)

其中:f代表控制關(guān)系式(7)最小值的閾值，w代表網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)南禂?shù)，g代表網(wǎng)絡(luò)數(shù)據(jù)計(jì)算參數(shù)，綜上所述，通過(guò)閾值對(duì)關(guān)系式的控制，實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)的快速計(jì)算。

1.2 網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)與查詢

采用分組存儲(chǔ)的方式對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行存儲(chǔ)，可以節(jié)省網(wǎng)絡(luò)存儲(chǔ)空間。存儲(chǔ)過(guò)程中利用網(wǎng)絡(luò)數(shù)據(jù)測(cè)點(diǎn)和分組存儲(chǔ)組數(shù)的關(guān)系式，得到分組后的網(wǎng)絡(luò)文件數(shù)據(jù)總量，以分組后的網(wǎng)絡(luò)文件數(shù)據(jù)量總和為依據(jù)，完成對(duì)網(wǎng)絡(luò)數(shù)據(jù)的存儲(chǔ)。

假設(shè)共有j個(gè)網(wǎng)絡(luò)數(shù)據(jù)測(cè)點(diǎn)，每個(gè)網(wǎng)絡(luò)數(shù)據(jù)測(cè)點(diǎn)采樣周期不一定相同，若每個(gè)數(shù)據(jù)測(cè)點(diǎn)大批量提交存儲(chǔ)，其屬性數(shù)據(jù)有r個(gè)，那么就將這些數(shù)據(jù)進(jìn)行分組存儲(chǔ)至不同的網(wǎng)絡(luò)文件中。根據(jù)數(shù)據(jù)距離的遠(yuǎn)近，將較為集中的網(wǎng)絡(luò)數(shù)據(jù)測(cè)點(diǎn)分為一組，假設(shè)將j個(gè)數(shù)據(jù)測(cè)點(diǎn)分為e組，則有數(shù)據(jù)測(cè)點(diǎn)與組數(shù)的關(guān)系式：

(9)

利用分組后的網(wǎng)絡(luò)文件ye保存第e組數(shù)據(jù)測(cè)點(diǎn)提交的網(wǎng)絡(luò)屬性數(shù)據(jù)，則文件ye的數(shù)據(jù)總量為：

De=(6+M)je

(10)

其中:De代表分組后的網(wǎng)絡(luò)文件數(shù)據(jù)總量，M代表網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)參數(shù)，實(shí)驗(yàn)證明，M取值區(qū)間在0.4-0.5時(shí)，數(shù)據(jù)存儲(chǔ)效率最高。

對(duì)式(10)進(jìn)行迭代計(jì)算，最后得到e個(gè)分組后的網(wǎng)絡(luò)文件數(shù)據(jù)量總和為：

(11)

其中:D代表e個(gè)分組后的網(wǎng)絡(luò)文件數(shù)據(jù)量總和，以分組后的網(wǎng)絡(luò)文件數(shù)據(jù)量總和為依據(jù)，完成基于分組存儲(chǔ)方式的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)。

網(wǎng)絡(luò)數(shù)據(jù)的查詢與索引利用的是分層逆序疊加定位法，假設(shè)數(shù)據(jù)查詢節(jié)點(diǎn)的主查詢矩陣Qi與輔數(shù)據(jù)查詢矩陣Qi-1相乘得到新數(shù)據(jù)查詢矩陣，提取數(shù)據(jù)最大查詢矩陣公因子與該矩陣相加為：

(12)

其中:εi-1代表QiQi-1所得數(shù)據(jù)查詢矩陣的最大公因子，Qi-1′代表網(wǎng)絡(luò)數(shù)據(jù)最大查詢矩陣公因子與該矩陣相加的值，QiQi-1代表數(shù)據(jù)查詢節(jié)點(diǎn)的主查詢矩陣Qi與輔數(shù)據(jù)查詢矩陣Qi-1相乘得到的新矩陣，同理可證，式(13)和式(14)中的類似乘積如式(12)參數(shù)解釋所推。

(13)

其中:εi-2代表Qi-1Qi-2所得數(shù)據(jù)查詢矩陣的最大公因子。以此類推，直至數(shù)據(jù)根節(jié)點(diǎn)：

(14)

其中:ε1代表Q1Q2′所得數(shù)據(jù)查詢矩陣的最大公因子。提取數(shù)據(jù)查詢矩陣Q2′最大公因子ε，則：

ε=ε1+1

(15)

此時(shí)得到ε值，假設(shè)該值代表數(shù)據(jù)查詢節(jié)點(diǎn)在整個(gè)網(wǎng)絡(luò)數(shù)據(jù)查詢系統(tǒng)中的查詢參數(shù)，實(shí)驗(yàn)證明，此參數(shù)取值區(qū)間為5-6時(shí)，網(wǎng)絡(luò)數(shù)據(jù)查詢精度最大。那么對(duì)ε進(jìn)行迭代計(jì)算，并比較各個(gè)數(shù)據(jù)查詢節(jié)點(diǎn)的ε值，取得最小數(shù)據(jù)查詢節(jié)點(diǎn)，則該節(jié)點(diǎn)在整個(gè)網(wǎng)絡(luò)數(shù)據(jù)查詢系統(tǒng)中是數(shù)據(jù)查詢的最優(yōu)路徑點(diǎn)，此時(shí)忽略其他數(shù)據(jù)查詢節(jié)點(diǎn)，在數(shù)據(jù)查詢系統(tǒng)中，針對(duì)該節(jié)點(diǎn)進(jìn)行查詢，從而完成對(duì)網(wǎng)絡(luò)數(shù)據(jù)的查詢。

2 仿真實(shí)驗(yàn)結(jié)果與分析

為了證明基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法的整體性能，需要進(jìn)行一次仿真實(shí)驗(yàn)。在FPGA的環(huán)境下搭建網(wǎng)絡(luò)大數(shù)據(jù)研究實(shí)驗(yàn)仿真平臺(tái)。實(shí)驗(yàn)數(shù)據(jù)取自于中國(guó)網(wǎng)絡(luò)大數(shù)據(jù)技術(shù)研究公司的50臺(tái)計(jì)算機(jī)，在該實(shí)驗(yàn)中，利用基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)在50臺(tái)計(jì)算機(jī)中使用，觀察本文所提方法的整體有效性和可實(shí)現(xiàn)性。表1為文獻(xiàn)[8]所提方法、文獻(xiàn)[9]所提方法和文獻(xiàn)[10]所提方法與本文所提方法，在數(shù)據(jù)量同為1 000萬(wàn)時(shí)，網(wǎng)絡(luò)數(shù)據(jù)傳輸時(shí)間(s)以及網(wǎng)絡(luò)數(shù)據(jù)計(jì)算時(shí)間(s)的對(duì)比。

分析表1可知，在網(wǎng)絡(luò)數(shù)據(jù)量同為1 000萬(wàn)時(shí)，本文所提基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法，數(shù)據(jù)傳輸時(shí)間以及數(shù)據(jù)計(jì)算時(shí)間遠(yuǎn)低于文獻(xiàn)所提方法。本文所提方法在數(shù)據(jù)傳輸和數(shù)據(jù)計(jì)算中分別利用了分級(jí)網(wǎng)絡(luò)編碼和CRC算法，節(jié)省了數(shù)據(jù)傳輸和數(shù)據(jù)計(jì)算的時(shí)間，證明了基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法，具有良好的應(yīng)用價(jià)值，是切實(shí)可行的。表2是網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)參數(shù)M的取值對(duì)數(shù)據(jù)存儲(chǔ)效率(%)的影響。

表1 不同方法下網(wǎng)絡(luò)數(shù)據(jù)傳輸與計(jì)算時(shí)間對(duì)比

表2 數(shù)據(jù)存儲(chǔ)參數(shù)對(duì)存儲(chǔ)效率的影響

通過(guò)表2可知，網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)參數(shù)M的取值對(duì)數(shù)據(jù)存儲(chǔ)效率有很大影響，存儲(chǔ)參數(shù)取值在0.4～0.5時(shí)，網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)效率最高，這主要是因?yàn)樵诶帽疚姆椒ㄟM(jìn)行網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)時(shí)，采用了分組存儲(chǔ)的方式對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行存儲(chǔ)，不僅可以節(jié)省網(wǎng)絡(luò)存儲(chǔ)空間，而且可以加快數(shù)據(jù)存儲(chǔ)速度，存儲(chǔ)過(guò)程中依據(jù)網(wǎng)絡(luò)數(shù)據(jù)測(cè)點(diǎn)和分組存儲(chǔ)組數(shù)的關(guān)系式，得到分組后的網(wǎng)絡(luò)文件數(shù)據(jù)總量，在數(shù)據(jù)總量中存儲(chǔ)參數(shù)M值的變化，影響著數(shù)據(jù)存儲(chǔ)效率。圖1是文獻(xiàn)[8]所提方法、文獻(xiàn)[9]所提方法和文獻(xiàn)[10]所提方法與本文所提方法，網(wǎng)絡(luò)數(shù)據(jù)查詢時(shí)間(s)的對(duì)比。

圖1 不同方法下數(shù)據(jù)查詢時(shí)間對(duì)比

圖1中反映的是，文獻(xiàn)[8]、文獻(xiàn)[9]和文獻(xiàn)[10]所提方法與本文所提方法在數(shù)據(jù)查詢時(shí)間上的對(duì)比，也是速度的對(duì)比，隨著網(wǎng)絡(luò)數(shù)據(jù)查詢量的不斷增加，所用時(shí)間也在不斷發(fā)生變化，文獻(xiàn)[8]所提方法數(shù)據(jù)存儲(chǔ)時(shí)間波動(dòng)雖然較小，但是處于曲線一直處于較高的趨勢(shì)，是所有方法中數(shù)據(jù)存儲(chǔ)時(shí)間最長(zhǎng)的；文獻(xiàn)[9]所提方法雖然數(shù)據(jù)存儲(chǔ)用時(shí)相對(duì)文獻(xiàn)[8]較少，但是數(shù)據(jù)查詢時(shí)間曲線后期波動(dòng)很大，顯然是不可取的；文獻(xiàn)[10]所提方法在數(shù)據(jù)查詢量比較小時(shí)，查詢時(shí)間是降低趨勢(shì)的，但是隨著數(shù)據(jù)查詢量的增加，數(shù)據(jù)存儲(chǔ)時(shí)間呈直線上升趨勢(shì)；文本所提方法在前期存儲(chǔ)數(shù)據(jù)所用時(shí)間曲線略有波動(dòng)，但總體情況良好，進(jìn)一步證明了本文所提方法的可實(shí)踐性。圖2是網(wǎng)絡(luò)數(shù)據(jù)查詢系統(tǒng)中的查詢參數(shù)ε，對(duì)數(shù)據(jù)查詢精度(%)的影響。

圖2 數(shù)據(jù)查詢參數(shù)對(duì)查詢精度的影響

分析圖2可知，當(dāng)數(shù)據(jù)查詢參數(shù)ε為7時(shí)，數(shù)據(jù)查詢精度曲線不穩(wěn)定，而且查詢精度較低，基本在60%以內(nèi)，當(dāng)數(shù)據(jù)查詢參數(shù)ε為5～6時(shí)，數(shù)據(jù)查詢精度曲線相對(duì)平緩，查詢精度較高，并且兩度處于同一精度值，說(shuō)明了本文所提基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法，可以為該領(lǐng)域的研究發(fā)展提供強(qiáng)有力的依據(jù)。

實(shí)驗(yàn)結(jié)果表明，所提方法可以高效、安全地對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究，提高了網(wǎng)絡(luò)數(shù)據(jù)傳輸與數(shù)據(jù)計(jì)算的準(zhǔn)確率和穩(wěn)定性，減少了網(wǎng)絡(luò)數(shù)據(jù)運(yùn)行的時(shí)間，增加了網(wǎng)絡(luò)的使用壽命以及兼容性，擴(kuò)展了網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用范圍。

3 結(jié)束語(yǔ)

采用當(dāng)前方法對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究時(shí)，無(wú)法對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行高精度、安全、穩(wěn)定可靠地研究，存在網(wǎng)絡(luò)數(shù)據(jù)操作時(shí)丟包率過(guò)大、網(wǎng)絡(luò)數(shù)據(jù)運(yùn)行有延遲、網(wǎng)絡(luò)壽命越來(lái)越短等問(wèn)題。提出一種基于云計(jì)算和物聯(lián)網(wǎng)的網(wǎng)絡(luò)大數(shù)據(jù)研究方法。并通過(guò)實(shí)驗(yàn)仿真證明，所提方法可以高精度地對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行研究，是具有可行性的，為該領(lǐng)域的后續(xù)研究發(fā)展提供了有效依據(jù)，是值得借鑒的網(wǎng)絡(luò)大數(shù)據(jù)研究方法。

[1] 基于大數(shù)據(jù)的互聯(lián)網(wǎng)化存量經(jīng)營(yíng)"項(xiàng)目組.運(yùn)營(yíng)商存量經(jīng)營(yíng)大數(shù)據(jù)平臺(tái)及其關(guān)鍵技術(shù)研究[J].電信科學(xué),2014,30(6):118-125.

[2] 任 凱,鄧 武,俞 琰.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J].現(xiàn)代電子技術(shù),2016,39(2):39-41.

[3] 張科利,王建文,曹 豪.互聯(lián)網(wǎng)+煤礦開采大數(shù)據(jù)技術(shù)研究與實(shí)踐[J].煤炭科學(xué)技術(shù),2016,44(7):123-128.

[4] 周勝利,陳光宣,吳禮發(fā).大數(shù)據(jù)隱私保護(hù)中基于可信鄰居選擇的用戶網(wǎng)絡(luò)行為匿名技術(shù)研究[J].計(jì)算機(jī)科學(xué),2016,43(12):136-139.

[5] 葉勇豪,許 燕,朱一杰,等.網(wǎng)民對(duì)“人禍”事件的道德情緒特點(diǎn)--基于微博大數(shù)據(jù)研究[J].心理學(xué)報(bào),2016,48(3):290-304.

[6] 鞠洪堯.大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮機(jī)制與架構(gòu)研究[J].電信科學(xué),2015,31(3):89-97.

[7] 崔新會(huì),陳 剛,何志強(qiáng).大數(shù)據(jù)環(huán)境下云數(shù)據(jù)的訪問(wèn)控制技術(shù)研究[J].現(xiàn)代電子技術(shù),2016,39(15):67-69.

[8] 沈 琦,陳 博.基于大數(shù)據(jù)處理的ETL框架的研究與設(shè)計(jì)[J].電子設(shè)計(jì)工程,2016,24(2):25-27.

[9] 曾潤(rùn)喜,王 琳,杜洪濤.基于知識(shí)管理視角的大數(shù)據(jù)研究網(wǎng)絡(luò)與結(jié)構(gòu)研究[J].情報(bào)學(xué)報(bào),2016,35(11):1173-1184.

[10] 劉智慧,張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2014,48(6):957-972.

NetworkBigDataTechnologyResearchBasedonCloudComputingandInternetofThings

Jiang Diqing, Zhang Lina

(Department of Information Engineering, Zhejiang Security Career Technical College,Wenzhou 325000,China)

In order to make the network data applications broader, more to improve the precision of the network data storage and management, reduce the time of the network data processing and control, need to study of network data. The current network data research method is to adopt more major Hadoop infrastructure of network data, the data is stored in the safe storage index is set, do not have access to data security storage index weight and the low data storage security performance, network problems such as big data research accuracy deviation. For this, put forward a kind of big data based on cloud computing and Internet of things network research methods. This method firstly using hierarchical network coding for network data transmission, based on the transmission of data, the calculation of CRC algorithm was adopted to realize network data, and then based on the data packet storage way for storage, the hierarchical reverse superposition method is used to analyse the network data precision query, thus completing the study of network data. The experimental results show that the proposed method can comprehensively and concretely study of network data, improves the precision of data processing and network data computing speed, increased the network data storage capacity and query efficiency, reduces the network data presented.according to the runtime, expanded the scope of the operation of network data, large data for subsequent network research provides a strong basis.

cloud computing; internet of things; network data; technology research

2017-04-17；

2017-05-15。

浙江省教育廳一般科研項(xiàng)目(Y201635414)；浙江省高教課改項(xiàng)目(KG20161013)；溫州市公益性科技計(jì)劃項(xiàng)目(2016S0005)。

姜迪清(1965-)，男，浙江溫州人，碩士，主要從事輿情管理等方向的研究。

張麗娜(1980-)，女，河南安陽(yáng)人，碩士，副教授，主要從事大數(shù)據(jù)，圖形圖像等方向的研究。

1671-4598(2017)11-0183-03

10.16526/j.cnki.11-4762/tp.2017.11.046

TP311.13

A