網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)研究

楊軍

摘 要： 網(wǎng)絡(luò)環(huán)境下的大數(shù)據(jù)已經(jīng)成為數(shù)據(jù)傳輸?shù)闹饕畔⑤d體，大數(shù)據(jù)使用方式的多樣化需要對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行多維度的調(diào)度調(diào)用。傳統(tǒng)網(wǎng)絡(luò)大數(shù)據(jù)的調(diào)度技術(shù)能夠簡單地對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行調(diào)度，但在目前高維度網(wǎng)絡(luò)環(huán)境下很難進(jìn)行分層次分維度的調(diào)用。針對(duì)上述問題，提出網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)。在網(wǎng)絡(luò)環(huán)境下設(shè)置多維度分層調(diào)度結(jié)構(gòu)，通過網(wǎng)絡(luò)多維度分層實(shí)現(xiàn)高精度的大數(shù)據(jù)調(diào)用。通過實(shí)驗(yàn)分析結(jié)果可以看出，提出的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)能夠在網(wǎng)絡(luò)環(huán)境下對(duì)大數(shù)據(jù)進(jìn)行高精度的分層調(diào)度。

關(guān)鍵詞： 網(wǎng)絡(luò)環(huán)境； 大數(shù)據(jù)調(diào)用； 多維度調(diào)用； 分層調(diào)度； 調(diào)度結(jié)構(gòu)； 數(shù)據(jù)傳輸

中圖分類號(hào)： TN711?34； TN273 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）04?0172?04

Abstract： Big data in the network environment has become a main information carrier of data transmission， and the diversification of big data usage modes requires multi?dimensional scheduling call to network big data. The traditional network big data scheduling technology can schedule network big data simply， but it is difficult to make the hierarchical and multi?dimensional call in the current high dimensional network environment. Aiming at the above problems， a hierarchical scheduling technology for network big data is proposed. The multi?dimensional hierarchical scheduling structure is set up in the network environment， and the high?precision big data call can be realized by multi?dimensional stratification of network. The experimental analysis results show that the proposed hierarchical scheduling technology for network big data can carry out high?precision hierarchical big data scheduling in the network environment.

Keywords： network environment； big data call； multi?dimension call； scheduling structure； hierarchical scheduling； data transmission

0 引 言

在網(wǎng)絡(luò)大數(shù)據(jù)的使用過程中，由于網(wǎng)絡(luò)維度的變化以及應(yīng)用方式不同造成一定大數(shù)據(jù)傳遞堵塞。常規(guī)解決方式一般采用數(shù)據(jù)調(diào)度進(jìn)行大數(shù)據(jù)的分化，而傳統(tǒng)的網(wǎng)絡(luò)大數(shù)據(jù)調(diào)用技術(shù)通過多種形式進(jìn)行同屬歸類實(shí)現(xiàn)大數(shù)據(jù)調(diào)度[1]。傳統(tǒng)網(wǎng)絡(luò)大數(shù)據(jù)的調(diào)度無法實(shí)現(xiàn)多維的調(diào)用，同時(shí)調(diào)用過程中無法實(shí)現(xiàn)分層調(diào)度，這樣造成大數(shù)據(jù)滯留以及調(diào)度緩慢。針對(duì)上述問題，本文提出一種網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)，為了保證該設(shè)計(jì)方法的有效性，設(shè)計(jì)了對(duì)比仿真試驗(yàn)，結(jié)果表明，本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)能夠更加精準(zhǔn)地進(jìn)行大數(shù)據(jù)分層調(diào)度。

1 網(wǎng)絡(luò)大數(shù)據(jù)的執(zhí)行分層

在網(wǎng)絡(luò)大數(shù)據(jù)環(huán)境下，本文引用分層數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)大數(shù)據(jù)的分化。本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)在執(zhí)行調(diào)度過程中主要通過對(duì)網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用執(zhí)行方式以及傳輸方式進(jìn)行分化[2]。但網(wǎng)絡(luò)大數(shù)據(jù)執(zhí)行過程的傳遞過程中存在不同的應(yīng)用方式，多種應(yīng)用方式會(huì)造成大數(shù)據(jù)的調(diào)度變化，增加調(diào)度過程的難度。為了實(shí)現(xiàn)分層，首先進(jìn)行網(wǎng)絡(luò)大數(shù)據(jù)的穩(wěn)定分層，穩(wěn)定分層后分別對(duì)不同層次維度的大數(shù)據(jù)執(zhí)行精確調(diào)用[3]。層次上大數(shù)據(jù)調(diào)度需結(jié)合調(diào)度篩選屬性，綜合層次結(jié)構(gòu)的調(diào)用方向。網(wǎng)絡(luò)大數(shù)據(jù)一旦分層完畢，調(diào)度馬上進(jìn)行，改變了傳統(tǒng)的先認(rèn)定再調(diào)用的過程，使更多時(shí)候存在分層后再分層局面。本文使用的數(shù)據(jù)分層執(zhí)行概念，每一次分層后都會(huì)默認(rèn)成為新維度，這樣可以完成多次的執(zhí)行分層。假設(shè)給出一個(gè)多層次網(wǎng)絡(luò)大數(shù)據(jù)調(diào)度任務(wù)。設(shè)[T1]，[T2]分別代表兩個(gè)不同層次、不同維度、不同方向的大數(shù)據(jù)傳輸層，有：

通常情況下，在一個(gè)分層調(diào)度系統(tǒng)中，層次數(shù)的選擇以及個(gè)數(shù)都是可以選取任意值的；但劃分的層次數(shù)目過多，系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)會(huì)變得十分復(fù)雜，調(diào)度效率也會(huì)隨之降低；但是層次分屬過少又不能滿足現(xiàn)階段網(wǎng)絡(luò)多維度的劃分[5]。本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)對(duì)分屬層次上進(jìn)行了攜帶式分層。這樣既能夠滿足多維度的需求，也能夠執(zhí)行單維度的執(zhí)行需求，同時(shí)在攜帶量上通過大數(shù)據(jù)壓縮的形式進(jìn)行分化執(zhí)行[6]。本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)分層結(jié)構(gòu)圖如圖1所示。

本文設(shè)計(jì)網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)把來自相同數(shù)據(jù)源的網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行首度層次。起始分層被稱為第原始層，依次類推分別是分化層、次分化層[7]。圖1演示了雙分化層的分層過程。在調(diào)度中假設(shè)A，B分別代表不同屬性不同執(zhí)行命令的網(wǎng)絡(luò)大數(shù)據(jù)，分別到達(dá)[P1]和[P2]線路上執(zhí)行命令，很容易看出[T1]和[T2]原始層上的維度變化，可確認(rèn)此調(diào)度的正確性。endprint

2 實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)分層傳遞調(diào)度

本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)通過傳統(tǒng)的層次調(diào)度模型來對(duì)所在層次上的網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行調(diào)度，只有在跨層分布狀態(tài)下才使用分層命令[8]。調(diào)度事務(wù)過程分為語義瀏覽、邏輯調(diào)度和物理執(zhí)行，即在傳統(tǒng)調(diào)度事務(wù)模型基礎(chǔ)上增加了一個(gè)執(zhí)行限令。

語義瀏覽調(diào)度過程：調(diào)度過程的目的是完成語義執(zhí)行的高級(jí)操作，如果分層階段超過限令需要進(jìn)行標(biāo)準(zhǔn)修訂，如果沒有超過分層階段的限令，那么直接進(jìn)行執(zhí)行調(diào)度。調(diào)度的過程中會(huì)保留一定的傳輸口令[9]。

邏輯調(diào)度：網(wǎng)絡(luò)環(huán)境下的大數(shù)據(jù)有序是帶有目的性的邏輯執(zhí)行以及邏輯運(yùn)算，其調(diào)度大數(shù)據(jù)目的為到達(dá)指定區(qū)域執(zhí)行。

為此在分層過程中，到達(dá)指定維度的上一維度時(shí)，已經(jīng)對(duì)大數(shù)據(jù)解壓完畢，這樣更方便大數(shù)據(jù)調(diào)用過程，也方便執(zhí)行的準(zhǔn)確性[10]。

物理執(zhí)行：此類比較少見，由于執(zhí)行的是物理意義通過單渠道的對(duì)接可以實(shí)現(xiàn)。

在每一個(gè)分化層之間的大數(shù)據(jù)層面內(nèi)的調(diào)度是通過篩選的方式執(zhí)行的，層次內(nèi)部調(diào)用過程也和整體調(diào)度分層一樣，通過細(xì)化分層進(jìn)行調(diào)度。假設(shè)大數(shù)據(jù)[A]放在某一分化層[P1]中，大數(shù)據(jù)[B]放在某分化層[P2]中。

設(shè)置調(diào)度層上操作分別為[a]和[b]，執(zhí)行邏輯層上響應(yīng)度[a1，a2，…，an]和[b1，b2，…，bn]完成調(diào)度[a]操作序列[a1…bn。]按此順序移動(dòng)到大數(shù)據(jù)執(zhí)行位置，完成大數(shù)據(jù)在網(wǎng)絡(luò)環(huán)境下的調(diào)用過程。

3 仿真實(shí)驗(yàn)

3.1 參數(shù)設(shè)定

為了保證本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)的設(shè)計(jì)有效性，對(duì)試驗(yàn)參數(shù)進(jìn)行設(shè)定，引入輪詢特征參數(shù)對(duì)試驗(yàn)經(jīng)過來衡量，對(duì)試驗(yàn)基礎(chǔ)參數(shù)需進(jìn)行設(shè)定，實(shí)驗(yàn)過程參數(shù)如表1所示。為了保證本文設(shè)計(jì)的實(shí)驗(yàn)的有效性以及完整性，對(duì)實(shí)驗(yàn)過程參數(shù)進(jìn)行隨機(jī)選取，這樣可以更加完整地對(duì)實(shí)驗(yàn)過程進(jìn)行考量，實(shí)驗(yàn)過程參數(shù)如表2所示。

3.2 結(jié)果對(duì)比分析

實(shí)驗(yàn)結(jié)果如表3所示，本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)在調(diào)度路徑的CWND系數(shù)上明顯優(yōu)越于傳統(tǒng)調(diào)度方法；同時(shí)在TSN指數(shù)中的空閑值較少，沒有超過限定的趨勢(shì)，數(shù)值在小區(qū)內(nèi)波動(dòng)比較穩(wěn)定，故本文設(shè)計(jì)網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)在層次調(diào)度上明顯優(yōu)于傳統(tǒng)方法。

通過圖2與圖3對(duì)比發(fā)現(xiàn)，本文設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)能夠保證較高頻率的調(diào)用狀態(tài)，網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)跳頻以及網(wǎng)絡(luò)跳頻產(chǎn)生低頻狀態(tài)下的數(shù)據(jù)容易增加調(diào)用時(shí)長，能夠在網(wǎng)絡(luò)環(huán)境下保持更加高效的狀態(tài)。

4 結(jié) 語

本文提出一種網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)，引入分層數(shù)據(jù)理念，執(zhí)行分層調(diào)度后分別對(duì)不同的路線以及不同應(yīng)用方式進(jìn)行調(diào)用執(zhí)行。通過大數(shù)據(jù)執(zhí)行方式推導(dǎo)其調(diào)用最佳的分化過程，最終實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)。實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)能夠在網(wǎng)絡(luò)環(huán)境下進(jìn)行高效的大數(shù)據(jù)分層調(diào)用，同時(shí)在應(yīng)用環(huán)境上具備一定的抗性。

參考文獻(xiàn)

[1] 伊鵬，劉洪，胡宇翔.一種可擴(kuò)展的軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)流調(diào)度策略[J].電子與信息學(xué)報(bào)，2017，39（4）：825?831.

YI Peng， LIU Hong， HU Yuxiang. A scalable traffic scheduling policy for software defined data center network [J]. Journal of electronics & information technology， 2017， 39（4）： 825?831.

[2] 萬聰，王翠榮，王聰.面向數(shù)據(jù)密集型工作流的QoS?aware調(diào)度算法[J].系統(tǒng)仿真學(xué)報(bào)，2016，28（3）：549?558.

WAN Cong， WANG Cuirong， WANG Cong. QoS?aware scheduling for data intensive workflow [J]. Journal of system simulation， 2016， 28（3）： 549?558.

[3] 劉鑫，張瑜.電力網(wǎng)絡(luò)系統(tǒng)中統(tǒng)計(jì)特征任務(wù)分層的大數(shù)據(jù)融合模型[J].電網(wǎng)與清潔能源，2015，31（8）：36?39.

LIU Xin， ZHANG Yu. Fusion model of the hierarchical big data of characteristics task in electric power network system [J]. Power system & clean energy， 2015， 31（8）： 36?39.

[4] 蔣本立，張小平.大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度平臺(tái)設(shè)計(jì)與改進(jìn)[J].現(xiàn)代電子技術(shù)，2016，39（6）：62?65.

JIANG Benli， ZHANG Xiaoping. Design and improvement of balanced scheduling platform for big data network [J]. Modern electronics technique， 2016， 39（6）： 62?65.

[5] 劉迷.云計(jì)算下虛擬信息資源大數(shù)據(jù)特征集成調(diào)度[J].科技通報(bào)，2015，31（10）：199?201.

LIU Mi. Integrated scheduling of virtual information resources in data characteristics of cloud computing [J]. Bulletin of science and technology， 2015， 31（10）： 199?201.

[6] 鄒志洪.基于大數(shù)據(jù)的教育趨勢(shì)化推導(dǎo)模型設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2017，40（16）：66?68.endprint

ZOU Zhihong. Design and implementation of educational tendency derivation model based on large data [J]. Modern electronics technique， 2017， 40（16）： 66?68.

[7] 蔣蘇蓉，藍(lán)江橋，楊玉海.Hadoop框架下的情報(bào)分析大數(shù)據(jù)調(diào)度超時(shí)預(yù)測(cè)方法[J].計(jì)算機(jī)科學(xué)，2014，41（z1）：409?413.

JIANG Surong， LAN Jiangqiao， YANG Yuhai. Timeout prediction of the schedule method for big data of the intelligence analysis based on Hadoop [J]. Computer science， 2014， 41（S1）： 409?413.

[8] 桂勛，LIU Yilu，鄭永康，等.基于大數(shù)據(jù)技術(shù)的北美FNET/GridEye系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電力系統(tǒng)自動(dòng)化，2017，41（10）：112?116.

GUI Xun， LIU Yilu， ZHENG Yongkang， et al. Design and implementation of North America FNET/GridEye system based on big data technology [J]. Automation of electric power systems， 2017， 41（10）： 112?116.

[9] 張慧萍，賀紅艷，陳小娟.大數(shù)據(jù)的分層分類優(yōu)化識(shí)別仿真研究[J].計(jì)算機(jī)仿真，2015，32（10）：463?466.

ZHANG Huiping， HE Hongyan， CHEN Xiaojuan. Simulation of optimum identification in hierarchical classification of big data [J]. Computer simulation， 2015， 32（10）： 463?466.

[10] 任凱，鄧武，俞琰.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2016，39（2）：39?41.

REN Kai， DENG Wu， YU Yan. Research on network log analysis system based on big data technology [J]. Modern electronics technique， 2016， 39（2）： 39?41.endprint