云平臺下海量數據沖擊中的可視化調度平臺設計

聶晶+石中堅

摘 要： 針對當前云平臺調度中存在的問題，設計云平臺下海量數據沖擊中的可視化調度平臺，其由海量數據采集模塊、云平臺模塊和可視化調度模塊組成。海量數據采集模塊中的天線開始對海量數據進行采集和調頻，并傳遞給數字信號處理器進行處理，其處理結果將傳遞給云平臺模塊。云平臺模塊利用Hadoop分布式計算技術，對海量數據采集模塊的處理結果進行分析和計算，給出調度方案。調度方案將傳遞給可視化調度模塊進行調度方案的可視化，以及調度工作的具體實施。平臺軟件對云平臺模塊中調度方案的產生流程進行設計。實驗結果表明，所設計的平臺擁有較好的計算性能和調度性能。

關鍵詞： 云平臺； 海量數據； 可視化調度平臺； Hadoop

中圖分類號： TN911?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）08?0107?03

Design of visualization scheduling platform for mass data impact under cloud platform

NIE Jing1， SHI Zhongjian2

（1. Nanning College for Vocational Technology， Nanning 530008， China； 2. Hanshan Normal University， Chaozhou 521000， China）

Abstract： Aiming at the problems existing in the current cloud platform scheduling， a visualization scheduling platform for mass data impact under cloud platform was designed， which is composed of the mass data acquisition module， cloud platform module and visualization scheduling module. The antenna in mass data acquisition module carries out the acquisition and frequency modulation of mass data， and transmits the data to the digital signal processor for processing. The processing result is transmitted to the cloud platform module. The Hadoop distributed computing technology is used in the cloud platform module to analyze and calculate the processing result of the mass data acquisition module. The cloud platform module gives out a scheduling scheme. The scheduling scheme is transmitted to the visualization scheduling module to realize the scheduling scheme visualization and specific implementation of the dispatching work. The platform software is used to design the generation process of the scheduling scheme in the cloud platform module. The experimental result shows that the designed platform has perfect computational performance and scheduling performance.

Keywords： cloud platform； mass data； visualization scheduling platform； Hadoop

調度是一種能夠給出合理運行決策的技術，其能夠有效提升各領域的工作效率和工作精度，縮減人工作業(yè)量。可視化是在20世紀80年代開始興起的計算機圖像顯示技術，人眼視覺是可視化的基礎[1?3]。將可視化與調度結合起來，能夠使原本較為抽象的運行決策更加便于理解，可視化調度平臺應景而生。然而，當今社會各領域的信息量巨大，在海量數據沖擊中，可視化調度平臺已逐漸落后，云平臺的產生使這一現象得到有效緩解[4?6]。

1 海量數據沖擊中的可視化調度平臺設計

1.1 海量數據采集模塊設計

在云平臺下海量數據沖擊中的可視化調度平臺中，由于海量數據采集模塊掌控著調度對象中海量數據的采集工作，是整個平臺性能的基礎保證。為此，需要在保證采集精度的前提下，賦予該模塊足夠的穩(wěn)定性和工作效率，加強模塊對調度對象的控制能力。圖1是海量數據采集模塊組成圖。由圖1可知，海量數據采集模塊主要由天線、數據接收器、數字信號處理器、看門狗計時器和通信接口組成。在云平臺下海量數據沖擊中的可視化調度平臺中，海量數據采集模塊的天線是最先經受海量數據沖擊的。在沖擊開始后，天線隨即對海量數據進行采集和調頻。這樣設計能夠保證天線免受非調度對象數據的影響，提高模塊采集精度。

1.2 云平臺模塊設計

云平臺模塊接收到海量數據采集模塊傳遞來的處理結果后，將對其進行計算，給出調度方案。云平臺模塊對海量數據處理結果進行Hadoop分布式計算。Hadoop分布式計算是云平臺中較為常用的處理技術，這種技術能夠為云平臺下海量數據沖擊中的可視化調度平臺提供高效、透明的調度方案，其對調度人員的技術要求不高，可節(jié)約平臺的運行成本。圖2是Hadoop分布式計算的結構圖。

由圖2可知，Hadoop分布式計算的子項目有四種，分別是映射?歸約模型、分布式關系數據庫、分布式文件系統(tǒng)以及分布式應用程序協(xié)調服務。

1.3 可視化調度模塊

可視化調度模塊是云平臺下海量數據沖擊中的可視化調度平臺對調度對象實施具體調度工作的模塊，也是用戶可直接使用的模塊。可視化調度模塊能夠將調度方案以可視化的形式呈現給用戶，這一工作要求用戶與可視化調度模塊間應具有較強的人機交互能力，為此，設計出如圖3所示的可視化調度模塊結構圖。

由圖3可知，可視化調度模塊能夠實現調度方案的特征可視化和密度可視化。特征可視化包括調度對象中海量數據的沖擊形式、海量數據類型和調度形式；密度可視化是指對方案中每條調度流程相對應的海量數據密度進行可視化。調度管理對調度方案進行調用，通過網絡服務器將調度流程分配至其相應的調度對象網絡節(jié)點上，分配完成后，網絡服務器將調度對象網絡節(jié)點數據反饋給調度管理。在云平臺下海量數據沖擊中的可視化調度平臺中，用戶通過用戶瀏覽器查看平臺的可視化內容和平臺調度工作的實施情況。

2 可視化調度平臺軟件設計

云平臺下海量數據沖擊中的可視化調度平臺的云平臺模塊，利用Hadoop分布式計算技術對海量數據采集模塊的處理結果進行分析和計算，最終實現調度方案的給出。調度方案產生流程如圖4所示。

由圖4可知，云平臺模塊先對海量數據采集模塊處理過的海量數據進行調用，把其中具有特殊特征的數據構建成優(yōu)先處理集合（特殊特征是根據以往調度工作里經常需要進行調度的數據中提取出來的，用戶也可對其進行預定義），再利用分布式關系數據庫對優(yōu)先處理集合中的數據進行檢驗，確定其是否需要進行調度。如果不需要，則更新優(yōu)先處理集合。

3 實驗驗證

3.1 平臺計算性能驗證

在海量數據沖擊中的可視化調度平臺的計算性能驗證實驗中，以某大型電網作為實驗對象進行30天實驗。實驗電網產生的數據量為11 GB/天，用本文平臺、Brook平臺和Skepu平臺對實驗電網中的海量數據同時進行計算，并輸出三個平臺的計算用時和計算準確率見圖5、圖6。由圖5、圖6可知， Brook平臺的計算用時高于本文平臺、低于Skepu平臺，30天內的計算用時波動不明顯；但該平臺的計算準確率不高，最大值僅為91.2%，整體計算性能較為平庸。Skepu平臺的計算用時隨著實驗天數的增長而增長，其計算準確率曲線波動也較大，造成這些現象的原因可能是該平臺的存儲性能不好，導致平臺的計算性能不高。對比來看，本文平臺的計算用時較短、計算準確率較高，實驗輸出曲線波動不大，擁有較好的計算性能。

3.2 平臺調度性能驗證

用本文平臺、Brook平臺和Skepu平臺對實驗電網產生的海量數據進行可視化調度，圖7為三個平臺調度實施時間對比圖，圖8為用戶對調度方案的滿意度對比圖。

由圖7可知， Brook平臺的調度實施時間過長，不能在海量數據類型較為復雜的領域中使用；Skepu平臺的調度實施時間較短，但曲線整體呈現上升趨勢；本文平臺的調度實施時間要低于Brook平臺和Skepu平臺。由圖8可知，用戶對三個平臺給出的調度方案的滿意度均很高，除了Skepu平臺的用戶滿意度曲線在實驗中期有一定的下降，本文平臺和Brook平臺的用戶滿意度曲線均較為平穩(wěn)，且用戶對本文平臺給出的調度方案的滿意度始終維持在96.5%以上。

綜上所述，本文平臺具有較好的調度性能。

4 結 論

本文設計云平臺下海量數據沖擊中的可視化調度平臺，其擁有三個重要模塊，分別是海量數據采集模塊、云平臺模塊和可視化調度模塊，這些模塊分別負責對調度對象中海量數據的采集、計算和調度方案的可視化與實施等工作。實驗通過對比本文平臺、Brook平臺和Skepu平臺的計算性能和調度性能，驗證了本文平臺在海量數據沖擊中，具有較好的計算性能和調度性能。

參考文獻

[1] 朱俊，聶龍生，徐云，等.航天三維可視化系統(tǒng)中語音控制技術的研究與應用[J].現代電子技術，2015，38（8）：151?153.

[2] 王靜怡，王昕.調度數據網通道故障的診斷及處理技術[J].現代電子技術，2016，39（8）：168?170.

[3] 黃國兵，金勇，賈榮興，等.某電能量遠方終端雙平面網絡接口設計[J].西安工程大學學報，2016，30（1）：102?106.

[4] 王鼎，錢科軍，高一丹，等.云計算平臺技術及其在電網調度中的應用[J].電網與清潔能源，2015，31（4）：72?78.

[5] 王小輝，李圣普.改進遺傳算法在云輔助教學平臺中的應用研究[J].計算機與數字工程，2014，42（5）：883?886.

[6] 陳麗平，郭鑫.最小能耗優(yōu)化云模型中的動態(tài)圖挖掘方法[J].計算機工程，2015，41（8）：23?31.