基于Spark框架的乘潮水位計算與可視化平臺*

?

基于Spark框架的乘潮水位計算與可視化平臺*

通信地址：266100 山東省青島市中國海洋大學(xué)信息科學(xué)與工程學(xué)院Address:College of Information Science and Engineering,Ocean University of China,Qingdao 266100,Shandong,P.R.China

秦勃1，朱勇1，秦雪2

(1.中國海洋大學(xué)信息科學(xué)與工程學(xué)院,山東 青島 266100;2.國家海洋信息中心,天津 300171)

摘要：乘潮水位計算是海洋環(huán)境信息處理的重要組成部分，具有計算量大、計算復(fù)雜度高、計算時間長等特性。采用傳統(tǒng)集群計算模式實現(xiàn)乘潮水位計算業(yè)務(wù)，存在計算成本高、計算伸縮性和交互性差的問題。針對以上問題，提出一種基于Spark框架的乘潮水位計算和可視化平臺。結(jié)合對Spark任務(wù)調(diào)度算法的研究，設(shè)計和實現(xiàn)了一種基于節(jié)點計算能力的任務(wù)調(diào)度算法，實現(xiàn)了長時間序列的多任務(wù)乘潮水位數(shù)據(jù)的檢索、獲取、數(shù)值計算、特征可視化的并行處理，達到了海量海洋環(huán)境數(shù)據(jù)計算和可視化處理的目的。實驗結(jié)果表明，提出的基于Spark的乘潮水位計算和可視化平臺可以有效地提高海量乘潮水位數(shù)據(jù)的分布式并行處理的效率，為更加快速和高效的乘潮水位計算提供了一種新的方法。

關(guān)鍵詞：Spark；乘潮水位；任務(wù)調(diào)度算法；并行處理；海洋環(huán)境信息

1引言

隨著海洋經(jīng)濟和海洋開發(fā)在社會發(fā)展中的作用越來越大，海洋科學(xué)技術(shù)更加受到重視，數(shù)字海洋[1]項目的立項和實施，是我國海洋事業(yè)發(fā)展的一個重要體現(xiàn)。計算機技術(shù)的飛速發(fā)展在不斷改變著海洋環(huán)境信息業(yè)務(wù)化處理的方法，各種新技術(shù)和新方法被應(yīng)用到海洋信息的處理當(dāng)中來。在十一五期間，數(shù)字海洋的建設(shè)已經(jīng)初步搭建起基本的框架結(jié)構(gòu)，相關(guān)典型應(yīng)用也已經(jīng)初見雛形，為十二五海洋規(guī)劃的發(fā)展奠定良好的基礎(chǔ)。十二五海洋規(guī)劃綱要中指出，要進一步地加強數(shù)字海洋的建設(shè)，用數(shù)字海洋的計算結(jié)果來指導(dǎo)決策，建立起完善的海洋信息基礎(chǔ)服務(wù)體系，開發(fā)和設(shè)計一系列高質(zhì)量的業(yè)務(wù)化系統(tǒng)。

海洋環(huán)境信息數(shù)據(jù)[2]具有一系列顯著的特點，數(shù)據(jù)類型是多樣的，數(shù)據(jù)量巨大，具有典型的時空特性。海洋環(huán)境信息的處理主要包括海洋遙感影像處理[3]、數(shù)值模式計算[4]和海洋數(shù)據(jù)挖掘[5]。經(jīng)過一段時間的發(fā)展和探索，如今已初步建立了大批海洋業(yè)務(wù)方面的應(yīng)用系統(tǒng)。這些系統(tǒng)能夠在一定程度上滿足海洋業(yè)務(wù)處理的需求，但是隨著海洋業(yè)務(wù)處理要求不斷的提高，出現(xiàn)了越來越多的問題，比如系統(tǒng)資源占用率多、運行成本高、系統(tǒng)規(guī)劃缺乏和系統(tǒng)維護困難等問題?；诖朔N現(xiàn)狀，國家相關(guān)部門打算采用云計算的技術(shù)，對現(xiàn)有的海洋環(huán)境業(yè)務(wù)處理系統(tǒng)進行升級改造，充分利用云計算技術(shù)在數(shù)據(jù)處理和任務(wù)調(diào)度上的優(yōu)勢，逐步搭建起一個具有強大功能和業(yè)務(wù)處理能力的新型海洋環(huán)境信息處理平臺。

乘潮水位數(shù)值計算，作為一個海洋環(huán)境信息處理的重要組成部分[6]，目前大多采用FVCOM(Finite-Volume Coastal Ocean Model)數(shù)值計算模型[7]，部署到高性能集群上進行計算。在研究傳統(tǒng)業(yè)務(wù)乘潮水位業(yè)務(wù)計算模式后，本文提出并實現(xiàn)了云計算框架Spark下對乘潮水位計算和可視化平臺，實現(xiàn)了對乘潮水位任務(wù)的調(diào)度控制，并將計算結(jié)果可視化呈現(xiàn)給用戶。在提高任務(wù)調(diào)度合理性和科學(xué)性、節(jié)省乘潮水位計算時間的同時，提高了計算的可交互性、靈活性和可擴展性。

2關(guān)鍵技術(shù)

Spark是一個快速的、通用的、伸縮性強的數(shù)據(jù)處理平臺[8]，它沿用了 Hadoop MapReduce[9]優(yōu)點，不同點在于 Spark程序執(zhí)行過程的中間輸出結(jié)果可以保存在內(nèi)存中，不再需要與 HDFS(Hadoop Distribute File System)[10]進行輸入輸出，即 Spark是一種實現(xiàn)了內(nèi)存計算的分布式計算框架。與MapReduce框架相比，Spark不但能夠處理傳統(tǒng)的MapReduce程序，同時也適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。測試結(jié)果表明，Spark任務(wù)通常能夠在運行速度方面高出MapReduce幾倍到幾十倍[11]。

Spark的核心設(shè)計思想是彈性分布式數(shù)據(jù)集—RDD(Resilient Distributed Datasets)[12]。它是MapReduce模型的擴展和延伸，實現(xiàn)了高效的數(shù)據(jù)共享。RDD除了支持工作集的應(yīng)用，還具有數(shù)據(jù)流模型的特點，可以實現(xiàn)計算的伸縮性，對數(shù)據(jù)進行感知調(diào)度，并且實現(xiàn)了自動容錯。RDD完整包裝了Spark應(yīng)用程序數(shù)據(jù)的輸入和數(shù)據(jù)的處理，類似于面向?qū)ο缶幊讨蓄?Class)的概念。RDD的操作分成兩種，一種是Transformation，另一種是Action。Transformation是領(lǐng)取任務(wù)的過程，Action是任務(wù)真正被觸發(fā)執(zhí)行的過程。Action是以job的形式提交給計算引擎，由計算引擎將其轉(zhuǎn)換成多個task，分發(fā)到各個計算節(jié)點上，進行邏輯處理。本文所研究的乘潮水位任務(wù)控制模式就是基于此種模式。

乘潮水位計算是一個典型的潮汐潮流數(shù)值模擬，目前流行的數(shù)值計算模式是采用基于有限體積海洋數(shù)值模式FVCOM進行數(shù)值模擬。FVCOM代表了海洋數(shù)值模式的研究方向，也是近期研究的熱點，它能把河流、河口、海灣、大陸架和大洋作為一個整體來研究，根據(jù)需要可以在任意地方進行無限加密，不再像以往先分不同區(qū)域隨后再嵌套的方法。

3系統(tǒng)設(shè)計及其實現(xiàn)

3.1　云平臺海洋環(huán)境信息處理框架體系

基于Spark框架的乘潮水位計算與可視化平臺，是海洋公益項目“海洋環(huán)境信息云計算與云服務(wù)體系框架應(yīng)用研究”的組成部分之一[13]，項目主要研究海洋環(huán)境信息在云計算環(huán)境中框架體系的問題。圖1為海洋環(huán)境信息處理總體框架圖，用戶在Web交互界面中選擇要計算的區(qū)域，并將任務(wù)提交到可視化平臺的Web門戶服務(wù)器上，由Web門戶服務(wù)器將乘潮水位任務(wù)計算請求轉(zhuǎn)發(fā)到Spark集群上，進而由Spark框架下的乘潮水位計算和可視化平臺進行調(diào)度管理和大規(guī)模并行計算，計算完成后，生成可視化結(jié)果，并將結(jié)果通過Web服務(wù)器返回給用戶。

Figure 1　Architecture of ocean environment information processing圖1　海洋環(huán)境信息處理框架圖

3.2　基于Spark框架的乘潮水位計算與可視化平臺處理機制

目前乘潮水位業(yè)務(wù)計算模式，大多依賴高性能集群完成，該計算模式通過提交shell命令到集群中，進行數(shù)值計算模式計算。與該模式相比，Spark框架下的乘潮水位計算與可視化平臺有四個方面的優(yōu)勢：(1)改變了傳統(tǒng)業(yè)務(wù)計算模式，將計算遷移到云平臺框架下執(zhí)行，減少對硬件配置的依賴，降低了計算成本。(2)交互性、靈活性和可伸縮性好。平臺采用Web交互的方式，界面化操作更加方便，可以通過地圖點選的方式選擇計算區(qū)域，降低了用戶使用的難度，計算結(jié)果可視化呈現(xiàn)，有更好的可讀性。(3)細化局部區(qū)域計算精度。根據(jù)計算需要，提高某些乘潮水位港口的計算精度。(4)計算任務(wù)合理調(diào)度，提高計算效率。通過對Spark框架下原生調(diào)度算法的計算測試，以及對Spark任務(wù)調(diào)度策略的研究，設(shè)計和實現(xiàn)了一種基于節(jié)點計算能力的任務(wù)調(diào)度方法。乘潮水位計算與可視化分為乘潮水位數(shù)據(jù)組織、任務(wù)選擇、生成任務(wù)列表、提交到Spark上進行計算、生成可視化結(jié)果等過程，具體流程如圖2所示。數(shù)據(jù)組織是指將乘潮水位數(shù)值計算的相關(guān)數(shù)據(jù)存儲到HDFS分布式文件系統(tǒng)中；任務(wù)選擇和生成任務(wù)列表是指在乘潮水位計算平臺的Web界面上，選擇乘潮水位計算的區(qū)域、精度、計算方式等；Spark計算過程是將計算任務(wù)作為一個應(yīng)用(application)提交給Spark。Spark框架收到任務(wù)之后，根據(jù)任務(wù)調(diào)度算法，將計算任務(wù)分配到Spark集群中的各個節(jié)點，保證每個計算節(jié)點的計算任務(wù)均衡，任務(wù)分配完成后，在Spark計算節(jié)點上啟動FVCOM進行乘潮水位數(shù)值計算?？梢暬Y(jié)果展示分為兩部分，海域計算結(jié)果采用生成BMP圖像的方式展示，根據(jù)比例尺規(guī)定的顏色映射關(guān)系，可以直觀地看出整個海域內(nèi)的水位情況。各港口的計算結(jié)果以表格和變化曲線展示，可以查看計算時間開始后48小時內(nèi)的乘潮水位的變化情況。

Figure 2　Flow chart of tide-bound water level computing and visualization圖2　乘潮水位計算與可視化處理流程

3.3　Spark框架下乘潮水位計算與可視化存在的問題

雖然RDD模型非常靈活地支持細粒度任務(wù)的調(diào)度，并且RDD已被用于實現(xiàn)一些調(diào)度機制，如公平共享調(diào)度，但是在用這種模型編寫的應(yīng)用中找到一個適合乘潮水位計算的調(diào)度策略仍然是一個難題。在乘潮水位計算中，會產(chǎn)生多個可運行(沒有依賴關(guān)系)的任務(wù)集，這些任務(wù)集的調(diào)度由調(diào)度池的調(diào)度方法實現(xiàn)。Spark有兩種任務(wù)調(diào)度方法，對應(yīng)了兩種不同類型的任務(wù)調(diào)度模式:FIFO模式和FAIR模式。先進先出(FIFO)模式直接管理TaskSetManager，任務(wù)執(zhí)行的過程會根據(jù)StageID的順序來調(diào)度TaskSetManager；公平調(diào)度FAIR模式，基本原則是根據(jù)所管理的正在運行中的任務(wù)數(shù)量來判斷優(yōu)先級，并通過任務(wù)權(quán)重(weight)來調(diào)整任務(wù)集執(zhí)行的優(yōu)先程度，權(quán)值越高，越優(yōu)先執(zhí)行。

采用以上兩種調(diào)度模式進行乘潮水位計算，雖然能夠一定程度上提高乘潮水位計算的效率，但是我們發(fā)現(xiàn)由于不同的計算港口(海域)的網(wǎng)格數(shù)量不同，計算復(fù)雜度差別較大，計算時間差距較大，無論使用先進先出調(diào)度還是公平模式調(diào)度，都可能出現(xiàn)由于個別節(jié)點計算任務(wù)太大，使得整個乘潮水位計算過程的時間變長。本文所研究的基于節(jié)點計算能力的算法優(yōu)化，通過設(shè)計合理的調(diào)度算法，使計算復(fù)雜度高的計算任務(wù)優(yōu)先分配到計算能力強的節(jié)點上，使節(jié)點計算能力達到充分發(fā)揮，避免出現(xiàn)長時間等待其他任務(wù)結(jié)束的情況，避免Spark隨機任務(wù)分配過程出現(xiàn)的任務(wù)節(jié)點分配不合理的情況。具體調(diào)度算法優(yōu)化實現(xiàn)在第四節(jié)中具體介紹。

4基于節(jié)點計算能力的算法優(yōu)化

4.1　算法分析和設(shè)計

本算法通過研究任務(wù)調(diào)度算法來提高Spark框架下乘潮水位任務(wù)調(diào)度效率。為方便介紹，我們將問題抽象為一個簡單的數(shù)學(xué)模型。

名詞解釋：計算能力是指綜合考慮Spark平臺中節(jié)點的物理參數(shù)(CPU型號、CPU主頻、內(nèi)存)，設(shè)定的一個表達任務(wù)處理能力的一個值。

模型假設(shè)：首先，假設(shè)在Spark集群中有n臺計算機，各節(jié)點配置不同，將節(jié)點計算能力的大小分別設(shè)定為a1，a2，…，an。之后，假設(shè)有m個港口計算任務(wù)，每個任務(wù)有一定的大小(網(wǎng)格數(shù))，將這m個任務(wù)的大小設(shè)定為 b1，b2，…，bm。

目標(biāo)：假設(shè)第i個計算節(jié)點分配到的任務(wù)大小為ci，則目標(biāo)函數(shù)為f=min{max{ci/ai}}。

模型分析：在數(shù)學(xué)上這是一個NP Hard 問題，因此不能在多項式時間內(nèi)求解，所以采用近似法求解。

算法過程：

第一步，將{a}和分別從大到小排序。

第二步，判斷節(jié)點數(shù)n和任務(wù)數(shù)m的關(guān)系。

(1)若n≥m，即節(jié)點數(shù)比要處理的任務(wù)數(shù)多，則將節(jié)點和任務(wù)一一對應(yīng)，使用運算能力強的節(jié)點計算網(wǎng)格數(shù)大的任務(wù)。

(2)若n

首先計算所有任務(wù)的網(wǎng)格數(shù)之和與所有節(jié)點運算能力之和的比值，設(shè)為A，即:

然后以A為基準(zhǔn)判斷是否能將某個任務(wù)bi分配給某個指定節(jié)點ai。假設(shè)節(jié)點ai當(dāng)前的任務(wù)大小為tmp，計算該節(jié)點當(dāng)前任務(wù)網(wǎng)格數(shù)之和與該節(jié)點運算能力的比值，設(shè)為B，即B=tmp/a；再計算比值C，C=(tmp+b)/a。

最后，比較|B-A|和|C-A|的大小。若公式|C-A|≤|B-A|成立，則將任務(wù)bi分配給節(jié)點ai；若不成立，則任務(wù)bi不能分配給節(jié)點ai，再用上述方法判斷任務(wù)bi是否能分配給下一個節(jié)點ai+1。

任務(wù)的分配順序為從兩邊向中間靠攏，例如若按任務(wù)網(wǎng)格數(shù)從大到小排序后的任務(wù)序列為t1、t2、ti、tm，則分配順序為t1、tm、t2、tm-1、ti、tm+1-i(i≤m/2)，使得任務(wù)能夠均勻分配。節(jié)點分配按照順序分配。

按照這種算法可能會出現(xiàn)任務(wù)分配不完的情況，在這種情況下，把所有已分配的節(jié)點和任務(wù)加入優(yōu)先隊列中，每次從優(yōu)先隊列中取出一個當(dāng)前任務(wù)值和節(jié)點運算能力比值最小的節(jié)點進行任務(wù)的二次分配，重復(fù)上述分配過程，直到所有任務(wù)和節(jié)點都加到優(yōu)先隊列中，輸出分配結(jié)果。

Figure 3　Flow chart of the optimization algorithm圖3　優(yōu)化算法流程圖

4.2　具體技術(shù)實現(xiàn)

根據(jù)上述優(yōu)化算法，設(shè)計和實現(xiàn)基于Spark的乘潮水位計算優(yōu)化調(diào)度方案，具體技術(shù)實現(xiàn)方法如下：

(1)建立Spark集群節(jié)點計算能力表，根據(jù)Spark集群實際計算能力添加信息，包括CPU計算能力、CPU核心數(shù)、內(nèi)存大小。在啟動Spark集群之前創(chuàng)建好該表，并將該表的配置信息放到SparkConf中或者在Spark啟動時候由Master進程讀取。

(2)建立乘潮水位計算港口任務(wù)表，該表的主要作用是對乘潮水位計算港口的計算量進行定量表示，通過港口計算的網(wǎng)格數(shù)目來定量表示計算的復(fù)雜度，網(wǎng)格數(shù)目越多，計算越復(fù)雜。

(3)描述表轉(zhuǎn)化。根據(jù)節(jié)點計算能力描述表和計算任務(wù)描述表進行轉(zhuǎn)化，轉(zhuǎn)化成我們需要的數(shù)據(jù)結(jié)構(gòu)，進而調(diào)用優(yōu)化后的任務(wù)調(diào)度算法。

(4)應(yīng)用層讀取任務(wù)分配結(jié)果：

①讀取生成的xml，以host為key，以所有host相同的taskId及其描述信息構(gòu)成的列表為value生成一個二元元組為元素的數(shù)組。

②將生成的數(shù)組通過parallelize方法生成一個rdd，并設(shè)置該rdd的partition為當(dāng)前需要執(zhí)行的taskId的總數(shù)。

③對該rdd進行foreach操作，獲取當(dāng)前處理二元元組的第二個元素，可得到在該節(jié)點上需要執(zhí)行的任務(wù)列表。

④改寫Spark中TaskSchedulerImpl中的resourceOffers函數(shù)，將任務(wù)分配部分代碼改寫為按workerOffer中的host綁定task，此時遍歷任務(wù)列表將對應(yīng)host的task綁定到對應(yīng)的host上的executor即可。

通過以上步驟，我們可以把具體任務(wù)分發(fā)下去，使任務(wù)能夠根據(jù)元組的host值將任務(wù)分發(fā)到對應(yīng)節(jié)點，完成調(diào)度。

5系統(tǒng)性能

5.1　乘潮水位計算與可視化平臺構(gòu)建

乘潮水位計算與可視化實驗平臺硬件是Spark集群中的各節(jié)點，為了更好地測試優(yōu)化后的任務(wù)調(diào)度算法的性能，體現(xiàn)Spark框架下乘潮水位任務(wù)控制模式的特點，我們選擇了5個Spark節(jié)點，其中節(jié)點1為主節(jié)點，負責(zé)乘潮水位任務(wù)的控制調(diào)度，Spark2~Spark5節(jié)點為計算節(jié)點，詳細節(jié)點配置描述表見表1。

Table 1　Spark configuration information

軟件配置方面，每個節(jié)點安裝的集群計算框架為Spark1.0.2、Hadoop 2.3.0，Java版本：jdk-1.7.0_60，Scala版本：Scala-2.10.4，F(xiàn)VCOM版本：FVCOM-2.6。

實驗數(shù)據(jù)為中國海區(qū)各港口乘潮水位計算區(qū)域數(shù)據(jù)，各港口區(qū)域計算網(wǎng)格數(shù)目不同，計算復(fù)雜度不同，計算時間不同。所有乘潮水位數(shù)據(jù)存放在HDFS分布式文件系統(tǒng)中，Spark程序運行過程中，HDFS作為數(shù)據(jù)的輸入。

5.2　實驗結(jié)果

測試目的：分別使用Spark框架下乘潮水位原生調(diào)度模式和優(yōu)化控制模式對相同計算量的乘潮水位進行計算。為了實驗結(jié)果的可信性和科學(xué)性，實驗結(jié)果均記錄10次并計算平均值。

測試用例：分別選擇2N(N=1，2，…,7)個港口進行測試。

Table 2　Elapsed time of the three mission

測試結(jié)果如圖4所示。

Figure 4　test results圖4　測試結(jié)果

5.3　結(jié)果分析與測試結(jié)論

通過實驗結(jié)果可以看出，與傳統(tǒng)業(yè)務(wù)計算模式相比，原生調(diào)度模式提升效率在15%左右，而使用優(yōu)化后的調(diào)度算法提升計算效率在26%～30%。以64個港口為例，優(yōu)化后的調(diào)度算法相對于傳統(tǒng)業(yè)務(wù)模式節(jié)約計算時間192 min，能夠有效提高乘潮水位的計算效率。由此可見，使用Spark框架下的乘潮水位任務(wù)控制模式可以減少相同計算量的乘潮水位計算的時間，計算數(shù)據(jù)量越大，加速效果越明顯，這主要是因為無論使用傳統(tǒng)計算模式還是Spark框架進行乘潮水位計算，由于大區(qū)的計算結(jié)果是初始條件和邊界值，所以都無法避免這段時間(89 min)，而這部分時間占到了計算時間的大部分。

總之，本文研究的基于Spark的乘潮水位計算和可視化平臺，可以改變乘潮水位原有的業(yè)務(wù)計算模式，增加了計算的靈活性、交互性和可伸縮性，可以根據(jù)需要計算不同的港口，提高局部區(qū)域的計算精度。更重要的是，通過優(yōu)化后的任務(wù)調(diào)度算法，實現(xiàn)對計算任務(wù)的合理調(diào)度，提高乘潮水位計算的效率。實驗表明，Spark乘潮水位計算和可視化平臺的任務(wù)調(diào)度模式的加速效果，已經(jīng)基本達到了對乘潮水位計算加速的預(yù)期。

6結(jié)束語

本文針對乘潮水位長時間序列下乘潮水位海量數(shù)據(jù)計算的特點，提出一種基于Spark框架的乘潮水位計算和可視化平臺，并對任務(wù)調(diào)度算法進行了優(yōu)化，提高了計算的交互性、靈活性和可伸縮性，達到了提高計算效率的目的。由于目前設(shè)置的節(jié)點計算能力為根據(jù)機器相關(guān)配置參數(shù)，多次測試后手動設(shè)置，如何采用算法的方式動態(tài)地計算出節(jié)點的計算能力，將是未來工作的重點。

參考文獻:附中文

[1]Xin Zhang, Wen Dong, Li Si-hai, et al. China digital ocean prototype system[J]. International Journal of Digital Earth,2011,4(3):211-222．

[2]Liu Jian,Jiang Xiao-yi,Fan Xiang-tao. Review on the marine environment information visualization[J]. Marine Science Bulletin,2014,33(2):235-240．(in Chinese)

[3]Martin S. An introduction to ocean remote sensing[M]. Cambridge:Cambridge University Press,2014．

[4]Kantha L H,Clayson C A. Numerical models of oceans and oceanic processes[M]. New York:Academic Press,2000．

[5]Wooley B,Bridges S,Hodges J,et al. Scaling the data mining step in knowledge discovery using oceanographic data[C]∥Proc of the 13th International Conference on Industrial and Engineering Application of Artificial Intelligence and Expert System,2000:85-92.

[6]Tsai C P,Lee T L. Back-propagation neural network in tidal-level forecasting[J]. Journal of Waterway,Port,Coastal,and Ocean Engineering,1999,125(4):195-202.

[7]Chen C,Cowles G,Beardsley R C. An unstructured grid,finite-volume coastal ocean model:FVCOM user manual[R]. Technology Report 0620602.New Bedford:SMAST/UMASSD,2006．

[8]Zaharia M,Chowdhury M,Franklin M J,et al. Spark:cluster computing with working sets[C]∥Proc of the 2nd USENIX Conference on Hot Topics in Cloud Computing,2010,10．

[9]Dean J,Ghemawat S. MapReduce:Simplified data processing on large clusters[J]. Operating Systems Design & Implementation,2004,51(1):147-152．

[10]Shvachko K,Kuang H,Radia S,et al. The Hadoop distributed file system[C]∥Proc of 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies (MSST),2010:1-10．

[11]Lee M,Jung H,Cho M. On a Hadoop-based analytics service system[J]. International Journal of Advances in Soft Computing & Its Applications,2015,7(1):1-8.

[12]Zaharia M,Chowdhury M,Das T,et al. Resilient distributed datasets:A fault-tolerant abstraction for in-memory cluster computing[C]∥Proc of the 9th USENIX Conference on Networked Systems Design and Implementation,2012:141-146．

[13]Wang Jia-liang,Qin Bo,Liu Jian-jian,et al. Interactive visualization platform based on MapReduce[J].Telecommunications Science，2012,28(9):22-27.(in Chinese)

[2]劉健，姜曉軼，范湘濤.海洋環(huán)境信息可視化研究進展[J].海洋通報，2014,33(2):235-240.

[13]王加亮,秦勃,劉健健,等. 基于MapReduce的交互可視化平臺[J]. 電信科學(xué),2012,28(9):22-27．

秦勃(1964-),男，山東青島人 ，博士，教授，研究方向為計算機圖形圖像處理、并行處理和云計算。E-mail:qinbo@ouc.edu.cn

QIN Bo,born in 1964,PhD,professor,his research interests include computer graphics and image processing,parallel processing,and cloud computing.

Tide-bound water level computing and visualization platform based on Spark

QIN Bo1，ZHU Yong1，QIN Xue2

(1.College of Information Science and Engineering,Ocean University of China,Qingdao 266100;

2.National Marine Data & Information Service,Tianjin 300171,China)

Abstract:Tide-bound water level computing is an important part of ocean environment information processing, which features huge amount of data, high complexity, and prolonged computing time. The traditional computing model implemented by HPC has a number of problems, such as high computation cost, poor scalability and interactivity. Aiming at all these problems, we propose an interactive computing and visualization platform based on the Spark scheduling algorithm. We design a computing capacity scheduling algorithm, realize the parallel processing of large-scale tide-bound water level data, such as data retrieval, data extraction, numerical calculation, feature-based visualization, and achieve the purpose of parallel processing and visualization of large-scale ocean environmental data on Spark. Experimental results show that the computing and visualization platform based on Spark can improve the traditional computing model, lessen the dependence of tidal level calculation on high performance cluster and reduce computation cost. In addition, the newly-developed task scheduling algorithm can make task allocation more rational and scientific, and therefore further enhance its efficiency. In conclusion, the proposed platform provides a new method for tide-bound water level computing.

Key words:Spark; tide-bound water level;task scheduling algorithm;parallel processing;ocean environmental information

作者簡介:

doi:10.3969/j.issn.1007-130X.2015.12.004

中圖分類號：TP311

文獻標(biāo)志碼：A

基金項目：海洋公益性行業(yè)科研專項經(jīng)費資助項目(201105033)

收稿日期：修回日期：2015-10-26

文章編號：1007-130X(2015)12-2216-06