基于Hadoop的區(qū)域土壤侵蝕強(qiáng)度計(jì)算GIS設(shè)計(jì)與實(shí)驗(yàn)

雷 章 岳德鵬 YANG Di 羅志東 許永利 于 強(qiáng)

(1.北京林業(yè)大學(xué)林學(xué)院， 北京 100083； 2.佛羅里達(dá)大學(xué)地理系， 蓋恩斯維爾 32611； 3.水利部水土保持監(jiān)測(cè)中心， 北京 100053； 4北京地拓科技發(fā)展有限公司， 北京 100083)

0 引言

土壤侵蝕直接或間接導(dǎo)致土壤肥力下降，造成土質(zhì)惡化、生態(tài)破壞，不利于農(nóng)業(yè)可持續(xù)發(fā)展[1]。我國(guó)是世界上土壤侵蝕最嚴(yán)重的國(guó)家之一，區(qū)域土壤侵蝕預(yù)測(cè)預(yù)報(bào)一直是水土保持科研領(lǐng)域的研究熱點(diǎn)[2]。區(qū)域土壤侵蝕預(yù)測(cè)預(yù)報(bào)研究的一項(xiàng)重要內(nèi)容是根據(jù)土壤侵蝕模型快速計(jì)算土壤侵蝕強(qiáng)度，及時(shí)定量評(píng)價(jià)目標(biāo)區(qū)域的土壤侵蝕狀況[3-6]。近年來(lái)隨著空間信息技術(shù)的發(fā)展和生產(chǎn)實(shí)際的需要，區(qū)域土壤侵蝕預(yù)測(cè)預(yù)報(bào)研究使用的空間數(shù)據(jù)精度越來(lái)越高，米級(jí)、亞米級(jí)高分辨率遙感影像已經(jīng)得到廣泛應(yīng)用，土壤侵蝕強(qiáng)度計(jì)算涉及的數(shù)據(jù)量也越來(lái)越大，第一次全國(guó)水利普查水土保持普查各類侵蝕因子?xùn)鸥駭?shù)據(jù)約14TB[7-9]。對(duì)于這種大數(shù)據(jù)量柵格計(jì)算應(yīng)用，傳統(tǒng)的地理信息系統(tǒng)(Geographic information system，GIS)開(kāi)發(fā)技術(shù)已難以滿足實(shí)際需求[10-12]。一是大量數(shù)據(jù)的網(wǎng)絡(luò)傳輸耗時(shí)太長(zhǎng)，整個(gè)程序難以快速出結(jié)果；二是內(nèi)存有限，無(wú)法寫(xiě)入整個(gè)數(shù)據(jù)，即使采用多線程進(jìn)行數(shù)據(jù)分塊讀取分析的方式，仍無(wú)法解決這個(gè)內(nèi)存限制，并且程序復(fù)雜度大大增加。目前已有文獻(xiàn)研究使用Hadoop解決大數(shù)據(jù)量柵格數(shù)據(jù)計(jì)算應(yīng)用方面的相關(guān)問(wèn)題，在數(shù)據(jù)存儲(chǔ)管理和查詢應(yīng)用方面取得了一些成果[13-22]，但對(duì)柵格數(shù)據(jù)坐標(biāo)關(guān)聯(lián)性問(wèn)題和多柵格因子之間的計(jì)算應(yīng)用考慮較少，不適合處理區(qū)域土壤侵蝕計(jì)算這種涉及多個(gè)柵格數(shù)據(jù)層處理的情況。

本文探討可適應(yīng)多柵格數(shù)據(jù)層處理的土壤侵蝕因子?xùn)鸥駭?shù)據(jù)分割分塊算法、Hadoop數(shù)據(jù)節(jié)點(diǎn)選擇策略和土壤侵蝕模型MapReduce編程等技術(shù)問(wèn)題，構(gòu)建區(qū)域土壤侵蝕計(jì)算GIS，并通過(guò)實(shí)驗(yàn)驗(yàn)證系統(tǒng)功能和性能。

1 設(shè)計(jì)與實(shí)現(xiàn)

該系統(tǒng)主要功能是實(shí)現(xiàn)在任意空間范圍內(nèi)土壤侵蝕強(qiáng)度快速分析計(jì)算并將結(jié)果數(shù)據(jù)發(fā)布為地圖服務(wù)供查詢應(yīng)用，涉及土壤侵蝕因子?xùn)鸥駭?shù)據(jù)存儲(chǔ)管理、土壤侵蝕強(qiáng)度分析計(jì)算和土壤侵蝕強(qiáng)度數(shù)據(jù)發(fā)布3個(gè)模塊。其中土壤侵蝕因子?xùn)鸥駭?shù)據(jù)存儲(chǔ)管理模塊需解決大數(shù)據(jù)量柵格數(shù)據(jù)在Hadoop的分布式文件系統(tǒng)( Hadoop distributed file system，HDFS)集群環(huán)境下的高效存取問(wèn)題；土壤侵蝕強(qiáng)度計(jì)算模塊需設(shè)計(jì)以MapReduce編程模式開(kāi)發(fā)土壤侵蝕模型程序的方法并實(shí)現(xiàn)；土壤侵蝕強(qiáng)度數(shù)據(jù)發(fā)布模塊是將計(jì)算結(jié)果實(shí)時(shí)發(fā)布為Web地圖瓦片服務(wù)(Web map tile service，WMTS)，以便于查詢應(yīng)用。由于Hadoop是JAVA語(yǔ)言開(kāi)發(fā)的，且僅支持在Linux平臺(tái)上運(yùn)行，故本研究同樣采用JAVA和Linux系統(tǒng)，以避免采用不同開(kāi)發(fā)語(yǔ)言和操作系統(tǒng)平臺(tái)可能引起的額外工作。

1.1 土壤侵蝕因子?xùn)鸥駭?shù)據(jù)存儲(chǔ)管理

根據(jù)Hadoop的計(jì)算任務(wù)本地化思想，數(shù)據(jù)存儲(chǔ)非常關(guān)鍵，需盡可能使計(jì)算關(guān)聯(lián)緊密的土壤侵蝕因子?xùn)鸥駭?shù)據(jù)存儲(chǔ)于同一個(gè)數(shù)據(jù)節(jié)點(diǎn)，使計(jì)算關(guān)聯(lián)不緊密的數(shù)據(jù)分散存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)。這樣設(shè)計(jì)可降低土壤侵蝕強(qiáng)度計(jì)算程序通過(guò)網(wǎng)絡(luò)從不同數(shù)據(jù)節(jié)點(diǎn)抓取數(shù)據(jù)的數(shù)據(jù)量及頻率，減少網(wǎng)絡(luò)傳輸對(duì)系統(tǒng)性能的影響，因?yàn)榫W(wǎng)絡(luò)傳輸速度遠(yuǎn)小于本地硬盤(pán)讀速度，同時(shí)使土壤侵蝕強(qiáng)度計(jì)算程序運(yùn)行時(shí)始終有最多的計(jì)算節(jié)點(diǎn)并行執(zhí)行，提高計(jì)算性能。

由于土壤侵蝕強(qiáng)度計(jì)算是分地理區(qū)域進(jìn)行的計(jì)算，所以土壤侵蝕因子?xùn)鸥駭?shù)據(jù)存儲(chǔ)管理的基本思路是：劃分地理網(wǎng)格，分割柵格數(shù)據(jù)，改進(jìn)Hadoop存儲(chǔ)數(shù)據(jù)時(shí)數(shù)據(jù)節(jié)點(diǎn)選擇策略使同一地理網(wǎng)格的柵格數(shù)據(jù)可存儲(chǔ)于同一個(gè)數(shù)據(jù)節(jié)點(diǎn)，即一個(gè)計(jì)算單元中，以實(shí)現(xiàn)大區(qū)域內(nèi)多個(gè)地理網(wǎng)格柵格數(shù)據(jù)并行處理。分割柵格數(shù)據(jù)也可以根據(jù)柵格文件大小直接分成數(shù)據(jù)量在HDFS默認(rèn)的文件大小64MB之內(nèi)文件塊，分塊存儲(chǔ)，但這樣僅適用于柵格圖層連續(xù)完整的情況，生產(chǎn)實(shí)際中柵格圖層很可能只是某個(gè)特定區(qū)域的，不能夠保證每個(gè)柵格圖層都是連續(xù)完整的情況，所以本文采用地理網(wǎng)格分割數(shù)據(jù)，這樣即使柵格數(shù)據(jù)不連續(xù)，也可使其放到既定數(shù)據(jù)節(jié)點(diǎn)。具體算法如下：

(1)依2000國(guó)家大地坐標(biāo)系(China geodetic coordinate system 2000，CGCS2000)劃分地理網(wǎng)格。

地理網(wǎng)格劃分非常重要，它決定了柵格數(shù)據(jù)分塊的數(shù)據(jù)量大小。在并行計(jì)算中，如果數(shù)據(jù)分塊太大，各計(jì)算單元處理的數(shù)據(jù)量就大，不能充分發(fā)揮并行計(jì)算的優(yōu)勢(shì)，同時(shí)會(huì)造成很多數(shù)據(jù)分塊空間未占滿，磁盤(pán)空間利用率不高；分割太碎，會(huì)使一個(gè)文件需要存放在大量的文件塊上，而這些位置信息需要被管理節(jié)點(diǎn)記錄，浪費(fèi)管理單元的存儲(chǔ)空間，檢索文件開(kāi)銷會(huì)比較高，同時(shí)會(huì)使磁盤(pán)頻繁尋址，降低數(shù)據(jù)讀取效率，也不利于并行計(jì)算，所以地理網(wǎng)格劃分是柵格數(shù)據(jù)存儲(chǔ)的關(guān)鍵。

HDFS研發(fā)之初的目標(biāo)是解決大數(shù)據(jù)分布式存儲(chǔ)，以支持并行計(jì)算的問(wèn)題，它假定數(shù)據(jù)都是以大文件的形式存在的，不是只有幾KB的小文件，以此為單位讀取數(shù)據(jù)文件，這是以空間換時(shí)間的策略，降低文件讀取時(shí)磁盤(pán)訪問(wèn)次數(shù)，使文件系統(tǒng)具備較高的性能。目前一般計(jì)算機(jī)磁盤(pán)數(shù)據(jù)傳輸速度在100 MB/s以上，平均尋址時(shí)間約10 ms，為了使數(shù)據(jù)塊讀寫(xiě)時(shí)，尋址時(shí)間小于整個(gè)時(shí)間的10%，需設(shè)置數(shù)據(jù)塊在100 MB以上，這里設(shè)定數(shù)據(jù)分塊大小為128 MB。

CGCS2000是國(guó)家2008年規(guī)定使用的大地坐標(biāo)系統(tǒng)，要求測(cè)繪結(jié)果逐步統(tǒng)一到該坐標(biāo)系統(tǒng)下。土壤侵蝕柵格因子是單波段數(shù)據(jù)，每個(gè)像素記錄的數(shù)據(jù)最短類型為byte(字節(jié)型)，占空間是1個(gè)字節(jié)，最長(zhǎng)是float(單精度)4個(gè)字節(jié)，所以一個(gè)像素?cái)?shù)據(jù)量在1 byte到4 byte之間。分析某區(qū)域土壤侵蝕狀況，比如一個(gè)生產(chǎn)建設(shè)項(xiàng)目所在區(qū)域，需要遙感分辨率一般不大于2 m，所以本研究中考慮柵格數(shù)據(jù)分塊大小，也以2 m分辨率柵格數(shù)據(jù)量估計(jì)為基準(zhǔn)。128 MB柵格文件2 m分辨率所占面積在134.217～536.871 km2，選取范圍較小的作為劃分地理網(wǎng)格的基礎(chǔ)，這樣每個(gè)柵格塊數(shù)據(jù)量都會(huì)在128 MB以內(nèi)，所以縱橫軸都選取11.585 km為跨度劃分地理網(wǎng)格。為了便于實(shí)際應(yīng)用，將跨度提升為12 km，將數(shù)據(jù)分塊大小響應(yīng)調(diào)整為138 MB。

假定(x0，y0)是CGCS2000坐標(biāo)系下我國(guó)國(guó)土的左下角坐標(biāo)，以12 km×12 km為一個(gè)網(wǎng)格，編號(hào)為(i，j)，那每一個(gè)網(wǎng)格坐標(biāo)范圍計(jì)算公式為

(1)

式中 (xi，yj)——網(wǎng)格左下角坐標(biāo)

(x′i，y′j)——網(wǎng)格右上角坐標(biāo)

(2)根據(jù)網(wǎng)格坐標(biāo)范圍從柵格文件左下角開(kāi)始逐列分割柵格數(shù)據(jù)，并建立元數(shù)據(jù)。

假定柵格文件左下角坐標(biāo)為(x，y)，根據(jù)此坐標(biāo)計(jì)算第1個(gè)柵格分塊的位置編號(hào)，計(jì)算公式為

(2)

式中 (ri，ci)——柵格分塊位置編號(hào)

用位置編號(hào)(ri，ci)根據(jù)式(1)計(jì)算出(xmin，ymin)和(xmax，ymax)，即第一個(gè)柵格塊四角坐標(biāo)。

假定柵格文件右上角坐標(biāo)為(x′max，y′max)，先計(jì)算柵格文件可分割的行數(shù)和列數(shù)，計(jì)算公式為

(3)

式中f——可分割總列數(shù)

f′——可分割總行數(shù)

將(xmin，ymin)代入式(1)，計(jì)算各柵格分塊的四角坐標(biāo)，計(jì)算方法為

(4)

為便于土壤侵蝕因子?xùn)鸥駭?shù)據(jù)塊的快速查找，設(shè)計(jì)元數(shù)據(jù)信息由柵格數(shù)據(jù)分塊編號(hào)C、分辨率R、因子名N和數(shù)據(jù)時(shí)相T組成，并且在數(shù)據(jù)分塊存儲(chǔ)時(shí)直接將CRNT 4類信息記錄為柵格數(shù)據(jù)文件名。這樣將不用侵入Hadoop內(nèi)部修改Namenode的元數(shù)據(jù)管理程序，直接根據(jù)文件名稱判別目標(biāo)文件是否屬于當(dāng)次計(jì)算任務(wù)涉及的柵格數(shù)據(jù)塊，降低開(kāi)發(fā)難度。

(3)柵格數(shù)據(jù)塊上傳存儲(chǔ)于Hadoop的數(shù)據(jù)節(jié)點(diǎn)datanode集群中。

需遵循兩個(gè)原則：①不同土壤侵蝕因子?xùn)鸥駭?shù)據(jù)所在網(wǎng)格編號(hào)相同的柵格數(shù)據(jù)塊存儲(chǔ)于同一個(gè)數(shù)據(jù)節(jié)點(diǎn)。②任何相鄰網(wǎng)格的柵格數(shù)據(jù)塊不能存儲(chǔ)于同一個(gè)節(jié)點(diǎn)，這樣可使多個(gè)柵格圖層進(jìn)行數(shù)學(xué)計(jì)算時(shí)能盡可能多的利用多個(gè)計(jì)算單元并行處理。由于每一行的格子最多與上一行的3個(gè)格子相鄰，所以最少需要4個(gè)存儲(chǔ)單元，才能讓該行每個(gè)格子與上一行相鄰的格子錯(cuò)開(kāi)存儲(chǔ)，每個(gè)格子對(duì)應(yīng)的存儲(chǔ)單元編號(hào)計(jì)算方法如下：

假定有4個(gè)存儲(chǔ)單元，編號(hào)分別為0、1、2、3；每個(gè)柵格分塊的編號(hào)為(x，y)。計(jì)算每個(gè)柵格分塊對(duì)應(yīng)的存儲(chǔ)單元編號(hào)f(x，y)為

(5)

Hadoop數(shù)據(jù)存儲(chǔ)是由管理節(jié)點(diǎn)選取3臺(tái)數(shù)據(jù)節(jié)點(diǎn)冗余存儲(chǔ)每個(gè)數(shù)據(jù)塊，其中第1個(gè)數(shù)據(jù)節(jié)點(diǎn)隨機(jī)選擇，第2個(gè)與第1個(gè)在同一個(gè)機(jī)架，第3個(gè)在其他機(jī)架，這樣是為了保障數(shù)據(jù)存儲(chǔ)穩(wěn)定。按照上述原理，可以配置至少4個(gè)數(shù)據(jù)節(jié)點(diǎn)，改進(jìn)數(shù)據(jù)存儲(chǔ)時(shí)管理節(jié)點(diǎn)選擇數(shù)據(jù)節(jié)點(diǎn)的策略，使其按照式(5)策略選擇存儲(chǔ)單元，計(jì)算過(guò)程如圖1所示。

圖1 存儲(chǔ)單元選擇算法Fig.1 Storage unit selection algorithm

1.2 土壤侵蝕強(qiáng)度分析

土壤侵蝕強(qiáng)度分析是根據(jù)土壤侵蝕模型，計(jì)算單位面積單位時(shí)間內(nèi)土壤侵蝕數(shù)量。土壤侵蝕模型實(shí)質(zhì)為同一地理坐標(biāo)系統(tǒng)下同一個(gè)地理坐標(biāo)點(diǎn)上柵格像素計(jì)算，只要設(shè)計(jì)一種侵蝕模型對(duì)應(yīng)的MapReduce程序，其他侵蝕模型可以此類推。研究中通用水土流失方程為

A=RKLSCP

(6)

式中A——年平均土壤流失量，t/(hm2·a)

R——降雨侵蝕力因子，MJ·mm/(hm2·h·a)

K——土壤可侵蝕性因子，t·h/(MJ·mm)

LS——地形因子

C——植被覆蓋因子

P——水土保持措施因子

根據(jù)式(6)，設(shè)計(jì)土壤侵蝕強(qiáng)度并行計(jì)算程序。根據(jù)MapReduce并行編程框架的思想，設(shè)計(jì)土壤侵蝕強(qiáng)度并行計(jì)算程序的Mapper和Reducer接口的輸入輸出如表1所示，程序邏輯如圖2所示，具體算法如下：

(1)根據(jù)計(jì)算區(qū)域查找其覆蓋的柵格文件集合

假定輸入的計(jì)算區(qū)域?qū)?yīng)的外包矩形，其對(duì)角坐標(biāo)分別為(xmin，ymin)和(xmax，ymax)，根據(jù)式(2)可分別計(jì)算出對(duì)角對(duì)應(yīng)的柵格塊編號(hào)分別為(rmin，cmin)和(rmax，cmax)，形成了一個(gè)編號(hào)區(qū)間。該編號(hào)區(qū)間涵蓋的全部文件即為該區(qū)域覆蓋的柵格文件集合。根據(jù)上述元數(shù)據(jù)定義，即可推知全部柵格文件的名稱。

(2)通過(guò)Mapper程序讀取柵格值

按照柵格數(shù)據(jù)分塊存儲(chǔ)時(shí)建立的元數(shù)據(jù)，以文件名和文件數(shù)據(jù)內(nèi)容組成的形式如表1中的〈“C|R|N|T”,“V”〉，輸入到Mapper程序，讀取每個(gè)像素位的柵格值，并形成新的key-value形式作為Reducer程序的輸入。

(3)通過(guò)Reducer程序進(jìn)行柵格計(jì)算

Reducer程序通過(guò)對(duì)像素坐標(biāo)相同的值進(jìn)行解析，獲取同一個(gè)像素坐標(biāo)下，不同柵格因子對(duì)應(yīng)的柵格值，并按照式(6)計(jì)算形成侵蝕強(qiáng)度數(shù)據(jù)，并輸出成柵格文件。

MapReduce執(zhí)行邏輯如圖2所示。

表1 Mapper程序和Reducer程序的輸入輸出說(shuō)明Tab.1 Input and output instructions for Mapper and Reducer program

注：C|R|N|T表示柵格文件名稱，具體為分塊位置編號(hào)|分辨率|侵蝕因子名|時(shí)間；V表示柵格文件數(shù)據(jù)內(nèi)容；P表示像素坐標(biāo)。

圖2 土壤侵蝕模型MapReduce程序邏輯圖Fig.2 MapReduce program algorithm overview

1.3 土壤侵蝕數(shù)據(jù)發(fā)布

本研究中使用GIS中間件Geoserver對(duì)生成的土壤侵蝕強(qiáng)度柵格數(shù)據(jù)進(jìn)行發(fā)布，形成土壤侵蝕WMS(WEB地圖服務(wù))。由于土壤侵蝕強(qiáng)度柵格數(shù)據(jù)存儲(chǔ)于HDFS集群中，一般的GIS中間件如ArcGIS Server、SuperGIS等不支持HDFS數(shù)據(jù)讀取，所以無(wú)法直接應(yīng)用。而Geoserver是開(kāi)源項(xiàng)目，可以直接獲取源代碼，在源碼基礎(chǔ)上擴(kuò)展開(kāi)發(fā)Geoserver柵格數(shù)據(jù)源識(shí)別功能，使Geoserver可以支持直接讀取HDFS文件系統(tǒng)中的柵格數(shù)據(jù)，實(shí)現(xiàn)土壤侵蝕強(qiáng)度柵格數(shù)據(jù)的動(dòng)態(tài)實(shí)時(shí)發(fā)布。

Geoserver數(shù)據(jù)源管理功能程序設(shè)計(jì)比較簡(jiǎn)潔，是采用JAVA SPI(Service provider interface，服務(wù)提供接口)機(jī)制實(shí)現(xiàn)的，添加HDFS柵格數(shù)據(jù)源讀操作時(shí)需先創(chuàng)建HDFS數(shù)據(jù)讀操作類，實(shí)現(xiàn)org.geotools.coverage.grid.io.GridFormatFactorySpi接口規(guī)定的createFormat方法；然后根據(jù)JAVA SPI的規(guī)則要求在目錄META-INF/services/下增加文件org.geotools.data.GridFormatFactorySpi，內(nèi)容為HDFS數(shù)據(jù)讀操作類的完整類名。完成后重啟Geoserver服務(wù)，即可讀取HDFS柵格數(shù)據(jù)源。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)

實(shí)驗(yàn)中使用了5臺(tái)計(jì)算機(jī)組成集群部署運(yùn)行該系統(tǒng)。每個(gè)節(jié)點(diǎn)機(jī)器軟硬件配置相同，具體為：CPU4核4線程、3.4 GHz頻率，內(nèi)存4 GB，硬盤(pán)500 GB，操作系統(tǒng)ubuntu linux 14.04，Java虛擬機(jī)JRE1.7，網(wǎng)絡(luò)帶寬為各節(jié)點(diǎn)獨(dú)享100 Mb/s。其中一臺(tái)部署為HDFS管理節(jié)點(diǎn)namenode，并運(yùn)行該系統(tǒng)程序，另外4臺(tái)作為HDFS的數(shù)據(jù)節(jié)點(diǎn)datanode使用。

在上述測(cè)試環(huán)境下，采用大凌河流域的R、K、LS、C和P共5個(gè)土壤侵蝕因子?xùn)鸥駭?shù)據(jù)做實(shí)驗(yàn)，數(shù)據(jù)見(jiàn)圖3。大凌河位于遼寧省西部低山丘陵區(qū)，長(zhǎng)約435 km，流域面積約23 549 km2，各因子數(shù)據(jù)分辨率為2 m、像素值類型為IEEE單精度浮點(diǎn)數(shù)(4字節(jié))、數(shù)據(jù)量為5.632 GB，總數(shù)據(jù)量為28.16 GB。

圖3 土壤侵蝕因子分布Fig.3 Distribution of soil erosion factors

2.2 功能分析

輸入5個(gè)因子數(shù)據(jù)，系統(tǒng)生成大凌河流域水力土壤侵蝕強(qiáng)度柵格如圖4和表2所示，柵格圖上顏色越深的區(qū)域土壤侵蝕強(qiáng)度越大，表2是根據(jù)土壤侵蝕分類分級(jí)標(biāo)準(zhǔn)[23]統(tǒng)計(jì)生成的。

圖4 土壤侵蝕強(qiáng)度圖Fig.4 Map of soil erosion

土壤流失量/(t·hm-2)分級(jí)面積/km2面積百分比/%0～5微度8453.47 59.605～25輕度4215.3929.72 25～50中度1336.12 9.42 50～80強(qiáng)烈177.29 1.25 80～150極強(qiáng)烈1.41 0.01

由圖4和表2可知：①柵格圖上顏色比較淺區(qū)域，其數(shù)量、位置和形狀與水土保持措施分布的數(shù)量、位置和形狀完全吻合，說(shuō)明存在水土保持措施區(qū)域，土壤侵蝕強(qiáng)度都比較小，符合RUSLE模型中水土保持措施與土壤侵蝕強(qiáng)度的負(fù)相關(guān)特征。②表2中微度和輕度流失區(qū)域占總面積89.32%。微度主要位于城區(qū)，強(qiáng)烈和極強(qiáng)烈流失區(qū)的面積之和為178.7 km2,占總面積1.26%，這些區(qū)域?yàn)樾鑳?yōu)先治理的區(qū)域，它們主要分散在山溝地區(qū)。

2.3 性能分析

系統(tǒng)輸出的大凌河流域水力土壤數(shù)學(xué)侵蝕強(qiáng)度柵格數(shù)據(jù)，分辨率為2 m、像素值類型為無(wú)符號(hào)整數(shù)(1字節(jié))，數(shù)據(jù)量為1.412 GB。執(zhí)行過(guò)程中執(zhí)行時(shí)間和網(wǎng)絡(luò)使用率如圖5所示。

圖5 不同計(jì)算節(jié)點(diǎn)數(shù)量下的網(wǎng)絡(luò)使用率和執(zhí)行時(shí)間Fig.5 Network utilization and execution time of different numbers of compute node

由圖5可知：①隨著計(jì)算節(jié)點(diǎn)從1臺(tái)增加至4臺(tái)，該區(qū)域土壤侵蝕強(qiáng)度柵格圖生成過(guò)程耗時(shí)明顯降低，說(shuō)明本研究提出的系統(tǒng)構(gòu)建方法可以實(shí)現(xiàn)區(qū)域土壤侵蝕快速計(jì)算與實(shí)時(shí)發(fā)布，并通過(guò)增加計(jì)算節(jié)點(diǎn)可顯著提升系統(tǒng)性能。②計(jì)算過(guò)程中集群環(huán)境網(wǎng)絡(luò)負(fù)載較低，使用率保持在22%左右。說(shuō)明研究中設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)策略使數(shù)據(jù)本地化較好，在區(qū)域土壤侵蝕強(qiáng)度計(jì)算過(guò)程中，按數(shù)據(jù)分塊啟動(dòng)的多個(gè)并行執(zhí)行的計(jì)算任務(wù)都較好地分布在各數(shù)據(jù)分塊對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上，沒(méi)有出現(xiàn)通過(guò)網(wǎng)絡(luò)異地大量讀取數(shù)據(jù)的現(xiàn)象。

3 結(jié)論

(1)該系統(tǒng)可快速計(jì)算出大凌河流域不同強(qiáng)度的水力土壤侵蝕分布區(qū)域及占比，可以為大凌河流域水力土壤侵蝕監(jiān)測(cè)和治理提供參考依據(jù)。

(2)該系統(tǒng)可明顯提升基于大數(shù)據(jù)量高分辨率土壤侵蝕因子?xùn)鸥駭?shù)據(jù)的區(qū)域土壤侵蝕強(qiáng)度從分析計(jì)算到發(fā)布應(yīng)用的效率，可較好滿足區(qū)域土壤侵蝕預(yù)測(cè)預(yù)報(bào)的時(shí)效性要求。

(3)所設(shè)計(jì)的土壤侵蝕模型MapReduce編程模式，可以為同類模型的MapReduce并行計(jì)算程序研究提供參考。

(4)對(duì)于大數(shù)據(jù)量柵格數(shù)據(jù)并行計(jì)算時(shí)，該系統(tǒng)計(jì)算任務(wù)本地化效果明顯，顯著降低了計(jì)算過(guò)程中的網(wǎng)絡(luò)傳輸壓力，系統(tǒng)性能較好，通過(guò)增加計(jì)算節(jié)點(diǎn)，系統(tǒng)性能還可進(jìn)一步提升。