一種遙感信息模型自動(dòng)化并行處理平臺(tái)

張　靜　李國慶　于文洋

1(中國科學(xué)院遙感與數(shù)字地球研究所數(shù)字地球重點(diǎn)實(shí)驗(yàn)室　北京 100094)2(中國科學(xué)院大學(xué)　北京 100049)

?

一種遙感信息模型自動(dòng)化并行處理平臺(tái)

張靜1,2李國慶1于文洋1

1(中國科學(xué)院遙感與數(shù)字地球研究所數(shù)字地球重點(diǎn)實(shí)驗(yàn)室北京 100094)2(中國科學(xué)院大學(xué)北京 100049)

當(dāng)前尚無主流的遙感信息模型(RSIM)高性能處理平臺(tái)，RSIM的研究與應(yīng)用以項(xiàng)目驅(qū)動(dòng)為主，處理低效。分析當(dāng)前遙感領(lǐng)域數(shù)據(jù)與處理的特點(diǎn)，提出一種集數(shù)據(jù)存儲(chǔ)、模型計(jì)算、信息發(fā)布于一體的RSIM處理平臺(tái)。通過對(duì)存儲(chǔ)系統(tǒng)、并行處理環(huán)境和調(diào)度系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)平臺(tái)的海量存儲(chǔ)、靈活管理和模型自動(dòng)快速計(jì)算功能。實(shí)驗(yàn)表明，該系統(tǒng)能完成RSIM的快速高效處理，具有良好的可控性和適用性。

遙感信息模型自動(dòng)化處理平臺(tái)LustreIO優(yōu)化數(shù)據(jù)劃分TorqueKajaran

0　引　言

遙感信息模型(RSIM)泛指利用遙感數(shù)據(jù)對(duì)地學(xué)規(guī)律進(jìn)行研究所構(gòu)成的方法、模型[1]。遙感影像提供了地球表層的多維動(dòng)態(tài)觀測(cè)數(shù)據(jù)，通過遙感影像建立遙感信息模型，研究地球系統(tǒng)的各個(gè)要素及其相互關(guān)系[1]，在科學(xué)研究和國民經(jīng)濟(jì)中具有重要意義。

保證遙感數(shù)據(jù)的時(shí)效性，是應(yīng)用遙感信息模型必須解決的問題。近年來遙感數(shù)據(jù)高速增長[2]，如何實(shí)現(xiàn)海量、多源、多尺度遙感數(shù)據(jù)的快速計(jì)算，是遙感信息模型處理平臺(tái)面臨的又一挑戰(zhàn)。傳統(tǒng)的遙感信息處理平臺(tái)以桌面端軟件為主，如ENVI、ERDAS IMAGINE、PCI Geomatica等，處理低效，不支持各個(gè)功能模塊的自動(dòng)流程化處理。通用并行計(jì)算平臺(tái)則缺乏專業(yè)的遙感存儲(chǔ)計(jì)算支持，且有許多冗余功能，研制遙感專用并行計(jì)算平臺(tái)具有重要意義。近年來研究人員圍繞遙感處理算法的并行化展開了大量工作[3-6]，涵蓋遙感數(shù)據(jù)預(yù)處理、特征參數(shù)反演、圖像目標(biāo)識(shí)別等方面，為遙感信息模型平臺(tái)的功能集成打下良好基礎(chǔ)。但是國內(nèi)目前尚無主流遙感集群環(huán)境。中國測(cè)繪科學(xué)研究院研發(fā)的PixelGrid具有集群分布式計(jì)算模塊，主要提供星測(cè)/航測(cè)影像的攝影測(cè)量處理[7]，沒有專門的遙感處理功能，且缺乏對(duì)于遙感算法的二次開發(fā)支持。中科院遙感與數(shù)字地球研究所研發(fā)的遙感信息計(jì)算平臺(tái)(SINCE)內(nèi)部集成了集群MPI計(jì)算環(huán)境，但該平臺(tái)基于.net框架開發(fā)[8]，通用性較差。東方泰坦公司的泰坦超算平臺(tái)(Titan SCP)具有跨平臺(tái)部署能力[9]，但缺乏海量存儲(chǔ)支持。

為適應(yīng)遙感領(lǐng)域?qū)τ诤Ａ看鎯?chǔ)和高效計(jì)算的需求，提高RSIM的生產(chǎn)效率，本文在遙感高性能計(jì)算平臺(tái)工作的基礎(chǔ)上[10-12]，提出一種高性能自動(dòng)化RSIM處理平臺(tái)，該平臺(tái)具有以下特點(diǎn)：(1) 基于Lustre實(shí)現(xiàn)海量文件存儲(chǔ)功能；(2) 提供MPI并行編程支持；(3) 通過任務(wù)級(jí)(Torque)和業(yè)務(wù)級(jí)(Karajan)的調(diào)度使系統(tǒng)具有良好的負(fù)載均衡能力和復(fù)雜的跨平臺(tái)功能組合功能。

1　平臺(tái)設(shè)計(jì)

當(dāng)前遙感數(shù)據(jù)和遙感處理算法具有如下特點(diǎn)：

1) 遙感信息模型一般呈密集而不規(guī)則的數(shù)據(jù)訪問模式[13]，由于對(duì)數(shù)據(jù)的依賴度不同，各模型表現(xiàn)出的訪問特點(diǎn)不同。其中大量非連續(xù)小塊數(shù)據(jù)的訪問造成嚴(yán)重的IO瓶頸，在此種條件下，模型IO通常只能取得峰值期1/10的性能[14]。如何結(jié)合遙感數(shù)據(jù)與模型的特點(diǎn)優(yōu)化存儲(chǔ)，這是實(shí)現(xiàn)平臺(tái)高性能的重點(diǎn)。

2) 遙感處理可分為3個(gè)層次：像素級(jí)、特征級(jí)和目標(biāo)級(jí)[15]。隨著處理層次的增高，處理數(shù)據(jù)量越來越小，算法越來越復(fù)雜，人工干預(yù)的成分增大[4]。MODIS傳感器的數(shù)據(jù)集約占ECHO[16]總數(shù)據(jù)集(共包含595個(gè)傳感器的3200個(gè)數(shù)據(jù)集[17])的1/10[17]，是一個(gè)十分有代表性的傳感器。以Terra MODIS產(chǎn)品為例，產(chǎn)品覆蓋領(lǐng)域包括大氣、陸地、海洋和冰凍圈，共38個(gè)大類[18,19]。這些大類的處理等級(jí)為1～4級(jí)，如表1所示，隨著處理級(jí)別的升高，數(shù)據(jù)量減少，處理時(shí)效性降低。這一方面說明復(fù)雜算法的并行化比較困難，另一方面則揭示了提高低等級(jí)數(shù)據(jù)處理效率能夠解決遙感數(shù)據(jù)處理的大部分性能要求。

表1　部分MODIS產(chǎn)品的文件大小和日生產(chǎn)量

注：Res 指影像空間分辨率

3) 遙感信息的提取方式由相對(duì)單一的處理如波段運(yùn)算、影像變換等向多元處理鏈的方向轉(zhuǎn)化，并有計(jì)算機(jī)處理、人工單源干預(yù)和多方協(xié)同處理多種模式。處理流程的復(fù)雜化和處理模式的多元化對(duì)于處理平臺(tái)的資源配置能力提出了更高要求。

本文沿襲經(jīng)典的Linux機(jī)群+MPI搭建基礎(chǔ)并行環(huán)境，并用Ethernet和InfiniBand子網(wǎng)兩個(gè)重疊的網(wǎng)絡(luò)組成集群網(wǎng)絡(luò)拓?fù)?，采用Lustre集群文件系統(tǒng)構(gòu)建平臺(tái)存儲(chǔ)模塊。目前世界排名前10的超級(jí)計(jì)算機(jī)系統(tǒng)中有7個(gè)使用Lustre[20]，其高可擴(kuò)展性能夠適應(yīng)潛在數(shù)據(jù)的存儲(chǔ)需求。在此基礎(chǔ)上，為了解決上述問題，構(gòu)建一個(gè)遙感專用高性能計(jì)算平臺(tái)，本文依次作了如下設(shè)計(jì)：

1) 從存儲(chǔ)組織和文件訪問兩方面進(jìn)行控制，針對(duì)不同的遙感影像設(shè)計(jì)不同的OST池進(jìn)行存儲(chǔ)，減少訪問目標(biāo)塊與存儲(chǔ)分片之間的位置差異。

2) 平臺(tái)把重點(diǎn)放在提高低等級(jí)遙感數(shù)據(jù)處理的效率上。低等級(jí)遙感處理包括幾何校正、輻射校正等影像預(yù)處理算法，影像重采樣、影像鑲嵌、圖像增強(qiáng)、波段運(yùn)算等通用處理方法[3]。

3) 設(shè)計(jì)兩級(jí)調(diào)度策略使系統(tǒng)具有良好的負(fù)載均衡能力和完備的任務(wù)編排功能。Torque+Maui實(shí)現(xiàn)并行計(jì)算資源的細(xì)粒度按需分配，Karajan工作流則從業(yè)務(wù)層面提供了復(fù)雜處理組合和跨組織協(xié)作功能。

系統(tǒng)的基本架構(gòu)如圖1所示。

圖1　系統(tǒng)層次結(jié)構(gòu)

2　Lustre IO優(yōu)化

當(dāng)多個(gè)客戶高并發(fā)訪問時(shí)，鎖競爭和文件系統(tǒng)資源競爭會(huì)使Lustre文件系統(tǒng)效率大幅下降。根據(jù)應(yīng)用特點(diǎn)對(duì)Lustre進(jìn)行IO優(yōu)化，從兩個(gè)方面展開：(1) 減少對(duì)單個(gè)文件的并發(fā)訪問；(2) 提高單次傳輸?shù)奈募制寐?。這種調(diào)整可從Lustre文件系統(tǒng)和應(yīng)用程序兩方面進(jìn)行。

1) 對(duì)文件存儲(chǔ)方式進(jìn)行優(yōu)化

文件的分片大小和分片個(gè)數(shù)對(duì)系統(tǒng)性能有顯著影響[21]。不同大小的文件由于應(yīng)用場(chǎng)景不同通常有不同的分片方式。例如Lustre單次網(wǎng)絡(luò)傳輸緩沖區(qū)大小為1 MB，1 MB及以下的文件(如工程代碼、tar文件等)不宜切片，而超大文件如1 TB以上的大文件則需要減少切片數(shù)量，避免頻繁請(qǐng)求。OST池(OST Pools)是一種OST組織方式，同一個(gè)池中的OST遵循相同的文件分片規(guī)則。OST和OST池之間的從屬關(guān)系可隨時(shí)間改變[20]，利用OST池可以更好地管理OST。遙感影像的數(shù)據(jù)大小從幾十MB到幾百GB不等，本文設(shè)計(jì)了3種不同默認(rèn)分片大小的OST池，分別針對(duì)小型、中型和大型文件(用戶仍可修改各個(gè)文件的分片設(shè)置)，把不同應(yīng)用模式的數(shù)據(jù)分離管理。

2) 控制讀寫數(shù)據(jù)塊進(jìn)行優(yōu)化

當(dāng)程序發(fā)起與存儲(chǔ)分片不對(duì)齊的IO請(qǐng)求時(shí)，可能會(huì)訪問多個(gè)OST，而多個(gè)文件的分片不對(duì)齊訪問則會(huì)加劇系統(tǒng)資源的競爭，如圖2(b)所示；而讀寫塊與文件分片一致時(shí)，則訪問次數(shù)相對(duì)較少，如圖2(a)所示。多個(gè)進(jìn)程和多個(gè)文件之間的交互可分為四種方式：(1)多個(gè)進(jìn)程中有一個(gè)代理進(jìn)程直接與文件進(jìn)行IO，再為其他進(jìn)程提供數(shù)據(jù)中轉(zhuǎn)服務(wù)；(2)每個(gè)進(jìn)程都單獨(dú)處理自己的文件；(3)若干進(jìn)程并發(fā)處理同一文件；(4)以上三種情況的混合，前3種情況如圖3所示。第(1)種方式避免了并發(fā)競爭，但單個(gè)進(jìn)程限制了整體的IO速度和容量；第(2)種方式同樣不需要并發(fā)控制，瓶頸出現(xiàn)在文件系統(tǒng)的支持上(如磁盤同時(shí)打開的最大文件數(shù))；第(3)種方式能實(shí)現(xiàn)較高的聚合吞吐量，但控制復(fù)雜，且資源競爭情況下系統(tǒng)的性能會(huì)降低。編寫應(yīng)用程序時(shí)，應(yīng)根據(jù)應(yīng)用特性選擇合適的分片和讀寫方式。

圖2　文件分片對(duì)進(jìn)程讀寫的影響

圖3　進(jìn)程與文件交互的3種基本方式

3　平臺(tái)并行編程支持

遙感信息模型并行化可通過數(shù)據(jù)并行和任務(wù)并行兩種途徑實(shí)現(xiàn)。低等級(jí)的遙感處理算法處理的數(shù)據(jù)量大，但局部數(shù)據(jù)之間的相關(guān)性比較小[4]，因此數(shù)據(jù)并行是模型并行化的重要途徑。本平臺(tái)抽象出遙感處理中的各種數(shù)據(jù)劃分模式，給出編程抽象類以輔助模型并行編程。

遙感傳感器一般面向特定的電磁波譜段[1]，生產(chǎn)的遙感影像包含若干波段的地物輻射信息(激光雷達(dá)點(diǎn)云數(shù)據(jù)不在討論之列)。首先針對(duì)遙感信息模型處理數(shù)據(jù)覆蓋的范圍，作如下定義：

定義1處理域，輸入影像各個(gè)波段參與模型運(yùn)算的平面區(qū)域的總和，記為Mask。

定義2元處理域，模型運(yùn)算過程中不可再分割的處理域，記為unitMask。

定義3域函數(shù)，描述處理域的函數(shù)，記為maskFunc。

模型處理涉及的波段數(shù)和模型最小處理范圍依次如表2所示，從而遙感數(shù)據(jù)的元處理(不可再細(xì)分的)模式共有6種組合。

表2　RSIM處理數(shù)據(jù)分類

元處理域通常包含于某個(gè)處理域中。一個(gè)矩形處理域的元處理域可能是單個(gè)像素，也可能是若干個(gè)更小的矩形面域。一個(gè)非矩形區(qū)域的元處理域可能是更小的非矩形，這種劃分可以基于圖像行/列進(jìn)行，或者由一個(gè)新的面域函數(shù)劃分。遙感數(shù)據(jù)的并行粒度有單影像單個(gè)元處理域、單影像若干元處理域、多影像單個(gè)元處理域和多影像多個(gè)元處理域這四種。圖4列舉了一些典型的數(shù)據(jù)劃分方式。

圖4　并行遙感數(shù)據(jù)處理劃分方式

為了分離數(shù)據(jù)劃分和數(shù)據(jù)處理，本文將任意處理函數(shù)抽象為以處理域、輸入數(shù)據(jù)和輔助數(shù)據(jù)作為參數(shù)的函數(shù)。為用戶提供2個(gè)面域描述抽象類和3個(gè)遙感數(shù)據(jù)處理任務(wù)抽象類，分別是MaskType、Mask、UnitTask、TaskSet和TaskQueue。MaskType是枚舉類，羅列上述3種面域函數(shù)；Mask描述處理域，包括處理域類型，劃分的方式(均勻、非均勻)和劃分手法(行、列、自定義函數(shù))；UnitTask代表元處理域任務(wù)；TaskSet則是更為常用的若干元處理域任務(wù)；TaskQueue表示多個(gè)不同處理任務(wù)構(gòu)成的任務(wù)隊(duì)列，由用戶根據(jù)使用場(chǎng)景實(shí)現(xiàn)調(diào)度函數(shù)。Mask和TaskSet的類定義如下：

Mask類定義：

class Mask{

public:

MaskType type;

//處理域的類型

//1. 單個(gè)像素

int i; int j;

//2. 矩形面域

int start; int offset; int xsize; int ysize;

//3. 非矩形面域

virtual int* polygon(void *inputData);

//再劃分子區(qū)的方式

int nsubMask;

//把處理域再劃分為幾部分

bool isUniform;

//是否均勻劃分

bool byRow;

//是否按行劃分

bool byCol;

//是否按列劃分

int * thresholds;

//對(duì)處理域再劃分的分割閾值

int npolygon;

//自定義劃分區(qū)域的個(gè)數(shù)

virtual int **AOI(/*user defined*/); /*自定義劃分非矩形域的函數(shù)組*/};

TaskSet類定義：

//包含若干最小處理域的任務(wù)集

class TaskSet{

void* inputData;

//輸入數(shù)據(jù)

void *outputBuffer;

//輸出緩沖

Mask mask;

//處理域

virtual void* process( Mask *mask,

auxiliaryData auxData

//輔助數(shù)據(jù)

)

};

4　平臺(tái)調(diào)度管理

4.1Torque任務(wù)管理器

Torque是一個(gè)開源的集群作業(yè)管理調(diào)度系統(tǒng)，支持批處理、并行和交互式作業(yè)，為集群提供任務(wù)級(jí)的管理和調(diào)度，為各個(gè)節(jié)點(diǎn)分配合理的任務(wù)，能有效利用系統(tǒng)計(jì)算能力。Torque由4部分構(gòu)成：任務(wù)服務(wù)器、任務(wù)調(diào)度器、執(zhí)行守護(hù)進(jìn)程和客戶端，如圖5所示。守護(hù)進(jìn)程MOM運(yùn)行在各個(gè)計(jì)算節(jié)點(diǎn)上，向任務(wù)服務(wù)器發(fā)送各個(gè)節(jié)點(diǎn)的狀態(tài)信息，任務(wù)的執(zhí)行情況以及服務(wù)器/調(diào)度器分配的其他資源監(jiān)視任務(wù)。

圖5　Torque模塊結(jié)構(gòu)

Maui是一個(gè)用于集群/超級(jí)計(jì)算機(jī)任務(wù)調(diào)度的開源軟件。Torque只提供了較基本的任務(wù)調(diào)度策略，而Maui則提供了豐富的選擇。Maui設(shè)計(jì)了6個(gè)優(yōu)先指標(biāo)[22]來對(duì)一個(gè)任務(wù)進(jìn)行優(yōu)先級(jí)排序，可指定任務(wù)需要的處理器、內(nèi)存、節(jié)點(diǎn)、用戶級(jí)別和隊(duì)列級(jí)別等來合理分配任務(wù)，平衡各個(gè)節(jié)點(diǎn)的CPU負(fù)載和IO開銷。

4.2Karajan工作流

Karajan提供了定義、組織、映射和執(zhí)行工作流的環(huán)境。該工作流采用XML描述各個(gè)工作環(huán)節(jié)(執(zhí)行動(dòng)作和相應(yīng)數(shù)據(jù))；提供“sequential”、“parallel”等標(biāo)簽供用戶組織串行、并行流程；提供條件執(zhí)行、迭代、循環(huán)等多種工作流控制結(jié)構(gòu)和用戶自定義函數(shù)；可構(gòu)造基于DAG(有向無環(huán)圖)的層次化工作流，具有高度的靈活性和適應(yīng)性。圖6展示了幾種Karajan支持的流程。Karajan提供檢查點(diǎn)(出錯(cuò)后，從檢查點(diǎn)開始重新執(zhí)行流程)、日志等多級(jí)容錯(cuò)機(jī)制，通過XML中的“onError”元素用戶可自定義錯(cuò)誤響應(yīng)行為。

圖6　幾種Karajan支持的流程模式[23]

5　實(shí)驗(yàn)與分析

5.1實(shí)驗(yàn)環(huán)境

采用12臺(tái)相同的計(jì)算機(jī)搭建平臺(tái)環(huán)境，機(jī)器參數(shù)見表3所示。實(shí)驗(yàn)集群結(jié)構(gòu)如圖7所示，采用Cisco Catalyst 3560G以太網(wǎng)交換機(jī)和Cisco SFS 7000 InfiniBand交換機(jī)配置集群網(wǎng)絡(luò)。12臺(tái)機(jī)器中3臺(tái)搭建Lustre集群文件系統(tǒng)，1臺(tái)作為Portal服務(wù)器，剩余8臺(tái)作為計(jì)算節(jié)點(diǎn)。3臺(tái)Lustre存儲(chǔ)節(jié)點(diǎn)擴(kuò)展2 TB的硬盤容量，創(chuàng)建10個(gè)OST，構(gòu)建3個(gè)OST池，默認(rèn)的分片數(shù)依次為2、4、8。MPI計(jì)算節(jié)點(diǎn)為主—從結(jié)構(gòu)，1個(gè)主節(jié)點(diǎn)7個(gè)從節(jié)點(diǎn)；Torque的Server節(jié)點(diǎn)與MPI主節(jié)點(diǎn)安裝在不同的機(jī)器上；Karajan工作流與Portal服務(wù)器安裝在同一臺(tái)機(jī)器上。

表3　節(jié)點(diǎn)硬件環(huán)境

圖7　實(shí)驗(yàn)集群結(jié)構(gòu)

5.2正確性驗(yàn)證

本文采用沙塵模型(適用于中國北部地區(qū))對(duì)系統(tǒng)功能進(jìn)行正確性檢驗(yàn)。模型的處理流程如圖8所示，實(shí)驗(yàn)輸入數(shù)據(jù)和計(jì)算模式如表4所示。平臺(tái)界面如圖9所示，實(shí)驗(yàn)過程中模型按照預(yù)期過程依次執(zhí)行，動(dòng)態(tài)流程監(jiān)控圖正確顯示模型各個(gè)階段的計(jì)算狀態(tài)，如圖10所示。處理結(jié)果如圖11(a)所示，淺色區(qū)域代表有沙塵的地區(qū)，淺色部分越深，沙塵等級(jí)越高。該結(jié)果與單節(jié)點(diǎn)串行處理結(jié)果圖11(b)相同，充分證明了本平臺(tái)的正確性。

圖8　沙塵模型處理流程表4　沙塵模型

模型名稱中國北部地區(qū)沙塵監(jiān)測(cè)模型模型簡介根據(jù)MODIS影像提取沙塵范圍并進(jìn)行沙塵強(qiáng)度分級(jí)實(shí)驗(yàn)輸入數(shù)據(jù)2008-5-26MODISL1B數(shù)據(jù)12景,2.83GB主要的計(jì)算模式多步復(fù)雜計(jì)算計(jì)算復(fù)雜度O(n2)

圖9　平臺(tái)界面

圖10　沙塵模型動(dòng)態(tài)工作流監(jiān)控

圖11　中國西北部2008-5-26沙塵強(qiáng)度反演結(jié)果

5.3性能分析

平臺(tái)性能通過增大數(shù)據(jù)量和擴(kuò)展計(jì)算節(jié)點(diǎn)兩方面進(jìn)行驗(yàn)證。采用植被干旱指數(shù)AWI模型運(yùn)算驗(yàn)證。AWI模型的計(jì)算方式如式(1)所示。完整的計(jì)算流程包括AWI指數(shù)計(jì)算、多幅影像鑲嵌、格式轉(zhuǎn)換和結(jié)果可視化渲染4個(gè)部分。

(1)

首先選取2009年MOD09A1不同覆蓋時(shí)空范圍的影像集依次在8個(gè)計(jì)算節(jié)點(diǎn)上進(jìn)行計(jì)算。如表5所示，這些影像集總的數(shù)據(jù)量從0.69 GB到1521.55 GB不等，隨著數(shù)據(jù)量的增大，系統(tǒng)的吞吐率總體呈上升趨勢(shì)，如圖12(a)，峰值大概為122 MB/s。

表5　實(shí)驗(yàn)數(shù)據(jù)及處理效率

圖12　增加數(shù)據(jù)量和計(jì)算節(jié)點(diǎn)后的模型的運(yùn)行情況

然后以2009年中國全年數(shù)據(jù)(約55.2 GB)驗(yàn)證平臺(tái)性能隨計(jì)算節(jié)點(diǎn)數(shù)的變化情況。每個(gè)節(jié)點(diǎn)運(yùn)行一個(gè)計(jì)算進(jìn)程，當(dāng)計(jì)算節(jié)點(diǎn)從單節(jié)點(diǎn)逐個(gè)增加到8個(gè)時(shí)，模型計(jì)算加速比速率持續(xù)上升，在8節(jié)點(diǎn)時(shí)取得最大加速比13.2，如圖12(b)所示，證明該平臺(tái)具有良好的遙感信息性能高性能計(jì)算能力。

6　結(jié)　語

當(dāng)前遙感信息模型缺乏高效的一體化處理平臺(tái)。本文提出了一種適用于遙感信息模型的高性能計(jì)算平臺(tái)。該平臺(tái)配備Lustre集群文件系統(tǒng)以支撐海量遙感數(shù)據(jù)的存儲(chǔ)需求。從存儲(chǔ)和應(yīng)用程序兩個(gè)角度分析了文件分片對(duì)IO性能的影響，根據(jù)文件大小設(shè)計(jì)了不同的OST池集中存儲(chǔ)。對(duì)遙感數(shù)據(jù)的劃分模式進(jìn)行了分類和抽象，為MPI并行編程環(huán)境提供了數(shù)據(jù)劃分抽象類。上層通過Torque和Karajan工作流實(shí)現(xiàn)兩級(jí)調(diào)度，使系統(tǒng)具備自動(dòng)裝配任務(wù)，動(dòng)態(tài)管理執(zhí)行的能力。Torque中加入Maui調(diào)度器，提供了靈活的任務(wù)調(diào)度功能，使系統(tǒng)的資源配置更好地滿足用戶需求。實(shí)驗(yàn)部分該平臺(tái)運(yùn)行了三種模型，證明了該平臺(tái)高效完成計(jì)算任務(wù)的能力，相對(duì)于單節(jié)點(diǎn)串行程序，該平臺(tái)能完成海量數(shù)據(jù)任務(wù)的快速計(jì)算。目前實(shí)驗(yàn)集群規(guī)模較小，數(shù)據(jù)覆蓋較窄，后續(xù)在運(yùn)行中將進(jìn)一步擴(kuò)大節(jié)點(diǎn)數(shù)量，對(duì)系統(tǒng)的性能作進(jìn)一步驗(yàn)證和調(diào)整。

[1] 徐冠華,田國良,王超,等.遙感信息科學(xué)的進(jìn)展和展望[J].地理學(xué)報(bào),1996,51(5):385-397.

[2] Lee C A,Gasster S D,Plaza A,et al.Recent developments in high performance computing for remote sensing:A review[J].Selected Topics in Applied Earth Observations and Remote Sensing,IEEE Journal of,2011,4(3):508-527.

[3] 楊海平,沈占鋒,駱劍承,等.海量遙感數(shù)據(jù)的高性能地學(xué)計(jì)算應(yīng)用與發(fā)展分析[J].地球信息科學(xué)學(xué)報(bào),2013,15(1):128-136.

[4] 周海芳.遙感圖像并行處理算法的研究與應(yīng)用[D].長沙:國防科學(xué)技術(shù)大學(xué),2003.

[5] 朱志文,沈占鋒,駱劍承.改進(jìn)SIFT點(diǎn)特征的并行遙感影像配準(zhǔn)[J].遙感學(xué)報(bào),2011,15(5):1024-1039.

[6] 趙穎輝,蔣從鋒.遙感影像的高性能并行處理技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2014(7):201-205.

[7] PixelGrid V5.0產(chǎn)品[EB/OL].(2013-08-29).[2015-01-06].http://www.bjsiwei.net.cn/ news/2013829/n3278201382916182.html.

[8] 遙感信息計(jì)算平臺(tái)SINCE簡介[EB/OL].[2015-01-06].http://www.irsa.cas.cn/jgsz/kyxt/kjxxxtyjs/yjfx/.

[9] 泰坦超算平臺(tái)Titan SCP[EB/OL].(2014-05-30).[2015-01-06].http://www.otitan.com/independent_content_sub_page.php?pid=34.

[10] 王輝,劉定生,李國慶,等.一種空間信息網(wǎng)格平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].遙感信息,2007(3):79-84.

[11] 向彪,李國慶,劉定生,等.高性能遙感衛(wèi)星地面預(yù)處理系統(tǒng)中的任務(wù)管理與調(diào)度技術(shù)研究[J].宇航學(xué)報(bào),2008,29(4):1443-1446.

[12] Ma Y,Wang L,Liu D,et al.Generic Parallel Programming for Massive Remote Sensing Data Processing[C]//Cluster Computing (CLUSTER),2012 IEEE International Conference on.IEEE,2012:420-428.

[13] Wang L,Ma Y,Zomaya A,et al.A parallel file system with application-aware data layout policies in digital earth[J].Parallel and Distributed Systems,IEEE Transactions on,2015,26(6):1497-1508.

[14] Wu J,Wyckoff P,Panda D.Supporting efficient noncontiguous access in PVFS over InfiniBand[C]//Cluster Computing,2003.Proceedings.2003 IEEE International Conference on.IEEE,2003:344-351.

[15] 盧麗君,廖明生,張路.分布式并行計(jì)算技術(shù)在遙感數(shù)據(jù)處理中的應(yīng)用[J].測(cè)繪信息與工程,2005,30(3):1-3.

[16] ECHO簡介[EB/OL].[2015-01-06].https://earthdata.nasa.gov/data.

[17] ECHO Reverb[EB/OL].[2015-01-06].http://reverb.echo.nasa.gov/reverb/.

[18] MODIS產(chǎn)品列表[EB/OL].[2015-01-06].http://modis.gsfc.nasa.gov /data/dataprod/.

[19] MODIS產(chǎn)品詳細(xì)說明文檔[EB/OL].[2015-01-06].http://modis.gsfc.nasa.gov/data/dataprod/ataproducts.php?MOD_NUMBER=01.

[20] Sun,Oracle.Operations Manual for Lustre Version 2.0.[EB/OL].(2011-01).[2015-01-26].http://wiki.lustre.org/manual/LustreManual20_HTML/index.html.

[21] 張鈺森,吳慶波,譚郁松.基于Lustre的大規(guī)模文件系統(tǒng)擁塞控制算法的研究[J].計(jì)算機(jī)研究與發(fā)展,2011(S1):189-193.

[22] Jackson D,Snell Q,Clement M.Core algorithms of the Maui scheduler[C]//Job Scheduling Strategies for Parallel Processing.Springer Berlin Heidelberg,2001:87-102.

[23] Laszewski G V,Hategan M.Workflow concepts of the java cog kit[J].Journal of Grid Computing,2005,3(3):239-258.

AN AUTOMATED PARALLEL PROCESSING PLATFORM FOR REMOTE SENSING INFORMATION MODELS

Zhang Jing1,2Li Guoqing1Yu Wenyang1

1(KeyLaboratoryofDigitalEarth,InstituteofRemoteSensingandDigitalEarth,ChineseAcademyofSciences,Beijing100094,China)2(UniversityofChineseAcademyofSciences,Beijing100049,China)

There is no mainstream high performance processing platform for remote sensing information models (RSIM) by now. The researches and applications of RSIM still remain to be driven by individual projects with low processing efficiency. By analysing the characteristics of data and processing of current remote sensing field, we proposed an RSIM processing platform which integrates the data storage, model computation and information release in one step. The platform is realised the massive storage capacity, flexible management, automatic and quick computing function of RSIM through designing the storage system, the parallel processing environment and the scheduling system. Experiments show that the platform can achieve fast and efficient processing of RSIM, and has good controllability and applicability.

Remote sensing information modelAutomatic processing platformLustreIO optimisationData partitionTorqueKarajan

2015-02-12。國家高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2013AA12A301)；中科院遙感與數(shù)字地球研究所“一三五”規(guī)劃項(xiàng)目(Y3SG0300CX)。張靜，碩士生，主研領(lǐng)域：遙感數(shù)據(jù)服務(wù)平臺(tái)。李國慶，正研級(jí)高工。于文洋，高工。

TP302.1

A

10.3969/j.issn.1000-386x.2016.08.024