基于MPI并行的遙感影像系統(tǒng)級(jí)幾何校正快速處理技術(shù)研究

李宏寬，楊曉冬，鄒珍軍

(1.北京大學(xué) 地球與空間科學(xué)學(xué)院，北京 100871；2.航天星圖科技(北京)有限公司，北京 100085)

隨著對(duì)地觀測(cè)技術(shù)的飛速發(fā)展，通過遙感衛(wèi)星獲得的數(shù)據(jù)量將迅速膨脹，遙感圖像處理的運(yùn)算量也隨之急劇增加，所以研究遙感影像的快速處理變得十分緊要.針對(duì)各種自然災(zāi)害或偶發(fā)的大型事故(如大連漏油監(jiān)測(cè))利用遙感影像監(jiān)測(cè)的快速應(yīng)急處理、分析等，都對(duì)遙感影像的快速處理提出了十分迫切的應(yīng)用需求.同時(shí)，隨著現(xiàn)代計(jì)算機(jī)科學(xué)的快速發(fā)展，各種先進(jìn)的處理器(CPU)不斷出現(xiàn)，在單機(jī)多核、高內(nèi)存的配置下能夠充分利用計(jì)算機(jī)的硬件資源，提高數(shù)據(jù)處理的速度.因此,建立一種利用多CPU或多核機(jī)群處理方案來滿足遙感影像快速處理的需求很有必要.為此,首先必須要分析遙感影像幾何校正處理的特點(diǎn)和集群技術(shù)所面臨的問題，所以本文主要從遙感影像處理的特點(diǎn)和并行計(jì)算的特點(diǎn)進(jìn)行分析，并進(jìn)行實(shí)驗(yàn)得出相應(yīng)的解決方案.因此,利用現(xiàn)代計(jì)算機(jī)的高速的多CPU處理能力以及網(wǎng)絡(luò)集群技術(shù)，能夠充分提高遙感影像的幾何校正處理效率，進(jìn)而構(gòu)建遙感衛(wèi)星圖像并行處理系統(tǒng)，為充分利用先進(jìn)的計(jì)算機(jī)技術(shù)解決空間信息領(lǐng)域的問題提供了很好的參考.

1 系統(tǒng)幾何校正流程及分析

1.1 幾何畸變?cè)蚍治?/h3>

遙感圖像在成像的過程中,由于受到各種系統(tǒng)性因素的影響會(huì)產(chǎn)生幾何畸變.幾何畸變所帶來的誤差可以分為內(nèi)部誤差和外部誤差[1].

內(nèi)部誤差主要是由傳感器自身的性能與技術(shù)指標(biāo)偏離標(biāo)稱數(shù)值造成的,比如多光譜掃描儀(MSS)掃描速度不勻、不同波段相同掃描線的成像時(shí)間差、掃描線的非線性和非平行性等使得到的圖像失真.外部誤差主要是由傳感器以外的各種因素所造成的誤差,比如傳感器外方位(位置或姿態(tài))的變化、地球曲率、地球自轉(zhuǎn)等因素引起的變形誤差.

1.2 系統(tǒng)級(jí)幾何校正流程

對(duì)相應(yīng)的CCD成像過程進(jìn)行分析，確定幾何校正的過程、讀取衛(wèi)星位置、姿態(tài)、相機(jī)、橢球體參數(shù)等校正需要的參數(shù)，根據(jù)相應(yīng)的規(guī)則建立校正模型,讀取衛(wèi)星影像一級(jí)數(shù)據(jù)并進(jìn)行校正處理，包括位置重采樣和灰度重采樣,最后根據(jù)指定格式進(jìn)行輸出,如圖1所示.

圖1 系統(tǒng)幾何校正流程示意圖Fig.1 System diagram of the geometric correction process

1.3 校正的計(jì)算過程與計(jì)算特征分析

1.3.1 讀取各種參數(shù)文件.主要是解析、讀取相應(yīng)軌道參數(shù)姿態(tài)等文件，格式簡(jiǎn)單、內(nèi)容很少，基本上都是一些XML格式的說明解釋性文件，經(jīng)過多次測(cè)試，耗時(shí)基本上都是在150 ms以內(nèi).

1.3.2 建立校正模型.主要是利用前面所獲取的各種參數(shù)，根據(jù)各種空間變換規(guī)則進(jìn)行變換,構(gòu)建幾何校正模型.這一步發(fā)現(xiàn)逐像元進(jìn)行變換構(gòu)建幾何校正模型的耗時(shí)太長(zhǎng)，針對(duì)16 000*16 000*8 bit大小的影像耗時(shí)多達(dá)120 min，為了減少建立校正模型的耗時(shí)，可采取格網(wǎng)式的建立校正模型，即在影像上按照500*500的大小建立格網(wǎng)并計(jì)算校正模型.

1.3.3 數(shù)據(jù)讀取.從硬盤上讀取相應(yīng)的待校正數(shù)據(jù)，數(shù)據(jù)的讀取耗時(shí)只跟所采用的操作系統(tǒng)、文件系統(tǒng)、主機(jī)PCI總線、硬盤轉(zhuǎn)速和內(nèi)存?zhèn)鬏斔俾蔥2]有關(guān).

1.3.4 何校正.逐個(gè)像元灰度、位置采樣，此部分主要是針對(duì)每一個(gè)像元而進(jìn)行的，針對(duì)16 000*16 000大小的影像耗時(shí)基本上都是在30 s左右.

1.3.5 數(shù)據(jù)輸出.將經(jīng)過校正的好數(shù)據(jù)進(jìn)行寫硬盤操作，這里的主要處理速度同樣和采用的操作系統(tǒng)、硬盤轉(zhuǎn)速和主機(jī)PCI總線[2]的傳輸速率等密切相關(guān).

2 并行處理的需求及意義

隨著各種遙感衛(wèi)星傳感器相機(jī)的使用，全色數(shù)據(jù)、多光譜數(shù)據(jù)、高光譜數(shù)據(jù)以及SAR數(shù)據(jù)等各種數(shù)據(jù)以及寬幅等所生成的數(shù)據(jù)量都很大，同時(shí)，隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，市場(chǎng)上出現(xiàn)2核、4核甚至8核[3]的中央處理器(CPU)，而且現(xiàn)在各個(gè)影像應(yīng)用行業(yè)都希望使用高分辨率以及最新的影像數(shù)據(jù)或者某一地區(qū)的歷史海量影像來處理分析，這些需求帶來了巨大的數(shù)據(jù)量和運(yùn)算量.若是使用傳統(tǒng)的串行處理方式,一方面浪費(fèi)了現(xiàn)有計(jì)算機(jī)的計(jì)算能力，另一方面也不能滿足實(shí)際業(yè)務(wù)的時(shí)效性要求.

2.1 并行處理技術(shù)種類意義

現(xiàn)代計(jì)算機(jī)并行處理技術(shù)主要有基于CPU和基于GPU這兩大類并行處理方法，各有特點(diǎn)并有相應(yīng)的具體處理方案,如通過CPU加速的MPI、OpenMP、PVM[4]等，還有Intel的TBB等；基于GPU的有NVIDIA的CUDA和ATI的Stream技術(shù).結(jié)合遙感影像的數(shù)組特點(diǎn)和遙感幾何校正中主要存在的運(yùn)算量等進(jìn)行分析，考慮到處理海量多景數(shù)據(jù)的技術(shù)成熟度等因素，本文決定使用基于MPI構(gòu)建集群進(jìn)行遙感影像的系統(tǒng)級(jí)幾何校正并行處理的方案.

2.2 遙感影像系統(tǒng)幾何校正處理特點(diǎn)

根據(jù)對(duì)以上遙感影像系統(tǒng)幾何校正處理過程的分析，整個(gè)校正過程主要耗時(shí)在重采樣階段，包括位置和灰度的重采樣過程.

圖2 橫、縱向劃分子塊示意圖Fig.2 Horizontal, vertical division of sub-block diagram

2.3 提出遙感影像幾何校正并行處理方案

采用并行處理技術(shù)是提高校正執(zhí)行效率的有效手段，遙感圖像的幾何校正采用數(shù)據(jù)并行的處理方式.直觀并行法[5]是大圖像并行重采樣處理常用的算法，其處理方式是對(duì)輸入的圖像進(jìn)行規(guī)則(條狀或塊狀)劃分.如圖2所示,輸入的圖像被分割成4塊子圖像，每個(gè)處理器處理1塊輸入的圖像，同時(shí)對(duì)目標(biāo)圖像的重采樣計(jì)算也采用簡(jiǎn)單的規(guī)則劃分，每個(gè)處理器對(duì)1塊輸出子圖像進(jìn)行灰度值位置重采樣.

圖2所示的直觀并行法多用于圖像的縮放與整體變形等，對(duì)于系統(tǒng)幾何校正來說,將采用這種方法進(jìn)行校正，對(duì)輸出圖像塊進(jìn)行重采樣計(jì)算所需的像元灰度信息需要利用主從模式中的各個(gè)從計(jì)算機(jī)結(jié)點(diǎn)進(jìn)行運(yùn)算，需要通過處理器之間的交互獲得，主計(jì)算機(jī)負(fù)責(zé)校正前數(shù)據(jù)讀取以及對(duì)校正結(jié)果在內(nèi)存中合并寫出到硬盤文件中.這種通信模式簡(jiǎn)單，主從計(jì)算結(jié)點(diǎn)分工明確，容易理解與部署,但是對(duì)內(nèi)存的使用量較大，需要主計(jì)算結(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行讀寫或者使用操作系統(tǒng)文件進(jìn)行詳細(xì)的數(shù)據(jù)定位.在并行幾何校正算法中，局部輸出區(qū)域的計(jì)算與存儲(chǔ)保證了算法的數(shù)據(jù)局部性，如圖2所示，輸入圖像被分割成4塊子圖像，在計(jì)算結(jié)點(diǎn)上，規(guī)則輸入子圖像經(jīng)過正映射函數(shù)變換到目標(biāo)圖像的對(duì)應(yīng)區(qū)域.

圖3 幾何校正集群硬件部署示意圖Fig.3 Schematic diagram of the geometric correction of the cluster hardware deployment

2.4 硬件部署處理方案

系統(tǒng)幾何校正基本上采用多臺(tái)主機(jī)利用MPI并行擴(kuò)展進(jìn)行幾何校正,主要分為硬件架構(gòu)、算法軟件實(shí)現(xiàn)等.硬件架構(gòu)采用跟MPI相結(jié)合的適合于校正幾何校正使用的傳統(tǒng)主從模式.所謂主從模式就是MPI程序的各個(gè)進(jìn)程所起的作用和地位并不相同，1個(gè)或者多個(gè)進(jìn)程完成一類任務(wù)，而另外的進(jìn)程完成其他的任務(wù)，這些功能或者地位不同的進(jìn)程所對(duì)應(yīng)的代碼也有較大的差別.基于此，在幾何校正中所采用集群架構(gòu)，如圖3所示.

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境是由3臺(tái)個(gè)人計(jì)算機(jī)(雙核)構(gòu)建的集群，其中1臺(tái)計(jì)算機(jī)作為主控制結(jié)點(diǎn),其余2臺(tái)計(jì)算機(jī)作為從計(jì)算結(jié)點(diǎn),通過100 Mb 快速交換式以太網(wǎng)互聯(lián).計(jì)算機(jī)的配置為Pentium(R)Dual-Core E5300 2.60 GHz的CPU ,內(nèi)存2 GB；軟件環(huán)境為Windows XP、MPICH 2.0消息傳遞庫(kù).實(shí)驗(yàn)數(shù)據(jù)為16 384×16 384 的全色影像，采用二次多項(xiàng)式與雙線性重采樣計(jì)算進(jìn)行幾何校正[6],其流程主要包括參數(shù)解析、模型構(gòu)建、數(shù)據(jù)讀取、幾何校正與數(shù)據(jù)寫出[7-9].表1 給出了采用5個(gè)處理結(jié)點(diǎn)處理時(shí),各個(gè)處理結(jié)點(diǎn)處理本地?cái)?shù)據(jù)的時(shí)間.圖4是2臺(tái)主機(jī)4個(gè)核參與運(yùn)算的系統(tǒng)幾何校正截圖，分別是1個(gè)主管理進(jìn)程和4個(gè)從計(jì)算進(jìn)程參與系統(tǒng)幾何校正.參與處理不同核及加速情況統(tǒng)計(jì)如圖5所示.

表1 多核幾何校正時(shí)間統(tǒng)計(jì)表Tab.1 Multi-core geometric correction time

圖4 校正加速結(jié)果統(tǒng)計(jì)Fig.4 Charts the results of calibration speed

圖5 某地區(qū)待校正和校正后影像縮略圖Fig.5 In an area to be corrected and corrected image thumbnail

4 結(jié) 語(yǔ)

對(duì)于遙感影像幾何校正這樣的計(jì)算密集型應(yīng)用,分布式并行計(jì)算能夠大幅度提高運(yùn)算效率并減少運(yùn)算時(shí)間,特別在對(duì)單景大數(shù)據(jù)量以及多景海量數(shù)據(jù)進(jìn)行處理時(shí),性能的提高相當(dāng)明顯[10].但是,它不與參與計(jì)算的處理器的核數(shù)成正比，因?yàn)樵谡麄€(gè)運(yùn)算過程中多核與主處理器核存在數(shù)據(jù)交換傳遞的時(shí)間.同時(shí)，在集群并行計(jì)算平臺(tái)上,并行算法性能的優(yōu)化一方面取決于算法是否能夠充分利用計(jì)算平臺(tái)的計(jì)算能力,另一方面也取決于采用硬件的數(shù)據(jù)IO的通訊能力.根據(jù)單景數(shù)據(jù)量的大小，將數(shù)據(jù)合適地劃分為不同數(shù)據(jù)塊并讓計(jì)算結(jié)點(diǎn)進(jìn)行計(jì)算,同時(shí)針對(duì)在更高硬件通訊能力的計(jì)算機(jī)上進(jìn)行測(cè)試發(fā)現(xiàn)IO所使用的時(shí)間顯著降低.在本次實(shí)驗(yàn)的過程中，也使用了GPU CUDA進(jìn)行圖像的相對(duì)輻射校正處理，同樣有較大的效率提升.

下一步希望通過更進(jìn)一步的研究提出在海量遙感影像的快速處理中采用基于GPU+CPU的并行集群架構(gòu)模式，所采用的架構(gòu)既經(jīng)濟(jì)又能滿足當(dāng)前對(duì)圖像快速處理的要求，同時(shí)實(shí)現(xiàn)節(jié)省電能、小型化、高性能、速度快的目標(biāo).

參考文獻(xiàn):

[1] 梅安新.遙感導(dǎo)論[M].2版.北京：高等教育出版社,2004:65-83.

[2] 陳國(guó)良.并行算法實(shí)踐[M].1版.北京：高等教育出版社,2004:24-42；58-78；105-132.

[3] 陳國(guó)良，孫廣中.并行計(jì)算的一體化研究現(xiàn)狀與發(fā)展趨勢(shì)[J].科學(xué)通報(bào),2009(8):25-27.

[4] 薛笑榮，曾琪明.并行計(jì)算在SAR圖像處理中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2006(S1):1-2.

[5] 蔣艷凰，楊學(xué)軍, 易會(huì)戰(zhàn).衛(wèi)星遙感圖像并行幾何校正算法研究[J].計(jì)算機(jī)學(xué)報(bào)，2004(7):10-11.

[6] 湯國(guó)安,張友順.遙感數(shù)字圖像處理[M].1版.北京：科學(xué)出版社,2004：60-80.

[7] 李盛陽(yáng).基于網(wǎng)格的遙感圖像快速處理[J].計(jì)算機(jī)工程，2007(3):12-13.

[8] 都志輝.高性能計(jì)算并行編程技術(shù)—MPI行程序設(shè)計(jì)[M].北京：清華大學(xué)出版社,2001:36-76.

[9] 袁文龍.星載SAR圖像幾何校正原理及軟件實(shí)現(xiàn)與實(shí)現(xiàn)[D].北京：中科院電子所，2005.

[10] 牟勝梅.海量遙感圖像數(shù)據(jù)實(shí)時(shí)預(yù)處理系統(tǒng)結(jié)構(gòu)設(shè)計(jì)[J].計(jì)算機(jī)工程與科學(xué)，2004(10):11-12.