基于MPI、MapReduce和OpenMP混合編程的高分三號(hào)數(shù)據(jù)分布式并行轉(zhuǎn)換算法

摘要：高分三號(hào)是我國(guó)C波段多極化合成孔徑雷達(dá)衛(wèi)星，形成三星組網(wǎng)星座。PolSARpro是歐空局支持下的一款SAR影像處理的開源軟件。為了便于使用該軟件來處理高分三號(hào)數(shù)據(jù)，提出了一種根據(jù)PolSARpro軟件的數(shù)據(jù)格式要求進(jìn)行分布式并行轉(zhuǎn)換算法，該算法內(nèi)層采用OpenMP按極化方式并行計(jì)算，中間層采用MapReduce按景并行處理，外層采用MPI按任務(wù)分布式計(jì)算，最終實(shí)現(xiàn)將高分三號(hào)極化數(shù)據(jù)快速精確轉(zhuǎn)化為復(fù)數(shù)散射矩陣S2數(shù)據(jù)格式，并且通過KingMapV10.0平臺(tái)實(shí)現(xiàn)了算法并在實(shí)際數(shù)據(jù)中進(jìn)行測(cè)試，驗(yàn)證了算法的高效性、可行性和正確性。

關(guān)鍵詞：高分三號(hào)復(fù)數(shù)散射矩陣合成孔徑雷達(dá)并行計(jì)算分布式計(jì)算

中圖法分類號(hào)：P237

DistributedParallelConversionAlgorithmofGF-3DataBasedonMPI，MapReduceandOpenMPHybridProgramming

SHIChao1*CAIYuanhao2CHENChao1YAOShulin2CHENYun2

1.HulunbeirBigDataCenter，Hulunbeir，InnerMongoliaAutonomousRegion，021000China;

2.HulunbeirSmartCityDevelopmentResearchInstitute，Hulunbeir，InnerMongoliaAutonomousRegion，021000China

Abstract：Gaofen-3istheC-bandmulti-polarizationSARsatelliteinChina，andnetworkedaconstellationof3satellites.PolSARproisanopensourcesoftwareforSARimageprocessingsupportedbyESA.InordertoprocessGF-3dataconveniently，thispaperproposesadistributedparallelconversionalgorithmaccordingtothedataformatrequirementsofitssoftware，internallayerbasedonOpenMPbypolarization，intermediatelayerbasedonMapReducebyScene，andexternallayerbasedonMPIbytask，whichcanquicklyandaccuratelyconvertGF-3polarizationdataintocomplexsinclairmatrixdataformat.ThealgorithmisimplementedonKingMapV10.0platformandtestedinrealdata，whichverifiestheefficiency，feasibilityandcorrectnessofthealgorithm.

KeyWords：GF-3;Complexsinclairmatrix;Syntheticapertureradar;Parallelcomputing;Distributedcomputing

2022年4月7日，我國(guó)成功發(fā)射高分三號(hào)03星，中國(guó)海陸監(jiān)視監(jiān)測(cè)迎來“三星組網(wǎng)”時(shí)代[1]，滿足海陸觀測(cè)快速重訪需求，為多極化SAR衛(wèi)星數(shù)據(jù)業(yè)務(wù)化應(yīng)用提供支撐。高分三號(hào)在海洋和陸地監(jiān)視監(jiān)測(cè)中具有全天候和全天時(shí)的特點(diǎn)，是我國(guó)實(shí)施陸地環(huán)境資源監(jiān)測(cè)、海洋開發(fā)和防災(zāi)減災(zāi)的重要技術(shù)支撐[2-4]。PolSARpro是由法國(guó)雷恩第一大學(xué)電子和電信學(xué)院教授EricPOTTIER等領(lǐng)銜開發(fā)的免費(fèi)用于極化科學(xué)研究與教學(xué)開源處理軟件[5]。為了便于利用PolSARpro開源軟件處理高分三號(hào)數(shù)據(jù)，需要根據(jù)其軟件的數(shù)據(jù)格式要求進(jìn)行快速的轉(zhuǎn)換。當(dāng)前PolSARpro軟件（官網(wǎng)上最新版本是v6.0.4）已集成了高分三號(hào)數(shù)據(jù)的導(dǎo)入處理[6]，但數(shù)據(jù)轉(zhuǎn)換效率相對(duì)較低。陳云等人[7-9]雖然給出了較高效的分布式并行轉(zhuǎn)換算法，但性能相對(duì)還是偏低。陳云[10]采用QTConcurrent并行框架實(shí)現(xiàn)，在單機(jī)環(huán)境下有更好的性能表現(xiàn)，但未實(shí)現(xiàn)分布式并行計(jì)算。因此，本文首先通過公式推導(dǎo)進(jìn)而簡(jiǎn)化得到中間參數(shù)，給出了基于MPI、MapReduce和OpenMP混合編程的分布式多重并行轉(zhuǎn)換算法；其次通過實(shí)際高分三號(hào)數(shù)據(jù)，驗(yàn)證算法的高效性、可行性和正確性；最后通過試驗(yàn)性能對(duì)比分析，表明本文方法可以相對(duì)更高效地解決上述問題。

1算法原理

本文主要針對(duì)高分三號(hào)L1A數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理。該數(shù)據(jù)產(chǎn)品主要包括RPC文件、TIFF文件和影像元信息文件等，TIFF文件按BIP像元格式保存，其實(shí)部和虛部都是按16bit通道存儲(chǔ)。

由于獲取的GF-3衛(wèi)星SAR數(shù)據(jù)為L(zhǎng)1A級(jí)單視復(fù)圖像，在應(yīng)用前需要進(jìn)行數(shù)據(jù)預(yù)處理。由GF-3衛(wèi)星L1A級(jí)數(shù)據(jù)獲取后向散射系數(shù)的定標(biāo)公式[11]如下。

式（1）中：?jiǎn)挝粸閐B，是雷達(dá)后向散射系數(shù)；在L1A影像中，其中，，為1A級(jí)數(shù)據(jù)產(chǎn)品實(shí)部，為1A級(jí)數(shù)據(jù)產(chǎn)品虛部，為該景影像量化前的最大值，該參數(shù)可通過元數(shù)據(jù)文件字段獲取。是該景影像的雷達(dá)散射的定標(biāo)系數(shù)，該系數(shù)可通過L1A影像元數(shù)據(jù)文件獲取CalibrationConst字段。

根據(jù)PolSARpro軟件的復(fù)數(shù)散射矩陣數(shù)據(jù)S2數(shù)據(jù)格式要求，以及根據(jù)文獻(xiàn)7中的公式推導(dǎo)優(yōu)化，記：

記：，為linear形式的實(shí)部后向散射系數(shù)；其中，單位為dB。

記：，為linear形式的虛部后向散射系數(shù)；其中，單位為dB。

則有：

具體算法主要流程設(shè)計(jì)如下文所述。

2算法設(shè)計(jì)

本文算法外層分布式并行處理過程采用MPI，中間層并行處理過程采用QtConcurrent并行計(jì)算框架，內(nèi)層并行處理過程采用OpenMP進(jìn)行混合編程實(shí)現(xiàn)。

2.1分布式并行開發(fā)環(huán)境的安裝部署

（1）建OpenMP并行計(jì)算開發(fā)環(huán)境，具體配置過程參考文獻(xiàn)8相關(guān)內(nèi)容。

（2）搭建MapReduce并行計(jì)算開發(fā)環(huán)境。先安裝好QT5軟件；接著在VS2015開發(fā)環(huán)境中創(chuàng)建的QT工程中配置好項(xiàng)目屬性：配置屬性->C/C++->常規(guī)->附加包含目錄中加入QTConcurrent頭文件目錄，鏈接器->常規(guī)->附加庫(kù)目錄中加入QT5的lib庫(kù)目錄，鏈接器->輸入->附加依賴項(xiàng)中加入Qt5Concurrent.lib；最后在源碼中添加<QtConcurrentRun>和<QtConcurrentMap>等頭文件。

（3）搭建MSMPI分布式并行計(jì)算開發(fā)環(huán)境。先安裝好msmpi軟件環(huán)境；然后在上述開發(fā)環(huán)境中繼續(xù)配置好項(xiàng)目屬性：配置屬性->VC++目錄->包含目錄中添加MSMPI頭文件目錄，64位環(huán)境配置為$（MSMPI_INC）;$（MSMPI_INC）＼x64，在VC++目錄->庫(kù)目錄中添加MSMPI庫(kù)目錄，64位環(huán)境配置為$（MSMPI_LIB64），鏈接器->輸入->附加依賴項(xiàng)中添加msmpi.lib；最后在源碼中添加<mpi.h>頭文件。

2.2分布式并行環(huán)境主要處理流程

（1）MPI進(jìn)程通過調(diào)用函數(shù)MPI_Comm_size來確定一個(gè)分布式環(huán)境中通信域中的進(jìn)程總數(shù)N。

（2）MPI進(jìn)程通過調(diào)用函數(shù)MPI_Comm_rank來確定它在通信域中的序號(hào)ID。并使用進(jìn)程的序號(hào)來決定它負(fù)責(zé)處理任務(wù)中高分三號(hào)數(shù)據(jù)集的哪些景。

（3）MPI調(diào)度進(jìn)程獲取所有高分三號(hào)數(shù)據(jù)待處理任務(wù)列表GF3_TaskList。

（4）MPI調(diào)度進(jìn)程從GF3_TaskList中列表中獲取高分三號(hào)數(shù)據(jù)集GF3_DataList，通過MPI_Isend函數(shù)把該數(shù)據(jù)派發(fā)給某個(gè)MPI處理進(jìn)程。

（5）MPI處理進(jìn)程通過MPI_Irecv函數(shù)收到高分三號(hào)數(shù)據(jù)集GF3_DataList后，中間層采用調(diào)用QtConcurrent：：map并行框架實(shí)現(xiàn)多景高分三號(hào)影像數(shù)據(jù)的處理，輸入?yún)?shù)為高分三號(hào)數(shù)據(jù)列表GF3_DataList，以及每景高分三號(hào)數(shù)據(jù)的Convert并行轉(zhuǎn)換函數(shù)。

（6）在Convert并行轉(zhuǎn)換函數(shù)中，最內(nèi)層進(jìn)一步采用OpenMP按HH、HV、VH和VV等極化方式進(jìn)行并行處理。

（7）采用QFuture的waitForFinished等待方法，直至MPI進(jìn)程中所有高分三號(hào)數(shù)據(jù)都處理完成。

（8）當(dāng)MPI處理進(jìn)程處理完成后，通過MPI_Isend函數(shù)把處理結(jié)束信息返回給MPI調(diào)度進(jìn)程。

（9）重復(fù)上述步驟（4）到步驟（8）過程，每輪并行處理N景高分三號(hào)數(shù)據(jù)，直至所有高分三號(hào)數(shù)據(jù)都處理完成。

注意：通常高分三號(hào)原始數(shù)據(jù)為.tar.gz壓縮包，使用前如未解壓應(yīng)先解壓。

3算法實(shí)例

采用地理信息系統(tǒng)開發(fā)平臺(tái)KingMapV10.0進(jìn)行驗(yàn)證，平臺(tái)通過C/C++語(yǔ)言實(shí)現(xiàn)。平臺(tái)的運(yùn)行環(huán)境如下。

計(jì)算機(jī)配置：操作系統(tǒng)采用MicrosoftWin11專業(yè)版；內(nèi)存為L(zhǎng)PDDR4x16.0GB，3733MHz；CPU為11thGenIntel（R）Core（TM）i5-11300H@3.10GHz，四核，8線程；內(nèi)置固態(tài)硬盤為512GB，M.2接口；外置移動(dòng)固態(tài)硬盤為2TB，Type-C接口；顯卡為Intel（R）Iris（R）XeGraphics集成顯卡，128M。

為了方便對(duì)比測(cè)試，不妨在上述電腦上配置兩臺(tái)相同配置的虛擬機(jī)，具體如下：操作系統(tǒng)為MicrosoftWindows7旗艦版；內(nèi)存為6.0GB，LPDDR4x；CPU為11thGenIntel（R）Core（TM）i5-11300H@3.10GHz，3核；硬盤大小為120GB；集成顯卡。

算法程序以高分三號(hào)4景全極化條帶1數(shù)據(jù)（數(shù)據(jù)列表如表1所示）進(jìn)行轉(zhuǎn)換，經(jīng)驗(yàn)證本文算法轉(zhuǎn)換后的數(shù)據(jù)結(jié)果與PolSARpro軟件生成的結(jié)果一致，表明算法真實(shí)可靠。不同的算法以及不同的運(yùn)行策略下的性能結(jié)果如表2所示。

運(yùn)行效率分析：采用同樣配置的雙機(jī)環(huán)境下，基于MSMPI和OpenMP混合編程方法處理4景共花費(fèi)約12.15s，而本文采用基于MSMPI、MapReduce和OpenMP混合編程方法也同樣處理4景共耗時(shí)約10.75s，因此雙機(jī)分布式環(huán)境下，引入MapReduce框架節(jié)約了1.40s。同時(shí)，隨著數(shù)據(jù)量的增大，性能受數(shù)據(jù)存取影響較大，受存儲(chǔ)設(shè)備限制，數(shù)據(jù)存取時(shí)間比較剛性，難以隨著并行化程度提升而明顯提升。

每景數(shù)據(jù)的大小可能不一，因此針對(duì)每景的處理時(shí)間代價(jià)也不一樣，而通過融入MapReduce并行計(jì)算框架，在分布式環(huán)境下，最終轉(zhuǎn)換完成時(shí)實(shí)現(xiàn)整體上時(shí)間花費(fèi)更少，從而達(dá)到更好的性能。

雖然在分布式環(huán)境下提升了性能，但由于數(shù)據(jù)大小不一，轉(zhuǎn)換時(shí)間各不相同，數(shù)據(jù)存在傾斜情況，因此，在分布式環(huán)境下，有待針對(duì)數(shù)據(jù)的傾斜情況進(jìn)一步完善動(dòng)態(tài)調(diào)度機(jī)制，以期達(dá)到分布式環(huán)境下每臺(tái)服務(wù)器的負(fù)載均衡。

由于受數(shù)據(jù)存取和計(jì)算能力的限制，因此性能達(dá)到一定程度后反而出現(xiàn)性能下降情況，因此在實(shí)際應(yīng)用過程中需要進(jìn)一步進(jìn)行算法調(diào)優(yōu)。

本文算法涉及分布式環(huán)境下的并行式轉(zhuǎn)換多時(shí)相高分三號(hào)影像數(shù)據(jù)集時(shí)更具優(yōu)勢(shì)。

4結(jié)語(yǔ)

本文通過簡(jiǎn)化計(jì)算公式，提出了一種基于MPI、MapReduce和OpenMP混合編程的高分三號(hào)復(fù)數(shù)散射矩陣數(shù)據(jù)分布式多重并行轉(zhuǎn)換算法。該算法已在地理信息系統(tǒng)開發(fā)平臺(tái)KingMapV10.0上編程實(shí)現(xiàn)并采用實(shí)際數(shù)據(jù)進(jìn)行測(cè)試，驗(yàn)證了算法的高效性、可靠性、準(zhǔn)確性和易擴(kuò)展性。當(dāng)然，本文也存在不足之處，有待支持不同成像模式的多種極化方式數(shù)據(jù)，將在另文討論。

參考文獻(xiàn)

[1]張蕾.數(shù)說“太空全能神探”[EB/OL].（2022-04-08）[2024-01-17].https：//news.gmw.cn/2022-04/08/content_35642673.htm.

[2]張慶君.高分三號(hào)衛(wèi)星總體設(shè)計(jì)與關(guān)鍵技術(shù)[J].測(cè)繪學(xué)報(bào)，2017，46（3）：269-277.

[3]國(guó)家國(guó)防科技工業(yè)局重大專項(xiàng)工程中心，國(guó)家航天局對(duì)地觀測(cè)與數(shù)據(jù)中心.2018中國(guó)高分衛(wèi)星應(yīng)用國(guó)家報(bào)告（標(biāo)準(zhǔn)規(guī)范卷）[M].北京：國(guó)防科工局重大專項(xiàng)工程中心，2018.

[4]國(guó)家國(guó)防科技工業(yè)局重大專項(xiàng)工程中心，國(guó)家航天局對(duì)地觀測(cè)與數(shù)據(jù)中心.2018中國(guó)高分衛(wèi)星應(yīng)用國(guó)家報(bào)告（共性產(chǎn)品卷）[M].北京：國(guó)防科工局重大專項(xiàng)工程中心，2018.

[5]ESA.PolSARpro[EB/OL].（2024-01-17）[2024-01-17].https：//earth.esa.int/web/polsarpro/home.

[6]POTTIERE.PolSARprov6.0（BiomassEdition）Software[EB/OL].（2023-07-01）[2024-01-17].https：//ietr-lab.univ-rennes1.fr/polsarpro-bio/.

[7]陳云，鞠佳衡，林偉木，等.一種高分三號(hào)復(fù)數(shù)散射矩陣數(shù)據(jù)快速轉(zhuǎn)換算法[J].測(cè)繪與空間地理信息，2022，45（3）：50-52.

[8]陳云.基于OpenMP的高分三號(hào)數(shù)據(jù)并行轉(zhuǎn)換算法[J].測(cè)繪與空間地理信息，2022，45（6）：85-86，91，95.

[9]陳云.基于MPI和OpenMP混合編程的高分三號(hào)數(shù)據(jù)分布式并行轉(zhuǎn)換算法[J].測(cè)繪與空間地理信息，2024，47（2）：43-45，49.

[10]陳云.基于MapReduce的VCT3.0多圖層面間接線并行構(gòu)建算法[J].測(cè)繪地理信息，2022，47（3）：157-160.

[11]國(guó)防科工局重大專項(xiàng)工程中心，中國(guó)資源衛(wèi)星應(yīng)用中心.高分三號(hào)衛(wèi)星地面系統(tǒng)用戶手冊(cè)[Z].北京：中國(guó)資源衛(wèi)星應(yīng)用中心，2017：1-39.