基于大數(shù)據(jù)并行技術(shù)下的衛(wèi)星遙感大氣場景仿真設(shè)計(jì)與實(shí)現(xiàn)*

河南大學(xué)民生學(xué)院 袁帥

隨著我國遙感仿真技術(shù)的快速發(fā)展,不僅遙感信息模型趨于復(fù)雜化,衛(wèi)星遙感的數(shù)據(jù)量也呈指數(shù)級形式的快速增長,在全鏈路遙感衛(wèi)星仿真的各個環(huán)節(jié)中,大氣輻射傳輸仿真作為成像的重要環(huán)節(jié),其過程復(fù)雜度和海量數(shù)據(jù)處理的特性一直客觀存在,其仿真速度的快慢直接影響到全鏈路仿真效率的高低,本文從算法和大數(shù)據(jù)并行的角度對這一問題進(jìn)行處理,取得了一定的實(shí)際效果。

0 引言

在可見光近紅外波段,考慮光譜成像仿真中大氣對地物輻射的影響,利用大氣輻射模擬計(jì)算模型MODTRAN,并結(jié)合簡化的大氣輻射傳輸輻射亮度計(jì)算方程,模擬出大氣條件影響下的光譜成像。在熱紅外波段,根據(jù)輻射傳輸方程,利用MODTRAN模擬結(jié)果擬合得到大氣輻射模擬的近似表達(dá)[1],海量的遙感大氣數(shù)據(jù)都需要通過MODTRAN模型計(jì)算得出,本文針對這一主要流程特點(diǎn)做出了一定的改變,其流程圖如圖1所示:

圖1 大氣輻射傳輸模擬流程圖Fig.1 Flow chart of atmospheric radiative transfer simulation

1 算法與流程的設(shè)計(jì)說明

1.1 大氣輻射傳輸模擬關(guān)鍵流程說明

常用的大氣輻射傳輸模型為美國空軍地球物理實(shí)驗(yàn)室(AFGL)主編的中分辨率大氣輻射傳輸模型(MODTRAN),此模型覆蓋了0～22600cm-1(即波長0.44μm～∞)的光譜范圍,并考慮大氣多次散射效應(yīng),是國際公認(rèn)的高準(zhǔn)確度計(jì)算模型[2]。

在衛(wèi)星在成像時刻,場景中的每一個像元的大氣環(huán)境條件近似相同,因此可以利用簡化計(jì)算模型替代成像時刻MODTRAN模型去仿真相同環(huán)境下的大氣輻射傳輸,進(jìn)一步利用查找表技術(shù)解決場景中相同像元重復(fù)計(jì)算問題[3]。

本文在MODTRAN中針對百萬級單像元做Hadoop并發(fā),用以提高效率。

1.2 關(guān)鍵算法說明

MODTRAN計(jì)算模型對單個像元的入瞳輻射亮度計(jì)算需要耗時大,對于一個遙感成像仿真場景,通常需要仿真的像元個數(shù)都以百萬計(jì),若利用MODTRAN模型對場景中的每個像元進(jìn)行輻射亮度計(jì)算,其計(jì)算速度不能滿足實(shí)際應(yīng)用的要求。

MODTRAN中算法是基于單個像元反射率計(jì)算入瞳輻射能量,在衛(wèi)星成像場景大氣輻射仿真中,此種計(jì)算方法的耗時之處如下:(1)相鄰像元間的大氣環(huán)境基本相同,即大氣程輻射和漫反射輻射相同,導(dǎo)致重復(fù)計(jì)算;(2)成像場景中存在大量的相同反射率的像元,其地表輻射相同,導(dǎo)致重復(fù)計(jì)算。因此,為了滿足衛(wèi)星大場景成像的速度要求,本文使用一種快速準(zhǔn)確的大氣輻射傳輸仿真方法。

在衛(wèi)星在成像時刻,場景中的每一個像元的大氣環(huán)境條件近似相同,因此可以利用簡化計(jì)算模型替代成像時刻MODTRAN模型去仿真相同環(huán)境下的大氣輻射傳輸,進(jìn)一步利用查找表技術(shù)解決場景中相同像元重復(fù)計(jì)算問題。

在陸表大氣輻射傳輸快速仿真處理流程中,該模塊首先利用輻射模型計(jì)算簡化模型的參數(shù),然后根據(jù)待仿真的傳感器通道信息,建立波段、反射率和入瞳輻射亮度的快速映射查找表,最后通過快速映射表對待仿真的場景進(jìn)行處理,獲得場景入瞳輻亮度圖。

實(shí)際計(jì)算過程中,簡化的MODTRAN模型里像元間的輻射亮度計(jì)算流程是互相獨(dú)立的,每一個線程都是首先設(shè)置大氣狀況參數(shù)、幾何條件參數(shù)、光譜信息參數(shù)、反射率參數(shù)等參數(shù)并寫入tape5文件(為了兼容MODTRAN),然后運(yùn)行大氣輻射傳輸模型,利用模型模擬出所設(shè)置波段范圍內(nèi)的各個波長下的輻射亮度,并輸出在tape7(為了兼容MODTRAN)文件中[4]。針對此情況,每一個像元計(jì)算開辟的獨(dú)立線程做多線程并發(fā)管理,map函數(shù)中鍵值Key采用(MODTRAN,<經(jīng)度,緯度,日期>)的方式進(jìn)行設(shè)計(jì)和管理,tape5文件文件中所有像元參數(shù)數(shù)值均會對應(yīng)日期標(biāo)準(zhǔn)寫入環(huán)形內(nèi)存緩沖,當(dāng)Key-LST值出現(xiàn)null或0時進(jìn)行篩選過濾,方便二次查詢。使用心跳周期的TaskTracker通過RPC協(xié)議匯報(bào)給JobTracker,經(jīng)過調(diào)配給各個計(jì)算節(jié)點(diǎn)分配運(yùn)算,最終利用哈希函數(shù)按經(jīng)緯度時間參數(shù)來進(jìn)行鍵值中對應(yīng)的規(guī)約合并,快速完成輸出文件的合并,以HDFS形式輸出在tape7文件中完成簡化MODTRAN模型的關(guān)鍵流程。

在可見光近紅外通道,大氣頂層的輻亮度一般可以采用以下簡化模型表示:

其中Lλ(x)表示傳感器接收的地物反射的總輻射;ρ(x)表示目標(biāo)反射率;ρb(x)表示背景反射率;Sλ表示大氣球面反照率;Aλ為太陽下行總輻射經(jīng)目標(biāo)反射到達(dá)大氣層頂?shù)妮椛湄暙I(xiàn)系數(shù);Bλ為太陽下行總輻射經(jīng)背景反射到達(dá)大氣層頂?shù)妮椛湄暙I(xiàn)系數(shù);Cλ太陽下行總輻射經(jīng)大氣散射到達(dá)大氣層頂?shù)妮椛湄暙I(xiàn)系數(shù)。統(tǒng)稱Sλ、Aλ、Bλ、Cλ四個待求解未知數(shù)為“路徑參數(shù)”。除此之外,上面的方程可改寫為:

至此四個“路徑參數(shù)”已被求解出來,從而可以確定在所設(shè)置頻譜范圍內(nèi)的各個波長下的大氣傳輸方程具體形式。此時任意給出一個反射率,可以通過此方程求解出對應(yīng)的大氣頂層入瞳輻射亮度值。

地表產(chǎn)生的熱輻射在經(jīng)過大氣時,受大氣分子(主要為水汽)吸收和散射的影響,到達(dá)傳感器入瞳處時能量被削弱;而大氣本身作為一個輻射源,它同時向上和向下輻射熱量。向下的大氣輻射經(jīng)過地表反射、大氣吸收到達(dá)大氣頂層,與大氣向上的輻射耦合在一起,這樣又增加了傳感器入瞳處的能量。假設(shè)大氣無湍流且水平分布均勻,傳感器垂直下視,地表朗伯近似,地表組分為線性混合根據(jù)輻射傳輸方程,則傳感器接收到的熱紅外輻射亮度為:

式中,Lsensor—衛(wèi)星入瞳處組分k的表觀輻亮度,單位:Wm-2sr-1μm-1,Pi為地表組分i在視場內(nèi)所占比例,εi為組分i的發(fā)射率,B(Ti)為組分i的黑體輻射,Ti為組分地表溫度,Lup為大氣上行輻射,Ldown為大氣下行輻射,τ為大氣透過率。考慮傳感器光譜響應(yīng)函數(shù)f(λ),上式各參數(shù)等效算式如下:

(1)光譜響應(yīng)函數(shù)f(λ)的解析表達(dá)。用高斯三角濾波器(Caussian-Triangular filter,GT filter)來模擬傳感器的通道響應(yīng)函數(shù)f(λ)。通過確定傳感器通道半波寬(FWHM), f(λ)可表示為:

2 實(shí)現(xiàn)效果與分析

本仿真實(shí)驗(yàn)數(shù)據(jù)選用“高分六號衛(wèi)星”2019年上半年京津冀區(qū)域原始數(shù)據(jù)約2T,計(jì)算平臺為英特爾Pentium雙核 E6600配置的計(jì)算機(jī)平臺。

表1給出了本方法和MODTRAN4的仿真時間對比,從表中可以看出傳統(tǒng)的MODTRAN4的逐點(diǎn)仿真耗時約為本文方法的16倍。對于本實(shí)驗(yàn)數(shù)據(jù)場場景,本文的仿真耗時為17h,而MODTRAN4方法耗時高達(dá)285小時。

表1 運(yùn)行時間對比表Tab.1 Comparison table of time operation

3 結(jié)語

嘗試性的針對海量大氣遙感數(shù)據(jù)進(jìn)行生產(chǎn)處理,基于Hadoop平臺自身服務(wù)對自身節(jié)點(diǎn)數(shù)沒有明顯限制的特性,可以方便進(jìn)行多節(jié)點(diǎn)并行測試,并使用HDFS策略進(jìn)行存儲,達(dá)到了較為高效的處理目的。

本設(shè)計(jì)方法也有一定缺陷,如當(dāng)遙感數(shù)據(jù)量很小的時候,并行處理的信息傳輸機(jī)制反而沒有直接進(jìn)行大規(guī)模像元計(jì)算效率要高。由于算法的原因,當(dāng)遙感數(shù)據(jù)圖像中云或氣溶膠影響較大時,對產(chǎn)品結(jié)果本身精度也會產(chǎn)生一定的影響。

引用

[1] 郝禹.氣象數(shù)據(jù)網(wǎng)絡(luò)中權(quán)重緩存算法與緩存查詢優(yōu)化研究[D].南京:南京信息工程大學(xué),2018.

[2] 章永杰,徐振亞,李建勛.飛機(jī)紅外高光譜圖像仿真模型研究[J].航空兵器,2020,27(4):91-96.

[3] 陳川.高分辨率遙感成像仿真關(guān)鍵技術(shù)研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2018.

[4]張慧敏.遙感成像大氣輻射傳輸快速仿真與實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2016.