基于鄰域約束的大氣偏振模式生成網(wǎng)絡(luò)

程 前，高欣健，高 雋，王 昕，黨天一，嚴(yán) 圓

1 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；

2 合肥工業(yè)大學(xué)圖像信息處理研究室，安徽 合肥 230009

1 引 言

大氣偏振模式是太陽光在大氣傳輸過程中由于大氣的散射、折射和吸收作用而產(chǎn)生的偏振光所形成的特定的偏振態(tài)分布。E-矢量[1](偏振角)作為大氣偏振模式的重要表征因素，其分布具有很強(qiáng)的連續(xù)性，呈現(xiàn)為一種穩(wěn)定的“∞”字形結(jié)構(gòu)，其中蘊(yùn)含的太陽子午線信息是偏振導(dǎo)航[2-5]所依據(jù)的導(dǎo)航基準(zhǔn)。偏振導(dǎo)航以抗電磁干擾、不易累積誤差、不受地理位置限制等優(yōu)勢，有效彌補(bǔ)了常見導(dǎo)航技術(shù)(慣性導(dǎo)航、衛(wèi)星導(dǎo)航、地磁導(dǎo)航等[6-8])的不足，逐漸成為自主導(dǎo)航和組合導(dǎo)航的研究熱點(diǎn)。而在偏振導(dǎo)航方法中，全天空的偏振模式導(dǎo)航相比局部天空偏振模式導(dǎo)航不受獲取裝置與地面的傾角影響，且能有效區(qū)分其180°角度二義性。因此獲取全局大氣偏振信息成為偏振導(dǎo)航的關(guān)鍵環(huán)節(jié)。

大氣偏振信息的獲取都是基于偏振相機(jī)[9-14]的，而偏振相機(jī)由于受限于其本身的物理特性(例如90°的視場角)難以直接獲取全局的大氣偏振模式，因此需要加裝魚眼鏡頭以達(dá)到接近180°的視場角，但這提高了對采集地點(diǎn)空曠程度的要求。實(shí)際情況下大部分采集地點(diǎn)環(huán)境復(fù)雜，存在的遮擋物(建筑、樹木等)會影響偏振相機(jī)對天空偏振光的接收，造成捕獲的大氣偏振信息部分區(qū)域的大氣偏振特征退化(圖1(b))。此外，無云狀態(tài)下晴空大氣以大氣分子Rayleigh 單次散射為主，大氣散射偏振圖景非常穩(wěn)定(圖1(a))，而天空出現(xiàn)的薄云由于自身的多次散射會擾亂局部的大氣偏振光散射過程，觀測點(diǎn)與云層之間的散射光線幾乎全為非偏振光，致使采集的大氣偏振信息產(chǎn)生不規(guī)則區(qū)域失真(圖1(c))。這些退化或失真區(qū)域的無效偏振信息破壞了大氣偏振模式分布的整體結(jié)構(gòu)，限制了其在導(dǎo)航等應(yīng)用中的精度。由于相機(jī)的物理屬性不易改變、實(shí)際遮擋無法避免，因此針對上述問題，需要從信息重構(gòu)的角度，由獲取到的局部有效大氣偏振信息重構(gòu)出全局大氣偏振信息。

圖1 不同遮掩情況下大氣偏振的偏振角分布Fig.1 Polarization angle distribution of the atmospheric polarization under different occlusions

現(xiàn)有的重構(gòu)方法主要分為三類：插值法[15]、基于匹配的樣本塊方法[16-18]、基于深度學(xué)習(xí)的方法[19-29]。傳統(tǒng)的信息重構(gòu)算法往往是基于插值的數(shù)值方法或者基于匹配的樣本塊方法。前者主要是利用鄰近像素點(diǎn)的像素值按照一定規(guī)則來生成新坐標(biāo)點(diǎn)的像素值，當(dāng)缺失的信息較多、局部數(shù)據(jù)分布較為離散時，很難完全重構(gòu)出全局大氣偏振信息。后者需要從背景中尋找相似的匹配塊來補(bǔ)全缺失的部分，這要求待重構(gòu)的圖像的紋理平穩(wěn)，且當(dāng)缺失信息較多時，因?yàn)槿鄙俪渥愕谋尘靶畔⒅率怪貥?gòu)效果相對較差。

基于深度學(xué)習(xí)的方法從一出現(xiàn)就成為了人們關(guān)注的熱點(diǎn)，這類模型的一個顯著優(yōu)點(diǎn)是能夠自適應(yīng)地學(xué)習(xí)不同語義的圖像特征，其中上下文編碼器[19]首次使用了生成對抗網(wǎng)絡(luò)[20]來解決大區(qū)域缺失圖像重構(gòu)問題，展示了深度卷積神經(jīng)網(wǎng)絡(luò)在圖像重構(gòu)任務(wù)中語義學(xué)習(xí)的潛力。Iizuka 等人[21]引入了一種額外的鑒別器來確保局部圖像的相干性。Yan 等人[22]和Yu 等人[23]分別設(shè)計(jì)了特征位移和上下文注意操作，以允許模型從圖像的遙遠(yuǎn)區(qū)域借用特征補(bǔ)丁。Liu 等人[24]設(shè)計(jì)了部分卷積層，Yu 等人[25]在部分卷積的基礎(chǔ)上設(shè)計(jì)了一種門控卷積，以此來更好地修復(fù)各種不規(guī)則的掩蔽的圖像。但是上述這些方法存在大區(qū)域缺失圖像重構(gòu)的語義歧義問題。為此，Xiong 等人[26]和Nazeri 等人[27]提出先填充圖像的輪廓，再進(jìn)行圖像補(bǔ)全的兩步操作，以確保圖像結(jié)構(gòu)一致性。Li 等人[28]添加了逐步重建的邊界圖作為額外的訓(xùn)練目標(biāo)，以協(xié)助U-Net[29]的內(nèi)部繪制過程。這些多步修復(fù)的方法通過添加結(jié)構(gòu)約束來解決缺失圖像的重構(gòu)任務(wù)，在大區(qū)域人臉缺失等自然圖像問題上取得了良好的效果。

但如果將上述神經(jīng)網(wǎng)絡(luò)直接應(yīng)用于大氣偏振領(lǐng)域，會生成與實(shí)際大氣偏振模式分布有很大差異的偏振信息。因?yàn)閷?shí)測中，不同時間、不同地點(diǎn)的大氣偏振模式分布之間存在差異，且薄云、建筑等易造成大氣偏振信息的大區(qū)域失真。而編碼器-解碼器結(jié)構(gòu)的一步式修復(fù)方法(例 如：Context-Encoder[19]、PConv[24]、GatedConv[25]等)假設(shè)缺失圖片具有足夠的信息支持一步式生成全部的缺失內(nèi)容，這種假設(shè)對小區(qū)域或者狹窄區(qū)域缺失是合理的，但是隨著缺失區(qū)域變大，已知信息與缺失區(qū)域中心待重構(gòu)信息的相關(guān)性減弱，對缺失區(qū)域中心約束逐漸放松[30]，因此存在語義歧義、一圖多解的問題，易造成大氣偏振模式分布出現(xiàn)結(jié)構(gòu)錯誤；而先輪廓后內(nèi)容的多步修復(fù)方法(例如：EdgeConnect[27]、PRVS[28]等)借助提取目標(biāo)邊緣、構(gòu)建完整輪廓的步驟增加修復(fù)過程約束，其常用方法是將圖片進(jìn)行灰度處理，再利用圖像梯度算法提取邊緣，但實(shí)測大氣偏振模式的偏振角模值分布規(guī)律是由太陽子午線特征處向兩側(cè)逐步遞減，沒有明顯的數(shù)值跳變，“∞”字形輪廓與背景之間分界模糊，因此難以提取到正確的“∞”字形邊緣，這對后續(xù)構(gòu)建完整輪廓和修復(fù)輪廓內(nèi)容會造成錯誤的引導(dǎo)?，F(xiàn)有的深度學(xué)習(xí)方法不能很好地完成該任務(wù)，本文認(rèn)為其主要原因是：面對大氣偏振模式的大區(qū)域失真，重構(gòu)過程中對缺失區(qū)域中心偏振信息的約束不足。

對此，本文面向大氣偏振模式分布特點(diǎn)(大氣偏振模式分布具有很強(qiáng)的連續(xù)性，該連續(xù)性使大氣偏振信息在鄰域內(nèi)存在相互約束作用)，設(shè)計(jì)了一種鄰域約束大氣偏振模式生成網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)合大氣偏振信息的鄰域約束特性，通過鄰域特征修復(fù)模塊對缺失區(qū)域偏振信息進(jìn)行多步推理，將大氣偏振模式分布的連續(xù)性向缺失區(qū)域中心漸進(jìn)式地傳播，以增加重構(gòu)過程中的約束。此外，針對重構(gòu)中多次的特征推理易積累誤差的問題，本文設(shè)計(jì)了太陽子午線角度損失，通過太陽子午線特征約束器提取生成與真實(shí)兩種大氣偏振模式的太陽子午線特征進(jìn)行相似度對比，指導(dǎo)生成過程，提升重構(gòu)結(jié)果的子午線精度。主要貢獻(xiàn)如下：

1) 針對遮擋條件下大氣偏振模式存在大區(qū)域偏振信息失真，設(shè)計(jì)了一種鄰域約束大氣偏振模式生成網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過多步的鄰域特征推理增加重構(gòu)過程約束，精準(zhǔn)重構(gòu)出全局的大氣偏振信息。

2) 針對重構(gòu)中容易積累誤差，進(jìn)一步提出了太陽子午線角度損失，通過子午線特征相似度對比，指導(dǎo)重構(gòu)過程，提升太陽子午線測量精度。

3) 本文提出了一個模擬不同遮掩情況的掩膜數(shù)據(jù)集，一定程度上解決了局部大氣偏振模式多樣性問題。

2 本文方法

本文將獲取到的大氣偏振特征退化的不規(guī)則區(qū)域的偏振信息視為無效信息，用二進(jìn)制掩膜值為0 的部分覆蓋，以消除無效信息對大氣偏振模式重構(gòu)的影響。并在生成對抗模式的基礎(chǔ)上，設(shè)計(jì)了鄰域約束的大氣偏振模式生成網(wǎng)絡(luò)(NCAPG)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。該網(wǎng)絡(luò)使用下采樣、鄰域特征修復(fù)模塊(NFR)、上采樣的組合作為生成器，通過鄰域特征修復(fù)模塊挖掘大氣偏振模式的連續(xù)性，利用偏振信息的鄰域約束作用進(jìn)行多步鄰域特征推理，生成全局的大氣偏振信息。判別器(D)將生成的大氣偏振信息與真實(shí)的大氣偏振模式進(jìn)行對抗學(xué)習(xí)，輔助生成器生成與真實(shí)分布一致的數(shù)據(jù)。大氣偏振模式特征約束器(APCC)提供太陽子午線角度損失，提升重構(gòu)的大氣偏振模式子午線精度。

圖2 基于鄰域約束的大氣偏振模式生成網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of the atmospheric polarization mode generation based on neighborhood constraints

2.1 鄰域約束性分析與大氣偏振生成器

大氣偏振模式的偏振角分布呈現(xiàn)為一種穩(wěn)定的“∞ ”字形特征，是目前觀測實(shí)驗(yàn)研究發(fā)現(xiàn)的大氣偏振模式分布特征中唯一同時滿足“連續(xù)性、穩(wěn)定性、易測性”等要求的顯著特征。同時，Rayleigh 散射模型是一種基于 Rayleigh 散射原理的經(jīng)典的大氣偏振模式表征方法，該方法通過偏振度和偏振角能準(zhǔn)確表征理想大氣環(huán)境下的大氣偏振模式，其偏振角分布的推理過程如下：當(dāng)太陽坐標(biāo)表示為S(xs,ys,zs)，設(shè)太陽天頂角為 θs，方位角為 φs，高度角為 9 0°-θs。天空中任意一點(diǎn)P(x,y,z)，設(shè)天頂角為θ，方位角為 φ，高度角為9 0°-θ，當(dāng)方位角為φ 時 偏振角 α的理論值為

大氣偏振模式的偏振角分布呈“∞ ”字形，這一分布能夠反映天空中偏振分布的變化特性。當(dāng)設(shè)理論天球半徑為1 時，天球上任意一點(diǎn)P(x,y,z)的空間坐標(biāo)與高度角和方位角的轉(zhuǎn)換關(guān)系為

將式(1)與式(2)進(jìn)行合并推導(dǎo)后得出式(3)：

式(3)是大氣偏振模式“∞ ”字形的二維投影表征方程，該方程是大氣偏振模式等偏振角分布的曲線簇。通過上述理論以及公式可以推導(dǎo)出大氣偏振模式分布具有很強(qiáng)的連續(xù)性，且該連續(xù)性表現(xiàn)為大氣偏振模式偏振角分布的“∞ ”字形結(jié)構(gòu)。因?yàn)榇髿馄衲Ｊ降钠窠菙?shù)值分布遵循“∞ ”字形連續(xù)分布規(guī)律，所以其偏振信息在鄰域內(nèi)存在相互約束作用，即：大氣偏振信息的鄰域約束性。

但是實(shí)際情況下的大氣環(huán)境復(fù)雜，有相關(guān)實(shí)驗(yàn)研究表明，當(dāng)氣溶膠濃度大于一定閾值后(卷積云、層積云、雨、雪、霧等天氣)，粒子的散射次數(shù)大量增加各個方向振動強(qiáng)度趨向均勻，會產(chǎn)生消偏現(xiàn)象，大氣偏振模式不再符合瑞利散射模型，且此時獲取的大氣偏振模式的偏振角分布紊亂，“∞ ”字形區(qū)域完全失真，連續(xù)性消失。因此，本文僅對晴天或薄云天氣條件下的偏振數(shù)據(jù)進(jìn)行重構(gòu)實(shí)驗(yàn)。

大氣偏振模式生成器根據(jù)大氣偏振信息的鄰域約束作用設(shè)計(jì)出鄰域特征修復(fù)模塊，通過多步鄰域特征推理分解大氣偏振信息連續(xù)分布區(qū)域，進(jìn)行多次鄰域內(nèi)的特征約束，將大氣偏振信息連續(xù)分布特性向缺失區(qū)域中心漸進(jìn)式地傳播以增加重構(gòu)過程中的約束。生成器首先通過下采樣將局部大氣偏振模式的有效偏振信息轉(zhuǎn)換到淺層特征層面以減少重構(gòu)計(jì)算復(fù)雜度，然后傳入鄰域特征修復(fù)模塊，經(jīng)過區(qū)域識別進(jìn)行部分卷積操作得到更小缺失的掩膜，將縮小的掩膜區(qū)域作為特征推理階段的目標(biāo)區(qū)域。后將部分卷積后的偏振特征經(jīng)過特征推理完成目標(biāo)區(qū)域的大氣偏振特征修復(fù)。再將當(dāng)前修復(fù)的偏振特征返回至區(qū)域識別部分進(jìn)一步地縮小掩膜的缺失區(qū)域，重復(fù)修復(fù)操作，直至掩膜的缺失區(qū)域全部消失。將多次推理的特征圖進(jìn)行自適應(yīng)融合成完整的特征。最后通過上采樣重構(gòu)出全局大氣偏振模式信息。

鄰域特征修復(fù)模塊包含區(qū)域識別、特征推理和特征融合三大部分，具體結(jié)構(gòu)細(xì)節(jié)如下：

區(qū)域識別部分由兩層部分卷積層構(gòu)成，部分卷積層由特征圖部分卷積操作和二進(jìn)制掩膜部分卷積操作形成，其描述如下：設(shè)F*表示由部分卷積層生成的特征圖，為 該特征圖第z通道中x,y處的特征值。Wz是該層中的第z個卷積核。Fx,y和Mx,y是第z通道中在位置x,y為中心的大小與卷積核相同的特征圖塊和掩碼塊。表 示在位置x,y處的二進(jìn)制掩膜值。然后，部分卷積層計(jì)算的特征值可以表示為

部分卷積層計(jì)算的掩膜值可以表示為

二進(jìn)制掩膜的部分卷積操作能漸進(jìn)地更新局部大氣偏振信息特征的待推理區(qū)域，確保每一步的修復(fù)信息與局部大氣偏振信息具有穩(wěn)定的相關(guān)性。其二進(jìn)制掩膜更新操作如圖3 所示。

圖3 區(qū)域識別的二進(jìn)制掩膜更新原理圖Fig.3 Schematic diagram of the binary mask update for the area recognition

推理生成部分使用U-Net[29]網(wǎng)絡(luò)架構(gòu)，其包含收縮路徑和擴(kuò)展路徑，收縮路徑用于下采樣提取大氣偏振模式高維特征，擴(kuò)展路徑上采樣重建并生成修復(fù)的大氣偏振信息。兩個路徑大體上呈對稱分布，均使用了3 層卷積層，且因?yàn)樗?dú)特的架構(gòu)，將下采樣的每一層的特征圖復(fù)制粘貼到對應(yīng)的上采樣環(huán)節(jié)的特征圖上，這使得網(wǎng)絡(luò)在學(xué)習(xí)到高級語義的同時，有效的保證了擴(kuò)展路徑有足夠的各層次的大氣偏振模式的特征來生成出大氣偏振信息的細(xì)節(jié)，增強(qiáng)了生成器的預(yù)測大氣偏振模式結(jié)構(gòu)的能力。因?yàn)橥评沓龅奶卣麟x上次特征圖邊界越遠(yuǎn)的位置的約束越小，所以將推理出的特征圖與區(qū)域識別模塊更新后的二進(jìn)制掩膜相乘作為本次的特征推理結(jié)果，再將本次推理的結(jié)果返回到區(qū)域識別模塊進(jìn)行下一次的區(qū)域識別和特征推理，直到二進(jìn)制掩膜數(shù)值全部更新為1。

特征融合部分將由特征推理模塊多次修復(fù)的大氣偏振模式特征圖進(jìn)行自適應(yīng)融合，輸出的特征圖的值僅從相應(yīng)位置已被填充的多張?zhí)卣鲌D中取平均值計(jì)算出來。設(shè)表 示由推理模塊生成的第i個 特征圖在z通道x,y處 的特征值，表示與特征圖相對應(yīng)的二進(jìn)制掩膜的值，為 融合后的特征圖在z通道x,y處的特征值。融合部分具體映射關(guān)系如下公式所示：

2.2 判別器

生成器負(fù)責(zé)重構(gòu)出大氣偏振模式的大氣偏振特征退化區(qū)域的偏振信息，但是不能保證生成的偏振信息準(zhǔn)確或與真實(shí)大氣偏振模式一致。為了確保生成的大氣偏振信息更加真實(shí)，使用判別器作為二元分類器來區(qū)分大氣偏振信息是否來自真實(shí)的數(shù)據(jù)分布或由生成器產(chǎn)生的。此外，判別器可與生成器形成對抗關(guān)系，有助于提高生成器生成更真實(shí)圖像的能力，以欺騙判別器。判別器的輸入分為兩類：作為真實(shí)值的真實(shí)大氣偏振信息以及由生成器生成的全局大氣偏振信息，將兩種大氣偏振信息輸入到判別器中，輸出是一個標(biāo)量，表示判別器對生成的全局大氣偏振模式在整體分布上的連續(xù)程度以及與真實(shí)大氣偏振模式信息分布的總體一致程度的評估。

2.3 太陽子午線特征約束與損失函數(shù)

單孔大面積大氣偏振特征丟失區(qū)域的修復(fù)可以利用的有效上下文信息少，此狀況下多步鄰域特征推理雖然能增加重構(gòu)過程的約束，但是隨著特征推理次數(shù)的增加，會積累誤差使重構(gòu)結(jié)果的導(dǎo)航信息產(chǎn)生偏離。

最直接的表現(xiàn)是生成區(qū)域與真實(shí)的大氣偏振模式在內(nèi)容上相近，但是太陽子午線的角度會有所偏差。而大氣偏振模式最顯著的特征是太陽子午線，其相關(guān)應(yīng)用要求減小生成的大氣偏振信息和真實(shí)的大氣偏振信息中太陽子午線之間的夾角，使它們趨向于一致。因此本文提出了關(guān)于大氣偏振模式的太陽子午線特征約束條件-太陽子午線角度損失Lcos：

使用預(yù)訓(xùn)練的AlexNet 模型作為太陽子午線特征約束器(圖2 可見)，提取重構(gòu)的大氣偏振信息和真實(shí)的大氣偏振信息的太陽子午線特征的高維向量，其中Iout是網(wǎng)絡(luò)生成的大氣偏振信息，Igt是 真實(shí)的大氣偏振信息。θ是兩個高維特征向量之間的夾角，?(·)是特征向量提取函數(shù)，通過式(7)和式(8)約束大氣偏振模式的太陽子午線特征，保證生成的太陽子午線相似于真實(shí)情況。

此外，對抗性策略對于訓(xùn)練生成對抗網(wǎng)絡(luò)(GAN)是必要的，通過生成器和判別器之間的動態(tài)博弈，生成網(wǎng)絡(luò)的目標(biāo)是盡量生成真實(shí)的圖片去欺騙判別器，而判別器的目標(biāo)則是盡量判別出真實(shí)圖像和生成器生成的假圖像。而低的對抗性損失意味著生成器有更強(qiáng)大的能力重構(gòu)大氣偏振模式。對抗策略定義為

對抗損失Ladv為

其中：D表示判別器函數(shù)，Igt是來自真實(shí)的數(shù)據(jù)分布中的大氣偏振模式，Iout是生成器生成的全局大氣偏振模式，xPgt指 的是x采樣于真實(shí)的大氣偏振模式數(shù)據(jù)Pgt的 分布，z～Pout指的是z采樣于生成的大氣偏振數(shù)據(jù)Pout的 分布，E(·)表示計(jì)算期望值。

對于像素的重構(gòu)精度的層次，在L1和L2損失之間，選擇了L1損 失函數(shù)，因?yàn)長1損 失相比L2有更好的魯棒性且L1損 失較L2損失具有更小的計(jì)算量。其損失函數(shù)定義為

總的損失函數(shù)是上面所有損失函數(shù)的聯(lián)合，總損失函數(shù)定義如下：

其中：λ1、λ2和 λ3是平衡不同損失影響的權(quán)重。

3 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)中，首先提出了符合多種局部大氣偏振模式的掩膜，通過實(shí)驗(yàn)證明了本文方法的可行性，還與目前最新的重構(gòu)方法進(jìn)行對比實(shí)驗(yàn)，證明了網(wǎng)絡(luò)模型的優(yōu)越性。然后進(jìn)行了消融實(shí)驗(yàn)以分析太陽子午線角度損失的有效性。

3.1 局部大氣偏振模式掩膜

由于大氣偏振模式的采集受到時間、空間、采集設(shè)備數(shù)量的限制，這使得同一時刻下很難直接獲取不同情況的局部大氣偏振模式，導(dǎo)致局部大氣偏振數(shù)據(jù)缺少多樣性。為解決這一問題，本文制作了與大氣偏振模式相匹配的二進(jìn)制掩膜如圖4 所示。通過將某一時刻的大氣偏振模式覆蓋不同掩膜，來模擬這一時刻不同遮掩情況下采集到的有效大氣偏振信息。本文的掩膜包含了A、B、C、D 四種不同的類型，每種類型的掩膜各制作了500 張，分別來模擬不同情況的局部大氣偏振模式。

圖4 大氣偏振模式掩膜Fig.4 Atmospheric polarization mode masks

A 類掩膜在圖片中取隨機(jī)的點(diǎn)；B 類掩膜在圖片中取隨機(jī)的不規(guī)則條狀空缺；C 類掩膜在圖片上取規(guī)則的塊狀空缺；D 類掩膜在圖片上取隨機(jī)的不規(guī)則的塊狀空缺。

3.2 實(shí)驗(yàn)細(xì)節(jié)

在本文中，超參數(shù) λ1、λ2和 λ3被分別設(shè)置為1、2 和1，使用Adam 優(yōu)化器進(jìn)行動量參數(shù)為 β1=0.5,β2=0.998的優(yōu)化，批處理大小為4，學(xué)習(xí)率為0.0003，epoch 為8000，每100 個epoch 線性衰減。Leaky ReLU 的負(fù)斜率設(shè)置為0.2。

實(shí)驗(yàn)環(huán)境的硬件平臺PC 為Intel Core i7-10700F CPU、32 GB 內(nèi)存、Nvidia GeForce GTX 1080Ti，使用的軟件為Pythonv3.8、Pytorchv1.6、CUDNNv9.2、CUDAv10.1 和Matlab2020a。

本文的實(shí)驗(yàn)在與Dang 等人[31]共同提出的大氣偏振模式實(shí)測數(shù)據(jù)集TP1072 上完成，利用Stokes 法，將采集到不同偏振方向的全天空圖像作為Stokes 矢量，計(jì)算得出大氣偏振數(shù)據(jù)(大氣偏振E 矢量分布圖)。并將處理后的大氣偏振數(shù)據(jù)中的70%數(shù)據(jù)用作訓(xùn)練，30%用作測試。

3.3 網(wǎng)絡(luò)可行性分析

因?yàn)槠駥?dǎo)航的航向角是由太陽子午線與自身航向的相對夾角和子午線與地理正北的夾角計(jì)算得到，所以大氣偏振模式中太陽子午線的位置直接決定了偏振導(dǎo)航的精度。因此，本文先定量分析了不同占比、不同形狀的遮掩下大氣偏振信息對太陽子午線精度的影響，再分析經(jīng)本文網(wǎng)絡(luò)重構(gòu)后結(jié)果，并與重構(gòu)前的大氣偏振信息的太陽子午線進(jìn)行精度對比，以驗(yàn)證網(wǎng)絡(luò)的可行性。網(wǎng)絡(luò)模型在實(shí)測數(shù)據(jù)集進(jìn)行了訓(xùn)練，并在測試集上進(jìn)行了驗(yàn)證，確保實(shí)驗(yàn)可靠。

不規(guī)則區(qū)域偏振信息的缺失，破壞了大氣偏振模式“∞ ”字形分布的對稱性，而太陽子午線的定位，依賴其中偏振角數(shù)值的分布的對稱軸的檢測，因此，偏振信息的缺失會影響到太陽子午線的精度。本文在測試集中，選取了10%、20%、30%、40%、50%五種占比的點(diǎn)狀，條狀和塊狀(包含規(guī)則和不規(guī)則)遮掩的局部大氣偏振數(shù)據(jù)，通過大氣偏振模式偏振角圖像對稱性檢測的方法確定太陽子午線位置，并與真實(shí)的全局大氣偏振模式的子午線對比求解角度誤差，衡量遮掩時的局部大氣偏振模式對太陽子午線精度的影響。由圖5 可知，整體趨勢上塊狀遮掩對子午線精度的影響最大，點(diǎn)狀與條狀遮掩對子午線精度的影響相當(dāng)，當(dāng)遮掩占比超出30%時太陽子午線的角度誤差急速增大，在遮掩占比為50%時四種類型遮掩下角度誤差都超過了7°，而不規(guī)則塊狀遮掩對子午線精度的影響達(dá)到11.25°。

圖5 不同遮掩類型下太陽子午線角度誤差結(jié)果Fig.5 Angular error results of the solar meridian under different masking types

通過鄰域約束的大氣偏振模式生成網(wǎng)絡(luò)對上述分析的測試集中相同局部大氣偏振數(shù)據(jù)進(jìn)行重構(gòu)，部分重構(gòu)結(jié)果如圖6 所示。觀察、比較圖6 中四種類型的局部大氣偏振信息的重構(gòu)結(jié)果：A 類(點(diǎn)狀遮掩)重構(gòu)效果最好，B 類(條狀遮掩)效果次之，C 類和D 類(塊狀遮掩)的差異圖更為明顯。這是因?yàn)辄c(diǎn)狀和條狀的遮掩較為離散，同等遮掩面積下具有更多鄰域偏振信息，重構(gòu)時的約束增加，致使表現(xiàn)更好。但總體來看四種類型的局部大氣偏振模式的重構(gòu)結(jié)果的整體結(jié)構(gòu)完整，都接近于真實(shí)的全局大氣偏振模式，且重構(gòu)結(jié)果與真實(shí)的全局大氣偏振模式差異較小。

圖6 實(shí)測大氣偏振模式重構(gòu)結(jié)果Fig.6 Reconstruction result of measured atmospheric polarization mode

此外，將重構(gòu)后的大氣偏振模式進(jìn)行對稱性檢測，定位太陽子午線，獲取與真實(shí)大氣偏振模式子午線的角度誤差，并與重構(gòu)前的角度誤差進(jìn)行比較。由圖7知，經(jīng)本文網(wǎng)絡(luò)重構(gòu)后大氣偏振模式的子午線角度誤差與重構(gòu)前大氣偏振模式的子午線角度誤差相比有明顯下降，且隨著遮掩占比增大趨近平穩(wěn)。其中，四種類型遮掩的占比低于30%時，因?yàn)槠裥畔⑷笔Р欢?，重?gòu)前的偏振信息也能完成基本的定位，因此重構(gòu)后角度誤差僅出現(xiàn)1°到2°小幅度降低；超過30%時，由于大氣偏振模式的“∞ ”字形結(jié)構(gòu)被破壞嚴(yán)重，太陽子午線的定位困難，而重構(gòu)后的偏振信息可以有效輔助定位，使誤差大幅降低2°到6°，其中占比50%的不規(guī)則塊狀遮掩的角度誤差最大降低了6.84。上述實(shí)驗(yàn)表明重構(gòu)后的大氣偏振數(shù)據(jù)與真實(shí)的大氣偏振模式差異較小，且有效降低了太陽子午線角度誤差，提升了子午線精度，驗(yàn)證了本文方法可行性。

圖7 重構(gòu)前后太陽子午線角度誤差對比圖Fig.7 Comparison of the solar meridian angle error before and after reconstruction

3.4 定性分析

為了分析大氣偏振模式的重構(gòu)效果，將本文方法(NCAPG)與一些最新的計(jì)算機(jī)視覺領(lǐng)域的重構(gòu)網(wǎng)絡(luò)Context-Encoder (Pathak 等[19])、PConv (Liu 等[24])和PRVS (Li 等[28])網(wǎng)絡(luò)進(jìn)行比較。圖8 中展示了四種不同類型的局部大氣偏振信息的重構(gòu)結(jié)果。其中第一列是輸入的局部大氣偏振信息，第二列是真實(shí)的全局大氣偏振信息，第三列是Context-Encoder 的結(jié)果，第四列和第五列分別是PConv 和PRVS 結(jié)果，第六列是本文網(wǎng)絡(luò)用普通卷積層替換鄰域特征推理模塊(NCAPG without NFR)的結(jié)果，第七列是本文網(wǎng)絡(luò)缺少太陽子午線特征約束器(NCAPG without APCC)的結(jié)果，最后一列是本文方法(NCAPG)結(jié)果。實(shí)驗(yàn)在相同的實(shí)驗(yàn)環(huán)境中使用的實(shí)測大氣偏振角表征圖進(jìn)行訓(xùn)練、測試。

比較Context-Encoder、PConv、PRVS 和本文網(wǎng)絡(luò)(NCAPG)結(jié)果，圖8 第一行不規(guī)則塊狀缺失和第二行規(guī)則塊狀缺失下，普通深度學(xué)習(xí)方法(Context-Encoder、PConv、PRVS)沒有正確重構(gòu)出缺失中心區(qū)域的偏振內(nèi)容，整體大氣偏振信息分布結(jié)構(gòu)不連續(xù)。本文的模型(NCAPG)重構(gòu)的大氣偏振信息整體結(jié)構(gòu)準(zhǔn)確，太陽子午線(紅色條形框圈出部分)連續(xù)，更近似于真實(shí)大氣偏振信息。圖8 第三行不規(guī)則條狀缺失和第四行不規(guī)則點(diǎn)狀缺失下，普通深度學(xué)習(xí)方法基本重構(gòu)出大氣偏振信息的整體結(jié)構(gòu)，但是其中Context-Encoder 太陽子午線斷裂，PConv 太陽子午線扭曲變形，PRVS 結(jié)果存在掩膜邊緣偽影。本文的模型(NCAPG)重構(gòu)結(jié)果細(xì)節(jié)清晰，結(jié)構(gòu)精準(zhǔn)，子午線平緩連續(xù)。實(shí)驗(yàn)證明，結(jié)合大氣偏振鄰域約束的本文網(wǎng)絡(luò)在多種局部大氣偏振信息的重構(gòu)效果上優(yōu)于一般的深度學(xué)習(xí)算法。

圖8 不同重構(gòu)方法結(jié)果對比Fig.8 Comparison of the results of different reconstruction methods

此外，對比NCAPG without NFR 和NCAPG 在遮掩面積較大的第一、二行中結(jié)果，用普通卷積層替換鄰域特征推理模塊的網(wǎng)絡(luò)由于重構(gòu)過程缺少約束，生成的大氣偏振信息結(jié)構(gòu)發(fā)生錯誤，沒能重構(gòu)出太陽子午線，不能提供偏振導(dǎo)航信息；對比NCAPG without APCC 和NCAPG 在遮掩面積較大的第一、二行中結(jié)果，缺失太陽子午線特征約束器模型(NCAPG without APCC)雖然完整重構(gòu)出具有連續(xù)太陽子午線全局大氣偏振信息，但是相比于本文網(wǎng)絡(luò)(NCAPG)結(jié)果，子午線發(fā)生了變形、錯位。

3.5 定量分析

為了定量地評估生成結(jié)果，引入了三個指標(biāo)，即峰值信噪比(PSNR)、結(jié)構(gòu)相似度指數(shù)(SSIM)和最小均方誤差(MSE)。PSNR 是最常用和應(yīng)用最廣泛的圖像客觀評價指標(biāo)，它基于相應(yīng)像素之間的誤差，即基于誤差敏感的圖像質(zhì)量評價。SSIM 從亮度、對比度和結(jié)構(gòu)三個方面評估兩幅圖片整體的相似性，SSIM值范圍為[0,1]。對于大氣偏振重構(gòu)任務(wù)，PSNR 和SSIM 得分越高，MSE 得分越低，代表該模型的性能就越好。A、B、C、D 四類掩膜中各自隨機(jī)選取了遮掩占比10%、20%、30%、40%和50%的10 張不同的掩膜，測試不同模型在相同的實(shí)驗(yàn)環(huán)境中重構(gòu)各種大氣偏振信息遮掩類型結(jié)果的平均指標(biāo)。

表1 為定量比較的分析結(jié)果，使用了相同的訓(xùn)練、測試集，對比分析了Context-Encoder、PConv、PRVS、NCAPG without NFR 和本文模型(NCAPG)在四種不同類型的掩蔽下的生成結(jié)果的PSNR、SSIM 和MSE指標(biāo)。通過表1 中結(jié)果可知：本文的模型在PSNR和MSE 指標(biāo)均領(lǐng)先Context-Encoder、PConv 和PRVS三種模型的情況下，SSIM 仍能有較好的表現(xiàn)。此外，還進(jìn)行了模塊消融分析，本文的模型(NCAPG)比較用普通卷積層替換鄰域特征推理模塊的本文網(wǎng)絡(luò)(NCAPG without NFR)，結(jié)果顯示加入鄰域特征推理模塊的網(wǎng)絡(luò)在PSNR、SSIM 和MSE 指標(biāo)上均有提升，且在C 類、D 類遮掩的情況下有較為顯著的提升。這證明多步的鄰域特征推理能幫助模型更好地生成全局大氣偏振信息，尤其面對單塊較大區(qū)域偏振信息的缺失時重構(gòu)約束增加，效果提升明顯。

表1 不同重構(gòu)方法結(jié)果定量分析Table 1 Quantitative analysis of the results of different reconstruction methods

3.6 消融實(shí)驗(yàn)

在同一實(shí)驗(yàn)環(huán)境中，使用本文模型(NCAPG)和缺少太陽子午線特征約束器的模型(NCPAPG without APCC)對尺寸依次遞增的圓形缺失的大氣偏振信息進(jìn)行重構(gòu)(在同等面積遮掩中，圓形塊狀遮掩的局部大氣偏振信息可利用的邊界附近的鄰域偏振信息最少，更能體現(xiàn)太陽子午線特征約束器的效果)，比較太陽子午線特征約束器對生成結(jié)果的影響。圖9 是消融結(jié)果圖，圖中第二行從左到右分別是缺失10%、20%、30%、40%和50%區(qū)域的大氣偏振信息。第三行是本文方法缺少太陽子午線特征約束器(NCAPG without APCC)的重構(gòu)結(jié)果，第四行是NCAPG without APCC重構(gòu)結(jié)果與真實(shí)大氣偏振模式的差，第五行NCAPG的重構(gòu)結(jié)果，第六行是NCAPG 重構(gòu)結(jié)果與真實(shí)大氣偏振模式的差。

對比圖9 中的第三行和第五行結(jié)果可知：缺少太陽子午線特征約束器模型因?yàn)榇髤^(qū)域遮掩時特征推理次數(shù)的增加而積累誤差，重構(gòu)結(jié)果的太陽子午線隨著遮掩面積占比的增加出現(xiàn)產(chǎn)生扭曲、形變，在遮掩面積占比為40%時太陽子午線出現(xiàn)較為明顯的扭曲，在遮掩面積占比為50%時不僅子午線變形，重構(gòu)區(qū)域結(jié)構(gòu)發(fā)生明顯變化。而本文模型具有太陽子午線角度損失對多步推理重構(gòu)進(jìn)行修正，在遮掩面積占比為40%和50%時重構(gòu)結(jié)果并未出現(xiàn)明顯的太陽子午線扭曲。對比圖9 中的第四行和第六行結(jié)果，因?yàn)樽游缇€的扭曲逐漸加重，在遮掩面積占比為50%時，缺少太陽子午線約束器模型與真實(shí)的大氣偏振模式的差異明顯。

圖9 太陽子午線約束器消融結(jié)果Fig.9 Constrained ablation results of the solar meridian

大氣偏振模式具有不同的物理性質(zhì)，對偏振的物理性質(zhì)沒有全面的測量指標(biāo)。因此，本文對模型從物理性質(zhì)應(yīng)用的角度進(jìn)行了評估，采用了趙匯潔[4]等人提出的方法利用太陽子午線特征求解航向的角度，將實(shí)際航向角度與重構(gòu)結(jié)果計(jì)算出的航向角度進(jìn)行比較。從物理應(yīng)用的角度來評價該模型。各模型重構(gòu)結(jié)果的導(dǎo)航角度誤差結(jié)果如表2 所示。

從表中數(shù)據(jù)可以看出，在不同的大氣偏振信息遮掩面積占比的情況下，本文模型的重構(gòu)結(jié)果一直保持導(dǎo)航角度誤差最小，PConv 的誤差最大。一般的網(wǎng)絡(luò)模型只學(xué)習(xí)了大氣偏振模式的顏色和紋理，其生成結(jié)果會遺漏大氣偏振模式物理特性。在表2 中對比NCAPG without APCC 和NCAPG 可以看出，太陽子午線特征約束器可以提高模型對大氣偏振模式物理特征的學(xué)習(xí)能力，減少多步鄰域特征推理積累誤差對導(dǎo)航精準(zhǔn)度的影響，尤其在遮掩面積較大時(例如遮掩占比40%和50%)導(dǎo)航角度誤差顯著降低。實(shí)驗(yàn)結(jié)果證明了本文方法能準(zhǔn)確重構(gòu)出全局大氣偏振信息，且太陽子午線角度損失(由太陽子午線特征約束器提供)能夠提升重構(gòu)出的全局大氣偏振信息的太陽子午線精度。

表2 不同重構(gòu)方法結(jié)果的導(dǎo)航角度誤差對比Table 2 Comparison of navigation angle errors of different reconstruction methods

3.7 討論

本文在確定各項(xiàng)損失函數(shù)權(quán)重參數(shù)時，參考了甘[32]等人的基于有限樣本大氣偏振模式生成網(wǎng)絡(luò)中關(guān)于L1損失權(quán)重 λ1和 對抗損失權(quán)重 λ3的設(shè)置，于是本文重點(diǎn)探究太陽子午線角度損失權(quán)重 λ2的不同取值對本文網(wǎng)絡(luò)性能的影響。如圖10 所示，橫軸為 λ2的不同取值，縱軸為本文網(wǎng)絡(luò)重構(gòu)后大氣偏振圖像的SSIM 得分。(模型在黨[31]等人提出的TP1072 實(shí)測大氣偏振數(shù)據(jù)集中進(jìn)行調(diào)參訓(xùn)練，然后在10%、20%、30%、40%和50%占比四種類型的掩膜遮掩的局部大氣偏振數(shù)據(jù)上進(jìn)行測試，測試后結(jié)果的SSIM 得分取平均值作為最后的得分指標(biāo))。從圖10 中可以看出，λ2取值的變化確實(shí)會影響本文方法的性能，當(dāng) λ2=2 時，生成圖像的SSIM 分?jǐn)?shù)最高、圖像質(zhì)量最好，故本文中設(shè)置 λ2=2。

圖10 不同 λ2 取值對本文方法性能的影響Fig.10 Influence of different values of λ2 on the performance of this method

4 結(jié) 論

綜上所述，針對實(shí)際采集的大氣偏振信息存在不規(guī)則區(qū)域大氣偏振特征退化的問題，本文設(shè)計(jì)了一種基于鄰域約束的大氣偏振模式生成網(wǎng)絡(luò)，通過挖掘大氣偏振模式分布的連續(xù)性，利用多步鄰域特征推理增加重構(gòu)約束，精準(zhǔn)生成全局的大氣偏振信息。其次結(jié)合大氣偏振模式物理特性，提出了有關(guān)大氣偏振模式太陽子午線特征的物理約束條件-太陽子午線角度損失，進(jìn)一步地提升生成的大氣偏振模式導(dǎo)航信息的準(zhǔn)確性。最后為增加局部大氣偏振信息的多樣性，制作了模擬局部大氣偏振信息的掩膜數(shù)據(jù)集，以增加實(shí)驗(yàn)可靠性。實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的基于鄰域約束的大氣偏振模式生成網(wǎng)絡(luò)可以較好地完成從局部有效大氣偏振信息重構(gòu)出全局大氣偏振信息的任務(wù)，并且有力地保障了重構(gòu)出的大氣偏振模式導(dǎo)航信息的準(zhǔn)確度。實(shí)驗(yàn)結(jié)果證明了本文所設(shè)計(jì)網(wǎng)絡(luò)的可行性、優(yōu)越性及魯棒性，本文研究對后續(xù)偏振信息的獲取及處理具有長遠(yuǎn)的意義。