深度學(xué)習(xí)偏振圖像融合研究現(xiàn)狀

段 錦，張 昊，宋靖遠，劉 舉

（長春理工大學(xué) 電子信息工程學(xué)院，吉林 長春 130022）

0 引言

偏振圖像融合旨在將偏振信息融入傳統(tǒng)光譜信息，將不同模態(tài)圖像中的優(yōu)勢信息相結(jié)合，以改善圖像整體質(zhì)量。按融合方法進行分類，主要包括傳統(tǒng)方法[1]和深度學(xué)習(xí)方法[2]。傳統(tǒng)融合方法應(yīng)用范圍廣泛且整體效果較好，但由于通常對源圖像采用相同變換方法且需要手動設(shè)計融合策略，因此具有一定的局限性。近年來，深度學(xué)習(xí)得到迅速發(fā)展，其技術(shù)方法也擴展到偏振圖像融合領(lǐng)域?；谏疃葘W(xué)習(xí)的偏振圖像融合方法具有較多優(yōu)勢，融合網(wǎng)絡(luò)能夠充分地提取圖像特征，特定設(shè)計的損失函數(shù)可以合理融合特征并為網(wǎng)絡(luò)訓(xùn)練提供指導(dǎo)。同時，大量數(shù)據(jù)訓(xùn)練得到的網(wǎng)絡(luò)模型，更有利于獲得理想的融合效果。

19 世紀(jì)以來，偏振探測技術(shù)得到快速發(fā)展。偏振與波長、振幅和相位一起構(gòu)成電磁波的特征，同屬于光的重要屬性。當(dāng)電磁波在地表或大氣中發(fā)生反射、散射、透射和輻射時，會產(chǎn)生與目標(biāo)特性相關(guān)且能夠用于分析的目標(biāo)形狀、表面粗糙度以及紋理特征等偏振信息。傳統(tǒng)的成像設(shè)備通常將光強和光譜信息編碼為亮度和波長，并未利用偏振信息，因而在某些場景下無法從更完整的角度反映目標(biāo)信息。而偏振成像技術(shù)則可以充分繪制場景的偏振狀態(tài)，偏振維度信息可以在一定程度上彌補強度和光譜成像的不足，能夠有效增強對目標(biāo)的探測識別能力[3-4]。利用偏振探測系統(tǒng)可以獲得光強圖像和偏振圖像，通過融合方法則能夠明顯地改善圖像的紋理細節(jié)、對比度和分辨率等特征。鑒于以上優(yōu)勢，偏振圖像融合的相關(guān)研究在計算機視覺、空間遙感、醫(yī)學(xué)圖像處理、軍事安全等領(lǐng)域都得到廣泛應(yīng)用[5-8]。

隨著偏振基礎(chǔ)理論和探測裝置的不斷發(fā)展，偏振圖像融合領(lǐng)域的研究內(nèi)容更加豐富。特別是深度學(xué)習(xí)的出現(xiàn)和應(yīng)用，為該領(lǐng)域的研究提供了新方向和新動力。深度學(xué)習(xí)的偏振圖像融合方法主要基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）和生成對抗網(wǎng)絡(luò)（generative adversarial networks，GAN）進行設(shè)計。本文在回顧了基于多尺度變換、稀疏表示和偽彩色等傳統(tǒng)偏振圖像融合方法基礎(chǔ)上，重點介紹了基于深度學(xué)習(xí)的偏振圖像融合方法研究進展，并給出在目標(biāo)檢測、語義分割、圖像去霧和三維重建任務(wù)中的相關(guān)應(yīng)用，同時整理了已經(jīng)公開的偏振圖像數(shù)據(jù)集。

1 傳統(tǒng)偏振融合方法

1.1 基于多尺度變換

基于多尺度變換（multi-scale transform，MST）的偏振圖像融合方法研究開始較早且應(yīng)用廣泛。2016年，中北大學(xué)提出一種紅外偏振與強度圖像融合算法[9]，融合結(jié)果能夠保留紅外強度圖像的全部特征和大部分偏振圖像的特征。2017年，文獻[10]提出一種基于離散小波變換（discrete wavelet transform，DWT）、非下采樣輪廓波變換（nonsubsampled contourlet transform，NSCT）以及改進主成分分析（principal component analysis，PCA）的多算法協(xié)同組合的融合方法，該方法考慮到了3 種算法的互補協(xié)同關(guān)系，能夠充分保留源圖像的重要目標(biāo)和細節(jié)信息。2020年，文獻[11]提出一種基于小波和輪廓波變換的偏振圖像融合算法，解決了信息保留不充分、偏振圖像干擾視覺觀察和紋理細節(jié)不理想等問題。同年，文獻[12]針對中波紅外偏振圖像特點，提出一種基于小波變換的融合方法，根據(jù)圖像的高低頻特點選擇不同的融合規(guī)則，獲得了高分辨率的融合圖像。2022年，文獻[13]提出一種水下偏振圖像融合算法，融合圖像具有突出的細節(jié)和更高的清晰度。2023年，文獻[14]提出一種多尺度結(jié)構(gòu)分解的圖像融合方法，將紅外圖像和偏振圖像分解為平均強度、信號強度和信號結(jié)構(gòu)并分別采用不同的融合策略，實驗結(jié)果能保留更多的紋理細節(jié)，對比度得到有效提升并抑制偽影。

1.2 基于稀疏表示

基于稀疏表示（sparse representation，SR）的融合方法主要利用偏振圖像稀疏性，將圖像分解為基礎(chǔ)矩陣和稀疏系數(shù)矩陣后，再利用逆稀疏性原理進行重構(gòu)，能夠?qū)崿F(xiàn)偏振信息和空間信息的充分融合。2015年，文獻[15]將MST 和SR 相結(jié)合提出一種通用的圖像融合框架，然后在多聚焦、可見光和紅外以及醫(yī)學(xué)圖像融合任務(wù)中進行驗證，并與6 種多尺度分析方法的融合效果進行比較。2017年，天津大學(xué)提出一種基于雙樹復(fù)小波變換（dual-tree complex wavelet transform，DTCWT）和SR 的偏振圖像融合方法[16]。利用絕對值最大值策略融合高頻部分，低頻部分則利用稀疏系數(shù)的位置信息判斷共有特征和特有特征，并分別制定相應(yīng)策略，融合圖像具有較高對比度和細節(jié)信息。2021年，文獻[17]提出一種雙變量二維的經(jīng)驗?zāi)B(tài)分解和稀疏表示相結(jié)合的紅外偏振圖像融合方法。通過絕對值最大策略融合高頻分量，有效地保留了細節(jié)信息。利用SR 提取低頻分量間的共同特征和新特征，并制定適當(dāng)?shù)娜诤弦?guī)則進行組合，融合結(jié)果在視覺感受和定量分析都更具有優(yōu)勢，如圖1所示[17]。

圖1 基于SR 的不同場景融合結(jié)果Fig.1 SR-based fusion results for different scenes

1.3 基于淺層神經(jīng)網(wǎng)絡(luò)

基于淺層神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法主要利用了脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulse coupled neural network，PCNN），通過脈沖編碼信號進行信息的傳遞和處理，也通常與多尺度變換方法結(jié)合設(shè)計。2013年，文獻[18]提出一種改進PCNN 模型的偏振圖像融合算法，利用偏振參數(shù)圖像生成帶有目標(biāo)細節(jié)的融合圖像進行偏振信息分析，同時使用匹配度M作為融合規(guī)則，獲得了能夠保留更多細節(jié)信息的高質(zhì)量融合圖像。2018年，文獻[19]提出一種基于二維經(jīng)驗?zāi)Ｊ椒纸猓╞idimensional empirical mode decomposition，BEMD）和自適應(yīng)PCNN 的偏振圖像融合算法，首先將線偏振度圖像和偏振角圖像進行融合得到偏振特征圖像，然后將其與強度圖像進行分解，最后高低頻分量分別利用局部能量和區(qū)域方差自適應(yīng)的融合策略。實驗結(jié)果表明，提出的算法在多項評價指標(biāo)上更具有優(yōu)勢。2020年，文獻[20]結(jié)合非下采樣剪切波變換和參數(shù)自適應(yīng)簡化型脈沖耦合神經(jīng)網(wǎng)絡(luò)提出一種水下偏振圖像融合方法，能夠有效探測到水下目標(biāo)物的更多細節(jié)和顯著特征，在主觀視覺和客觀評價上都得到明顯提升，融合結(jié)果如圖2所示[20]。

圖2 基于PCNN 的不同場景融合結(jié)果Fig.2 PCNN-based fusion results for different scenes

1.4 基于偽彩色

基于偽彩色（Pseudo-color-based methods）的偏振圖像融合方法可以將目標(biāo)或場景的熱輻射信息轉(zhuǎn)換為符合人類視覺感受的色彩，能夠有效提高成像效果。2006年，文獻[21]采集665 nm 波段的航空遙感偏振圖像，并對地物場景進行上色，成功區(qū)分了陸地、海面和房屋等顯著區(qū)域。2007年，西北工業(yè)大學(xué)提出一種基于偽彩色映射和線偏振度熵的自適應(yīng)加權(quán)多波段偏振圖像融合方法[22]，通過將不同波段的Stokes 圖像和DoLP 圖像結(jié)合，有效地去除了背景雜波。同年，文獻[23]提出一種綜合偽彩色映射和小波變換的融合方法，將其應(yīng)用在全色圖像和光譜圖像的融合任務(wù)中，在顯著增強目標(biāo)與背景對比度的同時可以保留目標(biāo)信息。2010年，文獻[24]結(jié)合非負矩陣分解和IHS 顏色模型提出一種偏振圖像融合方法，具有較好的色彩表達和目標(biāo)細節(jié)增強能力。隨后，他們提出一種基于顏色轉(zhuǎn)移和聚類分割的偽彩色圖像融合方法[25]，融合結(jié)果符合視覺感知，同時可以使人工目標(biāo)在雜亂背景下的對比度更加突出。2012年，文獻[26]提出一種針對紅外偏振和紅外光強圖像的偽彩色融合方法，并通過實驗證明了在多項指標(biāo)中的明顯優(yōu)勢。近些年，北京理工大學(xué)在該領(lǐng)域開展較多研究，取得了豐富的研究成果[27-28]。

1.5 傳統(tǒng)融合方法對比分析

以上4 種類型融合方法都具有各自的優(yōu)缺點，方法對比如表1所示。在實際應(yīng)用中，通?？梢愿鶕?jù)應(yīng)用場景將這些方法相互結(jié)合進行算法的設(shè)計。

表1 傳統(tǒng)偏振圖像融合方法對比Table 1 Comparison of traditional polarization image fusion methods

2 深度學(xué)習(xí)偏振融合方法

2.1 基于卷積神經(jīng)網(wǎng)絡(luò)

基于CNN的偏振圖像融合方法具有較為突出的融合效果。2017年，文獻[29]提出一種雙流型CNN用于高光譜圖像和SAR 圖像的融合任務(wù)，并通過實驗證明了提出的網(wǎng)絡(luò)能夠較好地平衡和融合源圖像的互補信息。2020年，中南大學(xué)在可見光單波段的偏振融合任務(wù)中提出一種無監(jiān)督的深度學(xué)習(xí)網(wǎng)絡(luò)（PFNet）[30]，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中，PFNet 包括特征提取、融合和重構(gòu)模塊，同時通過密集塊和多尺度加權(quán)結(jié)構(gòu)相似度損失函數(shù)提高了網(wǎng)絡(luò)性能。PFNet 能夠?qū)W習(xí)端到端的映射，進而實現(xiàn)強度圖像和偏振度圖像的充分融合，而無需考慮融合圖像的真實值，具有能夠避免復(fù)雜的水平測量和融合規(guī)則設(shè)計等優(yōu)點。

圖3 PFNet 網(wǎng)絡(luò)架構(gòu)Fig.3 The network architecture of PFNet

2021年，文獻[31]提出一種結(jié)合NSCT 和CNN的偏振圖像融合算法。首先利用快速引導(dǎo)濾波和脈沖耦合神經(jīng)網(wǎng)絡(luò)對偏振角圖像進行去噪，然后將其與線偏振度圖像融合得到偏振特征圖像，最后通過多尺度變換的方法生成融合圖像。同年，中南大學(xué)對PFNet 進行改進，提出一種自學(xué)習(xí)策略的深度卷積網(wǎng)絡(luò)[32]。相較于PFNet，主要改進內(nèi)容是在網(wǎng)絡(luò)結(jié)構(gòu)中構(gòu)建一個融合子網(wǎng)絡(luò)替代原來的連接方式。融合子網(wǎng)絡(luò)的設(shè)計借鑒了殘差結(jié)構(gòu)，采用3 層帶有RELU激活函數(shù)的卷積層，如圖4所示。同時，使用修正的余弦相似度損失函數(shù)代替平均絕對誤差損失，能夠更好地衡量融合特征與編碼特征間的差異。此外，提出的網(wǎng)絡(luò)在偏振圖像數(shù)據(jù)集中進行訓(xùn)練得到的模型，在其他模態(tài)圖像融合任務(wù)中仍具有較好的效果。

圖4 融合子網(wǎng)架構(gòu)Fig.4 The architecture of fusion sub-network

2022年，文獻[33]提出一種基于像素信息引導(dǎo)和注意力機制的無監(jiān)督偏振圖像融合網(wǎng)絡(luò)。將偏振圖像中需要融合的信息定義為高度偏振的目標(biāo)信息和強度圖像的紋理信息，通過特別設(shè)計的損失函數(shù)約束不同圖像的像素分布，可以在像素級別上更好地保留不同類型的顯著信息，同時在融合模塊中引入注意力機制，有效解決了偏振信息和紋理分布不一致等問題。實驗證明，融合結(jié)果具有更豐富的偏振信息和更適宜的亮度。2023年，文獻[34]提出一種強度圖像和偏振度圖像的融合方法。通過編碼器提取源圖像的語義信息和紋理細節(jié)，并利用設(shè)計的加法策略和殘差網(wǎng)絡(luò)對圖像特征進行融合，同時提出改進的損失函數(shù)引導(dǎo)網(wǎng)絡(luò)訓(xùn)練。

2.2 基于生成對抗網(wǎng)絡(luò)

2014年，Goodfellow 等[35]提出由生成器和鑒別器組成的生成對抗網(wǎng)絡(luò)。其中，生成器用于獲取數(shù)據(jù)分布，鑒別器能夠估計生成的數(shù)據(jù)是真實數(shù)據(jù)還是來自生成器。當(dāng)生成器和鑒別器通過對抗博弈達到平衡狀態(tài)時，代表網(wǎng)絡(luò)訓(xùn)練已完成。此時，生成器可以生成類似于真實分布中的樣本。2019年，文獻[36]將紅外圖像和可見光圖像的融合任務(wù)定義為生成器和鑒別器間的學(xué)習(xí)對抗，提出的FusionGAN 能夠顯著增強融合圖像的紋理細節(jié)，同時為圖像融合領(lǐng)域開辟了新的研究思路。此后，基于GAN 的圖像融合方法發(fā)展迅速[37-38]，而為平衡圖像間的信息差異，一些方法開始構(gòu)建具有雙鑒別器的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)，同時估計源圖像的兩個概率分布，用以獲得更好的融合效果[39-41]。

2019年，文獻[42]提出一種能夠?qū)W習(xí)和分類源圖像特征的生成對抗網(wǎng)絡(luò)，相較于其他對比算法，提出網(wǎng)絡(luò)在視覺質(zhì)量和整體分類精度方面具有更好的性能。2022年，文獻[43]提出一種生成對抗融合網(wǎng)絡(luò)用以學(xué)習(xí)偏振信息與物體輻射度之間的關(guān)系，并以實驗證明了將偏振信息引入基于深度學(xué)習(xí)方法的圖像復(fù)原任務(wù)中的可行性，提出方法能夠有效地去除后向散射光，更有利于恢復(fù)物體的輻射亮度。同年，長春理工大學(xué)提出一種語義引導(dǎo)的雙鑒別器偏振融合網(wǎng)絡(luò)[44]。提出的網(wǎng)絡(luò)由一個生成器和兩個鑒別器組成，雙流型結(jié)構(gòu)的生成器能夠充分地提取特征，通過對各語義對象進行加權(quán)生成融合圖像。而雙鑒別器則主要用于識別偏振度和強度圖像的各種語義目標(biāo)。此外，作者構(gòu)建了一個偏振圖像信息量判別模塊，通過加權(quán)的方式指導(dǎo)圖像融合過程，能夠針對性地保留不同材料的偏振信息。實驗結(jié)果表明，融合網(wǎng)絡(luò)在視覺效果和定量指標(biāo)都具有更突出的性能，同時有助于高級視覺任務(wù)性能的提升。

2.3 深度學(xué)習(xí)融合算法對比分析

基于CNN 和GAN 的偏振圖像融合算法具有不同特點，具體的對比分析如表2所示。

3 偏振融合應(yīng)用

光譜信息和偏振信息的結(jié)合能夠更好地反映不同材質(zhì)的特性，對于突出目標(biāo)細節(jié)和改善視覺質(zhì)量具有明顯的效果，有助于提高后續(xù)視覺任務(wù)的準(zhǔn)確性和魯棒性。本章重點介紹偏振融合方法在目標(biāo)檢測、語義分割、圖像去霧以及三維重建任務(wù)中應(yīng)用。

3.1 目標(biāo)檢測

偏振圖像融合有利于提升目標(biāo)檢測率。2020年，文獻[45]提出一種偏振圖像融合方法，通過偏振特征提取器和連續(xù)小卷積的深度卷積神經(jīng)網(wǎng)絡(luò)有效提高了目標(biāo)檢測的精度，并設(shè)計實驗證明提出網(wǎng)絡(luò)的檢測錯誤率低于傳統(tǒng)方法。2022年，文獻[33]利用YOLO v5s 模型對源圖像進行目標(biāo)檢測，并與11 種對比方法進行比較，驗證了網(wǎng)絡(luò)的優(yōu)越性以及目標(biāo)檢測任務(wù)的提升，實驗結(jié)果如圖5所示。

3.2 語義分割

偏振圖像融合能夠有效提升語義分割任務(wù)的實驗效果。2019年，文獻[46]提出一種多階段復(fù)雜模態(tài)網(wǎng)絡(luò)，通過基于后期融合的網(wǎng)絡(luò)框架對RGB 圖像和偏振圖像進行融合，充分提高了分割性能。2021年，文獻[47]提出一種注意力融合網(wǎng)絡(luò)，在充分融合源圖像信息的同時具有適應(yīng)其他傳感器組合場景的靈活性，能夠顯著提升語義分割的精準(zhǔn)度。2022年，文獻[44]通過實驗證明了融合偏振圖像在語義分割應(yīng)用中的優(yōu)勢性。作者利用DeepLabv3+模型對偏振強度圖像、線偏振度和融合圖像分別進行測試，發(fā)現(xiàn)融合圖像的分割精度相較于強度圖像提高7.8%，能夠?qū)崿F(xiàn)更準(zhǔn)確的分割效果，如圖6所示。

圖6 語義分割結(jié)果Fig.6 Results of semantic segmentation

3.3 圖像去霧

在圖像去霧的研究領(lǐng)域，結(jié)合偏振信息可以幫助恢復(fù)圖像的透射率和深度信息，有利于提升去霧效果[48-49]。2018年，文獻[50]提出一種多小波融合的偏振探測去霧方法，將高低頻系數(shù)分別按照不同規(guī)則進行融合，突顯了目標(biāo)輪廓和細節(jié)信息。實驗結(jié)果表明，在實際煙霧環(huán)境下，提出方法在視覺效果和客觀評價方面具有更多優(yōu)勢，能夠提升霧天環(huán)境的目標(biāo)識別效率。2021年，文獻[51]針對遠場密集霧霾天氣的去霧任務(wù)，提出一種基于空間頻分融合的偏振去霧方法，得到較為理想的實驗效果。同年，文獻[52]提出一種基于多尺度奇異值分解的偏振圖像融合去霧算法，通過驗證實驗和量化評價證明算法具有較強的自適應(yīng)性和魯棒性，能夠有效地改善光暈和過曝光等問題。

3.4 三維重建

在三維重建的研究領(lǐng)域，偏振維度信息提供的紋理和形狀信息有利于改善三維重建效果，同時對法向量估計任務(wù)也具有重要作用[53-56]。2020年，文獻[57]將偏振形狀問題與深度學(xué)習(xí)結(jié)合，通過將物理模型融入神經(jīng)網(wǎng)絡(luò)架構(gòu)，使實驗結(jié)果在每個測試條件都達到最低的測試誤差。2021年，文獻[58]利用深度學(xué)習(xí)網(wǎng)絡(luò)克服了偏振法線計算中的角度模糊性問題，通過將優(yōu)化后的偏振法線與圖像特征進行融合，實現(xiàn)了高精度的物體表面法線估計。2022年，文獻[59]提出一種融合偏振和光場信息的低紋理目標(biāo)三維重建算法。通過融合目標(biāo)物表面的光場信息與反射光的偏振信息用以增加圖像信息維度，解決了入射面方位角歧義性問題。

4 偏振圖像數(shù)據(jù)集

基于深度學(xué)習(xí)的偏振圖像融合網(wǎng)絡(luò)依賴于高質(zhì)量的數(shù)據(jù)集，偏振圖像數(shù)據(jù)集的質(zhì)量和數(shù)量很大程度上影響著網(wǎng)絡(luò)的訓(xùn)練效果。目前，已有的公開高質(zhì)量偏振圖像數(shù)據(jù)集仍相對較少。為此，一些國內(nèi)外研究團隊慷慨地公開了各自建立的數(shù)據(jù)集，為相關(guān)領(lǐng)域研究做出寶貴貢獻。

2019年，文獻[60]拍攝一個包含120 組圖像的偏振數(shù)據(jù)集，每組數(shù)據(jù)由偏振角度為0°、45°、90°和135°的強度圖像組成。2020年，東京工業(yè)大學(xué)公開了一組包含40 個場景的全彩色偏振圖像數(shù)據(jù)集[61]，每組由4 幅不同偏振角度的RGB 圖像組成。同年，文獻[62-63]采用自行研制的非制冷紅外DoFP 相機進行拍攝，公開由2113 張標(biāo)注圖像組成的長波紅外偏振數(shù)據(jù)集，包括白天和晚上的城市道路和高速公路場景。

2021年，浙江大學(xué)研究團隊針對校園道路場景建立一個共計394 幅標(biāo)注像素對齊的彩色偏振圖像數(shù)據(jù)集[47]，包含RGB 圖像、視差圖像和標(biāo)簽圖像；中南大學(xué)拍攝一個由66 組偏振圖像組成的數(shù)據(jù)集[64]，包括各種建筑、植物和車輛等物體；阿卜杜拉國王科技大學(xué)公開一個包括40 幅彩色圖像的偏振數(shù)據(jù)集[65]，每個場景包含4 幅不同偏振角度的強度圖像。

上述偏振圖像數(shù)據(jù)集的簡要介紹如表3所示。

表3 偏振圖像數(shù)據(jù)集Table 3 Polarization image dataset

5 總結(jié)與展望

目前，偏振圖像融合領(lǐng)域正在受到越來越多的關(guān)注和研究。通過將不同光譜、模態(tài)圖像與偏振圖像進行融合，可以實現(xiàn)不同優(yōu)勢信息的有效互補。深度學(xué)習(xí)融合方法在一定程度上彌補了傳統(tǒng)融合方法的局限性，表現(xiàn)出其獨特優(yōu)勢，在主觀評價和客觀分析方面都具有較為突出的表現(xiàn)，已成為偏振圖像融合領(lǐng)域的主要研究方向。然而，當(dāng)前的深度學(xué)習(xí)偏振融合方法仍相對較少且大部分僅是對現(xiàn)有深度網(wǎng)絡(luò)的直接利用或簡單改進，缺少從偏振成像原理和物質(zhì)偏振特性進行深入分析，在基礎(chǔ)理論研究、技術(shù)應(yīng)用以及實驗驗證等方面都存在較大的提升空間，需要在以下幾個方面進一步探索和突破：

①利用目標(biāo)與背景間的偏振特性差異構(gòu)建偏振二向反射模型（polarimetric Bidirectional Reflectance Distribution Function，pBRDF），分析目標(biāo)偏振成像與傳輸介質(zhì)的相互作用關(guān)系，并構(gòu)建起偏-傳輸-探測的全鏈路光學(xué)成像模型，進而實現(xiàn)更好的偏振特征提取與圖像融合。

②深入研究目標(biāo)偏振特性及其表征方法，充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢，并挖掘偏振的非物理特征和深度特征。將偏振光學(xué)特性應(yīng)用于圖像融合過程，同時將傳統(tǒng)融合方法與深度學(xué)習(xí)融合方法相結(jié)合，實現(xiàn)更理想的特征級偏振圖像融合。

③由于深度學(xué)習(xí)融合網(wǎng)絡(luò)訓(xùn)練通常依賴大數(shù)據(jù)，而目前公開的高質(zhì)量偏振圖像數(shù)據(jù)有限，所以應(yīng)推進偏振多光譜圖像數(shù)據(jù)集的信息共享，并針對性地提出具有小樣本訓(xùn)練能力的深度學(xué)習(xí)融合網(wǎng)絡(luò)。

④充分結(jié)合不同模態(tài)圖像的優(yōu)勢信息，探索多源圖像融合新方式，實現(xiàn)光強、光譜和偏振的信息互補，提升融合性能，同時為圖像分割分類和目標(biāo)檢測識別等視覺任務(wù)提供基礎(chǔ)支撐。