基于復(fù)合神經(jīng)網(wǎng)絡(luò)提升亞米級衛(wèi)星影像質(zhì)量

胡爭勝 董昭,2,3 王華英,2,3 蘇欣宇 張小磊 李佩 蘇群 王濤

基于復(fù)合神經(jīng)網(wǎng)絡(luò)提升亞米級衛(wèi)星影像質(zhì)量

胡爭勝1董昭1,2,3王華英1,2,3蘇欣宇1張小磊1李佩1蘇群1王濤4,*

（1 河北工程大學(xué)數(shù)理科學(xué)與工程學(xué)院，邯鄲 056038）（2 河北省計(jì)算光學(xué)成像與光電檢測技術(shù)創(chuàng)新中心，邯鄲 056038）（3 河北省計(jì)算光學(xué)成像與智能感測國際聯(lián)合研究中心，邯鄲 056038）（4 國家衛(wèi)星氣象中心，北京 100081）

低能見度情況下，大氣粒子對太陽輻射的散射和吸收效應(yīng)，降低了衛(wèi)星影像像質(zhì)和空間分辨率，傳統(tǒng)圖像處理方法和現(xiàn)在普遍應(yīng)用的深度學(xué)習(xí)算法無法同時(shí)提升圖像像質(zhì)和空間分辨率。為了改變該現(xiàn)狀，文章提出了基于網(wǎng)格去霧網(wǎng)絡(luò)（GridDehazeNet）和真實(shí)超分辨率生成對抗網(wǎng)絡(luò)（Real-ESRGAN）組合的復(fù)合神經(jīng)網(wǎng)絡(luò)。首先采用GridDehazeNet卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)提升衛(wèi)星影像的清晰度和對比度，再利用Real-ESRGAN增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)以提升衛(wèi)星影像空間分辨率；最后利用Worldview-3多光譜圖像對不同算法進(jìn)行了測試，并對比不同算法的測試效果。結(jié)果表明：該復(fù)合神經(jīng)網(wǎng)絡(luò)在改善圖像像質(zhì)和分辨率方面效果顯著，其中清晰度提高了39.11倍，對比度提高了3倍，信息熵值提高了34%；且同時(shí)避免了傳統(tǒng)算法所帶來過度增強(qiáng)和噪聲問題，對小目標(biāo)物的識(shí)別和解譯的準(zhǔn)確率有顯著提高。

衛(wèi)星遙感影像 圖像像質(zhì) 圖像增強(qiáng) 深度學(xué)習(xí) 超分算法 遙感應(yīng)用

0 引言

隨著遙感技術(shù)的快速發(fā)展，對于高分辨率衛(wèi)星遙感影像（以下簡稱衛(wèi)星影像）的需求越來越多。高空間分辨率衛(wèi)星影像在植被監(jiān)測、礦產(chǎn)探測、海岸海洋監(jiān)測、環(huán)境監(jiān)測以及災(zāi)害預(yù)測等領(lǐng)域有廣泛的應(yīng)用。衛(wèi)星在執(zhí)行地面成像任務(wù)時(shí)，除了空間遙感相機(jī)本身的性能外，外部因素在很大程度上影響了衛(wèi)星影像的像質(zhì)。大氣中氣溶膠、霧、灰塵、氣流的存在會(huì)造成衛(wèi)星圖像霧化，清晰度、對比度降低，極大地影響了其實(shí)用性。因此，去霧是提高衛(wèi)星影像像質(zhì)、滿足衛(wèi)星應(yīng)用需求的一個(gè)重要環(huán)節(jié)[1-3]。

近年來，國內(nèi)外對圖像去霧技術(shù)進(jìn)行了大量的研究，根據(jù)算法原理這些研究大致分為三個(gè)方向：1）基于圖像增強(qiáng)的去霧算法。圖像增強(qiáng)可分為局部化圖像增強(qiáng)和全局化圖像增強(qiáng)，其中局部化圖像增強(qiáng)包括對比增強(qiáng)和局部直方圖均衡算法，全局化圖像增強(qiáng)包括基于直方圖均衡化、Retinex理論以及同態(tài)濾波等算法[4]，雖然此類方法適用范圍廣，但圖像出現(xiàn)過度增強(qiáng)、信息丟失、失真等現(xiàn)象。2）基于物理模型的去霧算法。此類算法以物理模型為基礎(chǔ)，如去霧領(lǐng)域廣為人知的暗通道去霧算法[5]，該算法根據(jù)有霧圖像和無霧圖像暗通道的不同，利用霧化模型公式推導(dǎo)相關(guān)數(shù)值從而恢復(fù)出無霧圖像，但有時(shí)會(huì)導(dǎo)致圖像嚴(yán)重失真；文獻(xiàn)[6]中提出的基于顏色衰減先驗(yàn)的去霧方法，通過采用監(jiān)督學(xué)習(xí)方法來學(xué)習(xí)模型參數(shù)，建立線性模型以實(shí)現(xiàn)無霧圖像的恢復(fù)，但此方法樣本收集困難，同時(shí)缺乏理論依據(jù)；此外，還有一些基于暗通道先驗(yàn)的算法，在算法效率與復(fù)原精度方面進(jìn)行了優(yōu)化。3）基于深度學(xué)習(xí)的去霧算法。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[7]作為深度學(xué)習(xí)的代表算法之一，在圖像處理方面發(fā)揮出很好的性能。目前基于深度學(xué)習(xí)的去霧算法主要包含兩個(gè)方向：一是基于大氣散射模型，利用神經(jīng)網(wǎng)絡(luò)對模型中的參數(shù)進(jìn)行估計(jì)。如文獻(xiàn)[8]提出的DehazeNet去霧網(wǎng)絡(luò)可以直接學(xué)習(xí)輸入霧圖的大氣透射率，然后根據(jù)大氣散射模型重構(gòu)無霧圖像，但該網(wǎng)絡(luò)只能處理霧氣濃度較少的圖像。二是直接輸入有霧圖像，經(jīng)過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)直接輸出無霧圖像。如文獻(xiàn)[9]提出一種名為AOD-Net的網(wǎng)絡(luò)，該網(wǎng)絡(luò)是一種新的一體化端到端的卷積神經(jīng)網(wǎng)絡(luò)，可以直接恢復(fù)出無霧圖像，但該網(wǎng)絡(luò)在亮度較高的場景下（如天空區(qū)域）去霧效果不佳；文獻(xiàn)[10]提出了一種基于金字塔通道的特征注意網(wǎng)絡(luò)（PCFAN），以金字塔的方式利用不同層次特征之間的互補(bǔ)性，并加入了通道注意機(jī)制來進(jìn)行圖像去霧，該網(wǎng)絡(luò)在合成霧和真實(shí)霧上都有很好的去霧效果，但是在顏色恢復(fù)方面還是有些差異。

上述三種算法在衛(wèi)星影像去霧方面也有不同程度的應(yīng)用。其中圖像增強(qiáng)算法由于技術(shù)比較成熟，應(yīng)用較多，目前主要通過線性（Linear）拉伸、均衡（Equalization）拉伸、高斯（Gaussian）拉伸[11-12]等算法來處理衛(wèi)星圖像，但這些算法應(yīng)用范圍有限，普適性不強(qiáng)，不能對所有衛(wèi)星圖像都實(shí)現(xiàn)有效處理?；谖锢砟Ｐ偷乃惴?，在圖像去霧領(lǐng)域仍存在圖像失真等問題，目前尚未廣泛應(yīng)用?？傮w來看，基于深度學(xué)習(xí)的去霧算法優(yōu)于其他算法，成為近幾年來主流算法。但由于深度學(xué)習(xí)算法需要大量一一對應(yīng)的數(shù)據(jù)集以提高模型性能，在處理生活中的霧圖時(shí)，通常采用合成霧作為訓(xùn)練數(shù)據(jù)。然而，合成霧與真實(shí)霧存在一定差別，例如在空氣濕度、光線散射和顆粒物分布等方面不一致，這會(huì)影響模型在實(shí)際應(yīng)用中的表現(xiàn)。此外，衛(wèi)星圖像與生活中拍攝的圖像在分辨率、光照條件和拍攝角度等方面存在顯著差異，這使得基于深度學(xué)習(xí)的去霧方法在處理衛(wèi)星圖像時(shí)面臨更大挑戰(zhàn)。針對上述問題，本文首先基于真實(shí)霧化衛(wèi)星圖像制作了數(shù)據(jù)集，以取代合成霧數(shù)據(jù)集，并用深度學(xué)習(xí)算法對衛(wèi)星圖像進(jìn)行去霧處理。結(jié)果表明，本文方法在有效去霧的同時(shí)，也提升了衛(wèi)星影像的分辨率，并保留影像的真實(shí)特征，在主觀視覺和客觀指標(biāo)上都達(dá)到了很好的效果。

1 原理

衛(wèi)星影像空間分辨率越高，意味著圖像像素密度更大，從而能夠更清晰地呈現(xiàn)地面上的細(xì)節(jié)。然而，在大氣能見度較低的情況下，大氣散射和吸收現(xiàn)象會(huì)顯著影響圖像的像質(zhì)，使得地表細(xì)節(jié)變得模糊。此外，當(dāng)相鄰地物的反射率差值較大時(shí)，它們之間的對比度也會(huì)受到霧氣的影響而降低。因此，在衛(wèi)星圖像中，高空間分辨率、低大氣能見度以及相鄰地物反射率差值較大的情況下，圖像往往會(huì)呈現(xiàn)出有霧的視覺效果，這就需要采用去霧算法來恢復(fù)圖像的清晰度和對比度，以便更好地觀測和分析地表特征。

本文首先制作真實(shí)霧化衛(wèi)星影像數(shù)據(jù)集，然后采用由GridDehazeNet[13]和Real-ESRGAN[14]組成的復(fù)合神經(jīng)網(wǎng)絡(luò)對衛(wèi)星圖像進(jìn)行增強(qiáng)。這主要解決大氣吸收和散射導(dǎo)致的圖像霧化問題，通過GridDehazeNet有效地去除霧，進(jìn)而利用Real-ESRGAN超分辨率網(wǎng)絡(luò)提高衛(wèi)星圖像的分辨率，以解決去霧后圖像分辨率降低問題。

GridDehazeNet是一種端到端的去霧算法，它由一個(gè)去霧子網(wǎng)絡(luò)和一個(gè)透射率估計(jì)子網(wǎng)絡(luò)組成。去霧子網(wǎng)絡(luò)采用多尺度密集連接結(jié)構(gòu)，通過對不同空間尺度的特征進(jìn)行融合，以更好地捕捉圖像中的多尺度信息，從而更有效地去除霧氣并恢復(fù)圖像的清晰度。透射率估計(jì)子網(wǎng)絡(luò)負(fù)責(zé)估計(jì)大氣透射率，利用全局和局部上下文信息來提高透射率的估計(jì)準(zhǔn)確性。GridDehazeNet通過學(xué)習(xí)輸入有霧圖像和對應(yīng)的無霧圖像之間的非線性映射關(guān)系，實(shí)現(xiàn)對有霧圖像的高效去霧。

Real-ESRGAN是一種基于生成對抗網(wǎng)絡(luò)（GAN）的超分辨率算法，采用了先進(jìn)的ESRGAN結(jié)構(gòu)[15]，并結(jié)合了殘差連接、注意力機(jī)制和全局表征網(wǎng)絡(luò)。Real-ESRGAN的生成器負(fù)責(zé)將低分辨率圖像映射到高分辨率圖像，通過使用卷積層、殘差塊以及上采樣層來實(shí)現(xiàn)圖像的放大和細(xì)節(jié)恢復(fù)。在生成器中，注意力機(jī)制有助于引導(dǎo)網(wǎng)絡(luò)關(guān)注更為重要的特征，從而提高圖像像質(zhì)。判別器則用于判斷生成的圖像是否接近真實(shí)的高分辨率圖像，采用卷積層和全連接層來對圖像進(jìn)行評分。生成器和判別器之間的對抗過程促使生成器不斷提高生成圖像的像質(zhì)，從而在提高圖像分辨率的同時(shí)保持圖像的細(xì)節(jié)和紋理。

2 方法

2.1 數(shù)據(jù)集介紹

一個(gè)高像質(zhì)的數(shù)據(jù)集往往能夠提高模型訓(xùn)練的效果和預(yù)測的準(zhǔn)確率。本文采用一種新的方式對所需衛(wèi)星圖像真實(shí)霧化數(shù)據(jù)集進(jìn)行自建。首先使用線性（Linear）拉伸和高斯（Gaussian）拉伸方法對衛(wèi)星影像進(jìn)行處理，但這些拉伸方式并不能對所有衛(wèi)星圖像進(jìn)行有效的去霧處理，所以本文僅挑選出具有較好去霧效果的圖像；接著將有霧和無霧圖像一一對應(yīng)裁剪為256×256大?。ú话丿B區(qū)域），組成深度學(xué)習(xí)所需的數(shù)據(jù)集，此類數(shù)據(jù)集共制作2 078對，分為訓(xùn)練集和測試集。部分?jǐn)?shù)據(jù)集展示如圖1所示，數(shù)據(jù)來自World View-3（WV-3）多光譜衛(wèi)星影像，目前WV-3衛(wèi)星可提供0.31 m空間分辨率的全色影像和1.24 m空間分辨率的多光譜影像，影像來源于多個(gè)不同區(qū)域，且包含不同的地物信息。為了說明本文算法普適應(yīng)強(qiáng)，測試集部分選取具有代表性的地物信息圖像，如城市、道路、機(jī)場、海岸、足球場等，不僅綜合了圖像增強(qiáng)方法的優(yōu)點(diǎn)，而且解決了其普適性不強(qiáng)的問題。

圖1 部分?jǐn)?shù)據(jù)集

2.2 神經(jīng)網(wǎng)絡(luò)架構(gòu)組成

本文采用的神經(jīng)網(wǎng)絡(luò)架構(gòu)由A和B兩大部分組成（如圖2所示）。其中A部分為一種端到端可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)（GridDehazeNet），由預(yù)處理模塊（Pre-processing Module）、骨干模塊（Backbone Module）和后處理模塊（Post-processing Module）組成，其作用是對衛(wèi)星影像進(jìn)行去霧處理。GridDehazeNet的預(yù)處理模塊由卷積層和殘差密集塊組成，將霧圖輸入到該模塊可生成16個(gè)特征圖進(jìn)行學(xué)習(xí)；骨干模塊由三行六列網(wǎng)格組成，有效緩解了傳統(tǒng)多尺度方法中經(jīng)常遇到的瓶頸問題；后處理模塊和預(yù)處理模塊對稱，其作用是提高去霧后圖像的像質(zhì)[13]。B部分為Real-ESRGAN超分辨率網(wǎng)絡(luò)，其作用是提高衛(wèi)星影像去霧后的分辨率。Real-ESRGAN基于增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)ESRGAN發(fā)展而來，通過使用純合成數(shù)據(jù)集進(jìn)行訓(xùn)練。Real-ESRGAN沿用了ESRGAN的生成器架構(gòu)，該生成器是由多個(gè)殘差密集塊（RRDB）組成的深度網(wǎng)絡(luò)。在進(jìn)行超分辨率處理之前，首先對輸入圖像執(zhí)行像素解洗牌（Pixel Unshuffle）操作；然后將處理后的圖像輸入到ESRGAN架構(gòu)中進(jìn)行訓(xùn)練。相較于原始的4倍上采樣的ESRGAN架構(gòu)，Real-ESRGAN網(wǎng)絡(luò)擴(kuò)展了其超分辨率能力，可以實(shí)現(xiàn)2倍和1倍的上采樣比例[14]。

圖2 本文神經(jīng)網(wǎng)絡(luò)整體架構(gòu)

2.3 衛(wèi)星影像評價(jià)指標(biāo)

受大氣環(huán)境的影響，衛(wèi)星影像的灰度分布發(fā)生了偏移和動(dòng)態(tài)范圍壓縮，導(dǎo)致了圖像變得模糊，清晰度和對比度降低，故可通過分析衛(wèi)星影像的清晰度、對比度、熵值、灰度直方圖分布、頻譜圖分布來評價(jià)增強(qiáng)前后的衛(wèi)星影像像質(zhì)[16-17]。

其中，清晰度的計(jì)算首先是采用拉普拉斯（Laplace）算子與圖像各個(gè)像素點(diǎn)的灰度值進(jìn)行卷積操作，得到一個(gè)梯度矩陣，接著計(jì)算梯度矩陣中各像素點(diǎn)梯度值的平方和作為圖像清晰度的評價(jià)指標(biāo)。具體計(jì)算公式為

圖像對比度的計(jì)算公式為

圖像熵值是指圖像中信息的混亂度，其計(jì)算公式為

常用的評價(jià)圖像分辨率提升的指標(biāo)有兩種——峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM），這兩種評價(jià)指標(biāo)是超分辨率中最基礎(chǔ)的測量重構(gòu)圖像像質(zhì)的指標(biāo)。其中PSNR是基于均方誤差（MSE）來測量已經(jīng)被壓縮的重構(gòu)圖像的像質(zhì)，PSNR指標(biāo)越高，說明圖像像質(zhì)越好。PSNR的計(jì)算公式為

式中PSN為PSNR指標(biāo)值；MS為均方誤差（MSE）值。

MSE的計(jì)算公式為

SSIM是衡量兩幅不同圖像結(jié)構(gòu)信息相似度的指標(biāo)，其取值范圍為[0,1]，SSIM值越大，表示圖像失真程度越小，說明圖像像質(zhì)越好。SSIM的計(jì)算公式為

在空間域中，通常用灰度直方圖來反映圖像中各灰度級像素出現(xiàn)的頻率與灰度級的關(guān)系。受大氣環(huán)境影響，衛(wèi)星圖像灰度分布會(huì)發(fā)生偏移和動(dòng)態(tài)范圍壓縮，故可通過分析衛(wèi)星圖像的灰度直方圖的分布來評價(jià)圖像像質(zhì)。

在頻率域中，采用低頻和高頻兩個(gè)分量來表示圖像。低頻指圖像灰度緩慢地變化，包含圖像的大部分信息；而高頻指灰度變化快，包含圖像的邊緣及一些細(xì)節(jié)信息。由于大氣環(huán)境會(huì)造成圖像模糊，其高頻信息損失，故可通過分析衛(wèi)星影像的頻譜分布來評價(jià)圖像像質(zhì)[18]。

3 結(jié)果分析與討論

本文利用深度學(xué)習(xí)方法對亞米級衛(wèi)星影像進(jìn)行了增強(qiáng)效果測試，為確定所提算法在衛(wèi)星圖像增強(qiáng)方面的優(yōu)勢，對常見地物信息圖像的增強(qiáng)結(jié)果進(jìn)行了展示分析，并基于真實(shí)霧化數(shù)據(jù)集，對比了當(dāng)前去霧神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)算法的去霧效果，以此來驗(yàn)證本文所提出的深度學(xué)習(xí)方法在去霧性能上的優(yōu)越性，以及在圖像清晰度、對比度和色彩保真方面的提升效果。此外，借助對比結(jié)果進(jìn)一步展示本文方法在實(shí)際衛(wèi)星圖像處理應(yīng)用中的可行性、實(shí)用性以及與其他方法的競爭力。

試驗(yàn)結(jié)果展示了包括城市、道路、機(jī)場、海岸和足球場等常見地物的圖像增強(qiáng)效果。這些場景分布在不同區(qū)域并受到不同濃度霧氣影響。從視覺上分析：DCP算法存在明顯的顏色失真現(xiàn)象；AOD-Net只能去除薄霧，對于濃度較大的霧，去霧不徹底；PCFAN雖然在去霧效果上可以，但是去霧后圖像噪聲過多，且顏色有些變化。然而，本文所使用的算法不僅能夠有效地去霧，而且去霧后的圖像不會(huì)出現(xiàn)失真、噪聲過多、圖像模糊等一系列問題，圖像分辨率也得到很大的提高。具體增強(qiáng)結(jié)果如圖3所示。

圖3 不同算法對不同場景圖像的增強(qiáng)效果對比

為了便于分析，本文選擇了足球場圖像這一具體示例進(jìn)行詳細(xì)討論，不同算法對該場景影像的具體增強(qiáng)效果見圖4，其中紅色矩形框內(nèi)為經(jīng)過不同算法增強(qiáng)后更為突出的細(xì)節(jié)特征。通過對增強(qiáng)后的圖像進(jìn)行深入分析發(fā)現(xiàn)，在本文算法增強(qiáng)結(jié)果中，球場頂部太陽照射區(qū)域、內(nèi)部陰影區(qū)域以及球場外部都能清晰地目視到，衛(wèi)星影像的清晰度和分辨率較其他幾種結(jié)果均有明顯提高。

圖4 不同算法對足球場霧圖的增強(qiáng)效果

為了更全面地評估足球場區(qū)域各圖像在清晰度、對比度和熵值方面的改善情況，本文首先采用客觀指標(biāo)對各算法進(jìn)行了詳細(xì)的對比分析。這些指標(biāo)有助于量化不同方法在圖像增強(qiáng)效果上的優(yōu)劣，且能夠提供直觀的數(shù)據(jù)支持。客觀指標(biāo)如表1所示。

表1 足球場圖不同算法增強(qiáng)效果指標(biāo)對比

Tab.1 Comparison of enhancement performance metrics of different algorithms on soccer field image

根據(jù)表1，通過對比增強(qiáng)前后的客觀指標(biāo)可看出，本文所提算法對圖像的整體清晰度提升效果顯著，提高了39.11倍；同時(shí)，對比度也較原始霧圖大幅度增強(qiáng)，提高了3倍；此外，熵值也實(shí)現(xiàn)了34%的提升。這些數(shù)據(jù)均表明該算法在圖像增強(qiáng)方面具有顯著效果，性能優(yōu)越。對于圖像分辨率的提升，本文算法在PSNR和SSIM指標(biāo)上表現(xiàn)優(yōu)異，其中PSNR值為28.52，明顯高于其他算法，顯示出更好的圖像恢復(fù)效果；SSIM值為0.87，同樣優(yōu)于其他算法，更接近原始圖像的像質(zhì)。綜上，本文算法在圖像恢復(fù)和像質(zhì)提升方面具有顯著優(yōu)勢。

本文對足球場霧圖經(jīng)過不同算法處理后的灰度直方圖進(jìn)行了對比分析（結(jié)果如圖5所示），通過觀察灰度級別與像素?cái)?shù)量之間的關(guān)系，可以確定圖像中不同灰度級別像素的分布情況，這有助于了解圖像的亮度、對比度和整體灰度特征。由圖5可以看出，本文的增強(qiáng)方法能有效解決受大氣環(huán)境影響所造成的衛(wèi)星圖像灰度分布發(fā)生偏移和動(dòng)態(tài)范圍壓縮問題，在有效地增強(qiáng)衛(wèi)星圖像像質(zhì)的同時(shí)，極大地保留了圖像的真實(shí)性。

圖5 不同算法對足球場霧圖處理后的灰度直方圖

本文對足球場霧圖經(jīng)過不同算法處理后的圖像結(jié)果進(jìn)行了二維離散傅里葉變換，并對其頻譜結(jié)果進(jìn)行了比較分析。其中綠色標(biāo)注線區(qū)域表示圖像的低頻信息，該區(qū)域內(nèi)顏色越亮表示圖像中所包含的低頻信息越多；紅色標(biāo)注線和綠色標(biāo)注線圍成的圓環(huán)區(qū)域?yàn)楦哳l信息，其顏色越亮表示所包含的高頻信息越多。與圖6（a）相比，圖6（e）中綠色圓內(nèi)的亮度明顯增加，表明增強(qiáng)后衛(wèi)星圖像損失的低頻信息得到恢復(fù)，圓環(huán)區(qū)域亮度也明顯增加，這說明增強(qiáng)后圖像邊緣以及細(xì)節(jié)處得到增強(qiáng)，圖像的高頻信息得到恢復(fù)。

4 結(jié)束語

低能見度情況下，大氣粒子對太陽輻射的散射和吸收效應(yīng)降低了衛(wèi)星影像像質(zhì)和空間分辨率。針對這一問題，本文提出了一種基于GridDehazeNet和Real-ESRGAN的復(fù)合神經(jīng)網(wǎng)絡(luò)，旨在同時(shí)提升衛(wèi)星影像的清晰度、對比度和空間分辨率。試驗(yàn)結(jié)果表明，本文提出的方法在消除模糊、提升清晰度方面取得了顯著成果。從主觀視覺角度分析，該方法在改善圖像清晰度、對比度和分辨率的同時(shí)，避免了傳統(tǒng)算法所帶來過度增強(qiáng)和噪聲問題。由客觀指標(biāo)結(jié)果可看出，采用該方法增強(qiáng)后的圖像清晰度較原始霧圖提高了39.11倍，對比度提高了3倍，信息熵值提高了34%。本文提出的方法提高了對小目標(biāo)物的識(shí)別和解譯準(zhǔn)確率，為衛(wèi)星影像提供更多的應(yīng)用場景。

[1] 程葛鑒, 于歡, 孔博, 等. 面向?qū)ο筮b感影像分析技術(shù)應(yīng)用現(xiàn)狀與展望[J]. 科技資訊, 2020, 18(16): 12-13.CHENG Gejian, YU Huan, KONG Bo, et al. Application Status and Prospect of Object-oriented Remote Sensing Image Analysis[J]. Technology Information, 2020, 18(16): 12-13. (in Chinese)

[2] 劉明, 易偉超, 趙躍進(jìn), 等. 基于生成對抗網(wǎng)絡(luò)的遙感圖像去霧研究[J]. 航天返回與遙感, 2020, 41(6): 14-20.LIU Ming, YI Weichao, ZHAO Yuejin, et al.Research on Remote Rensing Image Defogging Based on Generative Adversarial Network[J].Spacecraft Recovery & Remote Sensing, 2020, 41(6): 14-20. (in Chinese)

[3] 何紅艷, 楊居奎, 齊文雯. 大氣對遙感衛(wèi)星圖像像質(zhì)的影響分析[J]. 航天返回與遙感, 2011, 32(2): 42-47.HE Hongyan,YANG Jukui, QI Wenwen. Analysis of Atmospheric Influence on Remote Sensing Satellite Image Quality[J]. Spacecraft Recovery & Remote Sensing, 2011, 32(2): 42-47. (in Chinese)

[4] 李博文, 劉進(jìn)鋒. 圖像去霧技術(shù)研究綜述[J]. 現(xiàn)代計(jì)算機(jī), 2022, 28(13): 57-61. LI Bowen, LIU Jinfeng. Review of Research on Image Dehazing Technology[J].Modern Computer, 2022, 28(13): 57-61. (in Chinese)

[5] HE K M, SUN J, TANG X O. Single Image Haze Removal Using Dark Channel Prior[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009), 2009-01-01, Miami, Florida, USA. [S.l.: s.n.], 2009. DOI 10.1109/TPAMI.2010.168.

[6] ZHU Q, MAI J, SHAO L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533. DOI 10.1109/TIP.2015.2446191.

[7] GU J X, WANG Z H, JASON K, et al. Recent Advances in Convolutional Neural Networks[J]. Pattern Recognition, 2018, 77: 354-377. DOI 10.1016/j.patcog.2017.10.013.

[8] CAI B L, XU X M, JIA K, et al. DehazeNet: An End-to-End System for Single Image Haze Removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198. DOI 10.1109/TIP.2016.2598681.

[9] LI B Y, PENG X L, WANG Z Y, et al. AOD-net: All-in-one Dehazing Network[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29 2017. [S.l.]: IEEE, 2017.

[10] ZHANG X Q, WANG T, WANG J X, et al. Pyramid Channel-based Feature Attention Network for Image Dehazing[J]. Computer Vision and Image Understanding: CVIU, 2020, 197/198: 103003. DOI 10.1016/j.cviu.2020.103003.

[11] 高磊, 吳勤書. 基于GDAL的遙感影像優(yōu)化線性拉伸增強(qiáng)實(shí)現(xiàn)[J]. 北京測繪, 2020, 34(11): 1508-1510.GAO Lei, WU Qunshu. Optimization of Linear Stretch Enhancement for Remote Sensing Images Based on GDAL[J].Beijing Surveying and Mapping, 2020, 34(11): 1508-1510. (in Chinese)

[12] 黃永璘, 何立, 王君華, 等. 衛(wèi)星遙感圖像的增強(qiáng)處理[J]. 廣西氣象, 2006(3): 61-64.HUANG Yonglin, HE Li, WANG Junhua, et al. Enhancement Processing of Satellite Remote Sensing Images[J].Meteorology of Guangxi, 2006(3): 61-64. (in Chinese)

[13] LIU X H, MA Y R, SHI Z H, et al. GridDehazeNet: Attention-Based Multi-Scale Network for Image Dehazing[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV), October-27 November 02, 2019, Seoul, Korea (South). [S.l.]: IEEE, 2019. DOI 10.48550/arXiv.1908.03245.

[14] WANG X, XIE L, DONG C, et alReal-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data[C]//2021 IEEE/CVF International Conference on Computer Vision Workshops: ICCVW 2021, Virtual Conference, October 11-17 2021, Montreal, BC, Canada. [S.l.]: IEEE, 2021. DOI 10.48550/arXiv.2107.10833.

[15] WANG X T, YU K, WU S X, et al. ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks[C]//Computer Vision - ECCV 2018 Workshops: Munich, Germany, September 8-14, 2018, Proceedings, Part V. [S.l.: s.n.], 2019: 63-79. DOI 10.1007/978-3-030-11021-5_5.

[16] 湯興, 易維寧, 杜麗麗, 等. 高分一號(hào)衛(wèi)星多光譜遙感圖像鄰近效應(yīng)校正研究[J]. 光學(xué)學(xué)報(bào), 2016, 36(2): 274-280.TANG Xing, YI Weining, DU Lili, et al. Proximity Effect Correction of Gaofen-1 Satellite Multispectral Remote Sensing Images[J].Acta Optica Sinica, 2016, 36(2): 274-280. (in Chinese)

[17] SIMONE G, PEDERSEN M, HARDEBERG J Y. Measuring Perceptual Contrast in Digital Images[J]. Journal of Visual Communication and Image Representation, 2012, 23(3): 491-506. DOI 10.1016/j.jvcir.2012.01.008.

[18] 王濤, 周川杰, 易維寧, 等. 基于大氣校正提升亞米級衛(wèi)星影像質(zhì)量[J]. 光學(xué)學(xué)報(bào), 2021, 41(11): 27-34. WANG Tao, ZHOU Chuanjie, YI Weining, et al. Improving Quality of Sub-Meter Satellite Image Based on Atmospheric Correction[J]. Acta Optica Sinica, 2021, 41(11): 27-34. (in Chinese)

Improving Image Quality of Sub-Meter Satellite Based on Composite Neural Networks

HU Zhengsheng1DONG Zhao1,2,3WANG Huaying1,2,3SU Xinyu1ZHANG Xiaolei1LI Pei1SU Qun1WANG Tao4,*

(1 School of Mathematics and Physics Science and Engineering, Hebei University of Engineering, Handan 056038, China) (2 Hebei Computational Optical Imaging and Photoelectric Detection Technology Innovation Center, Handan 056038, China) (3 Hebei International Joint Research Center for Computational Optical Imaging and Intelligent Sensing, Handan 056038, China) (4 National Satellite Meteorological Center, Beijing 100081, China)

In the case of low visibility, the scattering and absorption effect of atmospheric particles on solar radiation reduces the quality and spatial distribution of satellite images. Traditional image processing methods and deep learning algorithms commonly used today cannot simultaneously improve image quality and spatial resolution. In response to the current situation, the article proposes a composite neural network based on the combination of grid dehazing network (GridDehazeNet) and real-world enhanced super-resolution generative adversarial network (Real-ESRGAN) to improve image quality and spatial separation rate. In the research process of this paper, First, the GridDehazeNet structure neural network architecture is used to improve the clarity and contrast of satellite images, and then the Real-ESRGAN enhanced super-resolution adversarial network is used to improve the spatial resolution of satellite images; finally, different algorithms are tested using Worldview-3 multi-spectral images, and the test results of different algorithms are compared. The results show that the composite neural network has a significant effect on improving the image quality and resolution, among which the clarity is increased by 39.11 times, the contrast is increased by 3 times, and the entropy value is increased by 34%. Intensity and noise problems, the accuracy of recognition and interpretation of small targets has been significantly improved.

satellite remote sensing; image quality; image enhancement; deep learning; super-resolution algorithm; application of remote sensing

TP751

A

1009-8518(2023)04-0069-10

10.3969/j.issn.1009-8518.2023.04.008

2022-12-27

國家自然科學(xué)基金（62175059）；河北省高等學(xué)校科學(xué)技術(shù)研究項(xiàng)目（QN2020426）；邯鄲市科學(xué)技術(shù)研究與發(fā)展計(jì)劃（19422083008-69）

胡爭勝, 董昭, 王華英, 等. 基于復(fù)合神經(jīng)網(wǎng)絡(luò)提升亞米級衛(wèi)星影像質(zhì)量[J]. 航天返回與遙感, 2023, 44(4): 69-78.

HU Zhengsheng,DONG Zhao,WANG Huaying, et al. Improving Image Quality of Sub-Meter Satellite Based on Composite Neural Networks[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(4): 69-78. (in Chinese)

胡爭勝，男，1998年生，2021年6月獲洛陽理工學(xué)院學(xué)士學(xué)位，現(xiàn)為河北工程大學(xué)數(shù)理科學(xué)與工程學(xué)院電子信息專業(yè)在讀碩士研究生，研究方向?yàn)檫b感圖像處理。E-mail：823628151@qq.com。

王濤，男，1991年生，2021年6月獲中國科學(xué)技術(shù)大學(xué)光學(xué)專業(yè)博士學(xué)位，工程師。研究方向?yàn)榛谛l(wèi)星影像的定量遙感、目標(biāo)識(shí)別解譯、太陽能裝置統(tǒng)計(jì)、農(nóng)業(yè)監(jiān)測與估產(chǎn)研究。E-mail：taowang@cma.gov.cn。

（編輯：夏淑密）