殘差最小化的遙感影像邊緣銳化

楊心雨，李參海，龔國輝，王晗，金澤

(1.遼寧工程技術(shù)大學(xué)，遼寧 阜新 123000；2.自然資源部國土衛(wèi)星遙感應(yīng)用中心，北京 100048)

0 引言

隨著近年來科學(xué)技術(shù)的快速發(fā)展，越來越多的信息可以通過一定的方式提供給人類使用，最常見的方式有視覺、聽覺、觸覺等。其中圖像視覺所傳遞的信息占據(jù)60%以上。然而，我們見到的圖像大多因?yàn)槌上裼布O(shè)備限制或者受限于帶寬而進(jìn)行壓縮處理，導(dǎo)致圖像分辨率不高，但實(shí)際中人們都想要獲得清晰度更高的圖像。在遙感領(lǐng)域的實(shí)際應(yīng)用中，高分辨率的影像所包含的像素密度比較大，擁有更多有用的細(xì)節(jié)信息。分辨率的高低是圖像信息量大小的一種度量，也是評價影像質(zhì)量好壞最直觀的評價參數(shù)[1]，更是衡量一個國家衛(wèi)星遙感水平的重要標(biāo)志[2]，這些信息在遙感、測繪等應(yīng)用領(lǐng)域中起到了至關(guān)重要的作用。影像的分辨率在很多情況下會受到成像系統(tǒng)硬件設(shè)備的限制，也就是說，提高空間分辨率最顯著的方法是優(yōu)化傳感器，但這種方法成本高、技術(shù)要求高，實(shí)際操作過程中難度較大，所以通常通過軟件方式，不需要對硬件設(shè)備進(jìn)行復(fù)雜的技術(shù)改進(jìn)，運(yùn)用改進(jìn)的圖像處理算法模型來處理圖像，在低分辨率影像的基礎(chǔ)上進(jìn)行優(yōu)化，得到較高分辨率的影像。目前在醫(yī)學(xué)成像、高清電視、軍事偵察、公關(guān)安全監(jiān)控、圖像壓縮、高分辨率深度圖像獲取等研究領(lǐng)域都有重大的應(yīng)用價值[3]。所以如何快速、高效地將圖像分辨率提高成為計(jì)算機(jī)視覺領(lǐng)域的一個重要研究方向，也由此出現(xiàn)了圖像超分辨率(super resolution image reconstruction，SRIR或SR)重建等研究課題。

圖像超分辨率重建技術(shù)由Tsai等[4]首次提出，這一技術(shù)的主要目的就是將低分辨率圖像轉(zhuǎn)化成分辨率盡可能高的圖像。經(jīng)過多年發(fā)展，出現(xiàn)了很多優(yōu)秀的算法模型，其中主要有基于插值的算法[5]、基于學(xué)習(xí)的算法[6-7]、基于建模的算法[8]，如圖1所示?，F(xiàn)有的基于插值的算法包括最鄰近插值、雙線性插值法以及三次卷積插值法等[9]；基于學(xué)習(xí)的方法可以分為淺層學(xué)習(xí)和深度學(xué)習(xí)方法[10]?，F(xiàn)階段基于深度學(xué)習(xí)進(jìn)行遙感影像重建的方法廣受研究人員的歡迎。Jiang等[11]建立EEGAN網(wǎng)絡(luò)模型，用于增強(qiáng)圖像邊緣，降低影像噪聲影像。Ma等[12]將小波變換與遞歸神經(jīng)網(wǎng)絡(luò)Res-Net結(jié)合，用于預(yù)測高頻分量以及重構(gòu)圖像。Shao等[13]利用稀疏自動編碼器(CSAE)學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的映射關(guān)系，提高影像質(zhì)量。基于深度學(xué)習(xí)的影像超分辨率重建結(jié)果質(zhì)量較高，通常可以得到令研究者滿意的結(jié)果，但是這種方法所需要的影像集數(shù)據(jù)量大，對研究設(shè)備要求高，處理速度慢，在一些要求實(shí)時處理的項(xiàng)目研究中，這種方法通常無法滿足需求。Anime4K算法是由麻省理工學(xué)院研究人員提出，用于動漫圖像分辨率的實(shí)時快速優(yōu)化處理。本文嘗試將該算法應(yīng)用于遙感影像超分辨率重建，由于直接應(yīng)用的效果不好，在此算法基礎(chǔ)上進(jìn)行了改進(jìn)，提高了對遙感影像的優(yōu)化效果，并將改進(jìn)算法與傳統(tǒng)的基于插值的超分辨率影像重建算法進(jìn)行了對比實(shí)驗(yàn)。

圖1 單張圖像超分辨率重建

1 原理

1.1 超分辨率圖像重建原理

超分辨率圖像重建是指用圖像處理和信號處理的方法，通過算法將已有的低分辨率(low-resolution，LR)圖像轉(zhuǎn)換成高分辨率(high-resolution，HR)圖像的技術(shù)[14]。超分辨率處理技術(shù)可分為兩類。一類是參考多幅同一場景的低分辨率圖像合成一幅高分辨率影像，另一類是只參考一幅現(xiàn)有的低分辨率影像，不依賴其他圖像，從單幅低分辨率圖像重建獲取高分辨率圖像。由于圖像分辨率低，所包含的信息相對較少，但是同一場景的多幅圖像所包含的信息必然比一幅圖像包含得多，所以運(yùn)用多幅低分辨率圖像重建超分辨率圖像的質(zhì)量更好。然而，實(shí)際上多幅圖像進(jìn)行超分辨率重建的算法對圖像要求必須要有亞像素的偏移才能實(shí)現(xiàn)超分辨率重建[15]。運(yùn)用單幅圖像進(jìn)行重建的算法對于圖像要求不高，所以其研究價值更大。

1.2 現(xiàn)存的問題與Anime4K模型

傳統(tǒng)的遙感影像邊緣細(xì)化算法，例如邊緣銳化，通過計(jì)算低分辨率圖像和更低分辨率圖像之間的差異，來獲取低分辨率圖像的殘差，然后將殘差銳化后，再將其添加到低分辨率圖像中，完成對低分辨率影像的優(yōu)化。但是，使用銳化算法對遙感影像優(yōu)化時，容易產(chǎn)生振鈴和過沖，影響遙感影像的質(zhì)量。而基于學(xué)習(xí)的理論通過使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、稀疏字典或圖像中自相似性來預(yù)測殘差，這種算法相較于邊緣細(xì)化算法效果更好，處理之后的影像質(zhì)量不易受影響。但基于學(xué)習(xí)的方法速度慢，對設(shè)備環(huán)境等要求高，實(shí)時性差，尤其在遙感領(lǐng)域，遙感影像的數(shù)據(jù)量龐大，每幅影像中都包含有大量信息，使用深度學(xué)習(xí)的方法進(jìn)行影像優(yōu)化需要耗費(fèi)大量的時間和數(shù)據(jù)才可以得出結(jié)果，速度慢且成本高，在很多情況下都難以實(shí)現(xiàn)或得到高質(zhì)量的結(jié)果。

Anime4K算法是應(yīng)用在動漫圖像或視頻處理的一種基于超分辨率原理實(shí)時處理圖像的方法[16]。動漫圖像紋理少，由線段和陰影組成[17]，Anime4K算法針對這一特點(diǎn)，先對圖像的紋理細(xì)節(jié)模糊，再對圖像線段進(jìn)行細(xì)化、增強(qiáng)處理，達(dá)到對動漫整體優(yōu)化的目的，如圖2所示。相對于基于學(xué)習(xí)的影像優(yōu)化方法而言，這種SISR算法僅基于圖像進(jìn)行計(jì)算，速度快、效率高、更容易實(shí)現(xiàn)。相對于傳統(tǒng)邊緣細(xì)化算法，能夠解決振鈴和過沖的問題，減少對影像質(zhì)量的影響，對比原影像與實(shí)驗(yàn)過后的影像，經(jīng)過Anime4K處理過的影像分辨率更高，可以更高效地獲取所需要的信息。

圖2 動漫優(yōu)化效果圖

Anime4K算法是基于超分辨率影像重建原理r=HR-LRU來實(shí)現(xiàn)的，是一種單圖像超分辨率重建算法。一般來說，對于高分辨率圖像，圖像可以分為低分辨率圖像和殘差兩部分。在數(shù)理統(tǒng)計(jì)中，殘差是指實(shí)際值與估計(jì)值之間的差。圖像之間的殘差指的是不同分辨率圖像之間的差值，殘差值越小，高分辨率圖像與低分辨率圖像之間分辨率相差越小，即低分辨率圖像越接近于高分辨率圖像。Anime4K算法為了提高計(jì)算速度與算法的性能，根據(jù)Sobel梯度最大化與殘差最小化相似的原理，使用Sobel算子計(jì)算梯度作為圖像的近似殘差。

為了驗(yàn)證Anime4K是否適用于遙感影像，本文選取高分二號和資源三號位于同一地理位置的影像圖，在對影像預(yù)處理后分別實(shí)驗(yàn)，得到每張圖所對應(yīng)的殘差值。圖3中高分二號影像分辨率為1 m，資源三號影像圖分辨率為2.1 m，高分二號分辨率高于資源三號分辨率，而高分二號所對應(yīng)梯度圖中的線條也明顯比資源三號影像梯度圖的線條更細(xì)。結(jié)果證明，HR=LR_U+r三者之間的關(guān)系在影像中是符合的。本文將這一算法應(yīng)用在遙感影像處理中，優(yōu)化遙感影像，并檢驗(yàn)其效果。

圖3 遙感影像及梯度圖

1.3 改進(jìn)的Anime4K算法

Anime4K算法主要通過改變邊緣殘差線寬來改善圖像效果。由于動畫圖像紋理少、線條多，減少圖像紋理不會降低圖像質(zhì)量，所以先對圖像進(jìn)行模糊，這可以在一定程度上消除噪聲，在噪聲減少的基礎(chǔ)上進(jìn)行最小化殘差，效果更好。但是，遙感影像紋理多，模糊之后會丟失信息，降低影像質(zhì)量，對后續(xù)的地物提取、影像分割等常用的影像應(yīng)用有較大的影響?；谶b感影像的這一特性，去除Anime4K紋理模糊這一步驟，提出RS-Anime4K算法，重建超分辨率遙感影像。改進(jìn)后的算法主要通過計(jì)算影像亮度圖及殘差圖、細(xì)化邊緣及線條，然后將圖像顏色推向邊緣線條，導(dǎo)出影像圖。Anime4K算法使用Sobel算子代替高斯濾波計(jì)算殘差，但Sobel算子只有水平和垂直兩個方向的濾波器，在計(jì)算梯度時會丟失影像的一些紋理信息，所以本文增加兩個對角線的濾波器，使RS-Anime4K算法抗噪聲能力增強(qiáng)，邊緣信息更完整。從圖4可以看出，Anime4K對遙感影像已經(jīng)有了一定程度的優(yōu)化，但是仍然存在著模糊、視覺效果差的問題；RS-Anime4K處理的影像結(jié)果更清晰，圖像的邊緣得到細(xì)化，亮度提高，視覺效果增強(qiáng)，并且在此基礎(chǔ)之上完成了對圖像的實(shí)時快速處理。

實(shí)驗(yàn)證明，Anime4K算法更適用于重視輪廓分明的線條或者犧牲精細(xì)紋理的圖像，在遙感影像處理時，會存在一定的局限性，改進(jìn)后的RS-Anime4K算法更適用于遙感影像。從處理結(jié)果可以看出，該方法對線狀地物有更好的優(yōu)化效果，為了驗(yàn)證這一假設(shè)，在后續(xù)實(shí)驗(yàn)中，對資源三號以及WorldView-2遙感影像使用最鄰近差值、雙線性插值、三次卷積插值法、Anime4K以及RS-Anime4K插值重建，對結(jié)果進(jìn)行對比，并且對處理之后的影像進(jìn)行邊緣提取、閾值分割，來驗(yàn)證實(shí)驗(yàn)結(jié)果的有效性。

圖4 資源三號改進(jìn)算法前后結(jié)果對比

1.4 RS-Anime4K算法實(shí)驗(yàn)流程及技術(shù)核心

1)實(shí)驗(yàn)流程。本文實(shí)驗(yàn)使用WorldView-2影像和資源三號影像進(jìn)行實(shí)驗(yàn)，影像優(yōu)化的過程主要包括以下步驟。

步驟1：輸入低分辨率影像，遍歷每個像素值。

步驟2：分別獲取其RGB三通道的值，并基于此得到遙感影像各個像素的亮度值。

步驟3：使用四方向Sobel濾波器代替高斯濾波計(jì)算梯度，并將其作為圖像的近似殘差值。

步驟4：進(jìn)行迭代計(jì)算對殘差最小化，同時對彩色圖像進(jìn)行相同的操作。

步驟5：輸出結(jié)果影像，如圖5所示。

圖5 RS-Anime4K算法流程圖

2)殘差最小化。根據(jù)前文可知，高分辨率圖像由殘差和低分辨率圖像兩部分組成，將殘差變薄、銳化之后，加到低分辨率圖像上，就可以得到一幅比之前分辨率更高的圖像，但是殘差如果出現(xiàn)錯誤，尤其本文使用近似殘差的情況下，更容易引起振鈴或過沖，影響實(shí)驗(yàn)結(jié)果。因此，本文使用的方法是在對殘差進(jìn)行改變的同時，對原有的低分辨率圖像進(jìn)行相應(yīng)的改變，使殘差變細(xì)的同時，在彩色的低分辨率圖像上進(jìn)行相同的操作，這樣既可以使得圖像分辨率提高，也不會產(chǎn)生振鈴和過沖。

本文使用Sobel算子計(jì)算出每一個像素值八個方向的梯度之后，選取最大的梯度值作為該點(diǎn)的梯度值，并將梯度最大位置的像素值賦值給該像素，具體函數(shù)如式(1)所示。

G[i,j]=max(gα[i,j]),α=0,1,…,7

(1)

式中：gα[i,j]表示各像素的梯度值。

3)Sobel算子。高斯濾波是一種經(jīng)常使用的去噪濾波，用于降低或是消除高斯噪聲，適用于大部分噪聲符合高斯分布的圖像。

在實(shí)際應(yīng)用中，高斯濾波需要遍歷整幅影像的像素值，將各個像素值與其相鄰的其他像素值加權(quán)平均后得到的值代替之前的灰度值，速度較慢，且容易引起振鈴和過沖。Anime4K算法選用了Sobel濾波器代替高斯濾波，計(jì)算圖像梯度的近似值代替殘差。相比高斯濾波，Sobel濾波器計(jì)算簡便，且在改善邊緣時不易造成振鈴和過沖。

Sobel是一種用于邊緣檢測的算子，包括兩個卷積因子，分別為橫向?yàn)V波器Gx和縱向?yàn)V波器Gy。兩個濾波器均與圖像做平面卷積，得出橫向和縱向的亮度差分近似值，分別提取水平邊緣和豎直邊緣。

Sobel算子計(jì)算簡單，但是在計(jì)算時只能對垂直或者水平方向上的頻率起作用。RS-Anime4K算法在使用Sobel算子時，增加了對角線上兩個方向，與Gx、Gy共同構(gòu)成四方向的卷積模板。增加的兩個對角線濾波器分別如式(2)和式(3)所示。

(2)

(3)

4)亮度計(jì)算。發(fā)光亮度(luminance)指的是投射在固定方向和面積上面的發(fā)光強(qiáng)度。彩色圖像的亮度是通過獲取影像各像素值的R、G、B值，將三個值按照比重計(jì)算得出，亮度計(jì)算如式(4)所示。

lum=0.299*R+0.587*G+0.114*B

(4)

1.5 超分辨率圖像重建質(zhì)量評價

超分辨率重建后圖像的評價對于算法優(yōu)劣的評估具有重要意義，具體的可以分為主觀評價方法和客觀評價方法[18]。主觀評價方法難以具體量化，一般通過目視判別的方式，通過人眼主觀進(jìn)行判斷；而客觀評價方法可以通過信息熵、峰值信噪比(peak signal to noise ratio，PSNR)[19]、結(jié)構(gòu)相似性指數(shù)(structure similarity image measure，SSIM)[20]、特征相似性指數(shù)(feature similarity index，F(xiàn)SIM)[21]等指標(biāo)計(jì)算影像處理結(jié)果與高分辨率參考圖像之間的差值來對實(shí)驗(yàn)結(jié)果質(zhì)量進(jìn)行量化評估。

1)信息熵。信息熵是基于一定的統(tǒng)計(jì)概率模型，用于描述一個隨機(jī)過程中離散隨機(jī)事件平均信息量的概念。在遙感影像質(zhì)量分析中，影像信息量的多少可以通過信息熵來表示，在判斷影像質(zhì)量時，可以作為一種客觀評價方法對實(shí)驗(yàn)效果進(jìn)行判斷。

2)結(jié)構(gòu)相似性。結(jié)構(gòu)相似性是衡量兩幅圖像相似性的指標(biāo)，通過亮度(luminance)、對比度(contrast)、結(jié)構(gòu)(structure)三個方面來計(jì)算。SSIM是超分辨率影像重建算法中一個重要的評價指標(biāo)。

3)峰值信噪比。峰值信噪比常用作超分辨率影像重建的定量質(zhì)量評價指標(biāo)。通過均方誤差(MSE)進(jìn)行計(jì)算。

2 實(shí)驗(yàn)分析

2.1 超分辨率影像重建對比實(shí)驗(yàn)

本文實(shí)驗(yàn)包括兩部分，第一部分是使用不同超分辨率影像重建算法處理影像結(jié)果的對比。Hossain等[22]認(rèn)為超分辨率影像重建中最鄰近算法、雙線性插值法、三次卷積插值法均有較好的處理效果且計(jì)算步驟復(fù)雜度低，所以本文選取了這三種經(jīng)典算法與本文方法進(jìn)行對比實(shí)驗(yàn)。第二部分是對算法處理結(jié)果的進(jìn)一步驗(yàn)證，包括影像分割驗(yàn)證以及影像重建量化指標(biāo)評價兩部分。

圖6和圖7是資源三號和WorldView-2影像分別使用幾種算法進(jìn)行超分辨率重建實(shí)驗(yàn)后的對比。

圖6 不同方法的資源三號超分辨率重建影像與高分二號影像對比

圖7 不同方法的WorldView-2超分辨率重建影像結(jié)果對比

從實(shí)驗(yàn)結(jié)果可以看出，Anime4K算法并不適用于遙感影像，該方法的影像處理效果不如傳統(tǒng)算法，甚至沒有原影像的質(zhì)量高。而改進(jìn)后的RS-Anime4K算法對遙感影像的優(yōu)化取得了大幅度的提升，相較于其他幾種超分辨率重建算法，本文算法重建效果最優(yōu)，尤其是在圖像邊緣。從兩組實(shí)驗(yàn)結(jié)果可以看出，RS-Anime4k算法對道路的優(yōu)化有明顯的效果，使道路邊緣清晰度更高，這一結(jié)論在影像中道路等線狀地物的優(yōu)化上有較大的應(yīng)用價值。

2.2 實(shí)驗(yàn)驗(yàn)證

1)影像分割方法驗(yàn)證。在遙感影像的處理過程中，影像分割、地物提取等是遙感應(yīng)用中的關(guān)鍵步驟，它會直接影響后續(xù)工作的準(zhǔn)確度。本文為驗(yàn)證圖像處理效果，分別選取了基于閾值的分割方法中的固定閾值算法、Canny算子、Laplace算子分別對各影像重建算法的結(jié)果進(jìn)行驗(yàn)證，如圖8至圖10所示。

圖8 Canny邊緣提取算法

圖9 固定閾值分割算法

圖10 Laplace算子

2)超分辨率圖像重建指標(biāo)評價。本文計(jì)算了WorldView-2影像實(shí)驗(yàn)結(jié)果圖的信息熵、SSIM、PSNR。計(jì)算PSNR以及SSIM兩個指標(biāo)時，首先，對WorldView-2影像使用高斯濾波進(jìn)行卷積計(jì)算；然后，對影像進(jìn)行模糊處理；接著，對模糊之后的影像進(jìn)行超分辨率影像重建實(shí)驗(yàn)；最后，對結(jié)果與原影像進(jìn)行計(jì)算，計(jì)算結(jié)果如表1所示。

表1 影像處理評價指標(biāo)

3 實(shí)驗(yàn)結(jié)果分析

根據(jù)對比資源三號和WorldView-2經(jīng)過RS-Anime4K算法實(shí)驗(yàn)前后的影像、驗(yàn)證實(shí)驗(yàn)、影像質(zhì)量評價量化指標(biāo)，可以得出以下結(jié)論。

1)通過人眼主觀判別可以看出，RS-Anime4K對兩組實(shí)驗(yàn)的影像圖都有著明顯的優(yōu)化效果，且優(yōu)于其他幾種影像重建算法。影像分辨率明顯提高，尤其道路、農(nóng)田邊界等影像邊緣部分。

2)在對幾種重建算法的結(jié)果進(jìn)行影像分割的驗(yàn)證實(shí)驗(yàn)中，在任意選取的幾種提取邊界、道路的算法中，使用本文算法處理后的影像都得到了相對于其他影像重建算法更好的效果。在利用Canny算子提取邊緣時，RS-Anime4K處理結(jié)果影像所提取的邊緣更清晰、更全面。使用固定閾值法提取道路時，本文算法處理后的影像提取的道路更連續(xù)、效果更好。使用Laplace算子提取邊緣時，細(xì)節(jié)提取更完整，與原始影像匹配度更高。但從結(jié)果來看，仍然存在一些噪聲誤差。

3)對實(shí)驗(yàn)影像超分辨率重建質(zhì)量定量評價時，從表1可以看出，本文方法處理之后影像的信息熵的值為7.521 90，信息量顯著提升，并且明顯高于其他幾幅實(shí)驗(yàn)處理影像。比較SSIM以及PSNR時，RS-Anime4K實(shí)驗(yàn)處理影像與原影像圖的SSIM值為0.981 8，PSNR值為26.770 7，兩個指標(biāo)的值均為幾種算法中最高。而改進(jìn)前算法的處理結(jié)果值要低于其他幾種插值算法，證明RS-Anime4K算法相較于Anime4K算法實(shí)驗(yàn)處理結(jié)果得到了明顯提升，同時優(yōu)于其他幾種插值算法。

綜上，主觀評判與客觀評價結(jié)果一致證明了本文算法的科學(xué)性、正確性、有效性。與其他幾種超分辨率處理技術(shù)相比，本文算法具有更大的優(yōu)勢和應(yīng)用價值。

4 結(jié)束語

本文根據(jù)高分辨率影像的基本特征與超分辨率算法重建影像的特點(diǎn)，針對超分辨率影像重建容易引起振鈴[23]、過沖[24]，及處理速度低等問題，提出了一種基于Anime4K算法改進(jìn)的RS-Anime4K算法。該算法依據(jù)影像與殘差之間的關(guān)系進(jìn)行影像重建，解決了常見算法存在的問題的同時，有效地提高了影像的分辨率?；趯?shí)驗(yàn)結(jié)果，首先，通過人眼判別，對比各算法重建影像的結(jié)果證明了本文算法的優(yōu)勢；其次，對實(shí)驗(yàn)處理結(jié)果進(jìn)行影像分割提取實(shí)驗(yàn)，從提取結(jié)果可以看出，運(yùn)用本文算法處理過的影像質(zhì)量最高，對后續(xù)影像的處理、應(yīng)用有很大的幫助；最后，通過比較三個客觀評價量化指標(biāo)的計(jì)算結(jié)果，發(fā)現(xiàn)本文的算法同樣優(yōu)于其他幾種超分辨率重建算法。綜合主觀評判與客觀評價結(jié)果，本文算法相較于傳統(tǒng)算法在影像邊緣優(yōu)化上取得了更加理想的結(jié)果，在衛(wèi)星影像的應(yīng)用中具有更大的優(yōu)勢與應(yīng)用價值。