基于自適應(yīng)金字塔的紅外圖像超分辨率重建算法

祁偉 李偉 陳錢

（1.蘇州長風(fēng)航空電子有限公司 江蘇省蘇州市 215010）

（2.南京理工大學(xué) 江蘇省南京市 210094）

成像傳感器在傳輸圖像數(shù)據(jù)過程中容易損失圖像的分辨率，影響圖像的視覺效果。如何在圖像數(shù)據(jù)傳輸過程中從退化的低分辨率圖像中計(jì)算出高分辨率圖像，并且保持的結(jié)構(gòu)相對(duì)清晰，紋理細(xì)節(jié)相對(duì)豐富，是目前計(jì)算機(jī)視覺領(lǐng)域急需解決的重要問題。圖像超分辨率重建技術(shù)的主要任務(wù)是從低分辨率圖像中重建出高分辨率圖像，且人為痕跡較少。提高圖像分辨率對(duì)醫(yī)學(xué)、軍事領(lǐng)域和遙感領(lǐng)域有著重要的意義。

近年來，基于監(jiān)督學(xué)習(xí)的方法在圖像超分辨率重建領(lǐng)域顯示出優(yōu)越的性能，成為主流的研究重點(diǎn)。通過樣本學(xué)習(xí)與訓(xùn)練，挖掘數(shù)據(jù)內(nèi)部特性，提升算法的泛化能力[3，4]。Yang等人提出了一種稀疏編碼的超分辨率重建算法（Yang_SR），通過字典學(xué)習(xí)來提高圖像的分辨率[1]。Zeyde等人提出了一種核SVD和正交匹配跟蹤的方法（Zeyde_SR），用于圖像超分辨率重建，可以減少圖像中目標(biāo)高頻信息丟失等現(xiàn)象，保留豐富的紋理細(xì)節(jié)[2]。Wang等人通過將核PCA和半耦合字典方法相結(jié)合，抑制重建過程中出現(xiàn)的馬賽克現(xiàn)象，并且在重建過程中獲得的圖像相對(duì)清晰，顯著提高了圖像的視覺質(zhì)量[5]。

對(duì)于圖像超分辨率重建算法，國內(nèi)外已進(jìn)行了深入的研究，并取得了較好的成果[6，7]。但這些算法都是針對(duì)自然圖像，很少有算法針對(duì)紅外圖像場(chǎng)景設(shè)計(jì)，已有的超分辨率重建算法難以提高紅外圖像的分辨率，這主要是因?yàn)榧t外圖像的細(xì)節(jié)相對(duì)較少，算法難以提取到豐富的特征信息。

為了解決上述問題，本文提出了一種自適應(yīng)金字塔的紅外圖像超分辨率重建算法，通過金字塔結(jié)構(gòu)挖掘不同尺度上的紅外圖像特征信息，利用一個(gè)濾波器自適應(yīng)融合計(jì)算單元，實(shí)現(xiàn)多特征信息融合處理。實(shí)驗(yàn)結(jié)果表明本算法能夠重建出相對(duì)清晰的圖像，獲得的圖像視覺效果較好。

1 基于自適應(yīng)金字塔的紅外圖像超分辨率重建算法

由于本算法是基于稀疏表示的圖像超分辨率重建架構(gòu)所設(shè)計(jì)的，主要包括樣本集、訓(xùn)練字典和重構(gòu)高分辨率圖像。其中，樣本數(shù)據(jù)來自于紅外相機(jī)拍攝獲取，圖像分辨率為400*300，8位紅外圖像。訓(xùn)練字典是通過提取圖像的特征學(xué)習(xí)得到，啟發(fā)于Yang等人提出了一種基于稀疏表示的圖像超分辨率重建方法。本文算法的創(chuàng)新點(diǎn)在于提出一種自適應(yīng)金字塔架構(gòu)，通過分析不同字典層的信息，激活訓(xùn)練字典中重要的稀疏成份，并通過訓(xùn)練字典挖掘紅外圖像特征，減少低分辨率圖像的噪聲，保留豐富的紋理和結(jié)構(gòu)信息。

圖1

1.1 稀疏系數(shù)學(xué)習(xí)

基于高分辨率樣本Xh和低分辨率樣本Xl，優(yōu)化最小目標(biāo)函數(shù)，即：

表1：三種圖像超分辨率重建算法PSNR比對(duì)

其中，L()表示對(duì)角矩陣，k控制多尺度稀疏系數(shù)對(duì)高分辨率字典和低分辨率字典重建的差異程度，本文經(jīng)過多次試驗(yàn)選擇k=0.2。本文進(jìn)行縮放一倍和兩倍的采樣計(jì)算處理，表示不做縮放處理的原圖所對(duì)應(yīng)的稀疏系數(shù)，和分別表示縮放一倍和兩倍情況下所計(jì)算出來的系數(shù)。

1.2 重建自適應(yīng)均值計(jì)算

基于已計(jì)算獲得的稀疏系數(shù)，對(duì)三種稀疏系數(shù)進(jìn)行自適應(yīng)均值處理，計(jì)算出的高分辨率圖像S如下所示：

其中，Dh表示不做縮放處理的原圖訓(xùn)練所對(duì)應(yīng)的字典，mean()表示均值計(jì)算，γ1、γ2和γ3表示三種比例因子，用來控制系數(shù)重建的程度，來自于各自的所應(yīng)用的字典與總字典的比例。

2 仿真實(shí)驗(yàn)

本文利用Matlab軟件在intel i7 3630 2.9GHz四核CPU、8GB RAM工作站進(jìn)行仿真測(cè)試，利用兩種超分辨率重建算法（Yang_SR[1]，Zeyde_SR[2]）對(duì)復(fù)雜的紅外圖像場(chǎng)景進(jìn)行試驗(yàn)，經(jīng)過本文算法后的結(jié)果如圖1所示，從圖中可以看出，本文算法在重建過程中保留的紋理比較豐富，目標(biāo)邊緣沒有出現(xiàn)明顯的虛幻現(xiàn)象，邊緣更加收斂，看起來更加的整齊平滑。同時(shí)，背景層次感強(qiáng)，噪聲影響小，這主要是因?yàn)榻鹱炙谛畔⒄蠒r(shí)抑制了不同層之間噪聲的交互影響，通過自適應(yīng)正則化弱化了噪聲在圖像重建過程中的作用。

表1給出了評(píng)價(jià)算法PSNR值對(duì)比。從表中可以看出，在四種不同的紅外圖像場(chǎng)景中，本文算法獲得的PSNR值最高，說明本文算法獲得的結(jié)構(gòu)信息保持能力強(qiáng)，能夠獲得相對(duì)清晰的結(jié)構(gòu)信息，顯著目標(biāo)的邊緣相對(duì)尖銳。這主要是因?yàn)樵谥亟ㄟ^程中，采用金字塔策略來分析不同尺度下高分辨率字典信息，獲取不同尺度下的稀疏系數(shù)以緩解重建過程中容易出現(xiàn)振鈴效應(yīng)。其它重建算法獲得的PSNR值相對(duì)較低，重建圖像視覺質(zhì)量相對(duì)較差，顯著的目標(biāo)邊緣偏移嚴(yán)重，背景層次感相對(duì)較差。這主要是因?yàn)樵谥亟ㄟ^程中，沒有考慮到紅外圖像的特性，直接利用對(duì)紅外圖像進(jìn)行像素重建，容易丟失重要的結(jié)構(gòu)細(xì)節(jié)，且紋理信息相對(duì)較少，這大大降低了重建圖像的視覺質(zhì)量。

3 結(jié)束語

本文提出了一種自適應(yīng)金字塔的紅外圖像超分辨率重建算法，通過挖掘紅外圖像內(nèi)部特征信息，對(duì)多層信息進(jìn)行融合處理，可有效提高重建圖像的視覺質(zhì)量。通過仿真試驗(yàn)表明，本算法能夠有效提高紅外圖像的分辨率，獲得的重建圖像清晰度較高，超分辨率重建性能較強(qiáng)。