基于POCS的超分辨率重建算法研究*

楊大偉，李 丹,李 健

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱150001)

凸集投影(POCS)超分辨率重建中,對(duì)高分辨率初始圖像的預(yù)估直接影響該算法是否可行，并決定重構(gòu)圖像的質(zhì)量。超分辨率重建技術(shù)可以在不改變成像條件的前提下克服圖像系統(tǒng)原有的分辨率限制，提高圖像的輸出尺寸和質(zhì)量，在視頻監(jiān)控、物聯(lián)網(wǎng)、視頻娛樂、衛(wèi)星通信和遠(yuǎn)程醫(yī)療等領(lǐng)域都具有重要的應(yīng)用價(jià)值[1]。

POCS超分辨率重建算法能夠有效地結(jié)合先驗(yàn)信息，具有高度的靈活性和良好的可擴(kuò)展性。國(guó)內(nèi)外很多學(xué)者對(duì)該算法進(jìn)行了大量的研究，1982年，Loyal和Webb最先將POCS理論應(yīng)用于影像復(fù)原；Stark和Oskoui首次提出了最早的基于POCS的超分辨率重建算法，該算法簡(jiǎn)單且運(yùn)算速度快，但沒有考慮噪聲的影響，得到的圖像質(zhì)量較差;Toecap和Sezan在此基礎(chǔ)上提出了包含系統(tǒng)矩陣的運(yùn)動(dòng)模型，將點(diǎn)擴(kuò)散函數(shù)引入POCS算法中,該算法可以模擬圖像在傳輸過程中產(chǎn)生的模糊[2];參考文獻(xiàn)[3]提出了通過雙3次插值法獲取高分辨率初始估計(jì)圖像，相對(duì)于傳統(tǒng)方法，該方法改善了圖像的峰值信噪比。

本文針對(duì)傳統(tǒng)的POCS算法存在的邊緣模糊現(xiàn)象，通過小波變換與分形插值相結(jié)合的方法獲取高分辨率圖像的初始估計(jì)圖像。該方法可以有效地改善圖像的重建效果，與傳統(tǒng)的POCS算法相比，提高了圖像的峰值信噪比，改善了圖像邊緣質(zhì)量。

1 POCS算法原理

POCS算法是基于集合理論提出的。在POCS算法中，把限制集定義為超分辨率解空間中可行解的限制條件(如數(shù)據(jù)一致性、能量有界性、正定性等)，把每一個(gè)限制條件定義為向量空間中的凸集合，與每一個(gè)約束集合聯(lián)系在一起的是一個(gè)投影算子P，P把空間內(nèi)的任意一點(diǎn)映射到該集合內(nèi)離這一點(diǎn)最近的點(diǎn)上。定義凸約束集合時(shí)，每個(gè)集合應(yīng)該對(duì)應(yīng)低分辨率圖像序列f(i,j)內(nèi)的一個(gè)像素點(diǎn)，即：

圖1 本文的初始圖像估計(jì)方法

其中，

其中，θ(l)表示第l幅低分辨率圖像的支撐域,δ(l)(i,j)表示模型的統(tǒng)計(jì)不確定性，y(l)(i,j)表示第l幅觀測(cè)圖像的像素點(diǎn)，z(k)(r,s)表示第k幅高分辨率圖像的像素點(diǎn)，A(l,k)(r,s;i,j)表示從第k幅高分辨率圖像到第l幅低分辨率圖像的降質(zhì)模型，r(l)(i,j)表示高分辨率圖像z(k)(r,s)經(jīng)過降質(zhì)模型后與低分辨率圖像之間的偏差。

通過對(duì)這些限制集合進(jìn)行求交，形成超分辨率重建問題的解空間，超分辨率重構(gòu)圖像的可能解空間一定位于所有這些約束集的交集中。凸集投影過程指的是從給定向量空間中的任何點(diǎn)開始不斷搜索，直到找到滿足所有凸約束集的解的過程[4-6]。POCS超分辨率重建算法實(shí)現(xiàn)的基本流程是，首先通過超分辨率圖像降質(zhì)模型得到低分辨率圖像序列，選定其中一幀圖像作為參考幀，對(duì)參考幀圖像插值建立高分辨率圖像的初始估計(jì)圖像，然后對(duì)低分辨率圖像序列進(jìn)行運(yùn)動(dòng)估計(jì)，最后基于PSF模糊函數(shù)對(duì)初始估計(jì)圖像進(jìn)行修正，直到得到可以接受的結(jié)果[7-8]。

2 改進(jìn)的POCS算法

傳統(tǒng)的POCS算法通過對(duì)低分辨率圖像序列中的一幀圖像進(jìn)行雙線性插值得到高分辨率圖像的初始值[6],而傳統(tǒng)的插值方法具有低通濾波器的性質(zhì)，會(huì)使高頻信息受損，使圖像的邊緣變得模糊。針對(duì)這一缺點(diǎn)，對(duì)高分辨率初始圖像的獲取方法作出改進(jìn)，將小波變換與分形插值結(jié)合，有效地保留了圖像的紋理及邊緣等高頻信息。本文改進(jìn)的方法框圖如圖1所示。

對(duì)低分辨率序列圖像中的一幀圖像進(jìn)行Haar小波分解，可以得到3個(gè)高頻子圖和1個(gè)低頻子圖，然后分別對(duì)3個(gè)高頻子圖和1個(gè)低頻子圖進(jìn)行重構(gòu)，得到低頻重構(gòu)圖像fL和高頻重構(gòu)圖像fH。由能量守恒定律可知，圖像fL與圖像fH的能量之和等于原圖像的能量，即：

并且在相同像素點(diǎn)位置(i,j)上的灰度值關(guān)系為：

其中，fL(i,j)代表圖像fL在(i,j)位置上的像素值，fH(i,j)代表圖像fH在(i,j)位置上的像素值,f(i,j)代表原圖像f在(i,j)位置上的像素值。

由于傳統(tǒng)的插值方法的作用是保留圖像的低頻信息，因此只需通過對(duì)低頻部分進(jìn)行雙3次插值即可得到低頻插值圖像(i,j)。而fH是由原圖像的高頻信息重構(gòu)得到的,小波濾波器的作用主要是將高頻信息保留，將低頻信息濾掉，保留的這些信息主要是圖像的紋理及邊緣等細(xì)節(jié)部分，這些部分相鄰像素點(diǎn)間的變化迅速，具有分形特點(diǎn)，所以采用隨機(jī)分形插值即可得到重構(gòu)的高頻 插 值 圖 像(i,j)。

最后將低頻插值圖像和高頻插值圖像按式(5)合并，即可得到高分辨率圖像的初始估計(jì)f?(i,j)。

通過改進(jìn)的方法得到初始估計(jì)圖像后，采用塊匹配的運(yùn)動(dòng)估計(jì)方法估計(jì)出低分辨率圖像序列信息在待恢復(fù)的高分辨率圖像中的對(duì)應(yīng)位置，確定由低分辨率圖像的子像素運(yùn)動(dòng)所形成的位移算子[9]。使用運(yùn)動(dòng)估計(jì)的結(jié)果對(duì)低分辨率圖像和初始估計(jì)圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，然后基于PSF點(diǎn)擴(kuò)散函數(shù)對(duì)初始估計(jì)圖像進(jìn)行修正，不斷迭代圖像殘差項(xiàng)，直到得到滿意的結(jié)果。為了改善重構(gòu)圖像的齒輪現(xiàn)象，在迭代過程中加入一次巴特沃斯濾波進(jìn)行少許平滑。本文的POCS算法框圖如圖2所示。

3 仿真結(jié)果及分析

為測(cè)試本文方法的性能，在MATLAB R2012b仿真平臺(tái)上分別對(duì) lena(256×256)、 typewrtr(256×256)、Car_1(512×512)、Car_2(512×512)和 Car_3(512×512)等多幅 JPEG圖像進(jìn)行仿真，將本文所提方法與傳統(tǒng)的POCS算法進(jìn)行比較。

通過lena圖像介紹仿真的具體過程。對(duì)lena圖像進(jìn)行仿真時(shí)，采用的低分辨率圖像序列由原始高分辨率256×256的圖像經(jīng)過圖像降質(zhì)模型獲取，降質(zhì)過程主要包括模糊、全局平移、下采樣和噪聲等操作。低分辨率圖像幀數(shù)選為4幀，運(yùn)動(dòng)模型選擇仿射運(yùn)動(dòng)模型，點(diǎn)擴(kuò)散函數(shù)選用標(biāo)準(zhǔn)差為 1，支撐域?yàn)?×5的高斯函數(shù)，各幀低分辨率圖像的大小均為128×128，重建后的圖像大小為 256×256。

如圖3所示，圖3(b)中的4幅低分辨率圖像序列是由圖3(a)中的原始高分辨率圖像經(jīng)過降質(zhì)模型生成的，選擇低分辨率圖像序列中的第一幀作為重構(gòu)高分辨率圖像的參考幀，即由該圖來得到高分辨率圖像的初始估計(jì)。為了比較結(jié)果，仿真實(shí)驗(yàn)分為兩種情況進(jìn)行：第1種情況，選用雙線性插值，分辨率提高2倍，迭代次數(shù)選為10，得到的初始估計(jì)細(xì)節(jié)部分圖像如圖4(a)所示，高分辨率圖像如圖5(a)所示；第2種情況，使用本文提出的方法，分辨率提高 2倍，迭代次數(shù)為 10，得到的初始估計(jì)細(xì)節(jié)部分圖像結(jié)果如圖4(b)所示，高分辨率圖像如圖5(b)所示。

圖2 本文算法框圖

圖3 原始高分辨率圖像及低分辨率圖像序列

圖4 傳統(tǒng)插值與本文方法初始估計(jì)圖像對(duì)比

圖5 傳統(tǒng)POCS與改進(jìn)POCS得到的高分辨圖像對(duì)比

對(duì)比圖 4(a)和圖 4(b)可以看出，在對(duì)參考幀圖像進(jìn)行雙線性插值放大之后，眼睛和帽檐的細(xì)節(jié)變得模糊，邊緣的齒輪狀明顯，而在圖4(b)中，明顯看出這些部分可以較清晰地重建，邊緣質(zhì)量得到很好的改善。對(duì)比圖5(a)和圖5(b)也可看出，本文算法得到的圖像清晰度優(yōu)于傳統(tǒng)的算法。

從圖6的仿真結(jié)果可以看出，本文的方法得到了很好的主觀視覺效果，改進(jìn)后的重構(gòu)圖像整體質(zhì)量得到了改善。本文采用峰值信噪比的客觀評(píng)價(jià)標(biāo)準(zhǔn)來評(píng)價(jià)算法，表1給出了峰值信噪比結(jié)果，改進(jìn)后的方法較傳統(tǒng)的POCS算法峰值信噪比平均提高了0.308 dB，其中Car-2圖像雖然僅提高了0.14 dB,但是其重構(gòu)后圖像的視覺效果得到顯著提高。

圖6 仿真結(jié)果對(duì)比

表1 峰值信噪比結(jié)果對(duì)比(dB)

本文通過對(duì)高分辨率初始圖像的估計(jì)方法進(jìn)行改進(jìn)，通過改善初始值的細(xì)節(jié)及邊緣質(zhì)量，使得最終重構(gòu)圖像的質(zhì)量得到提高。通過MATLAB對(duì)該算法進(jìn)行了仿真，結(jié)果表明，該算法與傳統(tǒng)的POCS算法相比，提高了峰值信噪比，改善了圖像的邊緣模糊現(xiàn)象，得到了良好的視覺效果。該方法對(duì)超分辨率重建技術(shù)在其他領(lǐng)域的應(yīng)用也具有一定的意義。

[1]PARK S C,PARK M K,KANG M G.Super-resolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine,2003，20(3)：21-36.

[2]陳光盛,李樹濤.空域超分辨率圖像融合算法研究[D].長(zhǎng)沙：湖南大學(xué)，2006.

[3]禹晶,蘇開納.一種改善超分辨率重建中邊緣質(zhì)量的方法[J].自 動(dòng) 化 學(xué) 報(bào),2007,33(6)：577-582.

[4]李慧芳,杜明輝.基于改進(jìn)的 POCS算法的超分辨率圖像恢復(fù)[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2003,31(10)：24-27.

[5]OGAWA T,HASEYAMA M.Semantic image retrieval based on POCS algorithm using kernel PCA and its performance verification[C].IEEE 13th International Symposium on Consumer Electronics,2009：582-583.

[6]Zhang Fan,Zhu Qidan.Super-resolution image reconstruction for omni-vision based on POCS[C].Proceedings of Control and Decision Conference,2009：5045-5049.

[7]黃華,孔玲莉,齊春.基于凸集投影和線性過程模型的超分辨率圖像重建[J].西安交通大學(xué)學(xué)報(bào)，2003,10(37)：1059-1062.

[8]PROTTER M,ELAD M.Super resolution with probabilistic motion estimation[J].IEEE Transactions on Image Processing,2009,18(8)：1899-1944.

[9]TONG C S,LEUNG K T.Super-resolution reconstruction based on linear interpolation of wavelet coefficients[J].Multidimensional Systems and Signal Processing,2007,18(2-3)：153-171.

[10]浦劍,張軍平,黃華.超分辨率算法研究綜述[J].山東大學(xué) 學(xué) 報(bào),2009,39(1)：27-32.