基于退化模型和鄰域嵌套的彩色圖像超分辨率自適應(yīng)重建

楊 欣 姜 斌 周大可

(1南京航空航天大學(xué)自動(dòng)化學(xué)院，南京 210016)

(2北京師范大學(xué)遙感科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，北京 100875)

超分辨率(SR)重建［1］即通過一序列低分辨率(LR)變形圖像來估計(jì)高分辨率(HR)的非變形圖像.這一技術(shù)在遠(yuǎn)程遙感、醫(yī)學(xué)診斷、視頻監(jiān)控以及軍事情報(bào)獲取等方面有著廣泛的應(yīng)用.常見的如最大后驗(yàn)概率法(MAP)［2-4］需要較強(qiáng)的圖像先驗(yàn)信息.因此，更多的空間和本地信息被用來進(jìn)行SR重建，例如，文獻(xiàn)［5］提出了基于示例的SR重建算法;文獻(xiàn)［6］提出了基于學(xué)習(xí)的示例可選擇SR重建算法等.通?；趯W(xué)習(xí)的方法不需要太多先驗(yàn)知識(shí).文獻(xiàn)［7］對LR和HR圖像進(jìn)行相似性分塊，提出了基于鄰域嵌套的SR重建算法(SRNE);文獻(xiàn)［8］提出一種基于鄰域嵌套的圖像聯(lián)想方法，這也是由SRNE演化而來;文獻(xiàn)［9］在SRNE的基礎(chǔ)上對訓(xùn)練集的特征進(jìn)行分析與選擇，提出了基于邊緣檢測與特征提取的SRNE算法(NeedFS)，取得了較好的效果.上述基于鄰域嵌套的各種SR重建方法都存在著相同的缺點(diǎn)，即:訓(xùn)練集中的LR圖像是通過HR圖像的簡單采樣所得，且1幅HR圖像只對應(yīng)1幅LR圖像，對實(shí)際圖像退化過程中的模糊過程和仿射變換過程沒有任何考慮，這對重建的效果會(huì)產(chǎn)生消極的影響.

基于上述分析，本文將圖像的退化模型結(jié)合到鄰域嵌套算法中，訓(xùn)練集中1幅HR圖像將對應(yīng)多幅退化的LR圖像，同時(shí)提取邊緣信息和亮度信息并進(jìn)行特征融合，有效降低圖像噪聲，銳化圖像邊緣.在分塊重建時(shí)引入了圖像重建優(yōu)化參數(shù)(OP)和邊緣信息參數(shù)(EP)2個(gè)自適應(yīng)參數(shù)，大大提高了算法的自適應(yīng)性，取得較好的重建效果.

1 模型建立與分析

1.1 SR重建退化模型

設(shè)p幅m×n的LR觀測圖像{Yk}，有

式中，Yk為第k幅m×n的LR觀測圖像ˉyk經(jīng)字典排序后組成的N×1(N=mn)向量;如果r1，r2分別為水平和垂直方向的下采樣因子，則Z為r1m×r2n的HR圖像Z經(jīng)字典排序后形成的r1r2N×1向量;Mk為 r1r2N×r1r2N仿射變換矩陣;Bk為r1r2N×r1r2N模糊矩陣;D為N×r1r2N下采樣矩陣;nk為N×1高斯白噪聲向量.

1.2 圖像分塊模型

令Zs為HR訓(xùn)練圖像，Ys，k為Zs經(jīng)過模糊化、運(yùn)動(dòng)變換、采樣及加入噪聲等因素影響，退化成的第 k 幅(k=1，2，…，K1)LR 圖像.將 Ys，k分割為 P個(gè) s× s小塊，組成塊集合{ys，k，i}，ys，k，i表示第 k 幅LR訓(xùn)練圖像的第i小塊，相鄰的塊之間有1或2個(gè)像素點(diǎn)重合;將Zs分割成相對應(yīng)的P個(gè)r1s×r2s小塊，同樣相鄰的塊之間根據(jù)水平和垂直方向分別有r1，r2或者2r1，2r2個(gè)像素點(diǎn)重合，組成塊集合{zs，i};{ys，k，i}和{zs，i}與參數(shù) i一一對應(yīng).將 k 幅LR 測試圖像 Yt，k(k=1，2，…，K2)也通過同樣的方法進(jìn)行分塊，組成塊集合{yt，k，i}.

2 基于退化模型與鄰域嵌套的SR重建算法

2.1 特征提取

采用多種方法提取特征并進(jìn)行融合，這樣能較好地表征圖像信息.如果輸入的圖像屬于RGB色彩空間，先將其轉(zhuǎn)換為YIQ空間，再進(jìn)行分塊，對于Y分量(即亮度)，將其轉(zhuǎn)換為標(biāo)準(zhǔn)亮度后作為特征.

設(shè)LR訓(xùn)練圖像分塊的大小為s×s，將原始分塊轉(zhuǎn)化為標(biāo)準(zhǔn)亮度分塊，如圖1(a)、(b)所示，則其標(biāo)準(zhǔn)亮度為

圖1 圖像分塊轉(zhuǎn)化示意圖

對于I分量和Q分量，不作為特征進(jìn)行訓(xùn)練，即重建的是沒有顏色信息的HR圖像，HR圖像重建后再融合作為顏色信息的I分量和Q分量(采用插值方法).

為了在重建圖像中加入邊緣信息，對于原圖像中有邊緣的地方要銳化，而平滑的地方要抑制噪聲.本文在分塊中的每一個(gè)像素點(diǎn)引入一個(gè)四維的邊緣特征向量，由標(biāo)準(zhǔn)亮度經(jīng)過計(jì)算得到(見圖1(c))，邊緣特征向量定義如下:

將圖1(c)所示的邊緣信息特征分塊轉(zhuǎn)換為圖1(d)所示的邊緣參數(shù)分塊，引入?yún)?shù) di，j(i=1，2，…，s;j=1，2，…，s)，即

設(shè)定閾值 T，如果 di，j≥T，則可認(rèn)為該分塊邊緣信息明顯，反之，則認(rèn)為邊緣信息不明顯.T的大小根據(jù)實(shí)驗(yàn)和經(jīng)驗(yàn)判定.

將上述每一分塊的各個(gè)特征進(jìn)行融合，就得出LR和HR訓(xùn)練圖像中每一分塊的特征向量.如圖2所示，其中Label是一個(gè)標(biāo)志位，當(dāng)邊緣信息明顯時(shí)，設(shè)定Label標(biāo)志位為1，否則令其為0.Label標(biāo)志位不能作為分塊的特征，不參加圖像重建的計(jì)算.另外，本文中無論HR圖像還是LR圖像，都是用圖2的特征向量來表示的，因此，并沒有顏色信息，而重建的最后步驟是在得到的HR圖像上加入顏色信息，這樣才能得到最終的彩色圖像.HR圖像中的顏色信息可以通過LR圖像中的像素點(diǎn)的顏色信息進(jìn)行插值計(jì)算得到.

圖2 分塊特征向量示意圖

2.2 圖像重建

對于測試集中的第 q 個(gè)分塊 yt，k，q，令

式中，Kq為 yt，k，q的鄰域分塊在訓(xùn)練集中相對應(yīng)的分塊;Ls，k，i為邊緣信息自適應(yīng)參數(shù)(EIP); ωq，i為圖像重建優(yōu)化自適應(yīng)參數(shù)(SOP)，上述2個(gè)自適應(yīng)參數(shù)的組合將有效地增強(qiáng)算法的自適應(yīng)性，而式(5)右邊第1項(xiàng)乘以系數(shù)K2/K1的目的主要是讓前后項(xiàng)的量級相等，起到平衡的作用，其計(jì)算方法分別如下:

Ls，k，i的大小與訓(xùn)練 LR 圖像分塊 ys，k，i的邊緣信息有關(guān)，令

Ls，m，i所對應(yīng)的 ys，m，i的邊緣標(biāo)志位為 1，Ls，n，i所對應(yīng)的 ys，n，i的邊緣標(biāo)志位為 0.邊緣特征明顯的分塊的自適應(yīng)參數(shù)2倍于邊緣特征不明顯的分塊，這樣能有效地銳化邊緣.根據(jù)式(6) 即可得出Ls，k，i.

為了求出圖像重建優(yōu)化自適應(yīng)參數(shù)ωq，i，首先給出前提條件:對于任意再根據(jù)式(5)，令

則

式(7)的最小化問題可以轉(zhuǎn)化為一個(gè)約束最小二乘問題，令

式中，1為元素都為1的列向量;V為矩陣，其列向量由 Vs，i構(gòu)成，則有

式中，ωq為 q × 1 列向量，其元素由 ωq，i構(gòu)成，然后求出相應(yīng)的第q個(gè)重建HR圖像分塊，即

將重建的分塊Zt，q按照相應(yīng)的次序組合起來，重復(fù)的像素點(diǎn)取平均值，這樣就得到HR重建圖像Zt.最后融合顏色信息，即可得到HR彩色圖像.

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的效果，實(shí)驗(yàn)采用了分塊均方差εp來驗(yàn)證，圖3為訓(xùn)練和測試圖像，依次選擇(圖像1，圖像 2)、(圖像 2，圖像 3)、(圖像 3，圖像4)、(圖像4，圖像5)、(圖像5，圖像6)、(圖像6，圖像1)等6組圖像進(jìn)行實(shí)驗(yàn)，括號(hào)中的前者為測試圖像，后者為訓(xùn)練圖像.這些圖像都需經(jīng)過退化模型變成K2幅LR圖像，實(shí)驗(yàn)首先令K2=3.

圖3 訓(xùn)練以及測試圖像

6組實(shí)驗(yàn)的結(jié)果如圖4所示，其中，SRNE和NeedFS都是較為經(jīng)典的算法，因此作為實(shí)驗(yàn)比較算法具有一定的代表性.由圖4可知，本文算法的分塊均方差εp相對較小，因此本文算法重建的圖像較為平滑，噪聲較小.

對參數(shù)K2的選擇進(jìn)行實(shí)驗(yàn)，如圖5所示.由圖5可以看出，K2越大，分塊均方差越小，但是當(dāng)K2＞3時(shí)，這種區(qū)別不太明顯.因此，在適當(dāng)考慮計(jì)算成本的前提下選擇合適的K2，將有助于提高圖像重建的質(zhì)量.

圖4 不同算法的分塊均方差εp

圖5 不同參數(shù)K2下重建圖像的分塊均方差εp

最終的圖像重建實(shí)驗(yàn)選擇了圖3中的圖像1、圖像2和圖像6進(jìn)行重建;訓(xùn)練圖像為圖3中的圖像3，重建圖像的效果如圖6所示，其中，圖6(a)為HR 圖像，圖6(b)為LR 圖像，圖6(c)、(d)、(e)分別為由 SRNE 算法［7］、NeedFS 算法［9］以及本文算法重建的圖像.由圖6可以看出，SRNE效果略差，這是因?yàn)槠鋵τ?xùn)練特征沒有進(jìn)行選擇與提煉.而對比NeedFS算法，本文算法重建圖像邊緣部位較清晰，其他部分則比較平滑，噪聲小，重建效果較好.這是因?yàn)楸疚乃惴ㄓ?xùn)練集中訓(xùn)練圖像的個(gè)數(shù)較多，一幅HR圖像對應(yīng)于K2幅LR圖像，且LR圖像通過圖像退化模型得到，更接近于現(xiàn)實(shí).NeedFS中一幅HR訓(xùn)練圖像只對應(yīng)于一幅LR圖像，且LR圖像僅僅是由HR圖像簡單采樣所得，因此重建效果略差于本文算法.

圖6 不同算法的重建效果圖

4 結(jié)語

提出一種基于退化模型和鄰域嵌套的圖像SR重建方法，即:將圖像退化模型引入到圖像學(xué)習(xí)過程中;在特征提取過程中，融合了多種特征;增加了算法的自適應(yīng)性.實(shí)驗(yàn)詳細(xì)說明了算法性能參數(shù)的影響以及實(shí)際重建的效果，并與其他基于學(xué)習(xí)的典型鄰域嵌套算法進(jìn)行了比較.結(jié)果表明該算法具有較高的評價(jià)指標(biāo)和較好的重建質(zhì)量.

References)

［1］ Chaudhuri S.Super-resolution imaging［M］.Norwell，MA，USA:Kluwer，2001.

［2］ Tom B C，Katsaggelos A K.Reconstruction of a high-resolution image from multiple degraded mis-registered lowresolution images［J］.Visual Communications and Image Processing，1994，2308(9):971-981.

［3］ Hardie R C，Barnard K J，Armstrong E E.Joint MAP registration and high-resolution image estimation using a sequence of under sampled images［J］.IEEE Transaction on Image Processing，1997，6(9):1621-1633.

［4］楊欣，王從慶，費(fèi)樹岷.基于最大后驗(yàn)概率的SAR圖像自適應(yīng)超分辨率盲重建［J］.宇航學(xué)報(bào)，2010，31(1):217-221.Yang Xin，Wang Chongqing，F(xiàn)ei Shumin.An adaptive technology for SAR image blind super-resolution based on MAP［J］.Journal of Astronautics，2010，31(1):217-221.(in Chinese)

［5］Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56-65.

［6］Chen M，Qiu G，Lam K M.Example selective and order independent learning-based image super-resolution［C］//International Symposium on Intelligent Signal Processing and Communication Systems. Seoul， Korea，2005:77-80.

［7］ Chang H， YeungD Y， XiongY. Super-resolution through neighbor embedding［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC，USA，2004:275-282.

［8］ Wei F，Yeung D Y.Image hallucination using neighbor embedding over visual primitive manifolds［C］//IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，MN，USA，2007:201-205.

［9］ Chan Tak-Ming，Zhang Junping，Pu Jian，et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection［J］.Pattern Recognition Letters，2009，30(2):494-502.