基于插值和多幀重建的圖像超分辨分析

方永銘

摘 要：基于插值的超分辨重建方法是單幅低分辨率圖像利用相鄰像素間的相關(guān)性來重建一幅高分辨圖像?；诙鄮鄮亟ǖ某直嬷亟ǚ椒ㄊ抢枚喾鶊D像間的信息互補(bǔ)來獲得比單幅圖像重建更多的細(xì)節(jié)，它按照特定的退化模型，通過輸入的多幅低分辨圖像估計(jì)高分辨圖像。本文主要實(shí)現(xiàn)了典型的三種基于插值的超分辨率重建以及基于多幀重建的迭代后向投影法的超分辨重建算法，并對(duì)這兩類方法的性能進(jìn)行了比較分析。

關(guān)鍵詞：低分辨率；插值；多幀重建；高分辨率

圖像超分辨率指利用通過算法去改進(jìn)低分辨率圖像，得到高分辨率圖像的過程 [1]。低分辨率圖像在應(yīng)用中，細(xì)節(jié)往往被忽略了，難以提供圖像細(xì)節(jié)，這些被忽視的細(xì)節(jié)在應(yīng)用中卻又關(guān)鍵作用，所以獲得高分辨率的圖像顯得重要。要獲得高分辨率圖像最直接的方式就是采用高分辨率圖像傳感器，由于受到制造工藝和成本的限制，對(duì)于要滿足需要而大規(guī)模的部署高分辨率圖像傳感器是很不現(xiàn)實(shí)的。因此，現(xiàn)有的設(shè)備的條件下，通過超分辨率技術(shù)獲取HR 圖像越具有現(xiàn)實(shí)意義。

1.超分辨重建算法原理

圖像超分辨率處理技術(shù)通?？梢苑譃閮纱箢悾簡螏瑘D像重建（靜態(tài)圖像插值）方法和多幀圖像處理（序列圖像重建）方法。單幀圖像處理實(shí)際上就是指通過重建算法對(duì)低分辨率圖像提高圖像分辨率，也就是所稱的圖像放大方法。

多幀重建方法是假定超分辨率圖像在適當(dāng)?shù)淖冃巍⑵揭坪妥硬蓸蛹霸肼暩蓴_下，利用多幀 LR 圖像作為數(shù)據(jù)一致性約束，并結(jié)合圖像先驗(yàn)知識(shí)（通常是平滑性等）進(jìn)行求解。配準(zhǔn)和重建是多幀重建方法的關(guān)鍵。配準(zhǔn)是獲得其它LR 圖像與參考LR 圖像之間的亞像素精度的相對(duì)運(yùn)動(dòng)；重建是利用先驗(yàn)知識(shí)，對(duì)目標(biāo)圖像進(jìn)行優(yōu)化求解[4]。

1.1 基于插值的超分辨重建方法

常見的插值有三種方法：最近鄰插值法、雙線性插值法、雙三次插值法。在圖像超分辨率重建方法中，插值起到了關(guān)鍵的作用，也是圖像放大方法的常見方法。對(duì)比三種常見插值方法中，雙三次插值方法的優(yōu)點(diǎn)是效果最好，相比其他兩種方法的不足之處就是復(fù)雜度大。

（1）最近鄰插值

最鄰近插值法又稱零階插值，在獲取每一個(gè)待插值點(diǎn)的像素值時(shí)，是依據(jù)原圖像中對(duì)應(yīng)點(diǎn)的四個(gè)相鄰點(diǎn)，選取這四個(gè)點(diǎn)中歐氏距離最短的哪一個(gè)，其插值公式如下：

f（i+u，j+v）=f（i，j）（1）

其中，i，j 均為非負(fù)整數(shù)；f（i，j）表示原圖像在（i，j）位置像素點(diǎn)的像素值； u、v 均為（0，1）區(qū)間的浮點(diǎn)數(shù)，表示待插值點(diǎn)與最鄰近像素點(diǎn)在水平和豎直方向的距離。最鄰近插值法的優(yōu)點(diǎn)是運(yùn)算量??；但是也存在著不足的地方：會(huì)產(chǎn)生塊效應(yīng)導(dǎo)致獲得的圖像變得模糊，所以放大效果有待提高。

（2）雙線性插值

雙線性插值又稱一階插值，其原理是待插值點(diǎn)像素值取在原圖像中與其相鄰的 4 個(gè)點(diǎn)像素值在 2 個(gè)方向上的線性內(nèi)插，即通過權(quán)值來確定待插值點(diǎn)像素值，權(quán)值的大小是由采樣點(diǎn)與4個(gè)鄰點(diǎn)的距離來確定。優(yōu)點(diǎn)是運(yùn)算量不高，相比最鄰近插值方法，放大效果更好。所以在實(shí)際應(yīng)用中，對(duì)圖像質(zhì)量要求不高具有重要的應(yīng)用價(jià)值。

（3）雙三次插值

雙三次插值又稱立方卷積插值。算法要比前兩者更加復(fù)雜。該算法要對(duì)周圍16個(gè)點(diǎn)的灰度值做三次插值運(yùn)算，除了四個(gè)直接相鄰點(diǎn)外，還考慮到各鄰點(diǎn)間灰度值變化率對(duì)待采樣點(diǎn)的影響。因?yàn)橐獙?shí)現(xiàn)三次運(yùn)算，所以運(yùn)算量急劇增加，但是放大效果要更加接近高分辨率圖像 [5]。這種算法需要選取插值基函數(shù)來擬合數(shù)據(jù)，其數(shù)學(xué)表達(dá)式為：

1.2 基于多幀重建的方法

（1）觀測模型

要從低分辨圖像中重建高分辨率圖像，首先我們應(yīng)了解圖像降質(zhì)的原因，即分析圖像的退化模型，我們也稱之為觀測模型[2]。在成像系統(tǒng)中，觀察模型能夠精確地對(duì)圖像退化的原因進(jìn)行說明（即精確的描述重建的高分辨率圖像與觀察到的低分辨率圖像之間的關(guān)系）這個(gè)過程有利于我們對(duì)圖像的解空間進(jìn)行約束，因而對(duì)這方面的研究就顯得十分重要了[3]。超分辨率重建問題被認(rèn)為是一個(gè)大的稀疏線性優(yōu)化問題，在實(shí)際運(yùn)算中我們通常采用幾何變換、卷積、采樣的步驟對(duì)其進(jìn)行描述，在理論分析中一般采用如下矩陣一向量的數(shù)學(xué)描述：

其中Wk=DkHkFk，Yk表示第K幅低分辨率圖像；Dk，Hk，F(xiàn)k分別表示第K幅低分辨率圖像對(duì)應(yīng)的欠采樣因子、模糊函數(shù)和幾何變換；X表示未知的高分辨率圖像；Z表示噪聲（如高斯噪聲和椒鹽噪聲）。低分辨率圖像間需含類似但不完全相同的信息是重建出高分辨率圖像的必要條件，這些不完全相同的信息可來源于許多方面，如相機(jī)的抖動(dòng)，變焦等因素[4]。

（2）迭代后向投影法

迭代后向反投影方法是先預(yù)估計(jì)出一幅高分辨率圖像（通常是對(duì)低分辨率圖像進(jìn)行雙三次插值得到）作為圖像重建初值，并將此高分辨率圖像初值代入到觀測模型。經(jīng)過一系列的仿射變換、運(yùn)動(dòng)模糊、降采樣和加噪等處理后得到相應(yīng)的低分辨率估計(jì)圖像[6]。然后，計(jì)算出估計(jì)得到的低分辨率圖像與實(shí)際觀測的低分辨率圖像之間的差值（稱為模擬誤差），并將此誤差反投影，估計(jì)出更新后的高分辨率圖像。多次迭代后，該方法能夠改善高分辨率圖像的質(zhì)量[6]。但是，由于估計(jì)的高分辨率圖像不唯一，使得最終的重建結(jié)果也不惟一。另外，在該方法中引入先驗(yàn)約束也較難實(shí)現(xiàn)。

2.結(jié)論

（1）基于插值的算法簡單，在實(shí)際中倘若對(duì)圖像質(zhì)量要求不高的情況下，應(yīng)用很廣泛，可以滿足一定的超分辨技術(shù)的要求。最近鄰插值算法最簡單，但塊效應(yīng)較明顯。雙線性插值優(yōu)于最近鄰插值，放大效果有明顯改善，且算法復(fù)雜度僅是少量的提高。雙三次插值是三種插值方法中最好的方法，但運(yùn)算量大于前兩種插值方法。

（2）基于多幀重建的圖像超分辨率算法在改善圖像質(zhì)量方面明顯優(yōu)于插值的方法，但復(fù)雜度也遠(yuǎn)大于插值的方法?；诙鄮亟ǖ某直嫠惴ㄊ悄壳皥D像超分辨率重建技術(shù)中的首選方法，也是目前該領(lǐng)域取得較多研究成果的方法。

（3）本文的圖像超分辨分析只是針對(duì)無噪圖像的放大實(shí)現(xiàn)超分辨的研究，在現(xiàn)實(shí)應(yīng)用中需考慮如何有效的去噪，以及多幀圖像序列的配準(zhǔn)問題。（作者單位：西華師范大學(xué)）

參考文獻(xiàn)：

[1] 喬建蘋. 超分辨率重建與圖像增強(qiáng)技術(shù)研究.山東大學(xué)， 博士學(xué)位論文.2008，41-47.

[2] 王會(huì)鵬、周利莉、張杰.一種基于區(qū)域的雙三次圖像插值算法.計(jì)算機(jī)工程.2010.10，36（19）

[3] 蔡念、張海員、張楠.基于Contourlet的改進(jìn)雙線性插值圖像超分辨率算法.傳感器技術(shù)學(xué)報(bào).2011，24（1）

[4] 王伯陽、韓曉薇、張文奇.圖像超分辨率算法比較研究.沈陽大學(xué)學(xué)報(bào).2011.2，23（1）

[5] Vladan Velisavljevic， Baltasar Beferull-Lozano， Martin Vetterli， and Pier Luigi Dragotti. Directionlets： Anisotropic Multidirectional Representation With Separable Filtering. IEEE TRANSACTIONS ON IMAGE PROCESSING， VOL. 15， NO. 7， JULY 2006

[6] 唐麗煥、陳輝、呂小倩、孔凡慧.基于迭代條件模型算法的圖像超分辨率重建. 計(jì)算機(jī)工程與應(yīng)用.2010，46（12）