多幀超分辨率圖像重建迭代小波算法研究

付亞偉+魏鏡弢+趙明

摘要： 為了解決由于物體的運(yùn)動和拍攝環(huán)境等因素，造成拍攝后多幀圖像分辨率低和細(xì)節(jié)丟失的問題。本文對現(xiàn)有超分辨圖像處理算法查閱研究，提出超分辨率圖像重建迭代小波算法。最終對比迭代小波算法運(yùn)算后最終的圖像和參考幀圖像，并比較圖像信噪比的變化得出迭代小波算法的優(yōu)越性。

Abstract： In order to solve the problem of low resolution and missing details of multi-frame images after shooting because of the object's movement and shooting environment， in this paper， the current super-resolution image processing algorithm is researched， and the super-resolution image reconstruction iterative wavelet algorithm is proposed. In the end， the final image and the reference frame image after the iterative wavelet algorithm operation are compared and the superiority of the iterative wavelet algorithm is obtained by comparing the changes of the signal to noise ratio of the image.

關(guān)鍵詞： 細(xì)節(jié)丟失；超分辨率圖像；迭代小波算法；信噪比

Key words： loss of detail；super-resolution image；iterative wavelet algorithm；Peak Signal to Noise Ratio

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1006-4311（2018）01-0214-02

0 引言

超分辨率圖像重建是指使用一定的圖像處理方法，將一系列低質(zhì)量、低分辨率圖像轉(zhuǎn)化為產(chǎn)生高質(zhì)量、高分辨率的圖像[1]。目前，這種方法應(yīng)在生活中，由于客觀條件的限制，如交通過程中使用的攝像頭、衛(wèi)星拍攝時用的攝像頭等設(shè)備。使拍出來的照片會存在不同程度的損傷和視野模糊不清且分辨率很低，造成圖像細(xì)節(jié)的丟失的還原的情況。

1 現(xiàn)有主要圖像細(xì)節(jié)還原算法簡介

超分辨率圖像重建的算法有很多種，其中一種為空域算法[2]，這種算法是在假定二維平移的條件下，利用插值和去模糊技術(shù)消除了相機(jī)鏡頭的模糊。此方法假定模糊函數(shù)不但在整副圖像上是一致的，同時也都受到全局二維平移的限制。

后來有人又提出圖像重構(gòu)加權(quán)算法。圖像重構(gòu)加權(quán)算法即是把已經(jīng)放大的每幀低分辨率的灰度圖片以不同的權(quán)重疊加為一個新的圖片的方法。通常采用下面的數(shù)學(xué)模型：

B=x0·A0+x1·A1+…+xi·Ai（1）

其中Ai（i=0，1，2…）為低分辨率的圖像序列，B為重建圖像，xi為每一幀圖像的權(quán)重，且需要滿足下面的數(shù)學(xué)關(guān)系式：∑Xi=1。但是這種算法存在明顯的缺點(diǎn)：受權(quán)重系數(shù)的影響較大，理論上細(xì)節(jié)較多的圖像權(quán)重應(yīng)該更高，細(xì)節(jié)較少的圖像權(quán)重越小。由于在加權(quán)過程中，自然會把圖像的噪聲帶入其中，所以一般情況下，圖像幀數(shù)不易過多且細(xì)節(jié)較少的圖像應(yīng)該過濾掉。

林宏裔等人做了在MATLAB環(huán)境下基于小波變換的圖像處理[3]，這種方式是將二維圖像在不同的尺度上進(jìn)行二維離散小波變換分解，分解的結(jié)果為：近似分量cA、水平細(xì)節(jié)分量cH、垂直細(xì)節(jié)分量cV和對角細(xì)節(jié)分量cD。反過來，又可以利用二維小波分解的結(jié)果在不同尺度上重構(gòu)圖像，二維離散小波分解原理是：

其二層小波圖像重構(gòu)過程恰好與此相反，如圖2所示。

從其分解重構(gòu)過程可以知道小波分解實(shí)際上是信號不斷”剝落“的過程，而粗尺度近似部分即為丟掉高頻細(xì)節(jié)信息的低分辨率圖像。因此想得到高分辨率圖像，只需要在低分辨率圖像上加入需要的細(xì)節(jié)信息，再進(jìn)行小波重建就可以了。

后來，在前人研究的算法的基礎(chǔ)上，有科學(xué)家提出了迭代背投影算法，這種算法使以一個初始的猜測值開始，反復(fù)的模擬成像過程，再將誤差返回給超分辨率圖像以不斷修正，最后得到較理想的結(jié)果。這種算法能處理一般的運(yùn)動及不同的模糊函數(shù)[4]。

北京交通大學(xué)宋瓊等人提出了超分辨率圖像處理的一種IBP算法[5]。這種算法產(chǎn)生高分辨率的過程是一個重復(fù)的迭代過程。首先假定初始值f（0）是要得到的結(jié)果，模擬成像過程可以得到一個低分辨率圖像的集合{gk（0）}。如果f（0）是正確的高分辨率圖像，則得到的這一集合就應(yīng)該和已知的低分辨率圖像序列集合相等。而通過將它們之間的差值{gk-gk（0）}返回給f（0）中相應(yīng)的區(qū)域可以改善f（0）得到一個相對較接近正確結(jié)果的f（1）反復(fù)迭代該過程使下述誤差函數(shù)達(dá)到最小值。

2 迭代小波算法簡介

本文針對以上算法的優(yōu)點(diǎn)和缺點(diǎn)，提出迭代小波算法，這種算法的理論是首先選取參考幀，然后分別把參考幀和第二幀、第三幀和第四幀圖像運(yùn)用sift算法進(jìn)行圖像配準(zhǔn)、然后進(jìn)行小波算法分解重構(gòu)。對小波算法重構(gòu)后的圖像再一次進(jìn)行sift算法圖像配準(zhǔn)，使用小波算法進(jìn)行分解重構(gòu)。最終迭代多次得到重構(gòu)圖像。由于迭代次數(shù)與選取低分辨率圖像的幀數(shù)有關(guān)，但是隨著幀數(shù)的增加數(shù)據(jù)計算量增大[6]。所以本文選擇四幀圖像作為實(shí)驗(yàn)，證明小波迭代算法有效。其算法結(jié)構(gòu)流程圖如圖3。endprint

3 實(shí)驗(yàn)步驟及實(shí)驗(yàn)結(jié)果

①通過MATLAB中RGB圖像轉(zhuǎn)換為灰度圖像的函數(shù)方法，分別把四副圖片轉(zhuǎn)換為灰度圖片；再利用MATLAB中內(nèi)置的imresize（）函數(shù)分別把四副圖片（注：四幅圖片是在不同環(huán)境下拍攝）轉(zhuǎn)換為32×64的低分辨率圖像，得到結(jié)果如圖4所示。

②接下來是四副圖片的運(yùn)動估計，首先選擇第一幀低分辨率的圖片為參考幀，即為A0，其余幀低分辨率圖像分別記為A1，A2，A3；運(yùn)用sift算法分別找到四幀圖片相對于參考幀的特征點(diǎn)，然后用參考幀分別與其余幀圖片進(jìn)行特征點(diǎn)的匹配。

③在第二步中通過特征匹配已經(jīng)得到第二幀關(guān)于第一幀的相對位置，即運(yùn)動的距離和方向。接著對著兩副低分辨率的圖像進(jìn)行圖像序列重疊然后用雙線性三次插值法對第一幀低分辨率圖片即參考幀進(jìn)行放大處理。

④根據(jù)上文提出的迭代小波重構(gòu)算法，對四副圖片重新進(jìn)行融合重構(gòu)，最終得到重構(gòu)圖像如圖5。

⑤相較于參考幀，可以看出部分細(xì)節(jié)得到還原。雖然從視覺上觀察得出有某些細(xì)節(jié)被還原出來，但是效果不是很明顯，肉眼觀測也不是那么直觀。

⑥選擇迭圖像的信噪比這一參數(shù)進(jìn)行定量分析：選擇第一幀低分辨圖像作為參考幀，迭代小波算法重建后的小波圖像信噪比（PSNR）[7]變化如表1。

4 結(jié)論

①通過迭代小波算法重構(gòu)圖像與參考幀進(jìn)行對比分析，證明通過使用迭代小波重構(gòu)算法使圖像的部分細(xì)節(jié)得到還原。

②通過計算每次使用迭代小波重構(gòu)算法后圖像信噪比在表中橫向上的變化，可以看出逐漸增大，說明圖像細(xì)節(jié)得到還原，證明迭代小波算法有效。

③多幀低分辨率序列圖像的細(xì)節(jié)還原模型為視頻的細(xì)節(jié)還原研究提供重要參考意義。

參考文獻(xiàn)：

[1]全卉.超分辨率圖像配準(zhǔn)與重建[D].上海交通大學(xué)，2010.

[2]劉斌，金偉其，王嶺雪，等.基于空域和頻域處理的紅外圖像細(xì)節(jié)增強(qiáng)算法[J].紅外技術(shù)，2011，33（8）：477-482.

[3]林宏裔，孔亮.在MATLAB語言環(huán)境下基于小波變換的圖像處理[J].華北科技學(xué)院學(xué)報，2003（2）：60-64.

[4]蘇慧君.SAR圖像分辨率增強(qiáng)方法研究[D].電子科技大學(xué)，2011.

[5]宋瓊，劉旭東，阮秋琦.超分辨率圖像處理的一種IBP算法實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用，2005，24（3）：49-51.

[6]楊浩，高建坡，吳鎮(zhèn)揚(yáng).基于雙正則化的圖像超分辨率盲重建[J].中國圖象圖形學(xué)報，2007，12（12）：2057-2062.

[7]彭勃，胡訪宇.使用提升小波進(jìn)行超分辨率圖像重建[J].電子測量技術(shù)，2010，33（5）：66-68.endprint