圖像超分辨率重建算法比較研究

王伯陽,韓曉微,張文奇

(1.沈陽大學(xué)信息工程學(xué)院,遼寧沈陽 110044;2.沈陽外國企業(yè)服務(wù)總公司,遼寧沈陽 110013)

圖像超分辨率重建算法比較研究

王伯陽1,韓曉微1,張文奇2

(1.沈陽大學(xué)信息工程學(xué)院,遼寧沈陽 110044;2.沈陽外國企業(yè)服務(wù)總公司,遼寧沈陽 110013)

針對(duì)超分辨率重建技術(shù)的基本理論以及研究現(xiàn)狀給予了綜述性研究,對(duì)當(dāng)前的主要算法進(jìn)行了比較分析·

圖像處理;超分辨率;圖像重建

數(shù)字圖像處理技術(shù)起源于20世紀(jì)20年代[1]·在數(shù)字圖像采集過程中,由于受到成像傳感器分辨率的限制或在成像過程中存在干擾,可能會(huì)使圖像出現(xiàn)降質(zhì)和退化現(xiàn)象,造成圖像不清晰,影響監(jiān)視和觀察·利用數(shù)字化方法提高圖像空間分辨率,從而提高圖像質(zhì)量,對(duì)圖像處理與分析工作極為重要[2-4]·圖像超分辨率重建技術(shù)是提高圖像空間分辨率的一種有效手段,近年來已受到了研究人員的普遍關(guān)注·

早期傳統(tǒng)的超分辨率重建技術(shù)是對(duì)單幀圖像進(jìn)行復(fù)原處理,估計(jì)出一幅圖像在衍射極限上的頻譜信息·這一過程可被認(rèn)為圖像退化的逆過程,主要利用線性解卷積以及盲解卷積來實(shí)現(xiàn)[5-8]·利用點(diǎn)擴(kuò)散函數(shù)和目標(biāo)先驗(yàn)知識(shí),在圖像系統(tǒng)的衍射極限之外復(fù)原圖像信息的過程被稱為超分辨率復(fù)原[9]·利用圖像超分辨率重建技術(shù),也可以從多個(gè)空間欠采樣的低分辨率圖像中重建一個(gè)高分辨率圖像·由于圖像序列或多幅連續(xù)采樣的圖像中存在著相互運(yùn)動(dòng),彼此含有類似卻不完全相同的信息[10-14],因此,可利用不同圖像間的補(bǔ)充信息,達(dá)到圖像重建的目的·許多研究人員對(duì)該類理論方法進(jìn)行了較深入的探索和研究,并應(yīng)用于實(shí)踐中·目前,已把利用多幅低分辨率圖像生成一幅含有較少的模糊、噪聲和混疊的高分辨圖像的方法稱為超分辨率重建·超分辨率重建也是成像的逆過程,由于這類算法本身屬于病態(tài)求逆問題,因此導(dǎo)致了一些算法的解不唯一[15-18]·本文將重點(diǎn)對(duì)該類超分辨率重建算法給予綜述性研究,并對(duì)當(dāng)前頻率域和空間域的主要算法進(jìn)行比較分析·

1 頻率域方法

頻率域方法是超分辨率重建中的一類主要算法,主要是基于傅氏變換和逆變換來進(jìn)行圖像復(fù)原,目前研究較多的是消混疊重建方法·由于圖像細(xì)節(jié)是通過高頻信息反映出來的,消除頻譜混疊就可以獲得更多被掩蓋掉的高頻信息,這樣就可以增加圖像細(xì)節(jié),提高圖像的分辨率·最早是Tsai和Huang采用頻域法對(duì)低分辨率衛(wèi)星圖片進(jìn)行超分辨率重建·其基本思想就是將圖像數(shù)據(jù)先變換到頻域進(jìn)行結(jié)合變換,再回到空間域形成高分辨率圖像·假設(shè)原始場景信號(hào)帶寬有限,利用采樣定理以及連續(xù)傅里葉變換和離散傅里葉變換間的平移、混疊性質(zhì),給出一個(gè)由一系列欠采樣觀測圖像復(fù)原高分辨率圖像的公式,并將多幅觀測圖像經(jīng)過混頻得到的離散傅里葉變換系數(shù)與未知場景的連續(xù)傅里葉變換系數(shù)以方程的形式聯(lián)系起來·方程組的解就是原始圖像的頻率域系數(shù),再把頻率域系數(shù)進(jìn)行傅里葉逆變換,就可以實(shí)現(xiàn)原始圖像的精確復(fù)原·這種方法要求圖像間位移參數(shù)的估計(jì)達(dá)到子像素精度,而且每一幀觀測圖像都必須對(duì)方程組中的一個(gè)不相關(guān)方程作出貢獻(xiàn)·

Tsai和Huang的算法具有計(jì)算簡單的優(yōu)點(diǎn)·但由于模型建立在全局平移的基礎(chǔ)上,缺少靈活性,而且沒有考慮到光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)、運(yùn)動(dòng)模糊和觀測噪聲的影響,從而限制了頻域算法的適應(yīng)性·在此基礎(chǔ)上,Tekalp等人完善了觀測模型,對(duì)算法進(jìn)行了擴(kuò)展,包括線性平移不變的點(diǎn)擴(kuò)散函數(shù)和觀測噪聲,采用最小二乘法來求解超分辨率圖像的頻譜,但由于降晰函數(shù)的零點(diǎn)存在,造成頻譜在相應(yīng)的頻率點(diǎn)是多解的·Nhat提出了另一種估計(jì)幀間整體平移參數(shù)的算法,主要貢獻(xiàn)在于計(jì)算整體平移與Tsai的算法相比有很大的進(jìn)步,可以提高算法的效率·Elad提出了一種基于數(shù)據(jù)驅(qū)動(dòng)的穩(wěn)健計(jì)算方法,具有較少的計(jì)算復(fù)雜度,便于硬件的實(shí)現(xiàn),但是解不一定是最優(yōu)解·此后,還出現(xiàn)了用遞歸最小二乘法以及基于多通道采樣定理的方法·但這些都是對(duì)Tsai和Huang的算法的改進(jìn),并沒有理論上的重大突破·所以,頻域法并沒有成為主流算法·

頻率域算法是一種簡單直觀的方法,其基本原理清晰,計(jì)算復(fù)雜度低,可支持大量的并行運(yùn)算,提高運(yùn)算速度·但是對(duì)于運(yùn)動(dòng)模型的局限性大,不能引入一些圖像的先驗(yàn)知識(shí)或者優(yōu)先級(jí)來進(jìn)行規(guī)準(zhǔn)化·

2 空間域方法

空間域方法是將復(fù)雜的運(yùn)動(dòng)模型與相應(yīng)的插值、迭代、濾波和重采樣放在一起處理,作為圖像重建的全部內(nèi)容,其線性空間域觀測模型涉及全局和局部運(yùn)動(dòng)、幀內(nèi)運(yùn)動(dòng)模糊、光學(xué)模糊、空間可變點(diǎn)擴(kuò)散函數(shù)、非理想采樣和其他一些內(nèi)容·空間域方法也是目前研究的熱點(diǎn),它包括非均勻內(nèi)插法、迭代反投影法、最大后驗(yàn)概率法、凸集投影法等·

2.1 非均勻內(nèi)插法

非均勻內(nèi)插法直觀上是把現(xiàn)實(shí)空間的圖像看成連續(xù)函數(shù),不同的低分辨率圖像看成在連續(xù)函數(shù)上不同位置的采樣,經(jīng)過對(duì)低分辨率觀測圖像序列配準(zhǔn),可以得到一幅由非均勻間隔采樣網(wǎng)格點(diǎn)上采樣值組成的復(fù)合圖像,對(duì)這些非均勻間隔采樣點(diǎn)進(jìn)行內(nèi)插和重采樣可得到超分辨率采樣網(wǎng)格上的采樣值,以此作為輸出的超分辨率圖像·通用的插值法是將包含原始函數(shù)的空間分解為適當(dāng)?shù)淖涌臻g,在每一個(gè)子空間內(nèi)進(jìn)行以插值為目的的尺度變換,然后將插值空間逆變換到原始空間·這樣,原始空間就包含插值函數(shù),相當(dāng)于在原始空間內(nèi)插值·使用估算的相對(duì)運(yùn)動(dòng)信息,可以獲得非均勻間隔樣點(diǎn)上的高分辨率圖像·這樣,就可以處理復(fù)原問題以消除模糊和噪聲,可以使用任何考慮噪聲存在的去卷積方法來復(fù)原·

非均勻插值算法的優(yōu)點(diǎn)在于它具有較低的計(jì)算負(fù)荷,并能進(jìn)行實(shí)時(shí)應(yīng)用·但是,其觀測數(shù)據(jù)是從欠采樣中得到的,不能得到比低分辨率圖像中更多的頻率成分;而且退化模型是受限制的,只適用于模糊和噪聲特性對(duì)全部低分辨率圖像都一樣的情況·由于復(fù)原步驟忽視插值階段中產(chǎn)生的誤差,所以不能保證整個(gè)重建算法的最優(yōu)性·

2.2 迭代反投影法

迭代反投影法是一種較早的空間域超分辨率重建方法,是用輸出圖像的一個(gè)初始估計(jì)值作為當(dāng)前結(jié)果,并把當(dāng)前結(jié)果投影到低分辨率圖像上,得到低分辨率模擬圖像,低分辨率模擬圖像與實(shí)際觀測圖像的差值稱為模擬誤差·Irani采用IBP法對(duì)視頻序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行超分辨率重建,先通過光流場法計(jì)算視頻序列中的物體運(yùn)動(dòng),然后進(jìn)行運(yùn)動(dòng)物體的分割,這樣得到的物體就是存在著全局像素內(nèi)位移的低分辨率圖像,最后再進(jìn)行目標(biāo)的超分辨率重建·Mann使用IBP法重建視頻中的高分辨率圖像·Nimish用IBP法進(jìn)行彩色視頻序列的超分辨率重建,先是對(duì)視頻序列采用分級(jí)塊匹配技術(shù)進(jìn)行像素內(nèi)配準(zhǔn),因?yàn)閴K匹配配準(zhǔn)的結(jié)果容易陷入局部極小值,所以對(duì)重建過程中誤差函數(shù)選出的多個(gè)運(yùn)動(dòng)向量進(jìn)行優(yōu)化·

在使用迭代反投影法時(shí),首先要選取反向投影算子,在其滿足一定條件時(shí),重建圖像的解將收斂于真實(shí)解,由于重建問題是病態(tài)的,因而不同算子的選取會(huì)得到不同的解·其次,在算法的迭代中,投影誤差比較依賴于低分辨率圖像的觀測模型·最后是IBP法對(duì)于問題的病態(tài)性沒有相應(yīng)的規(guī)準(zhǔn)化處理,導(dǎo)致迭代過程不一定收斂·

迭代反投影法的優(yōu)點(diǎn)是直觀上容易理解,但沒有考慮到噪聲的影響,對(duì)高頻噪聲非常敏感,而且把先驗(yàn)約束引入到這種方法中也非常不易·

2.3 最大后驗(yàn)概率法

概率法是圖像超分辨率重建問題中的一種重要方法·因?yàn)槌直媛手亟▎栴}是一個(gè)病態(tài)問題,所以要對(duì)其施加一定的先驗(yàn)附加條件和限制,將其轉(zhuǎn)化為良態(tài)問題·貝葉斯法實(shí)際上就是最大后驗(yàn)概率法·最大后驗(yàn)概率法的含義就是在已知低分辨率的視頻序列的前提下,使出現(xiàn)高分辨率圖像的后驗(yàn)概率達(dá)到最大·根據(jù)貝葉斯原理,高分辨率圖像的后驗(yàn)概率等價(jià)于低分辨率視頻序列出現(xiàn)的條件概率與理想高分辨率圖像的先驗(yàn)概率的積·條件概率通常采用的是高斯模型,先驗(yàn)概率在不同的算法中采用不同的模型·對(duì)概率方程兩邊同時(shí)取對(duì)數(shù),并經(jīng)過一系列的推導(dǎo)和參數(shù)化解,可以得到一個(gè)代價(jià)函數(shù)的表達(dá)式,最大后驗(yàn)概率估計(jì)等價(jià)于這個(gè)代價(jià)函數(shù)的最小化·最大后驗(yàn)概率估計(jì)方法的收斂穩(wěn)定性取決于先驗(yàn)概率·

MAP算法在質(zhì)量上能獲得優(yōu)于其他算法的圖像,能夠容易、直接地引入各種圖像先驗(yàn)知識(shí),并保證解的存在性和唯一性·但是,MAP算法收斂較慢,計(jì)算復(fù)雜性較高·總體來說,最大后驗(yàn)概率法是一種比較有發(fā)展前景的算法·

2.4 凸集投影法

在超分辨率圖像重建中,另一個(gè)比較重要的方法就是凸集投影法·該方法假設(shè)超分辨率重建圖像存在于向量空間中,限制集被定義為超分辨率解空間中可行解的限制條件·每一個(gè)限制集為向量空間中的凸集合,并通過對(duì)這些限制集合求交,最終得到超分辨率的解空間·而其中這些限制條件一般為超分辨率重建解的期望理想性質(zhì),如正定性、能量有界性、數(shù)據(jù)可靠性及平滑性等·凸集投影過程就是從給定向量空間中的任何點(diǎn)開始搜索直到找到滿足所有凸約束集的解的過程·

Webb最先將凸集投影的理論應(yīng)用于醫(yī)學(xué)影像的復(fù)原·此后,Freidan研究了利用局部濾波投影的方法進(jìn)行線幀掃描影像和面幀掃描影像的復(fù)原·Stark首次將POCS法應(yīng)用到超分辨率圖像重建,但運(yùn)動(dòng)模型局限于整體平移變形·Tekalp又提出了包含系統(tǒng)矩陣的運(yùn)動(dòng)模型,考慮了空間變化點(diǎn)擴(kuò)散函數(shù)的影響,能夠?qū)﹄x散采樣和運(yùn)動(dòng)模糊建?！榱私档瓦\(yùn)動(dòng)估計(jì)誤差對(duì)重建圖像質(zhì)量的影響,Erenetal研究了提高重建算法對(duì)運(yùn)動(dòng)估計(jì)誤差魯棒性的方法,并提出了有效圖和分割圖·有效圖可以防止運(yùn)動(dòng)估計(jì)的錯(cuò)誤操作,分割圖可以對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤和準(zhǔn)確的運(yùn)動(dòng)估計(jì),以提高重建圖像的質(zhì)量·Patti采用邊緣自適應(yīng)約束條件和高階內(nèi)插算法以減弱重建圖像的抖動(dòng),并提出了適用于視頻圖像重建的POCS重建算法,考慮了視頻圖像中的任意采樣格網(wǎng)情況和非零曝光時(shí)間引起的運(yùn)動(dòng)模糊效應(yīng)·

凸集投影法原理簡單、直觀,能夠方便地加入先驗(yàn)信息,可以很好地保持高分辨率圖像上的邊緣細(xì)節(jié)·其缺點(diǎn)在于解不唯一,對(duì)初始值依賴性強(qiáng),收斂穩(wěn)定性不高等·為了提高收斂穩(wěn)定性,可以采用松弛算子,但是又不利于保持圖像的邊緣和細(xì)節(jié)·

3 算法比較分析

超分辨率重建算法主要分為頻域法和空域法,在研究上主要側(cè)重于空域法·雖然頻域法提出得較早,但是空域法與其相比具有更好的適應(yīng)性和重建效果·相對(duì)來說,頻域法理論簡單,計(jì)算量小,具有直觀的去變形超分辨率機(jī)制·但是只局限于全局平移運(yùn)動(dòng)和線性空間不變的降質(zhì)模型,對(duì)先驗(yàn)知識(shí)的應(yīng)用也是不足的·空域法對(duì)各種噪聲、運(yùn)動(dòng)、降質(zhì)和先驗(yàn)知識(shí)進(jìn)行了考慮,但是計(jì)算量較大,理論相對(duì)復(fù)雜,有些算法的解不是唯一的·表1對(duì)頻域法和空域法進(jìn)行了對(duì)比·

表1 頻域法與空域法比較

從表1可以看出,頻域法采用的模型都是相對(duì)簡單的,而空域法一般都是通用的模型,適用于任何場合·頻域法的提出是為了處理特定的圖像序列,引出了超分辨率重建的課題·而空域法是為了解決超分辨率重建算法中的一系列問題,所以空域法要比頻域法有更廣的適用范圍·空域法對(duì)先驗(yàn)知識(shí)有較好的包容性,先驗(yàn)知識(shí)對(duì)圖像的限制一般都是非線性的,圖像頻譜的擴(kuò)展是要通過非線性過程的作用來實(shí)現(xiàn)的·

空域法中應(yīng)用最多的還是凸集投影法和最大后驗(yàn)概率法,這兩種方法都具有較強(qiáng)的靈活性和良好的可擴(kuò)展性,重建圖像的效果也比較好·凸集投影法更方便應(yīng)用先驗(yàn)知識(shí),很好地保持了高分辨率圖像的邊緣和細(xì)節(jié),但是解不是唯一的·最大后驗(yàn)概率法有唯一的解,收斂穩(wěn)定性高,但是運(yùn)算量大,圖像邊緣恢復(fù)能力不強(qiáng)·表2對(duì)兩種算法進(jìn)行了比較·

表2 凸集投影法和最大后驗(yàn)概率法比較

4 小 結(jié)

超分辨率重建技術(shù)是處理數(shù)字圖像的一種方法,圖像作為信息的載體,圖像越清晰,人們所獲取的信息就越多,因此,提高圖像的分辨率是十分重要的,也是近年來國際上最為活躍的研究課題之一,這種技術(shù)具有重要的應(yīng)用價(jià)值和應(yīng)用前景·

超分辨率圖像重建是一種新興的技術(shù),還有許多問題需要解決,如退化模型的建立、圖像配準(zhǔn)等問題·本文重點(diǎn)闡述了超分辨率重建的主要算法,對(duì)頻域法和空域法進(jìn)行了比較,并比較了空域法中的凸集投影法和最大后驗(yàn)概率法·因其都具有良好的發(fā)展空間,所以在今后的研究中,這將會(huì)是研究的重點(diǎn)所在·

[1]王曉文,劉雨.圖像超分辨率研究綜述[J].信息技術(shù),2009(7):236-239.

[2]袁建華.超分辨率重建中若干問題的研究[D].北京:中國科學(xué)院電子學(xué)研究所,2006.

[3]張艷.空間域超分辨率圖像重建技術(shù)研究[D].鄭州:中國人民解放軍信息工程大學(xué),2007.

[4]喬建蘋.超分辨率重建與圖像增強(qiáng)技術(shù)研究[D].濟(jì)南:山東大學(xué),2008.

[5]盧亮.圖像超分辨率恢復(fù)方法研究[D].青島:中國海洋大學(xué),2009.

[6]肖杰雄.基于POCS算法的超分辨率圖像重建[D].上海:上海交通大學(xué),2009.

[7]解凱.超分辨率圖像復(fù)原技術(shù)綜述[J].北京印刷學(xué)院學(xué)報(bào),2007(6):41-44.

[8]譚震.視頻圖像超分辨率重建算法改進(jìn)[D].合肥:中國科學(xué)技術(shù)大學(xué),2008.

[9]徐鵬宇.超分辨率圖像重建研究[D].上海:上海交通大學(xué),2009.

[10]沈煥鋒,李平湘,張良培,等.圖像超分辨率重建技術(shù)與方法綜述[J].光學(xué)技術(shù),2009(2):194-199.

[11]宋銳,賈媛,吳成柯,等.自適應(yīng)估計(jì)模糊參數(shù)的最大后驗(yàn)概率超分辨率復(fù)原算法[J].西安交通大學(xué)學(xué)報(bào):自然科學(xué)版,2008,42(10):1255-1258.

[12]肖創(chuàng)柏,禹晶,薛毅.一種基于MAP的超分辨率圖像重建的快速算法[J].計(jì)算機(jī)研究與發(fā)展,2009,46(5):872-880.

[13]王勇,鄭輝,胡德文,等.視頻的超分辨率增強(qiáng)技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究,2005(1):4-7.

[14]蘇秉華.超分辨率圖像復(fù)原方法研究[D].北京:北京理工大學(xué),2002.

[15]岡薩雷斯.數(shù)字圖像處理[M].阮秋琦,等譯.北京:電子工業(yè)出版社,2005.

[16]Kang MG,Chaudhuri S.Super-Resolution Image Reconstruction[J].IEEE Signal Processing Magazine,2003,20(3):19-20.

[17]肖宿,韓國強(qiáng),沃焱.數(shù)字圖像超分辨率重建技術(shù)綜述[J].計(jì)算機(jī)科學(xué),2009(12):8-13.

[18]唐麗煥.基于Markov隨機(jī)場的超分辨率圖像重建[D].濟(jì)南:山東大學(xué),2009.

Comparison of Image Super-resolution Reconstruction Algorithms

WANG Boyang1,HAN Xiaowei1,ZHANG Wenqi2
(1.School of Information Engineering,Shenyang University,Shenyang 110044,China;2.Shenyang Foreign Enterprise Service Corporation,Shenyang 110013,China)

The fundamental theory and research status quo of the technology of super-resolution image reconstruction are summarized and some main popular algorithms are compared and analyzed.

image processing;super-resolution;image reconstruction

TP 391.41

A

1008-9225(2011)01-0003-04

【責(zé)任編輯:劉乃義】

2010-10-14

王伯陽(1985-),男,遼寧沈陽人,沈陽大學(xué)碩士研究生·