多尺度自適應(yīng)配準(zhǔn)的視頻超分辨率算法

盧　濤，章　瑾，陳白帆，管英杰

1.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；

2.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室（武漢工程大學(xué)），湖北 武漢 430205；

3.中南大學(xué)信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410083

多尺度自適應(yīng)配準(zhǔn)的視頻超分辨率算法

盧濤1，2，章瑾1，2，陳白帆3，管英杰1，2

1.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；

2.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室（武漢工程大學(xué)），湖北 武漢 430205；

3.中南大學(xué)信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410083

為了提升制約視頻超分辨率重建質(zhì)量的多幀配準(zhǔn)精度，提出了一種基于圖像塊多尺度自適應(yīng)配準(zhǔn)的視頻超分辨率算法.依據(jù)圖像幀的塊內(nèi)容自適應(yīng)選擇配準(zhǔn)尺度，運(yùn)動(dòng)邊緣信息采用高精度配準(zhǔn)，然后將運(yùn)動(dòng)向量補(bǔ)償?shù)蕉鄮瑘D像超分辨率重建代價(jià)函數(shù)中，利用最大后驗(yàn)概率算法迭代優(yōu)化高分辨率視頻幀.仿真表明：多尺度自適應(yīng)配準(zhǔn)算法不僅提高了配準(zhǔn)精度，還提升了視頻超分辨率重建圖像幀的主客觀質(zhì)量，證明了多尺度自適應(yīng)配準(zhǔn)在視頻超分辨率重建中的有效性.

視頻超分辨率；多尺度塊匹配；自適應(yīng)配準(zhǔn)

1　引　言

在多媒體信息時(shí)代，視頻信息在軍事、通訊、航空航天等領(lǐng)域有著廣泛的應(yīng)用.出于適應(yīng)通訊低帶寬、節(jié)約存儲(chǔ)空間的考慮，視頻圖像信息在壓縮編碼過(guò)程中降低了圖像的分辨率；同時(shí)在視頻成像過(guò)程中，受到成像環(huán)境光照變化、視頻錄像設(shè)備自身的噪聲等因素的影響，實(shí)際的視頻圖像質(zhì)量通常較差，無(wú)法滿足生產(chǎn)生活中對(duì)高質(zhì)量、高分辨率圖像的需求，特別是在依賴機(jī)器視覺(jué)的應(yīng)用場(chǎng)景中，目標(biāo)對(duì)象常常遠(yuǎn)離攝像頭，目標(biāo)圖像常常分辨率較低.另一方面，極低分辨率的目標(biāo)圖像識(shí)別極其困難，極大的影響了基于視頻信息的視覺(jué)應(yīng)用效率［1］.要從輸入的低分辨率視頻獲得目標(biāo)的部分細(xì)節(jié)信息，最簡(jiǎn)單的方法是利用插值算法直接提升視頻分辨率，然而直接插值算法無(wú)法提供足夠的細(xì)節(jié)信息而限制了其應(yīng)用范圍.由于超分辨率算法能夠融合多幀圖像細(xì)節(jié)信息，與傳統(tǒng)的圖像上采樣插值方法相比具有較好的算法性能優(yōu)勢(shì)，因而成為了目前的研究熱點(diǎn)問(wèn)題.

視頻圖像的獲取過(guò)程如圖1所示.

圖1　視頻的低分辨率圖像成像過(guò)程Fig.1　Imaging process of low-resolution image of video

1964年，Harris等人提出了超分辨率數(shù)學(xué)理論基礎(chǔ)，開(kāi)創(chuàng)了超分辨率技術(shù)的新領(lǐng)域［2］.1984年，Huang和Tasi［3］利用離散和連續(xù)傅立葉變換之間的平移以及混疊等性質(zhì)建立了由多幅低分辨率圖像得到一副高分辨率圖像的方程組，明確的提出了圖像超分辨率的概念.在這些工作的啟發(fā)下，頻域超分辨方法得到了廣泛的應(yīng)用與發(fā)展.然而，頻域超分辨率重建方法都是基于低分辨率圖像之間僅僅只有全局平移運(yùn)動(dòng)的假設(shè)基礎(chǔ)上，這樣的假設(shè)在實(shí)際應(yīng)用中常常難以滿足，進(jìn)而限制了該類算法的應(yīng)用.

為了適應(yīng)視頻中目標(biāo)的一般運(yùn)動(dòng)以及不同圖像退化類別的要求，空域多幀圖像超分辨率方法被提出并迅速發(fā)展.目前廣泛應(yīng)用的有凸集投影算法（POCS）［4］以及最大后驗(yàn)概率算法（MAP）［5］.視頻超分辨率利用了多幀圖像的互補(bǔ)信息，因此其核心在于多幀圖像的運(yùn)動(dòng)矢量的精確配準(zhǔn)，研究表明：配準(zhǔn)誤差不僅導(dǎo)致了圖像的模糊，還降低了圖像超分辨率重建質(zhì)量.因此，大量研究圍繞低分辨率的亞像素精度的配準(zhǔn)而展開(kāi).

Mitzel［6］等人提出了一種基于Tikhonov正則的光流估計(jì)的視頻超分辨率算法框架，從輸入任意視頻的多幀低分辨率圖像重建一幅高分辨率圖像輸出，光流法主要用來(lái)估計(jì)多幀之間的運(yùn)動(dòng)參數(shù)，獲得了較好的重建效果，然而，光流法估計(jì)每個(gè)像素的運(yùn)動(dòng)場(chǎng)，算法時(shí)間開(kāi)銷大.Bishop［7］等人提出了一種視頻超分辨率增強(qiáng)算法，利用樣本學(xué)習(xí)獲得圖像塊中高頻信息和低頻信息的映射關(guān)系，提升了視頻超分辨率算法的速度.Liu［8］等人提出了一種基于貝葉斯估計(jì)的自適應(yīng)視頻超分辨率算法，該算法利用貝葉斯框架對(duì)超分辨率重建過(guò)程中的模糊核、圖像運(yùn)動(dòng)矢量和噪聲進(jìn)行建模，在獲得高分辨率重建圖像的同時(shí)，能夠?qū)υ肼暫瓦\(yùn)動(dòng)等重要影響因素自適應(yīng)估計(jì)，獲得了較好的圖像重建質(zhì)量.然而多變量迭代優(yōu)化算法框架增大了算法的復(fù)雜度和時(shí)間開(kāi)銷.

文獻(xiàn)［9］認(rèn)為亞像素精度的圖像配準(zhǔn)是影響超分辨率重建的一個(gè)重要因素.特別是視頻中存在局部運(yùn)動(dòng)的情況下，高精度配準(zhǔn)難度較大，常用的配準(zhǔn)有光流法、圖像特征匹配法和圖像塊配準(zhǔn)法［10］等幾種方法，由于光流法是對(duì)像素點(diǎn)的操作其配準(zhǔn)精度高，但是計(jì)算復(fù)雜度高，對(duì)局部運(yùn)動(dòng)的運(yùn)動(dòng)估計(jì)精度大幅下降；特征匹配方法需要事先提取特征，然后進(jìn)行匹配，在復(fù)雜的成像條件下，特征提取的精度受到影響，降低了其配準(zhǔn)精度.

傳統(tǒng)的視頻超分辨率算法大部分是假設(shè)多幀圖像之間的運(yùn)動(dòng)為整體運(yùn)動(dòng)，然而在實(shí)際的視頻中，圖像幀之間不僅僅存在整體運(yùn)動(dòng)，監(jiān)控目標(biāo)還存在著復(fù)雜的局部運(yùn)動(dòng)，因此與通用視頻超分辨率算法相比低質(zhì)量視頻圖像的超分辨率算法更具挑戰(zhàn)性.在面向?qū)嶋H視頻圖像的應(yīng)用中，研究精確配準(zhǔn)技術(shù)是解決目前視頻超分辨率重建問(wèn)題技術(shù)瓶頸的方向之一，特別是在存在復(fù)雜局部運(yùn)動(dòng)的實(shí)際視頻中，研究多尺度精度的自適應(yīng)的配準(zhǔn)方法具有重要的作用.

2　算法設(shè)計(jì)

2.1多尺度自適應(yīng)塊匹配圖像配準(zhǔn)

2.1.1塊匹配自適應(yīng)圖像配準(zhǔn)算法針對(duì)實(shí)際視頻的局部運(yùn)動(dòng)，采用塊匹配技術(shù)實(shí)現(xiàn)視頻多幀的圖像配準(zhǔn).塊匹配技術(shù)圖像配準(zhǔn)常見(jiàn)于視頻壓縮標(biāo)準(zhǔn)中，將待配準(zhǔn)的低分辨率圖像分為一系列特定大小的方塊，常用的有16×16、8×8以及4×4像素等塊大小，以參考幀為基準(zhǔn)對(duì)待配準(zhǔn)圖像進(jìn)行搜索（常用的有三步搜索算法，十字搜索算法等），在給定匹配標(biāo)準(zhǔn)下找出誤差最小的方塊，從而得到該對(duì)應(yīng)方塊的位移矢量.用位移矢量（Motion Vector，MV）來(lái)描述每個(gè)方塊的配準(zhǔn)參數(shù)，用每個(gè)方塊的位移矢量集描述整個(gè)圖像的配準(zhǔn)參數(shù)，如圖2所示.

圖2　塊匹配原理示意圖Fig.2　Diagram of block-matching algorithm

最常用的匹配準(zhǔn)則是求和絕對(duì)誤差.假設(shè)（i，j）為位移矢量，f（x，y）和g（x，y）分別是待配準(zhǔn)和參考圖像上的像素灰度值，M×N為選定的塊大小，S是求和絕對(duì)誤差，則求和絕對(duì)誤差匹配準(zhǔn)則的表達(dá)式如下：

塊匹配配準(zhǔn)算法簡(jiǎn)單高效，容易在超大規(guī)模集成電路中實(shí)現(xiàn)，因此在傳統(tǒng)的視頻、圖像壓縮領(lǐng)域被認(rèn)為是最通用的算法.目前針對(duì)實(shí)際視頻的特點(diǎn)，本文采用多尺度自適應(yīng)塊匹配算法提升圖像塊的配準(zhǔn)精度，進(jìn)而提高多幀超分辨率的圖像重建質(zhì)量.

分析可知，采用塊匹配圖像配準(zhǔn)中塊大小選取非常重要.選取的塊大時(shí)，因?yàn)槟J(rèn)塊內(nèi)各像素作相同的平移運(yùn)動(dòng)，則估計(jì)的精度將受到影響，不過(guò)大塊更能反映圖像的實(shí)際內(nèi)容，這也將使得塊匹配的準(zhǔn)確度比較好，受噪聲等因素的影響較小.反之，選取的塊小時(shí)，一方面運(yùn)算量必然會(huì)大幅增加；另一方面由于噪聲等因素的影響，雖然像素級(jí)的配準(zhǔn)精度會(huì)提高，但是因?yàn)槠ヅ錅?zhǔn)則等因素的影響，圖像塊整體配準(zhǔn)的準(zhǔn)確度會(huì)受到一定的限制.為了在估計(jì)精度與運(yùn)算量之間取得均衡，需要選取合適的塊大小結(jié)構(gòu).對(duì)不同內(nèi)容的不同尺度上的配準(zhǔn)，將有利于圖像塊配準(zhǔn)的精度，同時(shí)能夠提升對(duì)噪聲的魯棒性.

從算法的時(shí)間復(fù)雜度的出發(fā)，圖像塊的大小通常傾向于選擇一個(gè)比較大的塊劃分方式，這樣可以改善監(jiān)控設(shè)備抗噪能力差的弱點(diǎn).比如16×16像素塊大小的劃分.而對(duì)于存在多個(gè)運(yùn)動(dòng)物體的序列圖像，圖像邊緣的運(yùn)動(dòng)估計(jì)算法精度要求和圖像平滑區(qū)域的精度要求不一致，因此需要自適應(yīng)選擇圖像塊的大小.

自適應(yīng)塊匹配圖像配準(zhǔn)，要綜合考慮配準(zhǔn)的抗噪能力強(qiáng)弱問(wèn)題和配準(zhǔn)的精度問(wèn)題.對(duì)于需要高精度的區(qū)域盡量劃分成較小的塊，而對(duì)精度影響不大的平坦區(qū)域，則相應(yīng)的選擇較大的塊.首先找出需要進(jìn)行圖像配準(zhǔn)的前后幀之間存在的運(yùn)動(dòng)邊緣.然后在根據(jù)運(yùn)動(dòng)邊緣信息，建立塊大小選擇的自適應(yīng)準(zhǔn)則.

2.1.2圖像運(yùn)動(dòng)邊緣的提取使用幀差法來(lái)提取運(yùn)動(dòng)邊緣信息.幀差法是將兩幀圖像像素值逐點(diǎn)相減獲得殘差圖像；對(duì)殘差圖像再進(jìn)行一個(gè)簡(jiǎn)單的閾值濾波，去除由于光照因素引起的像素值變動(dòng)而導(dǎo)致的較小的殘差.對(duì)于固定位置的攝像頭而言，相鄰兩幀目標(biāo)場(chǎng)景的背景信息不會(huì)發(fā)生變化，圖像像素出現(xiàn)的比較大的變化可以認(rèn)為是由物理的相對(duì)位置發(fā)生改變?cè)斐傻?因此，經(jīng)過(guò)濾波后的殘差圖像可以反映出求幀差的兩幀圖像之間的物體局部運(yùn)動(dòng)情況.兩幀的差值小于一定閾值的區(qū)域作為平坦區(qū)域，大于一定閾值后認(rèn)為是具有顯著度的運(yùn)動(dòng)邊緣信息.如圖3所示，輸出圖像（c）中的0值區(qū)域就代表了兩幅圖像（a）、（b）的運(yùn)動(dòng)邊緣信息.圖3（a）表示當(dāng)前幀，（b）表示參考幀，（c）中黑色區(qū)域?yàn)楫?dāng)前幀與參考幀之差.

圖3　圖像運(yùn)動(dòng)邊緣信息提取示意圖Fig.3　Schematicdiagram of extraction of moving edge information of video

2.1.3多尺度塊大小選擇自適應(yīng)準(zhǔn)則對(duì)于上述所得的殘差圖像，可以采用統(tǒng)計(jì)的方法得出劃分塊大小的自適應(yīng)準(zhǔn)則.具體的步驟如下所示：

算法1：圖像自適應(yīng)多尺度圖像塊選擇算法.

輸入：相鄰兩幀圖像圖3（a）和圖3（b），閾值T1

輸出：多尺度圖像塊劃分策略

第一步：對(duì)輸入圖像圖3（a）和圖3（b）的幀差圖像圖3（c）進(jìn)行較大塊的劃分，如32×32塊；

第二步：對(duì)劃分的圖像塊，統(tǒng)計(jì)其中0的個(gè)數(shù)；

第三步：對(duì)于0的個(gè)數(shù)超過(guò)閾值T1的塊，認(rèn)定其包含了較多的運(yùn)動(dòng)邊緣信息；

第四步：對(duì)于第三步中認(rèn)定的包含了較多運(yùn)動(dòng)邊緣信息的大塊按照較小的塊大小進(jìn)行重新劃分，而其他的大塊仍然按照較大的塊進(jìn)行圖像配準(zhǔn).最后輸出整個(gè)圖像幀的分塊策略.

通過(guò)上述步驟，可以獲得運(yùn)動(dòng)邊緣和平坦區(qū)域的不同尺度的配準(zhǔn)精度模型，從而實(shí)現(xiàn)自適應(yīng)的配準(zhǔn)尺度的選擇，一定程度上均衡了準(zhǔn)確度和算法時(shí)間開(kāi)銷的不同需求.如圖4所示，為兩幀圖像采用自適應(yīng)塊大小選擇后的塊劃分示意圖.

圖4中，對(duì)于運(yùn)動(dòng)邊緣區(qū)域，采用較小的塊劃分方式，而其他區(qū)域仍然保持原來(lái)的大塊劃分法.

圖4　自適應(yīng)塊大小選擇后塊劃分示意圖Fig.4　Distributionchart of adaptive blocks withdifferent patch sizes

2.1.4自適應(yīng)閾值修正配準(zhǔn)塊匹配圖像配準(zhǔn)算法是基于這樣的假設(shè)：被劃分成的小塊內(nèi)部的所有像素都是遵循同一個(gè)平移運(yùn)動(dòng)的，而事實(shí)上不盡然.在圖像內(nèi)部，不同物體或者場(chǎng)景的邊緣部分，或者圖像紋理細(xì)節(jié)豐富的區(qū)域，受到塊的劃分以及塊匹配準(zhǔn)則選取等因素的影響不同.而在具體的運(yùn)算過(guò)程中，由于匹配準(zhǔn)則的限制，確實(shí)已經(jīng)找到了符合當(dāng)前匹配準(zhǔn)則的最優(yōu)匹配塊，但對(duì)其中的某些像素來(lái)說(shuō)，是可能存在比較大的誤差的，這稱之為配準(zhǔn)誤差.配準(zhǔn)誤差降低了超分辨率重建圖像的主客觀質(zhì)量.尤其對(duì)于非平滑區(qū)域和運(yùn)動(dòng)邊緣的像素來(lái)說(shuō)，由于塊的選擇極有可能包括了這些非線性變化的像素值，采用求和絕對(duì)誤差的匹配準(zhǔn)則，不能夠反映真實(shí)的圖像匹配情況.文獻(xiàn)數(shù)據(jù)表明［11］：超分辨率重建圖像的運(yùn)動(dòng)邊緣區(qū)域以及紋理細(xì)節(jié)比較豐富的區(qū)域會(huì)產(chǎn)生方塊效應(yīng)等錯(cuò)誤信息，這些現(xiàn)象常常是由于配準(zhǔn)誤差導(dǎo)致的.

提升圖像的配準(zhǔn)精度會(huì)提升超分辨率的重建質(zhì)量.因此在現(xiàn)有的圖像配準(zhǔn)技術(shù)基礎(chǔ)上，引入對(duì)運(yùn)動(dòng)矢量的修正模型顯得十分必要.由于配準(zhǔn)誤差通常導(dǎo)致超分辨率圖像出現(xiàn)嚴(yán)重的振鈴效應(yīng).因此可以采取在配準(zhǔn)錯(cuò)誤的區(qū)域去除運(yùn)動(dòng)矢量，直接用原始圖像進(jìn)行上采樣的策略.

本文提出了一種既考慮了待配準(zhǔn)圖像與補(bǔ)償圖像整體匹配又計(jì)算簡(jiǎn)便的方法來(lái)修正當(dāng)前的配準(zhǔn)參數(shù)，且算法能夠自適應(yīng)獲得評(píng)估運(yùn)動(dòng)矢量是否準(zhǔn)確的閾值.

設(shè)待配準(zhǔn)圖像為f，參考圖像為g，m和n分別表示行和列的運(yùn)動(dòng)矢量矩陣，則可以由已知的配準(zhǔn)參數(shù)和參考圖像求出補(bǔ)償圖像.并設(shè)x（x1，x2）為當(dāng)前像素點(diǎn)，每幅圖像共有N個(gè)像素點(diǎn).補(bǔ)償圖像可以有g(shù)表示為：g［x1-m（x），x2-n（x）］；設(shè)在點(diǎn)x處待配準(zhǔn)圖像與補(bǔ)償圖像之間的絕對(duì)差為Dfd，則有

如果圖像配準(zhǔn)非常準(zhǔn)確的話，則Dfd的值應(yīng)該接近于0值.但是存在配準(zhǔn)誤差的配準(zhǔn)參數(shù)則將導(dǎo)致Dfd的值偏離0值.因此，通過(guò)求Dfd的值可以判斷是否存在匹配誤差.

設(shè)每一個(gè)像素點(diǎn)Dfd的平均值為 μDfd，方差為，則有如下計(jì)算公式：

設(shè)定判斷是否出現(xiàn)配準(zhǔn)誤差的條件為Dfd是否大于某一個(gè)閾值T2，設(shè)T2=μDfd+2σDfd，同時(shí)再加上一個(gè)附加條件，即比較當(dāng)前圖像與參考圖像對(duì)應(yīng)像素點(diǎn)值的變化情況，如果變化不大，則也可以認(rèn)同當(dāng)前點(diǎn)不需要進(jìn)行運(yùn)動(dòng)估計(jì).即有

其中，F(xiàn)dx表示點(diǎn)x處兩幀圖像的像素值的絕對(duì)差值.通過(guò)比較每一個(gè)像素點(diǎn)x處的Dfd值和Fd值，可以判斷出，當(dāng)前是否出現(xiàn)了配準(zhǔn)誤差.對(duì)于出現(xiàn)配準(zhǔn)錯(cuò)誤的點(diǎn)，直接放棄當(dāng)前的配準(zhǔn)參數(shù)，不做與參考圖像的配準(zhǔn)，補(bǔ)償圖像由原圖像構(gòu)成.

基于自適應(yīng)塊匹配的圖像配準(zhǔn)算法總結(jié)如下：算法2：基于自適應(yīng)塊匹配的圖像配準(zhǔn)算法.輸入：相鄰兩幀圖像圖3（a）和圖3（b），配準(zhǔn)誤差閾值T1和T2.

輸出：運(yùn)動(dòng)配準(zhǔn)矩陣F.

第一步：依據(jù)算法1獲得運(yùn)動(dòng)邊緣信息圖3（c），根據(jù)邊緣和平坦區(qū)域選擇不同的配準(zhǔn)尺度；

第二步：對(duì)于待配準(zhǔn)圖像，計(jì)算每個(gè)像素點(diǎn)的Fdx值，大于T2部分直接用插值方法獲得運(yùn)動(dòng)向量，小于T2部分使用計(jì)算獲得運(yùn)動(dòng)向量；

第三步：對(duì)所有圖像塊進(jìn)行遍歷，獲得運(yùn)動(dòng)配準(zhǔn)矢量F輸出.

2.2基于多尺度自適應(yīng)圖像配準(zhǔn)的視頻超分辨率算法

在獲得更為精確的自適應(yīng)塊匹配配準(zhǔn)參數(shù)后直接將這些運(yùn)動(dòng)估計(jì)參數(shù)應(yīng)用到視頻多幀超分辨率重建的過(guò)程中.假設(shè)有連續(xù)k幀視頻圖像，那么低分辨率的視頻序列成像過(guò)程可以用公式（6）表示.

其中，X表示所求的高分辨率圖像；Y表示低分辨率圖像序列，k表示幀數(shù)，F(xiàn)表示配準(zhǔn)補(bǔ)償矩陣；H表示成像模糊降質(zhì)；D表示圖像欠采樣降質(zhì)；E表示加性噪聲干擾降質(zhì).

視頻超分辨率是公式（6）中從觀測(cè)得到的低分辨率序列推導(dǎo)對(duì)應(yīng)的高分辨率圖像的過(guò)程.由于公式（6）是一個(gè)欠定方程，方程的個(gè)數(shù)少于未知數(shù)的個(gè)數(shù)，這樣求得的高分辨率圖像沒(méi)有唯一解.在方程求解之前，降質(zhì)過(guò)程的每個(gè)因素均應(yīng)該獲得對(duì)應(yīng)的具體數(shù)值.一般情況下，假設(shè)在k幀圖像具有短時(shí)平穩(wěn)性，這樣可以假定其系統(tǒng)模糊函數(shù)是固定的，且可以用高斯函數(shù)模擬，下采樣函數(shù)一般使用多取一方法直接獲得對(duì)應(yīng)的低分辨率矩陣，這樣當(dāng)Fk已知的情況下，方程可以求解并獲得高分辨率圖像輸出.

超分辨率重建的過(guò)程就是在已知Yk的情況下，估計(jì)出配準(zhǔn)補(bǔ)償矩陣Fk，然后利用圖像的先驗(yàn)知識(shí)約束高分辨率解空間，進(jìn)而獲得方程的唯一解.

假設(shè)：Ck=DkHkFk.則Yk=CkX+Ek，也即：Y=C·X+E.那么視頻中單幀圖像的重建代價(jià)函數(shù)如下：

其中，X是所求的高分辨率幀圖像，C是包括配準(zhǔn)參數(shù)在內(nèi)的配準(zhǔn)系數(shù)，λ是平衡因子，調(diào)整重建誤差與重建高分辨率圖像平滑之間的關(guān)系，τ（X）是高分辨率圖像的平滑先驗(yàn).公式（7）使用最速下降法進(jìn)行求解，其主要過(guò)程參考文獻(xiàn)［12］.

基于自適應(yīng)圖像塊的視頻超分辨率算法主要分為三個(gè)部分：

1）多尺度的低分辨率圖像配準(zhǔn).對(duì)輸入的低分辨率圖像在圖像塊級(jí)別進(jìn)行自適應(yīng)配準(zhǔn)，首先利用幀差法獲得運(yùn)動(dòng)邊緣，對(duì)具有高顯著度的邊緣信息進(jìn)行小分塊進(jìn)行處理，對(duì)于圖像的平坦區(qū)域則利用大分塊進(jìn)行配準(zhǔn)，在此基礎(chǔ)上計(jì)算圖像的整體配準(zhǔn)誤差，自適應(yīng)調(diào)整誤差超過(guò)閾值的部分運(yùn)動(dòng)矢量，達(dá)到計(jì)算速度和精度的均衡.

2）估計(jì)降質(zhì)函數(shù).按照視頻的降質(zhì)過(guò)程估計(jì)運(yùn)動(dòng)配準(zhǔn)補(bǔ)償向量，系統(tǒng)模糊函數(shù)和下采樣矩陣，為超分辨率重建建立基本求解數(shù)據(jù).

3）利用超分辨率重建代價(jià)函數(shù)求解分辨率圖像.主要是在高分辨率圖像通用先驗(yàn)知識(shí)的約束下，利用梯度下降法求解高分辨率圖像，最后將多幀高分辨率圖像合成為高分辨率視頻序列輸出.

這樣基于塊匹配自適應(yīng)配準(zhǔn)技術(shù)的視頻超分辨率算法總結(jié)如下：

算法3：基于多尺度自適應(yīng)配準(zhǔn)的視頻超分辨率算法.

輸入：k幀低分辨率圖像Yk，自適應(yīng)閾值T1和T2，降質(zhì)模糊函數(shù)Hk.

輸出：高分辨率圖像序列 Xk.

第一步：利用算法1確定圖像塊分割策略；第二步：利用算法2計(jì)算圖像的配準(zhǔn)補(bǔ)償矩陣Fk；

第三步：利用公式（7）建立超分辨率求解代價(jià)函數(shù)，其中下采樣矩陣使用上采樣矩陣的逆過(guò)程；第四步：利用梯度下降法求解高分辨圖像；第五步：將多幀高分辨率圖像組合成高分辨率序列輸出Xk.

2.3仿真實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證本文算法的合理性，設(shè)計(jì)了仿真實(shí)驗(yàn)，主觀圖像質(zhì)量以標(biāo)準(zhǔn)測(cè)試序列Foreman和Mobile為例.測(cè)試序列原始圖像分辨率大小為352×288像素，對(duì)視頻序列加入高斯模糊模擬成像系統(tǒng)的降質(zhì)模糊，下采樣圖像大小為原來(lái)的1/2，制備低分辨率視頻為輸入測(cè)試序列.多幀圖像選擇相鄰幀圖像，低分辨率圖像的大小為176×144像素.

為了測(cè)試本文研究思路的正確性，仿真實(shí)驗(yàn)測(cè)試自適應(yīng)塊匹配圖像配準(zhǔn)超分辨率，傳統(tǒng)視頻超分辨和單一塊大小配準(zhǔn)超分辨率實(shí)驗(yàn).其中對(duì)比算法選擇傳統(tǒng)視頻超分辨率算法［13］.實(shí)驗(yàn)分別從主觀圖像質(zhì)量和客觀圖像質(zhì)量?jī)蓚€(gè)方面開(kāi)展，其中客觀圖像質(zhì)量評(píng)估指標(biāo)選擇峰值信噪比.峰值信噪比主要用來(lái)比較原始高分辨率視頻圖像幀與重建的高分辨率視頻圖像幀的相似性.

圖5　原始高分辨率圖像分辨率為352×288像素（a）當(dāng)前幀圖像；（b）參考幀圖像Fig.5　Original high-resolution images with 352×288 pixels（a）Current frame；（b）Reference frame

3　結(jié)果與討論

如圖5表示原始高分辨率圖像的灰度圖，圖6所示為經(jīng)過(guò)高斯模糊以及下采樣降質(zhì)的低分辨率圖像.其中參考幀取第標(biāo)準(zhǔn)測(cè)試序列的第3幀，當(dāng)前幀取第4幀，可以觀測(cè)出高低分辨率視頻幀的對(duì)應(yīng)關(guān)系.利用算法1獲得自適應(yīng)圖像塊大小的劃分結(jié)果圖如圖7所示，大塊表示8×8像素，小塊表示4×4像素.

圖6　下采樣后的低分辨率圖像大小為176×144像素（a）降質(zhì)后的當(dāng)前幀；（b）降質(zhì)后的參考幀F(xiàn)ig.6　Down-sampled low-resolution images with 176×144 pixels（a）Degradedcurrent frame；（b）Degraded reference frame

圖7　自適應(yīng)塊大小選擇時(shí)，獲取運(yùn)動(dòng)邊緣信息圖以及塊大小示意圖 大塊表示8×8塊大小，小塊表示4×4塊大?。╝）圖像間運(yùn)動(dòng)邊緣；（b）根據(jù)運(yùn)動(dòng)邊緣塊大小劃分Fig.7　Adaptive patch selection for moving edges atdifferent block sizes：big patch with 8×8 pixels，small patch with 4×4 pixels（a）Moving edges between multi-frames；（b）Moving edge-blocks withdifferent scales of registration

依據(jù)本文算法，利用每10幀圖像融合生成對(duì)應(yīng)的高分辨率圖像，將重建視頻的第10幀圖像進(jìn)行對(duì)比，主觀重建質(zhì)量圖像如圖8所示.圖8（a）和（b）表示單一圖像塊配準(zhǔn)的超分辨率重建圖像，圖8（c）是文獻(xiàn)［13］的對(duì)比算法重建圖像，圖8（d）是雙三次插值的放大圖像，圖8（e）是本文重建圖像.從圖像中可以發(fā)現(xiàn)，重建算法在細(xì)節(jié)清晰度上相比對(duì)比算法有提升，相對(duì)插值算法明顯更清晰，而且本文算法重建圖像相比單一配準(zhǔn)算法重建質(zhì)量有明顯的提升.值得注意的是，圖8（b）相對(duì)圖8（a）中有部分細(xì)節(jié)出現(xiàn)了誤差，說(shuō)明了不同尺度的配準(zhǔn)誤差作用不同，大尺度的分塊的配準(zhǔn)精度對(duì)超分辨率重建具有影響.

圖8　多種超分辨率算法重建主觀質(zhì)量對(duì)比圖（a）4×4塊大小，無(wú)運(yùn)動(dòng)補(bǔ)償?shù)某直媛仕惴?；（b）8×8塊大小，無(wú)運(yùn)動(dòng)補(bǔ)償?shù)某直媛仕惴?；（c）文獻(xiàn)［6］算法；（d）雙三次插值算法；（e）多尺度配準(zhǔn)的超分辨率算法Fig.8　Compared images of reconstructed subjective quality bydifferent super-resolution algorithms（a）4×4 pixels without motion registrationcompensation；（b）8×8 pixels without motion registrationcompensation；（c）The algorithm according to reference 6；（d）Bi-cubic interpolation；（e）The proposed method based on Multi-scale block matching

為了進(jìn)一步說(shuō)明超分辨率的重建質(zhì)量，多種超分辨率重建圖像的客觀質(zhì)量對(duì)比如表1所示.

表1　不同視頻超分辨率算法客觀重建質(zhì)量（PSNR）對(duì)比Tab.1　Objective reconstructed quality ofdifferent video by super-resolution algorithms（PSNR）db

從主客觀超分辨率圖像重建質(zhì)量來(lái)看：配準(zhǔn)誤差影響了超分辨率重建，使用自適應(yīng)塊匹配算法的超分辨率重建圖像主客觀質(zhì)量?jī)?yōu)于對(duì)比算法，特別是相比插值算法，圖像細(xì)節(jié)表現(xiàn)能力明顯具有優(yōu)勢(shì)，相比對(duì)比算法圖像客觀重建質(zhì)量平均提升了0.3db，相比插值算法圖像客觀重建質(zhì)量平均提升了0.61db.同時(shí)相對(duì)于單一尺度圖像塊大小的配準(zhǔn)，自適應(yīng)配準(zhǔn)視頻超分辨率算法提升了0.91db，證明了本文所提出算法的具有良好的主客觀重建性能.

4　結(jié)　語(yǔ)

針對(duì)視頻序列圖像進(jìn)行超分辨率重建中圖像配準(zhǔn)誤差導(dǎo)致重建圖像質(zhì)量低的問(wèn)題，提出了一種自適應(yīng)選擇塊大小的多尺度圖像配準(zhǔn)算法.利用了圖像運(yùn)動(dòng)邊緣信息的顯著性，對(duì)運(yùn)動(dòng)邊緣和圖像平坦區(qū)域分別進(jìn)行多尺度圖像塊配準(zhǔn).同時(shí)，根據(jù)圖像塊的配準(zhǔn)誤差大小來(lái)選擇配準(zhǔn)矢量，引入誤差自適應(yīng)修正模型，進(jìn)一步克服全局配準(zhǔn)中出現(xiàn)的誤差問(wèn)題.最后將這自適應(yīng)圖像配準(zhǔn)算法應(yīng)用到視頻超分辨率重建中去，利用視頻多幀自適應(yīng)塊配準(zhǔn)技術(shù)提升超分辨率重建圖像的主客觀質(zhì)量，仿真實(shí)驗(yàn)證明了本算法的有效性.

［1］張新民，沈蘭蓀.超分辨率復(fù)原技術(shù)的發(fā)展［J］.測(cè)控技術(shù)，2002，5（22）：33-35. ZHANG X M，SHEN L S.Thedevelopment of super-resolution restoration from image sequences［J］. Measurement&control technology，2002，5（22）：33-35.

［2］KANADE T，BAKER S.Limits on super-resolution and how to break them［J］.IEEE transactions on pattern analysis and machine intelligence，2002，24（9）：1167-1183.

［3］TSAI R Y，HUANG T S.Multiframe image restoration and registration［M］.Greenwich USA：JAI Press Inc，1984.

［4］PATTI A J，SEZAN M I，TEKALP A M.Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE transactions on image processing，1997，6（8）：1064-1076.

［5］SCHUILTZ R R，STEVENSON R L.Extraction of high resolution frames from video sequences［J］.Image processing，IEEE transactions on，1996，5（6）：996-1011.

［6］MITZELd，POCK T，SCHOENEMANN T.Pattern recognition［M］.Jena，Germany：Springer Berlin Heidelberg，2009.

［7］BISHOPc M，BLAKE A，MARTHI B.Patch-based videosuper-resolution：US，US7218796B2［P］.2007-05-15.

［8］CE L，DEQING S.On bayesian adaptive video super resolution［J］.IEEE transaction on pattern analysis and machine intelligence，2014，36（2）：346-360.

［9］ELAD M，F(xiàn)EUER A.Restoration of a single super-resolution image from several blured，noisy and undersampled measured images［J］.IEEE transactions on image，1997，6（12）：1646-1658.

［10］KERENd，PELEG S，BRADA R.Image sequence en

hancement using sub-pixeldisplacements［C］//Computer Vision and Pattern Recognition.ProceedingscVPR'88.Computer Society.Comference on IEEE 1988：724-746.

［11］BAKER S，KANADE T.Super-resolution optical flow ［M］.Ann Arbor Michigan：IEEE，1999.

［12］TIKHONOV A N.Regularization of incorrectly posed problems［J］.Sov math，1963（4）：1624-1627.

［13］FARSIU S，ELAD M，MILANFAR P.Multiframedemosaicing and super-resolution ofcolor images［J］.IEEE transactions on image processing，2006，15（1）：141-159.

本文編輯：陳小平

Video Super-Resolution Algorithm Via multi-Scale Adaptive Block-Matching Registration

LU Tao1，2，ZHANG Jin1，2，CHEN Baifan3，GUAN Yingjie1，2
1.School ofcomputer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China，；
2.Hubei Key Laboratory of Intelligent Robot（Wuhan Institute of Technology），Wuhan 430205，China；
3.School of Information Science and Engineering，Central South University，Changsha 410083，China

To improve the registration accuracy which influences the performance of video super-resolution algorithms，we proposed a video super-resolution algorithm based on multi-scale adaptive block-matching registration.Registration scale was selected with blockcontents and the moving edge information of video was represented in high registration accuracy.Then，the registration motion vectors werecompensated into thecost function of multi-frame super-resolution，and the high-resolution outputs frames were iteratively optimized by the algorithm of maximum a posteriori estimation.Simulation results show that the adaptive multi-scale registration not only enhances the accuracy of video registration，but also improves the performance of video super-resolution，whichdemonstrates the validity of adaptive multi-scale registration in video super-resolution reconstruction.

video super-resolution；multi-scale block matching；adaptive registration

TP391.4

A

10.3969/j.issn.1674-2869.2016.02.014

1674-2869（2016）02-0178-07

2015-12-02

863計(jì)劃項(xiàng)目（2013AA12A202）；國(guó)家自然科學(xué)基金項(xiàng)目（61172173），（61502354）；湖北省自然科學(xué)基金項(xiàng)目（2014CFA130），（2015CFB451）；湖北省教育廳重點(diǎn)科研項(xiàng)目（D20141505）；湖南省科技計(jì)劃項(xiàng)目（2014FJ3157）

盧濤，博士，副教授.E-mail：lut@wit.edu.cn