基于改進(jìn)SIFT的視頻超分辨率重建快速配準(zhǔn)算法研究

郭 黎，廖 宇,陳為龍

(1.湖北民族學(xué)院 信息工程學(xué)院，湖北 恩施 445000;2.四川大學(xué) 電子信息學(xué)院圖像信息研究所，四川 成都 610065)

近年來(lái)，隨著視頻通信、圖像處理、模式識(shí)別以及計(jì)算機(jī)視覺(jué)等多學(xué)科的迅速發(fā)展，人們獲得的圖像信息呈爆炸式的增長(zhǎng).為了更好地利用圖像信息為人類(lèi)提供服務(wù)，人們對(duì)提高圖像分辨率、改善圖像質(zhì)量的要求越來(lái)越高.從多幀具有相似性的低分辨率圖像序列中，獲取因相對(duì)位移而形成的互補(bǔ)信息，恢復(fù)出圖像在成像過(guò)程中丟失的高頻細(xì)節(jié)，并最終重建出具有更高時(shí)空分辨率圖像的技術(shù)統(tǒng)稱(chēng)為超分辨率重建技術(shù).目前，超分辨率重建技術(shù)在航拍、醫(yī)療、公共安全等領(lǐng)域已得到了廣泛的應(yīng)用.

圖1 圖像降質(zhì)模型

1 低分辨率圖像觀察模型

造成圖像降質(zhì)的原因很多，且原理復(fù)雜，通常情況下，用f(ε,η)和g(x,y)分別表示真實(shí)場(chǎng)景及其對(duì)應(yīng)的降質(zhì)圖像，近似地描述線(xiàn)性系統(tǒng)降質(zhì)模型如圖1.其中h(x,y,ε,η)代表成像系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)(pointspreadfunction,PSF)，也就是通常所說(shuō)的系統(tǒng)二維沖擊響應(yīng)函數(shù)；n(x,y)為退化過(guò)程中的干擾噪聲.以相加的方式進(jìn)入系統(tǒng)的噪聲，稱(chēng)之為加性噪聲；以相乘的形式出現(xiàn)，則稱(chēng)之為乘性噪聲.

I代表真實(shí)場(chǎng)景空間，將圖1用數(shù)學(xué)表達(dá)式表示為：

(1)

若成像系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)h(x,y,ε,η)與真實(shí)場(chǎng)景中各點(diǎn)位置無(wú)關(guān)，只與真實(shí)場(chǎng)景和降質(zhì)圖像之間的相對(duì)位置有關(guān)，則式(1)可進(jìn)一步寫(xiě)為：

(2)

此時(shí)的h(x,y,ε,η)稱(chēng)為位移不變點(diǎn)擴(kuò)展函數(shù)，與之對(duì)應(yīng)的圖像降質(zhì)模型則稱(chēng)為線(xiàn)性空間平移不變退化模型.圖像重建的目的即是在盡可能準(zhǔn)確地對(duì)h(x,y,ε,η)及n(x,y)進(jìn)行盲估計(jì)的前提下，由已知的低分辨率圖像g(x,y)，根據(jù)f(ε,η)的先驗(yàn)信息，對(duì)原始高分辨率圖像做出最近似的恢復(fù).

2 像配準(zhǔn)的基本原理

實(shí)現(xiàn)圖像超分辨率重建算法的前提是對(duì)圖像序列之間的運(yùn)動(dòng)進(jìn)行估計(jì)，即圖像序列的配準(zhǔn).運(yùn)動(dòng)估計(jì)準(zhǔn)確與否直接影響重建圖像的效果，因此圖像配準(zhǔn)問(wèn)題是超分辨率重建技術(shù)的基礎(chǔ).

假設(shè)I1(x,y)、I2(x,y)分別表示待配準(zhǔn)圖像和參考圖像在(x,y)處的灰度值，則圖像I1、I2之間的配準(zhǔn)關(guān)系可表示為：

I2(x,y)=f2(I1(f1(x,y)))

(3)

其中，f1代表二維的幾何變換函數(shù)，f2表示一維的灰度變換函數(shù).

配準(zhǔn)的主要任務(wù)即是求解最佳的空間變換關(guān)系f1與灰度變換關(guān)系f2，使兩幅圖像對(duì)準(zhǔn).由于空間變換是灰度變換的前提，且在一些情況下灰度變換關(guān)系并不是被關(guān)注的重點(diǎn)，因此尋找空間幾何變換關(guān)系f1便成為了配準(zhǔn)的關(guān)鍵所在，圖像I1和I2的配準(zhǔn)關(guān)系被簡(jiǎn)化為：

I2(x,y)=I1(f1(x,y))

(4)

3 像配準(zhǔn)方法的分類(lèi)

圖像配準(zhǔn)是超分辨率重建技術(shù)的基礎(chǔ)，在圖像處理的其它領(lǐng)域也受到了廣泛的關(guān)注，如視頻壓縮編碼、圖像拼接等.迄今為止，在國(guó)內(nèi)外圖像處理研究領(lǐng)域中，已經(jīng)有不少的圖像配準(zhǔn)算法，它們具有各自的特點(diǎn)，并適用于某類(lèi)特定場(chǎng)景.圖像配準(zhǔn)方法的分類(lèi)標(biāo)準(zhǔn)有很多，可以按圖像空間維數(shù)分類(lèi)、按配準(zhǔn)過(guò)程中的交互性分類(lèi)、按空間變換模型分類(lèi)等.下面分別介紹圖像配準(zhǔn)方法中的空間變換模型和變換域模型.

3.1 空間變換模型

兩幅圖像之間的空間幾何變換函數(shù)f可用空間變換模型進(jìn)行描述.空間變換模型主要分為相似變換、仿射變換、投影變換和非線(xiàn)性變換四類(lèi).在圖像應(yīng)用中，非線(xiàn)性變換是最符合實(shí)際的理想模型，但由于其變換復(fù)雜、實(shí)現(xiàn)代價(jià)大，目前對(duì)于非線(xiàn)性變換的相關(guān)研究還比較少.相似變換、仿射變換和投影變換又統(tǒng)稱(chēng)為線(xiàn)性變換.針對(duì)圖像之間不同的變換方式，需要選取合適的參數(shù)模型加以描述.

假設(shè)I1和I2是相關(guān)聯(lián)的兩幅圖像，即圖像I1可以經(jīng)過(guò)運(yùn)動(dòng)變換到圖像I2，(xi,yi)和(ui,vi)分別為圖像I1和I2中相對(duì)應(yīng)的像素點(diǎn)位置，則這兩幅圖像之間的運(yùn)動(dòng)關(guān)系可表示為：

(ui,vi)=f2(p,xi,yi)

(5)

其中p為運(yùn)動(dòng)模型的參數(shù)集，f1和f2是參數(shù)模型表達(dá)式.

3.2 變換域模型

3.2.1 頻域法 頻域運(yùn)動(dòng)配準(zhǔn)方法是利用圖像頻譜相位差進(jìn)行運(yùn)動(dòng)估算，包括傅立葉變換域方法和離散余弦變換域方法等.基于傅立葉變換域方法的空間局域性較差，可以采用空頻域方法進(jìn)行從粗到細(xì)的運(yùn)動(dòng)估計(jì)，如基于小波的運(yùn)動(dòng)模型、空時(shí)域連續(xù)小波變換以及復(fù)小波變換方法等，這類(lèi)方法也被稱(chēng)為空頻域法.

3.2.2 空域法 空域配準(zhǔn)方法主要包括基于特征的運(yùn)動(dòng)配準(zhǔn)方法、基于光流的運(yùn)動(dòng)配準(zhǔn)方法、基于塊匹配的運(yùn)動(dòng)配準(zhǔn)方法、基于最大后驗(yàn)概率的運(yùn)動(dòng)配準(zhǔn)方法以及基于泰勒級(jí)數(shù)展開(kāi)的運(yùn)動(dòng)配準(zhǔn)方法.

為了克服泰勒級(jí)數(shù)展開(kāi)時(shí)對(duì)于旋轉(zhuǎn)角度的范圍限制，使得配準(zhǔn)算法在大角度運(yùn)動(dòng)情況下仍能獲得較好的配準(zhǔn)，因此通常沒(méi)有將旋轉(zhuǎn)角度參數(shù)直接引入到運(yùn)動(dòng)變換模型中.

4 一種用于視頻的改進(jìn)快速SIFT配準(zhǔn)算法

相鄰幀之間的運(yùn)動(dòng)配準(zhǔn)是單視頻超分辨率重建算法中的一個(gè)至關(guān)重要的步驟，運(yùn)動(dòng)配準(zhǔn)算法的準(zhǔn)確性將會(huì)直接影響到超分辨率重建視頻的質(zhì)量，而運(yùn)動(dòng)配準(zhǔn)算法的速度則將會(huì)對(duì)超分辨率重建算法的實(shí)時(shí)性能產(chǎn)生影響.

從以前的實(shí)驗(yàn)中發(fā)現(xiàn)，采用傳統(tǒng)SIFT進(jìn)行運(yùn)動(dòng)配準(zhǔn)時(shí)間花銷(xiāo)很大，無(wú)法實(shí)現(xiàn)實(shí)時(shí)性的要求，而其中最大的計(jì)算開(kāi)銷(xiāo)就在SIFT中128維的特征描述子向量的計(jì)算上.并且，在多對(duì)一的歧義消除中，還發(fā)現(xiàn)利用特征描述子的歐式距離的消除法出現(xiàn)了錯(cuò)誤選擇.因此，要想對(duì)算法的效率進(jìn)行大的優(yōu)化，就必須從特征描述子進(jìn)行改進(jìn).

目前圖像的配準(zhǔn)主要有四個(gè)步驟:SIFT特征點(diǎn)檢測(cè)，初始配對(duì)，歧義誤匹配消除和變換參數(shù)矩陣計(jì)算.其中，除了變換參數(shù)矩陣計(jì)算之外，其余的都用到了SIFT算法的特征描述子.

特征描述子是一個(gè)128維的歸一化向量，能夠表達(dá)豐富的圖像梯度信息，總共包含了特征點(diǎn)周?chē)?6個(gè)4×4鄰域內(nèi)的8個(gè)方向的梯度變化，這對(duì)于特征點(diǎn)的特征描述是非常有用的.然而特征描述子的提出是為了試圖解決所有的配準(zhǔn)變換情況，比如圖像大幅度運(yùn)動(dòng)的圖像拼接，圖像大幅度旋轉(zhuǎn)縮放的衛(wèi)星圖片等.然而在單視頻重建中，一秒鐘大概有30幀的圖像信息，而每一幀之間或者相鄰幾幀之間不會(huì)有大的變換，也就是說(shuō)每個(gè)特征點(diǎn)的坐標(biāo)不會(huì)發(fā)生太大的變化，歧義匹配和誤匹配甚至可以通過(guò)x，y軸坐標(biāo)這樣的平面坐標(biāo)信息來(lái)進(jìn)行排除.本文提出一種改進(jìn)的SIFT配準(zhǔn)算法，放棄對(duì)128維特征描述子的計(jì)算，采用特征點(diǎn)之間的灰度相關(guān)系數(shù)和平面坐標(biāo)歐氏距離代替特征描述子，并隨后通過(guò)試驗(yàn)證明提出算法的可行性.

4.1 改進(jìn)的SIFT初始匹配

當(dāng)SIFT特征點(diǎn)檢測(cè)放棄了對(duì)特征點(diǎn)128維描述子的計(jì)算以后，遇到的第一個(gè)問(wèn)題就是特征點(diǎn)的初始匹配.傳統(tǒng)的方式是通過(guò)128維特征描述子的歐氏距離來(lái)進(jìn)行距離運(yùn)算，然后選擇距離優(yōu)勢(shì)較明顯的為初始匹配對(duì).現(xiàn)在由于沒(méi)有128維的特征描述子，所以選取了特征點(diǎn)之間的灰度相關(guān)系數(shù)作為初始匹配的依據(jù).相關(guān)系數(shù)閾值T(通常為0.95)選擇合適的時(shí)候能很好地剔除誤匹配.假設(shè)有一個(gè)特征點(diǎn)Pi，要在待匹配圖中找一個(gè)特征點(diǎn)來(lái)和Pi進(jìn)行初始匹配.步驟如下：

Step 1：選擇待匹配圖中和Pi的平面坐標(biāo)歐氏距離小于r的特征點(diǎn)作為候選.

Step 2：在候選特征點(diǎn)中，分別計(jì)算和Pi的灰度相關(guān)系數(shù).

Step 3：選取其中灰度相關(guān)系數(shù)最高的一點(diǎn)，假設(shè)為Pj.

Step 4：如果Pj>T(通常選為0.95)，則Pi和Pj是一對(duì)初始匹配.

在實(shí)際的使用中，要根據(jù)圖像的長(zhǎng)寬像素尺寸來(lái)決定r的取值，一般可以取50或者寬度像素的1/8.

4.2 改進(jìn)的匹配關(guān)聯(lián)度和歧義誤匹配剔除

通過(guò)以前的工作發(fā)現(xiàn)，匹配關(guān)聯(lián)度是幾種方法中唯一能同時(shí)有效消除多對(duì)一歧義匹配和誤匹配的方法，本文實(shí)驗(yàn)將采用這種方法來(lái)進(jìn)行歧義和誤匹配的剔除.在一對(duì)匹配點(diǎn)的匹配關(guān)聯(lián)度計(jì)算中，多次計(jì)算了兩點(diǎn)之間的距離，而之前這個(gè)距離用的是128維特征描述子的歐氏距離來(lái)進(jìn)行表示.現(xiàn)在由于已經(jīng)拋棄了特征描述子，因此必須用其他的值來(lái)代替.

在匹配關(guān)聯(lián)度中，這個(gè)距離主要是為了計(jì)算多個(gè)匹配之間的相互關(guān)系，也就是多組匹配在原圖中的特征點(diǎn)關(guān)系和在待匹配圖中的特征點(diǎn)關(guān)系是否相似.由于特征點(diǎn)在單視頻超分辨率重建的配準(zhǔn)過(guò)程中，鄰近幀間位移不大，因此，幾何上的位置關(guān)系也可以很好地表示他們之間的相似性.

因此，在改進(jìn)算法中，將采用平面坐標(biāo)系的歐氏距離來(lái)代替它們?cè)?28維特征描述子向量空間中的歐氏距離.

4.3 改進(jìn)配準(zhǔn)算法和標(biāo)準(zhǔn)SIFT配準(zhǔn)算法的流程對(duì)比

和標(biāo)準(zhǔn)SIFT配準(zhǔn)算法一樣，改進(jìn)的SIFT配準(zhǔn)算法也分為特征點(diǎn)提取，初始匹配，歧義誤匹配剔除和計(jì)算變換矩陣四個(gè)步驟.本文中，在計(jì)算變換矩陣這個(gè)步驟中，標(biāo)準(zhǔn)算法和改進(jìn)算法都采用了最小二乘法，兩個(gè)算法的區(qū)別主要體現(xiàn)在特征點(diǎn)提取，初始匹配和歧義誤匹配剔除上.現(xiàn)用表1詳細(xì)對(duì)比兩種算法的不同.

表1 改進(jìn)快速配準(zhǔn)算法和標(biāo)準(zhǔn)SIFT配準(zhǔn)算法的步驟對(duì)比

4.4 改進(jìn)SIFT的快速配準(zhǔn)算法驗(yàn)證實(shí)驗(yàn)

抽取一段真實(shí)彩色視頻中的第59幀和第81幀圖像，為了更好地驗(yàn)證所提出改進(jìn)算法的性能，將第81幀圖像又進(jìn)行了一定程度的水平平移與垂直平移，如圖2中的(a)和(b)所示.接著分別采用標(biāo)準(zhǔn)SIFT特征匹配算法與本文中改進(jìn)的快速配準(zhǔn)方法進(jìn)行配準(zhǔn)；最后分別將兩種方法配準(zhǔn)后的灰度圖與目標(biāo)灰度圖相減，若配準(zhǔn)前后兩幅圖像完全重合，則相減后的圖像像素值應(yīng)該全部為0，以此來(lái)判斷配準(zhǔn)的準(zhǔn)確程度.

(a)左圖(原圖) (b)右圖(目標(biāo)圖) (c)快速配準(zhǔn)結(jié)果 (d)改進(jìn)快速配準(zhǔn)和目標(biāo)圖的差值

(e)標(biāo)準(zhǔn)SIFT配準(zhǔn)的結(jié)果 (f)標(biāo)準(zhǔn)SIFT配準(zhǔn)和目標(biāo)圖的差值 (g)未剔除歧義及誤匹配點(diǎn)對(duì)的配準(zhǔn)結(jié)果 (h)與目標(biāo)灰度圖的差值

通過(guò)圖2實(shí)驗(yàn)結(jié)果可以看到，經(jīng)改進(jìn)后的快速配準(zhǔn)算法得到的配準(zhǔn)結(jié)果比較理想，雖然耗時(shí)大大減少，但是配準(zhǔn)質(zhì)量沒(méi)有下降.證明改進(jìn)SIFT的快速配準(zhǔn)算法是切實(shí)可行的.

從表2可以看出，改進(jìn)的算法在初始匹配和歧義誤匹配剔除方面差距不大，但是在時(shí)間消耗上有明顯差別.改進(jìn)后的算法由于不用對(duì)每個(gè)特征點(diǎn)計(jì)算128維特征描述子向量，因此時(shí)間開(kāi)銷(xiāo)只有標(biāo)準(zhǔn)SIFT配準(zhǔn)算法的1/3左右.

表2 改進(jìn)快速配準(zhǔn)算法和標(biāo)準(zhǔn)SIFT配準(zhǔn)算法性能比較

5 結(jié)束語(yǔ)

本文提出了一種基于SIFT的改進(jìn)快速運(yùn)動(dòng)配準(zhǔn)算法，根據(jù)單視頻配準(zhǔn)的特點(diǎn)，拋棄了對(duì)128維特征描述子的計(jì)算，而采用灰度相關(guān)系數(shù)和平面坐標(biāo)系的歐氏距離來(lái)進(jìn)行初始匹配和歧義誤匹配剔除，這樣可以大大降低計(jì)算時(shí)間的開(kāi)銷(xiāo).通過(guò)實(shí)驗(yàn)證明，本文提出的新方法是可行的，且完全達(dá)到了預(yù)期的效果.總之，提高算法的自動(dòng)化程度、對(duì)噪聲的魯棒性和運(yùn)算速度是圖像配準(zhǔn)技術(shù)的發(fā)展方向.

[1]Elad M,Feure A.Super-resolution reconstruction of image sequences[J].IEEE Trans Pattern Analysis and Machine Intelligence,1999,21(9):817-834.

[2]馬金福，薛弘曄.基于Fourier-Mellin變換的圖像配準(zhǔn)算法與性能研究[J].計(jì)算機(jī)與數(shù)學(xué)工程，2008,36(11):134-136.

[3]許錄平，姚靜.一種圖像快速超分辨率復(fù)原方法[J].西安電子科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2007,6(3):382-385.

[4]朱利成，姚明海.基于sift算法的目標(biāo)匹配和識(shí)別[J].機(jī)電工程,2009,12(12):73-81.

[5]鄧傳斌, 郭雷, 李維.基于sift的遙感圖像配準(zhǔn)方法[J].傳感技術(shù)學(xué)報(bào),2009,12(12):1 742-1 747.

[6]Tom B C,Barnard A K,Galasanoos N P.Reconstruction of a high resolution image from registration and low resolution images[C]//Proceedings of the IEEE International Conference on Image processing,TX,1994,553-557.

[7]方壯.一種基于SUSAN算子和相位相關(guān)實(shí)現(xiàn)圖像配準(zhǔn)的算法[J].湖北民族學(xué)院學(xué)報(bào):自然科學(xué)版， 2010,28(1):49-52.