不同空間分辨率圖像匹配

關(guān)澤群，劉曉青

(同濟大學(xué)測繪與地理信息學(xué)院，上海200092)

一、引 言

圖像匹配是多種圖像處理和應(yīng)用的基礎(chǔ)，匹配的效果對于后續(xù)的圖像處理具有關(guān)鍵性的影響。遙感圖像的多源化使得信息量豐富的同時，其圖像數(shù)據(jù)間的差異也對圖像匹配提出了挑戰(zhàn)。目前對于同一傳感器、不同時相的遙感圖像匹配技術(shù)已經(jīng)比較成熟，而對于不同尺度、多源遙感圖像之間的配準，則是目前研究的熱點和難點，長期以來一直未能很好地解決[1]。

Yves Dufournaud等研究了不同空間分辨率圖像的匹配問題，建立了高分辨率圖像的多尺度表達，在尺度空間中提取角點，將傳統(tǒng)的一對一配對變?yōu)橐粚Χ嗟钠ヅ鋄2]。Lowe在1999年首先提出了SIFT(scale invariant feature transform)，即尺度不變特征變換算法，引起了國內(nèi)外攝影測量與遙感界的廣泛關(guān)注，并在2004年對其進行了完善[3]。Yves Dufournaud和Lowe等利用尺度空間思想模擬出分辨率相近的圖像進行匹配，本文將超分辨重建技術(shù)引入圖像匹配中，擬通過超分辨率重建技術(shù)提高低分辨率圖像分辨率，從而縮小圖像間分辨率差異，提高圖像配準精度。

國內(nèi)外學(xué)者在超分辨率算法研究方面做了許多工作，致力于改善圖像超分辨率重建的效果，獲得更高分辨率的圖像，然而將超分辨率技術(shù)應(yīng)用到不同空間分辨率圖像匹配上的卻很少。唐斌兵等提出了一種利用先驗圖像的灰度分布作為約束的圖像超分辨率重建的新方法，利用最小鑒別信息構(gòu)造重建圖像與先驗圖像的約束，約束結(jié)果使得重建圖像與給定的先驗圖像具有最相似的灰度分布[4]。黃全亮等在基于特征圖像的配準過程中引入了超分辨技術(shù)，經(jīng)過仿真試驗比較，結(jié)果表明超分辨率后特征點的定位更準確[5]。本文采用文獻[4]的方法對利用高分辨率圖像作為先驗信息對圖像進行超分辨率重建，圖像特征提取及匹配基于文獻[2]及[6]。

二、超分辨率重建算法

1．圖像退化的數(shù)學(xué)模型

圖像的采集、傳輸和記錄等過程中，光學(xué)系統(tǒng)的像差、大氣的擾動、運動模糊、離散采樣以及系統(tǒng)噪聲等不良因素都會造成圖像細節(jié)模糊、分辨率下降。用矩陣-向量的方式來描述圖像的退化過程，低分辨率圖像的數(shù)學(xué)模型可表示為

式中，x表示高分辨率圖像;yk表示第k幀低分辨圖像;nk表示零均值加性高斯噪聲;Dk、Ck和Fk分別表示下采樣矩陣，模糊矩陣和幾何變換矩陣。令Hk=DkCkFk，則有

式中，Hk稱為退化矩陣。上式是常用的圖像重建模型。

超分辨率重建就是利用已有的觀測數(shù)據(jù)和其他相關(guān)信息，通過建立的數(shù)學(xué)模型獲取在一定準則下高分辨率圖像x的較好估計，它是成像退化過程的逆過程。

2．正則化超分辨率復(fù)原

由于圖像超分辨率重建問題是對一個病態(tài)問題求逆的過程，則在確定一個低分辨率圖像序列的條件下，必定存在一個圖像集合是滿足給定條件。對這一問題的解決的可行方法是依據(jù)先驗知識，對解空間進行約束，并使方程收斂于某個最優(yōu)解。

正則化方法主要是通過加入恰當?shù)募s束信息，即引入有關(guān)高分辨率圖像的先驗信息約束，一方面改進逆問題的不適定性，另一方面引入新的信息，改善圖像的分辨率。為獲得高分辨率圖像，就必須合理利用相關(guān)的先驗信息。一般來說，超分辨處理所能達到的效果，與所觀測數(shù)據(jù)的完全性和先驗信息等因素有關(guān)。先驗信息的開發(fā)與合理利用，是利用正則化方法提高圖像分辨率的關(guān)鍵問題之一。正則化方法構(gòu)造附加約束把不適定問題轉(zhuǎn)化為適定問題，通常需要求解如下表達形式的目標泛函的極小值[5]

式中，d(x)=‖y-Hx‖2為數(shù)據(jù)擬合項，保證原問題“相鄰近”問題的解在真解的鄰域內(nèi)連續(xù)地依賴于觀測數(shù)據(jù);p(x)為正則項，保證問題解的穩(wěn)定性;α為正則化參數(shù)，起權(quán)衡數(shù)據(jù)項和正則項的作用。正則化項對未知圖像x形成了一個約束，它根據(jù)圖像的先驗信息對解進行約束，通常是基于一階微分或二階微分的高通濾波器算子。這種思想體現(xiàn)出超分辨率重建問題的本質(zhì)就是在充分擬合觀測數(shù)據(jù)的前提下，使某種奇異性度量最小，從而尋找理想的解x。因而，如何選取約束算子是區(qū)分不同正則化方法的標志。正則化項的構(gòu)造，關(guān)鍵在于確定解的先驗信息的具體形式。正則化參數(shù)起著對解的折中作用，α越大，其重構(gòu)圖像灰度越接近先驗圖像灰度。因此，在α選取上，原則上認為先驗圖像越接近于原始高分辨率圖像，α取值越大。但是，由于實際應(yīng)用中高分辨率圖像f往往是不可獲得的，需要采取合理的方法計算α值。

約束算子的選擇是基于正則化超分辨率圖像重建算法的關(guān)鍵。人眼視覺認為空間灰度分布相似的兩幅圖像具有相同的清晰度，因此利用與原始圖像空間灰度分布相似的清晰圖像作為一種清晰特征，可以對圖像的盲重建結(jié)果進行約束[4]。

對于隨機變量X，概率密度函數(shù)q(x)未知，先驗概率密度函數(shù)為p(x)，對函數(shù)q(x)的估計應(yīng)滿足以下兩個條件

記k為先驗特征圖像;f為待求的超分辨率圖像，則有

以此作為正則化的約束項，即令 p(x)=I(f(x)，k(x))，代入式(3)中進行迭代求解。本文中以高分辨率圖像作為先驗特征圖像k，具體的求解方法可參考文獻[4]。

三、Canny邊緣檢測與邊緣特征點匹配

在不同空間分辨率下的圖像匹配，由于圖像間存在的尺度差異及輻射差異等，傳統(tǒng)的圖像匹配算法可能難以得到匹配結(jié)果。考慮到邊緣對于輻射差異及尺度差異具有一定的魯棒性，可以引入邊緣檢測算法對不同空間分辨率圖像進行匹配。Canny算子是應(yīng)用較為廣泛的邊緣檢測算子之一，具有較好的邊緣檢測效果。具體算法包括4個步驟：高斯濾波平滑、梯度計算、非極大值抑制、雙閾值檢測[7]。

在提取邊緣線后，為了提高后續(xù)的特征匹配效率和正確率，須去除較破碎的邊緣線。本文通過計算邊緣線的長度，設(shè)定邊緣線長度閾值，刪除小于閾值的邊緣線。

Canny算子提取到待匹配圖像的邊緣點后，采用特征點匹配的方式找出點間的對應(yīng)關(guān)系，本文采用成本函數(shù)法匹配邊緣點[6]，如圖1 所示[1]。

圖1 Canny邊緣點匹配

首先將待匹配圖像邊緣點坐標a(x2，y2)代入仿射變形公式，計算其在參考圖像上的預(yù)測位置A(x1，y1)，仿射變形公式中的參數(shù)由SIFT匹配結(jié)果計算得出。然后以預(yù)測位置為圓心，取半徑為5像素的圓形模板，將參考圖像中位于模板內(nèi)的邊緣點M(x，y)代入成本函數(shù)式(7)中[6]

式中，α、β分別為距離權(quán)重和方向權(quán)重;α取值為邊緣點M與預(yù)測位置最大距離的倒數(shù);β取值為邊緣點M與預(yù)測位置最大方向差的倒數(shù);d為邊緣點M與預(yù)測位置的距離，θ1、θ2分別為待匹配圖像邊緣點a與參考圖像邊緣點M的梯度方向。

計算出各邊緣點的C值，C最大的點為可能的匹配點Mp。按照上述步驟計算Mp點在待匹配圖像上的C值，若C值最大的點為a，則判定為匹配點。具體方法可以查閱文獻[6]。

最后對匹配點對進行去誤匹配操作，得到最終的匹配結(jié)果，本文采用最小二乘法計算x，y方向偏差值，去除偏差大于1的點。

四、試驗及結(jié)果分析

1．試驗設(shè)計

試驗圖像數(shù)據(jù)為Landsat ETM+同一區(qū)域第8波段圖像與第6波段圖像，標示分辨率分別為15m、60m，圖像大小分別為 400 dpi×400 dpi、100 dpi×100 dpi，如圖2所示，試驗采用的平臺為Matlab。

圖2 試驗原始圖片

試驗流程圖如圖3所示。

圖3 試驗流程圖

2．超分辨率重建

首先，對Band 6圖像進行超分辨率插值，采用的方法為雙三次卷積法，得到大小為400 dpi×400 dpi的圖像。

接著，采用文獻[4]提出的最小鑒別信息約束方法對插值后圖像進行超分辨率復(fù)原。本試驗中降質(zhì)點擴散函數(shù)為高斯函數(shù)，窗口大小為8 dpi×8 dpi，σ =2，正則化參數(shù) α =0．9，超分辨率重建結(jié)果如圖4所示。

圖4 正則化超分辨率重建后ETM+6

3．圖像匹配

本文采用SIFT算法計算Canny邊緣特征點匹配算法需要的初始匹配參數(shù)，若圖像間差異過大，則需要人工選取至少3對同名點進行粗匹配來獲得初始匹配參數(shù);采用仿射模型作為兩幅圖像的幾何變換模型

由匹配點對按照仿射變換模型計算幾何變換參數(shù)，由于缺乏理論值作參照，本文采用均方根誤差(RMSE)衡量匹配的總體精度

1)ETM+Band8和ETM+Band6的匹配結(jié)果如圖5所示，得到匹配點對29對，根據(jù)匹配點對求得的幾何變換參數(shù)及RMSE如表1。

圖5 ETM+Band8與ETM+Band6匹配結(jié)果

2)ETM+Band8和插值后ETM+Band6的匹配結(jié)果如圖6所示，得到匹配點對340對，根據(jù)匹配點對求得的幾何變換參數(shù)及RMSE如表2。

表1 幾何變換參數(shù)及RM SE

圖6 ETM+Band8與插值后ETM+Band6匹配結(jié)果

表2 幾何變換參數(shù)及RMS E

3)ETM+Band8和基于正則化超分辨率重建后ETM+Band6的匹配結(jié)果如圖7所示，得到匹配點對422對，根據(jù)匹配點對求得的幾何變換參數(shù)及RMSE如表3。

圖7 ETM+Band8與正則化超分后ETM+Band6匹配結(jié)果

表3 幾何變換參數(shù)及RMSE

4．結(jié)果分析

如匹配結(jié)果圖所示，正則化超分辨率重建后圖像匹配點對相對于原始圖像數(shù)目增加，同時分布區(qū)域更加均勻，RMSE減小，說明正則化超分辨率重建后的配準誤差減小。超分辨率重建恢復(fù)了圖像遺失的部分信息，使得圖像細節(jié)信息更加豐富，能夠提取更多的特征;正則化修正圖像插值后的錯誤信息，使得提取的特征較為正確。本文提取圖像的Canny邊緣點進行圖像匹配，有利于充分發(fā)揮圖像超分辨率重建的作用，結(jié)果顯示經(jīng)過正則化超分辨率重建后圖像匹配效果及配準精度得到改善。

Canny邊緣特征點匹配能夠得到較多的匹配點，但也存在誤匹配現(xiàn)象，通過最小二乘法去除偏差較大的點最終可以獲得較小的配準誤差。對于具有明顯邊緣的圖像來說能夠取得較多的匹配點，具有很好的配準效果。

五、結(jié)束語

多源遙感圖像匹配是近年來研究的熱點和難點。通過超分辨率重建技術(shù)可以提高圖像的空間分辨率，從而縮小圖像間的分辨率差異。本文利用高分辨率圖像灰度分布信息對低分辨率圖像進行超分辨率重建，該方法較適用于灰度分布相差不大的圖像間匹配。超分辨率重建結(jié)果與重建過程中選取的參數(shù)值關(guān)系密切，且圖像質(zhì)量提高的程度有限，超分辨率算法的選擇及其在圖像匹配中的應(yīng)用有待進一步探索。高低分辨率圖像間的相似性為低分辨率圖像的超分辨率重建提供了相應(yīng)的先驗信息，如何選取合適的超分辨率重建算法，進一步提高圖像的品質(zhì)，同時使其能夠更好地應(yīng)用于圖像匹配，這是今后值得研究的問題。

[1]王萬同，韓志剛，劉鵬飛．基于SIFT點特征和Canny邊緣特征匹配的多源遙感影像配準研究[J]．計算機科學(xué)，2011，38(7)：287-289．

[2]DUFOUMAUD Y ，SCHMID C，HORAUD R．Matching Imageswith Scale Adjustment[J]．Computer Vision and Image Understanding，2004，93：175-194．

[3]LOWE D G．Distinctive image features from scale-invariant key points[J]．International Journal of Computer Vision，2004，60(2)：91-110．

[4]唐斌兵，王正明．基于先驗約束的圖像超分辨率重建[J]．紅外與毫米波學(xué)報，2008，27(5)：289-392．

[5]黃全亮，孫坤，劉水清．超分辨率技術(shù)對基于特征圖像配準算法的影響[EB/OL]．[2011-01-26]．http：∥www．paper．edu．cn．

[6]HONG T D，SCHOWENGERDT R A，A Robust Technique for Precise Registration of Radar and Optical Satellite Image[J]．Photogrammetric Engineering ＆ Remote Sensing，2005，71(5)：585-593．

[7]靳艷紅，蒙建軍．一種基于Canny算子改進的邊緣檢測算法[J]．2011，30(2)：27-30．