基于改進SURF算子的高低分辨率圖像配準方法

曾朝陽，程相正，陳 杭，宋一鑠，竇曉杰，黃 超

（1.裝備學院光電裝備系，北京101416；2.裝備學院研究生院，北京101416）

基于改進SURF算子的高低分辨率圖像配準方法

曾朝陽1，程相正2，陳 杭2，宋一鑠2，竇曉杰2，黃 超2

（1.裝備學院光電裝備系，北京101416；2.裝備學院研究生院，北京101416）

針對激光三維成像傳感器與可見光傳感器圖像分辨率差異較大，配準過程中特征點誤匹配情況嚴重的問題，提出了一種基于改進SURF算子的高低分辨率圖像配準方法。首先，采用雙線性插值算法對低分辨率圖像進行預處理，然后在經(jīng)典SURF算子的基礎(chǔ)上，采用最近鄰向量匹配法完成SURF特征的粗匹配，并基于特征偏移一致性原則對匹配情況做進一步優(yōu)化，最后結(jié)合RANSAC和最小二乘法求出圖像之間的仿射關(guān)系，利用所求的變換參數(shù)插值得到配準后的圖像。實驗結(jié)果表明，該配準方法在保持配準速度的同時，結(jié)構(gòu)相似性測量指數(shù)提高了約11%，進一步提高了配準的精度。

圖像處理；高低分辨率配準；SURF；特征偏移一致性

1 引 言

三維重建、場景分析是機器視覺領(lǐng)域中一項關(guān)鍵性技術(shù)，在視覺導航、探測、識別等方面有著重要的應(yīng)用。無掃描激光三維成像傳感器可以實時地獲取灰度圖像的每個像素的距離值，對于三維重建、場景分析具有重要的意義。但是無掃描激光三維成像傳感器分辨率很低，如PMD（Photonic Mixer Device）傳感器的分辨率僅為204×204［1］和160×120［2］，APD（Avalanche Photo Diode）陣列激光三維成像傳感器的分辨率為128×128。國外許多學者利用無掃描激光三維成像傳感器提供的距離信息和高分辨率可見光傳感器提供的灰度信息實現(xiàn)了場景三維重構(gòu)［3－5］。由于涉及無掃描激光三維成像傳感器和可見光傳感器，需要完成低分辨率圖像和高分辨率圖像的配準，才能實現(xiàn)圖像融合進而實現(xiàn)場景的三維重構(gòu)。

圖像配準是指依據(jù)一些相似性度量準則決定圖像間的變換參數(shù)，使從不同傳感器、不同視角、不同時間、不同光照條件下獲取的同一場景的兩幅或者多幅圖像，變換到同一坐標系下，在像素層上得到最佳匹配的過程［6］。圖像配準技術(shù)是計算機視覺領(lǐng)域中的一項基礎(chǔ)性、關(guān)鍵性技術(shù)，在圖像拼接、三維重構(gòu)、位姿解算等方面有著廣泛的應(yīng)用。配準的精度和速度直接影響圖像融合、拼接、三維重構(gòu)的效果。基于圖像特征的配準方法使用場景限定條件較少，在合理選取圖像的不變特征集后，可以有效地應(yīng)對圖像的旋轉(zhuǎn)、平移、尺度變化以及較大的圖像內(nèi)容變化［7］，成為研究的熱點。文獻［8］針對低分辨率圖像特征點不明顯，無法完成圖像配準的問題，提出了一種多尺度高能量偏移點特征配準算法，實現(xiàn)了低分辨率圖像之間的配準。但該算法計算量大，實時性不強。針對無掃描激光三維成像傳感器分辨率比較低，特征點不明顯，同時與可見光圖像分辨率差異比較大，特征點誤匹配嚴重的問題，提出了一種基于改進SURF算法的高低分辨率圖像配準方法。首先利用雙線性插值算法對低分辨率灰度圖像進行插值，接下來基于SURF算子對高低分辨率圖像分別進行特征檢測，利用最近鄰向量匹配法實現(xiàn)特征點的粗匹配，然后再根據(jù)特征偏移一致性原則和隨機抽樣一致性原則實現(xiàn)特征點的精確匹配，最后經(jīng)仿射變換實現(xiàn)高低分辨率圖像的配準。

2 算法原理

2.1 雙線性插值算法

由于無掃描激光三維成像傳感器所成強度圖像與高分辨率可見光圖像相差10倍左右，直接進行配準無法達到理想的效果，需要首先對低分辨率圖像進行插值，使得低分辨率圖像和高分辨率圖像具有相同的尺寸。雙線性插值法［9］，又稱為雙線性內(nèi)插，其核心思想是在兩個方向分別進行一次線性插值，實現(xiàn)分辨率和圖像尺寸的增大。雙線性插值和最近鄰點插值法相比，可以產(chǎn)生一個能保持連續(xù)性和連通性的光滑映射，不會出現(xiàn)像素不連續(xù)的現(xiàn)象；與雙立方插值算法相比，計算量小，速度快。因此，選擇雙線性插值算法來實現(xiàn)低分辨率圖像的升采樣。

2.2 SURF特征點檢測

SURF算法的計算速度快，對圖像的旋轉(zhuǎn)、尺度伸縮、光照、視角等變化保持不變性，尤其對圖像嚴重的模糊和旋轉(zhuǎn)處理得非常好［10］，因此基于SURF算法來分別提取分辨率差異非常大的兩幅圖像的特征點。Hessian矩陣［11］具有良好的計算速度和精度，通過計算每一像素點的行列式從而得到極值。圖像I（x，y）中的一像素點x′＝（x，y）在尺度σ上的Hessian矩陣定義為：

其中，Lxx（x，σ）是高斯濾波二階導數(shù)與圖像I的卷積，Lxy（x，σ），Lyy（x，σ）的含義類似［12］。由于積分圖像可以加速卷積計算，高斯濾波器需要離散化，因此Bay等人［13］提出用方框濾波（Box Filter）近似代替二階高斯濾波，用積分圖像來加速卷積以提高計算速度［14］。9×9方框濾波模板如圖1所示，圖中灰色部分模板值為0，黑色部分值為－2，白色模板部分值為1。

圖1 9×9方框濾波模板

不同方向不同尺寸方框濾波與圖像的卷積分別記為Dxx，Dyy，Dxy，進一步求得近似Hessian矩陣的行列式：

式中，w是為了補償在計算Hessian矩陣時采用近似的高斯二次偏導函數(shù)而不是實際的高斯卷積核而引入的一個參數(shù)，一般取為0.9［15］。

為了具有尺度不變性，需要建立尺度空間，在不同的尺度上尋找特征點。與經(jīng)典的SIFT算法不同，SURF算法保持圖像大小不變，改變方框濾波器尺寸大小，從而得到不同尺度的圖像。SURF金字塔尺度空間如圖2所示。在每一階（Octave）中，選擇四層尺度圖像。若方框濾波器尺寸大小為N×N，則對應(yīng)的尺度為

圖2 SURF金字塔尺度空間示意圖

用近似Hessian矩陣求出行列式后，需要在3× 3×3的立體空間進行非極大值抑制。只有比本尺度周圍8個、上下尺度周圍各9個共26個鄰域值都大或者都小，才能作為候選特征點。由于無掃描激光三維成像傳感器分辨率低，需要進行亞像素定位，以得到穩(wěn)定的特征點的準確位置和尺度。利用H（x）函數(shù)在尺度空間的Taylor展開式進行插值，插值所使用的二次擬合函數(shù)為：

對上式求導并置0，得極值點為：

將極值點代入方程（3）得：

將H（x′）與給定閾值w作比較，小于閾值的點即為響應(yīng)較弱的不穩(wěn)定點，予以刪除。一般w取為0.03。

2.3 主方向確定和描述符生成

為保證特征點具有旋轉(zhuǎn)不變性，應(yīng)確定特征點的主方向。首先計算在以特征點為中心，6σ（σ為像素點所在尺度，下同）為半徑的圓形鄰域內(nèi)所有像素點在x，y方向的Haar小波（濾波器尺寸為4σ×4σ）響應(yīng)d x，d y，表征為向量（d x，d y）；然后以特征點為中心對這些響應(yīng)進行高斯加權(quán)，使得靠近特征點的響應(yīng)貢獻大，遠離特征點的響應(yīng)貢獻小；最后采用一個的扇形區(qū)域窗口進行滑動，計算窗口內(nèi)所有x，y方向的響應(yīng)和（∑d x，∑d y），取模值最長的向量的方向作為特征點的主方向。Haar小波響應(yīng)如圖3所示。

圖3 Haar小波響應(yīng)

描述符生成如圖4所示。首先，以特征點為中心，一邊與特征點主方向平行，建立邊長為20σ的正方形區(qū)域，同時將該區(qū)域平均劃分為4×4共16個子區(qū)域。賦以高斯加權(quán)系數(shù)，統(tǒng)計每一個子區(qū)域的像素點在x，y方向（相對于主方向）的Haar小波（濾波器尺寸為2σ×2σ）響應(yīng)之和以及絕對值之和：∑d x，∑dx，∑d y，∑dy。這樣，在每一個子區(qū)域形成一個4維向量V＝(∑d x，∑dx，∑d y，∑dy)，對每一個特征點形成一個4×（4×4）維的描述符，同時將向量歸一化，對光照更具有魯棒性。

圖4 描述符生成示意圖

2.4 改進的特征點匹配與高低圖像配準實現(xiàn)

由于無掃描激光三維成像傳感器所成圖像分辨率比較低，SURF特征點相對較少，而可見光成像傳感器分辨率較高，SURF特征點相對較多。為了避免出現(xiàn)“外點”，這里以可見光圖像為參考圖像，以無掃描激光三維成像傳感器的低分辨率圖像為待配準圖像。為了能夠從低分辨率圖像中盡量多的提取出特征點，SURF特征檢測時閾值設(shè)置比較低，這就需要用相似性度量準則篩選出候選特征點，同時利用優(yōu)化算法去除誤匹配點。這里采用基于歐式距離的最近鄰向量匹配法，對于低分辨率圖像中的特征點，利用K－D樹搜索法在參考圖像中找到與低分辨率圖像特征點歐式距離最近的前兩個特征點。設(shè)最近距離為d1，次近距離為d2，閾值為w。如果≤w，則該對特征點為候選特征點，否則予以剔除。一般情況下，閾值在［0.4，0.8］區(qū)間內(nèi)較為合理［16］。

SURF算法在圖像特征提取與匹配時，僅考慮了特征點處的局部信息而忽略了圖像的幾何信息，對于實現(xiàn)分辨率差異比較大的圖像配準，會存在著大量的特征點誤匹配。而特征點匹配的精度直接影響圖像間配準的準確性，因此有必要從粗匹配中進一步篩選出精匹配點。根據(jù)在參考圖像與待配準圖像中正確匹配特征點連線長度、方向大致相同的特點，這里以最近鄰向量匹配法所形成的候選匹配點集為樣本，利用特征點偏移一致性準則［17］剔除“離群”特征點對，進一步篩選出精匹配點。基本原理如下：

設(shè)（u1i，v1i），（u2i，v2i）為參考圖像與待配準圖像中的一對候選特征點，候選特征點對連接線矢量為（ui，vi），其中ui＝u1i－u2i，vi＝v1i－v2i。則得到連接矢量坐標均值為（u，v）：

對于連接線矢量（ui，vi），若滿足max｛｜ui－u｜，｜viv｜｝≥ω，則該候選匹配點對為誤匹配點對，予以剔除。其中ω為偏移閾值，根據(jù)實際情況選擇不同的值。

得到參考圖像與待配準圖像之間的特征點對以后，需要估算出兩幅圖像之間的仿射系數(shù)，進而對待配準圖像利用插值算法進行重采樣，實現(xiàn)圖像之間的配準。設(shè)(u1，v1，1)，(u2，v2，1)為特征點對的齊次坐標，根據(jù)仿射矩陣M可得：

理論上講，得到3對匹配點對即可計算出仿射矩陣M。

由于圖像高低分辨率差異比較大，雖然特征點經(jīng)過上述的粗匹配、精匹配，但仍然難免存在誤匹配，影響配準精度，因此還需要采用基于經(jīng)典隨機抽樣一致性（RANSAC）算法進行特征點對的進一步篩選。首先，從候選特征點對中隨機抽取3個特征點對建立方程組，求解出M的6個參數(shù)。計算特征點經(jīng)過M轉(zhuǎn)換后與候選特征點的距離。若距離小于設(shè)定閾值，則為內(nèi)點，否則為外點，予以剔除，同時統(tǒng)計內(nèi)點個數(shù)。接下來再次取3個特征點對，重復上述步驟，經(jīng)過若干次以后，選取包含內(nèi)點最多的一個點對集。最后，利用最小二乘法對該點對集求解仿射矩陣M，基于雙線性插值實現(xiàn)圖像間的配準。

3 實驗仿真及結(jié)果分析

3.1 實驗仿真

實驗中，仿真平臺硬件環(huán)境系統(tǒng)為：Intel（R）Core（TM）2 Duo CPU E7500，主頻為2.93GHz，內(nèi)存為2G；軟件開發(fā)環(huán)境為：Windows 7操作系統(tǒng)，Matlab（R2010a）。實驗所用待配準圖像為40×41像素的無掃描激光三維強度圖像，如圖5（a）所示，待配準圖像經(jīng)雙線性插值算法得到341×341的圖像如圖5（b）所示，參考圖像為341×341像素的可見光圖像，如圖5（c）。

圖5 實驗圖像

實驗仿真步驟為：

1）將低分辨率的待配準圖像經(jīng)過雙線性插值算法升采樣得到與參考圖像尺寸相同的圖像。

2）利用2.2節(jié)和2.3節(jié)中所述方法進行特征點檢測、確定主方向以及生成描述符，結(jié)果如圖6所示。可以看出，SURF算子對于低分辨率圖像，檢測出的特征點比較多（85個），檢測效果比較理想，為特征點的匹配打下了良好的基礎(chǔ)。

圖6 SURF特征檢測

3）基于歐式距離的最近鄰向量匹配法，運用K－D樹搜索算法得到候選的特征點粗匹配對（62對），如圖7所示。

圖7 最近鄰向量法特征點粗匹配

接下來利用特征偏移一致性原則進行候選特征點對的篩選，剔除“離群”的特征點對，實現(xiàn)特征點對的進一步優(yōu)化，特征點對（32對）匹配情況如圖8所示。

圖8 基于特征偏移一致性原則的特征點對優(yōu)化

4）利用經(jīng)典的隨機抽樣一致性原則，實現(xiàn)特征點對的精確匹配。采用最小二乘法計算仿射矩陣，基于雙線性插值算法得到最終的配準圖像，如圖9所示。

圖9 配準圖像

3.2 仿真實驗結(jié)果分析

為了驗證配準效果，我們引入了圖像間SSIM、匹配點對RMSE、配準時間三個指標，來評價所提算法的配準精度和配準速度。SSIM［18］（Structural Similarity Index Measurement）是指結(jié)構(gòu)相似性測量指數(shù)，衡量兩幅圖像相似性的指標，其值越大越好，最大為1。人類視覺很容易從圖像中抽取出結(jié)構(gòu)信息，結(jié)構(gòu)相似性測量指數(shù)從圖像組成的角度來定義結(jié)構(gòu)信息，用協(xié)方差作為兩幅圖像結(jié)構(gòu)相似程度的測量。實驗中，我們計算了配準圖像與融合后圖像之間的SSIM。匹配點對RMSE［19］是指匹配點對均方根誤差（Root Mean Square Error），定量評價圖像的配準精度。公式如下：

式中，（pi，qi）是一對匹配點；N是匹配點對數(shù)量；M是仿射矩陣；f（·）是仿射函數(shù)。實驗中，我們計算了最終確定仿射矩陣所用的匹配點對之間的RMSE。

基于改進的配準算法，對配準圖像與參考圖像進行了融合。為了對比配準效果，基于經(jīng)典的SURF算法，進行了一組相同的實驗。兩種配準算法的融合效果如圖10所示，評價指標數(shù)據(jù)如表1所示。

圖10 兩種不同算法的融合效果圖

表1 評價指標比較

定性、定量的比較兩種配準算法，從圖11可以直觀的看出，基于經(jīng)典SURF算法的融合圖像有明顯的模糊現(xiàn)象，而基于改進SURF算法的融合圖像比較清晰，顯然配準更加準確。從表1可以看出，改進算法所需配準時間略微增加（需要利用特征偏移一致性原則進一步剔除誤匹配點），但匹配點對均方根誤差RMSE從6.830降為2.295，配準圖像與融合圖像的結(jié)構(gòu)相似度測量指數(shù)從0.8887提高到0.9970，提高了約11%。

4 結(jié)束語

針對不同成像傳感器圖像分辨率差異較大，配準過程中特征點誤匹配情況嚴重的情況，提出了一種基于改進的SURF算子的高低分辨率圖像配準方法。該方法在經(jīng)典SURF算子的基礎(chǔ)上，采用特征偏移一致性原則對匹配點對進一步優(yōu)化，有效提高了圖像的配準精度。通過實驗仿真，證明了該算法的有效性，為后續(xù)的無掃描激光三維圖像與可見光圖像的融合提供了技術(shù)支持。

［1］ Zhang Xudong，Shen Yuliang，Hu Liangmei，et al.Improved super-resolution reconstruction algorithm for PMD range image［J］.Journal of Image and Graphic，2012，17（4）：480－486.（in Chinese）張旭東，沈玉亮，胡良梅，等.改進的PMD距離圖像超分辨率重建算法［J］.中國圖象圖形學報，2012，17（4）：480－486.

［2］ K D Kuhnert，M Stommel.Fusion of stereo-camera and pmd-camera data for real-time suited precise 3d environment reconstruction［C］／／Proceedings of the International Conference on Intelligent Robots and System，2006：4780－4785.

［3］ Uwe H，Marc A.Combing time-of-flight depth and stereoimages without accurate extrinsic calibration［J］.International Journal of Intelligent Systems Technologies and Applications，2008，5（3－4）：325－333.

［4］ Prasad T A，Hartmann K，Weihs W，et al.First steps in enhancing 3D vision technoque using 2D／3D sensors［C］／／Proceedings of the 11th Computer Vision Winter Vision.Prague：Citeseert，2006：82－86.

［5］ Huhle B，F(xiàn)leck S，Schilling A.Integrating 3D time-offlight camera data and high resolution images for 3DTV applications［C］／／Proceedings of IEEE 3DTV-Conference.Kos Island：IEEE Press，2007：1－4.

［6］ Liu Xue，Yao Hongli，Jin shilong.Colored image registration technique based on extended SURF［J］.Application Research of Computers，2011，28，（3）：1191－1194.（in Chinese）劉學，姚洪利，金世龍.基于擴展的SURF描述符的彩色圖像配準技術(shù)［J］.計算機應(yīng)用研究，2011，28，（3）：1191－1194.

［7］ Li Xiaochang，Zhu dan.Image registration method based on region selection and scale-invariant feature［J］.Infrared and Laser Engineering，2012，41（2）：537－542.（in Chinese）李小昌，朱丹.采用尺度不變特征和區(qū)域選擇的圖像配準方法［J］.紅外與激光工程，2012，41（2）：537－542.

［8］ Zhou yuchuan，Liu benyong.Registration of low resolution images using high energy offset point feature［J］.Journal of Guizhou University：Natural Science，2012，29（6）：91－94.（in Chinese）周鈺川，劉本永.基于高能量偏移點特征的低分辨率圖像配準算法［J］.貴州大學學報：自然科學版，2012，29（6）：91－94.

［9］ Cheng xiangzheng，Zeng Zhaoyang，Chen hang，et al.Calibration method of low-resolution sensor based on bilinear interpolation strategy［J］.Laser＆Optoelectronics Process，2013，50（7）：071501－1－071501－7.（in Chinese）程相正，曾朝陽，陳杭，等.基于雙線性插值算法的低分辨率傳感器標定方法［J］.激光與光電子學進展，2013，50（7）：071501－1－071501－7.

［10］Yuan Jinsha，Zhao Zhenbing，Gao qiang，et al.Review and prospect on infrared／visible image registration［J］.Laser＆Infrared，2009，39（7）：693－670.（in Chinese）苑津莎，趙振兵，高強，等.紅外與可見光圖像配準研究現(xiàn)狀與展望［J］.激光與紅外，2009，39（7）：693－670.

［11］Viola P，Jones M.Rapid object detection using a boosted cascade of simple feature［C］／／CVPR（1），2001： 511－518.

［12］Qiao yongjun，Xie xiaofang，Li dongde，et al.Research on the speed-up method of SURF feature matching by blocking［J］.Laser＆Infrared，2011，41（6）：691－696.（in Chinese）喬勇軍，謝曉方，李德棟，等.SURF特征匹配中的分塊加速方法研究［J］.激光與紅外，2011，41（6）：691－696.

［13］Bay H，Tuvtellars T，GOOL L Van.SURF：speeded up robust features［C］／／Proceedings of the European Confe rence on Computer Vision，2006：404－417.

［14］Zhang ruijuan，Zhang jianqi，Yang cui.Image registration approach based on SURF［J］.Infrared and Laser Engineering，2009，38（1）：160－165.（in Chinese）張瑞娟，張建奇，楊翠.基于SURF的圖像配準方法研究［J］.紅外與激光工程，2009，38（1）：160－165.

［15］Fan Youchen，Li yingchun，Du lin.Mini-displacement measurement based on SURF algorithm［J］.Laser＆Infrared，2012，42（6）：699－704.（in Chinese）范有臣，李迎春，都琳.基于SURF算法的微小位移測量［J］.激光與紅外，2012，42（6）：699－704.

［16］Zhang jiao，Li juanshan，Zhu yinghong，et al.Matching method of IR／Visual images based on SIFT and shape context［J］.Laser＆Infrared，2012，42（11）：1296－1300.（in Chinese）張姣，李俊山，朱英宏，等.SIFT與形狀上下文結(jié)合的異源圖像匹配算法［J］.激光與紅外，2012，42（11）：1296－1300.

［17］Wu hanshu，Yu xuchu，Zhang penhqiang，et al.Research on the infrared image sequence fast registration based on improved SURF algorithm［J］.Laser＆Infrared，2012，35（1）：161－163.（in Chinese）吳翰書，余旭初，張鵬強，等.基于SUR F改進算法的紅外序列影像快速［J］.測繪與空間地理信息，2012，35（1）：161－163.

［18］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to strural similarity［J］. Transaction on Image Processing，2004，13（4）：600－612.

［19］Ding nannan，Liu yanying，Zhang ye，et al.Fast image registration based on SURF-DAISY algorithm and randomized kd trees［J］.Journal of Optoelectronics·Laser，2012，23（7）：1395－1403.（in Chinese）丁南南，劉艷瀅，張葉，等.基于SURF-DAISY算法和隨機kd樹的快速圖像配準［J］.光電子·激光，2012，23（7）：1395－1403.

Registration method of high-low resolution images based on improved SURF

ZENG Zhao-yang1，CHENG Xiang-zheng2，CHEN Hang2，SONG Yi-shuo2，DOU Xiao-jie2，HUANG Chao2
（1.Department of Optical and Electrical Equipment，the Academy of Equipment，Beijing 101416，China；2.Company of Postgraduate Management，the Academy of Equipment，Beijing 101416，China）

Due to the large resolution difference between the three-dimensional laser imaging sensor and visible imaging sensor，mismatching feature points are numerous.In order to solve this problem，a registrationmethod of high-low resolution images based on improved SURF is proposed.Firstly，low-resolution image is processed through bilinear interpolation.Subsequently，SURF feature′s coarsematching is completed by using the nearest neighbor vector based on the classical SURF.Thematching is further optimized according to feature shift coherence rule.Finally，affine relationship between the images is obtained by using SANSAC and least squaremethod.The registration image is obtained by interpolation based on affine transform parameters.The experiment shows that the proposed registration method can keep the registration speed，structural similaritymeasure index is increased by about11%，andmeanwhile the accuracy of registration is further improved.

image process；high-low resolution images registration；SURF；feature shift coherence

TP391.41

A

10.3969／j.issn.1001-5078.2014.02.0

1001-5078（2014）02-0207-06

國家高技術(shù)研究發(fā)展計劃資助項目。

曾朝陽（1971－），男，副教授，主要從事光學測量，激光雷達及光電檢測等方面的研究。E-mail：cyzeng＠139.com

2013-06-21

文章編號：1001-5078（2014）02-0213-04