基于局部輪廓曲線的圖像配準(zhǔn)方法

婁聯(lián)堂，姚松

（中南民族大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)學(xué)院，武漢 430074）

圖像配準(zhǔn)是計(jì)算機(jī)視覺(jué)和圖像處理應(yīng)用中的一項(xiàng)基本任務(wù).待配準(zhǔn)的圖像可以是在不同時(shí)間、從不同的視點(diǎn)、由不同類型的傳感器捕獲得到的.基于特征的圖像配準(zhǔn)目的旨在找到同一場(chǎng)景的參考圖像f(x，y)與待配準(zhǔn)圖像f^(x^，y^)對(duì)應(yīng)特征點(diǎn)的坐標(biāo)變換［1］：

其中(x，y)T、(x^，y^)T分別表示參考圖像、待配準(zhǔn)圖像的坐標(biāo)，(b1，b2)T表示位移參數(shù)，A可以分解為：

其中θ1、θ2為旋轉(zhuǎn)角度，λ1、λ2為尺度參數(shù)（本文用^表示與參考圖像對(duì)應(yīng)的待配準(zhǔn)圖像或參數(shù)）

本文利用圖像中的局部輪廓特征研究圖像配準(zhǔn)問(wèn)題，主要在最小作用曲面提取圖像中的曲線特征的基礎(chǔ)上，優(yōu)化特征匹配與配準(zhǔn)參數(shù)求解過(guò)程.具體地，在特征匹配階段，對(duì)曲線的特征向量進(jìn)行傅里葉變換以便使用輪盤匹配方法實(shí)現(xiàn)兩幅圖像中從角點(diǎn)出發(fā)的局部輪廓曲線的配準(zhǔn)；在配準(zhǔn)參數(shù)的求解過(guò)程中，從局部出發(fā)求解配準(zhǔn)參數(shù)，然后根據(jù)局部參數(shù)的直方圖確定全局坐標(biāo)變換.

1 局部曲線及特征提取

給定圖像f(x，y)，本文利用圖像的最小作用曲面來(lái)提取圖像中某點(diǎn)的局部曲線.對(duì)給定的起始點(diǎn)p0，最小作用曲面Up0(p)定義為點(diǎn)p0到p的路徑積分的最小值［2］，即：

其中Ω∈Ap0，p，Ap0，p為p0到p的所有路徑的集合，H是勢(shì)函數(shù)，C(s)=(x(s)，y(s))代表二維圖像f(x，y)上的曲線，s是曲線的弧長(zhǎng)參數(shù)，ε為正則項(xiàng).本文取勢(shì)函數(shù)表示圖像梯度幅值，δ為一個(gè)很小的正數(shù).

為取得圖像角點(diǎn)周圍的輪廓曲線，選取圖像的角點(diǎn)作為p0.由（3）式可知，滿足以上條件的最小作用曲面其輪廓特征所在位置能量值一般小于周圍非輪廓點(diǎn)的值，且距輪廓和p0位置越遠(yuǎn)的點(diǎn)其值越大.對(duì)于任一處于輪廓上的點(diǎn)p，使用快速行進(jìn)（Fast Marching）算法［3］可以計(jì)算最小作用曲面Up0(p)，由此可以提取p0到任意一點(diǎn)p的輪廓曲線.

本文利用輪廓曲線來(lái)實(shí)現(xiàn)圖像的配準(zhǔn)，提取的曲線必須滿足仿射不變性，為此，使用如下方法提取起始點(diǎn)為p0的輪廓曲線并進(jìn)行排序：

（1）選擇圖像的角點(diǎn)為p0點(diǎn)；

（2）在圖像中獲取以p0為圓心，半徑為r1和r2（r1＜r2）的圓環(huán)區(qū)域內(nèi)的全部角點(diǎn)；

（3）使用快速行進(jìn)算法提取p0到以上角點(diǎn)的最小作用路徑，此路徑即為起始點(diǎn)為p0的局部輪廓曲線；

（4）將起始點(diǎn)為p0的輪廓曲線按快速行進(jìn)算法生成的順序排序，即先生成的在前.

為了匹配兩幅圖像中角點(diǎn)的局部輪廓曲線，需要提取輪廓曲線的特征.XU［4］等使用曲線變形能量函數(shù)來(lái)描述曲線特征；XU［5］等提出曲線HAED特征描述符；WANG［6］等提出曲線MLSD特征描述符.前兩者都是利用曲線的曲率進(jìn)行特征描述，針對(duì)本文提取的局部輪廓曲線較短、變形信息少的特點(diǎn)，使用WANG等提出的MLSD特征描述符.

對(duì)曲線進(jìn)行特征描述，首先要構(gòu)造特征描述支撐區(qū)域，如圖1所示［6］，對(duì)于圖像上曲線C的像素點(diǎn)p，作一個(gè)以p為中心并與點(diǎn)p梯度方向d⊥和梯度逆時(shí)針正交方向dC對(duì)齊的矩形為支撐區(qū)域G1.將單個(gè)支撐區(qū)域G1劃分為沿d⊥方向的非重疊子區(qū)域G11、G12、G13，然后將同一支撐區(qū)域內(nèi)的像素梯度與d⊥、dC方向?qū)R，為其分配權(quán)重后按對(duì)齊的方向分別累加給該像素鄰近的兩個(gè)非重疊子區(qū)域構(gòu)造單個(gè)支撐區(qū)域的特征向量.當(dāng)曲線由w個(gè)像素構(gòu)成時(shí)，曲線上所有支撐區(qū)域G1，…，Gw特征向量的均值和標(biāo)準(zhǔn)差組合即為MLSD特征描述符.

圖1 曲線上點(diǎn)的子區(qū)域劃分Fig.1 Subregion division of pointson acurve

2 基于輪盤的有序輪廓曲線的特征匹配

特征匹配方法是將參考圖像與待配準(zhǔn)圖像中的特征向量逐一進(jìn)行比較，將歐氏距離最近的一對(duì)特征向量視為匹配對(duì).由輪廓曲線的提取方法知，輪廓曲線除滿足仿射不變性外，同一角點(diǎn)的輪廓曲線是有序的.如果用一般的特征匹配方法來(lái)實(shí)現(xiàn)輪廓曲線的配準(zhǔn)，會(huì)存在匹配的曲線不滿足對(duì)應(yīng)的位置關(guān)系.為此，本文提出輪盤的方法實(shí)現(xiàn)有序輪廓曲線的特征匹配.輪盤方法同時(shí)考慮特征向量之間的距離以及向量所對(duì)應(yīng)曲線的位置關(guān)系進(jìn)行匹配，能夠減少位置不對(duì)應(yīng)的誤匹配.

其中q≥1是N0的加權(quán)系數(shù)，當(dāng)q越小，N0越接近2；當(dāng)q越大，N0越接近min(N，).本文取q=3.

為獲得兩幅圖像中角點(diǎn)與角點(diǎn)的局部輪廓曲線匹配關(guān)系，將參考圖像f(x，y)角點(diǎn)輪廓曲線的特征向量序列逐一與待配準(zhǔn)圖像f^(x^，y^)角點(diǎn)輪廓曲線的特征向量序列按（5）式進(jìn)行輪盤匹配.匹配誤差越大，這一對(duì)角點(diǎn)局部輪廓曲線匹配的可能性越小.故設(shè)定閾值T，將不滿足閾值要求的結(jié)果剔除，可得到匹配角點(diǎn)及對(duì)應(yīng)輪廓曲線集合，其中是按（5）式的順序進(jìn)行了輪盤匹配的輪廓曲線.

3 基于局部到整體的配準(zhǔn)參數(shù)求解

基于特征的圖像配準(zhǔn)方法中大多使用隨機(jī)一致性（RANSAC）算法［7］，依賴全局匹配點(diǎn)求解配準(zhǔn)參數(shù)，該算法在處理有較多異常值的數(shù)據(jù)時(shí)，收斂速度慢或無(wú)法找到收斂點(diǎn)［8］.為解決全局收斂性不好的問(wèn)題，本文在配準(zhǔn)參數(shù)求解時(shí)，首先依賴局部特征匹配結(jié)果點(diǎn)對(duì)和曲線集合的對(duì)應(yīng)關(guān)系求解局部配準(zhǔn)參數(shù)，然后根據(jù)局部參數(shù)的統(tǒng)計(jì)分布，獲取全局配準(zhǔn)參數(shù).

A的最小二乘解為：

當(dāng)N0＞2時(shí)，若存在pi、不滿足位置對(duì)應(yīng)關(guān)系，由此求出的配準(zhǔn)參數(shù)的配準(zhǔn)誤差較大，故使用文獻(xiàn)［9］的方法求解.設(shè){p1，p2，…，pN0}所對(duì)應(yīng)的擬合點(diǎn)為{p′1，p′2，…，p′N0}，其中：

{p′1，p′2，…，p′N0}與的殘差表示為：

具有較大殘差的擬合點(diǎn)很可能是接近正確匹配位置的點(diǎn)［9］，如圖2擬合點(diǎn)位置始終比初始匹配點(diǎn)靠近正確匹配點(diǎn).因此，可以找到殘差大于res閾值的點(diǎn)，然后，將中對(duì)應(yīng)的這些點(diǎn)替換為擬合點(diǎn)，替換后的點(diǎn)集為：

更新后的點(diǎn)集代入（8）式，依照（9）～（12）式的過(guò)程迭代求解，直到替換后的所有點(diǎn)殘差均小于res閾值，最后一次迭代的矩陣A即為(p，^)的局部配準(zhǔn)參數(shù)矩陣.由（2）式、（7）式得到(p，p^)的局部配準(zhǔn)參數(shù)θ1、θ2、λ1、λ2、b1、b2.圖2顯示了點(diǎn)pi的錯(cuò)誤匹配點(diǎn)在經(jīng)過(guò)迭代后，對(duì)應(yīng)的擬合點(diǎn)位置發(fā)生改變，最終與正確匹配點(diǎn)重合.

圖2 迭代前后匹配點(diǎn)位置Fig.2 Matchingpoint position beforeand after iteration

在獲取了局部配準(zhǔn)參數(shù)后，本文利用局部配準(zhǔn)參數(shù)θ1、θ2、λ1、λ2、b1、b2的統(tǒng)計(jì)分布來(lái)估計(jì)全局配準(zhǔn) 參 數(shù)，各 參 數(shù) 的 取 值 范 圍 為θ1、θ2∈[-π，π)，λ1、λ2∈(0，5)，b1、b2∈(-400，400).即作角點(diǎn)(p，p^)的局部配準(zhǔn)參數(shù)直方圖，其中直方圖峰值的對(duì)應(yīng)坐標(biāo)可作為全局配準(zhǔn)參數(shù)的估計(jì)值.

4 實(shí)驗(yàn)

4.1 算法流程

第1步：局部曲線及特征提取.

（1）計(jì)算圖像f(x，y)、f^(x^，y^)的Harris角點(diǎn)［10］；

（2）利用快速行進(jìn)算法計(jì)算以角點(diǎn)為圓心，半徑r1=31，r2=63的圓環(huán)區(qū)域內(nèi)全部角點(diǎn)的最小作用路徑，獲取局部輪廓曲線；

（3）使用MLSD描述符對(duì)曲線進(jìn)行特征描述.

第2步：特征匹配.

將參考圖像f(x，y)角點(diǎn)輪廓曲線的特征向量序列逐一與待配準(zhǔn)圖像f^(x^，y^)角點(diǎn)輪廓曲線的特征向量序列按（5）式進(jìn)行輪盤匹配.設(shè)定閾值T=2，對(duì)大于閾值的結(jié)果進(jìn)行剔除，得到匹配角點(diǎn)和對(duì)應(yīng)輪廓曲線集合

第3步：局部到整體配準(zhǔn)參數(shù)的求解.

（1）令res=1，取以及的另一端點(diǎn)代入（8）式進(jìn)行（9）～（12）式的迭代，求出每一組(p，p^)的局部配準(zhǔn)參數(shù)；

（2）統(tǒng)計(jì)局部配準(zhǔn)參數(shù)θ1、θ2、λ1、λ2、b1、b2的直方圖，每個(gè)直方圖的間距為Δθ1=Δθ2=0.0618、Δλ1=Δλ2=0.021、Δb1=Δb2=4，其中直方圖峰值的對(duì)應(yīng)坐標(biāo)可作為全局配準(zhǔn)參數(shù)的估計(jì)值.

4.2 性能評(píng)價(jià)

采用均方根誤差［11］（RMSE）來(lái)客觀評(píng)價(jià)本文算法的準(zhǔn)確性.均方根誤差是一種衡量預(yù)測(cè)值與真實(shí)值之間偏差的方法，其值越小，配準(zhǔn)方法越準(zhǔn)確，表達(dá)式如下：

為進(jìn)一步考察本文的配準(zhǔn)算法，實(shí)驗(yàn)中將與JIANG［9］的C2F算法以及NNDR-RANSAC算法進(jìn)行比較.本實(shí)驗(yàn)中選取兩種配準(zhǔn)算法共有的正確匹配點(diǎn)(xi，yi)比較均方根誤差.

4.3 實(shí)驗(yàn)結(jié)果及分析

圖3（a）為實(shí)驗(yàn)參考圖像與待配準(zhǔn)圖像.圖3（b）為圖3（a）中兩幅圖像以對(duì)應(yīng)角點(diǎn)為起始點(diǎn)提取的局部輪廓曲線.在固定半徑的圓環(huán)區(qū)域內(nèi)，分別提取了7條和10條局部輪廓曲線.圖3（c）為圖3（b）中曲線的特征向量序列輪盤匹配結(jié)果，兩幅圖像中共有4對(duì)曲線匹配（序號(hào)相同的即為匹配對(duì)）.不考慮局部路徑差異的情況下，正確匹配的曲線有3對(duì).其中b、d曲線存在局部路徑差異，但并未影響其匹配結(jié)果.

圖3 實(shí)驗(yàn)圖像、局部輪廓曲線提取和輪盤匹配結(jié)果Fig.3 Experimental images，local contour curvesextraction and roulettematchingresults

圖4為圖3（a）中兩幅圖像的局部配準(zhǔn)參數(shù)直方圖.圖中各參數(shù)的直方圖均存在明顯單峰值.圖5為另一對(duì)實(shí)驗(yàn)圖像及其局部配準(zhǔn)參數(shù)直方圖，圖中各參數(shù)的直方圖也均存在明顯單峰值.由直方圖得到的全局配準(zhǔn)參數(shù)見(jiàn)表1.表2為C2F算法、NNDR-RANSAC算法和本文配準(zhǔn)算法的均方根誤差對(duì)比，圖像3（a）中本文方法的RMSE值為2.1855，即實(shí)驗(yàn)匹配點(diǎn)與人工校準(zhǔn)的匹配點(diǎn)之間的坐標(biāo)誤差在2.1855個(gè)像素單位，C2F算法和NNDR-RANSAC算法的對(duì)應(yīng)值分別為3.2919、3.3545，在本組圖像中本文配準(zhǔn)方法準(zhǔn)確度更高.圖像5（a）（b）中3種方法的RMSE值分別為2.9693、1.9433和1.8114，其中NNDR-RANSAC算法與本文算法結(jié)果較為接近，C2F算法誤差較大，準(zhǔn)確性較低.

表1 全局配準(zhǔn)參數(shù)Tab.1 Global registration parameters

表2 圖像配準(zhǔn)RMSE結(jié)果比較Tab.2 Comparison of RMSEresultsof imageregistration

圖4 局部參數(shù)直方圖Fig.4 Histograms of local parameters

圖5 另一對(duì)實(shí)驗(yàn)圖像和局部參數(shù)直方圖Fig.5 Other experimental imagesand histograms of local parameters

進(jìn)一步分析，盡管提取到的輪廓曲線存在一些誤差，但對(duì)其特征向量的匹配結(jié)果影響不大，由本文提取的特征結(jié)合輪盤匹配方法能夠匹配多數(shù)對(duì)應(yīng)曲線.通過(guò)配準(zhǔn)后RMSE值的對(duì)比可知，本文配準(zhǔn)方法與C2F算法、NNDR-RANSAC算法相比更有優(yōu)勢(shì)，能夠得到更準(zhǔn)確的配準(zhǔn)參數(shù).

5 結(jié)論

本文利用圖像的局部輪廓曲線研究了圖像配準(zhǔn)問(wèn)題.對(duì)參考圖像與待配準(zhǔn)圖像從角點(diǎn)出發(fā)的局部輪廓曲線進(jìn)行匹配，找到兩幅圖像中局部輪廓曲線的對(duì)應(yīng)關(guān)系，然后由局部輪廓曲線的對(duì)應(yīng)關(guān)系完成配準(zhǔn).通過(guò)實(shí)驗(yàn)對(duì)比分析了本文配準(zhǔn)方法的效果，結(jié)果表明：本文配準(zhǔn)方法有較高的配準(zhǔn)精度.