基于特征點(diǎn)的非剛性圖像配準(zhǔn)算法

谷皓 程遠(yuǎn)志

摘 要：針對(duì)非剛性點(diǎn)配準(zhǔn)問題，主要是解決尋找對(duì)應(yīng)關(guān)系的問題和求解空間彎曲變換。而對(duì)于數(shù)據(jù)退化嚴(yán)重，離群點(diǎn)和噪聲增多的情況，現(xiàn)階段還未見到有效的技術(shù)設(shè)計(jì)方案。這需要研究能在關(guān)注圖像全局特征的同時(shí)也能關(guān)注圖像的局部特征。在本文中，將配準(zhǔn)問題視為概率問題，用高斯混合模型（GMM）來描述輸入的特征點(diǎn)集。通過將尋找點(diǎn)對(duì)應(yīng)關(guān)系問題轉(zhuǎn)化為估計(jì)混合密度的問題，使得一個(gè)特征點(diǎn)集的高斯密度質(zhì)心與另一個(gè)特征點(diǎn)集保持一致。并且利用局部特征和確定性退火的方法來保證本文的方法在遇到離群點(diǎn)和噪聲的情況下也能正確地完成任務(wù)。對(duì)于求解空間變換，通過使用薄板樣條平面的非剛性空間映射來對(duì)要求解的空間變換進(jìn)行參數(shù)化。研究通過使用一些通用的數(shù)據(jù)集合和一些實(shí)際的數(shù)據(jù)集合來證明本文方法的普適性和魯棒性，并且和目前已經(jīng)發(fā)表的流行方法進(jìn)行對(duì)比。

關(guān)鍵詞： 非剛性配準(zhǔn);高斯混合模型;空間變換

文章編號(hào)： 2095-2163（2019）03-0079-07?中圖分類號(hào)： TP391.41?文獻(xiàn)標(biāo)志碼： A

0?引?言

目前，基于特征的配準(zhǔn)問題是一個(gè)熱門的研究方向。該技術(shù)在計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、醫(yī)學(xué)圖像處理、模式識(shí)別以及地理信息系統(tǒng)中發(fā)揮著至關(guān)重要的作用。簡單來說，配準(zhǔn)問題就是找尋2幅圖像之間的最佳空間變換和匹配。最簡單、基礎(chǔ)的特征表示方式就是運(yùn)用點(diǎn)特征。但是，只用點(diǎn)特征來解決基于特征的圖像配準(zhǔn)卻頗具現(xiàn)實(shí)難度。

時(shí)下，國內(nèi)外已經(jīng)陸續(xù)涌現(xiàn)了很多基于特征點(diǎn)的圖像配準(zhǔn)方法。迭代最近點(diǎn)（ICP）算法[1]是最早的、也是最著名的點(diǎn)集配準(zhǔn)算法之一。算法中，假設(shè)最近的點(diǎn)為對(duì)應(yīng)點(diǎn)，通過最小化均方距離來得到轉(zhuǎn)換矩陣，但是ICP卻僅是適用于剛性配準(zhǔn)的研究。TPS-RPM算法[2]采用薄板樣條作為非剛性映射，使用軟分配和確定性退火來解決聯(lián)合優(yōu)化的問題。形狀上下文（Shape Context， SC）[3]描述符是基于物體輪廓樣本點(diǎn)進(jìn)行描述的，將所有點(diǎn)的形狀上下文組合起來就可以形成整個(gè)物體的形狀上下文了，接下來就是對(duì)已有的形狀進(jìn)行匹配的算法運(yùn)行過程。文獻(xiàn)[4]首先使用特征描述子建立點(diǎn)的對(duì)應(yīng)關(guān)系，然后使用再生核Hilbert空間（RKHS）來求解變換函數(shù)，還可通過添加魯棒的L2E估計(jì)子來處理噪聲和離群點(diǎn)。GMMREG算法[5]是較早的使用高斯混合模型（Gaussian Mixture Model， GMM）來表示2個(gè)點(diǎn)集的方法，其中通過最小化2個(gè)高斯混合模型的L2距離來求解配準(zhǔn)問題。而當(dāng)下學(xué)界使用高斯混合模型來描述點(diǎn)集數(shù)據(jù)也已成為研究趨勢(shì)。文獻(xiàn)[6]采取了一種非對(duì)稱的高斯混合模型來尋找點(diǎn)集之間的對(duì)應(yīng)關(guān)系。Myronenko等人[7]發(fā)表了著名的一致性點(diǎn)漂移（Coherent Point Drift， CPD）算法，就是將配準(zhǔn)問題視為概率密度估計(jì)問題，最大化模板點(diǎn)集高斯混合模型的中心和目標(biāo)點(diǎn)集的最大似然函數(shù)，通過快速高斯變換和矩陣低秩逼近來提高配準(zhǔn)的速度，但是對(duì)噪聲和離群點(diǎn)的魯棒性仍未臻優(yōu)良。國內(nèi)的秦紅星等人[8]提出以信息論為理論基礎(chǔ)，相對(duì)熵度量點(diǎn)云相似度的KL-Reg算法。該算法不需要顯式地建立對(duì)應(yīng)關(guān)系，首先將點(diǎn)云數(shù)據(jù)建模為高斯混合模型，然后用相對(duì)熵度量高斯混合模型間的分布距離，最后選用最小化分布距離計(jì)算模型變換。王安娜等人[9]提出一種基于特征點(diǎn)匹配的非剛性配準(zhǔn)方法，通過雙向匹配對(duì)應(yīng)點(diǎn)建立匹配關(guān)系，采用粒子群優(yōu)化算法尋找最優(yōu)變換參數(shù)。

綜上論述可知，在本文中，研究提出了一種新的非剛性配準(zhǔn)算法。算法中利用高斯混合模型來表示研究的點(diǎn)集，利用估計(jì)概率密度的方法來構(gòu)建目標(biāo)函數(shù)，利用局部特征和確定性退火的方法來保證本文的方法對(duì)噪聲和離群點(diǎn)的魯棒性。使得配準(zhǔn)精度得到提高，并在大部分實(shí)驗(yàn)中超越其余算法。

相對(duì)于公式（5），研究增加了一個(gè)新的正則化項(xiàng)，這一項(xiàng)其實(shí)就是Q（zm=n; θold）與πmn的KL距離，也就是說研究不希望當(dāng)前求得的p（zm=n）與預(yù)設(shè)的先驗(yàn)概率差距過大，而這個(gè)由前文的新系數(shù)T來控制，當(dāng)T較小時(shí)，公式（6）和公式（5）沒有區(qū)別，主要關(guān)注的是全局的變換;當(dāng)T較大時(shí)，限制更多，主要考慮的是局部的變換。研究還將引入確定性退火的方法，從較大的T開始，逐漸減小T的值，最終達(dá)到收斂。

1.2?給先驗(yàn)概率賦值

在1.1節(jié)研究引入了一個(gè)先驗(yàn)概率πmn來表示目標(biāo)點(diǎn)ym與變換后的模板點(diǎn)f（xn）配對(duì)的先驗(yàn)概率。對(duì)于這個(gè)先驗(yàn)概率，一般是采用使得每個(gè)目標(biāo)點(diǎn)到每個(gè)模板點(diǎn)概率相同的方法，即πmn=[SX（]1[]π[SX）]，而這里需先使用局部特征的方法來展開一輪粗略的配準(zhǔn)用來給研究的πmn進(jìn)行賦值。具體方法是使用形狀上下文（SC）描述符來進(jìn)行一輪粗略的配準(zhǔn)，得到一個(gè)目標(biāo)點(diǎn)集和模板點(diǎn)集的初始對(duì)應(yīng)關(guān)系，再利用這個(gè)對(duì)應(yīng)關(guān)系來給πmn提供賦值。

文中使用Im來表示與目標(biāo)點(diǎn)ym存在對(duì)應(yīng)關(guān)系的模板點(diǎn)的集合，Im={xa1， xa2，…，xak; 1≤xau≤N， 1≤u≤k}，其中k為集合的個(gè)數(shù)。

如果k=0，也就是說沒有模板點(diǎn)與研究中的ym相匹配，故而采用πmn=[SX（]1[]N[SX）]， n∈NN的方法來實(shí)現(xiàn)對(duì)文中先驗(yàn)概率的賦值。

如果k≠0，也就是說存在模板點(diǎn)與研究中的ym相匹配，故而采用下面的公式來給先驗(yàn)概率賦值：

綜上所述，該過程就是利用了數(shù)據(jù)集的局部特征來給文中的先驗(yàn)概率賦值，再結(jié)合此處的超參T和KL距離的正則化項(xiàng)，可以在T較大的時(shí)候，更多地考慮研究涉及的局部特征。

1.3?EM算法求解

設(shè)計(jì)中采用了GMM的模型來建立文中的目標(biāo)函數(shù)，基于此可通過使用EM算法來研究解決這個(gè)問題。對(duì)此可闡釋解析如下。

（1）E-步驟：對(duì)于現(xiàn)有的參數(shù)θold，運(yùn)算求出Q（zm=m; θold）的值，可參考計(jì)算公式如下：

（2）M-步驟：接下來，需要更新本次研究的參數(shù)，數(shù)學(xué)公式可表述如下：

1.4?變換函數(shù)的求解

對(duì)于應(yīng)用中的函數(shù)f： RDRD，在本文使用薄板樣條的方法來建立研究的空間變換函數(shù)，給出其映射關(guān)系為：

其中，矩陣d是一個(gè)（D+1）×（D+1）的矩陣，表示仿射變換;矩陣w是一個(gè)k×（D+1）彎曲系數(shù)矩陣，表示非仿射變換。向量（xn）是生成的TPS核，對(duì)于每個(gè)點(diǎn)xn都能產(chǎn)生一個(gè)1×K的向量，產(chǎn)生式為：

為此，需要選擇K個(gè)控制點(diǎn)。

研究中，將公式（6）去掉與f不相關(guān)的部分，可以得到關(guān)于TPS的能量函數(shù)為：

其中，正規(guī)化參數(shù)λ用于調(diào)節(jié)非剛性形變系數(shù)w，正則化參數(shù)μ用于調(diào)節(jié)剛性仿射變換系數(shù)d。而這2個(gè)參數(shù)也都會(huì)加入研究的退火過程中（λ=λ0T， μ=μ0T），如此將利于求出全局最優(yōu)解。而Qp是Q（zm=n; θold）構(gòu)成的矩陣。

為了計(jì)算d和w，還需對(duì)矩陣X進(jìn)行QR分解，分解成仿射和非仿射彎曲空間。變換公式見如下：

2?算法框架

算法1?新的非剛性配準(zhǔn)算法

輸入?2個(gè)點(diǎn)集X和Y

輸出?變換函數(shù)f

初始化參數(shù)T，λ和μ。

初始化參數(shù)c，η，w和d。

repeat

repeat

E-步驟：

利用特征描述子計(jì)算Y和f（X）的初始對(duì)應(yīng)關(guān)系;

利用公式（7）更新πmn;

利用公式（8）更新Qp;

M-步驟：

利用公式（9）更新η;

利用公式（14）和（15）更新w和d;

until θ收斂

減小T，λ和μ。

until T=Tfinal

3?實(shí)驗(yàn)結(jié)果

為了估測(cè)本文算法的性能，這里擬將進(jìn)行3個(gè)方面的實(shí)驗(yàn)研究，分別是：

（1）二維非剛性配準(zhǔn)。

（2）三維非剛性配準(zhǔn)。

（3）圖像特征點(diǎn)配準(zhǔn)。

文中使用Matlab實(shí)現(xiàn)設(shè)計(jì)算法的主要過程，并且與GMMREG算法和rpm-tps算法進(jìn)行比較。研究內(nèi)容詳見如下。

3.1?二維非剛性配準(zhǔn)的結(jié)果與分析

研究采用文獻(xiàn)[2]中的公共數(shù)據(jù)集，這是金魚形狀的點(diǎn)集。其中，‘+表示目標(biāo)點(diǎn)集，‘o表示模板點(diǎn)集，總共為98個(gè)點(diǎn)。該設(shè)計(jì)旨在考察本文算法在有缺失點(diǎn)的情況下的配準(zhǔn)情況。

實(shí)驗(yàn)中數(shù)據(jù)是在原始數(shù)據(jù)的基礎(chǔ)上，目標(biāo)點(diǎn)集從尾部去掉20個(gè)點(diǎn)，模板點(diǎn)集從頭部去掉20個(gè)點(diǎn)。由此得到本文算法與其它圖像配準(zhǔn)方法在金魚數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果對(duì)比如圖1所示。由圖1可以看到本文的方法明顯優(yōu)于另外2種方法。

接下來，對(duì)缺失的金魚數(shù)據(jù)進(jìn)行量化評(píng)估，評(píng)估的標(biāo)準(zhǔn)為回歸率（recall）。繪制出來的評(píng)估結(jié)果如圖2所示。其中，橫坐標(biāo)表示配對(duì)距離閾值，縱坐標(biāo)表示回歸率。可以看到不論缺失點(diǎn)的數(shù)目有多少，本文的方法都能在很低的閾值下將所有的點(diǎn)配準(zhǔn)完成，說明模板點(diǎn)集經(jīng)過變換函數(shù)之后與目標(biāo)函數(shù)高度一致。

3.2?三維非剛性配準(zhǔn)的結(jié)果與分析

研究中采用了文獻(xiàn)[5]中的公共數(shù)據(jù)集來進(jìn)行實(shí)驗(yàn)，這是人臉形狀的點(diǎn)集，‘+表示目標(biāo)點(diǎn)集，‘o表示模板點(diǎn)集，總共有392個(gè)點(diǎn)。該設(shè)計(jì)旨在考察本文算法在有噪聲和離群點(diǎn)的情況下的配準(zhǔn)情況。對(duì)此方面研究可探討論述如下。

（1）加入高斯白噪聲。如圖3所示，是在原始數(shù)據(jù)的基礎(chǔ)上人為加入高斯白噪聲（均值為0、方差為noise），而圖3的第一列到第四列的noise值分別為：0.03，0.06，0.09，0.12。觀察發(fā)現(xiàn)，在低噪聲的情況下，3種方法得到的結(jié)果都不錯(cuò)，對(duì)配準(zhǔn)結(jié)果影響不大，但是在高噪聲的情況下，可以看到3種算法均受到了一定影響，但是本文的算法效果卻更好。此處針對(duì)量化結(jié)果擬展開具體分析如下。

對(duì)于在不同噪聲條件的情況下，3種算法的誤差的平均值和方差的運(yùn)算結(jié)果對(duì)比則如圖4所示，這里的誤差是用變形之后的模板點(diǎn)集與目標(biāo)點(diǎn)集對(duì)應(yīng)點(diǎn)的歐氏距離?？梢钥吹剑疚牡姆椒ú徽撌窃谡`差的平均值、還是方差上都比其它的方法要更好，并且隨著噪聲的增加，誤差也沒有發(fā)生明顯變化。

（2）加入隨機(jī)離群點(diǎn)。加入不同數(shù)目的隨機(jī)離群點(diǎn)后，本文算法與GMMREG算法、rpm-tps算法的實(shí)驗(yàn)結(jié)果對(duì)比如圖5所示。其中，圖5的第一列到第五列分別加入離群點(diǎn)數(shù)目為：40、80、120、160、200。可以看到本文的方法對(duì)于加入離群點(diǎn)之后依然做到了優(yōu)等級(jí)別的配準(zhǔn)，且均超過了其它2個(gè)算法的實(shí)驗(yàn)結(jié)果。此處針對(duì)量化結(jié)果擬展開具體分析如下。

對(duì)于在不同數(shù)量離群點(diǎn)的情況下，各類算法誤差的平均值和方差結(jié)果如圖6所示，這里的誤差是用變形之后的模板點(diǎn)集與目標(biāo)點(diǎn)集對(duì)應(yīng)點(diǎn)的歐氏距離。觀察后得知，本文的方法不論是在誤差的平均值、還是方差都比其它的方法要小，并且隨著噪聲的增加，誤差幾乎沒有較大變化，很穩(wěn)定。

3.3?圖像特征點(diǎn)配準(zhǔn)結(jié)果

前文論述的都是對(duì)于點(diǎn)集的實(shí)驗(yàn)結(jié)果，下面將給出本文的算法在現(xiàn)實(shí)圖像上的實(shí)驗(yàn)結(jié)果。此處的數(shù)據(jù)來自于牛津走廊序列（Oxford corridor sequence）數(shù)據(jù)集，這個(gè)數(shù)據(jù)集是對(duì)于同一個(gè)走廊連續(xù)拍攝的一系列照片，圖像都是512×512像素，研究從中隨機(jī)選取了2張。

圖7是在原圖的基礎(chǔ)上利用harris角點(diǎn)檢測(cè)方法，提取出特征點(diǎn)后，再用本文的算法來對(duì)提取的特征點(diǎn)進(jìn)行配準(zhǔn)。

圖8就是對(duì)圖7中2張照片中提取的角點(diǎn)應(yīng)用3種算法的配準(zhǔn)結(jié)果，其中‘+表示目標(biāo)點(diǎn)集，‘o表示模板點(diǎn)集?？梢钥吹?，對(duì)于真實(shí)的圖片數(shù)據(jù)，本文的算法也能得到良好的配準(zhǔn)結(jié)果，而且均要?jiǎng)龠^其它2種方法的實(shí)驗(yàn)結(jié)果。

4?結(jié)束語

本文提出了一個(gè)新的非剛性配準(zhǔn)算法，通過使用高斯混合模型（GMM）來描述輸入的特征點(diǎn)集，將尋找點(diǎn)對(duì)應(yīng)關(guān)系問題轉(zhuǎn)化為估計(jì)混合密度的問題，使用薄板樣條平面（TPS）來描述空間變換函數(shù)。并且利用局部特征和確定性退火的方法來保證本文的方法在遇到離群點(diǎn)和噪聲的情況下也能正確地達(dá)到設(shè)計(jì)目標(biāo)。最終的測(cè)試實(shí)驗(yàn)證明本文提出的方法能有效避免離群點(diǎn)和噪聲這種數(shù)據(jù)退化對(duì)圖像配準(zhǔn)所帶來的干擾，相較其它的配準(zhǔn)算法，能取得更好的配準(zhǔn)精度和效果。下一步的研究工作是提高該算法的效率，使得能在更短的時(shí)間完成圖像配準(zhǔn)任務(wù)，并實(shí)現(xiàn)更大范圍的應(yīng)用推廣。

參考文獻(xiàn)

[1]BESL P J， MCKAY N D. A method for registration of 3-D shapes[J]. ?IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992，14： 239-256.

[2]?CHUI H， RANGARAJAN A. A new point matching algorithm for non-rigid registration[J]. Computer Vision and Image Understanding， 2003， 89（2-3）： 114-141.

[3]?BELONGIE S， MALIK J， ?PUZICHA J. Shape matching and object recognition using shape contexts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（4）： 509-522.

[4]?MA Jiayi， ZHAO Ji， TIAN Jinwen， et al. Robust estimation of nonrigid transformation for point set registration[C]// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Portland：IEEE， 2013： 2147-2154.

[5]?JIAN Bing， VEMURI B C. Robust point set registration using gaussian mixture models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1633-1645.

[6]?TAO Wenbing ，SUN Kun. Asymmetrical gauss mixture models for point sets matching[C]. IEEE International Conference on Computer Vision and Pattern Recognition （CVPR）.Columbus， Ohio， USA：IEEE， 2014： 1598-1605.

[7]?MYRONENKO A，SONG Xubo. Point set registration： Coherent point drift[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（12）： 2262-2275.

[8]?秦紅星， 徐雷. 基于信息論的KL-Reg點(diǎn)云配準(zhǔn)算法[J]. 電子與信息學(xué)報(bào)， ?2015， 37（6）： 1520-1524.

[9]?王安娜， 呂丹， 王哲，等. 基于SIFT特征提取的非剛性醫(yī)學(xué)圖像配準(zhǔn)算法研究[J]. 生物醫(yī)學(xué)工程學(xué)雜志， 2010， 27（4）：763-768，784.