結合張量與互信息的混合模型多模態(tài)圖像配準方法

李 培，姜 剛,2,，馬千里，薛萬峰，楊偉華

1.長安大學地質與測繪工程學院，陜西 西安 710054；2.西部礦產資源與地質工程教育部重點實驗室，陜西 西安 710054

隨著遙感技術的發(fā)展，多模態(tài)圖像的數(shù)量顯著增加。不同模態(tài)數(shù)據(jù)之間具有互補性，充分利用這些數(shù)據(jù)十分必要[1-2]。整合這些多模態(tài)數(shù)據(jù)的關鍵步驟是圖像配準，即將不同時間、從不同角度或由不同傳感器拍攝的具有重疊場景的兩幅或多幅圖像進行配準，是圖像處理(如圖像拼接[3-4]、目標識別[5]和變化檢測[6])的一項基本任務[7-8]。由于不同模態(tài)圖像的成像機制不同，多模態(tài)圖像間存在顯著的輻射量變化，導致同一地物在不用模態(tài)圖像中的強度呈現(xiàn)出非線性畸變，這使得控制點的檢測變得困難許多。

總的來說，多模態(tài)圖像配準可以分為基于特征的和基于區(qū)域的[9]?；谔卣鞯姆椒▽D像幾何畸變的穩(wěn)健性更強，而基于區(qū)域的方法對圖像之間的非線性強度差異有更好的抵抗力[10]?；谔卣鞯姆椒ㄌ崛》€(wěn)定、可重復、顯著的特征，利用特征之間的相關性來確定最優(yōu)對齊，它們在多模態(tài)圖像配準上的主要問題是依賴于圖像之間提取重復率高的特征[11]。為了克服這個問題，文獻[12]針對光學和SAR圖像的固有特點，將光學和SAR圖像放在兩個Harris尺度空間中檢測特征點，提出了OS-SIFT算法。文獻[8]提出了PSO-SIFT算法，引入了一種梯度定義，并結合特征點的位置、尺度、方向信息來增強對應點的數(shù)量。文獻[13]提出了RIFT (radiation invariant feature transform)算法，利用相位一致性 (phase congruency,PC)[14]進行特征點檢測，并提出了最大索引圖 (maximum index map,MIM)用于特征描述。不過，這些基于特征的方法對非線性強度差異并不具有較好的穩(wěn)健性，配準精度較低。

基于區(qū)域的配準方法是在遙感圖像中定義一個模板，然后利用不同的相似度準則搜索最優(yōu)對應。常用的相似度準則包括誤差平方和 (sum of squared differences,SSD)、歸一化互相關 (normalized correlation coefficient,NCC)和互信息 (mutual information,MI)[15]。文獻[16]提出將互信息與局部梯度信息合成項相乘獲得新的相似度準則，提高了配準的穩(wěn)健性。文獻[17]用MI來解決復雜的SAR和光學配準問題。文獻[1，18]利用圖像的幾何結構，構建對非線性強度差異有穩(wěn)健性的密集描述符，在多模態(tài)圖像配準中取得了較好的效果。然而，盡管這些方法已經在多模態(tài)圖像上實現(xiàn)了自動配準，具有高精度配準效果，但仍存在不可忽視的局限性。首先，這些基于區(qū)域的方法都需要地理坐標進行正射校正。而且，這些局部描述符或相似度準則的穩(wěn)健性不強，容易受到噪聲影響。

綜上所述，多模態(tài)圖像間存在非線性強度差異與噪聲影響，導致多模態(tài)圖像配準中存在配準精度低、描述符和相似度準則穩(wěn)健性較差等問題。針對這些問題，本文提出了一種基于混合模型的多模態(tài)圖像自動配準方案。該方法利用基于特征的方法對齊圖像，采用基于區(qū)域方法進行高精度配準。在基于區(qū)域的方法中，本文采用張量捕捉細微的結構變化，構建密集描述符。但是張量對噪聲比較敏感，對它采用各向異性濾波器進行處理，可以降低噪聲影響，避免不必要的模糊。在相似度準則方面，張量方向平行度可以很好地解決圖像間強度反轉的問題。為進一步提升相似度準則的穩(wěn)健性，本文將張量方向平行度與梯度互信息相結合，充分利用圖像結構信息與統(tǒng)計信息。

1 本文方法

本文算法包括預配準與精配準兩方面，流程如圖1所示。

1.1 預配準

為了使SIFT算法[19]適用于多模態(tài)圖像配準，可以大致對齊多模態(tài)圖像對[20]，本文對SIFT算法作出以下3點改進。

(1)多尺度Harris角點代替DoG尺度空間局部極值點：SIFT算法在DoG尺度空間中檢測局部極值點作為特征點，而DoG和Hessian矩陣都依賴于二階導數(shù)，會被SAR影像中的散斑噪聲嚴重破壞，不能檢測出SAR圖像中可靠的特征點[21]。相比之下，多尺度Harris函數(shù)[22]是基于一階導數(shù)計算的，Harris角點具有更好的穩(wěn)定性和重復性。

垂直方向多尺度Sobel算子公式如下

(1)

(2)

Gv,αi=Sv1,αi+Sv2,αi

(3)

式中，M和N表示尺度αi下處理窗口的大小；(x,y)表示中心點的位置；I代表原圖像素強度；Gv,αi代表αi尺度下的垂直梯度。圖2(a)展示了垂直處理窗口，圖2(b)展示了垂直多尺度Sobel算子。

圖1 本文方法流程Fig.1 Flow chart of the proposed method

圖2 Sobel濾波器Fig.2 Sobel filter

梯度幅值和梯度方向計算如下

(4)

(5)

多尺度Harris矩陣和函數(shù)定義如下

(6)

R(x,y,αi)=det(C(x,y,αi))-

d·tr(C(x,y,αi))2

(7)

本文計算多尺度Harris函數(shù)得到原圖的多尺度表示，尺度層數(shù)M=5，尺度αi=α1·ci-1i∈[1,2,…,M]。圖3展示了兩種方法的特征點檢測示例，可以看出，Harris檢測出來的特征點都落在角點或高亮點上，而DoG方法檢測出來的特征點大多落在同質區(qū)域。

圖3 LiDAR-Optical圖像上的特征點點檢測Fig.3 Feature point detection on LiDAR-Optical images

(2)梯度方向修改：多模態(tài)圖像之間往往存在非線性強度差異，會出現(xiàn)梯度反轉現(xiàn)象。因此，對SIFT算法的梯度方向進行了修改，將方向限制在區(qū)間[0,180°)，公式如下

(8)

(9)

基于以上改進，可以提高SIFT算法在多模態(tài)圖像配準上的正確匹配率。如圖4所示，改進的SIFT算法夠提供多于4個對應點，確定投影變換參數(shù)。

圖4 用改進的SIFT算法提取的對應點Fig.4 Corresponding points extracted with the improved SIFT algorithm

1.2 精配準

本節(jié)詳細描述了特征描述符和相似度準則的構建。精配準階段主要包括以下6個步驟：

(1)在預配準參考圖上采用塊Harris算子提取特征點。

(2)計算預配準后參考圖和待配準圖的結構張量。

(3)采用一種各向異性濾波器來增強結構張量并計算張量方向圖。

(4)根據(jù)特征點坐標，在張量方向圖上分別確定模板窗口和搜索區(qū)域。

(5)利用相似度準則，將模板窗口與搜索區(qū)域內候選窗口進行比較，確定對應點的位置。

(6)利用步驟(5)所確定的對應點計算轉換參數(shù)，對圖像進行變換。

1.2.1 特征點檢測

在參考圖中使用塊Harris算子獲得均勻分布的特征點。先將參考圖像分成n×n的不重疊的塊，計算圖像塊中每個像素的Harris值。然后，將每一塊中像素點的Harris值從高到低排列，取出得分最高的k個點作為特征點。整幅參考圖像上提取n×n×k個特征點，在待配準圖像上可以找到n×n×k個大致對應的點。在本文實驗中，采用n=5,k=8的參數(shù)設置。

1.2.2 密集描述符構建

在本節(jié)中，通過各向異性結構張量構建特征描述符，具體步驟如下。

(1)計算張量。張量表示圖像邊緣的大小和方向信息，雖然邊緣的大小會因對比度變化而改變，但隨著光照或對比度改變，方向保持不變，所以利用張量提取圖像結構信息。經典結構張量表達式為

(10)

式中，Gρ是標準差為ρ的高斯核函數(shù)；f為強度圖像；fx和fy分別表示x方向和y方向的梯度；符號*表示卷積操作；符號?是梯度算子；上標T表示轉置操作。

(2)計算各向異性濾波器。雖然經典結構張量在一些圖像處理領域(如：光流估計和紋理分析[23])已經證明了它的價值，但是它也有一些缺點。經典結構張量采用高斯卷積的方法平均鄰域內的信息，會導致結構的模糊和錯位，因此，它不能廣泛用于各種不同的數(shù)據(jù)[24]。本文采用文獻[25]中提出的一種沙漏狀的濾波器來避免不必要的模糊

(11)

式中，σ′表示高斯核的尺度，可以決定有效鄰域大小；ρ決定方向的強度，一般取值在[0.3,0.7]之間，下面試驗中ρ=0.7，(x,y)是有效鄰域內點的坐標；(x0,y0)代表有效鄰域中點的坐標。式(11)可以分成兩部分，左邊部分就是高斯濾波器，右邊部分則是沙漏狀濾波器，圖5是不同ρ值下的沙漏狀濾波器。

圖5 沙漏狀濾波器Fig.5 Hourglass filter

式(11)所定義的濾波器是隨局部邊緣方向θ(x0,y0)進行旋轉的，文獻[18]中簡單的采用梯度方向來表示局部邊緣方向，當圖像的信噪比較低，其派生的局部梯度向量有噪聲時，就會出現(xiàn)問題[26]。張量方向能夠捕捉更細微的結構，本文采用張量方向來表示局部邊緣方向，計算公式如下

(12)

(13)

(3)計算各向異性結構張量。本文采用式(11)所描述的濾波器對結構張量進行處理，采用類似空洞卷積的方法，如圖7(b)所示，比圖7(a)展示的傳統(tǒng)的濾波器卷積過程更具有計算效率。通過該方法得到各向異性結構張量，公式如下

(14)

式中，H表示有效鄰域，分別以一定的間隔來取x和y。

圖6 張量方向與梯度方向對比Fig.6 Comparison between tensor orientation and gradient orientation

圖7 卷積方法Fig.7 Convolution method

利用式(14)得到各向異性結構張量，計算出各向異性張量方向θ′，公式如下

(15)

為了計算效率，使用式(16)代替式(15)計算各向異性張量方向θ′，公式如下

(16)

1.2.3 搜索策略

在得到張量方向圖之后，便可以進行模板匹配處理。傳統(tǒng)的全局搜索方式計算效率太低。因此，本文采用文獻[1—2]中提出的快速模板搜索策略。即以參考圖的張量方向圖上特征點為中心取w×w大小的模板窗口，在待配準圖的張量方向圖以粗略對應點為中心取(w+20)×(w+20)大小的搜索窗口。

1.2.4 相似度準則

在南極，科考人員可以登上大陸，而北極到處是浮冰，科考人員需要一直住在船上，所以“雪龍?zhí)枴鄙系纳钤O施也十分完備，游泳池、圖書館、健身房、籃球場、洗衣房、診療室、手術室等一應俱全。

多模態(tài)圖像間存在方向反轉，文獻[18]發(fā)現(xiàn)即使方向反轉，但方向間的平行度和垂直度是不變的，提出了一種利用方向平行度的方法。同時受文獻[16]啟發(fā)，本文基于方向平行度，結合梯度互信息，提出了TOMI。該相似度準則綜合考慮了圖像梯度分布和結構方向，可以更好地保存圖像的結構信息，對于多模態(tài)影像具有較好的穩(wěn)健性。

張量方向平行度準則如圖8所示，計算如下

(17)

圖8 方向平行度曲線Fig.8 Orientation parallelism curve

互信息作為一種相似度準則，可以用熵表示，熵的定義如下

(18)

(19)

式中，H(Tg)是Tg的熵；Tg和Cg分別表示模板窗口T和候選窗口C的梯度幅值；H(Tg,Cg)是Tg和Cg的聯(lián)合熵；pTg(t)是邊緣概率質量函數(shù)(probability mass function)；pTg,Cg(t,c)是聯(lián)合概率質量函數(shù)。本文采用歸一化梯度互信息，公式如下

(20)

結合圖像梯度分布和張量方向，TOMI相似度準則公式如下

TOMI(T,C)=S(T,C)×I(T,C)

(21)

(22)

式中，Uc為搜索區(qū)域中的所有候選窗口。

為了說明TOMI在多模態(tài)圖像匹配方面的優(yōu)勢，將其與STV[18]、HOPC、MI、NCC 4種方法通過相似度曲面進行對比，結果如圖9所示。測試中使用了兩對高分辨率的圖像 (Optical-SAR和LiDAR-Optical)，圖像之間存在非常明顯的非線性強度差異，模板大小均采用65×65像素。圖9中，虛線矩形框代表的是搜索區(qū)域，實線矩形框代表與模板匹配的目標窗口，相似度曲面的中心對應正確的匹配位置。

圖9顯示了這些模板匹配方法的相似度曲面?？梢悦黠@看出，在Optical-SAR圖像對進行測試時，5種方法都能找到正確匹配，不過HOPC、MI和NCC的相似度曲面中均出現(xiàn)了多個峰值，這會對匹配結果產生干擾，只有STV和TOMI是單峰值。對比STV和TOMI兩種方法的相似度曲面，TOMI的更顯著。在LiDAR-Optical圖像對進行測試時，盡管5種方法均能找到正確匹配，不過TOMI和MI表現(xiàn)更好，全局最大值顯著。這初步證明了本文提出的相似度準則在多模態(tài)圖像配準上具有更強的穩(wěn)健性。

2 本文試驗

首先評估預配準算法與精配準算法在多模態(tài)圖像上的匹配性能，將精配準算法與其他多模態(tài)圖像匹配算法進行比較分析。然后，討論本文算法對噪聲的穩(wěn)健性強弱以及模板大小對匹配性能的影響。本節(jié)對算法精度的評估采用兩種方法：①對棋盤圖和放大子圖進行目視檢查；②采用均方根誤差(root mean square error,RMSE)和正確匹配率(correct matching rate,CMR)這兩種量化準則對配準結果進行評估。

2.1 數(shù)據(jù)集

利用5組多模態(tài)圖像評價本文提出算法的有效性。這5組圖像被分成4類：① Visible-Infrared；② LiDAR-Visible；③ Optical-SAR；④ Map-Optical。這5組圖像對之間均存在明顯的非線性強度差異，包括低分圖像(240 m)和多種高分圖像(0.5～3 m)，覆蓋了包括結構信息豐富的城市區(qū)域，以及結構信息缺乏的山川湖泊，甚至還有云霧干擾。表1給出了測試數(shù)據(jù)的信息。

表1 測試數(shù)據(jù)描述Tab.1 Descriptions of the test data

圖9 相似度曲面Fig.9 Similarity surface

(1)Visible-Infrared：選用了2對Visible-Infrared圖像對進行試驗：①城市區(qū)域的高分圖像，具有豐富的結構和邊緣信息；②低分圖像，該圖像對被云霧遮擋，并且時態(tài)相差一年以上，具有顯著的非線性強度差異，對配準很具有挑戰(zhàn)性。

(2)LiDAR-Visible：選用一對城區(qū)LiDAR-Visible圖像對，從2幅圖像的強度特征上可以看到很大的差異。此外，LiDAR強度圖受噪聲影響，導致圖像退化，給配準增加了困難。

(3)Optical-SAR：選用一對覆蓋城區(qū)的高分圖像，圖像對中存在非常豐富的結構信息。不過，城區(qū)有高層建筑，局部畸變明顯。同時，SAR圖像存在嚴重的散斑噪聲影響，圖像中的精細結構被散斑噪聲破壞，使得配準較為困難。

(4)Map-Optical：這對圖像的強度差異十分顯著，包含的紋理信息很少。并且，地圖上標注一些文字，這些給配準帶來了挑戰(zhàn)。

2.2 預配準試驗

遙感圖像之間的旋轉和尺度差異是影響配準精度的主要因素。上述的試驗數(shù)據(jù)沒有顯著的旋轉和尺度差異，為了驗證預配準算法對于圖像旋轉、尺度差異的穩(wěn)健性，進行了模擬試驗。將上述試驗數(shù)據(jù)case 1—case 5中的待配準圖像先分別采用θ=[10°,20°,30°]進行旋轉，再分別對旋轉后的圖像采用比例因子s=[0.9,0.8,0.7]進行縮小，以此模擬圖像對之間的旋轉、尺度差異。

由圖10可以看出，隨著角度、尺度差異的增大，預配準算法找到的對應點的數(shù)量逐漸減少。不過，預配準算法始終能找出足夠多的對應點 (大于4個對應點)，讓圖像可以進行投影變換，對齊圖像對。

圖10 不同角度、不同尺度下的多模態(tài)圖像中的對應點Fig.10 Corresponding points of multi-modal images at different angles and scales

本文采用RMSE和CMR對預配準進行定量化評價。對于預配準而言，點位誤差小于3個像素視為正確匹配。

表2 預配準精度評定 (RMSE,CMR)Tab.2 Accuracy evaluation of pre-registration(RMSE,CMR)

由表2中可以看出，預配準在處理case 1和case 2中的Visible-Infrared圖像對時具有較好的配準效果，能夠抵抗多模態(tài)圖像中的非線性強度差異。在case 3—case 5中，圖像對受噪聲影響，RMSE較大，但是都在10個像素以內，可以大致對齊具有旋轉和尺度差異的多模態(tài)圖像。

2.3 精配準試驗

在精配準階段，本文先用目視檢查對算法進行評估。精配準采用32×32像素的模板大小，得到測試數(shù)據(jù)的棋盤圖，可以直觀地看出精配準的配準效果(如圖11所示)。圖11中，對比預配準與精配準的棋盤圖可以看出，預配準已經將參考圖和待配準圖大致對齊。不過從放大子圖可以看出，預配準之后還有一些局部區(qū)域沒有對齊。而精配準處理后，沒對齊的區(qū)域都已經精確對齊。

目視檢查之后，再對精配準算法進行量化評價，將對應點的點位誤差小于1個像素視為正確匹配。精配準算法作為一種模板匹配方法，將它與最先進的模板匹配算法(STV、HOPC、MI和NCC)進行比較，來驗證其多模態(tài)圖像匹配的能力。其中STV和HOPC都是利用結構信息來進行模板匹配，且取得了較好地配準效果。MI和NCC是基于強度的經典模板匹配方法。

(1)STV提出了一種基于結構張量投票方案的密集特征描述子，能夠很好地抵抗由于強度畸變引起的梯度反轉現(xiàn)象，對多模態(tài)圖像間存在的非線性強度畸變具有較好的穩(wěn)健性。

(2)HOPC擴展相位一致性模型以建立其方向信息，構建了一個密集描述子，能夠捕捉圖像的幾何結構和形狀特征，在多模態(tài)圖像配準上取得了較好的效果。

(3)MI模板匹配算法基于互信息的最大化，對非線性強度差異具有較好的穩(wěn)健性。不過，MI對直方圖bin的大小很敏感，將直方圖bin設置為32，在數(shù)據(jù)集上取得最佳的匹配性能。

(4)NCC是一種常用的圖像匹配算法的相似度準則，它不受線性強度變化的影響。

表3 精配準精度評定(RMSE,CMR)Tab.3 Accuracy evaluation of fine registration(RMSE,CMR)

從表3可以看出，在case 1中，圖像之間存在梯度反轉現(xiàn)象，TOMI和STV利用張量方向平行度可以很好地處理梯度反轉。TOMI該圖像對上的配準效果最佳，其次是STV、MI、HOPC及NCC，顯示出TOMI在表達結構這方面的優(yōu)勢。在case 2中，這對低分圖像包含紋理信息較少，故TOMI的配準效果稍微遜色于MI。由于NCC對線性輻射差異具有不變性，不能很好地處理圖像間復雜的強度變化，所以NCC在該圖像對上配準失敗。在case 3中，LiDAR-Visible圖像對之間存在噪聲影響以及非常顯著的強度差異。TOMI表現(xiàn)最好，只有TOMI和HOPC能達到亞像素精度，明顯優(yōu)于其他3種算法，STV其次，而MI和NCC在該圖像對上配準效果很差。因為測試的圖像對之間存在非常豐富的結構信息，使得3種基于結構的方法(TOMI、STV、HOPC)在匹配性能上優(yōu)于兩種基于強度的方法(MI、NCC)。在case 4中，是一對城區(qū)的Optical-SAR圖像對。TOMI配準精度和正確匹配率都是最高的，原因是TOMI具有良好的噪聲穩(wěn)健性，可以很好地抵抗SAR圖像上存在的散斑噪聲的影響。同時圖像對中存在非常豐富的幾何結構和輪廓信息(如建筑和道路)，使得TOMI可以很輕易捕捉到這些結構信息來找對應點。在case 5中，Map-Optical圖像對之間除了邊界幾乎沒有任何共享的特征，使得TOMI、STV和HOPC的配準精度低于MI和NCC。綜合而言，相比較其他4種算法，TOMI算法結合圖像的統(tǒng)計特性與紋理特征，在結構表達方面更具有優(yōu)勢，更能適應非線性強度變化，對圖像噪聲具有更好的穩(wěn)健性，取得了最好的配準效果。

圖11 預配準與精配準對比Fig.11 Comparison of pre-registration and fine registration

2.4 噪聲穩(wěn)健性試驗

檢驗所提出的相似度準則對噪聲的穩(wěn)健性，在case 1的圖像對上進行模擬試驗。通過給圖像對添加均值為0，方差為v=[0.1%,0.2%,…,1%]的高斯噪聲重復進行5次，生成5組噪聲圖像。用噪聲圖像的平均正確匹配率來對TOMI、STV、HOPC、MI和NCC算法的噪聲穩(wěn)健性進行評價。算法模板大小都選用64×64像素，對應點的點位誤差小于1個像素視為正確匹配。

圖12展示了5種模板匹配算法隨噪聲等級提高，平均正確匹配率的變化。在增加噪聲的條件下，TOMI在5種算法中表現(xiàn)最優(yōu)，平均正確匹配率一直是最高的，其次是STV、MI、HOPC和NCC。多模態(tài)圖像往往帶有大量的噪聲，TOMI能夠很好地適應噪聲引起的圖像退化。對比基于結構張量的模板匹配算法，TOMI穩(wěn)健性優(yōu)于STV，因為STV是基于梯度方向構建各向異性濾波，而TOMI是基于張量方向構建各向異性濾波。張量方向比梯度方向對噪聲更具有穩(wěn)健性，且能夠描述更細微的結構變化。同時，TOMI不僅利用方向平行度，還利用梯度分布構建相似度準則，進一步增加了算法的穩(wěn)健性。

2.5 模板大小分析試驗

驗證所提出的算法在不同模板大小下的匹配性能。將5種模板匹配算法在case 1—case 5中的多模態(tài)圖像上進行試驗，取5對圖像的平均正確匹配率作為評價指標，模板大小取[32,40,…,112]，對應點的點位誤差小于1個像素視為正確匹配。

圖12 相似度準則在各種高斯噪聲上的平均正確匹配率Fig.12 Average matching correct rates of similarity measures over the various Gaussian noise

圖13顯示了不同模板大小下，5種模板匹配方法在case 1—case 5圖像對上的平均正確匹配率對比結果。在5種模板匹配算法中，本文提出的TOMI算法在不同模板大小下實現(xiàn)了最高的匹配精度，這說明了TOMI對多模態(tài)圖像匹配的優(yōu)越性。NCC的性能最差，不能很好地處理圖像間復雜的強度變化。對一些強度變化劇烈的圖像對(如Visible-Infrared)甚至會出現(xiàn)配準失敗的情況。盡管MI的表現(xiàn)比NCC好，不過它不能有效地處理這些多模態(tài)圖像的匹配，由表3可知，MI在case 3中表現(xiàn)不佳，不適合處理非線性強度變化和噪聲影響下的LiDAR-Visible圖像對。HOPC配準平均正確匹配率優(yōu)于MI，在各個模態(tài)圖像配準時都取得較好的表現(xiàn)，總體表現(xiàn)要優(yōu)于MI。不過，HOPC的配準效果還是低于TOMI和STV，這是因為HOPC使用拓展的PC來提取圖像結構信息，盡管PC可以抵抗光照和對比度的變化，但是PC圖所含有的信息太少，PC圖上的大部分像素值都接近于0。此外，PC圖包含邊緣信息受噪聲影響，會導致特征描述不準確，對特征的描述不夠穩(wěn)健。

圖13 不同模板大小的平均正確匹配率Fig.13 Average matching correct rates of investigated algorithms over template size

3 結 論

本文提出了一種多模態(tài)圖像配準方法，以解決顯著的非線性強度差異和噪聲退化問題。在預配準階段，對SIFT算法進行改進，粗略對齊多模態(tài)圖像對。在精配準階段，用各向異性結構張量來捕捉圖像幾何結構，大大降低了多模態(tài)圖像間噪聲的影響，可以更可靠地表現(xiàn)真實數(shù)據(jù)，同時對非線性強度差異有較好的穩(wěn)健性。更進一步，將張量方向平行度與梯度互信息相結合，提出了TOMI相似度準則，利用圖像統(tǒng)計特性與紋理特征，進一步提高算法對圖像噪聲的穩(wěn)健性，增強了算法的匹配性能。試驗結果表明，TOMI在配準精度上和對噪聲的穩(wěn)健性上均優(yōu)于STV、HOPC、MI和NCC等先進的圖像匹配方法。

然而，本文提出的算法仍然有一些局限性。通過試驗發(fā)現(xiàn)，如果圖像中包含的結構或形狀信息較少，TOMI的性能會降低。在精配準試驗中，TOMI在case 1—case 4中均取得亞像素級的配準精度，而在case 5這對紋理信息缺乏的圖像對中，RMSE降低至像素級。此外，發(fā)現(xiàn)其余兩種基于結構的算法STV與HOPC在該圖像對中配準精度也在像素級，明顯低于基于強度的配準算法MI與NCC。因此，在下一步的研究中，可以更深入地結合MI或NCC這類基于強度的配準方法，增強算法在紋理缺乏地區(qū)的配準效果。