結(jié)合多尺度特征與局部采樣描述的多模態(tài)圖像配準(zhǔn)方法

Research on multimodal image registration method combining multi-scale features and local sampling description

Jia Zhiyou，Wang Guogang （School of Information Enginering，Shenyang Chemical University，Shenyang11O142，China）

Abstract：Aimingatthematching dificultiescausedbytheexistenceofserious geometricdiferencesandnonlinearntensity diference（NID）indiferentmodal images，this paperproposedamultimodal imagealignmentmethodcombining multi-scale featureswithalocalsamplingdescription.Firstly，themethodintroducedanonlineardifusionequationtoconstructanonlinearscalespace，andthen itcombineda phaseconsistencyandorientedFASTandrotatedBRIEF（ORB）algorithm to obtain multi-scalestable feature points.Then，the method proposedarotation-invariant doubleGaussiansamplingdescriptor，which could robustly span the rotation difference of [0^°，360^°） in the presence of NID. Finally，the method introduced an image recoverystrategy.The methodobtainedtheoptimal geometrictransformationmodel through primarymatching，corected the geometricdiferences existingbetween images，andthenperformed secondarymatching toimprovethematchingaccuracy. Experiments on multimodal data sets inremote sensing，medicine，andcomputer visionshowthattheroot-mean-squareerorof the proposed method can reach within 1.5 pixels and the correct matching rate can exceed 98% when there are geometric diferencessuchasscaleandrotation.Theresultsdemonstrate that this methodcanovercometheinfluenceof nonlinearradiation difference between images and achieve high precision registration.

Keywords：multimodalimages registration；nonlinear scale space；phase coherence；double Gausian sampling descriptor; nonlinear radial disparity

0 引言

圖像匹配是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)基礎(chǔ)和關(guān)鍵問題，其目的是在兩幅或多幅圖像中提取可靠的特征對(duì)應(yīng)，使之成為圖像融合、圖像檢測(cè)、目標(biāo)跟蹤等多個(gè)領(lǐng)域的先決條件。而不同傳感器類型、不同成像時(shí)間或視點(diǎn)的多模態(tài)圖像存在尺度、旋轉(zhuǎn)、仿射和非線性輻射（nonlinearintensitydifference，NID）等差異，從而導(dǎo)致匹配性能大幅下降，難以滿足不斷變化的實(shí)際應(yīng)用要求[1]。針對(duì)這一難題，專家學(xué)者們提出了大量的方法。這些方法大致可劃分為基于模板的匹配方法、基于深度學(xué)習(xí)的匹配方法和基于特征的匹配方法三類。

基于模板的匹配方法的關(guān)鍵是選擇合適的相似性度量，之后利用相似性度量和優(yōu)化方法來準(zhǔn)確估計(jì)幾何變換參數(shù)，從而驅(qū)動(dòng)配準(zhǔn)過程的優(yōu)化。頻域中的相位相關(guān)（PC）2是最廣泛使用的相似性度量。Ye等人[34]提出了定向相位一致性直方圖（HOPC）算法和基于定向梯度通道特征（CFOG）的算法。Fan等人[5提出了基于角度加權(quán)定向梯度的像素級(jí)特征。此類算法高度依賴先驗(yàn)信息來粗略地消除幾何扭曲，包括尺度變化和圖像旋轉(zhuǎn)。盡管這些方法對(duì)NID表現(xiàn)出良好的魯棒性，但它們很容易受到幾何扭曲的影響。因此，在圖像存在大幅度旋轉(zhuǎn)以及尺度等幾何差異時(shí)，往往會(huì)配準(zhǔn)失敗。

深度學(xué)習(xí)的快速發(fā)展為解決多模態(tài)圖像問題提供了一種新的方法。為了解決多模態(tài)圖像之間顯著的非線性輻射差異，Baruch等人[提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)。該架構(gòu)利用連體CNN和雙非權(quán)重共享CNN，將生成的特征檢測(cè)器與特征描述符緊密耦合，并在VIS-NIR跨模態(tài)場(chǎng)景中獲得了良好的結(jié)果。ReDFeat[7]將特征檢測(cè)和描述的獨(dú)立約束與互加權(quán)策略重新耦合，提出了具有大接受場(chǎng)和可學(xué)習(xí)的非極大抑制層的超級(jí)檢測(cè)器，實(shí)現(xiàn)了四模態(tài)場(chǎng)景匹配。然而，此類方法大多需要參數(shù)估計(jì)算法來優(yōu)化匹配結(jié)果，并需要大量樣本數(shù)據(jù)來獲得模態(tài)不變的特征表示，且在非訓(xùn)練域內(nèi)的泛化效果仍不理想，尚無(wú)法在實(shí)際中得到廣泛應(yīng)用。

基于特征的匹配方法通常檢測(cè)圖像之間的顯著特征（如點(diǎn)特征、線特征和區(qū)域特征），然后通過描述檢測(cè)到的特征來識(shí)別對(duì)應(yīng)關(guān)系。Moravec[8]、Harris[9]、 LoG^[10] 、FAST[1]SIFT^[12] 是最具代表性的檢測(cè)算子。但由于上述算法是利用圖像的梯度信息或強(qiáng)度信息形成的，對(duì)于同時(shí)存在明顯幾何畸變和NID的多模態(tài)圖像，難以獲得優(yōu)異的匹配性能。

近年來，人們?cè)诙嗄B(tài)圖像領(lǐng)域進(jìn)行了大量的研究，并提出了一系列基于特征的方法來克服多模態(tài)圖像的尺度、旋轉(zhuǎn)、輻射和噪聲等變化，包括輻射不變特征變換（RIFT）[13]、絕對(duì)相位一致性梯度直方圖（HAPCG）[14]、一種先進(jìn)的類 SIFT算法（POS-SIFT）[15]和定向相位一致性局部直方圖（LHOPC）[16]。與基于梯度信息的描述符相比，它們對(duì)輻射差異的魯棒性更強(qiáng)。RIFT利用Log-Gabor卷積序列構(gòu)建了最大索引圖（MIM），實(shí)現(xiàn)了MIM的旋轉(zhuǎn)不變性，提高了多模態(tài)圖像特征檢測(cè)的穩(wěn)定性，其缺點(diǎn)是并未考慮圖像尺度問題以及描述子可能會(huì)丟失部分空間信息且會(huì)增加特征匹配階段的復(fù)雜度。HAPCG通過各向異性加權(quán)力矩圖和絕對(duì)相位一致性方向梯度構(gòu)造對(duì)數(shù)極坐標(biāo)描述子，克服了圖像在尺度差異上的影響，但其構(gòu)建的對(duì)數(shù)極坐標(biāo)描述子對(duì)旋轉(zhuǎn)較為敏感。在涉及旋轉(zhuǎn)和尺度變化等嚴(yán)重幾何扭曲的圖像匹配任務(wù)中性能不佳。

針對(duì)多模態(tài)圖像配準(zhǔn)過程中存在旋轉(zhuǎn)和尺度變化等嚴(yán)重幾何扭曲導(dǎo)致配準(zhǔn)精度不高的問題，本文提出了一種結(jié)合多尺度特征與局部采樣描述的多模態(tài)圖像配準(zhǔn)方法（combiningmulti-scale featureswithalocal samplingdescription，MS-LS）。該方法提出了一種尺度構(gòu)建方法和一種魯棒的抗NID特征描述符，以解決配準(zhǔn)過程中圖像尺度、旋轉(zhuǎn)等幾何問題，然后通過初次匹配獲得最優(yōu)的幾何變換模型，修正圖像在尺度以及旋轉(zhuǎn)上的差異，再進(jìn)行二次匹配提升匹配精度。實(shí)驗(yàn)結(jié)果表明，所提算法在各類多模態(tài)數(shù)據(jù)集上的匹配效果顯著，優(yōu)于現(xiàn)有多模態(tài)圖像特征匹配算法。

1 MS-LS方法

本文流程如圖1所示，主要包括五個(gè)部分：a）引入非線性擴(kuò)散方程，構(gòu)建非線性尺度空間；b）在多尺度圖像層中構(gòu)建相位一致性最大矩圖和最小矩圖，歸一化后采用ORB（orientedFAST and rotated BRIEF）[17]算法檢測(cè)得到大量顯著特征點(diǎn);c）基于特征點(diǎn)引入高斯核函數(shù)劃定采樣范圍，構(gòu)建多層環(huán)形采樣結(jié)構(gòu)并為采樣點(diǎn)分配權(quán)值，再次引入高斯加權(quán)與多方向Log-Gabor濾波結(jié)果卷積得到采樣點(diǎn)特征，然后與采樣點(diǎn)權(quán)值卷積得到雙重高斯采樣描述符（DGM）；d）采用歐氏距離作為匹配測(cè)度，通過DGM描述符進(jìn)行初次匹配，利用快速樣本共識(shí)算法（FSC）完成誤匹配剔除，得到仿射變換矩陣 M;e） 根據(jù) M 修正圖像幾何差異，使圖像對(duì)處在同一尺度、方向下，將參考圖像上的特征點(diǎn)映射到感測(cè)圖像中，并采用k-d樹策略得到最近鄰特征點(diǎn)，進(jìn)一步對(duì)匹配進(jìn)行精細(xì)化提煉，完成最終匹配。

1.1構(gòu)建非線性尺度空間

多模態(tài)圖像（尤其紅外圖像/電子圖像/SAR圖像）之間存在噪聲、尺度、對(duì)比度差異等問題，進(jìn)一步提升了特征點(diǎn)的識(shí)別難度。非線性擴(kuò)散濾波1是一種針對(duì)噪聲的保邊濾波器，在抑制噪聲的同時(shí)保持了圖像的重要邊緣信息，可大大提升圖像特征點(diǎn)豐富度。因此采用非線性擴(kuò)散方程構(gòu)建非線性尺度空間。

具體而言，先對(duì)圖像下采樣得到圖像金字塔，然后在各圖層中引入非線性擴(kuò)散方程進(jìn)行濾波。如圖2所示，圖像金字塔由 a_i 和 b_i 兩組逐層疊加組成， i∈{0，1，…，n-1} 。 a₀ 對(duì)應(yīng)原始圖像，對(duì) a₀ 進(jìn)行1.5倍下采樣得到 b₀ 。然后分別對(duì) a₀ 和 b₀ 進(jìn)行2倍下采樣，當(dāng)圖片像素值低于 64×64 時(shí)，終止采樣。最后將 ω_a，b 兩組圖像逐層疊加得到尺度層 n∈{0，1，…，s}， s表示最大圖層數(shù)目。然后在圖層上引入非線性擴(kuò)散方程進(jìn)行濾波。

其中：div表示散度操作符； t 表示時(shí)間度量的尺度值； L 為輸入圖像； ablaL 為圖像的梯度值； c（x，y，t） 為擴(kuò)散函數(shù)； k 為對(duì)比度因子， k 越小，保留的邊緣信息越多； L^s+1 為擴(kuò)散后的結(jié)果； τ 為擴(kuò)散的時(shí)間步長(zhǎng)； I 為單位矩陣； A_l 為沿第 ξ_l 個(gè)方向的擴(kuò)散系數(shù)矩陣。其中在擴(kuò)散計(jì)算時(shí)，需要將尺度值轉(zhuǎn)換為時(shí)間值，即 t_s= 1/2σ_s²，σ_s 表示尺度， s 表示層數(shù)。

1.2 特征檢測(cè)

對(duì)于金字塔中的每一層圖像，計(jì)算相位一致性（PC）圖所生成的加權(quán)距圖。二維PC模型可表示為

其中： 為加權(quán)函數(shù)； A_so（x，y） 為L(zhǎng)og-Gabor濾波器對(duì)圖像進(jìn)行的濾波后的特征，其尺度為 方向?yàn)?o：Δ?_so（x，y） 為二維相位偏差函數(shù)； T 為補(bǔ)償噪聲； ε 是一個(gè)小值;1.I防止值為負(fù)數(shù)，大于0時(shí)為自身；否則，該值為0。

為了得到PC圖與方向變化之間的關(guān)系，本文對(duì)每個(gè)方向o 計(jì)算一個(gè)獨(dú)立的 PC（θ_o） ，并分析 PC（θ_o） 隨方向變化的結(jié)果。根據(jù)矩分析算法[19]，主軸對(duì)應(yīng)最小矩 m_? ，表示特征方向；最大矩 M_? 垂直于主軸，反映特征的顯著性。 m_? 和 M_? 的大小可以計(jì)算如下：

其中：

其中 和 c 為相位力矩計(jì)算的中間量。

最小矩 m_? 為圖像的角點(diǎn)映射，最大矩 M_? 為圖像的邊緣映射。為了均衡PC圖中角點(diǎn)與邊緣特征。本文對(duì)其歸一化處理，計(jì)算如下：

此外，在 W 上應(yīng)用了ORB算法，獲得了大量的顯著特征。圖3給出了一對(duì)光學(xué)與深度圖像的特征提取結(jié)果?？梢钥闯?，在基于加權(quán)歸一化后的PC圖上可以檢測(cè)到大量分布均勻且可靠的角點(diǎn)和邊緣特征點(diǎn)，證明了PC測(cè)度對(duì)NID的良好不變性。

1.3雙重高斯采樣描述符（DGM）

在本節(jié)中，本文提出了一種新的多模態(tài)圖像的魯棒特征描述符。盡管多模態(tài)圖像于存在嚴(yán)重NID的情況下，仍然能處理任何旋轉(zhuǎn)角度下的圖像。實(shí)現(xiàn)流程如圖4所示。具體而言，描述符的構(gòu)建包括四個(gè)步驟：a）引入高斯加權(quán)函數(shù)，設(shè)計(jì)特征描述符結(jié)構(gòu)并為采樣點(diǎn)分配權(quán)重；b）基于相位一致性距圖構(gòu)建Log-Gabor特征;c）構(gòu)造每個(gè)采樣點(diǎn)的高斯權(quán)特征;d）計(jì)算局部方向特征，估計(jì)主方向，并重新排序索引特征，將其按特定順序進(jìn)行積分，生成特征點(diǎn)的旋轉(zhuǎn)不變特征描述符。圖4（a）為引入高斯加權(quán)，劃定采樣范圍;圖4（b）為基于采樣點(diǎn)在多方位Log-Gabor濾波結(jié)果引入高斯加權(quán);圖4（c）為特征將局部鄰域的多方向?yàn)V波響應(yīng)與高斯權(quán)值相結(jié)合得出采樣點(diǎn)向量；圖4（d）為主導(dǎo)方向估計(jì)；圖4（e）為形成特征點(diǎn)特征描述符。

1.3.1構(gòu)建描述符結(jié)構(gòu)

為了魯棒地描述特征點(diǎn)的特征信息，本文采用以特征點(diǎn)為主、結(jié)構(gòu)信息為輔的描述形式。即針對(duì)特征點(diǎn)的趨近鄰域引入二維高斯模型，通過積分加權(quán)的形式突出特征點(diǎn)的中心作用。具體而言，首先以特征點(diǎn)為中心，引入標(biāo)準(zhǔn)差為 σ 的二維高斯模型，分別以 σ_D 為半徑繪制同心圓， σ_D∈{1/2σ，σ，2σ} 。然后在 1/2σ，σ 處設(shè)置均勻采樣點(diǎn)。最后將采樣點(diǎn)與所處位置的高斯權(quán)值的乘積作為特征點(diǎn)的特征描述符。特征描述符結(jié)構(gòu)如圖5所示。

其中： σ 表示為 G_DGM（x，y，σ） 方差；圓環(huán)半徑 σ_D 由 σ 決定，分別在 1/2σ_?σ 處取得。

其中： DGM 為雙重高斯采樣描述符； SPF 為采樣點(diǎn)特征； n，m

分別為采樣點(diǎn)所在的圈數(shù)以及點(diǎn)數(shù)。

通過大量實(shí)驗(yàn)，當(dāng) m=12 時(shí)可得最優(yōu)結(jié)果，最終形成（2m+1）×σ 維描述符，即本文的特征描述子為150維。圖5為構(gòu)建特征點(diǎn)特征描述符。

1.3.2 構(gòu)建Log-Gabor特征

由于特征點(diǎn)在PC圖上進(jìn)行描述并不魯棒，所以本文將特征檢測(cè)過程中獲得了多尺度和多方向的濾波結(jié)果按方向進(jìn)行疊加，得到多方向的濾波結(jié)果。

其中 {?A_o（x，y） 為 σ_o 方向下疊加的濾波結(jié)果。由于 A_o（x，y） 具有對(duì)稱性，所以本文僅在 [0^°，180^° ］內(nèi)構(gòu)建多方向Log-Gabor濾波器。參考已有研究，將 σ_o 設(shè)置為 6

1.3.3 構(gòu)建采樣點(diǎn)特征（SPF）

為了得到特征點(diǎn)鄰域中不同尺度的區(qū)域特征，本文將不同大小的高斯核分配給不同位置的采樣點(diǎn)。通過將疊加多尺度的Log-Gabor濾波結(jié)果與采樣點(diǎn)高斯核積分形成特征向量來描述采樣點(diǎn)特征。具體而言，首先確定每個(gè)采樣點(diǎn)的采樣區(qū)域，以采樣點(diǎn)到特征點(diǎn)的距離 R_s 為采樣半徑建立高斯核。

R_S=σ_D

其中： σ_s 表示 G_SPF（x，y，σ_s） 的方差。

其次，對(duì)采樣鄰域分配權(quán)值后，積分每層圖像并順序排列形成單個(gè)采樣點(diǎn)的采樣特征。最后將所有采樣子區(qū)域統(tǒng)計(jì)結(jié)果連接起來并進(jìn)行歸一化處理，減少光照的影響。

其中： V_{i，j，o} 表示采樣點(diǎn)在單方向圖像上的值; （x_p，y_p） 為采樣點(diǎn)的坐標(biāo)，根據(jù)已有研究[20] Ω_a 的經(jīng)驗(yàn)值為 0.15，b 的經(jīng)驗(yàn)值為 0.35 （20

SPF_n，m=[V_{i，j，1};V_{i，j，2};…;V_{i，j，o}]

其中： SPF_n，m 表示第 n 層第 ?_m 個(gè)采樣點(diǎn)特征。

1.3.4主導(dǎo)方向估計(jì)

經(jīng)典的SIFT算法采用統(tǒng)計(jì)特征點(diǎn)局部像素的梯度方向及大小，然后構(gòu)造梯度直方圖，以最大值的方向作為主要方向的方法來實(shí)現(xiàn)旋轉(zhuǎn)不變性。然而，此方法應(yīng)用到相位一致性距圖上并不能得到良好的效果。由于Log-Gabor濾波器的取向角是固定的，當(dāng)圖像以不同的角度旋轉(zhuǎn)時(shí)，濾波器的初始取向角發(fā)生了改變，導(dǎo)致以最大值的方向作為主要方向匹配失敗。

針對(duì)這一問題，本文沿用了 RIFT2^[21] 中解決圖像旋轉(zhuǎn)的方法。通過計(jì)算多方向的濾波結(jié)果 V ，并將濾波結(jié)果中最大范數(shù)的索引值V。設(shè)為第一層，其余方向?yàn)V波結(jié)果順序編碼。當(dāng)圖像發(fā)生旋轉(zhuǎn)時(shí)，根據(jù)圖層索引值與濾波結(jié)果中的最大范數(shù)值得到圖像與濾波器之間的旋轉(zhuǎn)取向角。根據(jù)取向角重新編碼濾波器的結(jié)果，使其恢復(fù)原始對(duì)應(yīng)結(jié)果，最終以最大值的方向作為主要方向便可實(shí)現(xiàn)旋轉(zhuǎn)不變性。表1給出了 o=6 時(shí)元素索引的修改示例。

計(jì)算模板圖像和參考圖像中的每個(gè)采樣點(diǎn)的 V_; ，找到最大值 V_o 和主導(dǎo)指數(shù) s， 0

[V_o，s]=argmax（SPF）

通過 s 重新編碼濾波結(jié)果。

其中：SPF為重新編碼后的濾波結(jié)果，具有旋轉(zhuǎn)不變性。為提高匹配的穩(wěn)定性，本文為超過主導(dǎo)峰值 80% 的峰值 V_o 也創(chuàng)建了新的SPF以增強(qiáng)魯棒性。

1.4 二次匹配

在像素為 500×500 的圖像上，利用ORB算法可提取約5000個(gè)特征點(diǎn)。然而，通過大量實(shí)驗(yàn)發(fā)現(xiàn)，初次匹配只能匹配300～800 個(gè)正確匹配對(duì)。無(wú)法達(dá)到高精度匹配的要求，且浪費(fèi)了大量特征信息。在本節(jié)中，本文通過修正圖像之間幾何變化對(duì)未匹配的高質(zhì)量特征點(diǎn)進(jìn)行重新匹配，以提高匹配性能。

通過快速樣本共識(shí)算法（FSC）[22]得到仿射變換矩陣 M ，估計(jì)初次匹配尺度和旋轉(zhuǎn)差。

其中： θ 表示圖像之間的旋轉(zhuǎn)差異 S_xS_yS_image 為 x 方向與 y 方向以及整體圖像之間的尺度差異。

修正圖像幾何差異，使圖像對(duì)處在同一大小、方向下，再將參考圖像上的特征點(diǎn)映射到感測(cè)圖像中，采用k-d樹策略得到最近鄰特征點(diǎn)，完成最終匹配。

2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文方法的有效性，將其與PSO-SIFT[15]SURF[23]、LNIFT[24]、3MRS[25]、HAPCG[14]、 RIFT2^[21] 當(dāng)前六種比較先進(jìn)的方法進(jìn)行比較實(shí)驗(yàn)。為確保公平，其中參數(shù)設(shè)置均根據(jù)原文獻(xiàn)設(shè)置。同時(shí)使用同名點(diǎn)匹配數(shù)量（numberofcorrectmatches，NCM）均方根誤差（root meansquare error，RMSE）成功率（successrate，SR）以及運(yùn)行時(shí)間（runningtime）四種指標(biāo)來衡量。本文采用仿射變換作為約束條件，將匹配誤差在5像素內(nèi)的結(jié)果認(rèn)定為正確匹配，其中匹配同名點(diǎn)數(shù)目不能少于4對(duì)[13]。

2.1 數(shù)據(jù)集

本文選擇了多種不同模態(tài)圖像數(shù)據(jù)集作為實(shí)驗(yàn)集，其中包括不同時(shí)段的光學(xué)圖像、SAR圖像、地圖、紅外圖像、深度圖像、熱成像、CT和晝夜圖像等。數(shù)據(jù)涵蓋了遙感、醫(yī)學(xué)、計(jì)算機(jī)視覺等多個(gè)領(lǐng)域。場(chǎng)景包含鄉(xiāng)村、田野、森林、室內(nèi)、山脈、建筑、街道、城市等。為全面評(píng)估算法性能，部分圖片進(jìn)行了人工旋轉(zhuǎn)、尺度等幾何變化。每種類型的數(shù)據(jù)集均包含多個(gè)圖像對(duì)，總共87個(gè)多模態(tài)圖像對(duì)。樣本數(shù)據(jù)如圖6所示。

2.2 參數(shù)選擇

影響本文算法復(fù)雜度與配準(zhǔn)性能的參數(shù)包括三個(gè)，即第一重高斯加權(quán)函數(shù)的標(biāo)準(zhǔn)差 σ ，高斯環(huán)上采樣點(diǎn)的數(shù)量 ?_m 以及k-d樹得到的最近鄰特征點(diǎn)數(shù)量 K 為確保公平，實(shí)驗(yàn)過程中對(duì)被測(cè)參數(shù)進(jìn)行修改，其他參數(shù)保持不變。本文的最大特征數(shù)固定為5000個(gè)。表2給出了詳細(xì)的參數(shù)設(shè)置和實(shí)驗(yàn)結(jié)果。

在特征描述符中， σ 的大小標(biāo)志著特征點(diǎn)采樣鄰域的范圍。由于位于第一層的采樣點(diǎn)在 1/2σ 所在的采樣環(huán)上，為了使采樣點(diǎn)每次調(diào)整時(shí)變化大于一個(gè)像素點(diǎn)，在調(diào)整 σ 時(shí)每次以2個(gè)像素為一組。當(dāng) σ 過小時(shí)，則會(huì)丟失特征點(diǎn)局部信息。因此，本文將 σ 從16變化到26，當(dāng) σ=20 時(shí)匹配性能達(dá)到最佳。隨著 ?_m 增大，匹配數(shù)量逐漸增加，RMSE減小，性能有所提高。但在 m=12 之后，RMSE變化不大。較大的 m 會(huì)增加特征向量的維度，降低算法效率。 K 表示在二次配準(zhǔn)過程中特征點(diǎn)所對(duì)應(yīng)的正確匹配范圍。隨著 K 的增大，正確匹配數(shù)量逐步提升，但較大的搜索范圍則會(huì)導(dǎo)致誤差加大，精度降低。實(shí)驗(yàn)表明，當(dāng) K 值設(shè)置為20時(shí)，可以獲得最大的高精度 NCM 。

根據(jù)上述分析，綜合考慮算法的時(shí)間復(fù)雜度和匹配性能，本文設(shè)置參數(shù)為 σ=20，m=12，K=20 ，并在接下來的實(shí)驗(yàn)中使用此參數(shù)。

2.3定性比較實(shí)驗(yàn)

為全方位評(píng)估實(shí)驗(yàn)方法，本文對(duì)整體數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并選出各個(gè)模態(tài)中最具代表性的圖像對(duì)進(jìn)行展示，以全方位評(píng)估各算法的魯棒性。光學(xué)圖像-熱度圖像對(duì)和核磁圖像-熱度圖像對(duì)中包含不同強(qiáng)度和類型的非線性強(qiáng)度NID和仿射變換，可用于測(cè)試不同模態(tài)下圖像整體發(fā)生仿射變換時(shí)各算法的配準(zhǔn)能力。SAR-紅外圖像對(duì)中存在大幅度旋轉(zhuǎn)，光學(xué)圖像-CT掃描圖像對(duì)、光學(xué)圖像-地圖、光學(xué)圖像-SAR對(duì)、光學(xué)圖像-深度圖像中均同時(shí)包含NID、圖像平移、尺度變化，可用于評(píng)估NID和復(fù)雜幾何畸變下的配準(zhǔn)性能。針對(duì)不同角度的光學(xué)圖像，可評(píng)估算法在同源圖像下的配準(zhǔn)性能。最終將MS-LS與目前比較先進(jìn)的六種算法POS-SIFT、LNIFT、RIFT2、3MRS、HOPCG、SRIF進(jìn)行視覺比較。

由圖7可知，SRIF和LNIFT對(duì)圖像間非線性輻射差異的穩(wěn)健性較差，僅在不同角度的光學(xué)圖像對(duì)上成功提取了少量匹配對(duì)。POS-SIFT方法引人了新的梯度方法，在抗模態(tài)變化上有一定效果，但當(dāng)模態(tài)變化過大時(shí)仍然匹配失敗，僅成功匹配4對(duì)圖像。3MRS對(duì)圖像進(jìn)行了二次配準(zhǔn)，在圖像匹配精度方面有明顯提升，但是由于在初次匹配時(shí)并未消除圖像在尺度及旋轉(zhuǎn)方面的影響，對(duì)于具有尺度、旋轉(zhuǎn)等幾何變換的4對(duì)圖像上匹配失敗。HAPCG在尺度上引入了擴(kuò)散方程，在圖像尺度變化時(shí)具有魯棒性，但在圖像旋轉(zhuǎn)敏感，僅成功匹配了4對(duì)圖像。與前面五種方法相比，RIFT2方法具有相對(duì)較好的性能，除了無(wú)法匹配具有尺度差異的可見光-熱度圖像對(duì)，在其他模態(tài)圖像對(duì)上均能提取較多的匹配點(diǎn)對(duì)。MS-LS在初次匹配階段解決圖像的幾何差異，二次匹配階段基于此進(jìn)一步提高匹配數(shù)量和配準(zhǔn)精度。相比之下，MS-LS的表現(xiàn)明顯優(yōu)于其他所有方法，并且是唯一正確匹配所有圖像對(duì)的方法。

2.4定量比較實(shí)驗(yàn)

表3總結(jié)了各類算法在整體數(shù)據(jù)集上的詳細(xì)定量結(jié)果。綜合各個(gè)場(chǎng)景的分析顯示，MS-LS方法在多模態(tài)圖像配準(zhǔn)任務(wù)中表現(xiàn)出卓越的性能。在光學(xué)圖像與熱成像中，MS-LS的

RMSE為1.75，顯著低于POS-SIFT的2.92和RIFT2的2.06，降幅分別為 40.4% 和 15.1% ，且SR達(dá) 100% 。在NMR圖像與熱成像中，MS-LS以1.85的RMSE優(yōu)于LNIFT的2.82和RIFT2的 2.56 SAR-IR圖像中，MS-LS的RMSE為O.81，較

POS-SIFT和RIFT2分別降低 68.8% 和 70.5% 。在光學(xué)圖像與CT掃描中，MS-LS的RMSE為2.01，低于LNIFT的3.52和RIFT2的2.94。光學(xué)圖像與地圖中，MS-LS的RMSE僅為0.50，較POS-SIFT和LNIFT顯著降低 84.5% 和 85.2% 。在不同角度的光學(xué)圖像中，MS-LS的RMSE為0.51，較POS-SIFT降低 76.9% 。最后，在光學(xué)圖像與SAR的對(duì)比中，MS-LS的RMSE為0.81，降幅為 71.7% 。

總體而言，MS-LS在三個(gè)指標(biāo)上都強(qiáng)于其他各類算法。MS-LS得到的NCM是其他幾類算法的幾倍甚至幾十倍。對(duì)于RMSE，在經(jīng)過二次匹配的情況下，精度明顯提升，平均達(dá)到1.5個(gè)像素以內(nèi)，幾乎比RIFT2高一倍。在SR方面，MS-LS全部匹配成功，證明了MS-LS算法對(duì)各種圖像模態(tài)以及圖像具有巨大幾何差異時(shí)的出色魯棒性。

2.5 運(yùn)行時(shí)間

表4顯示了本文與其他幾種方法在測(cè)試87對(duì)多模態(tài)圖像的平均運(yùn)行時(shí)間。所有實(shí)驗(yàn)均在相同配置下進(jìn)行：Windows1064專業(yè)版，13th Gen CoreTM i5-13490F，2.50 GHz，32 GBRAM，MATLAB 2022a 開發(fā)環(huán)境。

由表4可以看出，SRIF、HOPCG在運(yùn)算速度上優(yōu)于MS-LS。消耗時(shí)間最長(zhǎng)的是3MRS，此方法存在二次匹配的過程，且匹配點(diǎn)數(shù)巨大，導(dǎo)致時(shí)間過長(zhǎng)。RIFT2在RIFT的基礎(chǔ)上將原有端到端的環(huán)形特征匹配方法改為基于最大值索引值進(jìn)行特征匹配，大大降低了算法運(yùn)算時(shí)間。SRIF、HOPCG之所以快，是因?yàn)镾RIF、HOPCG檢測(cè)的特征點(diǎn)相對(duì)較少，在匹配時(shí)無(wú)須大量計(jì)算。MS-LS方法在保證識(shí)別出豐富的同名點(diǎn)對(duì)的同時(shí)，依然能保持較高的運(yùn)算效率，可以實(shí)現(xiàn)多模態(tài)圖像的快速魯棒匹配。

3結(jié)束語(yǔ)

針對(duì)解決多模態(tài)圖像中存在非線性輻射差異以及可能存在圖像比例、旋轉(zhuǎn)等幾何差異所導(dǎo)致匹配困難且配準(zhǔn)精度不高的問題，本文提出了一種結(jié)合多尺度特征與局部采樣描述的多模態(tài)圖像配準(zhǔn)方法，通過大量具有光照、模態(tài)、尺度、旋轉(zhuǎn)、位移和綜合差異的各類多模態(tài)圖像對(duì)進(jìn)行了實(shí)驗(yàn)驗(yàn)證，該方法具有良好的抗圖像幾何形變性能，并能達(dá)到高精度匹配。此外，對(duì)各種多模態(tài)圖像進(jìn)行了廣泛的定性和定量比較，結(jié)果表明MS-

LS優(yōu)于目前最先進(jìn)的方法SIFT、POS-SIFT、LNIFT、RIFT2、3MRS、HOPCG、SRIF。但是，由于此算法追求高精度，導(dǎo)致在描述符的構(gòu)建以及特征匹配環(huán)節(jié)耗費(fèi)了大量時(shí)間。在特征描述符的構(gòu)建過程中，針對(duì)不同采樣點(diǎn)計(jì)算時(shí)，重復(fù)計(jì)算了特征點(diǎn)的近值鄰域部分，導(dǎo)致遍歷時(shí)間過長(zhǎng)。同時(shí)，算法在特征檢測(cè)時(shí)檢測(cè)了大量特征點(diǎn)，導(dǎo)致配準(zhǔn)時(shí)間過長(zhǎng)。未來將考慮在不損失精度的情況下，通過降低特征維度或提取精度更高且重復(fù)性更好的特征點(diǎn)以提高所提方法的效率、準(zhǔn)確性和魯棒性。

參考文獻(xiàn)：

[1]Zhu Bai，ZhouLiang，Pu Simiao，etal.Advances and challenges in multimodal remote sensing image registration [J].IEEE Journal on MiniaturizationforAirandSpace Systems，2023，4（2）：165-174.

[2]Kovesi P. Phase congruency：a low-level image invariant[J].Psychological Research，2000，64（2）：136-148.

[3]Ye Yuanxin，Shan Jie，BruzzoneL，et al.Robust registration of multimodal remote sensing imagesbased on structural similarity[J]. IEEETrans on Geoscience and Remote Sensing，2017，55 （5）：2941-2958.

[4]Ye Yuanxin，BruzzoneL，Shan Jie，et al.Fast and robust matching for multimodal remote sensing image registration[J]. IEEE Trans on Geoscience and Remote Sensing，2019，57（11）：9059-9070.

[5]Fan Zhongli， Zhang Li，Liu Yuxuan，et al.Exploiting high geopositioningaccuracyof SARdata toobtainaccurate geometric orientationof optical satellite images[J].Remote Sensing，2021，13（17）：3535.

[6]Baruch E B，Keller Y. Joint detection and matching of feature points inmultimodalimages[J].IEEETransonPatternAnalysisand MachineIntelligence，2022，44（10）：6585-6593.

[7]Deng Yuxin，Ma Jiayi. ReDFeat：recoupling detection and descriptionformultimodal featurelearning[J]. IEEETranson lmageProcessing，2022，32：591-602.

[8]Moravec BHP.Obstacle avoidance and navigation inthe real world byaseeingrobot rover[M].Stanford，CA，USA：Stanford University，1980.

[9]Harris C，Stephens M.A combined corner and edge detector[C]// Procofthe4thAlveyVisionConference.1988：147-151.

[10]Lindeberg T. Scale-space theory：a basic tool for analyzing structures atdifferentscales[J].JournalofAppliedStatistics，1994，21（1- 2）：225-270.

[11]RostenE，PorterR，Drummond T.Fasterand better：amachine learningapproachto cornerdetection[J].IEEETrans onPattern Analysisand Machine Intelligence，2010，32（1）：105-119.

[12]Lowe DG.Distinctive image features from scale-invariant keypoints[J]. International JournalofComputerVision，2004，60（2）：91-110.

[13]Li Jiayuan，Hu Qingwu，Ai Mingyao．RIFT：multi-modal image matching based on radiation-variation insensitive featuretransform [J].IEEETranson ImageProcessing，2020，29：3296-3310.

[14］姚永祥，張永軍，萬(wàn)一，等．顧及各向異性加權(quán)力矩與絕對(duì)相位 方向的異源影像匹配[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2021，46 （11）：1727-1736.（Yao Yongxiang，ZhangYongjun，Wan Yi，et al.Heterologous images matching considering anisotropic weighted moment and absolute phase orientation[J].Geomatics and Information Science of Wuhan University，2021，46（11）：1727-1736.）

[15]MaWenping，Wen Zelian，Wu Yue，etal.Remotesensingimage registration with modified SIFT and enhanced feature matching[J]. IEEEGeoscience and Remote Sensing Letters，20l7，14（1）：3-7.

[16]YeYuanxin，ShanJie，HaoSiyuan，etal.Alocal phasebased invariant feature for remote sensing image matching[J]. ISPRS Journal ofPhotogrammetryand Remote Sensing，2018，142：205-221.

[17]RubleeE，RabaudV，KonoligeK，etal.ORB：aneffcientalternativetoSIFTorSURF[C]//ProcofInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2011：2564-2571.

[18]PeronaP，Malik J.Scale-space and edge detection using anisotropic diffusion[J]. IEEETransonPattern AnalysisandMachine Intelligence，1990，12（7）：629-639.

[19]HornB.Robot vision[M].[S.I.]：MITPress，1986.

[20]Hou Zhuolu，Liu Yuxuan，Zhang Li． POS-GIFT：a geometric and intensity-invariant feature transformation for multimodal images[J]. InformationFusion，2024，102：102027.

[21]Li Jiayuan，Shi Pengcheng，Hu Qingwu，et al.RIFT2：speeding-up RIFTwith a newrotation-invariance technique[EB/OL]. （2023-03- 01）.https：//arxiv.org/abs/2303.00319.

[22]XiongXin，Jin Guowang，XuQing，etal.Robust registration algorithmforoptical and SAR imagesbased onadjacent self-similarity feature[J].IEEE Trans on Geoscience and Remote Sensing， 2022，60：5233117.

[23]Li Jiayuan，Hu Qingwu，Zhang Yongjun.Multimodal image matching：a scale-invariant algorithm and an open dataset[J]. ISPRS Journal of Photogrammetryand RemoteSensing，2023，204： 77-88.

[24]Li Jiayuan，Xu Wangyi，Shi Pengcheng，et al.LNIFT：locally normalized imageforrotationinvariantmultimodalfeaturematching[J]. IEEETrans on Geoscience and Remote Sensing，2022，60： 5621314.

[25]FanZhongli，LiuYuxian，Liu Yuxuan，etal.3MRS：aneffective coarse-to-fine matching method for multimodal remote sensing imagery [J].Remote Sensing，2022，14（3）：478.

下期要目

? 多模態(tài)行人重識(shí)別研究綜述

? 語(yǔ)義通信在邊緣算力網(wǎng)絡(luò)中應(yīng)用研究綜述

? 基于同態(tài)加密和零知識(shí)證明的區(qū)塊鏈可擴(kuò)展隱私保護(hù)方案

? HyperledgerFabric并發(fā)沖突消除機(jī)制

? PMoE：在P-tuning中引入混合專家的參數(shù)高效微調(diào)框架

? 基于大語(yǔ)言模型的多任務(wù)生成式重構(gòu)對(duì)話情緒識(shí)別

? 基于完整超圖神經(jīng)網(wǎng)絡(luò)的捆綁推薦模型

? 基于高階鄰域信息交互的自監(jiān)督異質(zhì)圖嵌入算法

? 基于超圖和分層頻譜濾波器的序列推薦模型

? 針對(duì)圖像指代分割的訓(xùn)練后量化策略

? 基于強(qiáng)化學(xué)習(xí)協(xié)同進(jìn)化算法求解柔性作業(yè)車間節(jié)能調(diào)度問題

? 基于信息互補(bǔ)與交叉注意力的跨模態(tài)檢索方法

? 基于污點(diǎn)分析的移動(dòng)端深度學(xué)習(xí)模型泄露自動(dòng)分析方法

? 基于GPU的Winograd卷積算法并行化

? 獎(jiǎng)勵(lì)回溯DQN驅(qū)動(dòng)的多QoS工業(yè)網(wǎng)絡(luò)時(shí)隙調(diào)度方法

? 基于QUIC的擁塞控制算法動(dòng)態(tài)切換機(jī)制

? 面向物流數(shù)據(jù)共享的可撤銷屬性加密方案

? 一種具有多級(jí)安全目標(biāo)的動(dòng)態(tài)對(duì)稱可搜索加密方案

? 殘差混合注意力與自適應(yīng)特征融合的腦腫瘤分割

? 融合時(shí)空信息與運(yùn)動(dòng)信息的骨架行為識(shí)別

? 基于雙重?cái)U(kuò)散模型的圖像恢復(fù)模型

? 基于預(yù)訓(xùn)練擴(kuò)散模型的兩階段高分辨率圖像復(fù)原方法

? 基于自學(xué)習(xí)區(qū)域選擇與邊緣聚焦的單目3D檢測(cè)