累積結(jié)構(gòu)特征描述的多模態(tài)遙感影像匹配*

謝勛偉

(中國(guó)西南電子技術(shù)研究所,成都 610036)

0 引 言

圖像匹配實(shí)質(zhì)是在具有一定重疊的影像間提取感興趣共有特征的過(guò)程,是實(shí)現(xiàn)光束法平差、影像拼接與融合等應(yīng)用的前提。受傳感器成像機(jī)制、視角、時(shí)間及地物變化等影響,遙感影像間可能存在幾何和輻射差異,為匹配算法帶來(lái)了巨大挑戰(zhàn)。目前,多模態(tài)圖像匹配已成為研究的熱點(diǎn)之一。

圖像匹配方法主要分為區(qū)域匹配方法和特征匹配方法。區(qū)域匹配方法以局部圖像信息為模板,遍歷搜索窗口,計(jì)算每個(gè)位置的相似性度量,以某種測(cè)度作為特征對(duì)應(yīng)的準(zhǔn)則。特征匹配方法先提取顯著的結(jié)構(gòu)特征,再進(jìn)行特征描述,最后通過(guò)描述子的距離衡量特征對(duì)應(yīng)關(guān)系。它們的共性特點(diǎn)是在特征點(diǎn)提取或描述階段采用了梯度信息,而多模態(tài)圖像由于成像機(jī)制不同,圖像間灰度存在顯著的非線性差異,必然導(dǎo)致構(gòu)造的特征描述符間也存在很大差異,由此造成其描述子的辨識(shí)能力較弱,產(chǎn)生大量錯(cuò)誤匹配。

學(xué)者們研究發(fā)現(xiàn),多模態(tài)圖像雖然灰度差異較大,但圖像結(jié)構(gòu)細(xì)節(jié)信息具有高度相似性,可用于設(shè)計(jì)特征匹配。如Kovesi[1]提出了一種與圖像強(qiáng)度無(wú)關(guān)的特征度量——相位一致性(Phase Congruency,PC),它對(duì)圖像光照和對(duì)比度變化具有不變性,從而直接在PC圖上提取角點(diǎn)和邊緣具有明顯優(yōu)勢(shì)。但PC圖存在一定的局限:一是PC圖大部分特征值為零,不利于特征描述;二是PC圖包含強(qiáng)響應(yīng)的孤立點(diǎn),容易被噪聲干擾,特征描述不夠精確。李加元等人[2]提出的輻射不變特征變換方法(Radiation Invariant Feature Transform,RIFT)通過(guò)Log-Gabor[3]循環(huán)卷積序列構(gòu)造多個(gè)最大指數(shù)圖并以此構(gòu)造描述子來(lái)獲得旋轉(zhuǎn)不變性,其實(shí)驗(yàn)顯示該方法對(duì)多模態(tài)圖像匹配的適應(yīng)性大幅提高,但通過(guò)本文實(shí)驗(yàn)發(fā)現(xiàn),該方法雖可以提高匹配點(diǎn)數(shù)量,但同時(shí)帶來(lái)大量誤匹配,其原因可能是最大指數(shù)圖忽略了特征點(diǎn)局部鄰域像素的空間結(jié)構(gòu),導(dǎo)致描述子的辨識(shí)能力有所下降。此外,在使用結(jié)構(gòu)相似性進(jìn)行多模態(tài)圖像匹配領(lǐng)域,文獻(xiàn)[4]采用圖像的方向梯度構(gòu)造了一種像素級(jí)的特征表達(dá),在頻率域采用三維快速傅里葉變換定義結(jié)構(gòu)相似性測(cè)度以提升計(jì)算效率,可一定程度上適應(yīng)輻射畸變,但它需要比較精確的初始匹配結(jié)果,適合在多模圖像精匹配階段使用。

近年來(lái)深度學(xué)習(xí)方法也逐漸引入到多模態(tài)醫(yī)學(xué)圖像匹配領(lǐng)域[5],但還未廣泛應(yīng)用到多模態(tài)遙感影像匹配領(lǐng)域[6]。受限于大規(guī)模遙感圖像數(shù)據(jù)標(biāo)注成本,采用深度學(xué)習(xí)方法完全取代人工描述子方法還不大現(xiàn)實(shí),且迄今為止還未有不同模態(tài)圖像間的深度網(wǎng)絡(luò)訓(xùn)練模型高效遷移的成功范例。因此,人工描述子方法還有很大的潛力可挖,這也是本文的核心目的。

本文的基本思路是借鑒PC原理提取圖像間的相似結(jié)構(gòu)特征,利用結(jié)構(gòu)特征構(gòu)造描述子。為了增強(qiáng)圖像的結(jié)構(gòu)信息,克服PC圖的局限,本文通過(guò)構(gòu)造累積結(jié)構(gòu)特征圖(Cumulative Structural Feature,CSF)提升多模態(tài)圖像間結(jié)構(gòu)特征的相似性,并用其設(shè)計(jì)特征描述子。實(shí)驗(yàn)結(jié)果顯示,本文方法可提高多模態(tài)遙感圖像匹配的魯棒性。

1 累積結(jié)構(gòu)特征匹配方法

為了便于描述,將本文提出的特征匹配方法稱為CSF方法,其實(shí)現(xiàn)流程如圖1所示。

圖1 CSF匹配流程圖

1.1 多尺度多方向Log-Gabor奇對(duì)稱濾波

二維Log-Gabor濾波器與人類視覺(jué)系統(tǒng)的度量一致,適于進(jìn)行特征提取,可表示為[3]

式中:(ρ,θ)表示極坐標(biāo);s和o表示Log-Gabor的尺度和方向;ρs和θs,o表示Log-Gabor的中心頻率;σρ和σθ表示Log-Gabor在ρ和θ方向的帶寬。

通過(guò)逆傅里葉變換將Log-Gabor濾波轉(zhuǎn)換到空間域,得到二維Log-Gabor濾波表示:

式中:(x,y)表示空間域坐標(biāo);和分別表示Log-Gabor的偶對(duì)稱濾波器和奇對(duì)稱濾波器。

1.2 累積結(jié)構(gòu)特征圖構(gòu)造和邊緣特征點(diǎn)提取

式中:Es,o(x,y)和Os,o(x,y)分別為L(zhǎng)og-Gabor偶對(duì)稱濾波器和奇對(duì)稱濾波器的濾波結(jié)果。

通過(guò)多尺度多方向的Log-Gabor濾波結(jié)果,并考慮噪聲補(bǔ)償,可得PC模型:

式中:Wo(x,y)為o方向的頻率擴(kuò)展權(quán)重;As,o(x,y)=表示圖像幅值;ΔΦs,o(x,y)為相位偏差函數(shù);T為噪聲補(bǔ)償;ε是一個(gè)極小的常數(shù),防止分母為0。

PC圖描述了圖像的特征顯著性,主要包含圖像邊緣結(jié)構(gòu)和強(qiáng)響應(yīng)角點(diǎn),但其易受噪聲干擾,因此,用PC圖構(gòu)造的特征描述子通常不大精確,辨識(shí)能力有限。有研究表明[7-8],Log-Gabor奇對(duì)稱濾波器的濾波結(jié)果主要為圖像上重復(fù)性更高的邊緣,更適于不同模態(tài)圖像的特征提取與匹配。而為了獲得更加豐富的邊緣結(jié)構(gòu)特征,本文將多個(gè)尺度和方向的Log-Gabor奇對(duì)稱濾波器的濾波結(jié)果進(jìn)行信號(hào)平方和累加,以獲得累積結(jié)構(gòu)特征圖:

為了消除CSF特征值絕對(duì)量的影響,將式(5)進(jìn)行歸一化,可得到最后的累積結(jié)構(gòu)特征圖模型:

CSF是一幅圖像,其像素值表征了邊緣結(jié)構(gòu)的特征顯著性。后續(xù)實(shí)驗(yàn)定性結(jié)果顯示CSF圖在細(xì)節(jié)和紋理上比PC圖更豐富,非零元素大大減少,可有效克服PC圖易受噪聲干擾的問(wèn)題,理論上更適于多模態(tài)圖像的特征描述。

文獻(xiàn)[9-10] 均依賴圖像梯度提取特征點(diǎn),在存在顯著非線性輻射差異的圖像上很難獲得大量重復(fù)的特征點(diǎn),不利于后續(xù)的特征匹配。Kovesi[11]通過(guò)對(duì)PC圖進(jìn)行協(xié)方差分析,分別在最大分量圖和最小分量圖上提取邊緣點(diǎn)和角點(diǎn)。但最大分量圖受Log-Gabor偶對(duì)稱濾波結(jié)果影響,會(huì)潛在影響特征點(diǎn)的重復(fù)性。而本文在設(shè)計(jì)特征匹配方法時(shí)只考慮邊緣結(jié)構(gòu),因?yàn)槠鋵?duì)噪聲點(diǎn)的敏感性更小。因此,后續(xù)實(shí)驗(yàn)中直接在只包含邊緣結(jié)構(gòu)的CSF圖上采用FAST[12]方法進(jìn)行特征點(diǎn)提取。

1.3 方向特征圖構(gòu)造

Kovesi[11]的模型中PC圖的最小分量對(duì)應(yīng)的軸即為特征點(diǎn)的方向,但該方向信息既有邊緣結(jié)構(gòu)的貢獻(xiàn),也有角點(diǎn)的貢獻(xiàn),后者中可能混有強(qiáng)響應(yīng)的噪聲,從而導(dǎo)致方向統(tǒng)計(jì)不夠精確。而Log-Gabor奇對(duì)稱濾波結(jié)果主要包含邊緣結(jié)構(gòu)特征,易于表達(dá)特征變化最顯著的方向,從而表征特征的方向信息。通過(guò)多個(gè)尺度和方向的Log-Gabor奇對(duì)稱濾波結(jié)果在水平和垂直方向的分量可計(jì)算CSF特征值的方向信息,計(jì)算方式如下:

式中:ψ(x,y)的范圍為[0,2π),ψ也是一幅圖像,稱為方向特征圖。

1.4 特征描述符構(gòu)造和特征向量匹配

結(jié)合梯度方向直方圖的概念,在以邊緣特征點(diǎn)為中心的鄰域窗口內(nèi),利用高斯核函數(shù)對(duì)CSF特征值大小進(jìn)行加權(quán),計(jì)算CSF特征方向直方圖,以直方圖的峰值方向作為該特征點(diǎn)的主方向。CSF特征方向直方圖的范圍是0°～360°,每隔10°分為一柱。將邊緣特征點(diǎn)局部鄰域的坐標(biāo)軸旋轉(zhuǎn)到其主方向上,然后將鄰域劃分為N×N的圖像塊,每個(gè)圖像塊分為P個(gè)方向,從而形成局部CSF特征描述結(jié)構(gòu)。對(duì)每個(gè)圖像塊內(nèi)的CSF特征值進(jìn)行方向直方圖統(tǒng)計(jì),再將所有直方圖組合起來(lái),形成N×N×P維的CSF特征描述向量。本文在后續(xù)實(shí)驗(yàn)中采用經(jīng)驗(yàn)值(鄰域半徑取48,N取8,P取9),而在實(shí)際的工程應(yīng)用中可根據(jù)遙感影像的分辨率或地物的豐富程度調(diào)整相應(yīng)參數(shù)。

在特征匹配階段,以往文獻(xiàn)中通常采用最近-次近距離比閾值作為匹配判斷準(zhǔn)則,降低該閾值可增加匹配點(diǎn)正確率,但匹配點(diǎn)數(shù)量也會(huì)下降[13]。而該閾值設(shè)置往往依賴于經(jīng)驗(yàn)或數(shù)據(jù),如文獻(xiàn)[13]和文獻(xiàn)[14]中該閾值分別設(shè)置為0.8和0.6。為了避免閾值設(shè)置且盡可能保留更多正確的匹配點(diǎn),本文采用最近距離準(zhǔn)則和雙向匹配策略進(jìn)行特征匹配,獲得一一對(duì)應(yīng)的初始匹配點(diǎn)。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文選擇深度圖與可見(jiàn)光、紅外與可見(jiàn)光、SAR與可見(jiàn)光、Google Map與可見(jiàn)光、光學(xué)-光學(xué)、夜光-白天等6種多模態(tài)遙感圖像匹配場(chǎng)景,每個(gè)場(chǎng)景3組圖像,共計(jì)18組數(shù)據(jù)進(jìn)行實(shí)驗(yàn),驗(yàn)證CSF方法的表現(xiàn)性能。如圖2所示,左邊是參考影像,右邊是待匹配影像;每組圖像中,每種場(chǎng)景選擇一組圖像顯示。數(shù)據(jù)中主要存在微量的旋轉(zhuǎn)和平移且無(wú)明顯的尺度差異,但光譜差異大、非線性輻射差異明顯。其中前三組圖像比后三組圖像更難匹配,因?yàn)槠鋱D像對(duì)之間的非線性輻射差異更加明顯,對(duì)描述子的辨識(shí)能力要求也更高。

圖2 部分實(shí)驗(yàn)數(shù)據(jù)

2.2 評(píng)估指標(biāo)和實(shí)驗(yàn)細(xì)節(jié)

將CSF方 法 與SIFT[13]、SAR-SIFT[15]、LHOPC[10]和RIFT[2]進(jìn)行對(duì)比,以成功匹配數(shù)(Success Number,SN)、匹配正確點(diǎn)數(shù)目(Number of Correct Number,NCM)、匹配正確率(Ratio of Correct Number,RCM)和運(yùn)行時(shí)間作為評(píng)估指標(biāo)。SIFT和SAR-SIFT選擇文獻(xiàn)中的默認(rèn)參數(shù)運(yùn)行。為了盡可能公平比較CSF、LHOPC和RIFT的表現(xiàn)性能,三者均在CSF圖上提取不超過(guò)2 500個(gè)特征點(diǎn),以保證特征點(diǎn)輸入相同;同時(shí)主方向和描述符的計(jì)算方式及參數(shù)均相同,以保證三者的性能不受描述符局部區(qū)域大小和構(gòu)造方式的影響,從而評(píng)估描述子的辨識(shí)能力。所有算法采用Matlab 2014a編程,運(yùn)行環(huán)境為Inter(R) Core(TM) i7-6700HQ CPU@2.6 GHz和8 GB內(nèi)存。

實(shí)驗(yàn)評(píng)估階段,在原始圖像上人工選擇一定數(shù)量的控制點(diǎn),以單應(yīng)矩陣模型為約束,采用RANSAC方法[16]剔除粗差,保留模型殘差小于3個(gè)像素的匹配點(diǎn),并采用最小二乘對(duì)模型進(jìn)行重估計(jì),產(chǎn)生單應(yīng)性模型真值。以最終匹配點(diǎn)坐標(biāo)和模型真值計(jì)算同名點(diǎn)殘差,將殘差小于3個(gè)像素的匹配點(diǎn)視為正確點(diǎn);若正確點(diǎn)個(gè)數(shù)小于4,則視為匹配失敗。

2.3 非線性輻射差異匹配實(shí)驗(yàn)

上述五種方法的SN、平均NCM和平均NCR對(duì)比如表1所示,NCM運(yùn)行時(shí)間對(duì)比如表2所示。表1中“F”表示該場(chǎng)景下三組數(shù)據(jù)均匹配失敗,而匹配失敗的案例不參與NCM和RCM計(jì)算。

表1 五種算法的成功匹配數(shù)、平均NCM和RCM對(duì)比

表2 五種算法的平均運(yùn)行時(shí)間

由表1可知,SIFT有7對(duì)圖像匹配失敗,成功率為61%,且前三種場(chǎng)景的匹配成功率低于后三種場(chǎng)景,說(shuō)明SIFT對(duì)于少量的非線性輻射差異也具有一定的抗性,但對(duì)存在顯著非線性輻射差異的圖像中很難提取到高度相似的描述子,容易造成大量誤匹配。SAR-SIFT僅在兩對(duì)圖像上匹配成功,成功率僅為11%,且其匹配點(diǎn)數(shù)和正確率均極低,說(shuō)明SAR-SIFT改進(jìn)的梯度計(jì)算方式仍然不能保證提供穩(wěn)定的特征顯著性表達(dá),以此計(jì)算的特征描述符也不夠穩(wěn)健,因此對(duì)于存在顯著強(qiáng)度和對(duì)比度差異的場(chǎng)景適應(yīng)性能很差。而基于結(jié)構(gòu)信息設(shè)計(jì)且原理基本相似的三種描述子LHOPC、RIFT和CSF在6種場(chǎng)景中的匹配成功率分別為94%、100%和100%,間接說(shuō)明采用圖像結(jié)構(gòu)的顯著性特征來(lái)進(jìn)行多模態(tài)圖像匹配比直接采用梯度信息更有優(yōu)勢(shì)。前三種場(chǎng)景中,RIFT的NCM要明顯優(yōu)于LHOPC,說(shuō)明RIFT比LHOPC具有更強(qiáng)的正確匹配召回性能;但RIFT的平均NCR要低于LHOPC,說(shuō)明RIFT匹配結(jié)果中混合大量的誤匹配,其描述子的辨識(shí)能力反而不如LHOPC。而本文提出的CSF方法在平均NCM和NCR上均要優(yōu)于LHOPC和RIFT,說(shuō)明本文采用的累積結(jié)構(gòu)特征圖設(shè)計(jì)描述子要優(yōu)于PC圖,同時(shí)累積結(jié)構(gòu)特征圖也克服了最大指數(shù)圖辨識(shí)能力不足的局限。

由表2可知,平均運(yùn)行時(shí)間上,CSF方法要優(yōu)于SIFT、SAR-SIFT和RIFT,但與LHOPC的運(yùn)行時(shí)間相當(dāng)。其原因是SIFT和SAR-SIFT需要構(gòu)造尺度空間,而RIFT需要構(gòu)造循環(huán)描述子以克服最大指數(shù)圖受構(gòu)造順序影響的缺陷。CSF方法理論上具有LHOPC一致的計(jì)算復(fù)雜度,其時(shí)間消耗均主要集中在多個(gè)尺度和方向的結(jié)構(gòu)信息提取及描述子計(jì)算兩個(gè)環(huán)節(jié),在實(shí)際應(yīng)用中可C++編程結(jié)合并行加速技術(shù)以提高計(jì)算效率。

為了定性分析CSF和LHOPC性能差異的本質(zhì)原因,圖3給出了圖2(c)中SAR和可見(jiàn)光圖像的PC圖和CSF圖。直觀上可以看出,CSF圖上主要為邊緣結(jié)構(gòu),而PC圖上包含邊緣結(jié)構(gòu)和孤立點(diǎn)(含噪聲),而孤立點(diǎn)更容易造成同名點(diǎn)描述子的巨大差異,降低描述子的辨識(shí)能力;CSF圖上非零元素明顯多于PC圖,用其構(gòu)造描述子也更精確。

圖3 圖2(c)中的PC圖和CSF圖對(duì)比

圖4為本文方法的匹配結(jié)果,可見(jiàn)匹配點(diǎn)分布比較均勻,可用于后續(xù)圖像拼接、鑲嵌等常規(guī)遙感圖像數(shù)據(jù)處理任務(wù)。

圖4 本文方法對(duì)于圖2數(shù)據(jù)的匹配結(jié)果

3 結(jié)束語(yǔ)

針對(duì)相位一致性模型在具有非線性輻射差異的多模態(tài)遙感影像特征匹配中非零信息少且易受噪聲干擾而導(dǎo)致特征描述能力有限的問(wèn)題,本文提出了一種累積結(jié)構(gòu)特征圖構(gòu)造和特征描述子建立的新方法。相比PC圖,累積結(jié)構(gòu)特征圖所含非零信息明顯增多,提高了多模態(tài)圖像的結(jié)構(gòu)相似性,直接用于特征提取和描述可有助于獲得高度重復(fù)的特征對(duì)應(yīng),增強(qiáng)匹配成功性。實(shí)驗(yàn)結(jié)果表明,相比SIFT、SAR-SIFT、基于PC圖的LHOPC和RIFT,本文方法在匹配成功率、平均正確匹配數(shù)目和正確率上均有明顯的提升,說(shuō)明了本文方法的有效性。

本文方法暫無(wú)法適應(yīng)重復(fù)紋理或無(wú)紋理結(jié)構(gòu),對(duì)于弱紋理結(jié)構(gòu),可通過(guò)邊緣增強(qiáng)技術(shù)提高其成功率。在實(shí)際應(yīng)用中,特征匹配階段可采用最近一次近距離閾值比準(zhǔn)則提高匹配正確率。筆者通過(guò)前期實(shí)驗(yàn),該閾值設(shè)置為0.95可大幅剔除誤匹配,提高初始匹配正確率,供讀者參考。后續(xù)研究中可將高精度的特征檢測(cè)子與本文的描述子相結(jié)合,同時(shí)擴(kuò)展對(duì)大尺度差異的適應(yīng)性。