基于多尺度多方向Gabor模板的光學(xué)/SAR景象匹配

蔣運輝

(中國西南電子技術(shù)研究所,成都 610036)

基于多尺度多方向Gabor模板的光學(xué)/SAR景象匹配

蔣運輝

(中國西南電子技術(shù)研究所,成都 610036)

合成孔徑雷達(dá)(SAR)成像制導(dǎo)通常采用光學(xué)基準(zhǔn)圖和SAR實時圖進(jìn)行特征提取和景象匹配。提出了一種光學(xué)/SAR異類影像匹配方法,利用多尺度多方向Gabor模板提取圖像的Gabor特征后進(jìn)行特征匹配,首先對SAR圖像進(jìn)行方向Frost濾波預(yù)處理,然后分別計算光學(xué)圖像和SAR圖像的高斯梯度圖像,再利用多尺度多方向二維Gabor濾波器模板分別對兩幅高斯梯度圖像進(jìn)行特征提取,最后對兩組特征矩陣進(jìn)行歸一化互相關(guān)匹配。該方法直接利用光學(xué)圖像和SAR實時圖進(jìn)行景象匹配,實驗表明,該異類影像匹配方法較其他傳統(tǒng)方法具有較高的魯棒性和準(zhǔn)確性。

光學(xué)圖像;SAR圖像;景象匹配;Gabor濾波模板;歸一化互相關(guān)匹配

1 引 言

合成孔徑雷達(dá)(SAR)成像制導(dǎo)以其全天候、全天時、抗干擾能力強(qiáng)等優(yōu)點,已經(jīng)成為精確制導(dǎo)的研究熱點[1]。基于SAR實時圖的景象匹配是SAR成像制導(dǎo)的關(guān)鍵技術(shù)之一。由于我國高分辨SAR影像資源較少,SAR影像資源保障比較困難,因此景象匹配所需基準(zhǔn)圖通常采用光學(xué)圖像制備,提取光學(xué)基準(zhǔn)圖和SAR實時圖的共性特征進(jìn)行匹配。

異類影像匹配方法有很多,一些學(xué)者在這方面進(jìn)行了較為深入的研究,也提出了許多有效的算法,包括基于邊緣匹配、區(qū)域匹配、相關(guān)匹配等。邊緣匹配[2]通常采用Hausdorff距離作為匹配相似性度量,缺點是運算量大,而且對實時圖信噪比以及邊緣提取準(zhǔn)確性有較高要求。區(qū)域匹配[3]是對基準(zhǔn)圖和實時圖進(jìn)行區(qū)域分割和灰度填充后進(jìn)行匹配,適宜于機(jī)場、港口等SAR圖像灰度對比明顯的場景,但是區(qū)域匹配依賴于區(qū)域分割的準(zhǔn)確程度,過分割或者欠分割都影響匹配精度甚至出現(xiàn)失配的情況。

歸一化互相關(guān)匹配(NCC)[4]算法以其匹配精度高、易于工程實現(xiàn)的優(yōu)點被廣泛應(yīng)用于成像匹配末制導(dǎo),但該算法也有一定局限性。首先要預(yù)先制備光學(xué)基準(zhǔn)圖,將光學(xué)圖像仿真成SAR圖像,或制備成區(qū)域灰度分布與SAR圖像類似的二值或多值基準(zhǔn)圖,然后將其與SAR實時圖進(jìn)行歸一化互相關(guān)匹配,因此光學(xué)基準(zhǔn)圖的制備是決定匹配性能好壞的關(guān)鍵性因素之一,由于需要人工參與制備,因此受人員的專業(yè)素質(zhì)和制備經(jīng)驗影響較大,給景象匹配帶來不確定因素,同時增加了戰(zhàn)斗保障的難度。其次,基于灰度的歸一化互相關(guān)匹配受圖像畸變影響較大,如果基準(zhǔn)圖和實時圖之間存在幾何上的旋轉(zhuǎn)、縮放、畸變,將對相關(guān)匹配的準(zhǔn)確性帶來較大影響。

本文提出了一種新的光學(xué)/SAR異類影像匹配方法,綜合利用Gabor濾波器抗畸變干擾能力強(qiáng)和歸一化互相關(guān)算法匹配精度高的優(yōu)點,直接利用光學(xué)圖像和SAR實時圖進(jìn)行基于多尺度多方向Gabor模板的相關(guān)匹配,無需預(yù)先對光學(xué)圖像進(jìn)行基準(zhǔn)圖制備。首先對SAR圖像進(jìn)行方向Frost濾波,在保持邊緣細(xì)節(jié)的同時抑制相干斑噪聲;然后分別計算光學(xué)圖像和SAR圖像的高斯梯度圖像,再利用多尺度多方向二維Gabor濾波器組分別對兩幅高斯梯度圖像進(jìn)行特征提取;最后對兩組特征矩陣進(jìn)行歸一化互相關(guān)匹配。

2 SAR圖像相干斑抑制

SAR圖像存在著嚴(yán)重的相干斑噪聲,計算其高斯梯度圖像之前必須先進(jìn)行相干斑的抑制。首先利用比率平均算子檢測出邊緣方向,然后進(jìn)行方向Frost濾波[5],在保持邊緣的同時大大抑制了相干斑噪聲。

Frost濾波器[6]對每個脈沖的響應(yīng)為

式中,K1是濾波器的歸一化參數(shù);CI(t0)是從以 t0為中心的窗口計算得到圖象中局部區(qū)域的變化系數(shù)(計算式CI=σI/ I); t =(x,y)是空間坐標(biāo)的模,即以當(dāng)前像素為中心的局部區(qū)域內(nèi)像素到中心點的距離。

Frost濾波實際上是一種自適應(yīng)權(quán)值的加權(quán)均值濾波器,能較好地去除圖像噪聲,但該方法不能很好地保持圖像的邊緣。為了盡最大可能濾除圖像噪聲的同時保持圖像中的邊緣細(xì)節(jié),可采用方向濾波的方法。利用比率-平均邊緣檢測器[7]判斷當(dāng)前像素處是否存在邊緣,若存在邊緣,則給出邊緣方向,在邊緣方向上進(jìn)行一維Frost濾波;若當(dāng)前像素處不存在邊緣,則進(jìn)行二維Frost濾波。

3 高斯梯度圖像

3.1 光學(xué)/SAR圖像邊緣及梯度模型

眾所周知,光學(xué)或SAR圖像的邊緣橫截面類似于階躍函數(shù)(如圖1所示),其一階導(dǎo)數(shù)與脈沖函數(shù)相似(如圖2所示),但是光學(xué)圖像和SAR圖像邊緣的一階導(dǎo)數(shù)往往呈現(xiàn)形狀相同、符號不同的情況,但其絕對值形狀和符號都相同,因而具有相同的梯度模型。

圖1 邊緣橫截面函數(shù)模型Fig.1 Functionmodel of edge cross section

圖2 邊緣函數(shù)梯度模型Fig.2 Gradient model of edge function

3.2 高斯梯度圖像

高斯函數(shù)具有很好的邊緣提取的性能,利用二維高斯函數(shù)的梯度模板對光學(xué)/SAR圖像進(jìn)行濾波可以計算圖像的高斯梯度圖像。二維高斯濾波器[8]方程及其一階偏導(dǎo)數(shù)方程為

二維高斯濾波器的梯度函數(shù)為

將光學(xué)圖像和SAR圖像分別與二維高斯梯度模板卷積就得到了光學(xué)梯度圖像和SAR梯度圖像。

4 多尺度多方向二維Gabor濾波

4.1 二維 Gabor濾波

二維Gabor函數(shù)[9]就是一個被高斯函數(shù)調(diào)制的正弦或余弦函數(shù),其數(shù)學(xué)形式為

式中,σx和σy是尺度參數(shù),ω是頻率參數(shù),θ確定了Gabor函數(shù)的朝向,gi(x,y)是復(fù)數(shù)形式,由奇偶兩部分組成,奇部分表示高斯函數(shù)調(diào)制正弦函數(shù),偶部分表示高斯函數(shù)調(diào)制余弦函數(shù)。圖3為一組Gabor模板,θ每隔 20°一個模板,上面18個是奇模板,下面18個是偶模板。

圖3 一種尺度18個方向的Gabor模板Fig.3 Gabor templates with one scale and 18 directions

4.2 多尺度多方向Gabor濾波器特征矩陣

每個Gabor模板和光學(xué)/SAR圖像中與Gabor模板大小相同的局部圖像卷積就得到了一個特征值,每個尺度若構(gòu)建36個Gabor模板,就可以用這36個Gabor模板分別與光學(xué)/SAR局部圖像卷積就得到了36個特征值組成的一個特征矩陣,這個特征矩陣就可以表征在該尺度下光學(xué)/SAR局部圖像的特征。本文采用多種尺度下的特征矩陣組成一個更大的特征矩陣,就可以將光學(xué)圖像和SAR圖像的相關(guān)運算轉(zhuǎn)化為利用各自像的局部圖像分別計算得到的特征矩陣進(jìn)行相關(guān)運算,即圖像的匹配轉(zhuǎn)化為對特征矩陣的匹配問題。

圖4是2種尺度 18個方向的Gabor模板,上面36個Gabor模板是一組大尺度模板,下面36個模板是一組小尺度模板,可以將這72個Gabor模板分別與光學(xué)和SAR局部圖像相卷積得到一個8×9的特征矩陣,然后分別對光學(xué)局部圖像特征矩陣與SAR圖像局部特征矩陣?yán)脷w一化互相關(guān)算法計算這兩個特征矩陣的相關(guān)性度量。

圖4 兩種尺度18個方向的Gabor模板Fig.4 Gabor templateswith two scales and 18 directions

基于多尺度多方向Gabor濾波器組的特征矩陣相關(guān)運算的運算量較傳統(tǒng)的歸一化互相關(guān)運算的運算量大大降低了。以Gabor模板大小為33×33為例,傳統(tǒng)的灰度歸一化互相關(guān)運算需要計算兩個33×33=1 089像素的圖像矩陣相關(guān)運算,現(xiàn)在只需計算8×9=72個元素的特征矩陣的相關(guān)運算,運算量呈數(shù)量級減少了。

5 基于Gabor特征矩陣的歸一化互相關(guān)匹配

5.1 歸一化互相關(guān)匹配原理

傳統(tǒng)的基于灰度的歸一化互相關(guān)匹配直接對基準(zhǔn)圖和實時圖進(jìn)行相關(guān)匹配運算。當(dāng)實時圖在基準(zhǔn)圖中可能范圍內(nèi)遍歷的時候,保留實時圖在基準(zhǔn)圖各個可能位置上的去均值歸一化互相關(guān)度量值,所有的互相關(guān)值的集合形成相關(guān)曲面,相關(guān)曲面的相關(guān)峰中的最大值記做最高峰。通常最高峰所對應(yīng)的位置即為實時圖在基準(zhǔn)圖中的匹配位置。而最高峰鄰域之外的相關(guān)峰極大值為次高峰,次高峰與最高峰之間的比值可以作為匹配置信度的衡量。

已知基準(zhǔn)圖X尺寸為M×N,實時圖Y尺寸為m×n,則歸一化互相關(guān)的相關(guān)性度量值為

式中,xij為基準(zhǔn)圖子圖X中第i行、第j列像元的灰度值;yij為實時圖Y中第i行、第j列像元的灰度值。相關(guān)系數(shù)極大值對應(yīng)子圖在基準(zhǔn)圖上的位置即為最佳匹配位置。

傳統(tǒng)的歸一化互相關(guān)匹配算法適用于對同源圖像的景象匹配,而且對圖像的旋轉(zhuǎn)、縮放等幾何畸變十分敏感,因此研究新的魯棒性算法十分必要。

5.2 基于Gabor特征矩陣的歸一化互相關(guān)匹配

本文將多尺度多方向Gabor特征提取與歸一化互相關(guān)匹配相結(jié)合,提出對光/SAR圖像的Gabor特征矩陣進(jìn)行相關(guān)匹配,兼顧了Gabor濾波器對圖像畸變不敏感的特點,同時具有歸一化互相關(guān)算法匹配準(zhǔn)確性高的特點,而且大大提高了實時性,因此具有較強(qiáng)的實用價值。

對于大基準(zhǔn)圖和小實時圖的景象匹配,基準(zhǔn)圖X尺寸為M×N,實時圖Y尺寸為m×n,則小實時圖在大基準(zhǔn)圖中遍歷搜索區(qū)域的大小為(M-m)×(N-n),實時圖在基準(zhǔn)圖中每移動一個像素的位置都需要將實時圖與基準(zhǔn)圖中當(dāng)前像素位置處的基準(zhǔn)圖子圖重新匹配一下,即將實時圖特征矩陣與基準(zhǔn)圖子圖特征矩陣進(jìn)行相關(guān)匹配。

由于實時圖和基準(zhǔn)圖子圖往往要遠(yuǎn)大于Gabor模板,若Gabor模板大小為k×k,則將實時圖和基準(zhǔn)圖子圖劃分成(m/k)×(n/k)個Gabor卷積區(qū)域,而每個卷積區(qū)域都能計算得到一個小Gabor特征矩陣,因此(m/k)×(n/k)個小Gabor特征矩陣將組成一個大Gabor特征矩陣。

以實時圖大小為480×320、Gabor模板大小為33×33為例,小Gabor特征矩陣大小 9×8,而大Gabor矩陣由14×9個小Gabor特征矩陣組成,即大Gabor特征矩陣的大小為126×72。因此兩個480×320的圖像匹配轉(zhuǎn)化為兩個126×72大小的特征矩陣進(jìn)行匹配,相關(guān)匹配運算量大大減少了。

5.3 實時匹配優(yōu)化

為了提高景象匹配的實時性,需要從以下幾個方面對算法進(jìn)行優(yōu)化。

(1)搜索策略優(yōu)化

可以對基準(zhǔn)圖和實時圖進(jìn)行金字塔分解,逐級縮小圖像,進(jìn)行多級匹配[10]計算,一般分兩三層就可。先在底層圖像中,通過隔行隔列搜索和Gabor特征匹配,計算相關(guān)面,得到塔式分解底層搜索粗匹配位置,然后返回上一級塔式分解的實時圖和基準(zhǔn)圖,在粗匹配點的鄰域內(nèi)進(jìn)行精匹配。

(2)Gabor特征計算優(yōu)化

基準(zhǔn)圖各子圖的Gabor特征矩陣不需要實時計算,可以在實時處理前預(yù)先計算或加載;實時圖的Gabor特征矩陣需要實時計算,但可以在遍歷搜索循環(huán)前預(yù)先計算出來,循環(huán)遍歷搜索時只需對預(yù)先計算好的Gabor特征矩陣進(jìn)行歸一化互相關(guān)處理。

(3)歸一化互相關(guān)算法優(yōu)化[11]

計算rk的值可以轉(zhuǎn)化為計算下式:

6 實驗結(jié)果

實驗中采用背景復(fù)雜的某機(jī)場場景圖像,圖5為星載可見光遙感影像基準(zhǔn)圖,圖6為SAR實時圖,圖7為經(jīng)過方向Frost濾波后的SAR實時圖,圖8為光學(xué)基準(zhǔn)圖的高斯梯度圖,圖9為SAR實時圖(圖7)的高斯梯度圖。

圖5 光學(xué)基準(zhǔn)圖Fig.5 Optical reference iamge

圖6 SAR實時圖Fig.6 real-time SAR image

圖7 SAR方向Frost濾波圖Fig.7 SAR Frost direction filtering image

圖8 光學(xué)高斯梯度圖Fig.8 OpticalGaussian gradient image

圖9 SAR高斯梯度圖Fig.9 SAR Gaussian gradient image

為了驗證算法的匹配可靠性和精度,對存在各種旋轉(zhuǎn)、縮放畸變的SAR實時圖與光學(xué)基準(zhǔn)圖進(jìn)行匹配驗證。實驗采用了大量SAR圖像進(jìn)行了算法驗證,對機(jī)場機(jī)庫、典型建筑、港口艦船等3類場景進(jìn)行匹配試驗,每類場景選取5幅SAR實時圖,同時對每副SAR圖像單獨或同時施加旋轉(zhuǎn)和縮放畸變進(jìn)行匹配試驗,并對試驗結(jié)果進(jìn)行了分析,得到如表1所示結(jié)果。

表1 匹配實驗結(jié)果Table 1 Results of matching experiment

7 結(jié)束語

從匹配試驗結(jié)果來看,本文所述的基于多尺度多方向二維Gabor模板的光學(xué)/SAR景象匹配算法綜合利用了Gabor特征提取和歸一化互相關(guān)算法,較傳統(tǒng)的景象匹配算法而言具有非常大的優(yōu)勢,不僅不需要在地面上預(yù)先對光學(xué)圖像進(jìn)行復(fù)雜的基準(zhǔn)圖制備,而且采用了Gabor濾波器特征提取能克服SAR實時圖的多種畸變,同時對Gabor特征矩陣進(jìn)行歸一化互相關(guān)運算使之具有較高的匹配精度。另外,本文所述方法與傳統(tǒng)歸一化互相關(guān)匹配算法相比大大提高了算法的實時性。

實驗表明,本文所述的光學(xué)/SAR異類影像匹配方法具備優(yōu)良的算法適應(yīng)性、實時性和較高的匹配精度,具有較強(qiáng)的工程實用價值,有望在SAR成像制導(dǎo)領(lǐng)域得到進(jìn)一步應(yīng)用。下一步工作應(yīng)利用特定應(yīng)用平臺采集大量試驗數(shù)據(jù)對其進(jìn)行充分實驗驗證,對算法的工程實現(xiàn)性進(jìn)行進(jìn)一步研究。

[1]夏思宇.精確制導(dǎo)技術(shù)及其現(xiàn)狀與發(fā)展[J].航空科學(xué)技術(shù),2003(1):11-13.

XIA Si-yu.Precision Guidance Technique and Its Status and Development[J].Aeronautical Science and Technology,2003(1):11-13.(in Chinese)

[2]臧鐵飛,沈庭芝,陳建軍,等.改進(jìn)的Hausdorff距離和遺傳算法在圖像匹配中的應(yīng)用[J].北京理工大學(xué)學(xué)報,2000,20(6):733-737.

ZANG Tie-fei,SHEN Ting-zhi,CHEN Jian-jun,et al.The Application of Improved Hausdorff Distance and Genetic Algorithm in Image Matching[J].Journal of Beijing Institute of Technology,2000,20(6):733-737.(in Chinese)

[3]Gonzalez R C,Woods R E.Digital Image Processing[M].2nd ed.Cranbury,NJ:Pearson Education Inc.,2002.

[4]Tsai S X.Introduction to the Scene Matching Missile Guidance Technologies[R]//AD-A315 439/0/XAB.Fort Belvoir,V A:DTIC,1996:1-11.

[5]蔣運輝,陳懷新.基于小波方向濾波的有云層遙感圖像艦船檢測方法[J].電訊技術(shù),2008,48(1):90-93.

JIANG Yun-hui,CHEN Huai-xin.Ship DetectionMethod Based on Wavelet DirectionalFilter in Cloudy Remote Sensing Images[J].Telecommunication Engineering,2008,48(1):90-93.(in Chinese)

[6]Frost V S,Stiles JA.A model for radar images andits application to adaptive digital filtering of multiplicative noise[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1982(4):157-166.

[7]Bovik A C.On detecting edges in speckle imagery[J].IEEE Transactions on Acoust,Speech,Signal Processing,1988,36(10):1618-1627.

[8]蔣運輝,皮亦鳴.基于Hough變換和遺傳算法的SAR圖像道路檢測[J].雷達(dá)科學(xué)與技術(shù),2005(3):156-162.

JIANG Yun-hui,PI Yi-ming.RoadDetection inSAR Image Based on Hough Transformation and Genetic Algorithm[J].Radar Science and Technology,2005(3):156-162.(in Chinese)

[8]Liu Cheng-jun,Wechsler H.Gabor feature based classification using the enhanced Fisher linear discriminant model for face recognition[J].IEEETransactions on Image Processing,2002,11(4):467-476.

[10]何芳芳,孫繼銀,劉小雷,等.分層搜索在景象匹配中的應(yīng)用研究[J].現(xiàn)代防御技術(shù),2005,33(4):36-38.

HE Fang-fang,SUN Ji-yin,LIU Xiao-lei,et al.Layered-searching for scene matching[J].Modern Defense Technology,2005,33(4):36-38.(in Chinese)

[11]蔣運輝.光學(xué)/SAR圖像的多DSP實時匹配系統(tǒng)的設(shè)計與實現(xiàn)[J].電子測量與儀器學(xué)報,2011,25(5):449-454.

JIANG Yun-hui.Design and implementation of a multi-DSPs′real-time matching system based onoptical andSAR images[J].Journal of Electronic Measurement and Instrument,2011,25(5):449-454.(in Chinese)

JINAG Yun-hui was born in Wugang,Hunan Province,in 1977.He received the B.S.degree from University of Electronic Science and Technology of China in 2005.He is now an engineer.His research interests include image processing,target recognition,precision guidance.

Email:jiangyh@swiet.com.cn

Optical/SAR Scene Matching Based on Two-dimensional Multi-scale and Multi-direction Gabor Templates

JIANG Yun-hui
(Southwest China Institute of Electronic Technology,Chengdu 610036,China)

Generally optical reference image and SARreal-time image are used for feature extraction and scene matching in SAR(Synthetic Aperture Radar)imaging guidance.The heterogenous optical/SAR image matching method proposed in this paper extracts and matches image Gabor features using two-dimensional multi-scale andmulti-direction Gabor templates.Firstly,directional Frost filtering preprocessing on SAR image is performed.Secondly,the Gaussian gradient image of the optical and SAR image are calculated respectively.Then,features are extracted from the two Gaussian gradient images using multi-scale and multi-direction two-dimensional Gabor filter group respectively.Finally,NCC(normalized cross-correlation)matching on the two characteristic matrixes is performed.The proposed method implements scene matching using optical image and real-time SAR image directly.The experiment result shows that the heterogenous image matching method is more robust and accurate than other traditional methods.

optical image;SAR image;scene matching;Gabor filtering templates;normalized cross-correlation matching

TN957.52

A

10.3969/j.issn.1001-893x.2012.06.018

1001-893X(2012)06-0922-06

2012-03-05;

2012-05-09

蔣運輝(1977—),男,湖南武岡人,2005年于電子科技大學(xué)獲通信與信息系統(tǒng)專業(yè)碩士學(xué)位,現(xiàn)為工程師,主要研究方向為圖像處理、目標(biāo)識別、精確制導(dǎo)。