基于擴散方程和相位一致的異源圖像配準算法

江澤濤,王 琦

(1.桂林電子科技大學 廣西圖像圖形智能處理研究室,廣西 桂林 541004；2.桂林電子科技大學 廣西高校圖像圖形智能處理研究室,廣西 桂林 541004)

1 引 言

計算機視覺領(lǐng)域,異源圖像配準一直是人們研究的重點和難點,紅外與可見光圖像配準是最常見的異源圖像配準。可見光圖像反映物體的反射信息,紅外圖像反映物體的溫度輻射信息[1-2],兩者信息互為補充,實現(xiàn)異源圖像融合[3],在國土資源調(diào)查、軍事偵查、模式識別等領(lǐng)域有著廣泛應(yīng)用。而兩者的成像機理和拍攝條件不同,圖像輪廓邊緣存在較大的差異,噪聲干擾大,因此研究精度高、正確匹配率高、實時性強和魯棒性強的算法有著重要的實際意義[4-5]。

由于紅外圖像灰度對比度低、信噪比低,通過角點檢測器提取特征點,搜索到的局部極值點數(shù)量極少,不能滿足圖像配準需求,降低閾值則會引入噪聲點。因此,近年來,眾多學者通過邊緣圖像來屏蔽兩種圖像的差異對圖像配準進行約束。例如劉暢[6]等人提出在Canny邊緣提取高曲率特征點的方式,利用相似三角形實現(xiàn)匹配,算法不適用于高噪聲圖像;陳亮[7]等人提取Canny邊緣,剔除灰度變化小的點得到邊緣區(qū)域掩膜圖,用互相關(guān)系數(shù)實現(xiàn)匹配,該算法僅適用于帶有明顯幾何結(jié)構(gòu)的圖像;Ma Jiayi[8]等人提出了基于正則化高斯場的紅外與可見光人臉圖像的配準,利用人臉邊緣信息通過高斯場準則進行配準,該算法是針對人臉圖像,在大范圍場景中時間復(fù)雜度過高;彭逸月[9]、王阿妮[10]等人在Canny邊緣圖像上提取Harris角點進行圖像配準,算法對于圖像重疊區(qū)域比例要求較高。通過研究現(xiàn)有算法,Canny邊緣檢測易受光照變化影響,同時對于模糊邊界的魯棒性不夠,會導致圖像匹配的誤差偏高。

根據(jù)紅外圖像的特點和以上算法存在的不足,本文提出了基于擴散方程和相位一致性模型的紅外與可見光圖像配準算法。使用改進的擴散方程對紅外圖像進行平滑處理,使得在保留目標天然邊界的同時有效降低噪聲的影響；利用相位一致模型提取兩幅圖像的視覺相似性結(jié)構(gòu),克服紅外圖像邊緣結(jié)構(gòu)視覺效果模糊的缺陷;最后在邊緣結(jié)構(gòu)圖上提取特征點AKAZE,進行二值化描述,通過漢明距離實現(xiàn)特征點的匹配。實現(xiàn)圖像的配準。

2 基于擴散方程和邊緣增強的圖像配準算法

2.1 優(yōu)化的擴散方程模型

由于傳統(tǒng)降噪處理會對邊緣產(chǎn)生弱化,從而選擇將物理學中的擴散現(xiàn)象應(yīng)用到圖像處理當中[11-12],建立各向異性擴散傳導模型[13-14]:

(1)

其中,擴散函數(shù)為:

(2)

即PM方程,g1(|L|)是基于圖像梯度的傳統(tǒng)擴散傳導函數(shù),k為對比度參數(shù),一般選擇原始圖像梯度直方圖70%的值。實現(xiàn)了平滑圖像的同時保留了邊緣信息。針對紅外圖像的信噪比低、對比度低的特點,本文提出了一種新的擴散傳導函數(shù):

(3)

改進的傳導函數(shù)與傳統(tǒng)的傳導函數(shù)相比,收斂速度更快,可以保留更多的邊緣信息,在低對比度的圖像中,可以更好地提取邊界。在使用擴散方程的同時加入噪聲點抑制機制,當像素點的擴散傳導函數(shù)值低于閾值時,對該像素點周圍的像素進行差值運算,對非邊緣像素點進行抑制。

利用改進的擴散傳導函數(shù)平滑與經(jīng)典的高斯平滑對比,計算結(jié)果如圖1和圖2所示。

圖1 本文算法的圖像平滑效果

圖2 高斯平滑效果

從圖1的(a)到(d)變換過程可以看出,擴散方程在對圖像進行平滑處理的過程中,能很好地保持圖像的灰度對比度,物體內(nèi)部的弱細節(jié)被平滑,邊緣部分被很好的保留;圖2的(a)到(b)中,高斯平滑圖像隨著平滑的進行,圖像灰度對比度被降低,邊緣部分逐漸模糊。這是因為傳統(tǒng)的高斯空間對于圖像目標中的所有像素點有著相同的平滑效果,在消除噪聲的同時目標邊界也被模糊化的現(xiàn)象,非線性擴散由于各向異性的存在使得對于目標邊界的影響大幅度的降低,最大限度保留目標輪廓。

2.2 基于相位一致性的邊緣提取

相位一致性由Morrone等提出的一種局部能量模型[15-16],在研究和實驗中發(fā)現(xiàn),相位一致性與人類視覺對圖像結(jié)構(gòu)有著相似的認知特性,是一種視覺不變特征。相位一致模型能夠濾除異源圖像的視覺差異,提取出圖像中視覺相似的邊緣結(jié)構(gòu)。針對傳統(tǒng)相位一致邊緣定義計算開銷大的缺陷,提出了新的邊緣函數(shù)的定義。

本文使用Log-Gabor濾波器在不同方向和尺度上計算像素點的幅值和相位響應(yīng)值,計算公式如下:

(4)

(5)

(6)

其中,Ws,θ(x,y)是權(quán)值；T是噪聲閾值；?·」是非正抑制函數(shù)；Δφs,θ(x,y)是相位偏移度量函數(shù):

(7)

相位一致性測度屬于[0,1]的量綱一,其值反應(yīng)的是圖像特征的顯著大小,經(jīng)典算法將相位一致性的邊緣特征定義如下:

(8)

其中:

(9)

cos(θ))

(10)

(11)

改進算法,將特征邊緣定義為:

(12)

從定義中可以看出,新的邊緣特征與原算法相比,計算開銷將會有大幅度的降低,通過將三個協(xié)方差變量取均值,可以去除雜波的影響,通過后續(xù)實驗可以發(fā)現(xiàn),在算法復(fù)雜性減小的同時算法精度沒有較大變化,仍然可以保留完成的邊緣主體結(jié)構(gòu)。

提取邊緣之后使用最大化抑制的方法濾去噪聲干擾,并對邊緣強度圖像進行二值化處理,通過以上舉措來強化邊緣信息。

由于紅外的輻射特性,得到初步邊緣圖像之后,物體邊緣會存在少許擴散現(xiàn)象,從邊緣兩側(cè)根據(jù)梯度下降最快方向的反方向收斂操作,如圖3所示。

圖3 邊緣收斂過程圖

相位一致算法與Canny邊緣檢測的對比效果如圖4所示。

圖4 邊緣提取對比圖

由于紅外圖像的灰度對比度低,Canny邊緣檢測對于邊界細節(jié)的損失嚴重,而相位一致模型對于光照和對比度具有不變性,能較好地提取出原圖邊緣細節(jié),更好地用于特征提取。

2.3 特征提取及描述

AKAZE特征[17]檢測與SIFT檢測類似,通過尋找不同尺度歸一化后的Hessian矩陣的局部極大值來實現(xiàn)。具有尺度不變性和旋轉(zhuǎn)不變性。

得到特征點之后,為了使特征點具有旋轉(zhuǎn)不變性,在特征點周邊的局部區(qū)域來計算特征點的主方向。在特征點為圓心的圓形區(qū)域,通過一個π/3的扇形活動窗口對臨近點進行向量疊加,遍歷完整個圓形區(qū)域后,獲得最長向量長度的方向則為特征點的主方向。

為了計算速度更快和匹配效率更高,采用魯棒性強的二值化的局部差分描述子(M-LDB)。M-LDB在一般二進制描述子采用強度信息的基礎(chǔ)上,引用了圖像像素的梯度信息,依據(jù)特征點主方向?qū)⒕W(wǎng)格旋轉(zhuǎn),得到的像素點響應(yīng)函數(shù)為:

(13)

其中,fintensity是網(wǎng)格內(nèi)像素點強度的平均值,對每個網(wǎng)格點進行二進制檢測,檢測函數(shù)如下:

(14)

得到的結(jié)果組成N位的二進制編碼作為特征點的描述子。

2.4 特征點匹配

得到特征點集的二值化描述子之后,利用計算效率更高的漢明距離作為距離測量準則對特征點進行匹配。首先是進行K臨近算法的粗匹配,計算出特征集中的點與訓練集中點的漢明距離,以距離最小的點對作為粗匹配的結(jié)果;然后利用尋找特征點對之間的單應(yīng)性變換進行過濾消除誤匹配,細化匹配結(jié)果。

2.5 算法流程

算法的流程圖如圖5所示。算法的執(zhí)行過程描述如下:

(1)改進擴散系數(shù)g2,利用各向異性擴散方程對紅外圖像進行預(yù)處理;

(2)使用相位一致性模型對擴散處理的紅外圖像和可見光圖像提取圖像的視覺相似性結(jié)構(gòu)特征,構(gòu)成邊緣結(jié)構(gòu)圖;

(3)在紅外與可見光圖像的邊緣結(jié)構(gòu)圖上進行AKAZE特征點的提取;

(4)對特征點進行二值化描述,得到二值化描述子M-LDB;

(5)采用K臨近算法,計算紅外與可見光圖像中特征點漢明距離,選出擬匹配對;

(6)對擬匹配對進行單應(yīng)性檢測,刪除誤匹配點;

(7)根據(jù)匹配點得出坐標的變換系數(shù),實現(xiàn)圖像的配準。

圖5 算法流程圖

3 實驗結(jié)果與分析

3.1 實驗圖像及特征點匹配

為驗證本文算法在尺度變換、遮擋、噪聲的圖像條件下的魯棒性,本實驗采用三個場景的紅外與可見光的測試圖像,對算法的性能進行測試。場景一是帶有光照變換的室外場景圖(圖6),場景二是室外有煙霧遮擋的平房圖(圖7),場景三是室外帶有視角變換的電器設(shè)備圖(圖8)。

圖6 場景一測試圖像

利用擴散方程平滑處理和相位一致模型提取邊緣結(jié)構(gòu),效果圖如圖6(c)和圖6(d)、圖7(c)和圖7(d)、圖8(c)和圖8(d)所示,得到的邊緣結(jié)構(gòu)圖已有效地濾除紅外與可見光圖像因成像機制不同引起的灰度和對比度差異,得到的邊緣圖像有很好的相似性和可比性,為后續(xù)提取特征點打好基礎(chǔ)。

圖7 場景二測試圖像

圖8 場景三測試圖像

利用提取到的邊緣圖,進行特征的提取和特征的匹配,最終得到的匹配效果如圖9、圖10、圖11所示,在邊緣結(jié)構(gòu)提取AKAZE特征點,使得有效用于匹配的特征點均位于邊緣結(jié)構(gòu)上;在匹配過程中使用單應(yīng)性檢測,刪除誤匹配,最終保留的正確匹配對的數(shù)量保持在10～20對;最后根據(jù)匹配特征點的坐標計算得到變換模型的參數(shù),實現(xiàn)圖像的配準。

圖9 場景一匹配效果圖

圖10 場景二匹配效果圖

圖11 場景三匹配效果圖

3.2 配準精確度對比和效率分析

為檢驗算法的配準性能,將本文算法與同樣采用邊緣圖像的文獻[9]文獻[16]的算法進行比較,文獻[9]通過Canny邊緣和邊界閾值操作得到邊緣區(qū)域掩膜圖進行匹配的;文獻[16]采用邊緣強度圖映射的方式,使用并行遺傳算法進行全局尋優(yōu)和Powell進行局部優(yōu)化的方式實現(xiàn)配準。為保證比較結(jié)果的公平性,本次對比只針對標記點誤差和計算復(fù)雜性進行對比。

在標記點誤差方面,采用標記點的均方根誤差(RMSE)作為配準算法精確度的依據(jù)。已知匹配標記點是通過手工方式選取。對實驗圖像分別選擇五對標記點用于測量。RMSE的計算公式為:

(16)

圖12 誤差曲線

圖12的誤差曲線中,橫坐標為五個匹配標記點,縱坐標為坐標誤差,可以看出在場景一中,由于紅外圖像與可見光圖像的結(jié)構(gòu)清晰,三種算法誤差均控制在一個像素點左右;在場景二中存在煙霧遮擋的問題,三種算法的匹配誤差都有增加,本文算法的精度較高受煙霧干擾較小;在場景三中,電器設(shè)備的熱紅外圖與可見光圖存在尺度變化,目標邊緣存在噪聲干擾,文獻[9]和文獻[16]的方法受尺度影響較大,存在誤匹配現(xiàn)象,相比之下,本文算法配準誤差最小。通過上述實驗結(jié)果可以看出,本文算法在圖像配準上有著較高的精度,可以較好的克服煙霧遮擋和尺度變化的影響。

在計算復(fù)雜度方面,計算開銷主要是特征提取和特征匹配。如圖13所示,在特征點提取方面,本文算法首先進行擴散函數(shù)圖像平滑,再進行邊緣結(jié)構(gòu)檢測和特征點提取,時間開銷相對較高,平均耗時約1600 ms;文獻[9]采用的Canny邊緣檢測和掩膜處理,平均耗時約為620 ms;文獻[16]采用相位一致模型邊緣檢測,平均耗時約為310 ms。在特征匹配方面,本文算法采用K臨近算法和單應(yīng)性檢測耗時相對較低,文獻[9]和文獻[16]采用優(yōu)化算法進行參數(shù)尋優(yōu)耗費了大量的時間。

圖13 配準時間

4 結(jié) 論

本文提出了一種基于擴散方程和相位一致性的紅外與可見光圖像配準算法,這是將圖像降噪處理和邊緣檢測相結(jié)合的圖像配準算法。首先對紅外圖像進行擴散處理;接著對紅外圖像和可見光圖像利用相位一致模型提取邊緣結(jié)構(gòu);然后在圖像的邊緣結(jié)構(gòu)上提取AKAZE特征點;最后采用漢明距離作為度量準則進行特征匹配從而實現(xiàn)圖像的配準。實驗中,本文算法在簡單場景、噪聲高的場景和尺度變換的場景中均能實現(xiàn)較快和較準確的圖像配準結(jié)果。

參考文獻:

[1] YUAN Jinsha,ZHAO Zhenbing,GAO Qiang,et al.Review and prospect on infrared/visible image registration[J].Lsaer & Infrared,2009,39(7):693-699.(in Chinese)

苑津莎,趙振兵,高強.紅外與可見光圖像配準研究現(xiàn)狀與展望[J].激光與紅外,2009,39(7):693-699.

[2] Dong Xiaojie,Liu Erqi,Yang Jie,Wu Qiang.Visible and infrared automatic image registration based on SLER[J].Journal of Infrared and Millimeter Waves,2014,33(1):90-97.

[3] ZHOU Yuren,GENG Aihui,ZHANG Qiang,et al.Fusion of infrared and visible image based on compressive sensing[J].Optics and Precision Engineering,2015,23(3):855-863.(in Chinese)

周渝人,耿愛輝,張強.基于壓縮感知的紅外與可見光圖像融合[J].光學 精密工程,2015,23(3):855-863.

[4] Xiaolei Feng,Wei Wu,Zhi Li,et al.Weighted-Hausdorff distance using gradient orientation information for visible and infrared image registration[J].Optik-international Journal for Light and Electron Optics,2015,126(23):3823-3829.

[5] Feihong Wu,Bingjian Wang,Xiang Yi,et al.Visible and infrared image registration based on visual salient features[J].Journal od Electronic Image,2015,24(5):053017.

[6] LIU Chang,CUI Tong,HE Chenglong,et al.Infrared-Visual image registration based on High-Curvature Feature Matching[J].Command Information System and Technology,2016,7(1):13-17.(in Chinese)

劉暢,崔桐,賀成龍,等.基于高曲率特征點匹配的紅外與可見光圖像匹配[J].指揮信息系統(tǒng)與技術(shù),2016,7(1):13-17.

[7] CHEN Liang,ZHOU Mengzhe,CHEN He.A method for image registration combined by edge region and cross correlation[J].Transactions of Beijing Institute of Technology,2016,36(3):320-325.(in Chinese)

陳亮,周孟哲,陳禾.一種結(jié)合邊緣區(qū)域和互相關(guān)的圖像配準方法[J].北京理工大學學報,2016,36(3):320-325.

[8] Jiayi Ma,Ji Zhao,Yong Ma,et al.Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J].Pattern Recognition,2015,(48):772-784.

[9] PENG Yiyue,HE Weiji,GU Guohua,et al.Visible and infrared image registration algorithm based on features points[J].Laser & Infrared,2012,42(6):713-717.(in Chinese)

彭逸月,何偉基,顧國華.基于特征點的紅外與可見光圖像配準研究[J].激光與紅外,2012,42(6):713-717.

[10] WANG Ani,MA Caiwen,LIU Shuang.Infrared and visible images automatic registration algorithm based on corner[J].Acta Photonica Sinica,2009,38(12)3328-3332.(in Chinese)

王阿妮,馬彩文,劉爽.基于角點的紅外與可見光圖像自動配準算法[J].光子學報,2009,38(12):3328-3332.

[11] WANG Weiwei,FENG Xiangchu.Fast numerical solution of diffusion equations in image processing[J].Journal of Electronics and Information Technology,2009,31(7):1736-1740.(in Chinese)

王衛(wèi)衛(wèi),馮象初.圖像處理中擴散方程的快速數(shù)值解法[J].電子與信息學報,2009,31(7):1736-1740.

[12] DING Chang,YIN Qingbo,LU Mingyu.Summary of Partial Differential Equation(PDE) Method on Digital Image Processing[J].Computer Science,2013,40(11):341-346.(in Chinese)

丁暢,尹清波,魯明羽.數(shù)字圖像處理中的偏微分方程方法綜述[J].計算機科學,2013,40(11):341-346.

[13] TONG Cheng,WANG Shitong,MAN Lihong.Improved image denosing method based on PDE[J].Computer Engineering and Applications,2010,46(15):176-178.(in Chinese)

佟成,王士同,滿麗紅.一種改進的PDE圖像去噪方法[J].計算機工程與應(yīng)用,2010,46(15):176-178.

[14] ZHOU Huixin,ZHAO Ying,QIN Shimin,et al.Infrared dim and small target detection algorithm based on multi-sclae anisotropic diffusion equation[J].Acta photonica sinica,2015,(9):152-156.(in Chinese)

周慧鑫,趙營,秦翰林,等.多尺度各向異性擴散方程的紅外弱小目標檢測算法[J].光子學報,2015,(9):152-156.

[15] Perter Kovesi.Phase congruency detects corners and edges[J].Digital Image Computing:Techniques and Applications,2003：309-318.

[16] LIAN Lin,LI Guohui,ZHANG Jun.An automatic registration algorithm of infrared and visible images based on optimal mapping of edges[J].Acat Automatic Sinica,2012,38(4):570-581.(in Chinese)

廉藺,李國祥,張軍.基于邊緣最優(yōu)映射的紅外與可見光圖像自動配準算法[J].自動化學報,2012,38(4):570-581.

[17] Alcantarilla P F.Fast explicit diffusion for accelerated features in nonlinear scale spaces[C].British Machine Vision Conference,2013:13.1-13.11.