基于邊緣結構特征的紅外與可見光圖像配準算法

徐海洋，趙 偉，劉建業(yè)

基于邊緣結構特征的紅外與可見光圖像配準算法

徐海洋，趙 偉，劉建業(yè)

（南京航空航天大學 自動化學院，江蘇 南京 211100）

針對紅外與可見光圖像難以提取特征點實現(xiàn)配準的問題，提出一種基于邊緣結構特征的紅外與可見光圖像配準算法。首先通過優(yōu)化的顯著性算法增強紅外圖像的結構特征；其次利用相位一致性提取紅外和可見光圖像的穩(wěn)定邊緣結構；然后提取邊緣結構的ORB（oriented FAST and rotated BRIEF）特征點；最后結合KNN（K-nearest neighbor）算法和余弦相似度對匹配特征點進行篩選，并應用RANSAC（random sample consensus）算法進行提純。實驗表明，該算法能夠克服灰度差異的影響，具有較高的配準精度和效率，有助于實現(xiàn)紅外與可見光圖像的配準。

顯著性檢測；相位一致性；特征提??；圖像配準

0 引言

紅外與可見光圖像配準是計算機視覺領域中異源圖像配準的重點和難點。紅外傳感器利用熱輻射原理得到物體的溫度信息，但存在成像不清晰等問題；可見光傳感器利用光反射原理得到清晰的物體信息，但存在成像效果受光照條件影響較大等問題。將二者信息互相補充，實現(xiàn)異源圖像融合，在設備檢測、環(huán)境研究、軍事偵察等[1-2]領域具有廣泛的應用價值。鑒于成像機理和拍攝條件的差異，研究在不同場景下精度高、速度快的紅外與可見光配準技術具有重要意義。

針對紅外與可見光圖像配準問題，國內外現(xiàn)有的配準算法主要分為兩類：基于區(qū)域的配準算法[3]和基于特征的配準算法[4]。前者將圖像的灰度信息或者變換域信息作為基準，利用特定的搜索策略求解出最佳的配準參數(shù)?，F(xiàn)階段主要的方法有基于互信息（mutual information, MI）法[5]、基于梯度信息法[6]等，這類算法的優(yōu)點在于簡單直觀且容易實現(xiàn)，但是需要圖像的全部像素信息，往往面臨計算量大、運行時間長等問題，無法滿足實時配準的需求。后者則提取圖像中諸如角點、邊緣點、閉區(qū)域的中心等特征元素作為關鍵點，通過選擇適當?shù)拿枋鲎?，建立策略實現(xiàn)關鍵點對的匹配，最終求解出配準參數(shù)。常見的算法有基于SIFT的特征匹配算法[7-8]、基于Harris的特征匹配算法[9-10]等，該類方法相較于基于區(qū)域的方法，大大提高了計算效率，然而由于兩種圖像成像原理不同，導致異源圖像中的灰度、對比度等差異較大，難以提取出具有相似特性的關鍵點，且圖像間存在大量誤匹配等問題，無法求解出圖像間的變換參數(shù)，工程適應性差，所以實際應用并不廣泛。

針對以上研究和算法中存在的問題，本文提出一種基于邊緣結構特征的紅外與可見光圖像配準算法，該算法通過提取異源圖像穩(wěn)定的相似性邊緣結構特征，能夠改善異源圖像間的差異性，提高配準率，同時采用基于特征匹配的策略，保證較高的配準效率。

1 異源圖像配準方案

紅外圖像中只有灰度和成像大小等信息特征，可見光圖像中存在大量的細節(jié)特征，將二者圖像中的相似性結構特征作為異源圖像配準的切入點，通過提取圖像的邊緣結構可以改善圖像間的差異性，從而提高特征提取和匹配的成功率。因此本文提出對紅外與可見光圖像進行相似性邊緣特征提取，再基于特征的配準算法對特征進一步匹配，從而克服傳感器成像機理不同導致的圖像差異，降低誤匹配率，實現(xiàn)異源圖像的配準。該算法的總體方案流程如圖1所示。

圖1 本文提出的算法流程

圖1中，由于紅外圖像的灰度和對比度不足，先對紅外圖像進行顯著性增強預處理，再采用相位一致性分別提取圖像的相似性結構特征，得到異源邊緣圖像。利用基于特征的方法，對邊緣結構上的特征點進行匹配，能夠快速準確地實現(xiàn)圖像的配準。一方面，優(yōu)化的顯著性檢測算法能夠增強圖像中前景和背景的邊緣信息，將圖像轉換到頻域，利用相位一致性模型進行處理，可以解決傳統(tǒng)的邊緣提取方法在空域下對圖像灰度值依賴較大的問題，在提取穩(wěn)定的邊緣結構的同時，有效濾除高頻噪聲的影響。另一方面，傳統(tǒng)ORB（oriented FAST and rotated BRIEF）特征點容易出現(xiàn)較多誤匹配的情況，通過KNN（K-nearest neighbor）算法優(yōu)化基于漢明距離暴力匹配的結果，同時考慮到匹配點對之間存在著相似的斜率，引入余弦相似度作為進一步篩選的依據(jù)，可以達到有效降低誤匹配率的目的，改善算法的整體性能，提高圖像配準的精度和效率。因此需要重點研究邊緣結構提取算法和特征點匹配算法。

2 邊緣結構提取算法

2.1 紅外圖像顯著性增強算法

紅外圖像相對可見光圖像存在信噪比低、紋理弱等問題，邊緣結構的顯著性較弱。為了提取邊緣信息，通常采用微分算子進行濾波。但傳統(tǒng)的方法在空間域進行，對圖像效果改善有限。為了在去除噪聲的同時增強紅外圖像的邊緣細節(jié)，本文從頻率調諧的角度，提出一種改進的顯著性增強算法，將圖像轉換到CIELAB空間，通過濾波得到幾乎所有的低頻內容和大部分的高頻內容，再利用顏色和強度特征計算LAB顏色矢量的平均值得到像素的顯著值。由于CIELAB向量的亮度特征和顏色特征的取值大小不同，改進算法將各個通道的顯著性值根據(jù)變化快慢進行了歸一化處理，并賦予權重，避免在計算像素歐式距離時因不同通道得到的顯著性值數(shù)量級差異較大，較小值分量在融合時受到抑制，導致影響最終結果的問題。該算法如式(1)和式(2)所示：

式中：f(,)為高斯濾波向量；u(,)為平均CIELAB向量；0和0為中心環(huán)繞濾波器與像素點的偏移量；i為原通道的顯著性值；s為LAB三個通道融合后的顯著性值；i為對應通道的權重。

改進的顯著性增強算法有效利用LAB三個通道的信息，提高了算法的執(zhí)行效率，能夠改善圖像的邊緣細節(jié)，使得分割目標與背景的邊緣結構更加明顯，最終得到紅外圖像的預處理結果。

2.2 相位一致性邊緣結構提取

預處理增強了紅外圖像的顯著性邊緣細節(jié)，但仍無法解決其和可見光圖像間的差異性。考慮到兩幅圖像存在視覺相似性結構，還需要進一步提取二者的邊緣特征。相位一致性[11]是Morrone等人研究的一種基于局部能量的特征檢測方法，圖像中諸如角點、邊緣等特征會在傅里葉頻率分量的相位一致性最大的出現(xiàn)，且不會受到尺度或光照等因素的影響而改變，具有很強的穩(wěn)定性和通用性。因此，研究基于相位一致性實現(xiàn)異源圖像邊緣特征的提取，提高算法在不同場景的適用性和有效性。

Morrone等人提出相位一致性的計算方式如下：

式中：0為濾波器的中心頻率。由于二維Log-Gabor屬于頻域濾波器，利用傅里葉反變換可以得到其空間域的復數(shù)表達式，其實部為偶對稱Log-Gabor小波，虛部為奇對稱Log-Gabor小波。

分別利用奇對稱小波和偶對稱小波在不同方向和尺度上進行卷積濾波，得到圖像在不同方向和尺度的振幅分量和相位分量如下：

式中：soodd和soeven分別為奇對稱小波和偶對稱小波。為了得到圖像的邊緣結構特征，需要分別計算不同方向下圖像像素點的相位一致性值，得到相位一致性矩。修改式(3)，使得分子為所有方向和尺度上的加權和經(jīng)噪聲補償?shù)木植磕芰恐?，分母為所有方向和尺度上的幅度分量之和，重新定義的相位一致性計算方式為：

利用矩量分析方法，在每個方向上根據(jù)式(7)求得的相位一致性度量值計算相位一致性力矩，通過分析發(fā)現(xiàn)，對應于最小力矩的軸是表示特征方向的主軸，而最大力矩的軸則垂直與該主軸，表示特征的重要性。當最小力矩在某一點處的值也很大時，該處即為圖像的角點。根據(jù)以上分析，可以由相位一致性力矩值得到紅外與可見光圖像穩(wěn)定的邊緣結構圖。

3 特征點提取及匹配算法研究

經(jīng)過邊緣檢測算法得到紅外圖像和可見光圖像的相似性結構圖像后，可以在邊緣上提取具有相似性的特征點以進行匹配。ORB[13]是一種特征點提取和描述算法，該算法分為oFAST和rBRIEF兩個部分。ORB算法的流程是，首先利用FAST角點檢測方法在圖像中快速提取特征點，并通過灰度質心法為角點確定主方向；然后根據(jù)BRIEF算法為每個特征點創(chuàng)建二元特征向量，并利用角點的主方向進行旋轉變換，生成二進制碼串描述子；最后計算并篩選兩個特征點集的漢明距離得到特征點匹配對。

傳統(tǒng)的ORB算法采用基于漢明距離的匹配方法，通過暴力計算兩個特征點的距離得到匹配點對，這使得結果中存在較多誤匹配的特征點。為了提高特征點的匹配率，減少配準誤差，本文對匹配機制進行改進，結合KNN算法和余弦相似度對匹配特征點進行篩選，并應用RANSAC算法進行提純，得到圖像間的變換矩陣。首先針對漢明距離匹配得到的特征點集，選擇個與特征值最相似的點，如果這個點之間的區(qū)別足夠大，則選擇最相似的點作為匹配點，通常選擇＝2，對每個返回的兩個最近鄰的匹配，如果第一匹配和第二匹配距離比率足夠大，即向量距離足夠遠，則認為這是一個正確的匹配。接著考慮到正確匹配的點對連線會在匹配圖中保持一樣的斜率，進一步在得到的粗匹配點集中篩選，將每個匹配對視為一個向量，計算匹配對向量之間的余弦相似度，公式如下：

由此可以得到匹配對向量之間的方向差集合，在誤差范圍內找出該集合中出現(xiàn)頻率較高的值對應的點對作為精匹配點集；最后應用RANSAC算法進行提純，得到最終的匹配點集，并計算出圖像間的變換矩陣，實現(xiàn)圖像的配準。

4 實驗結果與分析

本文采用實驗環(huán)境為Ubuntu16.04操作系統(tǒng)，實驗計算機CPU為Intel Core i3-4170CPU@3.70GHz，軟件平臺為CLion。為了驗證本文提出的紅外與可見光圖像配準算法的有效性和正確性，采用標準測試圖像集對本文算法的配準性能進行評價。

為了驗證本文算法在不同場景下的適用性，從標準測試圖像集選取紅外與可見光圖像如圖2所示。圖2(a)所示的場景一為具有變換視角的電氣設備，圖2(b)所示的場景二為車載相機拍攝的街景。本文的配準過程由圖3中的各子圖來表示：首先，使用顯著性算法得到紅外增強圖像分別為圖3(a1)和圖3(b1)，然后根據(jù)相位一致性提取可見光與紅外圖像的邊緣結構如圖3(a2)和3(b2)所示，最后進行特征提取和匹配得到結果圖3(a3)和3(b3)。從匹配結果來看，本文算法能夠有效克服異源圖像的差異，達到較好的匹配效果，并且針對角度變換和尺度變換等情況具有較強的魯棒性。

同時，為進一步驗證本文算法的有效性，將本文算法與MI算法、ORB算法進行對比實驗，分別對上述兩組圖像進行測試。得到的匹配結果和時間消耗如表1所示。從表1的結果來看，相對于MI算法，ORB算法的配準時間大幅減少，說明該方法計算效率較高。但是該算法由于直接從圖像中提取特征點，導致其配準率較低，不適合直接應用于紅外與可見光圖像的配準。本文算法特征點的正確匹配率最高，具有可靠的配準精度，同時運行時間相對較短，具有較高的配準效率，相比之下綜合性能最優(yōu)。

圖2 實驗測試圖像

圖3 圖像配準實驗過程與結果

5 結論

針對紅外與可見光圖像因成像差異等導致難以提取特征點實現(xiàn)配準的問題，本文研究了基于邊緣結構特征的紅外與可見光圖像配準方法。通過優(yōu)化的顯著性算法增強紅外圖像的結構特征，利用相位一致性提取紅外和可見光圖像的穩(wěn)定邊緣結構，然后提取邊緣結構的ORB特征點，最后采用先粗后精的策略結合KNN和余弦相似度對特征點進行層層篩選，降低特征點的誤匹配率。實驗證明，本文算法能夠在不同場景較快且準確地實現(xiàn)紅外與可見光圖像的配準。

表1 不同算法效果對比

[1] CHEN Yanjia. Visible and infrared image registration based on region features and edginess[J]., 2018, 29(1): 113-123.

[2] ZENG Qiang. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]., 2019: 1-13.

[3] CHEN S, LI X, ZHAO L, et al. Medium-low resolution multisource remote sensing image registration based on SIFT and robust regional mutual information[J]., 2018, 39(10): 3215-3242.

[4] XU W, ZHONG S, YAN L, et al. Moving object detection in aerial infrared images with registration accuracy prediction and feature points selection[J].2018, 92: 318-26.

[5] 張莉, 李彬, 田聯(lián)房, 等. 基于局部結構張量-互信息的多模態(tài)圖像配準[J]. 華南理工大學學報: 自然科學版, 2017, 45(7): 98-106.

ZHANG Li, LI Bin, TIAN Lianfang, et al. Multi-modal image registration on the basis of local structure tensor-mutual information[J].: Natural Science Edition, 2017, 45(7): 98-106.

[6] 吳延海, 張程, 張燁. 基于梯度信息和區(qū)域互信息的圖像配準[J]. 廣西大學學報: 自然科學版, 2017, 42(2): 720-727.

WU Yanhai, ZHANG Cheng, ZHANG Ye. Image registration based on gradient and regional mutual information[J].: Natural Science Edition, 2017, 42(2): 720-727.

[7] XIANG Y, WANG F, YOU H. OS-SIFT: a robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas[J]., 2018, 56(6): 3078-3090.

[8] 張晨光, 周詮, 回征. 基于SIFT特征點檢測的低復雜度圖像配準算法[J]. 揚州大學學報: 自然科學版, 2018, 21(4): 52-56.

ZHANG Chenguang, ZHOU Quan, HUI Zheng. A low-complexity image registration approach based on SIFT[J].: Nature Science Edition, 2018, 21(4): 52-56.

[9] SHENG H. Medical image registration method based on tensor voting and Harris corner point detection[J].,2018, 8(3): 583-589.

[10] MENG Z. Image registration method based on optimized SURF algorithm[J]., 2019, 7(4): 63-69.

[11] Morrone M Concetta, Ross John, Burr David C, et al. Mach bands are phase dependent[J]., 1986, 324: 250-253.

[12] LV L T, YUAN Q Q, LI Z X. An algorithm of iris feature-extracting based on 2D log-gabor[J]., 2019, 78(16): 22643-22666.

[13] Ethan Rublee, Vincent Rabaud, Kurt Konolige, et al. ORB: an efficient alternative to SIFT or SURF[C]//, 2011: 2564-2571.

Infrared and Visible Image Registration Algorithm Based on Edge Structure Features

XU Haiyang，ZHAO Wei，LIU Jianye

(,,211100,)

Here, a registration algorithm based on edge structure features is proposed to solve the difficulty of extracting feature points from infrared and visible images. First, the structural features of infrared images are enhanced using an optimized saliency algorithm. Second, we extract the stable edge structures of the infrared and visible images using a phase consistency algorithm. Further, the ORB feature points are extracted from the edge structures. Finally, the KNN algorithm and cosine similarity are combined to filter the matching feature points, and the random sample consensus (RANSAC) algorithm is used for purification. Experimental results show that the algorithm overcomes the influence of grayscale differences between infrared and visible images. In addition, it achieves a high registration accuracy and efficiency, which is conducive to the registration of infrared and visible images.

saliency detection, phase consistency, feature extraction, image registration

TP391

A

1001-8891(2023)08-0858-05

2021-05-19；

2021-06-22.

徐海洋（1997-），男，江蘇宿遷人，碩士研究生，研究方向為圖像處理。E-mail：xuhaiyang@nuaa.edu.cn。

國家自然科學基金（61603181）；江蘇高校優(yōu)勢學科建設工程項目資助。