具有光照魯棒的圖像匹配方法

王焱 呂猛 孟祥福 李宇浩

摘 要：針對(duì)現(xiàn)有的基于局部特征的圖像匹配算法對(duì)光照變化敏感、匹配正確率低等問題，提出一種具有光照魯棒性的圖像匹配算法。首先使用實(shí)時(shí)對(duì)比保留去色（RTCP）算法灰度化圖像，然后利用對(duì)比拉伸函數(shù)模擬不同光照變換對(duì)圖像的影響從而提取抗光照變換特征點(diǎn)，最后采用局部強(qiáng)度順序模式建立特征點(diǎn)描述符，根據(jù)待匹配圖像局部特征點(diǎn)描述符的歐氏距離判斷是否為成對(duì)匹配點(diǎn)。在公開數(shù)據(jù)集上，所提算法與尺度不變特征變換（SIFT）算法、加速魯棒特征（SURF）算法、“風(fēng)”（KAZE）算法和ORB算法在匹配速度和匹配正確率上進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：隨著圖像亮度差異的增加，SIFT算法、SURF算法、“風(fēng)”（KAZE）算法和ORB算法匹配正確率下降迅速，所提算法下降緩慢并且正確率均高于80%;所提算法特征點(diǎn)檢測(cè)較慢和描述符維數(shù)較高，平均耗時(shí)為23.47s，匹配速度不及另外四種算法，但匹配質(zhì)量卻遠(yuǎn)超過它們。對(duì)實(shí)時(shí)性要求不高的系統(tǒng)中，所提算法可以克服光照變化對(duì)圖像匹配造成的影響。

關(guān)鍵詞：圖像匹配;光照魯棒性;圖像灰度化;對(duì)比拉伸函數(shù);局部強(qiáng)度順序模式

中圖分類號(hào)： TP391.413

文獻(xiàn)標(biāo)志碼：A

Abstract： Focusing on the problem that current image matching algorithm based on local feature has low correct rate of illumination change sensitive matching， an image matching algorithm with illumination robustness was proposed. Firstly， a Real-Time Contrast Preserving decolorization （RTCP） algorithm was used for grayscale image， and then a contrast stretching function was used to simulate the influence of different illumination transformation on image to extract feature points of anti-illumination transformation. Finally， a feature point descriptor was established by using local intensity order pattern. According to the Euclidean distance of local feature point descriptor of image to be matched， the Euclidean distance was determined to be a pair matching point. In open dataset， the proposed algorithm was compared with Scale Invariant Feature Transform （SIFT） algorithm， Speeded Up Robust Feature （SURF） algorithm， the “wind” （KAZE） algorithm and ORB （Oriented FAST and Rotated， BRIEF） algorithm in matching speed and accuracy. The experimental results show that with the increase of image brightness difference， SIFT algorithm， SURF algorithm， the “wind” algorithm and ORB algorithm reduce matching accuracy rapidly， and the proposed algorithm decreases matching accuracy slowly and the accuracy is higher than 80%. The proposed algorithm is slower to detect feature points and has a higher descriptor dimension， with an average time of 23.47s. The matching speed is not as fast as the other four algorithms， but the matching quality is much better than them. The proposed algorithm can overcome the influence of illumination change on image matching.

Key words： image matching; illumination robustness; color-to-gray conversion; contrast stretching function; local intensity order pattern

0 引言

基于局部特征點(diǎn)的圖像匹配被廣泛地應(yīng)用在圖像識(shí)別、圖像拼接、目標(biāo)跟蹤等領(lǐng)域。在實(shí)際采集圖像中，光照變化致使同一物體反射的光線發(fā)生變化，造成成像亮度不同;不同相機(jī)的光感特性不同也會(huì)造成同一物體成像后存在亮度變化;并且亮度較低的圖像，在進(jìn)行脫色時(shí)會(huì)造成大量信息的丟失，這會(huì)給局部特征提取、描述符建立和匹配帶來困難。

針對(duì)光照變化造成圖像匹配困難的問題，國(guó)內(nèi)外學(xué)者提出了許多具有光照魯棒性的圖像匹配算法。文獻(xiàn)[1]中提出尺度不變特征變換（Scale Invariant Feature Transform， SIFT）的特征點(diǎn)檢測(cè)和匹配算法，匹配效果較好，但未考慮脫色后圖像的信息的丟失和亮度變化，且算法復(fù)雜度較高。文獻(xiàn)[2]中提出加速魯棒特征（Speeded Up Robust Feature， SURF）算法的特征點(diǎn)提取與匹配，其復(fù)雜度比SIFT算法低，魯棒性好，但亮度變化時(shí)效果欠佳。文獻(xiàn)[3]在SIFT算法上進(jìn)行改進(jìn)的ASIFT（Affine Scale Invariant Feature Transform）算法，只考慮了仿射空間中圖像特征點(diǎn)提取和匹配，未考慮圖像亮度和灰度化對(duì)圖像匹配的影響。文獻(xiàn)[4]中提出一種新型的灰度化圖像算法，提高了圖像的對(duì)比度，在該灰度圖像上SIFT、SURF等算法特征點(diǎn)檢測(cè)和匹配擁有更好的效果，但沒有考慮光照對(duì)圖像匹配的影響。文獻(xiàn)[5]建立了更高維度特征點(diǎn)描述符的BRISK（Binary Robust Invariant Scalable Keypoint）算法，對(duì)模糊圖像匹配有很好的性能，但描述符維度過高匹配時(shí)間較長(zhǎng)，對(duì)光照變化和灰度化信息丟失未進(jìn)行考慮。文獻(xiàn)[6]使用Oriented Fast算法選取特征點(diǎn)Rotated BRIEF（Binary Robust Independent Elementary Feature）建立描述符，魯棒性好、速度快，但易受光照變換的影響。文獻(xiàn)[7]模擬人眼識(shí)別物體進(jìn)行匹配，速度快但精度相比上述算法較低。文獻(xiàn)[8-9]利用光照魯棒性的特征點(diǎn)提取變換算法，但算法復(fù)雜度很高，實(shí)時(shí)性差。文獻(xiàn)[10]在仿射空間中對(duì)亮度不同的圖像進(jìn)行匹配，匹配效果很好，計(jì)算量卻很大，不適合實(shí)時(shí)圖像匹配。文獻(xiàn)[11]從改進(jìn)Hu不變矩出發(fā)，使其具有光照魯棒性，卻未考慮彩色圖像脫色后信息丟失。文獻(xiàn)[12]利用灰度信息在高維向量空間中，利用非線性相關(guān)進(jìn)行圖像匹配速度較快，一定程度上具有光照魯棒性，卻未考慮圖像脫色造成的色彩信息丟失。

針對(duì)上述算法不考慮彩色圖像灰度化圖像局部信息丟失、對(duì)光照魯棒性差等問題，本文提出一種具有光照魯棒性算法，該算法用實(shí)時(shí)對(duì)比保留去色（Real-Time Contrast Preserving decolorization， RTCP）算法[13]對(duì)圖像進(jìn)行預(yù)處理，使用對(duì)比拉伸函數(shù)模擬不同光照變換對(duì)圖像影響從而提取特征點(diǎn)，最后使用局部強(qiáng)度順序模式（Local Intensity Order Pattern for feature description， LIOP）[14]建立特征描述符。實(shí)驗(yàn)結(jié)果表明，對(duì)光照差異較大的待匹配圖像，本文提出的匹配算法具有很強(qiáng)的魯棒性。

1 圖像預(yù)處理

若輸入圖像為RGB空間色彩，直接使用固定權(quán)值把RGB色彩空間映射到灰度空間，會(huì)造成大量色彩信息丟失。這會(huì)給特征點(diǎn)提取、描述符建立帶來巨大誤差?；谧钚』荻日`差模型的RTCP算法，可以生成具有更多細(xì)節(jié)的灰度圖像。具體步驟如下。

2 圖像匹配

2.1 特征點(diǎn)提取

針對(duì)傳統(tǒng)的SIFT算法、ORB（Oriented FAST and Rotated BRIEF）算法提取特征點(diǎn)時(shí)，僅根據(jù)當(dāng)前像素值大小，易受光照影響。本文提出使用對(duì)比拉伸函數(shù)模擬不同光照對(duì)圖像的影響，再利用積分Harris矩陣檢測(cè)特征點(diǎn)。具體步驟如下。

式（11）利用黎曼積分思想，累加以拉伸中心c生成的對(duì)比拉伸圖像特征相應(yīng)函數(shù)R（x，y，c），Rarea對(duì)于不同的光照強(qiáng)度不敏感，可以提取具有光照不變性的特征點(diǎn)。在本文中若某一像素的Rarea>30，則該像素為特征點(diǎn)。

2.2 描述符建立

SIFT、SURF、KAZE[15]和ORB等算法都需要以特征點(diǎn)為中心選取像素塊建立描述符的主方向，主方向依據(jù)像素塊內(nèi)像素的梯度或像素值建立，因此當(dāng)光照不同時(shí)描述符的魯棒性欠佳。為避免這一狀況，本文提出使用局部強(qiáng)度順序算法建立描述符。若是以特征點(diǎn)為中心的特征區(qū)域有L個(gè)像素點(diǎn)，并按照像素大小順序排列，表示為：Osort={xk1，xk2，…，xkL}，xk1≤xk2≤…≤xkL，x表示像素點(diǎn)的值，k為像素點(diǎn)的索引號(hào)。按照排列順序可以把特征區(qū)域分為B個(gè)子區(qū)域，每個(gè)子區(qū)域的像素點(diǎn)數(shù)為S=nL/B，其中n為子區(qū)域的排序號(hào)，具體劃分方式如圖1。

以特征點(diǎn)X為中心的特征區(qū)域上的一個(gè)像素點(diǎn)x，以像素點(diǎn)x為圓心、R為半徑的圓上均勻取N個(gè)采樣點(diǎn)，第一個(gè)采樣點(diǎn)是Xx方向，剩下采樣點(diǎn)為第一個(gè)采樣點(diǎn)的逆時(shí)針方向在圓上均勻采樣。如圖2（a）中圓上有N=4個(gè)采樣點(diǎn)，用P（x）={x1，x2，…，xN}表示N個(gè)采樣點(diǎn)的像素值構(gòu)成N維向量。構(gòu)建LIOP（Local Intensity Order Pattern for Feature Description）描述符步驟如下。

2）以采樣點(diǎn)數(shù)量N，建立像素值強(qiáng)度排列順序索引表，如圖2（d）為N=4建立的強(qiáng)度排列順序索引表，π為索引值。

3）以γ（P）=π映射的索引值編碼N！的向量，可表示為：

其中Ind（π）表示索引值π在索引表對(duì)應(yīng)的索引若π為矢量、向量或矩陣，此處π的值好象是數(shù)值，如何理解？，向量φ（π）第Ind（π）=1此句不通順，作相應(yīng)調(diào)整，其余值均為0。構(gòu)建方式，如圖2。

4）特征區(qū)域中單個(gè)像素點(diǎn)的LIOP描述符建立方式如式（14）：

對(duì)同一個(gè)子區(qū)域的像素點(diǎn)的LIOP的描述符相加，得到該子區(qū)域的描述符，把所有子區(qū)域的描述串聯(lián)便得到整個(gè)特征區(qū)域的描述符，表示為：

其中B表示為特征區(qū)域分為子區(qū)域的個(gè)數(shù)，則特征區(qū)域的描述符的維數(shù)為N！×B。

2.3 特征點(diǎn)匹配

在本文中N=4，B=6，可以計(jì)算出LIOP描述符的維數(shù)為144。若是兩幅圖像上的特征點(diǎn)分別為（x1，y1）和（x2，y2），則計(jì)算兩點(diǎn)之間的歐氏距離，可表示為：

借鑒SIFT算法的思想，若Lmin/Lmin-1≤0.6，則認(rèn)為該對(duì)匹配點(diǎn)是正確的，其中Lmin為兩幅圖像特征點(diǎn)之間最近歐氏距離，Lmin-1為兩幅圖像特征點(diǎn)之間次近距離。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)過程

為了驗(yàn)證本文提出的算法具有很好的光照魯棒性，選擇具有代表性的基于局部特征的圖像匹配算法進(jìn)行對(duì)比實(shí)驗(yàn)。SIFT算法是最經(jīng)典的匹配算法;SURF算法是對(duì)SIFT算法的改進(jìn)具有更強(qiáng)的魯棒性;KAZE算法首次提出非線性金字塔，大幅度增加了匹配的魯棒性;ORB算法是較為穩(wěn)定的二進(jìn)制描述符匹配算法。故選擇SIFT算法、SURF算法、KAZE算法、ORB算法和所提算法在文獻(xiàn)[14]和INRIA數(shù)據(jù)庫中亮度不同的圖像進(jìn)行對(duì)比實(shí)驗(yàn)。

本實(shí)驗(yàn)的實(shí)驗(yàn)平臺(tái)為個(gè)人筆記本，配置AMD A8-4500 1.9GHz，4GB內(nèi)存，操作系統(tǒng)為Windows 10，基于OpenCV 2.413在Visual Studio 2013上進(jìn)行實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法對(duì)于亮度差異圖像特征點(diǎn)匹配的優(yōu)越性，使用文獻(xiàn)[14]提供的5張亮度等級(jí)不同的圖像和INRIA數(shù)據(jù)庫提供的6張亮度等級(jí)不同的圖像對(duì)SIFT算法、SURF算法、AKZE算法、ORB算法和本文提出的算法進(jìn)行測(cè)試。圖3為RTCP算法灰度化文獻(xiàn)[14]和INRIA數(shù)據(jù)庫提供的亮度不同圖像，從感官角度判斷：隨著圖像亮度的減小，圖像內(nèi)容模糊程度逐漸增加。

利用圖3（a）分別與圖3（b）、3（c）、3（d）、3（e）和3（f）（記為對(duì)比組1～5）進(jìn)行匹配，匹配正確率如圖4（a）;使用圖3（g）分別與圖3（h）、3（m）、3（n）和3（o）（記為對(duì)比組1～4）匹配，各種算法的匹配正確率如圖4（b）。由圖4可看出，隨著亮度差異的增加，各種算法的匹配正確率逐漸下降。KAZE算法采用非線性濾波算法搭建金字塔，更好地保護(hù)了圖像邊緣信息，在圖像亮度較低時(shí)，保留了更多圖像信息，使得描述符的魯棒性增加，故在亮度差異增加時(shí)，匹配正確率下降較少。SIFT算法以圖像的梯度方向作為主方向建立梯度描述符，在亮度變換較大時(shí)，描述符的魯棒性嚴(yán)重下降，故隨著亮度差異的增加，匹配正確率快速下降。SURF算法構(gòu)建描述符的主方向依賴局部梯度，當(dāng)亮度差異較大時(shí)主方向變換很大，成對(duì)匹配點(diǎn)計(jì)算歐氏距離維度對(duì)應(yīng)錯(cuò)誤，故匹配正確率隨亮度差異增加下降也較快。FAST算法比較不同像素的大小檢測(cè)特征點(diǎn)，當(dāng)亮度較低時(shí)FAST算法提取特征點(diǎn)效果較差;ORB算法描述符為二進(jìn)制描述符，比較特征區(qū)域中像素值大小建立描述符，故ORB算法的魯棒性最差，隨著亮度差異增加匹配正確率下降速度最快。本文算法先利用RTCP算法獲得具有更多信息的灰度圖像，再利用對(duì)比拉伸函數(shù)模擬不同光照對(duì)圖像影響，使用積分的方式檢測(cè)具有光照魯棒性的特征點(diǎn)，LIOP算法對(duì)特征區(qū)域投影計(jì)算描述符，不以梯度建立描述和尋找主方向，使得描述符的光照魯棒性增加，故在亮度差異較大時(shí)，匹配正確率下降速度緩慢。

SIFT算法相比SURF算法，采用128維描述符，故速度要低于SURF算法。KAZE算法需要解非線性函數(shù)，故匹配速度不及SURF算法，描述符為64維匹配速度要優(yōu)于SIFT算法。FAST算法檢測(cè)特征點(diǎn)速度較快，BRIEF算法建立二進(jìn)制描述符，故ORB算法匹配速度最快。RTCP算法相比Matlab和OpenCV的灰度化函數(shù)速度較慢，模擬不同光照的對(duì)比拉伸函數(shù)需要利用積分的思想多次處理圖像，LIOP描述符維度為144匹配過程相比128維描述符較慢，故本文所提方法在速度上不及另外四種算法。SIFT算法、SURF算法、KAZE算法、ORB算法和本文算法匹配速度由表1數(shù)據(jù)排序：ORB算法、SURF算法、KAZE算法、SIFT算法和本文算法。

4 結(jié)語

針對(duì)現(xiàn)有匹配算法大多數(shù)不具有良好的光照魯棒性的現(xiàn)狀，本文提出利用RTCP算法對(duì)RGB圖像進(jìn)行脫色處理，用對(duì)比拉伸函數(shù)模擬光照變換提取抗光照變換特征點(diǎn)，利用LIOP算法提取特征點(diǎn)描述符進(jìn)行匹配。實(shí)驗(yàn)結(jié)果表明：本文算法相比SIFT算法、SURF算法、KAZE算法和ORB算法具有更好的光照魯棒性，但匹配速度不及上述四種算法，在對(duì)實(shí)時(shí)要求不高的場(chǎng)合可以使用。在后續(xù)的工作中，需要對(duì)匹配速度進(jìn)一步提升。

參考文獻(xiàn) （References）

[1] LOWE D G. Distinctive image features from scale-invariant key-points [J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[2] BAY H， ESS A， TUYTELAARS T， et al. SURF： speeded up robust features [J]. Computer Vision and Image Understanding， 2008， 110（3）： 346-359.

[3] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469.

[4] ANCUTI C O， ANCUTI C， BEKAERT P. Decolorizing images for robust matching [C]// Proceedings of the 2010 IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2010： 149-152.

[5] LEUTENEGGER S， CHLI M， SIEGWART R. BRISK： binary robust invariant scalable keypoints [C]// ICCV 2011： Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 2548-2555.

[6] RUBLRR E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF [C]// ICCV 2011： Proceedings of the 2011 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 2564-2571.

[7] ALAHI A， ORTIZ R， VANDERGHEYNST P. FREAK： fast retina keypoint [C]// Proceedings of the2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 510-517.

[8] GEVREKCI M， GUNTURK B K. Illumination robust interest point detection [J]. Computer Vision and Image Understanding， 2009， 113（4）： 565-571.

[9] 劉天亮，戴修斌，陳昌紅，等.對(duì)光照變化魯棒的快速關(guān)鍵點(diǎn)提取與匹配[J].東南大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，42（3）：413-418.（LIU T L， DAI X B， CHEN C H， et al. Fast keypoint extraction and matching robust to illumination changes [J]. Journal of Southeast University （Natural Science Edition）， 2012， 42（3）： 413-418.）

[10] PENG O， SHOUYI Y， LEIBO L， et al. A FAST extreme illumination robust feature in affine space [C]// Proceedings of the 2014 International Conference on Pattern Recognition. Piscataway， NJ： IEEE， 2014： 2365-2370.

[11] 劉歡，郝礦榮，丁永生，等.光照魯棒的抗模糊新組合不變矩圖像匹配方法[J].傳感技術(shù)學(xué)報(bào)，2013，26（9）： 1258-1264.（LIU H， HAO K R， DING Y S， et al. An image matching method of new illumination-robust and anti-blur combined moment invariants [J]. Chinese Journal of Sensors and Actuators， 2013， 26（9）： 1258-1264.）

[12] 呂文先，彭啟民，呂玉增.光照魯棒的非線性相關(guān)圖像匹配方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖像學(xué)報(bào)，2009，21（6）：825-830.（LYU W X， PENG Q M， LYU Y Z. Illumination-robust image matching based on non-linear correlation [J]. Journal of Computer Aided Design & Computer Graphics， 2009， 21（6）： 825-830.）

[13] LU C W， XU L， JIA J Y. Contrast preserving decolorization [C]// Proceedings of the 2012 IEEE International Conference on Computational Photography. Piscataway， NJ： IEEE， 2012： 1-7.

[14] WANG Z H， FAN B， WANG G， et al. Exploring local and overall ordinal information for robust feature description [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 12（30）： 2513-2529.

[15] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE feature [C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： Springer， 2012： 214-227.

[16] LU C W， XU L， JIA J Y. Real-time contrast preserving decolorization [C]// Proceedings of the SIGGRAPH Asia 2012 Technical Briefs. New York： ACM， 2012： Article No. 34.

[17] 盧紅陽，劉且根，熊嬌嬌，等.基于最大加權(quán)投影求解的彩色圖像灰度化對(duì)比度保留算法[J].自動(dòng)化學(xué)報(bào)，2017，43（5）：843-854.（LU H Y， LIU Q G， XIONG J J， et al. Maximum weighted projection solver for contrast preserving decolorization [J]. Acta Automatica Sinica， 2017， 43（5）： 843-854.）

[18] MAIR E， HAGER G， BURSCHKA D， et al. Adaptive and generic corner detection based on the accelerated segment test [C]// Proceedings of the 2010 European Conference on Computer Vision， LNCS 6312. Berlin： Springer， 2010： 183-196.

[19] CALONDER M， LEPETIT V， STRECHA C， et al. BRIEF： computing a local binary descriptor very fast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）： 1281-1298.

[20] 王輝，陳小雕，王毅剛.改進(jìn)的非線性全局映射灰度化方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25（10）：1476-1479.（WANG H， CHEN X D， WANG Y G. The improved color-to-gray via nonlinear global mapping[J]. Journal of Computer-Aided Design and Computer Graphics， 2013， 25（10）： 1476-1479.）

[21] TANG F， LIM S H， CHAN N L， et al. A novel feature descriptor invariant to complex brightness changes [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2009： 2631-2638.