圖像增強(qiáng)技術(shù)在圖像匹配中的應(yīng)用

趙寧 魯斌

摘要：圖像處理是近年來人們研究的熱點(diǎn)，圖像匹配技術(shù)是圖像處理技術(shù)中頗為重要的部分，SIFT算法是其發(fā)展的重要根基。由于SIFT算法有其自身局限性，提出了將圖像增強(qiáng)技術(shù)與SIFT算法結(jié)合起來，以增加圖像特征點(diǎn)的數(shù)量。采用了直方圖均衡化和拉普拉斯增強(qiáng)進(jìn)行處理，并提出了一種改進(jìn)的圖像增強(qiáng)算法。最后以實(shí)驗(yàn)驗(yàn)證了該方法的可行性。

關(guān)鍵詞：SIFT算法；圖像增強(qiáng)；特征點(diǎn)提取

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）26-0240-05

Abstract： Image processing is a hot topic in recent years. Image matching is an important part of image processing. The SIFT algorithm is an important foundation for its development. Because SIFT algorithm has its own limitations， this paper proposes to combine image enhancement and SIFT algorithm to increase the number of image feature points. Histogram equalization and Laplacian enhancement are used for processing， and an improved image enhancement algorithm is proposed. Finally， the feasibility of the method is verified by experiments.

Keywords： SIFT algorithm； image enhancement； feature point extraction

1 概述

圖像配準(zhǔn)已經(jīng)廣泛地應(yīng)用于計(jì)算機(jī)視覺、醫(yī)學(xué)圖像、遙感數(shù)據(jù)分析等諸多領(lǐng)域[1]，基于特征的圖像配準(zhǔn)是目前圖像配準(zhǔn)的主流方法。局部特征提取算法（SIFT）是Lowe[2]于1999年提出的一種特征提取算法，在特征提取領(lǐng)域有著十分重要的地位。局部特征從總體上說是圖像或在視覺領(lǐng)域中一些有別于其周圍的地方，通常是描述一塊區(qū)域，使其能具有高可區(qū)分度。局部特征的好壞直接會(huì)決定著后面分類、識(shí)別是否會(huì)得到一個(gè)好的結(jié)果。然而SIFT具有其自身局限性：實(shí)時(shí)性不高；有時(shí)提取的特征點(diǎn)略少；對(duì)邊緣光滑的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)。針對(duì)提取特征點(diǎn)數(shù)量略少的不足，本文提出將圖像增強(qiáng)與SIFT算法相結(jié)合，使用圖像增強(qiáng)技術(shù)處理圖像，對(duì)得到的質(zhì)量更好的圖像使用SIFT算法進(jìn)行特征點(diǎn)的提取，從而得到更多的局部特征點(diǎn)，進(jìn)而有更多的特征點(diǎn)進(jìn)行之后的配準(zhǔn)過程。

2 SIFT算法簡述

SIFT算法是Lowe于1999年提出，并在2004年優(yōu)化的用以檢測和描述圖像局部特征的算法[3]，其特征是圖像的局部特征，對(duì)圖像的尺度變化、旋轉(zhuǎn)平移、縮放、保持不變性，對(duì)光線變化、視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性[4]?；谝陨咸攸c(diǎn)，這些特征非常穩(wěn)定并且相對(duì)更容易提取，提取SIFT特征點(diǎn)主要包括以下步驟：

2.1 DoG尺度空間生成

使用DoG直接使用高斯卷積核，相比于LoG需要使用兩個(gè)方向的高斯二階微分卷積核，省去了對(duì)卷積核的生成的運(yùn)算量；DoG直接保留了各個(gè)高斯尺度空間的圖像，在生成某一空間尺度的特征時(shí)，無需再次生成該尺度的圖像。

2.2 極值點(diǎn)搜索

在DoG空間檢測極點(diǎn)，每一個(gè)檢測點(diǎn)都要與其相鄰的所有26個(gè)點(diǎn)進(jìn)行比較（包括同尺度的8個(gè)點(diǎn)以及相鄰兩個(gè)尺度的18個(gè)點(diǎn)），當(dāng)它在相比較的點(diǎn)中為最大值或者最小值是，就稱之為一個(gè)極值點(diǎn)。

2.3 特征點(diǎn)的確定

在得到極值點(diǎn)并不是真正的特征點(diǎn)，由于DoG對(duì)圖像中的邊緣有較強(qiáng)的響應(yīng)值，這些點(diǎn)如果落在圖像的邊緣上難以定位，具有定位的歧義性，并且這樣的點(diǎn)容易被噪聲干擾而變得不穩(wěn)定。首先要到空間尺度函數(shù)的泰勒展開式求導(dǎo)，精確極值點(diǎn)的位置，然后，然后分別檢測極值點(diǎn)的對(duì)比度和邊緣響應(yīng)，過濾低對(duì)比度和邊緣響應(yīng)不穩(wěn)定的點(diǎn)，得到真正的特征點(diǎn)。

2.4 確定特征點(diǎn)主方向

為了使算子具備旋轉(zhuǎn)不變形，需要根據(jù)特征點(diǎn)周圍像素的方向分布，來確定特征點(diǎn)的方向

在實(shí)際計(jì)算中，使用直方圖統(tǒng)計(jì)特征點(diǎn)鄰域像素的方向，直方圖的峰值即為該特征點(diǎn)的主方向。

2.5 生成特征點(diǎn)表述子

將坐標(biāo)軸旋轉(zhuǎn)至特征點(diǎn)方向，以確保特征點(diǎn)的旋轉(zhuǎn)不變性，以特征點(diǎn)為中心在其鄰域生成16*16的矩形區(qū)域，將其劃分為4*4子區(qū)域，計(jì)算每個(gè)子區(qū)域8個(gè)方向方向梯度直方圖，得到128個(gè)數(shù)據(jù)，生成128維特征向量。將得到的特征向量進(jìn)行長度歸一化，即可去除光照變化的影響。

2.6 特征點(diǎn)匹配

當(dāng)兩幅圖像的SIFT特征向量生成后，下一步采用特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性度量。取圖像中的某個(gè)關(guān)鍵點(diǎn)，并找出其與待匹配圖像中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距離少于某個(gè)比例閾值，則接受這一對(duì)匹配點(diǎn)。降低這個(gè)比例閾值，SIFT匹配點(diǎn)數(shù)目會(huì)減少，但更加穩(wěn)定。

3 圖像增強(qiáng)技術(shù)簡述

SIFT算法的實(shí)質(zhì)是在不同的尺度空間上查找極值點(diǎn)，篩選出關(guān)鍵點(diǎn)，并計(jì)算出關(guān)鍵點(diǎn)的方向。由于拍攝的原因，常會(huì)有圖像質(zhì)量不理想的情況，需要使用圖像增強(qiáng)的方法來突出圖像中不能良好展現(xiàn)的信息，增加圖像中的極值點(diǎn)。本文使用了直方圖均衡化、拉普拉斯算子增強(qiáng)等圖像增強(qiáng)技術(shù)對(duì)圖像進(jìn)行處理，并提出了一種改進(jìn)的圖像增強(qiáng)方法。

3.1 直方圖均衡化

直方圖均衡化是利用圖像的直方圖來對(duì)圖像的對(duì)比度進(jìn)行調(diào)整的方法。其核心思想是將調(diào)整原圖像的灰階分布，從較集中的某個(gè)灰度區(qū)間變成在0-255全部灰階上均勻分布，以達(dá)到改善圖像視覺效果的目的[5]。

3.2 基于拉普拉斯算子的圖像增強(qiáng)

拉普拉斯算子，即二階微分線性算子，與一階微分相比，它的邊緣定位能力更強(qiáng)，定位能力更好，并具有旋轉(zhuǎn)不變性[6]。一個(gè)二維圖像函數(shù)的拉普拉斯變換是各向同性的二階導(dǎo)數(shù)，定義為：

如果在圖像中一個(gè)較暗的區(qū)域中出現(xiàn)了一個(gè)亮點(diǎn)，那么用拉普拉斯運(yùn)算就會(huì)使這個(gè)亮點(diǎn)變得更亮。圖像銳化的作用是使灰度反差增強(qiáng)，從而使模糊圖像變得更加清晰。拉普拉斯算子的應(yīng)用可以增強(qiáng)圖像中灰度突變的部分，減弱灰度緩慢變化的部分?；诶绽顾阕拥膱D像銳化表示為

基于拉普拉斯算子的圖像銳化在保留圖像背景的同時(shí)，突出圖像中的細(xì)節(jié)信息。

3.3 一種改進(jìn)的圖像增強(qiáng)方法

針對(duì)圖像曝光不足或過曝的情況，以像素值歸一化后0.5為基準(zhǔn)，此值保持不變，將小于這個(gè)值的像素值進(jìn)行拓展，大于這個(gè)值的部分進(jìn)行抑制，可以凸顯更多圖像暗部及高光處未展示的細(xì)節(jié)。公式如下：

由圖可知，當(dāng)v越小時(shí)，變換后圖像像素值集中在一個(gè)較小的范圍，對(duì)暗部拓展以及高光部分的抑制效果越弱，反之當(dāng)v越大，對(duì)暗部拓展以及高光部分的抑制效果則越強(qiáng)，可以顯示更多這一部分的細(xì)節(jié)。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用基于OpenCV的Xcode軟件為仿真平臺(tái)，電腦操作系統(tǒng)采用macOS Sierra，CPU i5，主頻為 2. 7 GHz，內(nèi)存8 GB。分別使用多種圖像增強(qiáng)方法處理圖像，并比較使用Sift算法提取的特征點(diǎn)的數(shù)目。圖像增強(qiáng)技術(shù)是對(duì)圖像進(jìn)行處理以提升圖像質(zhì)量，故以不同質(zhì)量的圖像進(jìn)行實(shí)驗(yàn)。

首先選取在曝光不足條件下拍攝的兩幅圖片進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)發(fā)現(xiàn)，使用圖像增強(qiáng)方法增強(qiáng)圖像教暗部分的細(xì)節(jié)，可以提取更多的特征點(diǎn)。實(shí)驗(yàn)結(jié)果如下所示（以下圖中先后順序均為原圖像、直方圖均衡化、拉普拉斯算子增強(qiáng)和改進(jìn)算法增強(qiáng)）：

由此可知，在使用拉普帕斯算子進(jìn)行圖像增強(qiáng)時(shí)，圖像陰暗處細(xì)節(jié)較原圖更為清晰，這些區(qū)域可以提取更多特征點(diǎn)。圖1和圖2中特征點(diǎn)的數(shù)量分別由295個(gè)和126個(gè)增加至528個(gè)和352個(gè)，兩幅圖像的匹配點(diǎn)數(shù)也由28對(duì)增加至59對(duì)，從圖中可以看出，這些特征點(diǎn)質(zhì)量更高，錯(cuò)誤匹配點(diǎn)數(shù)從19對(duì)降到0對(duì)，匹配正確率也從32.14%提升到了100%，在兩幅圖的重疊區(qū)域進(jìn)行了正確的匹配；使用改進(jìn)算法進(jìn)行圖像增強(qiáng)效果次之，圖1與圖2的特征點(diǎn)數(shù)量分別達(dá)到了312和186個(gè)，匹配點(diǎn)數(shù)為39對(duì)；而使用直方圖均衡化的方法時(shí)，對(duì)圖像的直方圖進(jìn)行了大幅度的調(diào)整，抑制了圖像原本較為清晰的高光部分細(xì)節(jié)，效果并不理想。

選取在過曝條件下拍攝的兩幅圖片進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)發(fā)現(xiàn)，使用圖像增強(qiáng)方法增強(qiáng)圖像高光部分的細(xì)節(jié)，可以提取更多的特征點(diǎn)。實(shí)驗(yàn)結(jié)果如下所示：

由此可知，使用對(duì)圖像進(jìn)行直放圖均衡化后效果最佳，圖像的灰階均勻的拉伸到0～255之間，使得圖像整體細(xì)節(jié)更加明顯。圖1和圖2中特征點(diǎn)的數(shù)量分別由1248個(gè)和1048個(gè)增加至2596個(gè)和2133個(gè)，兩幅圖像的匹配點(diǎn)數(shù)也由166對(duì)增加至450對(duì)；使用改進(jìn)算法時(shí)效果次之，兩幅圖特征點(diǎn)數(shù)目分別為1787和1540個(gè)，匹配點(diǎn)數(shù)目達(dá)到了290對(duì)。使用拉普拉斯算子增強(qiáng)效果不佳。

綜上所述，將圖像增強(qiáng)技術(shù)與SIFT算法結(jié)合起來，可以得到數(shù)量更多、質(zhì)量更高的特征點(diǎn)，從而在后續(xù)的特征點(diǎn)匹配與圖像配準(zhǔn)中得到更好的效果。本文提出的改進(jìn)算法與增強(qiáng)前比較可以得到更多正確匹配點(diǎn)，且在圖像曝光不足以及過曝條件下有著更廣泛的適用條件。

5 結(jié)束語

本文對(duì)SIFT算法以及常用的圖像增強(qiáng)算法進(jìn)行了闡述，并提出了一種改進(jìn)的圖像增強(qiáng)算法，將圖像增強(qiáng)技術(shù)與SIFT算法相結(jié)合，首先使用幾種圖像增強(qiáng)方法對(duì)圖像進(jìn)行處理，提高圖像質(zhì)量，使得圖像整體細(xì)節(jié)更為清晰。使用SIFT算法對(duì)圖像進(jìn)行特征點(diǎn)的提取，并對(duì)兩幅圖像的特征點(diǎn)進(jìn)行匹配。實(shí)驗(yàn)結(jié)果表明，經(jīng)過合適方法處理過后的圖像可以提取出更多特征點(diǎn)，這些特征點(diǎn)質(zhì)量更好，從而可以提高特征點(diǎn)之間的匹配正確率，有助于實(shí)現(xiàn)圖像的正確匹配。

參考文獻(xiàn)：

[1] 卜凡艷.數(shù)字圖像匹配技術(shù)研究[D].合肥：合肥工業(yè)大學(xué)，2010.

[2] David G. Lowe. Object recognition from local scale-invariant features[C]. International Conference on Computer Vision， Corfu， Greece，1999（9）：1150-1157.

[3] David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints[C]. International Journal of Computer Vision，60，2（2004）：91-110.

[4] 王永明，王貴錦，姚一豫.圖像局部不變性特征與描述[M].北京：國防工業(yè)出版社，2010.

[5] 姜柏軍，鐘明霞.改進(jìn)的直方圖均衡化算法在圖像增強(qiáng)中的應(yīng)用[J].激光與紅外，2014，44（06）：702-706.

[6] 章凌俊. 基于FPGA的拉普拉斯圖像增強(qiáng)算法設(shè)計(jì)與實(shí)現(xiàn)[D].南京：東南大學(xué)，2017.

[通聯(lián)編輯：梁書]