結(jié)合尺度空間FAST角點(diǎn)檢測器和SURF描繪器的圖像特征

王飛宇，邸 男，賈 平

(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所 中國科學(xué)院航空光學(xué)成像與測量重點(diǎn)實(shí)驗(yàn)室，吉林 長春 130033；2.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；3.中國科學(xué)院大學(xué)，北京 100049)

1 引 言

特征匹配是計(jì)算機(jī)視覺應(yīng)用的一個(gè)基本步驟。很多計(jì)算機(jī)視覺應(yīng)用，包括圖像匹配、目標(biāo)識(shí)別、運(yùn)動(dòng)跟蹤、3D結(jié)構(gòu)重建、同步定位等等，都依賴于對圖像中的具有代表性特征的利用[1-5]。因此，對于穩(wěn)定、獨(dú)特、魯棒的圖像特征的研究成為近年來計(jì)算機(jī)視覺領(lǐng)域研究的重要方向[6]。

目前，應(yīng)用最為廣泛的特征是Lowe[7]的SIFT，該特征具有良好的獨(dú)特性，并且對各種圖像變換具有一定程度的不變性，但代價(jià)是龐大的計(jì)算量。此后的一系列研究以SIFT的性能為參照標(biāo)準(zhǔn)，致力于在理想的性能和較低的計(jì)算復(fù)雜度之間尋求一個(gè)令人滿意的折衷。Bay等人[8-9]的SURF是一個(gè)典型的例子。SURF的匹配率與SIFT接近，其運(yùn)算速度提高至大約SIFT的3倍。文獻(xiàn)[9]從理論上證明了SURF特征具有比SIFT特征更強(qiáng)的噪聲魯棒性。

另一方面，基于二值化描繪器的特征因?yàn)槠漭^低的計(jì)算復(fù)雜度而更加適合如移動(dòng)電話、PDA等低級終端平臺(tái)上的應(yīng)用，從而成為最近幾年新興的研究熱點(diǎn)。Leutenegger等人[10]提出的BRISK特征能夠抵抗尺度變化和平面旋轉(zhuǎn)，其計(jì)算比SURF更加快速。

本文的研究工作集中于適用于遠(yuǎn)距離目標(biāo)識(shí)別的特征。這類目標(biāo)的一個(gè)共同特點(diǎn)是目標(biāo)區(qū)域內(nèi)特征數(shù)量少且位置相互接近，因而對這些目標(biāo)的識(shí)別需要所使用方法的關(guān)鍵點(diǎn)檢測器能夠檢測到大量的準(zhǔn)確且穩(wěn)定的關(guān)鍵點(diǎn)。所以，本文研究所希望得到的特征，應(yīng)當(dāng)能夠在圖像中的細(xì)節(jié)密集的區(qū)域高效地獲取穩(wěn)定的關(guān)鍵點(diǎn)，減少對圖像中平滑區(qū)域的關(guān)鍵點(diǎn)提取；更重要地，關(guān)鍵點(diǎn)算法應(yīng)當(dāng)能夠進(jìn)行精確的尺度空間檢測。特征描繪器應(yīng)當(dāng)能夠?yàn)殛P(guān)鍵點(diǎn)指定方向，具有平面旋轉(zhuǎn)不變性、尺度不變性和一定范圍的三維視角不變性，并提供噪聲魯棒性。

SURF的基于快速海森矩陣關(guān)鍵點(diǎn)檢測方法對圖像的高斯模糊及二階偏微商進(jìn)行了近似的計(jì)算，其平滑作用在過濾噪聲的同時(shí)，使得圖像損失很多高頻細(xì)節(jié)信息，這對于遠(yuǎn)距離目標(biāo)的識(shí)別尤其不利。同時(shí)，SURF檢測器容易在平滑區(qū)域的邊緣提取出大量的關(guān)鍵點(diǎn)，在這些關(guān)鍵點(diǎn)位置生成的特征其自身獨(dú)特性較差，容易造成誤匹配。FAST角點(diǎn)檢測器避免了這些問題，但它在獲取高頻信息區(qū)域關(guān)鍵點(diǎn)的同時(shí)，也容易受到高頻噪聲的干擾。

與SURF等網(wǎng)格描繪器相比，二值特征描繪器的描繪力較弱。快速海森矩陣檢測器和BRISK描繪器的性能上的不足將在第3節(jié)中得到論證。

根據(jù)這些設(shè)計(jì)需求和方法因素，本文提出將尺度空間FAST角點(diǎn)檢測方法與SURF描繪器結(jié)合的特征方法。

2 相關(guān)研究

2.1 關(guān)鍵點(diǎn)檢測器

Mikolajczyk在文獻(xiàn)[11]中的研究指出，高斯-拉普拉斯算子(LoG)響應(yīng)的極值點(diǎn)比灰度梯度、海森矩陣、Harris等方法所獲取的關(guān)鍵點(diǎn)更加穩(wěn)定。為了提高計(jì)算速度，SIFT利用高斯差分算子(DoG)近似LoG。

根據(jù)文獻(xiàn)[12]，基于海森矩陣的關(guān)鍵點(diǎn)檢測器比Harris角點(diǎn)檢測器具有更好的穩(wěn)定性和重復(fù)性。SURF的快速海森矩陣檢測器利用高斯濾波后的圖像像素的海森矩陣行列式值作為顯著性依據(jù)；同時(shí)采用積分圖像與箱式濾波器結(jié)合的方法近似海森矩陣，從而提高了運(yùn)算速度。

Rosten和Drummond[13]提出的FAST是一種最新的角點(diǎn)檢測器，其顯著性判據(jù)很好地結(jié)合了相應(yīng)的機(jī)器學(xué)習(xí)方法，這使得角點(diǎn)檢測的時(shí)間消耗達(dá)到毫秒級別，運(yùn)算速度超過快速海森矩陣數(shù)十倍。因此，F(xiàn)AST在具有比較高的實(shí)時(shí)要求的應(yīng)用中得到越來越多的使用。Leutenegger等人在BRISK方法中使用了尺度空間FAST檢測器，該方法在圖像空間和尺度空間中利用FAST分?jǐn)?shù)作顯著性衡量標(biāo)準(zhǔn)來檢測局部極值。本文研究采用這種角點(diǎn)檢器。

2.2 特征描繪器

SIFT描繪器通過計(jì)算并統(tǒng)計(jì)采樣區(qū)域內(nèi)16×16采樣點(diǎn)的灰度梯度的方法獲得128維特征向量，其計(jì)算消耗很高。SURF的設(shè)計(jì)理念與SIFT類似，它使用Haar小波響應(yīng)代替了SIFT中的相鄰4像素梯度。Alahi等人[14]的研究表明，相比于單像素點(diǎn)匹配，利用類似于SIFT或SURF的網(wǎng)格描繪器進(jìn)行圖像匹配能夠獲得更高的準(zhǔn)確率。Mikolajczyk和Schmid[12]提出的GLOH描繪器將SIFT的特征圖像塊改用極坐標(biāo)表示，GLOH有更高的獨(dú)特性但計(jì)算更為復(fù)雜。除此之外，文獻(xiàn)[12]中的大量實(shí)驗(yàn)工作表明，在GLOH、PCA-SIFT、矩不變量等10種描繪器中，SIFT具有最好的召回率—準(zhǔn)確率特性。

二值化描繪器BRIEF[15]在關(guān)鍵點(diǎn)鄰域內(nèi)按照預(yù)先隨機(jī)決定的像素位置選取像素對，比較這些像素對的灰度值大小并用二進(jìn)制數(shù)表示比較結(jié)果，然后將比較結(jié)果編入二值字符串描繪器。這種法方通過計(jì)算二值描繪器之間的漢明距離、并據(jù)此判定特征的相似度來進(jìn)行特征匹配，相比于計(jì)算描繪向量的馬氏距離或歐氏距離的方法計(jì)算消耗降低了很多。BRISK提供了一種固定的像素對采樣模式，由該模式下長距離像素對的位置和灰度值來計(jì)算關(guān)鍵點(diǎn)方向和特征描繪器，實(shí)現(xiàn)了二值特征對于平面旋轉(zhuǎn)、尺度變化和視角變化的不變性。BRISK描繪器在一般場景下的特征匹配率與SURF接近，但在存在大量相似特征的場景下其誤匹配率高于SURF。

3 結(jié)合尺度空間FAST角點(diǎn)檢測器和SURF描繪器的特征

3.1 尺度空間FAST角點(diǎn)檢測器

雖然文獻(xiàn)[9]通過在一組帶有平面旋轉(zhuǎn)的圖像下的實(shí)驗(yàn)證明了快速海森關(guān)鍵點(diǎn)的重復(fù)性略優(yōu)于海森-拉普拉斯關(guān)鍵點(diǎn)，但海森矩陣及快速海森矩陣在非水平且非豎直方向的圖像邊緣上具有較高的響應(yīng)值，通過非極大值抑制后仍然能夠在圖像邊緣及附近區(qū)域提取大量關(guān)鍵點(diǎn)，如圖1所示。一部分邊緣關(guān)鍵點(diǎn)的鄰域圖像塊因?yàn)槠鋮^(qū)域內(nèi)除邊緣以外的部分較為平滑而不具有獨(dú)特性。從而，大量的邊緣關(guān)鍵點(diǎn)容易造成誤匹配。

FAST提取的關(guān)鍵點(diǎn)如圖2所示。FAST避免了在圖像邊緣區(qū)域提取大量關(guān)鍵點(diǎn)的問題，同時(shí)能夠在細(xì)節(jié)區(qū)域提取更多的關(guān)鍵點(diǎn)。FAST僅在單一尺度的圖像上進(jìn)行角點(diǎn)檢測，且未提供角點(diǎn)方向。

圖1 720×540圖像中的840個(gè)快速海森矩陣關(guān)鍵點(diǎn)Fig.1 840 Fast-Hessian key-points in a 720×540 pixel image

圖2 同一圖像中的1 106個(gè)尺度空間FAST角點(diǎn)Fig.2 1 106 scale-space FAST corners in the same image

與SIFT和SURF所使用的尺度空間關(guān)鍵點(diǎn)檢測器相似地，尺度空間FAST角點(diǎn)檢測器首先通過一系列的降采樣獲得圖像尺度空間金字塔，并在各圖像層中利用FAST獲得角點(diǎn)的粗略位置和尺度；然后利用文獻(xiàn)[16]提出的尺度空間插值方法，根據(jù)FAST顯著度和對數(shù)尺度值計(jì)算角點(diǎn)的亞像素級精確位置和精確尺度，并采用局部非極大值抑制。

3.2 SURF描繪器

BRISK描繪器的采樣模式包括60個(gè)經(jīng)過高斯濾波的采樣點(diǎn)及512個(gè)灰度比較點(diǎn)對。同一采樣點(diǎn)參與多次比較，導(dǎo)致二值描繪器的部分位因信息相關(guān)而冗余。

SURF描繪器的采樣模式包括400個(gè)均勻分布于方向標(biāo)準(zhǔn)化的正方形采樣區(qū)域中的采樣點(diǎn)。在采樣區(qū)域中劃分出4×4子區(qū)域，計(jì)算各子區(qū)域內(nèi)的5×5采樣點(diǎn)的水平、豎直方向的Haar小波響應(yīng)之和，再將各子區(qū)域的響應(yīng)統(tǒng)計(jì)信息依次序編入64維描繪向量。這種描繪方式包含的信息比二值描繪器所采用的采樣點(diǎn)灰度值比較結(jié)果所包含的信息更加豐富，因此SURF描繪器具有比二值描繪器更強(qiáng)的獨(dú)特性。

3.3 本文方法

根據(jù)前文對關(guān)鍵點(diǎn)檢測器和描繪器的敘述及其性能上的論證和比較，本文結(jié)合尺度空間FmmmAST角點(diǎn)檢測器和SURF描繪器，提出新的特征方法。概括本文方法如下：

(1)尺度空間關(guān)鍵點(diǎn)檢測：利用FAST從圖像空間和尺度空間上獲取角點(diǎn)作為關(guān)鍵點(diǎn)。在圖像金字塔的每一層和每一內(nèi)層中進(jìn)行角點(diǎn)檢測，然后通過連續(xù)域上的插值來確定每個(gè)角點(diǎn)的精確位置和尺度。

(2)關(guān)鍵點(diǎn)描繪器：對關(guān)鍵點(diǎn)描繪器的采樣點(diǎn)計(jì)算Haar小波響應(yīng)，根據(jù)水平和豎直兩個(gè)方向的響應(yīng)的統(tǒng)計(jì)信息決定關(guān)鍵點(diǎn)方向；然后，在與關(guān)鍵點(diǎn)方向一致的采樣模式上重新計(jì)算各采樣點(diǎn)的Haar響應(yīng)，這些響應(yīng)值的局部統(tǒng)計(jì)信息被依次編入描繪向量。

4 實(shí)驗(yàn)結(jié)果

尺度空間FAST角點(diǎn)檢測器的重復(fù)性及SURF描繪器對各種圖像變換的不變性已經(jīng)在文獻(xiàn)[8-10]中得到實(shí)驗(yàn)證明。

為了檢驗(yàn)本文提出的特征的在遠(yuǎn)距離目標(biāo)識(shí)別中的性能，本節(jié)針對低分辨率、帶有視角變化和光照變化的圖像進(jìn)行了大量的目標(biāo)識(shí)別實(shí)驗(yàn)，其中使用的圖像數(shù)據(jù)組來自ALOI和COIL-100網(wǎng)絡(luò)數(shù)據(jù)庫。ALOI圖像為384×288像素的png圖像，COIL-100圖像為128×128像素的png圖像。這些圖像能夠有效地驗(yàn)證本文方法對于遠(yuǎn)距離目標(biāo)識(shí)別的適用性，其低分辨率以及其不同對象之間的高相似度給識(shí)別帶來了難度。實(shí)驗(yàn)環(huán)境為Intel i5 2.67 GHz CPU，Windows系統(tǒng)，MATLAB、VC++平臺(tái)。

識(shí)別方法為，通過特征匹配將檢測圖與所有基準(zhǔn)圖進(jìn)行比較，以匹配數(shù)最多的基準(zhǔn)圖的對象的類別作為測試圖像目標(biāo)的所屬類別。實(shí)驗(yàn)還將這些識(shí)別結(jié)果與利用SIFT、SURF、BRISK算法獲得的識(shí)別結(jié)果進(jìn)行了比較。

4.1 特征匹配策略

常用的匹配策略包括基于閾值的匹配、基于最近鄰準(zhǔn)則的匹配(NN，nearest neighbor matching)以及基于最近鄰距離比例的匹配(NNDR，matching based on the nearest neighbor distance ratio)。這3種匹配策略都要求將基準(zhǔn)圖的每個(gè)特征描繪器與測試圖的所有特征描繪器逐一比較。文獻(xiàn)[12]中的實(shí)驗(yàn)表明，特征匹配策略的不同對所有10種描繪器的性能的相對水平幾乎沒有影響。除此之外，Lowe還提出了一種近似k-d樹算法[17]的最優(yōu)節(jié)點(diǎn)優(yōu)先算法(BBF)，這種方法在提高匹配速度的同時(shí)對正確匹配數(shù)目造成損失。

本文所有實(shí)驗(yàn)采用基于歐氏距離的NNDR匹配，設(shè)定距離比例閾值為0.7；同時(shí)，對于以下情況，基準(zhǔn)圖像中的多個(gè)位置的特征與變換圖像中同一關(guān)鍵位置上的一個(gè)或多個(gè)尺度下的特征匹配，本文實(shí)驗(yàn)中僅保留其中描繪器間距離最小的匹配。

4.2 視角變化實(shí)驗(yàn)

視角變化圖像按照不同的圖像對象分為8組，各組包含36幅COIL-100圖像，圖像對象的視角依次相差10°。再從各組中分別選取對象視角為0°、90°、180°、270°的圖像作為基準(zhǔn)圖，如圖3所示；各組其余32幅作為測試圖。識(shí)別結(jié)果如表1所示。

圖3 視角變化實(shí)驗(yàn)的基準(zhǔn)圖Fig.3 Reference images used in tests against view-point change

Tab.1 Recognition results of the test images with change in view-point

基準(zhǔn)圖關(guān)鍵點(diǎn)數(shù)識(shí)別正確率/%組平均識(shí)別時(shí)間/msSIFT201869．927224SURF172465．633301BRISK635350．00472．3本文方法240370．703149

表1所示識(shí)別結(jié)果表明，與快速海森矩陣算法相比，尺度空間FAST算法在圖像中提取出更多的關(guān)鍵點(diǎn)，但因此帶來的匹配時(shí)間的增加被FAST的高速計(jì)算抵消。

4.3 光照變化實(shí)驗(yàn)

FAST角點(diǎn)檢測器依賴檢測閾值，因此易受光照變化影響。為了驗(yàn)證SURF描繪器能夠使特征獲得對光照變化的不變性，本文利用帶有光照變化的圖像組進(jìn)行了識(shí)別實(shí)驗(yàn)。

圖4 光照變化實(shí)驗(yàn)的基準(zhǔn)圖Fig.4 Reference images used in tests against illumination change

基準(zhǔn)圖關(guān)鍵點(diǎn)數(shù)識(shí)別正確率/%組平均識(shí)別時(shí)間/msSIFT366998．9115989SURF188994．025227BRISK403293．48890．3本文方法250995．314854

光照變化圖像按照不同的圖像對象分為8組，圖像對象受到不同強(qiáng)度和角度的光照，各組包含24幅ALOI圖像。選取各組中對象受到正面中等強(qiáng)度光照的1幅圖像作為基準(zhǔn)圖，如圖4所示；各組其余23幅作為測試圖。識(shí)別結(jié)果如表2所示。

4.4 尺度變化實(shí)驗(yàn)

尺度變化圖像按照不同的圖像對象分為8組，各組均為帶有視角變化的ALOI圖像。從各組中分別選取視角為0°、90°、180°、270°的圖像作為基準(zhǔn)圖，如圖5所示；再按照20°的視角間隔從各組分別選取視角為0 ～ 340°的18幅圖像，對這些圖像進(jìn)行一系列的降采樣，以模擬帶有不同的尺度變化的目標(biāo)，得到測試圖。識(shí)別結(jié)果如圖6所示。

圖5 尺度變化實(shí)驗(yàn)的基準(zhǔn)圖Fig.5 Reference images used in tests against scale change

圖6 尺度變化測試圖的識(shí)別結(jié)果Fig.6 Recognition results of the test images with change in scale

圖7 尺度變化測試圖的識(shí)別結(jié)果Fig.7 Recognition results of the test images with change in scale

為了進(jìn)一步驗(yàn)證本文特征在遠(yuǎn)距離目標(biāo)識(shí)別應(yīng)用中的優(yōu)勢，實(shí)驗(yàn)還對更低分辨率的測試圖進(jìn)行了識(shí)別，結(jié)果如圖7所示。當(dāng)測試圖的尺度被縮小到ALOI原圖像的1/4以下時(shí)，BRISK算法在部分測試圖中得到的匹配特征數(shù)目為零，而實(shí)驗(yàn)未將此類情況歸類為誤匹配；縮小到1/7以下時(shí)SIFT算法出現(xiàn)相同的情況。因此，本文特征相比于其他幾種特征更適用于遠(yuǎn)距離目標(biāo)識(shí)別。

4.5 特征匹配示例

在基于標(biāo)準(zhǔn)圖像庫的檢驗(yàn)性識(shí)別實(shí)驗(yàn)之后，本文還給出了提出的方法在實(shí)際景物圖像匹配中的應(yīng)用示例，如圖8所示，設(shè)定FAST閾值為60。該組圖像具有尺度變化、不同程度的景物視角變化以及復(fù)雜背景。

圖8 本文方法的特征匹配示例，角點(diǎn)檢測閾值設(shè)定為60Fig.8 Matching example of the proposed method，a corner detection threshold of 60 is used

5 結(jié) 論

提出了將尺度空間FAST角點(diǎn)檢測器與SURF描繪器結(jié)合的特征方法，這種方法能夠精確地估計(jì)關(guān)鍵點(diǎn)的尺度，保留了FAST角點(diǎn)的快速性、穩(wěn)定性以及SURF描繪器的描繪力，對光照變化、視角變化和尺度變化具有魯棒性。相比于目前廣泛使用的特征，本文提出的特征在目標(biāo)識(shí)別實(shí)驗(yàn)中的性能優(yōu)于SIFT、SURF和BRISK，且計(jì)算速度與SURF接近，適用于遠(yuǎn)距離目標(biāo)識(shí)別應(yīng)用。

[1] 賈平，徐寧，張葉.基于局部特征提取的目標(biāo)自動(dòng)識(shí)別[J].光學(xué) 精密工程，2013，21(7)：1898-1905.

Jia P，Xu N，Zhang Y. Automatic target recognition based on local feature extraction [J].Opt.PrecisionEng.，2013，21(7)：1898-1905. (in Chinese)

[2] 丘文濤，趙建，劉杰.結(jié)合區(qū)域分割的SIFT圖像匹配方法[J].液晶與顯示，2012，27(6)：827-831.

Qiu W T，Zhao J，Liu J. Image matching algorithm combining SIFT with region segmentation [J].ChineseJournalofLiquidCrystalsandDisplays，2012，27(6)：827-831. (in Chinese)

[3] 楊云，岳柱.基于融合圖像輪廓矩和Harris角點(diǎn)方法的遮擋人體目標(biāo)識(shí)別研究[J].液晶與顯示，2013，28(2)：273-277.

Yang Y，Yue Z.Human body target recognition under occlusion based on fusion of image contour moment and harris angular points [J].ChineseJournalofLiquidCrystalsandDisplays，2013，28(2)：273-277. (in Chinese)

[4] 趙建川，王弟男，陳長青，等.紅外激光主動(dòng)成像和識(shí)別[J] .中國光學(xué)，2013，6(5)：795-802.

Zhao J C，Wang D N，Chen C C，etal. Infrared laser active imaging and recognition technology [J].ChineseOptics，2013，6(5)：795-802. (in Chinese)

[5] 閆輝，許廷發(fā)，吳青青，等.多特征融合匹配的多目標(biāo)跟蹤[J].中國光學(xué)，2013，6(2)：163-170.

Yan H，Xu T F，Wu Q Q，etal. Multi-object tracking based on multi-feature joint matching [J].ChineseOptics，2013，6(2)：163-170. (in Chinese)

[6] 唐永鶴，盧煥章.基于灰度差分不變量的快速局部特征描述算法[J].光學(xué) 精密工程，2012，20(2)：447-454.

Tang Y H，Lu H Z. Fast local featuredescription algorithm based on greyvalue differential invariants [J].Opt.PrecisionEng.，2012，20(2)：447-454. (in Chinese)

[7] Lowe D. Distinctive image features from scale-invariant keypoints [J].InternationalJournalofComputerVision，2004，60(2)：91-110.

[8] Bay H，Tuytelaars T，Van Gool L.SURF：Speeded up robust features [C]//ProceedingsoftheEuropeanConferenceonComputerVision，2006：404-417.

[9] Bay H，Ess A，Tuytelaars T，etal. Speeded-up robust features(SURF) [J].InternationalJournalonComputerVisionandImageUnderstanding，2008，110(3)：346-359.

[10] Leutenegger S，Chli M，Siegwart R. BRISK：Binary robust invariant scalable keypoints [C].IEEEInternationalConferenceonComputerVision，2011：2548-2555.

[11] Mikolajczyk K. Scale and Affine Invariant Interest Point Detectors [D]. INRIA Grenoble，2002.

[12] Mikolajczyk K，Schmid C. A performance evaluation of local descriptors [J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2005，10(27)：1615-1630.

[13] Rosten E，Drummond T. Machine learning for high-speed corner detection [C].ProceedingsoftheEuropeanConferenceonComputerVision，2006：430-443.

[14] Alahi A，Vandergheynst P，Bierlaire M，etal. Cascade of descriptors to detect and track objects across any network of cameras [J].InternationalJournalonComputerVisionandImageUnderstanding，2010，114(6)：624-640.

[15] Calonder M，Lepetit V，Strecha C，etal. BRIEF：Binary robust independent elementary features [C].ProceedingsoftheEuropeanConferenceonComputerVision，2010：778-792.

[16] Brown M，Lowe D. Invariant features from interest point groups [C].British Machine Vision Conference，2002：656-665.

[17] Friedman J H，Bentley J L，F(xiàn)inkel R A. An algorithm for finding best matches in logarithmic expected time [J].ACMTransactionsonMathematicalSoftware，1977，3(3)：209-226.