基于SURF的連續(xù)幀圖像配準及高光去除

卓武漢，嚴京旗

0 引言

工業(yè)檢測、模式識別和計算機視覺等應用領域中，高光是普遍存在著的，當我們對圖像進行處理時，圖像中的高光就經(jīng)常成為圖像檢測識別的一大障礙，嚴重影響著對圖像的后續(xù)處理。例如，高光的存在會極大地影響條形碼、二維碼、關鍵字符等的識別；并對圖像分割、邊緣檢測、目標跟蹤等算法的精度和魯棒性也有很大的影響。如圖1所示的是工業(yè)生產線上所拍的9張連續(xù)的飲料瓶圖像，我們可以很明顯看出每張圖像中均存在著較大范圍的高光區(qū)域。

圖1 具有高光的飲料瓶連續(xù)圖像

現(xiàn)在已有的去高光處理方法主要是針對單幅圖像的，但是單幅圖像的處理比較困難，去除高光的結果很難到達預期。例如，針對單幅圖像去高光的處理，Lee[1]曾經(jīng)提出了一個在色度空間估計光源色度的方法，但是由于圖像噪聲的影響，直接利用該方法估計光源色度，往往得不到理想的結果。Novak 和Shafer[2]曾經(jīng)從 RGB空間中的像素分布估計表面的粗糙程度和物體的幾何形狀，并以此估計高光像素簇的扭曲程度，以便獲得一個更精確的光源顏色估計，但是由于圖像噪聲等的影響，僅僅從像素的分布形狀往往很難可靠地估計出這些信息。對于單張圖像去高光而言，并且由于圖像中經(jīng)常有其他顏色的物體存在，完全自動檢測高光區(qū)域是一個非常困難的問題?；趩畏鶊D像的去高光算法并不適用于本課題。連續(xù)圖像在工業(yè)流水線上是較容易獲得的，并且由于高光區(qū)域在每個連續(xù)幀圖像中的位置是不同的，從而我們可以利用連續(xù)幀圖像的信息融合去除或削弱高光的影響，進一步提高圖像檢測的識別性能、目標檢測和跟蹤精度和魯棒性等。在此，提出了一種基于SURF特征點匹配的去除高光方法，該方法的研究內容主要包括兩個模塊：圖像配準和圖像融合。大致分為以下兩個步驟：首先，利用SURF算法提取連續(xù)幀圖像穩(wěn)定的特征點，生成特征向量描述符，而后采用最近鄰向量匹配法進行特征匹配。其次，對配準后的連續(xù)幀圖像進行融合。該方法對去除工業(yè)流水線上產生的高光有良好的效果。

1 SURF算法的簡介

圖像配準技術是將不同時間、不同傳感器或不同視角下獲取的同一場景的兩幅或多幅圖像進行匹配的圖像處理過程,是圖像處理的一個基本問題。圖像配準的方法大致可以分為基于灰度和基于特征兩類，其中基于特征的圖像配準方法是目前圖像配準最常用的方法之一,基于特征的圖像配準方法有兩個重要環(huán)節(jié)：特征提取和特征匹配?？梢赃x取的特征包括點、線與區(qū)域。基于特征的圖像配準方法主要有兩方面優(yōu)點：圖像的特征點比圖像的像素點要少很多，大大減少了匹配過程的計算量；特征點的提取過程可以減少噪聲的影響，對灰度變化、圖像形變以及遮擋等都有較好的適應能力。并且其最大的優(yōu)點在于能夠將對整個圖像進行的各種分析轉化為對圖像特征(特征點、特征曲線等)的分析,從而大大減小了圖像處理過程的運算量，并具有執(zhí)行速度快、精度高等優(yōu)點。SIFT是基于特征的圖像配準方法之一，并成為近年來研究的一大熱點，但SIFT方法數(shù)據(jù)量較大、計算處理耗時較長，而SURF算法可以說是SIFT算法的加速版，相比于SIFT算法，SURF具有計算量小、速度快等優(yōu)點，近年來得到廣泛應用，在本課題的圖像配準這一環(huán)節(jié)，我們就是采用基于SURF的算法來進行處理。

基于SURF特征的圖像配準主要由如下3個步驟組成：

(1)SURF局部特征的檢測。SURF特征點的檢測仍然是基于Hessian矩陣，并且Hessian矩陣H(x,σ)在尺度為σ的x點是被定義為：

(2)SURF局部特征的描述。首先，根據(jù)圍繞感興趣點的圓形區(qū)域提供的信息，我們可以確定一個可復寫的方向。然后，我們根據(jù)被選定的方向特性構造一個正方形區(qū)域，并從中提取出SURF描述子。圖2所示的是飲料瓶其中兩張圖像的SURF特征點及特征區(qū)域，我們用紅色小圓圈標出。

圖2 SURF特征點及特征區(qū)域

(3)基于SURF局部特征的圖像匹配。用SURF方法獲得參考圖像和待配準圖像的特征點后，進行特征匹配，常用的方法有：相關系數(shù)法、各種相似性度量法、不變距、Hausdofff距離、各種距離度量值等。圖3所示的是利用SURF算法對上圖2的兩張圖像進行特征匹配的結果圖。

圖3 SURF特征匹配結果圖

2 改進方法：

圖像融合的主要目的是通過對多幅圖像間的冗余數(shù)據(jù)進行處理，進而提高圖像的可靠性，通過對多幅圖像間互補信息的處理提高圖像的清晰度。近年來，圖像融合已經(jīng)成為圖像理解和計算機視覺領域中一項重要而又非常有用的新技術。在本文應用中，我們處理的對象是連續(xù)幀圖像，而不是針對單幅圖像的去高光處理。在工業(yè)應用上，首先，監(jiān)控設備所拍到的圖像高光區(qū)域的亮度級普遍高于非高光區(qū)域的亮度級。其次，高光區(qū)域在連續(xù)圖像中的位置也是連續(xù)出現(xiàn)的?；谝陨蟽牲c特性，我們在對配準后的圖像進行融合時，主要采用選取最小灰度值的方法對圖像進行融合。實驗設計上，我們也對采用基于灰度平均值，基于 DOG[8]（Difference of Gaussians）和平均值的經(jīng)典融合方法進行比較。

圖4 最終融合結果

上圖4所示的3張圖像依次是采用取最小灰度值,取灰度平均值，基于DOG[8]（Difference of Gaussians）和平均值的方法對圖1所示的飲料瓶圖像進行配準和融合處理的結果圖像，圖像配準這一步驟采用的是第二部分所介紹的SURF算法。

本實驗設計的核心思想是對移動物體的連續(xù)幀圖像進行配準（在此實驗中，我們選取了中間圖像作為基準圖像），然后對有用信息（沒有高光的區(qū)域）進行融合，最后輸出圖像的合成結果。該實驗主要包括兩個模塊：圖像配準和圖像融合，以下分別對這兩個模塊進行介紹。圖像配準這一模塊主要包括以下4個主要步驟：

（1）特征檢測（采用fast Hessian-Laplace[3]算子來進行SURF局部特征檢測）。

（2）特征描述（采用簡單Harr[3]變換對SURF局部特征進行描述）。

（3）特征匹配（采用1st和2nd最近鄰距離比進行特征匹配）。

（4）計算變換矩陣（計算圖像配準的變換矩陣參數(shù)，以便傳入圖像融合模塊進行圖像融合處理）。

圖像融合模塊主要有以下幾個步驟：

（1）圖像配準后，圖像變換矩陣被傳入圖像融合模塊。

（2）根據(jù)圖像變換矩陣結果，對齊所有圖像。

（3）采用取最小像素灰度值，取灰度平均值，DOG[8]和中值結合的方法對圖像進行融合，并輸出最終圖像融合結果。

3 結果與分析

下圖5所示的分別是鋰電池和啤酒瓶蓋原始連續(xù)圖像，接下來我們將對這兩組連續(xù)圖像進行實驗，并給出最終合成結果圖像。

圖5 兩組原始實驗數(shù)據(jù)(連續(xù)的幾幀圖像)

圖6是兩組原始圖像配準后采用3種不同融合方法的融合結果，它們分別是基于取最小灰度值，取灰度平均值，DOG和中值結合的方法。通過多組實驗對比，我們發(fā)現(xiàn)基于SURF特征的圖像配準返回了正確的匹配結果，且取最小灰度值的融合方法效果比另外兩種方法好，且較為簡單，融合結果令人滿意，基本達到了去除高光的目的，字跡都較為清晰，對于去除圖像高光而言，達到了理想的效果，有一定的理論和應用價值。

圖6 最終融合結果

4 結論

本文提出了一種基于 SURF的連續(xù)幀圖像配準及高光去除的方法，相比較于基于單張圖像去除高光的處理方法，該方法尤其適用于局部紋理比較多的物體，但對于那些紋理比較少或者結構比較簡單的物體的高光去除表現(xiàn)不佳。經(jīng)過反復實驗驗證，最小灰度值選取的方法尤其適用于連續(xù)幀圖像的高光去除，且該方法相比較于其他經(jīng)典的融合算法，它數(shù)據(jù)分析簡單，執(zhí)行速度快，達到了理想的效果。

[1]Lee H-C.Method for computing the scene-illuminant chromaticity from specular highlights.Journal of the Optical Society of America A,1986,1(10).

[2]Noak C L,Shafer S A.Anatomy of a color histogram.In:Proc.Of the IEEE Computer Vision and Pattern Recognition.1992.599～605.

[3]Herbert Bay,Tinne Tuytelaars,and Luc Van Gool,SURF:Speeded Up Robust Features,ECCV,2006.

[4]Chipman L J,Orr T M and Lewis L N.Wavelets and image fusion,IEEE Transactions on Image Processing,3,pp.248-251,1995.

[5]張銳娟,張建奇,楊翠.基于SURF的圖像配準方法研究[J].紅外與激光工程,2009,Vol.38 No.1.

[6]Barbara Zitova,Jan Flusser,Image registr-ation methods:a survey,Image and Vision Computing 21 (2003)977–1000.