激光主動探測成像中全景拼接的算法研究

馬雪松，張海洋，韓 磊，趙長明，楊蘇輝

（北京理工大學光電學院，北京100081）

·圖像與信號處理·

激光主動探測成像中全景拼接的算法研究

馬雪松，張海洋，韓 磊，趙長明，楊蘇輝

（北京理工大學光電學院，北京100081）

激光主動探測成像是將激光技術(shù)、距離選通技術(shù)、微弱目標的成像處理等技術(shù)結(jié)合應用的一項新技術(shù)。因其分辨率高、抗干擾能力強、能夠生成三維像的優(yōu)點，廣泛應用于各種探測領域。但這種方式獲取的圖像一般視場角偏小，不利于全局的觀察和分析。本文描述了一種通過改進的并行SURF算法檢測場景角點特征，能夠高速實時地將相鄰場景焦點特征相匹配的全景拼接方法。測試了這種方法的運行效率和拼接效果。利用改進后的SURF算法將小視角的圖像拼接起來，增大了可視范圍，提高了觀察和分析的綜合能力。并且將這一方法運用到了3D成像激光雷達距離信息的拼接中，測試了效果，驗證了其可行性。本文提出的快速配準拼接算法，為高速實時大視場觀察奠定了理論和實驗基礎。

主動探測；圖像處理；特征識別；全景拼接

1 引 言

全景拼接技術(shù)是圖像處理領域中的重要技術(shù)之一，它可以彌補激光探測中，探測視場角過?。?-2］，不利于全局觀察的缺陷，因此被廣泛應用于虛擬現(xiàn)實、遙感圖像處理、視頻壓縮和傳輸?shù)阮I域。目前有很多方法可以進行全景拼接，有Szeliski基于運動的方法［3］，Peleg和Herman的多重投影（Manifold-Projection）拼接法［4］，Kyung Ho的等距匹配法［5］，以上這些都是直接從圖像的重疊區(qū)域中對應像素灰度值出發(fā)去考慮，由于重疊區(qū)域有大量像素數(shù)需要統(tǒng)計，并且要求圖像“亮度恒定”，所以在實際應用上存在一些局限。為了解決以上缺點，出現(xiàn)了由特征匹配出發(fā)的拼接算法［6］，典型的有基于相位一致性和Hough變換的圖像配準方法［7］，Harris和Stephens的Harris角檢測算子［8］，尺度不變特征變換匹配（SIFT）算法［9-10］，和近年出現(xiàn)的加速魯棒特征（SURF）算法，這幾種算法都是將兩幅圖像的角點特征進行匹配，從而完成圖像拼接。

本文提出了一種改進的并行SURF算法，通過并行運算和重寫部分代碼達到了提高算法運行效率的作用。這一改進加快了SURF算法的速度，達到了高速實時處理的要求。并且本文將SURF算法運用于3D成像激光雷達的應用，驗證了其可行性。

2 SURF算法原理

SURF算法的第一步，也是其核心的是構(gòu)建Hessian矩陣，給定一個圖像I上的點X=（x，y），則點X在尺度σ上Hessian矩陣為［11］：

SURF算法巧妙之處在于將圖像處理成積分圖像，這樣要計算Hessian響應時，只需要計算三次加減法即可。由于采用了積分圖像和盒子濾波器，所以在建立尺度空間時，可以采用不同的圖像金字塔構(gòu)建方法，圖像大小不變而改變了Gaussian盒子濾波器的大小。

尺度空間由不同的組構(gòu)成，第一組的最小尺度是9，那么經(jīng)過差值之后，下一組的最小高斯函數(shù)的尺度就是σ=1.6=1.2，盒子濾波器的最小尺寸為12×12，最大的高斯函數(shù)尺度為σ=3.2= 1.2，盒子濾波器的最小尺寸為24×24［12］。尺度空間各組和組內(nèi)每層的分布如圖1所示。

圖1 三個不同組的盒子濾波器尺寸示意圖Fig.1 Graphicalrepresentationofthefilter sidelengthsforthreedifferentoctaves

通過以上步驟得到多層尺度空間數(shù)據(jù)后利用三維空間上｛x，y，σ｝的非最大值抑制來尋找極值點，x，y表示橫縱坐標，s代表尺度。在得到極值點后，需要用插值迭代的方法獲得更高尺度精度，需要用到Brown提出的方法［13］，為此需要將檢測點處的Hessian函數(shù)的特征值H（x，y，σ）進行泰勒展開，結(jié)果為：

當極值點的值為0時得到插值位置^x=（x，y，σ），代入式（2），該微分是對鄰近像素的有限差分逼近，當^x大于0.5時根據(jù)結(jié)果調(diào)整位置再一次進行以上的差值運算，直到^x的值小于0.5或者差值次數(shù)超過閾值次數(shù)為止。

在興趣點處用Haar小波計算其一定大小鄰域處的Haar小波響應的統(tǒng)計，從而計算出興趣點的主方向和特征描述向量［14］。最后只需比較兩幅圖像間興趣點描述子向量的距離，就可以完成兩幅圖像間特征點的匹配。

3 SURF算法的改進

盡管SURF算法在特征匹配算法中具有相對不錯的效率，也因為使用了boxfilter和積分圖像提高了效率，但是如果要用在實時處理上，其效率還是遠遠不夠的?，F(xiàn)在主要運用的OpenSURF其匹配兩幅圖像所需要的時間往往需要在800ms以上，對于現(xiàn)在很多實時系統(tǒng)來說這種效率是無法容忍的。所以需要改進SURF算法，在保留其精準度的同時提高它的效率。

首先如上一章所述，SURF算法流程如圖2所示。

圖2 傳統(tǒng)的SURF拼接算法流程圖Fig.2 TheflowchartoftraditionalSURFalgorithminstitching

如圖2所示的是傳統(tǒng)的SURF算法的流程圖，可以看到這一流程完全是串行化的，實際上從圖中可以看出輸入的圖像一和圖像二做的完全是同樣的操作，所以完全可以把這個兩個流程做并行化處理，理論上可以提升一倍的效率。并行化后的流程圖如圖3所示。

圖3 并行的SURF拼接算法流程圖Fig.3 The flowchart of parallel SURF algorithm in stitching

其次，SURF算法在生成積分圖時是從BITMAP類上提取像素值，這樣每處理一個像素點就要做一次提取，這樣是相當耗時的，所以，在運行SURF算法之前，將兩幅圖像預處理為一組RGB矩陣，再改寫SURF算法直接從矩陣中讀取數(shù)據(jù)，這樣使得數(shù)據(jù)的讀取操作變得更加容易，可以很大程度上加快SURF算法的處理效率。至此，將輸入數(shù)據(jù)類型和程序流程改寫完成?？梢詫Υa具體的SURF算法進行改寫，這里主要是對算法中的循環(huán)進行Parallel并行化改寫。

用不同大小尺度的Gaussian二階偏導數(shù)對改進前的代碼進行多次測試得到平均數(shù)據(jù)，得到了如表1所示的未經(jīng)過優(yōu)化代碼的數(shù)據(jù)。

表1 未經(jīng)過優(yōu)化代碼運行數(shù)據(jù)Tab.1 The data of SURF before optimising

從表1中可以看出，隨著Gaussian scale的減小，圖片處理的越細密，匹配點數(shù)越多，若要使得匹配點達到50個，則代碼的執(zhí)行時間平均為568.7 ms，這樣的匹配點數(shù)是SURF拼接的基本條件。這也就意味著，在不對代碼進行優(yōu)化的情況下，若要保證兩幅圖像成功拼接，需要560.7 ms以上的時間來運行算法，這樣的表現(xiàn)達不到實時系統(tǒng)的要求。

經(jīng)過上文所述的并行優(yōu)化、輸入優(yōu)化和數(shù)據(jù)結(jié)構(gòu)的優(yōu)化后再次在同樣的硬件條件下處理相同的兩幅圖像多次，記錄多組數(shù)據(jù)取得平均值，得到了優(yōu)化后的算法運行數(shù)據(jù)，如表2所示。

表2 經(jīng)過優(yōu)化代碼運行數(shù)據(jù)Tab.2 The Data of SURF after Optimising

表2顯而易見的表明了算法的性能改善，在Gaussian scale為0.001時，不僅算法效率有了極其顯著的提升，而且在特征點數(shù)量上也有了一定的改善，這說明本文所述的算法優(yōu)化是相當有效的。

圖4顯著地表現(xiàn)了算法優(yōu)化的效果，在代碼優(yōu)化前點數(shù)時間比最大可達到0.13，但是經(jīng)過優(yōu)化后這一比例最大達到0.76，最小時也有0.4，最小值是優(yōu)化前最大值的近四倍。圖中的折線代表優(yōu)化比，代表不同scale下點數(shù)時間比的優(yōu)化倍數(shù)，這一倍數(shù)最大可達到5.85。在實際應用中當匹配點數(shù)足夠時，更多的匹配點數(shù)并不能帶來更好的肉眼可見的拼接效果，在這種情況下，時間方面的優(yōu)化就顯得更為重要。

圖4 算法效率優(yōu)化效果示意圖Fig.4 The Efficiency Result after Optimizing

在時間上的效果可以從圖5中明顯地表現(xiàn)出來，對比之下優(yōu)化后的時間顯著減少，并且Gaussian scale越小算法處理圖像處理的越細膩，這種優(yōu)化效果越明顯，最后收斂在0.17處，這表明只從時間角度上說，本文所述的優(yōu)化可使時間效率提高近六倍。

以上證明了優(yōu)化后的SURF算法在效率上的確得到了顯著的提高，下面驗證優(yōu)化后的拼接效果。匹配并拼接兩幅640×480的圖像在scale為0.000005時經(jīng)327.6 ms匹配拼接完成，左邊圖像檢測出750個興趣點，右側(cè)圖像檢測出803個興趣點，匹配點數(shù)264。優(yōu)化后的拼接效果如圖6所示。

圖5 算法時間優(yōu)化效果圖Fig.5 The Time Result after Optimizing

圖6 的拼接前后對比圖表現(xiàn)出了算法的良好拼接效果，算法成功地對兩幅圖像進行了拼接。證明了本文所做的優(yōu)化一方面保證了算法的精確性，提供了良好的拼接效果，另一方面極大地提高了算法的效率。

圖6 算法優(yōu)化后拼接效果圖

經(jīng)過本文優(yōu)化的SURF算法與其他算法相比，具有非常大的優(yōu)勢。這里將本文的優(yōu)化算法與一般的Accord.Net庫提供的拼接算法做拼接時間上的比較，兩種算法處理同樣一幅圖像，數(shù)據(jù)如表3所示。

表3 優(yōu)化的SURF算法與Accord.Net的拼接算法對比Tab.2 The data of SURF after optimising v.s Accord.Net

從表中可以看出，本算法與其他算法相比具有很大的優(yōu)勢。匹配點數(shù)量上可以發(fā)現(xiàn)，兩種算法的相差無幾，所以在同一幅圖的拼接效果上也是相同的。在時間上本算法只需要Accord.Net的三分之一的時間就可以完成效果相同的拼接效果。所以說，本算法與其他算法相比也具有相當大的優(yōu)勢。

4 SURF算法在3D圖像拼接上的應用

如前文所述，在做圖像拼接時，優(yōu)化后的SURF算法在時間和精確性上都具有很好的性能。那么從理論上來說SURF算法同樣可以用于3D圖像的拼接上，這一方法的實現(xiàn)為3D成像激光雷達的結(jié)果顯示帶來了極大的方便。

為了便于查看拼接效果，將3D成像激光雷達采集到的深度信息轉(zhuǎn)化為灰度圖進行顯示，拼接效果如圖7所示。

圖7 3D成像激光雷達深度信息拼接效果圖Fig.7 Stitching result of the distance Information of 3D Image Laser Radar

在圖7中，（b）是未經(jīng)處理過的深度信息等效出的灰度圖像。將深度信息分割后可以還原出圖7（a）中的兩個圖像，將分割出的兩組距離信息輸入上文優(yōu)化后的算法中。經(jīng)過61.0 ms的處理，可以看出得到了八對匹配度良好的匹配點，算法輸出到重新拼接好的矩陣，還原為灰度圖如7（c）所示。對比原距離信息還原出的圖7（b）和再拼接后得到的距離信息還原出的圖7（c），可以看出除了圖像的下邊緣由于拼接產(chǎn)生的鋸齒瑕疵外，剩余區(qū)域幾乎沒有差異。

以上試驗可以驗證經(jīng)過本文所述方法優(yōu)化的SURF算法，完全可以用于3D成像激光雷達深度信息的拼接、還原工作中，這一應用會為3D成像激光雷達帶來視角更大、信息更加全面的顯示效果。

5 結(jié) 論

文中采用了并行化算法和優(yōu)化算法輸入數(shù)據(jù)類型的方法將SURF算法進行了改進。從得到的數(shù)據(jù)來看，不論算法的整體效率還是時間效率上都有了很大的提高，而且算法對圖像的處理效果并沒有因為效率的提高而變差，與預期相符合。這為SURF算法在實時系統(tǒng)上的運用奠定了基礎。本文在第三部分進行了將SURF算法運用在拼接3D成像激光雷達所得到的深度數(shù)據(jù)的試驗，從實驗結(jié)果可以看出，這一方法是完全可行并且有效，這為3D成像激光雷達的數(shù)據(jù)顯示提供了一個新的思路。雖然本次優(yōu)化已經(jīng)將SURF算法的效率顯著提高，但是通過分析還是有一定優(yōu)化的余地，例如改變算法細節(jié)的數(shù)據(jù)結(jié)構(gòu)，優(yōu)化其中對于數(shù)據(jù)的查找效率，這可以進一步發(fā)掘該算法的潛力，為實際運用帶來便捷。

［1］WANG Min，SONG Liwei，QIAO Yanfeng，et al.External field stitching technology for high speed targetmeasuring and its implementation［J］.Optics and Precision Engineering，2010，18（9）：2069-2076.（in Chinese）

王旻，宋立維，喬彥峰，等.外視場拼接測量技術(shù)及其實現(xiàn)［J］.光學精密工程，2010，18（9）：2069-2076.

［2］YU Xiaobo，SHENG Lei.Image stitching of multi-lens with large visual field in range instrumentation［J］.Optics and Precision Engineering，2008，16（11）：2144-2150.（in Chinese）

于曉波，盛磊.靶場測量中多鏡頭大視場視頻圖像的拼接［J］.光學精密工程，2008，16（11）：2144-2150.

［3］SzeliskiR.Image mosaicking for tele-reality applications［C］.IEEE，1994（1）：44-53.

［4］Peleg S，Herman J.Panoramic mosaics by manifold projection［C］.IEEE，1997：338-343.

［5］H JKyung，K JSoon.Constructing cylindrical panoramic image using equidistantmatching［J］.Electronics Letters.1999，35（20）：715-1716.

［6］ZHAO Xiangyang，DU Limin.An automatic and robust imagemosaic algorithm［J］.Journal of Image and Graphics，2004，9（4）：417-422.（in Chinese）

趙向陽，杜利民.一種全自動穩(wěn)健的圖像拼接融合算法［J］.中國圖象圖形學報，2004，9（4）：417-422.

［7］C Harris，M Stephens.A combined corner and edge detector［C］//Proc of the 4th Alvey Vision Conference，1988，88：147-151.

［8］D G Lowe.Object recognition from local scale-invariant features［C］//Proc of the ICCV，1999：1150-1157.

［9］YUAN Jinsha，ZHAO Zhenbing，GAOQiang，etal.Review and prospecton infrared visible image registration［J］.Laser&Infrared，2001，39（7）：693-699.（in Chinese）

苑津莎，趙振兵，高強，等.紅外與可見光圖像配準研究現(xiàn)狀與展望［J］.激光與紅外，2009，39（7）：693-699.

［10］H Bay，A Ess，T Tuytelaars，et al.Speeded-up robust（SURF）［J］.Computer Vision and Image Understanding，2008，110（3）：346-359.

［11］H Bay.From wide-baseline point and line correspondences to 3D［D］.Swiss：Swiss Federal Institute of Technology，2006：19-23.

［12］M Brown，D G Lowe.Invariant features from interest point groups［C］.British Machine vision Conference，2002：656-665.

［13］H Bay，B Fasel，L Van Gool.Interactive museum guide：Fast and robust recognition ofmuseum objects［C］//Proc of the first internationalworkshop onmobile vision，2006.

［14］H Bay，T Tuytelaars，L Van Gool.SURF：Speeded uprobust features［C］//Proc of ECCV，2006，3951：404-417.

Research on panoram ic stitching in laser active imaging

MA Xue-song，ZHANG Hai-yang，HAN Lei，ZHAO Chang-ming，YANG Su-hui
（School of Optoelectronics，Beijing Institute of Technology，Beijing100081，China）

Laser active imaging combines laser technology，range-gated technology，weak target imaging technology and so on.Because of its high resolution，strong anti-interference ability and the ability to generate three-dimensional image，it is widely used in various areas of detection.But in this way，the image's field of view is usually small，which is not conducive to global observation and analysis.A panoramic stitchingmethod based on the improved SURF algorithm is proposed，and it can quicklymatch target features of adjacent scenes.The efficiency of this approach and stitching effect are tested through the experiments.The results show that thismethod can increase the visible range and improve comprehensive ability of observation and analysis，which lays a theoretical and experimental foundation for highspeed real-time large field of view observation.

active detection；image processing；feature recognition；panoramic stitching

TP301

A

10.3969/j.issn.1001-5078.2015.08.021

1001-5078（2015）08-0977-05

馬雪松（1989-），男，碩士，從事圖像處理算法和探測器性能分析。E-mail：2120120697@bit.edu.cn

張海洋（1981-），男，講師，主要研究領域為固體激光器及激光探測技術(shù)。E-mail：ocean@bit.edu.cn

2014-12-26；

2015-01-13