基于SURF和最佳縫合線的車道圖像序列拼接研究

藍章禮，李 戰(zhàn)，李 偉

(重慶交通大學 信息科學與工程學院，重慶 400074)

0 引 言

近年來，國家不斷加大智能交通設施建設力度，在交通行業(yè)引入了大量的智能技術，減輕了工作壓力、提高了工作效率。目前不少地區(qū)使用的道路違章車輛智能抓拍系統(tǒng)仍存在一定不足。該系統(tǒng)使用車道攝像機和數碼相機相結合方式對違規(guī)車輛進行抓拍取證，違章證據包括3張圖像：① 車輛違章的瞬間圖像；② 違章車輛的車牌圖像；③ 違章車輛周邊環(huán)境圖像。車道攝像機拍攝的區(qū)域小、分辨率高，用于拍攝前兩張圖像；數碼相機拍攝的區(qū)域廣、分辨率低，用于拍攝第3張圖像。這種方式可以滿足一般情況下車輛的違章取證，但對特殊情況仍有一定缺陷，例如：車輛故意壓線行駛或發(fā)生交通事故占用多個車道的情況。這時車道攝像機往往不能拍攝完整的車輛違章瞬間圖；或者無法獲得完整、分辨率較高的多車道圖像；亦或對可能造成事故難以評估等。針對這些問題，筆者提出車道圖像拼接技術予以解決。

圖像拼接是將相互具有重疊部分的同一目標圖像序列合成為一張包含全部目標信息、廣視野圖像的技術[1]。該技術廣泛應用在計算機圖像學、計算機視覺、虛擬現實技術、醫(yī)學圖像分析等領域[2-5]。圖像拼接的核心為圖像配準和圖像融合；圖像配準又分為基于灰度區(qū)域、基于變換域和基于特征的配準。湯敏[6]和GE Peng等[7]均認為：基于灰度區(qū)域的配準和基于變換域的配準都不適合存在投影變換和移動物體的車道圖像的配準；WEI Lisheng等[8]和HUANG Liqin等[9]分別證明了：基于特征點的配準可較好地解決存在投影變換和移動物體的車道圖像的配準問題。圖像融合包括直接融合、加權融合和最佳縫合線等融合方法[10-12]。直接融合算法會出現拼接裂縫和丟失局部車道信息；楊秋芬等[13]認為：加權融合算法可以消除拼接裂縫，但會出現重影、鬼影問題；秦緒佳等[14]提出：最佳縫合線算法可消除重影、鬼影問題，但縫合線會經過運動車輛而造成拼接圖像局部出現不完整的運動車輛；谷雨等[15]提出基于動態(tài)規(guī)劃思想來改進最佳縫合線搜索，該方法可減少縫合線經過運動車輛，但仍難以避免縫合線經過運動車輛。鑒于此，筆者提出了一種尋找最優(yōu)對應圖像的算法與之互補，在圖像預處理中篩選出近似同步拍攝圖像，減少圖像重疊部分中運動車輛的面積，避免縫合線經過運動車輛，合成了質量較高的多車道圖像。

1 車道圖像序列拼接算法

筆者提出基于SURF算法和最佳縫合線的車道圖像序列拼接算法流程如圖1。該算法主要應用于相同設備異步采集且具有快速移動區(qū)域的圖像序列。首先提出尋找最優(yōu)對應圖像算法，用于篩選出近似同步拍攝圖像序列；然后利用SURF算法和RANSAC算法對拼接圖像提取特征點并進一步提純；之后利用正確的匹配點對計算出變換矩陣；最后利用最佳縫合線算法對近似同步拍攝圖像分別進行拼接，引入加權融合算法消除拼接裂縫，合成多車道圖像序列。

圖1 拼接算法流程Fig. 1 Flow chart of image mosaic algorithm

2 尋找最優(yōu)對應圖像算法

最優(yōu)對應圖像算法如圖2。

圖2 尋找最優(yōu)對應圖像算法流程Fig. 2 Flow chart of finding the best corresponding image algorithm

尋找最優(yōu)對應圖像算法的原理是從一路圖像序列中選取一張圖像作為尋優(yōu)圖像，將另一路圖像序列作為待尋優(yōu)圖像序列。從尋優(yōu)圖像和待尋優(yōu)圖像序列中提取同一個目標車輛，以車輛形成連通域的質心坐標代替車輛位置。分別計算尋優(yōu)圖像與待尋優(yōu)圖像序列中車輛之間的距離，距離越小則拍攝時間越近，篩選出最小距離對應的圖像，該圖像即為尋優(yōu)圖像的最優(yōu)對應圖像(近似同步拍攝圖像)[16-17]，如圖2。

在圖2中：A、B圖像序列分別表示由A、B攝像機采集的圖像序列；i表示第i幀；j表示第j個連通域；k為第i幀中第k個連通域；Sr為連通域面積；Sm為連通域最小外接矩形的面積；Hm為連通域的高；Wm為連通域的寬；D1、D2分別為所設閾值；Si為B圖像序列第i幀和A圖像序列第1幀質心之間的距離。

3 SURF特征提取

SURF(speeded up robust features)是一種穩(wěn)健的局部特征點檢測和描述算法，具有尺度和旋轉不變性。SURF特征匹配主要流程如下。

3.1 構建Hessian矩陣

給定圖像I的一個點x(x,y)，在點x處，尺度為σ的Hessian矩陣H(x,σ)定義如式(1)：

(1)

式中：Lxx(x,σ)為高斯二階微分?2/?x2g(σ)在點x處于圖像I的卷積，其中：g(σ)=1/2πσe-(x2+y2)/2σ2；Lxy(x,σ)和Lyy(x,σ)具有同樣的含義。

通常Hessian矩陣的特征值用H矩陣的近似判別式表示，如式(2)：

Det(Happrox)=DxxDyy-(αDxx)2

(2)

式中：α為權系數，根據計算取α=0.9，則可根據此特征值符號將所有點分類。

3.2 構建尺度空間

SURF的尺寸空間包括兩部分：組和層。不同組間使用相同尺寸，不同之處是使用的盒式濾波器模板尺寸逐漸增大；同一組間不同層間使用相同尺寸濾波器，不同之處是濾波器模糊系數逐漸增大。

3.3 特征點定位

將經過Hessian矩陣處理的每個像素點與二維圖像空間和尺度空間鄰域內的26個點逐一進行比較，初步定位出關鍵點，再經過除去能量比較弱的及錯誤定位的關鍵點，篩選出最終的穩(wěn)定特征點。

3.4 主方向分配

SURF采用的是統(tǒng)計特征點圓形鄰域內的Haar小波特征。即在特征點的圓形鄰域內，統(tǒng)計60°扇形內所有點的水平、垂直Haar小波特征總和，然后扇形以0.2弧度大小的間隔進行旋轉并再次統(tǒng)計該區(qū)域內Haar小波特征值，最后將值最大的那個扇形方向作為該特征點主方向。

3.5 特征描述算子生成

SURF算法沿著特征點的主方向在特征點周圍取一個4×4的矩形區(qū)域塊。相對主方向而言，在每個子區(qū)域內統(tǒng)計25個像素的水平與垂直方向上Haar小波特征，即得到Haar小波特征的水平方向值之和為∑dx、垂直方向值之和為∑dy、水平方向絕對值之和為∑|dx|以及垂直方向絕對值之和為∑|dy|，如圖3。

圖3 特征描述算子Fig. 3 Feature description operator

3.6 特征點匹配

通過計算兩個特征點間的歐式距離來確定特征匹配對，如果次近距離除以最近距離小于一定閾值，則判定為匹配點對。歐式距離的計算如式(3)：

(3)

式中：n=64；xi1表示第一個點的第i維坐標；xi2表示第二個點的第i維坐標。

由以上方法可提取車道圖像SURF特征點并進行配準，但會存在部分錯誤匹配，需使用RANSAC算法除去誤匹配點，實現圖像的精配準。

4 最佳縫合線算法

當圖像重疊區(qū)域存在快速運動物體、配準不準確等情況時，融合圖像容易出現重影問題。解決該問題的有效方法是最佳縫合線。一條理想的最佳縫合線應滿足以下兩個要求：

1)顏色強度上，縫合線兩側顏色差異最??；

2)結構強度上，兩幅圖像的結構差異最小。

最佳縫合線計算準則計算如式(4)：

(4)

式中：Ec(x,y)表示圖像的顏色差異強度值；Eg(x,y)表示圖像結構差異強度值[15]。

Eg(x,y)的計算如式(5)：

Eg(x,y)=Sx×[I1(x,y)-I2(x,y)]2+Sy×

[I1(x,y)-I2(x,y)]2

(5)

式中：Sx、Sy分別表示3×3的Sobel算子模板。

最佳縫合線算法實現流程如下：

1)以第1行的每一列對應一條縫合線，其準則值初始化為準則值圖像對應的像素點的值；

2)將每一條縫合線當前點緊鄰下一行中3個點的準則值及當前點左右兩個相鄰的點的準則值進行比較，選擇準則值最小點為擴展點，若準則值點已是縫合線上的點，則選擇次最小值點；如果縫合線當前點為重疊圖像最后一行點，則進行步驟3)，否則進行下一次擴展；

3)選擇平均準則值最小的作為最佳縫合線。

由以上方法可計算出最佳縫合線上所有點的位置，減少縫合線經過運動區(qū)域，實現最佳圖像拼接。

5 實驗結果分析

筆者使用兩臺完全相同且?guī)в腥侵Ъ艿南鄼C以固定方式異步采集城市車道圖像序列。將左、右兩臺攝像機分別命名為A攝像機、B攝像機，采集的圖像尺寸為1 080×1 920。實驗測試平臺為Inter(R) Core(TM) i5-2450M CPU @ 2.5 GHz，內存為8 GB，軟件平臺為MATLAB 2016a。

在圖像配準方面，筆者將文獻[9]中SURF算法+RANSAC算法(以下稱文獻[9]算法)與文中尋找最優(yōu)對于圖像算法+SURF算法+RANSAC算法(以下稱文中算法)進行實驗對比；在圖像融合方面，筆者將文獻[15]中SURF算法+RANSAC算法+最佳縫合線(以下稱文獻[15]算法)和尋找最優(yōu)對于圖像算法+SURF算法+RANSAC算法+最佳縫合線(以下稱文中算法)進行實驗對比。

為驗證尋找最優(yōu)對應圖像算法提取目標車輛以及車輛坐標的有效性，將A攝像機采集的圖像序列簡稱為A序列，將B攝像機采集的圖像序列簡稱為B序列，從兩路圖像序列中各選取前50幀圖像進行實驗。筆者選擇A序列中第10幀圖像(以下簡稱A_10)給予說明。

圖4為提取A_10中目標車輛坐標的各個過程。其中：圖4(a)為A_10灰度圖像；圖4(b)為A圖像序列背景模板灰度圖像；圖4(c)為通過背景差分法提取的運動目標區(qū)域，含有大量噪點以及柵欄等干擾；圖4(d)為通過中值濾波和形態(tài)學處理消除了噪聲點和面積較小的連通區(qū)域，仍存在面積較大連通區(qū)域的干擾；圖4(e)為根據車輛形成連通域具有的特征(車輛形成連通域的面積與該連通域最小外接矩形面積之比較大、該連通域的寬與高之比較小)去除非車輛目標干擾，再對連通域中的空洞進行填充，計算出連通域質心坐標。

圖4 車輛坐標的提取過程Fig. 4 Extraction process of vehicle coordinates

經過尋找最優(yōu)對應圖像算法計算，得到近似同步拍攝圖像開始幀為A序列第1幀和B序列第18幀，逐個向后取幀得到近似同步拍攝圖像序列。

為驗證文中算法在圖像配準方面的有效性，筆者選擇文獻[9]算法和文中算法進行實驗對比。其中，文獻[9]算法未計算近似同步拍攝圖像，采用的是同序號幀配準(例如：A序列第1幀和B序列第1幀為同序號幀)。結果表明：使用文中算法得到的配準點數多且配準正確率高，正確率能達到94%。圖像配準的結果分析如表1。

表1 圖像配準的結果分析Table 1 Analysis of image registration results

圖5(a)、(b)中：A_1表示A序列第1幀，B_1表示B序列第1幀，B_18表示B序列第18幀，其中A_1和B_18為近似同步拍攝圖像。圖5(c)、(d)中：A_10表示A序列第10幀，B_10表示B序列第10幀，B_27表示B序列第27幀，其中A_10和B_27為近似同步拍攝圖像。

為驗證文中算法在圖像融合方面的有效性，筆者選擇直接融合算法、加權融合算法、文獻[15]中的最佳縫合線算法和文中算法進行實驗對比。其中，文獻[15]算法未計算近似同步拍攝圖像，采用的是同序號幀融合(例如：A序列第1幀和B序列第1幀進行融合)。結果表明：① 文中算法可解決錯位、重影和拼接裂縫等問題；② 文中算法可減少縫合線經過運動區(qū)域；③ 文中算法可合成質量較高的多車道圖像。

圖5 圖像特征點匹配Fig. 5 Images feature points matching

圖6(a)中利用直接融合算法出現拼接圖像錯位和丟失局部信息；圖6(b)中利用加權融合算法出現局部重影問題；圖6(c)中利用最佳縫合線算法出現縫合線經過運動區(qū)域的問題，其中黑色裂縫為縫合線；圖6(d)中使用了文中提出的尋找最優(yōu)對應圖像算法和最佳縫合線算法相結合的方法，避免了縫合線經過運動區(qū)域，其中黑色裂縫為縫合線；圖6(e)為圖6(d)不顯示縫合線的圖像，可看到存在拼接裂縫；圖6(f)為在圖6(e)中引入加權融合算法消除拼接裂縫后的圖像。

圖6 拼接圖分析Fig. 6 Mosaic analysis

6 結 語

針對車道攝像機不能采集到完整的車輛壓線圖像，筆者提出一種基于SURF和最佳縫合線的車輛圖像序列拼接方法。在圖像配準方面，該方法特征點匹配正確率可達到94%；在圖像融合方面，該方法解決了融合過程中出現的重影、錯位和拼接裂縫等問題，合成了質量較高的多車道圖像。但在尋找近似拍攝圖像序列時增加了運算時間，在圖像配準時仍存在一定誤匹配，如何優(yōu)化尋找最優(yōu)對應圖像算法和提高圖像配準的精度是筆者下一步需要解決的問題。