基于加權(quán)SIFT特征的目標(biāo)檢測(cè)算法

唐允恒

（重慶大學(xué)計(jì)算機(jī)學(xué)院，重慶 400044）

基于加權(quán)SIFT特征的目標(biāo)檢測(cè)算法

唐允恒

（重慶大學(xué)計(jì)算機(jī)學(xué)院，重慶 400044）

復(fù)雜圖像中對(duì)特定目標(biāo)的檢測(cè)和定位是機(jī)器視覺(jué)領(lǐng)域的難點(diǎn)之一。提出使用中層視覺(jué)元素描述檢測(cè)目標(biāo)，以建立權(quán)值模板圖像；然后對(duì)目標(biāo)圖像和權(quán)值模板進(jìn)行加權(quán)SIFT特征匹配得到最優(yōu)匹配位置，從而實(shí)現(xiàn)目標(biāo)檢測(cè)。該方法以自行車(chē)為檢測(cè)目標(biāo)進(jìn)行實(shí)驗(yàn)，檢測(cè)率達(dá)到86%，優(yōu)于傳統(tǒng)SIFT-AdaBoost和HOG-SVM檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明該方法能夠減少?gòu)?fù)雜圖像中背景干擾的問(wèn)題，對(duì)于不同姿態(tài)的目標(biāo)進(jìn)行檢測(cè)也有較強(qiáng)的魯棒性。

目標(biāo)檢測(cè)；中層視覺(jué)元素；權(quán)值模板；SIFT

0 引言

近年來(lái)目標(biāo)檢測(cè)技術(shù)在智能監(jiān)控系統(tǒng)、軍事目標(biāo)檢測(cè)及醫(yī)學(xué)手術(shù)導(dǎo)航中手術(shù)器械定位發(fā)揮了巨大作用，因此受到廣泛關(guān)注。Shashua等人[1]通過(guò)手動(dòng)劃分目標(biāo)區(qū)域，并對(duì)這些區(qū)域提取SIFT特征，使用AdaBoost訓(xùn)練SIFT特征分類(lèi)器來(lái)檢測(cè)目標(biāo)，取得了良好的檢測(cè)效果，但是該方法對(duì)光照強(qiáng)度和檢測(cè)目標(biāo)的形狀姿態(tài)敏感，目標(biāo)姿態(tài)的變化和成像的環(huán)境改變?nèi)菀讓?dǎo)致錯(cuò)誤的檢測(cè)。Dalal等人[2]提出使用方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征描述感興趣的目標(biāo)，使用支持向量機(jī)（Support Vector Machine，SVM）分類(lèi)器對(duì)HOG特征進(jìn)行分類(lèi)，最后用分類(lèi)器對(duì)測(cè)試圖像進(jìn)行檢測(cè)，在行人檢測(cè)領(lǐng)域大大提高了檢測(cè)的準(zhǔn)確性，但是HOG-SVM這種對(duì)圖像目標(biāo)和背景不加區(qū)分的方法，很容易受到遮擋，尺度變化和目標(biāo)形狀姿態(tài)的改變等因素的干擾從而造成定位困難?，F(xiàn)在圖像趨于復(fù)雜多樣，存在視角變化、光照變化、復(fù)雜背景環(huán)境、目標(biāo)形狀變化以及噪聲干擾等問(wèn)題，使得復(fù)雜圖像中對(duì)特定目標(biāo)的檢測(cè)成為是一個(gè)研究難點(diǎn)。

在圖像趨于復(fù)雜的現(xiàn)狀下，有學(xué)者提出通過(guò)區(qū)分模板圖像中的目標(biāo)信息和背景信息并提高目標(biāo)信息的權(quán)值的方式來(lái)減少背景信息的干擾。Shrivastava等人[3]在對(duì)風(fēng)景圖像匹配的研究中取得了良好的結(jié)果。他們認(rèn)為圖像中獨(dú)特的局部區(qū)域比那些相互之間近似的局部區(qū)域能夠提供更多的信息。即在風(fēng)景圖像中獨(dú)特的標(biāo)志性建筑的區(qū)域比那些在圖像中紋理極為相似的天空，樹(shù)林和廣場(chǎng)等區(qū)域更加重要。這種思想在中層視覺(jué)元素的研究中得以延續(xù)和發(fā)展。

中層視覺(jué)元素是由Fan等人[9]在2005年提出的概念，中層視覺(jué)元素是指在圖像中能夠描述某一類(lèi)目標(biāo)物體特性的局部圖像塊，即這些圖像塊在本類(lèi)目標(biāo)物體圖像中普遍存在，但在其他類(lèi)目標(biāo)物體圖像中不存在。這樣的圖像塊在圖像中所代表的局部區(qū)域就是目標(biāo)信息。

本文通過(guò)提取中層視覺(jué)元素的方法區(qū)分目標(biāo)信息和背景信息，并構(gòu)建相應(yīng)的權(quán)值模板提高目標(biāo)信息的權(quán)值，而降低背景信息的權(quán)值。使用SIFT特征結(jié)合權(quán)值模板進(jìn)行加權(quán)匹配，最終檢測(cè)出目標(biāo)物體。實(shí)驗(yàn)結(jié)果表明本文提出的方法能夠有效的降低背景信息帶來(lái)的干擾，相較于傳統(tǒng)SIFT-AdaBoost和HOG-SVM檢測(cè)方法有更好的檢測(cè)結(jié)果。

1 算法框架

算法框架分為訓(xùn)練和檢測(cè)兩個(gè)階段，如圖1所示。訓(xùn)練階段的主要目的是通過(guò)訓(xùn)練圖像生成權(quán)值模板，其中正樣本圖像是指包含檢測(cè)類(lèi)別的圖像，而負(fù)樣本圖像是指與檢測(cè)類(lèi)別無(wú)關(guān)的干擾圖像。在檢測(cè)階段對(duì)模板集里的每個(gè)模板圖像的SIFT特征與檢測(cè)圖像的SIFT特征進(jìn)行基于權(quán)值模板的匹配，每個(gè)模板圖像在檢測(cè)圖像中都會(huì)產(chǎn)生一個(gè)匹配框，最后通過(guò)匹配框融合的方法形成最終的檢測(cè)框，得到目標(biāo)檢測(cè)的結(jié)果。

圖1 算法框架圖

1.1 訓(xùn)練階段

（1）中層視覺(jué)元素提取

提取中層視覺(jué)元素的目的是找出那些在正樣本中普遍存在，而對(duì)于負(fù)樣本有很好的區(qū)分度的局部特性，這種特性很難由灰度、邊緣等低層視覺(jué)元素表示，低層視覺(jué)元素側(cè)重于圖像處理的過(guò)程，而難以對(duì)圖像中局部特性進(jìn)行分析。

本文采用Bansal等人[5]提出的方法提取中層視覺(jué)元素，其具體的提取過(guò)程如下：對(duì)于每張帶正負(fù)樣本標(biāo)簽的訓(xùn)練圖像，使用固定像素的窗口滑動(dòng)掃描整個(gè)訓(xùn)練圖像。在掃描過(guò)程中，對(duì)滑動(dòng)窗口中的圖像塊進(jìn)行HOG特征提取并根據(jù)訓(xùn)練圖片的標(biāo)簽確定HOG特征的標(biāo)簽。然后對(duì)正樣本的HOG特征集進(jìn)行均值偏移（Mean Shift，MS）聚類(lèi)，得到多個(gè)正樣本聚類(lèi)中心。刪減樣本特征很少的聚類(lèi)中心，保證剩余聚類(lèi)中心是本類(lèi)別的共性特征。計(jì)算正樣本聚類(lèi)中心所在區(qū)域正樣本特征數(shù)與負(fù)樣本特征數(shù)比例，比例越大說(shuō)明這個(gè)正樣本中心區(qū)域代表的正樣本特性能夠很好地區(qū)別于負(fù)樣本特性。選擇正負(fù)樣本比例高的聚類(lèi)中心區(qū)域，這些區(qū)域中的正樣本特征對(duì)應(yīng)的圖像塊就是中層視覺(jué)元素。圖2展示了部分提取出的自行車(chē)的中層視覺(jué)元素。

（2）生成權(quán)值模板

在獲得中層視覺(jué)元素圖像塊后，通過(guò)以下步驟對(duì)模板圖像進(jìn)行處理獲取權(quán)值模板：

①選取訓(xùn)練集正樣本圖像作為模板圖像T，其大小為a×b像素

②初始化權(quán)值矩陣W，權(quán)值矩陣大小和模板圖像大小相同，權(quán)值矩陣的初值Wij=0（1≤i≤a，1≤j≤b）。

③為了體現(xiàn)特征塊的多樣性，全方位考慮模板圖像不同位置的特征，實(shí)驗(yàn)隨機(jī)選擇了50個(gè)中層視覺(jué)元素圖像塊，并對(duì)每個(gè)中層視覺(jué)元素圖像塊使用四個(gè)尺度進(jìn)行采樣作為特征塊集。

④對(duì)所有特征塊依次在模板圖像上進(jìn)行相似性匹配。每個(gè)特征塊滑動(dòng)掃描整個(gè)模板圖像，把當(dāng)前滑動(dòng)窗口中的模板圖像塊作為模板塊。計(jì)算特征塊與模板塊之間的相似度。相似度計(jì)算公式為：

圖2 自行車(chē)的中層視覺(jué)元素

其中k（x，y）代表特征塊在（x，y）點(diǎn)的像素值，kmean代表特征塊所有像素點(diǎn)灰度的平均值，p（x，y）代表模板塊（x，y）點(diǎn)的像素值，kmean代表模板塊所有像素點(diǎn)灰度的平均值。將每個(gè)特征塊掃描整個(gè)模板圖像，記錄下最佳匹配位置、范圍和相似度。所有特征塊掃描完畢后，對(duì)記錄中所有最佳匹配位置提高對(duì)應(yīng)區(qū)域的權(quán)值。對(duì)于記錄中最佳匹配位置相同的情況，比較這些相同位置記錄中的相似度，選擇最高相似度的記錄并提高這該區(qū)域的權(quán)值：

將所有選取的中層視覺(jué)元素圖像塊進(jìn)行以上操作，得到一個(gè)模板圖像大小的權(quán)值圖像W，對(duì)W進(jìn)行歸一化：

其中Max（W）代表權(quán)值矩陣W中權(quán)值的最大值。從訓(xùn)練集正樣本選取多張圖片作為模板，重復(fù)上述操作，最終生成權(quán)值模板集，圖3展示了部分模板圖像和對(duì)應(yīng)的權(quán)值模板。

圖3 模板圖像和權(quán)值模板

1.2 檢測(cè)階段

（1）加權(quán)SIFT特征匹配算法

對(duì)模板圖像和檢測(cè)圖像進(jìn)行SIFT特征檢測(cè)[8]，模板圖像上一個(gè)SIFT特征點(diǎn)a（xa，ya）的與檢測(cè)圖像上SIFT特征點(diǎn)b（xb，yb）的為例，其SIFT特征向量分別為和。基于權(quán)值模板，使用帶權(quán)重的余弦公式計(jì)算特征點(diǎn)對(duì)的加權(quán)相似度Simweighted：

其中Weigh（xa，ya）代表模板圖像所對(duì)應(yīng)的權(quán)值矩陣在（xa，ya）的值。

圖4展示了使用帶權(quán)的SIFT特征和原始的SIFT特征的匹配結(jié)果對(duì)比，藍(lán)點(diǎn)表示檢測(cè)到的SIFT特征點(diǎn)，紅線(xiàn)表示兩對(duì)最優(yōu)匹配點(diǎn)對(duì)的連線(xiàn)。

圖4 加權(quán)SIFT特征匹配與SIFT特征匹配比較

（2）匹配框融合

權(quán)值模板集中的每個(gè)權(quán)值模板對(duì)檢測(cè)圖像進(jìn)行加權(quán)SIFT特征匹配都會(huì)通過(guò)以下方法產(chǎn)生一個(gè)匹配框和匹配度：選擇加權(quán)相似度Simweighted最高的兩組點(diǎn)對(duì)（S1，S2）、（K1，K2），其中S1、K1是權(quán)值模板上的點(diǎn)，S2、K2是檢測(cè)圖像上的點(diǎn)。通過(guò)建立S1、K1在權(quán)值模板的相對(duì)位置到S2、K2在檢測(cè)圖像中相對(duì)位置的一一對(duì)應(yīng)關(guān)系，可以將權(quán)值模板映射到檢測(cè)圖像中，這個(gè)映射區(qū)域就是匹配框，匹配框的匹配度就這兩組點(diǎn)對(duì)的加權(quán)相似度之和。

然后使用以下操作將這些匹配框進(jìn)行融合為檢測(cè)框，首先選擇匹配度排名前5的匹配框，保留匹配度最高的匹配框，計(jì)算這個(gè)匹配度最高的匹配框和其余匹配框二者的交集面積，若交集面積占二者較小框面積一半以上則保留該匹配框，否則刪掉該匹配框，計(jì)算保留下來(lái)的匹配框的最大邊界值作為最終檢測(cè)窗口的邊界。圖5展示幾種不同場(chǎng)景下姿態(tài)各異的自行車(chē)檢測(cè)的實(shí)驗(yàn)結(jié)果。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

訓(xùn)練集選取VOC2007數(shù)據(jù)集60張自行車(chē)圖像作為正樣本和60張其他干擾圖像作為負(fù)樣本，如圖5所示。

圖5 檢測(cè)結(jié)果

圖5 本文實(shí)驗(yàn)所用訓(xùn)練數(shù)據(jù)集示例

2.2 實(shí)驗(yàn)分析

本文在Linux操作系統(tǒng)中的MATLAB R2010b環(huán)境下進(jìn)行實(shí)驗(yàn)。為驗(yàn)證本文所提算法的有效性，將本文算法與SIFT-AdaBoost[1]和HOG-SVM[7]目標(biāo)檢測(cè)算法進(jìn)行對(duì)比實(shí)驗(yàn)，IoU（Intersection-Over-Union）參數(shù)[10]作為評(píng)價(jià)指標(biāo)，

其中檢測(cè)窗口就是檢測(cè)結(jié)果中框選出的目標(biāo)窗口，標(biāo)記窗口是人工標(biāo)記的目標(biāo)真實(shí)位置。若IoU＞0．5則認(rèn)為是成功檢測(cè)。檢測(cè)成功圖像數(shù)量占總檢測(cè)圖像數(shù)量的比例即為檢測(cè)率。圖6展示了三種算法對(duì)不同場(chǎng)景中自行車(chē)的檢驗(yàn)結(jié)果，其中黃色框?yàn)闃?biāo)記窗口，紅色框?yàn)楦鱾€(gè)算法的檢測(cè)窗口，沒(méi)有紅色窗口的檢測(cè)結(jié)果表示未檢測(cè)出目標(biāo)。

圖6 對(duì)比實(shí)驗(yàn)結(jié)果

100張自行車(chē)為目標(biāo)的公共場(chǎng)景作為檢測(cè)圖像對(duì)比實(shí)驗(yàn)，以檢測(cè)率和檢測(cè)成功檢測(cè)的平均IoU為檢測(cè)指標(biāo)，結(jié)果如表1所示。SIFT-AdaBoost方法容易受到檢測(cè)目標(biāo)姿態(tài)影響，導(dǎo)致檢測(cè)率較低。HOG-SVM方法在訓(xùn)練分類(lèi)器時(shí)，訓(xùn)練圖像中包含大量的背景信息而產(chǎn)生較多誤檢測(cè)導(dǎo)致平均IoU較低，而本文方法能夠較好的減少背景信息帶來(lái)的影響，對(duì)不同姿態(tài)的目標(biāo)魯棒性較強(qiáng)。從實(shí)驗(yàn)結(jié)果可以看出，本文方法具有較好的檢測(cè)性能。

表1 自行車(chē)檢測(cè)結(jié)果對(duì)比

3 結(jié)語(yǔ)

本文根據(jù)傳統(tǒng)目標(biāo)檢測(cè)算法對(duì)解決復(fù)雜圖像中發(fā)生形變、存在遮擋及目標(biāo)受干擾下定位存在困難的情況，提出使用中層視覺(jué)元素訓(xùn)練權(quán)值模板，這種權(quán)值模板區(qū)分了模板圖像中的目標(biāo)信息和背景信息，在目標(biāo)檢測(cè)過(guò)程中有效地減少了背景信息帶來(lái)的干擾。實(shí)驗(yàn)結(jié)果表明，本文方法能夠檢測(cè)并定位不同復(fù)雜場(chǎng)景中的目標(biāo)，對(duì)于不同姿態(tài)的目標(biāo)進(jìn)行檢測(cè)也有較強(qiáng)的魯棒性。

參考文獻(xiàn):

[1]Shashua A，Gdalyahu Y，Hayun G.Pedestrian Detection for Driving Assistance Systems:Single-Frame Classification and System Level Performance[C].Intelligent Vehicles Symposium.IEEE Xplore，2004:1-6.

[2]Dalal N，Triggs B.Histograms of Oriented Gradients for Human Detection[C].IEEE Computer Society Conference on Computer Vision &Pattern Recognition.IEEE Computer Society，2005:886-893.

[3]Shrivastava A，Malisiewicz T，Gupta A，et al.Data-Driven Visual Similarity for Cross-Domain Image Matching[J].Acm Transactions on Graphics，2011，30（6）:1-10.

[4]Bailly A，Malinowski S，Tavenard R，et al.Advanced Bag-of-Temporal-SIFT-Words for Time Series Classification[J]，2016.

[5]Bansal A，Shrivastava A，Doersch C，et al.Mid-Level Elements for Object Detection[J].Southeast Asian Journal of Tropical Medicine& Public Health，2015，10（1）.

[6]Doersch C，Gupta A，Efros A.Mid-Level Visual Element Discovery as Discriminative Mode Seeking[J].Advances in Neural Information Processing Systems，2013，1:1.

[7]宋瑨，王世峰.基于可變形部件模型HOG特征的人形目標(biāo)檢測(cè)[J].應(yīng)用光學(xué)，2016，37（3）:380-384.

[8]Lowe D．Distinctive Image Features from Scale-Invariant Key Points[J].International Journal of Computer Vision，2004，60（2）：91-110．

[9]Fan J，Gao Y，Luo H，et al.G.:Statistical Modeling and Conceptualization of Natural Images[J].Pattern Recognition，2005，38（6）:865-885.

[10]Hosang J，Benenson R，Dollár P，et al.What Makes for Effective Detection Proposals[J].IEEE Transactions on Pattern Analysis& Machine Intelligence，2016，38（4）:814-830.

Object Detection Algorithm Based on Weighted SIFT Features

TANG Yun-heng

（College of Computer Science，Chongqing University，Chongqing 400044）

Detection and localization of specific targets in complex images is one of the difficulties in machine vision.Uses the middle-level visual elements to describe the detection target to establish a weight template image;in order to achieve target detection,matches the weighted SIFT features of weight templates and the target images to get the optimal match position.Takes bicycles as the detection targets which have the detection rate of 83%,and our approach is better than SIFT-AdaBoost and HOG-SVM detection method.The result shows that this approach can reduce the background information interference in complex images,and has strong robustness to the targets with different poses.

Object Detection;SIFT;Mid-Level Visual Elements;Weight Template

1007-1423（2017）11-0074-05

10.3969/j.issn.1007-1423.2017.11.015

唐允恒（1992-），男，重慶人，碩士研究生，研究方向?yàn)閳D像處理目標(biāo)檢測(cè)

2017-03-21

2017-04-12