輪廓匹配的復(fù)雜背景中目標(biāo)檢測算法

侯春萍，張倩文，王曉燕，王致芃

(1.天津大學(xué) 電氣自動化與信息工程學(xué)院，天津 300072; 2.天津大學(xué)期刊中心，天津 300072)

目標(biāo)檢測是計算機視覺和圖像分析領(lǐng)域非常重要的任務(wù)，旨在定位和識別圖像內(nèi)的特定目標(biāo).現(xiàn)階段研究中，基于機器學(xué)習(xí)的目標(biāo)檢測效果最好，但是需要大量的訓(xùn)練樣本，訓(xùn)練過程也很耗時，并不適用于所有的檢測任務(wù)[1].而模板匹配的方法簡單，適應(yīng)性強，能夠處理復(fù)雜場景并且不用進行額外的訓(xùn)練，越來越被廣泛使用[2-3]，模板匹配是指用事先定義好的模板在圖像中搜索從而找到匹配目標(biāo)的一種高級的機器視覺技術(shù).

本文的研究重點是復(fù)雜背景的圖像中的目標(biāo)檢測，是指圖像中的目標(biāo)除了受到尺度變化，光照影響等類內(nèi)變化之外，圖像的背景中也會含有雜亂的無關(guān)場景，目標(biāo)在圖像中出現(xiàn)的區(qū)域定位一般是不確定的.基于形狀的模板匹配技術(shù)由于能夠在目標(biāo)類內(nèi)變化的情況下仍得到較好的匹配結(jié)果而吸引了研究者的注意[4-6].Ferrari等[7]建立了一個由K個接近直線的輪廓段組成的網(wǎng)絡(luò)，可以呈現(xiàn)尺度不變的局部形狀特征.但該算法所提取的輪廓片段不連貫會導(dǎo)致形狀特征不夠準(zhǔn)確.Nguyen[8]提出了一種基于平均場的倒角模板匹配方法，但該方法沒有很好地處理復(fù)雜背景.Wei等[9]則通過對輪廓線段的優(yōu)化來減少背景邊緣，可是處理流程仍然容易受到背景的影響.

然而，這些問題在目標(biāo)檢測中卻是不可避免的，針對上述問題，本文提出了一種基于輪廓匹配的新型目標(biāo)檢測算法，算法結(jié)合了圖像顯著性檢測和形狀模板匹配的方法，顯著性檢測算法可以幫助定位目標(biāo)所在區(qū)域，結(jié)合模板匹配算法實現(xiàn)目標(biāo)檢測，有效解決了在復(fù)雜背景下形狀目標(biāo)檢測不準(zhǔn)確、效率低的問題.

1 基于輪廓匹配的復(fù)雜背景中目標(biāo)檢測算法

基于輪廓匹配的復(fù)雜背景中目標(biāo)檢測算法結(jié)合顯著性檢測和模板匹配，首先應(yīng)用顯著性檢測算法對輸入圖像進行顯著性預(yù)處理，之后在得的顯著性區(qū)域內(nèi)進行模板匹配，有效降低目標(biāo)檢測結(jié)果受背景的影響.輪廓匹配的第一步是對顯著性區(qū)域圖像進行邊緣檢測，但是邊緣檢測去噪聲的同時削弱了邊緣信息會導(dǎo)致初始邊緣圖像輪廓線段不完整；同時目標(biāo)周圍部分也可能產(chǎn)生一些與目標(biāo)無關(guān)的輪廓段，因此本文通過邊緣鏈接和輪廓線段篩選來對初始邊緣圖像進行優(yōu)化.在輪廓匹配過程中，本文提出了一種新的形狀描述子用來描述輪廓形狀，實現(xiàn)邊緣圖像和模板輪廓的匹配，最終驗證候選假設(shè)，完成目標(biāo)檢測任務(wù).

1.1 顯著性區(qū)域檢測

對人類視覺感知來說，顯著性區(qū)域往往比背景具有更獨特的顏色[10]，因此可以利用顏色特征分離顯著區(qū)域和背景，完成顯著性區(qū)域檢測.但是這種顏色特征的全局顯著性區(qū)域檢測的方法會受到圖像的紋理影響而產(chǎn)生較高漏報率，本文中又提出基于相鄰超像素距離特征的局部顯著性檢測方法，結(jié)合兩種算法就實現(xiàn)更有效的顯著性區(qū)域檢測.

圖1 算法的整體流程

1.1.1 全局顯著性區(qū)域檢測

首先需要應(yīng)用SLIC超像素[11]提取超像素的顏色特征[12-14]和位置特征，組合構(gòu)建特征向量，然后利用超像素的特征向量判斷其顯著度，根據(jù)顯著度進行分類，組成由前景區(qū)域，背景區(qū)域和未知區(qū)域組成的初始三元圖.

單一顏色空間并不能完全對應(yīng)人腦視覺顏色處理[15]，因此本文將多種空間映射為一種高維空間，找到最佳顏色系數(shù)的線性組合，區(qū)分顯著區(qū)域和背景.利用RGB，CIELab，色調(diào)，飽和度以及RGB空間的顏色漸變11個顏色通道，獲得高維顏色轉(zhuǎn)換矩陣K.然后通過三元圖中的前景候選和背景候選顏色樣本來估計顏色系數(shù)的最佳線性組合，以分離顯著區(qū)域顏色和背景顏色，可以表述為l2正則化最小二乘問題

(1)

式中：α∈l是需要估計的系數(shù)向量，λ是控制α的大小的加權(quán)參數(shù)，是M×l矩陣

(2)

式中：每行對應(yīng)于前景/背景候選區(qū)域中的顏色樣本，F(xiàn)Si和BSj依次表示三元圖中的f個前景候選超像素和b個背景超像素；每列對應(yīng)測試圖像超像素的11個顏色通道平均像素值，例如R,G分別代表顏色通道R和G.

最終顯著圖可以由高維顏色空間的顏色系數(shù)的線性組合表示為

(3)

式中α*是α通過l2正則化最小二乘得到.

1.1.2 局部顯著性區(qū)域檢測

局部顯著性區(qū)域檢測方法用相鄰超像素的空間距離和顏色距離作為特征.對于圖像中的每個超像素Xi，計算其空間和顏色距離特征[16].顯著性檢測的完成使用隨機森林回歸算法，根據(jù)超像素的特征向量估計其顯著度，生成最終檢測結(jié)果.

1.1.3 顯著性區(qū)域圖的生成

在應(yīng)用兩種方法分別生成顯著性區(qū)域圖之后，需要將其組合在一起以獲得最終顯著性區(qū)域圖，Borji等[17]提出了一種結(jié)合兩種顯著性檢測結(jié)果的方法

(4)

式中：Z是歸一化因子，p(·)是逐像素組合函數(shù)，SG和SL分別是全局和局部顯著性檢測結(jié)果.

p(x)=exp(x)可以作為逐像素組合函數(shù)來給予高顯著性度的區(qū)域更高權(quán)重值.權(quán)重值由顯著性區(qū)域檢測結(jié)果和顯著性區(qū)域真實結(jié)果GT的比較來得到.通過求解非線性最小二乘問題來計算線性求和的最佳權(quán)重值.

(5)

本文針對每個變量迭代優(yōu)化其中的非負(fù)最小二乘目標(biāo)函數(shù)來找到最優(yōu)權(quán)重.式中的目標(biāo)函數(shù)是雙凸的，經(jīng)過幾個優(yōu)化步驟后一定會收斂.然而通過不同的初始值會得到不同的結(jié)果，因此可以使用隨機初始化的變量重復(fù)優(yōu)化過程幾次，得到最終的結(jié)果，權(quán)重值為ω={1.15,0.74,1.57,0.89}.

最終顯著性區(qū)域圖組合方式為

(6)

顯著性區(qū)域檢測結(jié)果如圖2所示，圖中還展示了顯著性區(qū)域內(nèi)提取邊緣圖像和直接提取對比.與直接提取相比，顯著性區(qū)域提取的邊緣圖像能有效減少圖像背景對模板匹配過程的影響.

圖2 顯著性區(qū)域檢測及邊緣圖像對比

1.2 輪廓匹配

基于輪廓匹配的目標(biāo)檢測算法在顯著性區(qū)域圖像中進行，包括對邊緣圖像的處理和后續(xù)的輪廓匹配過程.

1.2.1 邊緣圖像處理

本文將對顯著性區(qū)域進行輪廓提取得到的圖像定義為初始邊緣圖像，對其進行的優(yōu)化處理包括邊緣鏈接和輪廓線段篩選.

邊緣鏈接：對顯著性區(qū)域圖像的邊緣檢測算法利用高斯模糊去除噪聲的同時削弱了邊緣信息，造成初始邊緣圖像輪廓線段不完整，因此需要進行邊緣鏈接，本文用到Kovesi[18]開發(fā)的邊緣鏈接軟件.圖2中由顯著性區(qū)域得到的邊緣圖像就是通過邊緣檢測和邊緣鏈接算法得到.

輪廓線段篩選：顯著性區(qū)域檢測并未完全將目標(biāo)之外的部分刪除，因此邊緣檢測算法也會產(chǎn)生一些與目標(biāo)無關(guān)的輪廓線段.這些輪廓線段分為兩類：第一類是邊緣鏈接后仍然較短的輪廓線段，基本不具有形狀描述能力，可以設(shè)置閾值將其刪除；第二類是孤立輪廓線段，滿足閾值長度，但不與其余輪廓線段產(chǎn)生聯(lián)系，圖像邊緣輪廓的連續(xù)性決定了此類線段也不具有形狀描述能力，在邊緣圖像處理過程中也可以刪除.處理過程如圖3所示，以圖片彩色邊緣圖像為例，最終得到的邊緣圖像可直接進行輪廓匹配.

圖3 邊緣圖像處理

1.2.2 形狀描述子

對于一段給定的輪廓段S，對其進行像素點采樣，如圖4所示,首先采樣得到采樣點Pi=(xi,yi)，(i=1,2,…,N)，N是輪廓段采樣點的個數(shù).首先計算該段輪廓的質(zhì)心點G.然后對每個采樣點找到其最遠(yuǎn)距離點fPi，通過計算采樣點Pi到其它所有采樣點的距離，最遠(yuǎn)距離點fPi.

圖4 輪廓段形狀描述子示意

Fig.4 Schematic diagram of the shape descriptor of contour segment

函數(shù)DS(Pi)計算每個采樣點的形狀描述子為

(7)

(8)

得到每個采樣點的形狀描述子后，每條輪廓段S的形狀描述子SD(S)可以由式(7)組合表示為

SD(S)=(DS(P1),DS(P2),…DS(PN))=

(9)

式中SD(S)是3×N維矩陣.其中每列代表該輪廓段上第i個采樣點的形狀描述子DS(Pi)；每行代表輪廓段的距離信息，角度信息和弧度信息.

得到完整輪廓段的形狀描述子之后可以進行模板匹配.通過形狀描述子間的相似度來表示兩條輪廓段的匹配關(guān)系.形狀描述子以矩陣表示，二者的矩陣相關(guān)系數(shù)可以反映其關(guān)系得密切程度，就能代表不同輪廓段的匹配程度.不同形狀描述子之間的相關(guān)系數(shù)被稱為輪廓的匹配系數(shù).

(10)

形狀描述子已經(jīng)廣泛應(yīng)用于現(xiàn)在的形狀匹配算法中，本文中提出的形狀描述子中，輪廓段的角度信息和弧長弦長的關(guān)系表示其邊界信息，采樣點和質(zhì)心點之間的距離關(guān)系表示其區(qū)域信息，所以能夠?qū)喞蔚男螤钣型耆康拿枋?，更全面地描述輪廓的形狀，顯著提高描述能力.

1.2.3 輪廓匹配

上述處理后，就可以對邊緣圖像和模板邊緣進行輪廓匹配，圖5是本文中輪廓匹配的流程圖.

圖5 輪廓匹配流程圖

輪廓匹配過程中，首先要建立邊緣圖像和模板邊緣輪廓匹配的空間關(guān)系，然后應(yīng)用深度優(yōu)先搜索獲得候選假設(shè).因為提前對模板邊緣做了優(yōu)化處理，所以3～4條輪廓線段足以描述整個目標(biāo)，搜索到多于3個片段可以被確定為候選假設(shè).驗證候選假設(shè)時使用了支持向量機的分類器模型(SVM)進行二分類判斷每個假設(shè)是否可以作為最終檢測.

2 結(jié)果及分析

2.1 實驗結(jié)果

本文在ETHZ形狀數(shù)據(jù)集中[8]進行了實驗，該數(shù)據(jù)集有5個不同的類別，分別是蘋果標(biāo)志，馬克杯，長頸鹿，天鵝和瓶子五種，共包含155個圖像，每個類別包含32～37張圖像，所有類別都包含有顯著的比例變化，光照變化和類內(nèi)變化，而且圖像中目標(biāo)大都被不相關(guān)的背景雜波包圍，因此非常適合本文所提出的目標(biāo)檢測算法.實驗中將數(shù)據(jù)集中所有圖像作為測試圖像，部分檢測結(jié)果如圖6所示，在實驗中，蘋果標(biāo)志類圖像進行目標(biāo)檢測時，訓(xùn)練了處理數(shù)據(jù)集中原有圖像來得到模板輪廓，其余的類別使用了數(shù)據(jù)集中所提供的模型來進行輪廓匹配，每個類別的模板圖像都在圖6中最右列給出.

2.2 結(jié)果分析

本節(jié)對實驗結(jié)果進行分析，利用檢測結(jié)果與真實值的交并比(Intersection-over-Union，IoU)進行目標(biāo)檢測性能評估，IoU是目標(biāo)檢測問題中的標(biāo)準(zhǔn)性能度量，一般大于50%時就可以認(rèn)定檢測性能良好.本文使用了20%-IoU和50%-IoU的檢測標(biāo)準(zhǔn)，分別認(rèn)定當(dāng)檢測結(jié)果與真實值的交并比大于20%或者50%的時候目標(biāo)檢測任務(wù)完成.將本文算法的結(jié)果與現(xiàn)有的基于形狀的方法(包括Ferrari等[7]提取尺度不變的形狀特征組成網(wǎng)絡(luò)的方法，張桂梅等[19]提出的改進局部輪廓特征方法，Nguyen等[8]提出的倒角匹配方法，畢威等[20]提出的基于圖像顯著性輪廓的方法和Wei等[9]利用輪廓分割和優(yōu)化進行形狀匹配的方法)進行比較，評估各算法的檢測性能.首先統(tǒng)計目標(biāo)檢測率和誤報率的曲線關(guān)系，檢測率是用符合標(biāo)準(zhǔn)的檢測結(jié)果次數(shù)除以總數(shù)，誤報率表示每個圖像在實驗過程中的平均誤報數(shù)，也就是全部錯誤次數(shù)除以圖像數(shù)量.檢測率/誤報率曲線表示不同誤報率的情況下的目標(biāo)檢測率，可以用來評價不同目標(biāo)檢測算法的性能.在圖7中展示了不同算法的檢測率/誤報率的關(guān)系曲線.

圖7中可以看到，在誤報率較低的情況下，本文方法在瓶子和蘋果標(biāo)志類的檢測性能比Nguyen的方法略差.但其余情況下，本文方法在所有類別的檢測中均優(yōu)于其它算法.這是因為與Ferrari和張桂梅提出的方法相比，實驗中對初始邊緣圖像進行了輪廓優(yōu)化，得到的輪廓段更完整，而且形狀描述子包含輪廓段的角度信息和邊界信息，可以改善因為提取

圖6 算法在ETHZ數(shù)據(jù)集中部分檢測結(jié)果

圖7 不同算法ETHZ數(shù)據(jù)集中各類別的檢測率/誤報率曲線的比較

片段不連貫造成的檢測性能略低的問題.和Nguyen的方法相比，顯著性區(qū)域檢測算法的應(yīng)用可以保證復(fù)雜背景下的檢測性能.畢威也選取了基于顯著性的方法，但是該方法僅考慮了顯著性輪廓.與Wei的方法比較，算法也有相對較好的性能表現(xiàn)，這是因為Wei的輪廓預(yù)處理程序受限于圖像背景，但是本文方法無需對背景進行輪廓處理.

總的來看，圖7中可以看出，本文算法在不同誤報率的容錯條件下目標(biāo)檢測率均比其余算法有所提升，可以更有效地檢測復(fù)雜背景中的目標(biāo).表1單獨列出了在50%-IoU的檢測標(biāo)準(zhǔn)下誤報率分別為0.3和0.4時不同算法的檢測率.

表1 誤報率分別為0.3/0.4時不同算法的檢測率對比

2.3 其他數(shù)據(jù)集

本文還在其他數(shù)據(jù)集做了實驗來驗證算法的可行性，在INRIA Horse[21],Weizmann Horse[22]和Caltech101[23]數(shù)據(jù)集中都做了實驗，部分檢測結(jié)果如圖8所示.

圖8 其他數(shù)據(jù)庫中的部分檢測結(jié)果(每行對應(yīng)INRIA Horse，Weizmann Horse和Caltech101中的蝴蝶和錨)

Fig.8 Examples of detection results for other datasets (INRIA Horse, Weizmann Horse, and the butterfly and anchor in Caltech101 are presented in the four rows, respectively)

3 結(jié) 論

本文提出了一種在復(fù)雜背景圖像中進行目標(biāo)檢測的新算法，將顯著性區(qū)域檢測算法和基于形狀的模板匹配算法相結(jié)合.與之前的工作相比，本文首先在傳統(tǒng)的目標(biāo)檢測基礎(chǔ)上對輸入圖像進行顯著性檢測的預(yù)處理，在顯著性區(qū)域內(nèi)進行模板匹配能夠降低目標(biāo)檢測結(jié)果受背景的影響.在基于輪廓形狀實現(xiàn)模板匹配的過程中，用到了具有更全面輪廓信息的形狀描述子.然后采用深度優(yōu)先搜索策略對候選假設(shè)進行驗證，確定目標(biāo)位置.最后在ETHZ形狀數(shù)據(jù)集中進行了實驗，結(jié)果表明與現(xiàn)有基于形狀的目標(biāo)檢測方法相比，本文算法顯著提高了檢測率，在圖像目標(biāo)檢測技術(shù)的廣泛應(yīng)用下具有十分重要的意義.