融合顯著性計(jì)算和高效子窗口搜索的目標(biāo)檢測(cè)方法?

姜康輝 劉松濤

1 引言

在航空偵察手段建設(shè)中，圖像目標(biāo)檢測(cè)具有十分重要的地位。目標(biāo)檢測(cè)的最終目的是定位圖像目標(biāo)，從而輔助人工判斷圖像或者實(shí)現(xiàn)自動(dòng)目標(biāo)識(shí)別。

常見的目標(biāo)檢測(cè)方法包括：基于模板匹配的檢測(cè)方法、基于關(guān)鍵點(diǎn)的檢測(cè)方法［1～4］、基于分割的檢測(cè)方法［5］、基于滑動(dòng)窗口的檢測(cè)方法［6～8］和基于部分（Part-based）的檢測(cè)方法［9～10］，其中基于滑動(dòng)窗口的檢測(cè)方法可以直接生成包圍盒，能夠和顯著性檢測(cè)結(jié)果有效融合，是當(dāng)前的研究熱點(diǎn)?；瑒?dòng)窗口技術(shù)［7］通過一個(gè)分類函數(shù)給圖像中所有子窗口一個(gè)分類值，這個(gè)值用來(lái)判斷目標(biāo)是否存在于子窗口，然后通過尋找分類值最大的子窗口，即可確定目標(biāo)的位置。該方法的主要不足是計(jì)算量比較大，對(duì)n×n圖像，算法復(fù)雜度通常是O(n4)。Christoph H.Lampert等［8］在滑動(dòng)窗口搜索技術(shù)上提出了高效子窗口搜索方法（Efficient Subwindow Search，ESS）。ESS方法允許在所有可能的子圖像上高效的最大化分類器函數(shù)。它依賴于分支定界方案在所有的子圖像上尋找評(píng)估函數(shù)的全局最優(yōu)值，返回與窮盡搜索方法相同的目標(biāo)位置。同時(shí)，它需要較少的分類器評(píng)估，其數(shù)量比圖像中的可選區(qū)域甚至圖像像素?cái)?shù)都要小，通常以線性時(shí)間或更快的速度運(yùn)行。但是傳統(tǒng)高效子窗口搜索方法采用支持向量機(jī)進(jìn)行分類，需要大量訓(xùn)練圖像。文獻(xiàn)［11］通過設(shè)計(jì)合適的顯著圖最大化策略，避免了支持向量機(jī)需要訓(xùn)練圖像的不足，然而該方法的顯著圖計(jì)算和ESS檢測(cè)是分開實(shí)施，沒能有效的融合在一起。

借鑒文獻(xiàn)［12］的思想，本文融合顯著性計(jì)算和高效子窗口搜索方法，將顯著性計(jì)算融合到質(zhì)量函數(shù)和定界函數(shù)的設(shè)計(jì)中，函數(shù)設(shè)計(jì)主要依據(jù)三個(gè)特征：目標(biāo)區(qū)域和背景之間的對(duì)比度，目標(biāo)區(qū)域包含顯著像素的比例和目標(biāo)區(qū)域的大小。在此基礎(chǔ)上結(jié)合ESS框架實(shí)現(xiàn)了航空偵察圖像快速目標(biāo)檢測(cè)。文末實(shí)驗(yàn)表明，新方法在保證定位效果的同時(shí)，更加簡(jiǎn)潔和高效。

2 高效子窗口搜索方法

高效子窗口搜索方法的核心是分支定界搜索。ESS算法中存在大量的候選子窗口，但只有幾個(gè)包含了目標(biāo)，含有目標(biāo)的子窗口經(jīng)定界函數(shù)計(jì)算后得到的分?jǐn)?shù)高。分支定界能直接對(duì)獲得分?jǐn)?shù)最大的子窗口進(jìn)行搜索，它將參數(shù)空間劃分為分解的子集，計(jì)算它們的得分上限，在搜索過程中，將低于上限的子集舍棄，從而節(jié)約了大量的搜索空間和時(shí)間。

對(duì)于ESS方法，參數(shù)空間是圖像中所有可能的矩形。用四個(gè)參數(shù)（l，t，r，b）能有效地將一個(gè)矩形子窗口用左上右下的間隔表示，從而有效地節(jié)約空間。參數(shù)化后所有矩形子窗口就可以表示為（L，T，R，B），其中 L=[llow，lhigh]等。每次迭代過程中，ESS方法檢查得分更高的矩形集，把最大坐標(biāo)間隔減半，將矩形分成兩個(gè)分解的子集，見圖1。

對(duì)每個(gè)矩形集，計(jì)算質(zhì)量函數(shù)得分的上界。當(dāng)發(fā)現(xiàn)某個(gè)矩形的分?jǐn)?shù)至少和其他所有子窗口的上界一樣好時(shí)，ESS停止計(jì)算，這保證了找到全局最優(yōu)值。圖2是ESS方法的偽代碼，利用優(yōu)先隊(duì)列來(lái)保持搜索狀態(tài)。

分支定界搜索時(shí)，質(zhì)量函數(shù)和定界函數(shù)設(shè)計(jì)是關(guān)鍵。通過定界函數(shù) (y)計(jì)算區(qū)域 y的得分，判斷此區(qū)域?qū)儆谀繕?biāo)的可能性，最終找到最大得分的區(qū)域 y*：

融合顯著性計(jì)算和高效子窗口搜索的目標(biāo)檢測(cè)方法設(shè)計(jì)了新的質(zhì)量函數(shù)和定界函數(shù)，并將顯著特征的計(jì)算融合到函數(shù)設(shè)計(jì)中。

3 融合顯著性計(jì)算的質(zhì)量函數(shù)和定界函數(shù)設(shè)計(jì)

3.1 質(zhì)量函數(shù)

質(zhì)量函數(shù)設(shè)計(jì)時(shí)首先使用了特征直方圖，因?yàn)橥ǔＤ繕?biāo)與背景具有較高的對(duì)比度，中心-周圍對(duì)比的 χ2值越高表示其越不同于背景區(qū)域，越有可能是目標(biāo)。質(zhì)量函數(shù) f通過下式計(jì)算區(qū)域y與背景的對(duì)比度：

其中hy是區(qū)域y的特征直方圖，hBx是整個(gè)圖像的特征直方圖，k是像素灰度等級(jí)。本文采用32個(gè)等級(jí)的灰度特征直方圖，然而僅僅使用灰度特征直方圖會(huì)導(dǎo)致選擇單一灰度級(jí)和小的區(qū)域。因此，引入灰度像素的空間分布這一全局特征，使得區(qū)域y盡可能多地包含顯著像素：

其中，W= Σi∈xΣcp(c|i)?wc是整個(gè)圖像的特征權(quán)重總和，wc=(1-Vc)·(1-DC)表示該灰度級(jí)屬于目標(biāo)的可能性。V（c）是像素位置的方差，高V（c）值表示該灰度的像素分散在圖像中，不可能屬于目標(biāo)。D（c）表示灰度像素到圖像中心的距離，D（c）越大，表示該灰度像素越不可能包含在目標(biāo)中［13］。如果像素i落在灰度等級(jí)c，那么 p(c|i)=1，否則p(c|i)=0?？傊?，式（3）的第二項(xiàng)計(jì)算區(qū)域 y捕獲顯著像素的比例。

最后，區(qū)域 y的大小要合適，利用目標(biāo)和圖像的尺寸比sry進(jìn)行約束，最終的質(zhì)量函數(shù)設(shè)計(jì)為：

其中，g(sry)=Ν(μ，σ2)是高斯分布。 α、β是正的常數(shù)，用來(lái)平衡三個(gè)特征的重要性。在實(shí)驗(yàn)中，使用 μ=0.352，σ=0.2，α+β=0.8，α、β的取值與艦船目標(biāo)大小有關(guān)，目標(biāo)越大β值也大。總之，提出的質(zhì)量函數(shù)結(jié)合了三個(gè)特征：目標(biāo)區(qū)域和背景之間的對(duì)比度，目標(biāo)區(qū)域包含的顯著像素和目標(biāo)區(qū)域的大小。

3.2 定界函數(shù)

定界函數(shù) (y)返回質(zhì)量函數(shù) f的最高值，控制著分支定界搜索的方向。設(shè) yS和 yL表示 y中的最小和最大矩形，rS和rL代表小、大矩形的面積，即矩形中包含的像素個(gè)數(shù)。

1）質(zhì)量函數(shù)第一項(xiàng)的上界。假設(shè) pK是區(qū)域y中第k個(gè)像素等級(jí)的數(shù)目，則

另外，落入?yún)^(qū)域 y中的像素?cái)?shù)目由 yS和 yL界定，則hy(k)的取值范圍為

其中，hy(k)和-hy(k)分別表示較低和較高邊界。為了使定界函數(shù)的分?jǐn)?shù)最高，χ2(hy，hBx)的每個(gè)像素灰度等級(jí)由下式計(jì)算：

2）質(zhì)量函數(shù)第二項(xiàng)的上界。因?yàn)樽钣衅谕木匦涡∮诨虻扔谧畲罂赡艿膮^(qū)域yL，所以計(jì)算yL區(qū)域捕獲顯著像素的比例表示質(zhì)量函數(shù)第二項(xiàng)的上界，即

3）質(zhì)量函數(shù)第三項(xiàng)的上界。為了防止區(qū)域 y出現(xiàn)過大或過小的情況，其大小比率要有一個(gè)合適的值。令分別為最小和最大的可能的矩形的尺寸率，其中rx是圖像區(qū)域。上界的計(jì)算考慮三種情況：（1）如果srL≤0.4，上界設(shè)置為 g(srL)；（2）如果 srS≥0.4，上界設(shè)置為 g(srS)；（3）如果 srS≤0.4≤srL，上界設(shè)為1。

4 仿真實(shí)驗(yàn)

為了檢驗(yàn)?zāi)繕?biāo)檢測(cè)的性能，利用航空偵察艦船圖像進(jìn)行了仿真實(shí)驗(yàn)，從主觀和客觀兩個(gè)角度比較融合顯著性計(jì)算和高效子窗口搜索方法與之前的ESS目標(biāo)檢測(cè)算法［11］的性能。

4.1 主觀評(píng)價(jià)

圖3是兩種算法對(duì)四幅航空偵察圖像的目標(biāo)檢測(cè)效果。從實(shí)驗(yàn)結(jié)果可以看出：兩種算法對(duì)目標(biāo)定位的結(jié)果相差不大，都可以較好地檢測(cè)目標(biāo)。在融合顯著性計(jì)算和高效子窗口搜索方法的檢測(cè)結(jié)果中，第二行和第四行的圖像包圍框更緊湊。因此，直觀上融合顯著性計(jì)算和高效子窗口搜索方法 保留了原方法的定位性能。

4.2 客觀分析

目標(biāo)檢測(cè)算法的定位結(jié)果是矩形包圍盒，通過比較檢測(cè)結(jié)果和基準(zhǔn)標(biāo)記之間的關(guān)系，可以確定是否檢測(cè)到目標(biāo)。本文用F-measure值來(lái)評(píng)估目標(biāo)檢測(cè)性能，具體公式如下：

其中，P是檢測(cè)準(zhǔn)確率，表示檢測(cè)矩形包圍盒檢測(cè)準(zhǔn)確的像素占檢測(cè)矩形包圍盒的比例，R是檢測(cè)完備率，表示檢測(cè)矩形包圍盒檢測(cè)準(zhǔn)確的像素占基準(zhǔn)包圍盒像素的比例。實(shí)驗(yàn)結(jié)果如圖4，從圖中可以看出兩種方法檢測(cè)結(jié)果的Precision、recall和F-measure值并無(wú)很大的差異，因此，客觀上新方法也保留了原方法的定位性能。

關(guān)于算法的復(fù)雜度，理論上，融合顯著性計(jì)算和高效子窗口搜索的目標(biāo)檢測(cè)方法將顯著特征計(jì)算與目標(biāo)定位融合在一起，應(yīng)該比先生成顯著圖再進(jìn)行ESS檢測(cè)的方法計(jì)算量小。實(shí)際中，將不同算法的時(shí)間復(fù)雜度用計(jì)算機(jī)的實(shí)際運(yùn)行時(shí)間表示。為了克服隨機(jī)性，對(duì)每個(gè)顯著圖算法都運(yùn)行10次，然后取平均，見表1。從表中可以看出對(duì)不同的圖像運(yùn)行時(shí)間快慢不同，分析原因可能是目標(biāo)檢測(cè)時(shí)顯著圖計(jì)算方法不一樣，會(huì)導(dǎo)致子窗口的數(shù)量不同，使得搜索時(shí)間有快有慢?？傊?，融合顯著性計(jì)算和高效子窗口搜索的目標(biāo)檢測(cè)方法速度依然很快，而且對(duì)于部分圖像目標(biāo)的檢測(cè)速度更快。仿真實(shí)驗(yàn)時(shí)軟硬件配置為筆記本電腦，硬件性能為3.4GHzCPU，4G內(nèi)存；操作系統(tǒng)為Windows7 32位，開發(fā)軟件為Matlab2014a和VS2008。

表1 不同檢測(cè)方法的時(shí)間復(fù)雜度

5 結(jié)語(yǔ)

本文通過新的質(zhì)量函數(shù)和定界函數(shù)設(shè)計(jì)，將顯著特征計(jì)算與目標(biāo)定位融合在一起，并結(jié)合高效子窗口搜索框架實(shí)現(xiàn)了艦船目標(biāo)的快速檢測(cè)。實(shí)驗(yàn)表明，與文獻(xiàn)［11］相比，融合顯著性計(jì)算和高效子窗口搜索的檢測(cè)方法保持了原有的定位效果，并且更加簡(jiǎn)潔和高效。

［1］Hakan C，Bill T.Efficient Object Detection Using Cascades of Nearest Convex Model Classifiers［A］.In Proceedings of CVPR，Rhode Island，USA，2012：3138-3145.

［2］Suga A，F(xiàn)ukuda K，Takiguchi T，et al.Object recognition and Segmentation Using SIFT and Graph Cuts［A］.In Proceedings of the 19th International Conference on Pattern Recognition，Tampa，F(xiàn)lorida，USA，2008：1-4.

［3］Bay H，Tuytelaars T，Van Gool L.SURF：Speeded up Robust Features［A］.In Proceedings of the European Conference on ComputerVision， Graz， Austria， 2006：404-417.

［4］Hare S，Saffari A，Torr P.Efficient Online Structured output Learning for Key point-based Object Tracking［A］.In Proceedings of CVPR， Rhode Island， USA， 2012：1894-1901.

［5］洪義平，易建強(qiáng)，趙冬斌等.自然圖像分割方法及其在目標(biāo)檢測(cè)中的應(yīng)用［J］.模式識(shí)別與人工智能，2006，19（5）：658-662.

［6］Bosch A，Zisserman A，Munoz X.Representing Shape with a Spatial Pyramid Kernel［A］.In Proceedings of CIVR，Amsterdam，Netherlands，2007：401-408.

［7］Matthew B B，Christoph H L.Object Localization with Global and Local Context Kernels［C］//Proceedings of BMVC，2009：1-11.

［8］Christoph H L Matthew B B，Thomas H.Beyond Sliding Windows：Object Localization by Efficient Subwindow Search［C］//IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

［9］Felzenszwalb F P，Girshick R B，McAllester D，et al.Object Detection with Discriminatively Trained Part Based Models［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）：1627-1645.

［10］Azizpour H，Laptev I.Object Detection Using Strongly-supervised Deformable Part Models［A］.In Proceedings of ECCV，F(xiàn)lorence，Italy，2012：836-849.

［11］劉松濤，黃金濤，劉振興.基于顯著圖生成和顯著密度最大化的高效子窗口搜索目標(biāo)檢測(cè)方法［J］.電光與控制，2015，22（12）：9-14.

［12］Yeh M C，Hsu C F，Lu C J.Fast Salient Object Detection Through Efficient Subwindow Search［J］.Pattern Recognition Letters，2014，46（3）：60-66.

［13］Liu T，Yuan Z，Sun J，et al.Learning to Detect a Salient Object［J］.IEEE Transactionson Pattern Analysis and Machine Intelligence，2010，33（2）：353-367.