基于背景差分和視覺顯著性的運(yùn)動(dòng)船舶檢測方法

李雙雙 安居白 李春庚 孟杰

摘 要：運(yùn)動(dòng)目標(biāo)檢測是智能視頻監(jiān)控系統(tǒng)中的一項(xiàng)關(guān)鍵技術(shù)，其檢測準(zhǔn)確性將直接影響后續(xù)的跟蹤與識別。針對傳統(tǒng)運(yùn)動(dòng)船舶檢測方法難以克服水面波紋這一問題，文中提出了一種基于碼本模型的將背景差分與頻率域顯著性區(qū)域檢測相結(jié)合的算法。利用船舶區(qū)域比水面區(qū)域顯著值較高這一特性，生成顯著圖，通過OTSU對顯著圖做二值化處理，將二值化后的顯著圖與碼本模型檢測結(jié)果進(jìn)行與運(yùn)算，濾除背景干擾區(qū)域，檢測出運(yùn)動(dòng)船舶目標(biāo)。實(shí)驗(yàn)結(jié)果表明，該算法能夠更準(zhǔn)確地檢測出運(yùn)動(dòng)目標(biāo)，具有較好的魯棒性和有效性。

關(guān)鍵詞：船舶檢測；頻率域；顯著性；碼本；OTSU

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2018）01-00-04

0 引 言

長期以來，船運(yùn)[1]以其成本低、運(yùn)輸量大、環(huán)保等特點(diǎn)，在內(nèi)河水路交通中發(fā)揮著不可替代的作用。但由于內(nèi)河河道狹窄，因此船舶的智能監(jiān)控管理是當(dāng)前備受關(guān)注的問題。運(yùn)動(dòng)目標(biāo)檢測是智能視頻監(jiān)控系統(tǒng)中的重要內(nèi)容，其檢測準(zhǔn)確性將直接影響后續(xù)的識別與跟蹤。在復(fù)雜、動(dòng)態(tài)的內(nèi)河環(huán)境中準(zhǔn)確、快速地檢測運(yùn)動(dòng)船舶已成為信息化水路交通建設(shè)的一個(gè)技術(shù)熱點(diǎn)，具有重要意義。

目前的運(yùn)動(dòng)目標(biāo)檢測方法主要包括幀間差分法[2]、光流法[3]和背景減法[4]。幀間差分法是當(dāng)今仍被廣泛使用的一種簡單方法。但由于船舶速度較慢，且體型大，若采用幀間差分則易出現(xiàn)大面積空洞；光流法計(jì)算量大、復(fù)雜度高、抗噪性能差，需要硬件實(shí)時(shí)處理，因此不常用；背景差分法能得到較完整的運(yùn)動(dòng)目標(biāo)，同時(shí)還能夠更新背景，適應(yīng)環(huán)境的變化，但無法有效克服水面波紋的干擾。

目前主要通過如下兩種思路抑制水面波紋：

（1）先檢測并濾除波紋干擾，之后再進(jìn)行船舶目標(biāo)檢測；

（2）先進(jìn)行船舶目標(biāo)檢測，之后對混有水波紋的二值圖進(jìn)行處理。

騰飛和劉清[5]等利用融合ITTI模型與改進(jìn)的混合高斯背景建模進(jìn)行波紋抑制。算法首先利用ITTI模型檢測目標(biāo)，然后與背景建模檢測結(jié)果進(jìn)行邏輯運(yùn)算，得到最終檢測結(jié)果。該算法能夠區(qū)分出開船與水波紋，但計(jì)算量較大，且ITTI模型很容易檢測到目標(biāo)周圍的區(qū)域。Bao[6]等使用基于上下文的視覺顯著性法檢測船舶，該算法雖然對水波紋噪聲有一定的魯棒特性，但檢測過程復(fù)雜度高，實(shí)時(shí)性較差。Hu[7]等提出了一種改進(jìn)的基于自適應(yīng)模板匹配的波紋消除全搜索算法，可有效抑制波紋，但運(yùn)算量較大。Li[8]提出了一種基于質(zhì)點(diǎn)運(yùn)動(dòng)向量積累來消除波浪不規(guī)則運(yùn)動(dòng)影響的方法。該方法將粒子運(yùn)動(dòng)向量積累應(yīng)用到光流場中，能有效剔除監(jiān)控視頻中的波紋區(qū)域，但計(jì)算復(fù)雜，實(shí)時(shí)性差。

為了降低傳統(tǒng)運(yùn)動(dòng)檢測引起的背景干擾，本文提出將碼本模型背景差分和改進(jìn)的基于頻率域的MSS視覺顯著模型相結(jié)合的方法。利用船舶區(qū)域比水面區(qū)域顯著值高這一特性，生成顯著圖，通過OTSU對顯著圖像做二值化處理，將二值化后的顯著圖像和碼本模型檢測結(jié)果進(jìn)行與運(yùn)算，檢測出運(yùn)動(dòng)船舶目標(biāo)。

1 基于碼本模型的船舶區(qū)域檢測

碼本模型[9]算法是目前運(yùn)算效率較高的背景差分運(yùn)動(dòng)目標(biāo)檢測方法，利用量化和聚類技術(shù)從連續(xù)的像素采樣值中構(gòu)建背景模型，效率高、適應(yīng)性強(qiáng)，同時(shí)能表示背景多狀態(tài)變化。因此本文在研究中采用該方法檢測船舶區(qū)域。

1.1 碼本背景模型構(gòu)建

假設(shè)P={p1，p2，p3，…，pn}為碼本模型訓(xùn)練中單個(gè)像素的采樣序列，其中pt（t=1，2，3，…，n）為該像素在t時(shí)刻RGB空間的向量值。設(shè)C={c1，c2，c3，…，cL}為像素對應(yīng)的碼本，其中ci（i=1，2，3，…，L）為碼本中的碼字。每個(gè)碼字ci由vi和auxi組成：，6元組auxi=，其中碼字中的Imax，Imin分別表示碼字中最大、最小亮度值；fi表示碼字出現(xiàn)的次數(shù)；λi表示該碼字沒有再次出現(xiàn)的最大時(shí)間間隔； pi，qi表示碼字第一次出現(xiàn)的時(shí)間和最后一次出現(xiàn)的時(shí)間。

為了度量碼本的變化，需要定義顏色失真度和亮度函數(shù)。顏色失真度定義見公式（1）：

1.2 碼本模型前景檢測

假設(shè)前景檢測過程新輸入的像素為xi，其對應(yīng)碼本為CB，根據(jù)條件：

圖1所示為碼本算法用于內(nèi)河視頻監(jiān)控中運(yùn)動(dòng)船舶的檢測效果，其中第一行為視頻輸入幀，第二行為船舶檢測結(jié)果，實(shí)驗(yàn)所用圖像序列選取自廣東中山海事局三段監(jiān)控片段。由實(shí)驗(yàn)結(jié)果可以看到，碼本算法用于內(nèi)河運(yùn)動(dòng)船舶檢測時(shí)，能夠得到較為完整的船舶，檢測效果較為理想。但由于視頻中大部分為水面，因此船舶不可避免的會產(chǎn)生水波紋?？紤]到波紋干擾面積大且起伏劇烈，僅使用背景模型更新難以去除，因此提出了采用改進(jìn)的基于頻率域的MSS視覺顯著模型抑制波紋干擾。

2 基于頻率域的內(nèi)河顯著區(qū)域檢測

顯著性目標(biāo)檢測源于視覺注意模型，這是一種模擬人類視覺智能的重要模型，它可得到圖像中最顯著的區(qū)域。本文選擇基于圖像頻域分析的顯著性算法，即MSS（Maximum Symmetric Surround，MSS）方法[10]。

2.1 算法原理

設(shè)wlc為低頻截止頻率，whc為高頻截止頻率，為了突出顯著物體并得到較好的輪廓信息，wlc應(yīng)盡可能低，選擇較高的whc。利用顏色和亮度特征來估計(jì)中央-周邊差對比度，疊加多個(gè)帶通濾波器，將所有的輸出合并作為最終的顯著圖。帶通濾波器采用DOG（Difference of Gaussian，DOG）濾波器，以獲得wlc和whc之間的頻率信息：

2.2 改進(jìn)算法

傳統(tǒng)MSS算法由于顯著區(qū)域中心像素的抑制，無法提取完整目標(biāo)，因此本文對MSS做出改進(jìn)。從視覺角度分析，不同分辨率下獲得的顯著目標(biāo)不同，分辨率越高，目標(biāo)表現(xiàn)出的細(xì)節(jié)就越豐富，所以在高分辨率下很容易將較小的目標(biāo)檢測出來，結(jié)果側(cè)重于局部對比度；當(dāng)分辨率較低時(shí)，更容易將一些較大的目標(biāo)檢測出來，結(jié)果側(cè)重于全局對比度。為了綜合考慮顯著目標(biāo)的局部與全局性，本文算法使用高斯金字塔對圖像進(jìn)行多尺度采樣操作，以獲取不同分辨率下的圖像。由于自然圖像內(nèi)容豐富，邊緣信息比較重要，因此本文在MSS算法顏色和亮度特征提取的基礎(chǔ)上，加入了邊緣特征，提高了顯著區(qū)域的輪廓信息清晰度，得到了顯著圖，最后對顯著圖進(jìn)行歸一化處理，優(yōu)化顯著區(qū)域。與MSS算法的顯著圖提取對比實(shí)驗(yàn)證明，本文的改進(jìn)算法能更準(zhǔn)確地反應(yīng)出目標(biāo)的顯著性，將改進(jìn)的算法記為S-MSS（Shape-Maximum Symmetric Surround，S-MSS）。

Sobel邊緣檢測算子是一種計(jì)算灰度圖梯度近似值的離散性差分算子，計(jì)算量小、處理速度快。本文采用多方向的Sobel作為導(dǎo)數(shù)算子，可計(jì)算出梯度大小和方向，作為本文的邊緣特征。

算法的主要步驟如下：

（1）高斯金字塔獲取多分辨率圖像。圖像原始長為L，寬為W，采樣尺度為G，G={1，1/2，1/4}，第一層圖像G1為原圖像大小，長l1=L，寬l2=W；第二層圖像G2采樣后長寬分別為l2=（1/2）l1，w2=（1/2）w1；第三層圖像G3采樣后長寬分別為l3=（1/2）l2，w3=（1/2）w2；針對每一層圖像，分別將輸入的RGB圖像轉(zhuǎn)換到Lab空間，分別為G'1，G'2，G'3。

（2）邊緣特征提取。對于G1，G2，G3圖像，選擇基于3×3四個(gè)方向的Sobel[11]模板計(jì)算梯度，四個(gè)方向分別為0°、45°、90°和135°，gx1，gx2，gx3，gx4為各方向邊緣檢測的圖像灰度值。梯度的幅值為：

（3）分別對G'1，G'2，G'3圖像及|g|進(jìn)行DOG濾波，計(jì)算亮度信息L、顏色信息a，b以及邊緣特征信息。顯著值重新定義為：

（4）將各層得到的顯著圖像進(jìn)行疊加：

（5）不同分辨率下的顯著性屬性強(qiáng)度不同，需要進(jìn)行均勻歸一化處理，從而形成最終的顯著圖：

2.3 實(shí)驗(yàn)結(jié)果與討論

為了測試改進(jìn)算法的檢測效果和魯棒性，定量描述算法的性能，選用準(zhǔn)確率Pr，召回率Re，綜合得分FM值以及檢測耗時(shí)作為評價(jià)指標(biāo)。為表示方便，將視頻輸入幀圖分別記為1，2，3。實(shí)驗(yàn)結(jié)果如圖2所示。其中公式描述為：

其中，TP指正確識別的像素個(gè)數(shù)，F(xiàn)P指未正確識別的像素個(gè)數(shù)，TN指正確識別的像素個(gè)數(shù)。

第一行為視頻輸入幀1，2，3，第二行為用MSS提取的顯著圖，第三行是采用S-MSS提取的顯著圖。通過圖2實(shí)驗(yàn)結(jié)果可以看出，采用MSS算法檢測船舶目標(biāo)存在漏檢，而采用改進(jìn)的MSS算法提高了顯著區(qū)域輪廓信息的清晰度，顯著性更明顯，提取的船舶目標(biāo)更準(zhǔn)確。表1中兩種算法平均準(zhǔn)確率Pr和綜合度量FM相差不大，但平均召回率Re明顯提高，顯著目標(biāo)的漏檢率更低，彌補(bǔ)了MSS的不足。在時(shí)間開銷上兩種算法FM相差不大。因此，在綜合考慮召回率Re和時(shí)間消耗的基礎(chǔ)上，本文提出的算法優(yōu)于MSS算法。由圖2所示的顯著區(qū)域檢測結(jié)果可以看到，船舶能夠與水面波紋區(qū)別開來，但顯著圖中還存在山、岸邊建筑等干擾，因此要得到只包含船舶的二值圖，還需濾除其它顯著區(qū)域帶來的干擾。

3 融合的運(yùn)動(dòng)目標(biāo)檢測算法

由上述討論可知，基于碼本背景差分法難以描述多狀態(tài)的水波紋背景，而基于S-MSS的顯著區(qū)域檢測結(jié)果保留了較完整的輪廓信息，適用于船舶目標(biāo)分割，但顯著區(qū)域同時(shí)也包含了船舶目標(biāo)和其它顯著區(qū)域。針對此問題，本文提出了圖3所示的融合船舶檢測方法。

對輸入視頻圖像采取基于S-MSS的顯著性檢測進(jìn)行分割以獲取高顯著度區(qū)域，通過提取圖像在不同尺度下的顏色、亮度和方向特征，將這些特征分量圖進(jìn)行中央周邊差和歸一化操作，使船舶等目標(biāo)區(qū)域被增強(qiáng)，而水面及周圍區(qū)域被削弱。對合成顯著圖進(jìn)行自動(dòng)閾值分割可濾除波紋背景區(qū)域的干擾，最后將基于S-MSS的船舶檢測結(jié)果和基于碼本背景差分船舶檢測結(jié)果進(jìn)行相與操作，檢測運(yùn)動(dòng)船舶。

為了測試融合算法的檢測效果和魯棒性，將本文算法分別與碼本建模背景差分法、S-MSS法進(jìn)行對比。在Win7系統(tǒng)下，利用Matlab2012a+Visual Studio10軟件開發(fā)，實(shí)驗(yàn)結(jié)果如圖4所示。

為了更好地描述算法的性能，選用準(zhǔn)確率、召回率、綜合得分值以及平均檢測耗時(shí)（檢測耗時(shí)指每幀圖像從輸入圖像到輸出檢測結(jié)果所需要的時(shí)間）作為評價(jià)指標(biāo)。

由圖4檢測結(jié)果可看出：與碼本法相比，本文算法檢測出的運(yùn)動(dòng)船舶最接近真實(shí)目標(biāo)。從表2數(shù)據(jù)分析來看，本文算法的召回率Re與碼本算法相當(dāng)，而本文算法的準(zhǔn)確率Pr、FM均明顯高于碼本算法，是因?yàn)楸疚姆椒ú捎蔑@著值濾除了水波紋的干擾，從而提高了精確度指標(biāo)。

表3列出了2種方法的耗時(shí)對比，本文方法檢測耗時(shí)略高于碼本法。但綜合考慮準(zhǔn)確率、召回率、FM及平均檢測耗時(shí)后，發(fā)現(xiàn)本文方法可以獲得更好的檢測效果。

4 結(jié) 語

為了更加有效地檢測出船舶目標(biāo)，文中提出了一種融合頻率域顯著性區(qū)域檢測和碼本建模背景差分的檢測算法。本文用碼本法獲取可疑的運(yùn)動(dòng)船舶區(qū)域，然后根據(jù)船舶區(qū)域比水面區(qū)域顯著值高這一特性，采用改進(jìn)的MSS顯著性區(qū)域檢測法降低運(yùn)動(dòng)檢測的背景干擾，最后將兩者結(jié)果相與，得到最終船舶目標(biāo)。實(shí)驗(yàn)證明，本文算法能夠排除水面波紋甚至船舶倒影的干擾，準(zhǔn)確檢測出船舶，綜合評價(jià)明顯高出其他算法，具有一定的自適應(yīng)性。

參考文獻(xiàn)

[1]韓京偉.低碳經(jīng)濟(jì)時(shí)代的內(nèi)河運(yùn)輸發(fā)展對策[J].綜合運(yùn)輸， 2010 （5）：18-20.

[2]陸冰， 王玲玲， 裴東.基于混合高斯模型和六幀差分的目標(biāo)檢測算法[J].激光與紅外， 2016（2）：240-244.

[3] Barron J L， Fleet D J， Beauchemin S S. Performance of optical flow techniques[J].International Journal of Computer Vision， 1994， 12（1）：43-77.

[4]汪沖， 席志紅， 肖春麗.基于背景差分的運(yùn)動(dòng)目標(biāo)檢測方法[J].應(yīng)用科技， 2009， 36（10）：16-18.

[5]滕飛， 劉清， 朱琳，等.波紋干擾抑制下內(nèi)河CCTV系統(tǒng)運(yùn)動(dòng)船舶檢測[J].計(jì)算機(jī)仿真， 2015， 32（6）：247-250.

[6] Bao X， Zinger S， Wijnhoven R， et al. Ship detection in port surveillance based on context and motion saliency analysis[J]. Proc Spie， 2013 （3）：135-145.

[7] Hu Wu Chih， C Y Yang， D Y Huang，et al.Robust real-time ship detection and tracking for visual surveillance of cage aquaculture[J].Journal of Visual Communication & Image Representation，2011，22 （6）：543-556.

[8] Li N. Boat detection using vector accumulation of particle motion[Z]. Proceedings of SPIE - The International Society for Optical Engineering， 2014.

[9] Kim K， Chalidabhongse T H， Harwood D， et al. Background modeling and subtraction by codebook construction[C]// International Conference on Image Processing. IEEE， 2004：3061-3064.

[10] Achanta R， Süsstrunk S. Saliency detection using maximum symmetric surround[C]//IEEE International Conference on Image Processing. IEEE， 2010：2653-2656.

[11]楊淑瑩.VC++圖像處理程序設(shè)計(jì)[M].北京：清華大學(xué)出版社， 2003.