港口船舶位置目標(biāo)圖像跟蹤監(jiān)測研究*

尹秀玲，安博文，艾依來提·阿不都艾尼，祖麗菲婭·斯馬依，吳 艷

(1. 上海海事大學(xué) 信息工程學(xué)院，上海 201306； 2. 中國石油塔里木油田分公司油田辦公室，新疆 塔里木 841000；3. 中國石油塔里木油田分公司塔中油氣開發(fā)部，新疆 塔里木 841000； 4. 廣西科技大學(xué)，廣西 柳州 545006)

港口船舶位置目標(biāo)圖像跟蹤監(jiān)測研究*

尹秀玲1，安博文1，艾依來提·阿不都艾尼2，祖麗菲婭·斯馬依3，吳 艷4

(1. 上海海事大學(xué) 信息工程學(xué)院，上海 201306； 2. 中國石油塔里木油田分公司油田辦公室，新疆 塔里木 841000；3. 中國石油塔里木油田分公司塔中油氣開發(fā)部，新疆 塔里木 841000； 4. 廣西科技大學(xué)，廣西 柳州 545006)

由于船舶目標(biāo)成像小，江面干擾噪聲大，船舶遮擋及連續(xù)多幀丟失等因素影響監(jiān)測精度，在圖像連續(xù)幀間創(chuàng)建位置、速度、面積等匹配方程進(jìn)行跟蹤存在匹配問題。為解決上述問題，提出一種多結(jié)構(gòu)Top-hat變換和改進(jìn)的SVD-UKF算法進(jìn)行檢測跟蹤。通過分析船舶幾何特征來設(shè)計(jì)多結(jié)構(gòu)元素Top-hat變換檢測船舶；在改進(jìn)的SVD-UKF基礎(chǔ)上定義自適應(yīng)閾值和路徑連貫性函數(shù)匹配方程進(jìn)行跟蹤以提高監(jiān)測精度。實(shí)驗(yàn)結(jié)果證明，該算法可提高監(jiān)測精度，跟蹤穩(wěn)定，并解決了船舶遮擋及連續(xù)多幀船舶丟失等問題，滿足實(shí)時(shí)性需求。

監(jiān)測精度；頂帽變換；無跡卡爾曼濾波；自適應(yīng)閾值；路徑連貫性

0 引言

隨著航海事業(yè)的迅速發(fā)展，各港口船舶流量不斷加大，實(shí)現(xiàn)智能化監(jiān)管已成為海事監(jiān)管的發(fā)展趨勢。船舶檢測與跟蹤對實(shí)現(xiàn)實(shí)時(shí)監(jiān)控船舶、提高港口監(jiān)測系統(tǒng)的工作效率及航海運(yùn)輸安全性有重要意義。

港口監(jiān)控系統(tǒng)多采用固定監(jiān)控視角，對船舶位置目標(biāo)圖像監(jiān)測時(shí)，易受海天背景、光照、江面雜波及干擾噪聲等影響，文獻(xiàn)[1]提出的混合高斯背景建模方法雖然可有效抑制波紋干擾，提供船舶完整幾何特征，且算法簡單、實(shí)時(shí)性好，但由于江面光照變化大、干擾噪聲大，對背景更新造成嚴(yán)重干擾；文獻(xiàn)[2]可直接檢測視頻中運(yùn)動(dòng)船舶，不需先知道場景信息，但計(jì)算量大，不能滿足實(shí)時(shí)性要求；文獻(xiàn)[3]對光照變化不太敏感，但不能完全提取運(yùn)動(dòng)船舶的特征點(diǎn)，易造成船體內(nèi)部空洞。對船舶跟蹤時(shí)，粒子濾波算法[4]必須采樣足夠多的粒子才能較好提取船舶的特征信息進(jìn)行跟蹤，計(jì)算量大；當(dāng)船舶顏色與背景、干擾物顏色相近或船舶發(fā)生遮擋時(shí)，Meanshift算法[5-6]和Camshift算法[7]就會(huì)跟蹤失敗。

針對上述光照影響、江面雜波、船舶遮擋、丟幀導(dǎo)致船舶位置目標(biāo)跟蹤失敗或誤差大等問題，本文提出一種多結(jié)構(gòu)元素的Top-hat變換算法檢測船舶，并將改進(jìn)的SVD-UKF(Singular Value Decomposition- Unscented Kalman Filter)[8-9]與特征匹配方程結(jié)合起來跟蹤船舶軌跡，有效抑制江面雜波，降低虛假率，解決船舶連續(xù)多幀丟失及船舶遮擋等問題，在保證跟蹤準(zhǔn)確的前提下，提高了監(jiān)測系統(tǒng)的工作效率。

1 船舶位置目標(biāo)檢測

本文采用多結(jié)構(gòu)元素Top-hat變換[10-11]算法來檢測船舶。結(jié)構(gòu)元素[12]的尺寸選擇對Top-hat變換算法至關(guān)重要，本文根據(jù)船舶一般為矩形及與背景的幾何特征差異[13]設(shè)計(jì)了沿水平夾角0°、45°、90°、135°四個(gè)方向的不同尺寸的結(jié)構(gòu)元素。

令g為輸入圖像，y為輸出圖像，ζ為權(quán)值系數(shù)，g1i、g2i(i=1,2,3,4)為不同結(jié)構(gòu)元素的開運(yùn)算。采用式(1)進(jìn)行改進(jìn)的Top-hat運(yùn)算。

y=ζ*g°mean(g1i)+(1-ζ)*g°mean(g2i)

(1)

式中，通過mean(g1i)求平均值將4個(gè)不同方向的圖像融合得到背景圖像。

2 船舶位置目標(biāo)跟蹤監(jiān)測

本文采用改進(jìn)的SVD-UKF預(yù)測估計(jì)船舶運(yùn)動(dòng)狀態(tài)，并定義自適應(yīng)閾值、路徑連貫性匹配方程進(jìn)行船舶特征信息匹配，以提高監(jiān)測精度。

UKF[14]以UT(Unscented Transform)變換為基礎(chǔ)，根據(jù)隨機(jī)變量的統(tǒng)計(jì)量選取一系列σ樣本點(diǎn)，通過非線性變換，使樣本均值和協(xié)方差與真實(shí)均值和協(xié)方差近似。

(1) 自適應(yīng)閾值

提取船舶最小外接矩形坐標(biāo)點(diǎn)(xmin,ymin)、寬(wk)和高(hk)等特征信息。定義船舶的質(zhì)心坐標(biāo)(xk,yk)為：

(2)

則相鄰兩幀同一船舶的質(zhì)心距離d和面積差值D(xk,yk)分別為：

(3)

運(yùn)動(dòng)船舶特征信息匹配時(shí)的質(zhì)心閾值tc和面積閾值ts分別定義為：

(4)

(2) 路徑連貫性

基于船舶運(yùn)動(dòng)的速度及方向在較短時(shí)間內(nèi)不會(huì)發(fā)生突變的前提，認(rèn)為船舶運(yùn)動(dòng)軌跡具有連貫性。路徑連貫性函數(shù)Φ反映了船舶運(yùn)動(dòng)的速度及方向等信息，可作為運(yùn)動(dòng)目標(biāo)軌跡和運(yùn)動(dòng)約束之間的一致性度量。運(yùn)動(dòng)目標(biāo)i在二維投影平面中的運(yùn)動(dòng)軌跡可表示為：

Ti=(Xi,1,Xi,2,…,Xi,n)

(5)

式中，Xi,k為運(yùn)動(dòng)目標(biāo)i在第k幀的位置矢量。第k幀運(yùn)動(dòng)目標(biāo)i的路徑偏差di,k表示為：

(6)

當(dāng)視頻幀率足夠高時(shí)，認(rèn)為船舶運(yùn)動(dòng)速度和方向在視頻圖像中是平滑變化的。則φ為：

φ(Xi,k-1,Xi,k,Xi,k+1)=

(7)

式(7)中，角度θ和距離lk、lk+1如圖1所示，且滿足式(8)。由圖可知，由于目標(biāo)的運(yùn)動(dòng)方向不會(huì)發(fā)生突變，Xi,k+1的位置應(yīng)在扇形區(qū)域內(nèi)，不在此區(qū)域的運(yùn)動(dòng)目標(biāo)在信息匹配時(shí)視為干擾目標(biāo)，判定匹配失敗。

圖1 路徑連貫性目標(biāo)運(yùn)動(dòng)區(qū)域

(8)

匹配的最佳準(zhǔn)則是N個(gè)運(yùn)動(dòng)目標(biāo)i的總體路徑偏差D(i,k)最小，運(yùn)動(dòng)目標(biāo)有最大軌跡連貫性。

(9)

(3) 匹配方程

相鄰兩幀圖像的N個(gè)獨(dú)立目標(biāo)i和目標(biāo)j進(jìn)行質(zhì)心和面積匹配方程定義為：

(10)

式中，μ1、μ2為常系數(shù)，且μ1+μ2=1，一般取μ1=μ2=0.5。M(i,j)值越小，目標(biāo)i和目標(biāo)j越相似，匹配成功率越高。

對目標(biāo)進(jìn)行特征信息匹配時(shí)，建立匹配矩陣，定義匹配矩陣M為：

(11)

式中，行和列分別為當(dāng)前幀和前一幀檢測到的目標(biāo)，N和R為當(dāng)前幀和前一幀目標(biāo)總數(shù)。

進(jìn)行矩陣匹配時(shí)，分兩種情況：

① 理想運(yùn)動(dòng)情況下(不考慮遮擋)，掃描匹配矩陣，按式(12)規(guī)則給矩陣賦值，矩陣中值為1的為最佳匹配結(jié)果，認(rèn)為匹配成功。

(12)

式中，M(i,j)每行按從大到小排列，將最小的5個(gè)數(shù)值求平均值作為閾值T。

② 當(dāng)運(yùn)動(dòng)目標(biāo)出現(xiàn)遮擋或丟幀時(shí)，應(yīng)適當(dāng)增大跟蹤搜索區(qū)域，避免目標(biāo)跟蹤失敗。當(dāng)目標(biāo)開始交互時(shí)，增大卡爾曼搜索區(qū)域，掃描匹配矩陣，按式(13)規(guī)則給矩陣賦值。

(13)

矩陣匹配后，通過船舶的自適應(yīng)閾值和軌跡約束條件進(jìn)行篩選，若滿足式(14)，則目標(biāo)相似度最高，信息匹配成功，認(rèn)為是同一目標(biāo)。

(14)

3 實(shí)驗(yàn)結(jié)果及分析

根據(jù)船舶特征，采用兩種結(jié)構(gòu)元素加權(quán)進(jìn)行開運(yùn)算，加權(quán)系數(shù)ζ=0.35，圖2是不同檢測算法對同一圖像的檢測結(jié)果。由圖(b)知，對于運(yùn)動(dòng)緩慢的船舶，易被漏檢；由圖(c)知，背景減除法易受光照變化等動(dòng)態(tài)背景影響，出現(xiàn)大量干擾噪聲點(diǎn)；由圖(d)知，不能滿足光流法灰度假設(shè)；由圖(e)知，當(dāng)選擇單一結(jié)構(gòu)元素過小時(shí)，會(huì)出現(xiàn)虛假目標(biāo)；由圖(f)知，多結(jié)構(gòu)元素Top-hat算法既能抑制干擾噪聲及雜波，又能準(zhǔn)確檢測目標(biāo)。

圖2 船舶檢測結(jié)果

表1是不同檢測算法處理后的剩余波紋條數(shù)對比，經(jīng)多結(jié)構(gòu)元素Top-hat處理后的剩余波紋條數(shù)明顯減少，對背景雜波抑制效果更好。

表1 背景雜波抑制比較

表2為不同檢測算法對港口監(jiān)控視頻中連續(xù)25幀圖像中的船舶進(jìn)行檢測，并分別統(tǒng)計(jì)誤檢率及檢測運(yùn)行時(shí)間。由表知，本文算法既能保證目標(biāo)檢測的準(zhǔn)確率，又具有實(shí)時(shí)性。

表2 5種算法檢測比較

對船舶進(jìn)行編號(hào)，并跟蹤船舶運(yùn)動(dòng)軌跡。圖3為船舶連續(xù)多幀丟失時(shí)跟蹤的結(jié)果。比較圖(b)、(c)，5號(hào)船在第262幀消失，第293幀被重新檢測到，中間相差31幀；比較圖(c)、(d)，4號(hào)船丟失49幀后，被重新檢測到；本文算法通過改進(jìn)的SVD-UKF預(yù)測其運(yùn)動(dòng)狀態(tài)，當(dāng)重新檢測到該船舶時(shí)，立即校正其估計(jì)值，因此能繼續(xù)對該船舶進(jìn)行準(zhǔn)確跟蹤。

圖4為船舶出現(xiàn)、遮擋、分離、消失時(shí)的跟蹤結(jié)果。圖(b)中6號(hào)船出現(xiàn)，2號(hào)船被1號(hào)船遮擋，圖(c)中1、2號(hào)船分離，4、5號(hào)船消失，圖(d)為船舶運(yùn)動(dòng)軌跡。由圖知，當(dāng)出現(xiàn)遮擋時(shí)，盡管船舶顏色相似且被遮擋，但本文通過特征匹配方程對目標(biāo)匹配，仍能用預(yù)測值對卡爾曼濾波器更新，因此可以繼續(xù)對船舶進(jìn)行準(zhǔn)確跟蹤。

圖5為2號(hào)船在x方向的實(shí)際軌跡和文獻(xiàn)[15]及本文算法預(yù)測跟蹤軌跡。由圖知，本文算法在第21幀開始收斂，且誤差降低在1像素內(nèi)，比文獻(xiàn)[15]的收斂速度更快，誤差率更小。

圖3 船舶連續(xù)多幀丟失跟蹤結(jié)果

圖4 船舶出現(xiàn)、遮擋、分離、消失時(shí)跟蹤結(jié)果

圖5 2號(hào)船舶軌跡跟蹤圖

4 結(jié)束語

本文先通過多結(jié)構(gòu)元素Top-hat變換算法檢測船舶，并進(jìn)行連通域標(biāo)記，有效抑制背景雜波，提高了目標(biāo)檢測準(zhǔn)確率；再通過改進(jìn)的SVD-UKF并結(jié)合特征匹配方程實(shí)現(xiàn)對船舶的準(zhǔn)確跟蹤，提高了匹配速度及監(jiān)測精度，解決了船舶遮擋及連續(xù)多幀船舶丟失等問題。經(jīng)過對實(shí)際監(jiān)控視頻的測試，本文算法能夠準(zhǔn)確、高效地對船舶進(jìn)行檢測與跟蹤，具有較好的實(shí)時(shí)性。

[1] 蔣明,潘姣麗.一種改進(jìn)的混合高斯模型背景估計(jì)方法[J].微型機(jī)與應(yīng)用,2011,30(11):31-33.

[2] 陳添丁，胡鑒，吳滌．稀疏光流快速計(jì)算的動(dòng)態(tài)目標(biāo)檢測與跟蹤[J]. 中國圖象圖形學(xué)報(bào), 2013, 18(12): 1593-1600.

[3] 林佳乙, 于哲舟, 張鍵,等. 基于背景差分和幀間差分法的視頻運(yùn)動(dòng)檢測[J]. 儀器儀表學(xué)報(bào), 2011, 24(4): 111-115.

[4] 陳龍, 郭寶龍, 孫偉. 基于 FCM 聚類的粒子濾波多目標(biāo)跟蹤算法[J]. 儀器儀表學(xué)報(bào),2011, 32(11): 2536-2542.

[5] NING J, ZHANG L, ZHANG D. Robust mean-shift tracking with corrected background-weighted histogram[J]. Iet Computer Vision, 2012, 6(1):62-69.

[6] KARAVASILIS V, NIKOU C, LIKAS A. Visual tracking by adaptive kalman filtering and mean shift[C]. Conference on Artificial Intelligenee: Theories, Models and Applications, 2010, 6040: 153-162.

[7] EXNER D, BRUNS E, KURZ D, et al. Fast and robust CAMShift tracking[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattren Recognition-Workshops, CVPRW 2010, 2010:9-16.

[8] 楊卓東,張欣,張濤,等.改進(jìn)自適應(yīng)中值濾波的圖像去噪[J].通信技術(shù),2015,48(11):1257-1260.

[9] 安博文, 胡春暖, 劉杰, 等. 基于Hough變換的海天線檢測算法研究[J]. 紅外技術(shù), 2015, 37(3):196-198.

[10] 葉斌, 彭嘉雄. 基于形態(tài)學(xué)Top-hat算子的小目標(biāo)檢測方法[J]. 中國圖象圖形學(xué)報(bào), 2002,7(7):638-642.

[11] 陳恩慶, 李曉磊. 采用多結(jié)構(gòu)元素模板的形態(tài)學(xué)邊緣檢測新算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2013, 49(17):146-149.

[12] 王文豪, 陳曉兵, 劉金嶺. 基于連通區(qū)域和SVM特征融合的火災(zāi)檢測[J]. 計(jì)算機(jī)仿真, 2014, 31(1):383-387.

[13] 劉亦書,楊力,華孫倩.輪廓矩不變量及其在物體形狀識(shí)別中的應(yīng)用[J].中國圖象圖形學(xué)報(bào),2004,9(3):308-309.

[14] ZHANG H T. Unscented Kalman filter and its nonlinear application for tracking a moving target[J]. Optik-International Journal for Light and Electron Optics, 2013, 13(3): 4468-4471.

[15] SOKEN H E, CILDEN D, HAJIYEV C. Attitude estimation for nanosatellites using singular value decomposition and unscented kalman filter[C]. International Symposium on Space Technology and Science, 2015.

Simulation research on port ship position traking for monitoring

Yin Xiuling1, An Bowen1, A-buduaini Ai-yilaiti2, Si-mayi Zu-lifeiya3, Wu Yan4

(1. College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China；2. General Manager’s Office of CNPC Tarim Oil Company, Tarim 841000, China；3. Tazhong Oil and Gas Development Department of CNPC Tarim Oil Company, Tarim 841000, China；4. Guangxi University of Science and Technology, Liuzhou 545006, China)

Due to the factors like small target vessel imaging, river interference noise, ship occlusion and consecutive frames missing that effect monitoring precision, there exists matching problems in creating position, speed, and area between image frames. To solve the problems above, we proposed a algorithm combined with the method based on multi-structure elements of Top-hat transform and improved SVD-UKF to realize detection and tracking. The adaptive threshold value and path continuity function matching equation were defined on the basis of SVD-UKF to improve the monitoring accuracy. Experimental results show that the algorithm can improve the accuracy of the monitoring and tracking stability and solve the problems of ship occlusion and missing in consecutive frames, and meet the real-time requirements.

monitoring accuracy; Top-hat transform; UKF; adaptive threshold; path coherence

廣西教育廳科研項(xiàng)目(9YB 2014207)

TP391.9

：A

10.19358/j.issn.1674- 7720.2017.17.011

尹秀玲，安博文，艾依來提·阿不都艾尼，等.港口船舶位置目標(biāo)圖像跟蹤監(jiān)測研究[J].微型機(jī)與應(yīng)用，2017,36(17)：38-41.

2017-03-02)

尹秀玲(1991-)，通信作者，女，碩士研究生，主要研究方向：智能信息處理及圖像處理。E-mail：xiulingy@126.com。安博文(1969-)，男，教授，博士生導(dǎo)師，主要研究方向：遙感圖像的獲取與處理、信號(hào)檢測與信息處理及海纜監(jiān)測。艾依來提·阿不都艾尼(1981-)，男，助理工程師，主要研究方向：信號(hào)與信息處理。