半遮擋目標魚體的識別與跟蹤方法研究

毛家發(fā)，胡海彪，程振波，范偉康，陸佳煒，肖　剛

(浙江工業(yè)大學 計算機科學與技術學院，浙江 杭州 310023)

半遮擋目標魚體的識別與跟蹤方法研究

毛家發(fā)，胡海彪，程振波，范偉康，陸佳煒，肖剛

(浙江工業(yè)大學 計算機科學與技術學院，浙江 杭州 310023)

摘要：基于平面鏡原理的三維目標跟蹤平臺，半遮擋會引起多目標交叉連接在一起，難以清晰地將多目標獨立地分離出來，降低了跟蹤定位準確性.針對這一問題，提出一種基于計算機視覺的半遮擋魚體識別的方法.通過魚體輪廓識別技術和魚體質(zhì)心點的提取方法，解決水箱當中魚體目標與鏡子當中魚體目標的對應關系.最后進行了活體魚半遮擋實驗，實驗結(jié)果表明：該方法能夠有效地解決魚體半遮擋分離問題，提高了魚目標跟蹤定位的準確性。

關鍵詞：半遮擋；魚體輪廓；魚體識別；魚體質(zhì)心

Study on identification and tracking of half-occlusion target fish

MAO Jiafa, HU Haibiao, CHENG Zhenbo, FAN Weikang, LU Jiawei, XIAO Gang

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:For the three-dimensional object tracking platform based on principle of plane mirror, half-occluded objects can cause multi-objective overlap. Thus it is difficult to clearly separate the targets and tracking accuracy will be reduced. A half-occluded fish contour recognition method based on computer vision is proposed. Using fish contour recognition technology and fish centroid point extraction method, we have obtained the coordinate spatial relationships between the target fish in tank and virtual fish in the mirror. Here we test the real fish in the experiment and experimental results show that this method can effectively solve the problem of separating half-occluded fish and the fish target tracking accuracy is improved。

Keywords:half-occluded; fish contour; fish recognition; fish centroid

魚類作為水質(zhì)監(jiān)測的重要指示生物，很多學者通過研究其運動行為來反應水質(zhì)情況.魚類的主要行為特征為游動軌跡、速度、角速度、加速度等[1].如果能夠通過圖像處理技術對魚運動視頻進行跟蹤處理，提取魚目標的運動參數(shù)，那么便能采用仿真魚進行水下模擬真實魚的生理行為并且進行水下作業(yè)，進而為軍事和民用研究提供更好的實際依據(jù)[2].水環(huán)境的變化會明顯地影響魚類的生活習性，因此可以通過提取魚類的行為特征參數(shù)，來反應水環(huán)境變化情況，魚類行為數(shù)據(jù)的變化為水質(zhì)監(jiān)測提供重要的理論參數(shù)[3-6].參數(shù)提取的前提就是目標的有效跟蹤，目標跟蹤的首要任務是從視頻幀圖像中檢測出目標并對其進行分割定位，從而確定其完整的運動軌跡[7-9].方非等[10]運用了色彩跟蹤算法對機器魚進行了單目標跟蹤，并且得到了較好的效果;Pinkiewicz等[11]采用粒子濾波的方法，許廷發(fā)等[12]運用約束的B-Snake模型的非線性粒子濾波算法，劉士榮等[13]采用基于多特征融合的粒子濾波目標跟蹤算法對魚體多目標進行了跟蹤，并且得到了一些較好的結(jié)果。

多目標跟蹤已經(jīng)獲得了一些較好的研究成果，但當多個跟蹤目標距離較近，或者出現(xiàn)半遮擋的情況時，則難以清晰地識別出目標，致使出現(xiàn)誤跟蹤的現(xiàn)象，為了解決這類問題，根據(jù)魚體的具體形態(tài)特征，提出了一種在三維空間下半遮擋魚體識別的方法.針對魚體的正面和側(cè)面信息來進行魚體一一對應，并且根據(jù)魚體的對應關系來正確識別魚體的運動軀干，實現(xiàn)半遮擋情況下目標分離，從而提高目標跟蹤精度。

1魚體輪廓模型

1.1魚體輪廓

魚類外形多種多樣，根據(jù)魚體的形態(tài)特征，一般可分為頭部、軀干部和尾部三部分.從頭部到尾部有一條貫穿身體的頭尾軸[14].紅鯽魚是一種具有流線型體形的魚類.假設O點為魚體輪廓的質(zhì)心點，則根據(jù)魚形體特征能夠構(gòu)建出魚體的輪廓，如圖1所示.圖1中的虛線部分表示當魚游動時魚尾的左右擺動。

圖1　魚形體輪廓Fig.1　Diagram of fish contour

1.2魚體質(zhì)心點提取

給定一幅二維圖像，假設目標區(qū)域為A(xi,yi)(i=1,2,3，…，n)，質(zhì)心點的計算公式為

(1)

(2)

1.3魚頭和魚尾方向的識別判定

(3)

通過式(3)計算得出輪廓邊界上離質(zhì)心點最遠的點，假設為T，則OT方向為魚尾方向，和OT方向相反(夾角大于90°)方向?qū)ふ揖嚯x質(zhì)心點O最遠的點記為H，OH方向則為魚頭方向.如圖2所示。

圖2　魚頭魚尾方向判斷Fig.2　The judgment of fish head and tail

2水箱中實體魚與平面鏡中虛體魚對應關系

2.1實驗平臺簡介

系統(tǒng)平臺主要有下面三部分組成：采集設備、圖像采集卡、處理設備.采集設備主要由水箱和一塊平面鏡組成.平面鏡放置在水箱右側(cè)，并且與水箱成一定角度(所成角度為π/4).攝像頭放置于采集設備的正上方，用于采集目標在水箱中以及平面鏡中的信息，攝像頭的拍攝范圍能夠覆蓋整個水箱以及鏡子當中水箱的成像.處理設備主要進行對采集到的圖像信息進行處理.整個系統(tǒng)采集平臺如圖3所示。

為了便于敘述，約定如下：1) 實物水箱稱為實體水箱；2) 水箱在鏡中的像為虛體水箱；3) 水箱中的魚為實體魚；4) 實體魚在平面鏡中的像為虛體魚。

圖3　實驗平臺Fig.3　Diagram of experiment platform

2.2遮擋魚體首尾對應關系

圖3所示的水箱右側(cè)鏡子和水箱成π/4，實體魚和鏡子當中的虛體魚的形體存在一種一一對應關系，即實體魚頭對應虛體魚頭，實體魚尾對應虛體魚尾.根據(jù)我們先前的研究結(jié)果可知，當實體水箱當中的魚體發(fā)生部分遮擋的情況時，虛體水箱中的虛體魚則不會發(fā)生遮擋.由此，我們可以得到如圖4(a，b)所示的實體魚與虛體魚的對應關系。

圖4　半遮擋情況下的實體魚與虛體魚對應關系Fig.4　Correspondence between the entity fish and virtual fish under half-occlusion

根據(jù)上述所描述的實體魚與虛體魚的對應關系，當水箱當中實體魚發(fā)生半遮擋情況時，可以根據(jù)鏡子當中的虛體魚的位置以及魚頭和魚尾方向，來判斷出水箱當中的實體魚的位置和魚頭魚尾方向.水箱當中的實體魚的質(zhì)心點和鏡子當中虛體魚的質(zhì)心點存在一一對應的關系，由虛體魚的質(zhì)心點位置可以計算出水箱當中實體魚的質(zhì)心點的位置，并且根據(jù)1.3節(jié)魚頭魚尾方向判斷方法，判斷出實體魚的魚頭與魚尾方向。

當虛體魚發(fā)生半遮擋情況時,如圖4(c，d)所示，我們可以根據(jù)對稱原理，很容易地解決虛體魚半遮擋時的魚體方向問題。

2.3魚體識別具體操作步驟

根據(jù)2.2節(jié)所描述的半遮擋魚體的首尾對應關系，我們可以很容易發(fā)現(xiàn)實體水箱中的實體魚和虛擬水箱中的虛體魚存在著一種同向?qū)P系，即魚頭對魚頭，魚尾對魚尾的一一對應.根據(jù)這種對應關系，我們可以根據(jù)未發(fā)生半遮擋的虛體魚(實體魚)的質(zhì)心點、魚頭魚尾坐標來計算出發(fā)生半遮擋狀態(tài)的實體魚(虛體魚)的質(zhì)心點以及魚頭尾坐標，并且根據(jù)這些確定出的坐標點來識別魚體支架和方向：

第一步:提取出發(fā)生半遮擋時的視頻幀圖像。

第二步:通過圖像分割算法準確分割出目標。

第三步:判斷魚體發(fā)生半遮擋的區(qū)域，即判別出實體水箱當中發(fā)生半遮擋還是虛擬水箱當中發(fā)生半遮擋。

第四步:根據(jù)所判別出的未發(fā)生半遮擋的區(qū)域，利用式(2，3)分別計算出未發(fā)生半遮擋區(qū)域的魚體目標的質(zhì)心點、魚頭和魚尾方向的坐標。

第五步:根據(jù)圖4所描述的魚體首尾對應關系，利用鏡面成像的對稱性原理，確定出發(fā)生半遮擋區(qū)域的對應魚體的質(zhì)心點、魚頭和魚尾坐標。

第六步：得出半遮擋魚體的質(zhì)心點以及魚頭魚尾在二維平面上的坐標之后，進行質(zhì)心點和首尾的連接，得到半遮擋魚體目標的身體支架。

第七步:結(jié)束。

3實驗結(jié)果驗證

圖5　實體魚遮擋魚頭朝向相同的實驗結(jié)果Fig.5　Experimental result under entity fish and occlusion fish’s heads toward the same

圖6　實體魚遮擋魚頭朝向相反的實驗結(jié)果Fig.6　Experimental result under entity fish and occlusion fish’s heads toward the opposite

當水箱中兩條實體魚發(fā)生半遮擋時，根據(jù)上述所描述的方法得到的實驗結(jié)果如圖5，6所示.圖5，6所計算出的相對于二維平面上的魚體坐標點如表1所示。

表1　實體魚發(fā)生半遮擋情況時實體魚與虛體魚坐標對應關系

圖7　虛體魚遮擋魚頭朝向相同的實驗結(jié)果Fig.7　Experimental result under virtual fish and occlusion fish’s heads toward the same

當虛體水箱中兩條虛體魚發(fā)生半遮擋時，根據(jù)上述所提供的方法得到的實驗結(jié)果如圖7，8所示.圖7，8所計算出的相對于二維平面上的魚體坐標點如表2所示。

圖8　虛體魚遮擋魚頭朝向相反的實驗結(jié)果Fig.8　Experimental result under virtual fish and occlusion fish’s heads toward the opposite

魚目標對象魚頭坐標X/pixY/pix質(zhì)心點坐標X/pixY/pix魚尾坐標X/pixY/pix魚1313144300176284202魚1對應虛體魚346151352180353206魚2321163289132260114魚2對應虛體魚345167338136338125魚3113200124224135258魚3對應虛體魚341204341228340255魚4139212128187112136魚4對應虛體魚340216341191340147

4結(jié)論

針對由于半遮擋在分割過程中會引起多目標連接在一起，難以清晰地將多個目標獨立地分離出來，致使跟蹤定位準確性降低等問題.筆者提出了一種解決分離遮擋目標的方法，利用水箱當中實體魚和虛擬水箱當中的虛體魚的對應關系來進行魚體輪廓的識別，并且進行了活體魚實驗，驗證了該方法解決遮擋問題的有效性，為解決遮擋引起的誤跟蹤問題提供了技術支持。

本文得到了浙江工業(yè)大學校級自然科學重點研究基金項目(2012XZ009)的資助。

參考文獻：

[1]KIM C, SHIM M, JEONG S, et al. Real-time motion generating method for artificial fish[J]. International Journal of Computer Science and Network Security,2007(10):52-61。

[2]XIANG T，GONG S G． Beyond tracking: modeling activity and understanding behaviour[J].International Journal of Computer Vision,2006(1):21-51．

[3]陳勇.面向水質(zhì)監(jiān)測的魚類目標跟蹤與運動行為建模系統(tǒng)研究[D].杭州:浙江工業(yè)大學，2010．

[4]張迎霞．面向水質(zhì)監(jiān)測的魚類行為異常識別方法研究[D].杭州:浙江工業(yè)大學，2011．

[5]胡江龍，方景龍，王大全．多目標跟蹤算法在水質(zhì)監(jiān)測中的應用[J]．機電工程，2012,29(5):613-615．

[6]盧煥達，劉鷹，范良忠．基于計算機視覺的魚類行為自動監(jiān)測系統(tǒng)設計與實現(xiàn)[J]．漁業(yè)現(xiàn)代化，2011，38(1):19-23．

[7]俞立,王銘,董齊芬,張文安.基于無線傳感網(wǎng)的目標跟蹤算法及實驗系統(tǒng)設計[J].浙江工業(yè)大學學報，2012，40(6)：649-652。

[8]馮曉斐，鄭河榮．基于改進Snake模型與Kalman濾波的目標跟蹤算法[J].浙江工業(yè)大學學報，2010，38(2):168-172．

[9]滕游，董輝，俞立．基于DSP的運動目標檢測與跟蹤系統(tǒng)設計[J].浙江工業(yè)大學學報，2009,37(6)：607-609．

[10]方非，謝廣明．一種基于圖像的機器魚動態(tài)跟蹤算法[J].機器人技術與應用,2009(4):22-25．

[11]PINKIEWICZ T, WILLIAMS R, PURSER J. Application of the particlefilter to tracking of fish in aquaculture research[J]．Digitalimage Computing: Techniques and Application，2008(3):457-464．

[12]許廷發(fā)，姚劍敏，韋崗．約束的B-Snake模型的非線性粒子濾波算法研究[J]．計算機仿真，2007，24(3):207-209．

[13]劉士榮，朱偉濤，楊帆，等．基于多特征融合的粒子濾波目標跟蹤算法[J].信息與控制，2012，41(6):752-759．

[14]郭春釗.基于魚體肌肉模型的虛擬仿魚機器人優(yōu)化設計與仿真研究[D].合肥：中國科學技術大學，2007。

(責任編輯：劉巖)

中圖分類號：TP391.41

文獻標志碼：A

文章編號：1006-4303(2015)02-0207-05

作者簡介：毛家發(fā)(1970—)，江西玉山人，副教授，博士，研究方向為水質(zhì)案例監(jiān)測、圖像處理、信息安全等，E-mail:maojiafa@zjut.edu.cn。

基金項目：國家自然科學基金資助項目(61272310,61170271);浙江省自然科學基金資助項目(LQ12F02016)

收稿日期：2015-02-05