無人艇視覺系統(tǒng)多類水面目標特征提取與識別

馬忠麗，文 杰，梁秀梅，陳虹麗，趙新華

（哈爾濱工程大學自動化學院，150001，黑龍江哈爾濱）

水面無人艇（unmanned surface vehicle，USV）是 一種新型的海上智能體，可用來執(zhí)行掃雷、反潛、反恐攻擊等軍事任務以及海上港口監(jiān)視和搜救等民用任務。自主識別周圍環(huán)境、目標以及障礙物是保證全自主式USV自主航行的先決條件。由于雷達存在近距離目標探測盲區(qū)，因此視覺系統(tǒng)就成為USV進行周圍場景圖像信息采集的主要設備之一。研究適合多類水面目標的特征提取和識別方法，對發(fā)揮視覺系統(tǒng)在USV目標探測和跟蹤中的作用具有重要意義。

在離岸較遠的情況下，水面目標一般包括礁石、島嶼、船只和大型魚類等。針對水面船只的目標識別，汪成亮等通過定義輪船的4個幾何特征，實現(xiàn)輪船的簡單識別［1］；劉新科等提取三維艦船在不同姿態(tài)下3個仿射不變矩特征，驗證了仿射不變矩特征在艦船目標識別中的有效性［2］；Zabidi等通過提取艦船Hu不變矩特征完成船舶目標識別［3］，但識別率不穩(wěn)定；Zhu等通過提取遙感圖像中船舶的形狀特征和紋理特征實現(xiàn)船舶檢測［4］。然而，上述的目標識別方法，識別目標單一，沒有考慮艦船艇實際運行中周圍目標和障礙物的多樣性。

針對上述問題，本文提出一種多類水面目標組合特征提取和識別方法。考慮到USV運行會引起圖像視角上的畸變，如平移、縮放、仿射等［5］，獲得保持不變或者影響不大的的特征庫是實現(xiàn)目標識別的關鍵。本文在進行圖像預處理基礎上，根據(jù)礁石、島嶼和船只這3類目標的外形輪廓、幾何形狀和紋理分布具有較明顯差異的特點，提取它們的幾何特征、不變矩特征以及紋理特征，形成組合特征，利用PCA降維處理，采用分級BP神經網絡分別實現(xiàn)島嶼、礁石和船只多類目標的初級識別和多類船只的次級識別。仿真實驗結果表明，本文提出的多類水面目標組合特征提取和識別方法能夠很好地提高USV對水面感興趣多類目標識別的正確性。

1 水面目標識別模型及前期預處理

1.1 水面目標識別模型

海上環(huán)境復雜，考慮到海霧、海浪等因素的影響，為增強目標識別系統(tǒng)的適應能力，建立了如圖1所示的USV水面多類目標識別系統(tǒng)模型。

1.2 水面目標圖像前期預處理

受海霧的影響，USV拍攝的圖像會降質模糊；同時，水面波動和USV高速運行，會導致目標視頻圖像抖動模糊，影響后續(xù)處理。此外，圖像中目標、背景的分割是目標特征準確提取的前提。因此，需要進行圖像預處理，包括：圖像增強、電子穩(wěn)像和目標背景分割。

（1）圖像增強去霧。圖像去霧采用基于邊緣檢測的單尺度Retinex算法［6］，在傳統(tǒng)單尺度Retinex模型基礎上，采用基于邊緣信息的高斯濾波估計亮度分量，實現(xiàn)較好的圖像去霧效果。

（2）電子穩(wěn)像。采用尺度不變特征變換（scale invariant feature transform，SIFT）算法提取特征點，結合仿射模型和Kalman濾波求取補償參數(shù)，采用相鄰幀補償法對每幀圖像進行補償［7］。

（3）圖像目標背景分割。采用改進的自適應均值漂移算法進行目標圖像分割［8］。結合貝葉斯準則自適應求取帶寬參數(shù)，取得了較好的目標分割效果，便于后續(xù)目標特征提取。

圖1 無人艇水面多類目標識別系統(tǒng)模型

2 水面多類目標特征提取

目標特征提取是正確識別目標的前提，這里需要提取的多類水面目標的特征包括：幾何特征、不變矩特征以及紋理特征。

2.1 目標輪廓提取

目標輪廓提取是幾何特征提取的前提，目標輪廓的提取方法為：先對目標背景分割后的圖像進行二值化處理，得到目標區(qū)域，再提取目標區(qū)域的外圍邊界實現(xiàn)目標輪廓提取。對3類目標輪廓特征提取的結果如圖2所示。

圖2 3類目標輪廓提取的結果

2.2 幾何特征提取

幾何特征根據(jù)目標區(qū)域外圍輪廓和其包含的像素點數(shù)量來定義。根據(jù)目標最小外接矩得到目標的5個幾何特征［9］。

（1）面積特征（Fa）：具有旋轉、平移不變性。設分割后目標區(qū)域面積為A1，將目標區(qū)域中不連續(xù)部分填充后面積為A2，則歸一化后的面積特征Fa=A1／A2。

（2）細長度特征（Ff，l）：沿主軸方向的長度和與其垂直的寬度的比值，即最小外接矩形長、寬比。

（3）緊密度特征（Ft）：目標周長與面積的比，可以表征目標形狀的復雜度。

（4）凸包性特征（Fc，h）：目標面積與最小外接矩形的面積之比。

（5）凸起度量（Mc）：針對船只提出的特征參數(shù)，是船只上部建筑面積與下部船艙面積之比。確定最小外接矩形時的短軸為分割線，將目標區(qū)域分為上、下兩部分，統(tǒng)計兩部分的像素點分別為a1、a2，則Mc=a1／a2。

2.3 不變矩特征提取

考慮到僅使用Hu不變矩或仿射不變矩時不能獲得目標準確特征，這里同時提取目標Hu不變矩與仿射不變矩特征用于目標識別。

2.3.1 Hu不變矩特征的提取 一幅尺寸為m×n的二維離散圖像f（x，y），其p+q階原點矩mpq、中心矩μpq分別表示為

對中心矩做歸一化處理，即

當圖像f（x，y）以比例因子ρ發(fā)生失真后，會對中心矩產生影響。為消除比例因子的影響，采用尺度歸一化對原Hu不變矩進行處理，可得

2.3.2 仿射不變矩特征提取 仿射變換是指在歐式空間中，共直線的3個點通過一個映射仍然共直線，仿射變換方程為

式中：A為變換矩陣且行列式不為零；B為平移參數(shù)矩陣。

Jan Flusser等［11］推導出十個仿射不變矩，本文提取前3個仿射不變矩

式中：μpq為式（2）中所表示的中心距，仿射不變矩特征數(shù)值分布范圍較廣，需取其對數(shù)值。

2.4 紋理特征提取

由于船舶相對海上礁石、島嶼而言紋理平滑，因此可以提取紋理特征來進行識別。

2.4.1 目標圖像子區(qū)域提取 本文紋理特征的提取是針對目標圖像子區(qū)域，子區(qū)域提取步驟如下。

（1）對二值化后的目標區(qū)域進行孔洞填充，得到完整目標區(qū)域，計算目標區(qū)域的最小外接矩。

（2）將目標最小外接矩等分割為N個子區(qū)域，每個子區(qū)域的尺寸最大為16×16像素。

（3）搜索每個子區(qū)域，若全為亮點，則設置為單子區(qū)域；若有黑點，則設置為背景或邊緣區(qū)域。

（4）繪制所有單子區(qū)域外圍輪廓，形成目標多子區(qū)域，并在灰度圖相應位置標注該區(qū)域。

2.4.2 紋理特征提取 灰度共生矩陣是紋理特征提取常用方法［12］，對目標子區(qū)域圖像f（x，y）中任一灰度值為（g1，g2）的點A（x，y），計算其出現(xiàn)的概率p（g1，g2），得到灰度共生矩陣［13］，其中，紋理統(tǒng)計特征描述因子有4個。

（1）紋理能量Q1：灰度共生矩陣中元素平方和，反映圖像紋理的均勻性，其計算公式為

（3）紋理梯度Q3：反映圖像的層次內容以及清晰程度，其計算公式為

式中：k=|g1-g2|。

（4）紋理相關性Q4：衡量灰度共生矩陣行列之間元素的相似程度，其計算公式為

3 水面目標特征樣本庫的建立

本文圖像數(shù)據(jù)有4個來源：

（1）水面艇實拍圖像數(shù)據(jù)，攝像系統(tǒng)為800萬像素CMOS攝像頭，圖像分辨力為1 280×1 024像素，幀率為30幀／s；

（2）網絡圖片數(shù)據(jù)，包括各種水面船只、礁石、島嶼圖片；

（3）自制水面遙控艇的實測數(shù)據(jù)，攝像系統(tǒng)主要性能參數(shù)：600萬像素CMOS攝像頭，圖像分辨力為480×320像素，幀率為60幀／s；

（4）3DMAX軟件制作的各種船只3D模型。

根據(jù)以上圖像數(shù)據(jù)建立水面目標特征樣本庫。

3.1 礁石、島嶼、遙控艇樣本庫建立

選取礁石、島嶼、水面遙控艇實際拍攝目標視頻序列抽取的圖像各100張，提取6個Hu不變矩、3個仿射不變矩和4個紋理特征。其中3類目標5個樣本的部分紋理特征和不變矩特征對比曲線如圖3所示。

由圖3可以看到，船只的紋理特征和不變矩特征與礁石和島嶼的相比相差明顯，利用它們作為船只與其他目標相區(qū)別的特征庫具有較好的可分性。

圖3 3類目標部分紋理特征和不變矩特征對比曲線

3.2 不同種類船只樣本庫建立

采用3D軟件制作三維船舶模型，包括軍艦、游艇、郵輪、集裝箱船、航空母艦、汽油船、油輪7種船型，如圖4所示。

每種3D船模以一定角度旋轉、平移、放大或縮小形成樣本。不同類型3D船模選取100個樣本，每個樣本提取5個幾何特征，6個Hu不變矩，3個仿射不變矩特征。7類船旋轉0°和90°得到的14個特征值的對比曲線如圖5所示。

圖4 不同類型船只的3D船型

圖5 不同類型船舶特征對比

對比圖5a和圖5b可知：同一類船模從0°旋轉到90°時，其特征參數(shù)的數(shù)值發(fā)生了較大變化；不同類型船模處于相同位置時，幾何特征（除了凸包性）之間有明顯的差別，除Hu高階矩與仿射一階矩稍顯不足外，仿射不變矩與Hu不變矩特征在不同類型的船舶之間差別比較明顯。

4 PCA降維的分級BP神經網絡

主分量分析（PCA）是一種基于統(tǒng)計分析的降維處理技術，應用PCA對訓練樣本的特征進行分析，能夠得到影響目標識別結果的主要特征，然后利用這些主要特征進行BP神經網絡訓練和識別，能有效降低處理時間［14］。

4.1 礁石、島嶼與船只初級分類識別

從目標圖像樣本庫取300個樣本，選擇180個為訓練樣本，每類目標含有60個樣本數(shù)據(jù)，含有13個特征，組成13×60維矩陣；測試樣本120個，每類目標有40個樣本數(shù)據(jù)。搭建礁石、島嶼與船只的多神經網絡并聯(lián)識別模型。模型中，BP神經網絡為單輸出型神經網絡，共3層：輸入層、隱藏層和輸出層。

應用PCA對輸入的訓練樣本庫進行降維，選取貢獻率大于80%的特征。分析可知，礁石目標特征量貢獻率較大的是I1、H2、Q2、I2、H4，島嶼目標貢獻率較大的是I1、H2、I2、Q1、H6，船只目標貢獻率較大的是Q3、H1、I1、I3、H6，則輸入樣本維數(shù)由13×60降為5×60。

采用Matlab 7.9平臺進行仿真研究，并行的3個神經網絡輸入層節(jié)點數(shù)均為5，隱層神經元數(shù)都為9，輸出層節(jié)點數(shù)為2。測試過程重復循環(huán)10次，硬件環(huán)境為：酷睿2雙核E7400處理器，主頻為2.80GHz，內存為2GB。PCA降維前后，不同特征下網絡訓練時間和平均識別率對比如表1所示。

表1 PCA降維前后訓練時間和平均識別率對比

由表1數(shù)據(jù)比較可以看出：采用紋理特征與不變矩特征組合進行識別得到的平均別率相對較高，且用PCA降維后，大大縮短了訓練時間，但降維后識別率有所降低。每類目標基于組合特征的正確識別數(shù)統(tǒng)計結果如表2所示。

表2 基于組合特征目標識別

4.2 不同類型船只的次級分類識別

選取3D模型船只樣本每類各120個，其中每類60個樣本作為訓練樣本，其余60個為測試樣本；在實際網絡圖像和水面艇實測圖像形成的各類船只圖像庫中，每類目標船型選取120幅不同視角圖像，其中每類60個作為訓練樣本，其余60個作為測試樣本。每類測試樣本和訓練樣本均含有14個特征，組成14×60維矩陣。

應用PCA對輸入樣本庫進行優(yōu)化，選取貢獻率大于80%的特征，結果發(fā)現(xiàn)：9個不變矩特征中，H1、I1、I3、H6貢獻率在不同船型中都較大。5個幾何特征中，軍艦目標特征量貢獻率較大的是Fa、Ff，l、Ft；游艇目標貢獻率較大的是 Fa、Ff，l、Mc；郵輪目標貢獻率較大的是Fa、Fc，h、Mc；油船目標貢獻率較大的是Fa、Ft、Fc，h；集裝箱船目標貢獻率較大的是Fa、Fc，h、Mc；汽油船目標貢獻率較大的的是 Fa、Ff，l、Ft。上述6類船只PCA降維后的訓練樣本維數(shù)由14×60降為7×60。航空母艦目標貢獻率較大的是Fa、Ff，l、Ft、Fc，h，維數(shù)由14×60降為8×60。

在同樣硬件條件、不同特征組合下，表3給出了3種情況下平均識別率對比。情況1是訓練樣本和測試樣本均為3D模型船只；情況2是訓練樣本和測試樣本均為實際船只；情況3是訓練樣本為3D模型船只，測試樣本為實際船只。

表3 各類船只目標3種情況下平均識別率

由表3得出，采用幾何特征和組合矩形成的組合特征的識別率較高，而實際船只識別率相對較低，3D模型船只和實際船只相結合的識別率最低。分析原因如下：采用自動分割提取目標存在分割誤差［8］；3D模型船只背景清晰、無干擾，分割誤差小，而實際圖像背景復雜，分割誤差較大，因此3D模型船只的識別率要高于實際船只的識別率。此外，實際圖像中目標視角多變，且無規(guī)律，導致3D模型船只的訓練樣本與實際船只的測試樣本差異較大，造成情況3的識別率最低。

5 結 論

本文在深入研究無人艇視覺系統(tǒng)采集到的水面目標圖像特點的基礎上，對水面礁石、島嶼與船只3類目標提取幾何特征、不變矩特征和紋理特征，并建立水面目標特征庫，然后采用基于主分量分析的分級BP神經網絡進行多類水面目標識別，仿真實驗結果證實了方法的有效性。但是，本文研究也存在局限性，主要有：目標沒有考慮水面鳥類、魚群等；已經建立的礁石、島嶼、船只數(shù)據(jù)庫樣本數(shù)量有限；神經網絡識別的泛化能力沒有深入討論；如何解決同一場景中多個目標的特征提取和識別等。這些問題將是后續(xù)研究著重解決的問題。

［1］ 汪成亮，汪連偉.基于特征的江面輪船識別算法 ［J］.計算機應用研究，2011，28（6）：2352-2354.

WANG Chengliang，WANG Lianwei.Ship targets recognition algorithm based on features［J］.Application Research of Computers，2011，28（6）：2352-2354.

［2］ 劉新科，于吉紅，呂俊偉，等.基于仿射不變矩特征的艦船圖像識別方法 ［J］.海軍航空工程學院學報，2011，26（6）：687-690.

LIU Xinke，YU Jihong，LV Junwei，et al.Ship image recognition method based on the affine invariant moments ［J］.Journal of Naval Aeronautical Engineering Institute，2011，26（6）：687-690.

［3］ ZABIDI M M A，MUSTAPA J，MOKJI M M，et al.Embedded vision systems for ship recognition ［C］∥Proceedings of TENCON 2009，IEEE Region 10 International Conference.Los Alamitos，CA，USA：IEEE Computer Society，2009：1-5.

［4］ ZHU Changren，ZHOU Hui，WANG Runsheng，et al.A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features［J］.IEEE Transactions on Geoscience and Remote Sensing，2010，48（9）：3446-3456.

［5］ VELLA F.Digital image stabilization by adaptive block motion vectors filtering ［J］.IEEE Transactions on Consumer Electronics，2002，48（3）：796-801.

［6］ MA Z，WEN J，LIANG X.Video image clarity algorithm research of USV visual system under the sea fog ［M］∥ Advances in Swarm Intelligence.Heidelberg，Germany：Springer，2013：436-444.

［7］ 馬忠麗，李慧鳳，文杰，等.高速水面艇視覺系統(tǒng)電子穩(wěn)像算法 ［J］.計算機應用研究，2014，31（2）：633-636.

MA Zhongli，LI Huifeng，WEN Jie，et al.Electronic image stabilization algorithm for high speed surface vehicle vision system ［J］.Application Research of Computers，2014，31（2）：633-636.

［8］ 馬忠麗，梁秀梅，文杰.無人水面艇目標圖像自適應分割算法 ［J］.哈爾濱工業(yè)大學學報，2014，46（5）：612-636.

MA Zhongli，LIANG Xiumei， WEN Jie.Image adaptive segmentation algorithm for unmanned surface vehicle targets ［J］.Journal of Harbin Institute of Technology，2014，46（5）：612-636.

［9］ 宋衛(wèi)東.解析幾何 ［M］.北京：高等教育出版社，2003：96-101.

［10］CHENG Y Z.Mean shift，mode seeking，and clustering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17（8）：790-799.

［11］FLUSSER J，SUK T.Pattern recognition by affine moment invariants［J］.Pattern Recognition，1993，1（26）：167-174.

［12］鐘建華，齊樂華，李妙玲，等.利用人工神經網絡的偏光下熱解炭織構類型識別 ［J］.西安交通大學學報，2010，44（7）：46-49.

ZHONG Jianhua，QI Lehua，LI Miaoling，et al.Automatic classification of pyrocarbon texture under polarized light microscope based on artificial neural network［J］.Journal of Xi’an Jiaotong University，2010，44（7）：46-49.

［13］苑麗紅，付麗，楊勇，等.灰度共生矩陣提取紋理特征的實驗結果分析 ［J］.計算機應用，2009，29（4）：1018-1021.

YUAN Lihong，F(xiàn)U Li，YANG Yong，et al.Analysis of texture feature extracted by gray level co-occurrence matrix［J］.Journal of Computer Applications，2009，29（4）：1018-1021.

［14］張國英，王娜娜，張潤生，等.基于主成分分析的BP神經網絡在巖性識別中的應用 ［J］.北京石油化工學院學報，2008，16（3）：43-46.

ZHANG Guoying，WANG Nana，ZHANG Runsheng，et al.Application of principal component analysis and BP neural network in identifying lithology［J］.Journal of Beijing Institute of Petro-chemical Technology，2008，16（3）：43-46.