基于計(jì)算機(jī)視覺的船舶圖像自動(dòng)識別方法研究綜述

羅明明 諸峰 王東升

摘要：介紹了船舶圖像自動(dòng)識別相關(guān)概念、歷史背景，分析了傳統(tǒng)船舶識別系統(tǒng)的不足之處，在此基礎(chǔ)上闡述了基于計(jì)算機(jī)視覺的船舶圖像自動(dòng)識別發(fā)展現(xiàn)狀，從靜態(tài)和復(fù)雜環(huán)境等不同維度，總結(jié)和歸納了各種船舶圖像自動(dòng)識別方法的基本思想和主要工作，并對不同方法的優(yōu)缺點(diǎn)進(jìn)行了分析和對比。對基于深度學(xué)習(xí)的船舶圖像識別、基于內(nèi)容的船舶圖像識別與標(biāo)注以及基于多分類器融合的SAR船舶圖像識別等船舶圖像識別方法進(jìn)行了介紹，并對船舶自動(dòng)識別的未來趨勢進(jìn)行了展望。

關(guān)鍵詞：圖像識別；船舶識別；船舶分類；計(jì)算機(jī)視覺

DOI：10.11907/rjdk.173037

中圖分類號：TP301

文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2018）007-0005-04

Abstract：Thispaperintroducestherelatedconceptsandhistoricalbackgroundofautomaticidentificationofshipimagesandevaluatestheshortcomingsoftraditionalshipidentificationsystem.Byintroducingthedevelopmentoftheshipimageautomaticrecognitionbasedoncomputervision，thepapersummarizesthemainworkandthebasicideasofdifferentautomaticrecognitionalgorithmsindifferentdimensionsofstaticandcomplexenvironmentbyanalysisandcomparison.Moreover，thepaperdiscussesthecurrentpopularmethods，includingshipimagesrecognitionbasedondeeplearningalgorithm，shipimagerecognitionandannotationbasedoncontentandshiprecognitioninSARimagesbasedonmultipleclassifiercombination.Also，futureresearchprospectsarediscussed.

KeyWords：imagerecognition；shiprecognition；shipclassification；computervision

0引言

隨著海上貿(mào)易的增加，各類船舶事故時(shí)有發(fā)生，提升船舶運(yùn)輸安全水平成為研究熱點(diǎn)。船舶識別技術(shù)一定程度上解決了船舶間、船岸間信息交流不準(zhǔn)確問題，極大降低了各類船舶碰撞事故發(fā)生率，提升了船舶監(jiān)管效率。船舶識別技術(shù)經(jīng)歷了由傳統(tǒng)到現(xiàn)代、由人工識別信息到機(jī)器識別信息的轉(zhuǎn)變。

傳統(tǒng)的船舶識別以船舶定位識別為主，如雷達(dá)識別系統(tǒng)和自動(dòng)雷達(dá)標(biāo)繪儀（ARPA），通過識別船舶所處方位與船舶間的距離降低船舶間碰撞風(fēng)險(xiǎn)。但單一的雷達(dá)識別系統(tǒng)存在一些弊端，如無法識別輪船的類型，在一定環(huán)境下存在識別盲區(qū)，無法滿足船舶監(jiān)管對高精確度與信息多元化的要求。船舶自動(dòng)識別系統(tǒng)（AIS）逐漸在船舶領(lǐng)域起主導(dǎo)作用，各類船只開始安裝精確度更高、靈活性更好的AIS設(shè)備。2011年，中國海事局對200t以上的沿海船舶提出了必須安裝AIS設(shè)備的要求。內(nèi)河流域以及相應(yīng)海岸監(jiān)管部門配備了視頻監(jiān)控技術(shù)（CCTV），通過人工監(jiān)控的方式加大了船舶識別監(jiān)管力度。但是，無論是AIS系統(tǒng)還是CCTV系統(tǒng)，都是通過視覺獲取信息，而人腦處理信息的方式往往會(huì)因?yàn)闆Q策人自身的疏忽甚至違反相關(guān)船舶運(yùn)輸規(guī)則而造成船舶事故發(fā)生。

為解決AIS存在的缺陷，基于計(jì)算機(jī)視覺技術(shù)的船舶圖像識別成為研究重點(diǎn)。配備在船舶上的圖像自動(dòng)識別系統(tǒng)，直接獲取船舶間的距離與會(huì)遇船只的信息并采取相應(yīng)的避碰措施，而岸邊配備的監(jiān)管系統(tǒng)也可自動(dòng)識別出流域船只信息并對其發(fā)出相應(yīng)通告。本文對相關(guān)文獻(xiàn)進(jìn)行收集整理，在分析與歸納的基礎(chǔ)上，對基于計(jì)算機(jī)視覺的船舶圖像自動(dòng)識別方法進(jìn)行論述，以推動(dòng)船舶自動(dòng)識別系統(tǒng)進(jìn)一步發(fā)展。

1靜態(tài)船舶圖像處理與識別

1.1基于特征知識庫的船舶圖像識別

如圖1所示，船舶圖像識別過程主要包括船舶圖像特征分割與抽取、特征知識庫構(gòu)建。其中，特征提取在圖像識別中起著關(guān)鍵性作用，特征應(yīng)該滿足魯棒性、可拓展性、可區(qū)分性和不變性要求。在特征提取階段，優(yōu)化算法性能可提高圖像識別準(zhǔn)確度。為達(dá)到識別輪船目的，汪成亮等[1]基于專家知識庫的特征抽取算法，提出了FE（featureextract）算法，從不同靜態(tài)船舶圖像中提取4個(gè)符合基本條件的特征值，將其收集起來構(gòu)建船舶類型知識庫。知識庫主要考慮輪船的大小、長寬比、上下比和復(fù)雜度等度量特點(diǎn)，在專家知識的幫助下，構(gòu)造出基于規(guī)則的知識庫。綜合利用知識庫里的數(shù)據(jù)特征對圖像提取的邊緣進(jìn)行判別，實(shí)現(xiàn)對船舶目標(biāo)的進(jìn)一步識別。將船舶圖像識別技術(shù)應(yīng)用于長江水域重慶段，實(shí)驗(yàn)結(jié)果表明，該方法優(yōu)于傳統(tǒng)的對比單特征法和Adaboost方法。因?yàn)樘卣魈崛∷惴ńY(jié)構(gòu)簡單，特征提取數(shù)目較少，只能保證識別目標(biāo)為知識庫中已有的船舶記錄，無法泛化到船舶種類識別，所以基于特征知識庫的船舶圖像識別方法有待改進(jìn)。

1.2基于神經(jīng)網(wǎng)絡(luò)的船舶圖像識別

為了將圖像識別技術(shù)集成到傳統(tǒng)的船舶導(dǎo)航系統(tǒng)中，2007年金雪丹等[2]引入神經(jīng)網(wǎng)絡(luò)算法進(jìn)行船舶特征的分類處理。神經(jīng)網(wǎng)絡(luò)算法模擬人腦思維的算法，由眾多神經(jīng)元可調(diào)的連接權(quán)值連接而成，擁有大規(guī)模運(yùn)算能力。經(jīng)過圖像處理提取出來的特征用作多層神經(jīng)網(wǎng)絡(luò)輸入，該神經(jīng)網(wǎng)絡(luò)使用BP算法（反向傳播算法）進(jìn)行，將船只分為大型船、中型船、小型船3類。通過實(shí)驗(yàn)，發(fā)現(xiàn)引入BP算法后的船舶識別率有了顯著提高，并且能對船舶種類進(jìn)行類型區(qū)分。魏娜[3]設(shè)計(jì)了BP神經(jīng)網(wǎng)絡(luò)的三層結(jié)構(gòu)用于對船舶類型的識別實(shí)驗(yàn)，將BP神經(jīng)網(wǎng)絡(luò)所得出的結(jié)果與模板匹配結(jié)果對比，結(jié)果表明利用BP神經(jīng)網(wǎng)絡(luò)算法的識別率遠(yuǎn)高于普通的特征提取識別方法。

引入神經(jīng)網(wǎng)絡(luò)算法進(jìn)行船舶識別，雖然提升了船舶識別的精度，但實(shí)驗(yàn)樣本多數(shù)是靜態(tài)數(shù)據(jù)。圖像數(shù)據(jù)在現(xiàn)實(shí)作業(yè)環(huán)境中會(huì)受到海上環(huán)境、天氣、光線變化的干擾，對一定范圍內(nèi)的船只聚集情況、異物遮擋情況作出錯(cuò)誤判斷，實(shí)驗(yàn)算法能否應(yīng)用于動(dòng)態(tài)數(shù)據(jù)成為該技術(shù)能否推廣的重要因素。CCTV系統(tǒng)采集的是動(dòng)態(tài)視頻，將不同角度拍攝的動(dòng)態(tài)視頻轉(zhuǎn)換為一幀一幀的靜態(tài)圖像進(jìn)行處理與跟蹤，算法需要一定的魯棒性和適應(yīng)性。

2復(fù)雜環(huán)境下的船舶圖像處理與識別

復(fù)雜環(huán)境下采集的船舶圖像往往在特征提取方面與理想情況存在許多誤差，如夜晚光線昏暗情況下船舶圖像采集困難，白天海面光線強(qiáng)烈和雨霧天氣對船舶圖像的干擾等。實(shí)際作業(yè)過程中，圖像數(shù)據(jù)采集以視頻攝錄為手段，這些數(shù)據(jù)往往包含不同類型的動(dòng)態(tài)數(shù)據(jù)。曾科偉等[4]提出在內(nèi)河河道內(nèi)的不同監(jiān)測點(diǎn)都安裝CCTV系統(tǒng)，通過夜視、紅外熱成像技術(shù)，采集不同明暗光線下的河道船舶數(shù)據(jù)進(jìn)行監(jiān)控，實(shí)現(xiàn)對控制河段船舶運(yùn)行狀態(tài)的掌握。因此，采集的數(shù)據(jù)不僅是紅外圖像，也有夾雜著雨霧等干擾的圖像，這需要在原有算法基礎(chǔ)上進(jìn)行多狀態(tài)適應(yīng)性改進(jìn)。

2.1融合背景差分法與最大類間方差法（OTSU）的識別

針對不同天氣下行駛的船舶目標(biāo)進(jìn)行特征提取，李祎承[5]等研究了一種融合背景差分法和最大類間方差法的船舶目標(biāo)提取方法，構(gòu)建了一種新的船舶目標(biāo)提取方法，見圖2。背景差分法是利用圖像序列中的當(dāng)前幀與背景參考模型進(jìn)行比較檢測物體運(yùn)動(dòng)狀態(tài)的方法。最大類間方差法是一種自適應(yīng)的閾值確定方法。實(shí)驗(yàn)先將視頻轉(zhuǎn)化為多幀圖像并進(jìn)行預(yù)處理，然后用當(dāng)前幀與背景幀作差分運(yùn)算，最后用形態(tài)學(xué)與中值濾波處理確定船舶所在區(qū)域。實(shí)驗(yàn)結(jié)果表明，所得船舶目標(biāo)輪廓較為清晰，能夠適應(yīng)不同天氣的干擾。在此基礎(chǔ)上，作者提出了基于圓環(huán)劃分的特征值算法，用以解決不同角度船舶特征可能存在差異的問題。通過該算法，計(jì)算目標(biāo)的特征值具有旋轉(zhuǎn)、平移及縮放的不變性，能適應(yīng)不同角度下攝像機(jī)的拍攝要求。

2.2基于動(dòng)靜態(tài)閾值的船舶圖像識別

為解決基于視覺的船舶檢測技術(shù)易受背景光線變化、遮擋陰影區(qū)域及小范圍船舶聚集等因素干擾問題，以及在背景更換的閾值判斷上存在的不足，睢丹[6]等提出一種改進(jìn)的船舶圖像智能檢測方法，通過設(shè)置預(yù)處理后的二值圖像異常比例，對船舶狀態(tài)進(jìn)行分析。首先歸一化采集圖像的前景面積，并引入動(dòng)態(tài)閾值與靜態(tài)閾值關(guān)聯(lián)，用以判斷是否需要更換背景條件。實(shí)驗(yàn)結(jié)果表明該方法在查準(zhǔn)率和查全率等方面均比傳統(tǒng)方法有很大提高，進(jìn)一步優(yōu)化了復(fù)雜環(huán)境下特征提取的準(zhǔn)確性。

2.3基于多尺度分形特征的紅外圖像識別

劉俊[7]以紅外圖像為實(shí)驗(yàn)樣本，通過研究紅外輻射定律與特性，總結(jié)出船舶熱特性與船型和方位的關(guān)系，并以此設(shè)置多項(xiàng)實(shí)驗(yàn)，對比出不同運(yùn)動(dòng)狀態(tài)、背景以及距離下的船舶紅外特征，提取紅外圖像下的船舶特征進(jìn)行船舶識別實(shí)驗(yàn)。引入基于多尺度分形特征（MFFK）的船舶目標(biāo)檢測方法，實(shí)驗(yàn)結(jié)果證明了紅外圖像下的船舶檢測可行性，見圖3。但紅外圖像與正常環(huán)境下的原圖像有明顯差異，導(dǎo)致提取的特征值存在差異，因此針對同樣類別的船型需要建立兩份數(shù)據(jù)集進(jìn)行船舶識別，造成資源采集開銷。紅外圖像與可見光圖像存在質(zhì)量上的差異，能否證明用紅外圖像得出的實(shí)驗(yàn)結(jié)果優(yōu)于可見光圖像的實(shí)驗(yàn)結(jié)果還需進(jìn)一步研究。

3船舶圖像識別方法最新進(jìn)展

傳統(tǒng)的船舶圖像識別算法雖然可對船舶類型進(jìn)行簡單分類，得出較為精確的結(jié)果，但這些結(jié)果是在比較小的仿真實(shí)驗(yàn)數(shù)據(jù)集上得到的，結(jié)果的泛化性和魯棒性還需要在更大的數(shù)據(jù)上進(jìn)行驗(yàn)證。隨著深度學(xué)習(xí)等人工智能算法的飛速發(fā)展，越來越多的人工智能算法應(yīng)用于工業(yè)產(chǎn)品。鄧柳[8]等針對高速公路環(huán)境下的車型識別問題，引入卷積神經(jīng)網(wǎng)絡(luò)（CNNs）理論，對大量的車輛車型進(jìn)行特征提取，并利用SVM分類器構(gòu)建識別系統(tǒng)，實(shí)現(xiàn)了識別速度和識別率上質(zhì)的飛躍。如果將船舶航線比作高速公路，船舶比作汽車，將更為強(qiáng)大的人工智能算法應(yīng)用于船舶類型識別成為研究新方向。

3.1基于深度學(xué)習(xí)的船舶圖像識別

趙亮等[9]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的船舶圖像識別算法，使用7層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)特征的自動(dòng)提取。同時(shí)結(jié)合HOG算法和HSV算法分別得到邊緣特征和顏色特征，在SVM系統(tǒng)上進(jìn)行分類識別，實(shí)驗(yàn)結(jié)果顯示平均識別率超過90%。雖然傳統(tǒng)識別方法在識別率上也可達(dá)到90%的程度，但傳統(tǒng)識別方法實(shí)驗(yàn)與測試的數(shù)據(jù)集數(shù)量與現(xiàn)實(shí)情況有較大出入，而作者的實(shí)驗(yàn)采取500張訓(xùn)練樣本，310張測試樣本，在較為大量的數(shù)據(jù)集中可達(dá)到高于90%的識別率，足以說明卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面的魯棒性和適應(yīng)性優(yōu)于傳統(tǒng)的識別算法。

3.2基于內(nèi)容的船舶圖像標(biāo)注與識別

熊勇等[10]基于內(nèi)容的圖像信息標(biāo)注技術(shù)，創(chuàng)新性地引入了標(biāo)簽船舶算法（LPA，一種用于處理數(shù)據(jù)分類的機(jī)器學(xué)習(xí)方法），將圖像、標(biāo)簽與機(jī)器學(xué)習(xí)算法結(jié)合起來，建立了GA-LPA算法用于船舶圖像識別。通過標(biāo)簽數(shù)據(jù)的研究方式，對船舶進(jìn)行識別與分類。雖然該算法可明顯提高識別率，但實(shí)驗(yàn)樣本需要相當(dāng)大的數(shù)量。數(shù)據(jù)集越大，特征提取越準(zhǔn)確，識別率越高。這不僅要求數(shù)據(jù)能采集到一定程度，還要求圖像處理硬件設(shè)備能夠負(fù)載相當(dāng)大的運(yùn)算量。

3.3基于多分類器融合的SAR船舶圖像識別

除了機(jī)器學(xué)習(xí)等算法概念被引入船舶圖像識別領(lǐng)域，一些更為先進(jìn)的圖像數(shù)據(jù)，如圖4所示的合成孔徑雷達(dá)系統(tǒng)（SAR）也引入到船舶圖像識別領(lǐng)域。陳文婷等[11]通過對SAR拍攝的圖像進(jìn)行船舶圖像識別，提取船舶高空俯視圖的特征值，并將KNN分類器、貝葉斯分類器和神經(jīng)網(wǎng)絡(luò)分類器所得出的結(jié)果融合船舶特征作為支持向量機(jī)（SVM）的輸入，得出更為精確的分類結(jié)果，實(shí)驗(yàn)結(jié)果表明該方法對于SAR圖像的特征提取與識別效果較好。計(jì)算機(jī)從衛(wèi)星視角識別船只類型，加大了船舶自動(dòng)識別系統(tǒng)由技術(shù)向?qū)嵱玫霓D(zhuǎn)變。

4不同船舶識別方法對比

將以上多種船舶識別方法分別從環(huán)境適應(yīng)性、實(shí)驗(yàn)樣本數(shù)據(jù)量和結(jié)果準(zhǔn)確度3個(gè)角度進(jìn)行比較，不難看出船舶自動(dòng)識別領(lǐng)域的研究方向在往大數(shù)據(jù)量和高精確度目標(biāo)發(fā)展，見表1。在適應(yīng)性方面表1只是進(jìn)行了粗略的判斷，對于當(dāng)前熱門的機(jī)器學(xué)習(xí)算法能否應(yīng)用于紅外船舶圖像識別并且獲得較好的實(shí)驗(yàn)結(jié)果還有待進(jìn)一步深入研究。

5結(jié)語

船舶圖像自動(dòng)識別一直是研究熱點(diǎn)。隨著無人汽車的研發(fā)，無人船舶駕駛和無人艇概念也相繼推出。船舶圖像自動(dòng)識別系統(tǒng)為船舶無人駕駛提供了有力的理論基礎(chǔ)和技術(shù)保證。將船舶自動(dòng)識別系統(tǒng)與船舶軟硬件結(jié)合可研發(fā)出智能化的船舶產(chǎn)品，但船舶自動(dòng)識別系統(tǒng)與人工智能相結(jié)合仍有很多路要走，需要投入更多的精力研究識別算法，使算法更加穩(wěn)固，才能滿足無人船舶駕駛要求。

參考文獻(xiàn)：

[1]汪成亮，汪連偉.基于特征的江面輪船識別算法[J].計(jì)算機(jī)應(yīng)用研究，2011，28（6）：2352-2357.

[2]金雪丹，施朝健.圖像處理與神經(jīng)網(wǎng)絡(luò)識別技術(shù)在船舶分類中的應(yīng)用[J].上海海事大學(xué)學(xué)報(bào)，2007（1）：11-16.

[3]魏娜.模板匹配和BP神經(jīng)網(wǎng)絡(luò)在船舶識別中的應(yīng)用[J].艦船科學(xué)技術(shù)，2016，38（20）：133-135.

[4]曾科偉，劉作飛，蔣明貴，等.長江上游控制河段船舶識別及通行指揮技術(shù)探討[J].水道港口，2014，35（5）：563-566.

[5]李祎承，胡釗政，初秀民.基于圖像處理的內(nèi)河船舶目標(biāo)提取與特征值計(jì)算[J].交通信息與安全，2015，33（3）：1-8.

[6]睢丹，陳衛(wèi)軍.船舶視覺圖像優(yōu)化檢測方法研究[J].艦船科學(xué)技術(shù)，2015，37（8）：157-160.

[7]劉俊.基于紅外圖像的內(nèi)河運(yùn)動(dòng)船舶目標(biāo)檢測和跟蹤技術(shù)研究[D].重慶：重慶大學(xué)，2008.

[8]鄧柳，汪子杰.基于深度卷積神經(jīng)網(wǎng)絡(luò)的車型識別研究[J].計(jì)算機(jī)應(yīng)用研究，2016，33（3）：930-932.

[9]趙亮，王曉峰，袁逸濤.基于深度卷積神經(jīng)網(wǎng)絡(luò)的船舶識別方法研究[J].艦船科學(xué)技術(shù)，2016，38（15）：119-123.

[10]熊勇，張俊麗，黃立文.基于GA-LPA算法的船舶圖像識別方法研究[J].廣西大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，41（2）：554-561.

[11]陳文婷，劉南通，計(jì)科峰，等.基于多分類器融合的SAR圖像船舶識別[J].遙感信息，2014，29（5）：90-95.

[12]ROBERTK.ClassificationofSARshipimageswiththeaidofasyntacticpatternrecognitionalgorithm[D].Canada：DefenceResearchEstablishmentOttawa，2016.

[13]劉暢.船舶自動(dòng)識別系統(tǒng)（AIS）關(guān)鍵技術(shù)研究[D].大連：大連海事大學(xué)，2013.

[14]陳練，蘇強(qiáng)，董亮，等.國內(nèi)外海洋調(diào)查船發(fā)展對比分析[J].艦船科學(xué)技術(shù)，2014，36（S1）：2-7.

[15]梁錦雄，王刻奇.基于BP神經(jīng)網(wǎng)絡(luò)的船艦?zāi)繕?biāo)識別分類[J].艦船科學(xué)技術(shù)，2015，37（3）：206-209.

[16]張永梅，周易，姜明.一種基于多元特征的海上目標(biāo)分割方法[J].計(jì)算機(jī)應(yīng)用與軟件，2013，30（7）：90-97.

[17]羅素云.AIS與雷達(dá)目標(biāo)位置數(shù)據(jù)融合方法的研究[D].武漢：武漢理工大學(xué)，2003.

（責(zé)任編輯：杜能鋼）