海上船舶識(shí)別監(jiān)測系統(tǒng)設(shè)計(jì)及示范應(yīng)用

聶旭清 黃寧寧 趙 欽 凌玉榮 段 煉 鐘石娟 柳 迪

（1.廣東邦鑫數(shù)據(jù)科技股份有限公司,廣東 廣州 510000；2.南寧市公安局情報(bào)支隊(duì),廣西 南寧 530001；3.廣西壯族自治區(qū)信息中心,廣西 南寧 530001；4.南寧師范大學(xué)城市健康與安全智能分析國際研究中心,廣西 南寧 530001；5.南寧師范大學(xué)地理科學(xué)與規(guī)劃學(xué)院,廣西 南寧 530001；6.南寧師范大學(xué)自然資源與測繪學(xué)院,廣西 南寧 530001）

當(dāng)前，海洋經(jīng)濟(jì)和海洋運(yùn)輸蓬勃發(fā)展，海上船只數(shù)量急劇增加，港口內(nèi)的船舶通行安全和規(guī)范管理越發(fā)重要，而船舶識(shí)別則是其中的關(guān)鍵環(huán)節(jié)。隨著當(dāng)前機(jī)器學(xué)習(xí)在視頻和圖像理解上的飛速發(fā)展，基于視頻開展船舶的自動(dòng)檢測成為可能[1]。應(yīng)用人工智能技術(shù)感知港口船舶及其環(huán)境的實(shí)時(shí)狀況及變化趨勢，為用戶和管理者提供及時(shí)、動(dòng)態(tài)、宏觀和綜合性信息，能極大提升港口監(jiān)管水平和效率[2]。目前，傳統(tǒng)的視頻監(jiān)控系統(tǒng)存在人力成本高和識(shí)別精確度不高等不足[3]，為此，本研究研發(fā)了海上船舶識(shí)別監(jiān)測平臺(tái)。該平臺(tái)作為海洋智能基礎(chǔ)支撐系統(tǒng)，集成智能圖像處理組件，以光電圖像數(shù)據(jù)（定點(diǎn)攝像頭數(shù)據(jù)和移動(dòng)攝像頭數(shù)據(jù)）為主，結(jié)合目標(biāo)搜索雷達(dá)和抗電磁干擾與連續(xù)捕獲的AIS數(shù)據(jù)[4]，通過雷達(dá)主動(dòng)探測海上船舶目標(biāo)，對(duì)區(qū)域內(nèi)出現(xiàn)的危險(xiǎn)目標(biāo)進(jìn)行監(jiān)測，智能識(shí)別采砂船、非法捕撈船等危險(xiǎn)目標(biāo)并對(duì)其采取識(shí)別、跟蹤與驅(qū)逐等手段。以下將從系統(tǒng)模塊設(shè)計(jì)、船舶智能檢測流程、船舶識(shí)別關(guān)鍵技術(shù)及平臺(tái)應(yīng)用示范等方面進(jìn)行闡述。

1 系統(tǒng)模塊框架

該平臺(tái)包括3個(gè)子系統(tǒng)：訓(xùn)練中心子系統(tǒng)、算法中心子系統(tǒng)和應(yīng)用分析子系統(tǒng)（如圖1）。

圖1 系統(tǒng)框架圖

1.1 訓(xùn)練中心子系統(tǒng)

訓(xùn)練中心包含算法生產(chǎn)、算法引入、算法引擎3個(gè)子模塊。算法生產(chǎn)模塊覆蓋自研算法生產(chǎn)的完整生命周期，能引入中集成主流AI廠商的通用算法能力；通過對(duì)自研算法與引入算法進(jìn)行標(biāo)準(zhǔn)化的統(tǒng)一封裝，能高效便捷地對(duì)外提供基礎(chǔ)算法能力服務(wù)。

1.2 算法中心子系統(tǒng)

算法中心主要涵蓋了平臺(tái)已發(fā)布的算法。用戶可通過模型集市選擇適用的算法模型，通過創(chuàng)建應(yīng)用或在線使用的方式調(diào)度算法引擎進(jìn)行調(diào)度。

1.2.1 海上船舶類型檢測模塊

實(shí)現(xiàn)發(fā)現(xiàn)海洋水面區(qū)域內(nèi)出現(xiàn)的危險(xiǎn)船舶目標(biāo)并進(jìn)行監(jiān)測，智能識(shí)別采砂船、捕撈船等危險(xiǎn)目標(biāo)。

1.2.2 船舶目標(biāo)舷號(hào)字符檢測模塊

在船舶關(guān)閉AIS等身份識(shí)別設(shè)備后，通過調(diào)整光電平臺(tái)角度對(duì)船舶舷號(hào)字符進(jìn)行聚焦識(shí)別，確定船舶舷號(hào)字符的具體信息。

1.2.3 算法管理模塊

該模塊主要針對(duì)在訓(xùn)練中心已完成訓(xùn)練發(fā)布至算法集市中的算法（包括自研算法、算法廠商供應(yīng)算法），進(jìn)行引入管控、版本管理、投產(chǎn)管理、算法信息及后臺(tái)配置管理。

1.2.4 算法監(jiān)控模塊

該模塊針對(duì)系統(tǒng)資源使用情況提供可視化視圖，包括CPU、GPU、內(nèi)存、網(wǎng)絡(luò)的使用情況，進(jìn)行實(shí)時(shí)的展現(xiàn)。

1.3 應(yīng)用分析子系統(tǒng)

1.3.1 用戶視圖模塊

該模塊具備完善的用戶管理、角色管理、權(quán)限管理功能。用戶管理以列表的形式展現(xiàn)用戶及角色信息，并針對(duì)性地提供用戶及角色的新增、編輯、查詢功能。

1.3.2 統(tǒng)計(jì)管理模塊

該模塊包括算法、應(yīng)用、用戶、用戶費(fèi)用等的統(tǒng)計(jì)報(bào)表。算法統(tǒng)計(jì)報(bào)表統(tǒng)計(jì)平臺(tái)現(xiàn)有算法的調(diào)用情況、識(shí)別準(zhǔn)確率、調(diào)用成功率等。應(yīng)用統(tǒng)計(jì)報(bào)表統(tǒng)計(jì)平臺(tái)應(yīng)用的總數(shù)、調(diào)用量、調(diào)用成功率等。用戶統(tǒng)計(jì)報(bào)表統(tǒng)計(jì)平臺(tái)各類用戶的數(shù)量、狀態(tài)、活躍度等信息。用戶費(fèi)用統(tǒng)計(jì)報(bào)表統(tǒng)計(jì)消費(fèi)用戶算法單元調(diào)用量、使用量、消費(fèi)情況。

1.3.3 運(yùn)維管理模塊

為了使系統(tǒng)運(yùn)行中的一些情況和用戶的操作有據(jù)可查，平臺(tái)需要提供安全日志、數(shù)據(jù)日志等日志功能。安全日志包括用戶活動(dòng)（登陸、注銷）記錄、密碼修改記錄、鑒權(quán)記錄；數(shù)據(jù)日志包括數(shù)據(jù)集請(qǐng)求記錄、數(shù)據(jù)集范圍、數(shù)據(jù)集使用人、時(shí)間等記錄。

2 船舶智能檢測處理流程

船舶檢測模型構(gòu)建流程如圖2所示。

圖2 船舶檢測模型構(gòu)建流程圖

2.1 海上船舶數(shù)據(jù)采集

海上船舶樣本的采集方式包括：（1）通過架設(shè)在岸邊或者海面平臺(tái)上的攝像頭拍攝船舶樣本照片；（2）手持相機(jī)在港口或者隨船出海采集船舶照片；（3）從專業(yè)的船舶網(wǎng)站圖片庫下載海上船舶照片；（4）從海洋相關(guān)部門中直接獲取所需的船舶類型照片；（5）從開源的訓(xùn)練數(shù)據(jù)庫中獲取相關(guān)船舶樣本圖片。

在實(shí)際檢測海上船舶的過程中，船舶大小、類型、背景等均為隨機(jī)條件，為了實(shí)現(xiàn)對(duì)大部分隨機(jī)條件下的海上船舶進(jìn)行檢測，需要采集各種隨機(jī)條件下的船舶樣本，包括：（1）各種類型的船舶樣本；（2）各種距離的船舶樣本；（3）各種復(fù)雜光照（包含強(qiáng)光、弱光、逆光等）環(huán)境下船舶樣本；（4）各種氣象天氣（包含陰、晴、雨、霧等）下的船舶樣本；（5）各種海域（近海、遠(yuǎn)海）環(huán)境下的船舶樣本；（6）各種角度下（正面、側(cè)面、斜面、反面等）的船舶樣本；（7）各種圖像分辨率下的船舶樣本；（8）各種光電傳感器的船舶樣本等。

樣本類型越豐富，檢測的效果越理想。在本研究的應(yīng)用中，采集了20 000余張各類船只的圖片數(shù)據(jù)。

2.2 船舶數(shù)據(jù)的分類和樣本標(biāo)注

2.2.1 確定船舶類別

海上船舶按照用途主要可以分為科考船、工程船、漁船、采砂船、集裝箱船、散貨船、液貨船、客輪、快艇、軍艦等類別。圖像包含豐富的顏色紋理等細(xì)節(jié)特征，在實(shí)時(shí)船舶檢測與船舶細(xì)分類任務(wù)方面更具優(yōu)勢[5]，可通過對(duì)船舶外部形態(tài)特征的識(shí)別來檢測不同類型的船舶。如集裝箱船具有非常顯眼的多彩色外觀，軍艦和海警船一般是白色或者灰色涂裝；一般的漁船、快艇的尺寸較小，而貨船通常具有很大的尺寸；工程船甲板往往安裝復(fù)雜的工程勘察、起吊設(shè)備，而油輪的甲板比較簡潔等?？偟膩砜矗巴獠啃螒B(tài)特征主要包括顏色、船型大小、甲板構(gòu)建物形態(tài)、船艙位置及船身尺寸比例等。通過對(duì)這些外觀的特征辨識(shí)，構(gòu)建形成海上船舶分類數(shù)據(jù)庫和知識(shí)庫，為后期樣本標(biāo)注提供參考依據(jù)。

2.2.2 樣本標(biāo)注

基于具體的分類應(yīng)用要求對(duì)船舶數(shù)據(jù)樣本進(jìn)行標(biāo)注。不同要求對(duì)數(shù)據(jù)標(biāo)注格式要求不同，如有的需要勾勒出船的形態(tài)，有的僅需對(duì)圖片打一個(gè)分類標(biāo)簽。

2.2.3 數(shù)據(jù)校驗(yàn)

由于參與標(biāo)注的工作者數(shù)量眾多，并且數(shù)據(jù)標(biāo)注以及交付的過程可能存在不規(guī)范，因此，需要對(duì)海上船舶種類數(shù)據(jù)進(jìn)行分揀、重新審查和抽樣校驗(yàn)，刪除重復(fù)信息，糾正存在的錯(cuò)誤，保證數(shù)據(jù)尺寸和分類標(biāo)注一致性。

2.2.4 數(shù)據(jù)增強(qiáng)

為防止后期模型訓(xùn)練時(shí)地過擬合，需要增加訓(xùn)練的數(shù)據(jù)量和加入一定噪聲數(shù)據(jù)，以提高模型的泛化能力[6]。就此，通過對(duì)原有樣本進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪、色彩抖動(dòng)、高斯噪聲和水平翻轉(zhuǎn)等操作，獲得更多的樣本。

2.2.5 數(shù)據(jù)安全管理

對(duì)原始數(shù)據(jù)和樣本進(jìn)行加密、安全存儲(chǔ)、訪問控制、數(shù)據(jù)完整性保護(hù)，避免數(shù)據(jù)安全隱患，實(shí)現(xiàn)全方位、多層次的安全防護(hù)措施。

2.3 船舶智能識(shí)別模型的調(diào)優(yōu)

基于Faster R-CNN系列、SSD系列、YOLO系統(tǒng)等經(jīng)典目標(biāo)檢測方法，在兼顧目標(biāo)檢測的速率和精度的基礎(chǔ)上，通過大量樣本得到適合不同環(huán)境的模型，進(jìn)而將其應(yīng)用于實(shí)際的船舶檢測中。

3 船舶識(shí)別關(guān)鍵技術(shù)

在船舶特征識(shí)別場景研究中，會(huì)遇到境外船舶等數(shù)據(jù)量較少的情況，所以一方面要通過數(shù)據(jù)擴(kuò)充技術(shù)，增加數(shù)據(jù)量和不同場景下的多樣化數(shù)據(jù)，另一方面要從模型學(xué)習(xí)策略角度引入遷移學(xué)習(xí)技術(shù)，提高模型面向小數(shù)據(jù)識(shí)別的能力。

3.1 深度學(xué)習(xí)模型的自動(dòng)參數(shù)獲取

由于深度學(xué)習(xí)模型的架構(gòu)復(fù)雜，神經(jīng)網(wǎng)絡(luò)層數(shù)深，超參數(shù)多，對(duì)其的設(shè)定又需要很強(qiáng)的先驗(yàn)知識(shí)，這讓深度學(xué)習(xí)方法與應(yīng)用存在巨大的鴻溝。為此，需要貝葉斯優(yōu)化的迭代優(yōu)化算法自動(dòng)設(shè)計(jì)和調(diào)整深度學(xué)習(xí)模型。該過程將原本耗費(fèi)上千個(gè)GPU時(shí)的網(wǎng)絡(luò)架構(gòu)搜索過程縮短到數(shù)十個(gè)GPU時(shí)，且搜索到的網(wǎng)絡(luò)的性能與耗費(fèi)上千個(gè)GPU時(shí)搜索到的網(wǎng)絡(luò)十分接近。

3.2 模型的遷移學(xué)習(xí)

一些特殊環(huán)境和船只數(shù)據(jù)收集復(fù)雜且昂貴，構(gòu)建大規(guī)模、高質(zhì)量的帶標(biāo)注數(shù)據(jù)集非常困難。因此，本研究引入遷移學(xué)習(xí)方法，對(duì)于一些特定船只目標(biāo)的識(shí)別模型，在特征提取層和分類層之間加入自適應(yīng)層，使得源域和目標(biāo)域的數(shù)據(jù)分布更加接近，進(jìn)而讓模型自動(dòng)化地提取更具表現(xiàn)力的特殊環(huán)境和船只的特征，同時(shí)又滿足了實(shí)際應(yīng)用中的端到端需求。

3.3 集群訓(xùn)練計(jì)算架構(gòu)

利用高性能并行計(jì)算設(shè)備GPU和FPGA來加速模型訓(xùn)練，并通過Parameter Server進(jìn)行模型的集群訓(xùn)練。集群中的節(jié)點(diǎn)被分為兩類，即parameter server和worker，其中parameter server存放模型的參數(shù)，而worker負(fù)責(zé)計(jì)算參數(shù)的梯度。在每個(gè)迭代過程中，worker從parameter sever中獲得參數(shù)，然后將計(jì)算的梯度返回給parameter server，parameter server聚合從worker傳回的梯度，然后更新參數(shù)，并將新的參數(shù)廣播給worker。集群訓(xùn)練策略如下：

策略1：模型并行。模型集群訓(xùn)練指的是將模型部署到多臺(tái)設(shè)備上運(yùn)行。

策略2：數(shù)據(jù)并行。在很多設(shè)備上放置相同的模型，并且各個(gè)設(shè)備采用不同的訓(xùn)練樣本對(duì)模型訓(xùn)練。

3.4 面向場景數(shù)據(jù)更新的自動(dòng)增量學(xué)習(xí)

自動(dòng)篩選其中難分?jǐn)?shù)據(jù)進(jìn)行主動(dòng)增量式標(biāo)注，結(jié)合模型工作時(shí)收集的關(guān)鍵難分樣本，設(shè)計(jì)更新數(shù)據(jù)組織與利用形式，形成自動(dòng)增量學(xué)習(xí)的數(shù)據(jù)閉環(huán)。

4 海洋船舶人工智能云平臺(tái)示范應(yīng)用

該平臺(tái)是海洋船舶監(jiān)測、集成聯(lián)動(dòng)、智能決策和快速處置一體化智慧平臺(tái)。在休漁期對(duì)國家級(jí)中心漁港陽江閘坡港進(jìn)出港漁船進(jìn)行漁船類型與弦號(hào)智能識(shí)別，為漁政執(zhí)法部分提供休漁期漁船違規(guī)作業(yè)預(yù)警信息。平臺(tái)建設(shè)將算法、算力、數(shù)據(jù)和場景有機(jī)結(jié)合，打造集數(shù)據(jù)清洗、數(shù)據(jù)采集、算法開發(fā)、模型訓(xùn)練、模型管理到模型調(diào)度于一體的海洋人工智能云平臺(tái)，形成一套全新的海洋人工智能生產(chǎn)模式。

基于人工智能技術(shù)及大數(shù)據(jù)平臺(tái)，結(jié)合監(jiān)控、監(jiān)測設(shè)備實(shí)現(xiàn)對(duì)海洋在線監(jiān)控?cái)?shù)據(jù)的實(shí)時(shí)接入和智能識(shí)別，管理人員可及時(shí)掌握不同海洋應(yīng)用場景的狀態(tài)，真正實(shí)現(xiàn)海洋監(jiān)控?cái)?shù)據(jù)實(shí)時(shí)、直觀、動(dòng)態(tài)、可視化、智能化的管理和展示。實(shí)現(xiàn)全方位、自動(dòng)化的監(jiān)控，實(shí)現(xiàn)在線監(jiān)測數(shù)據(jù)的實(shí)時(shí)刷新、臨界提示、超標(biāo)報(bào)警，實(shí)時(shí)掌握海域環(huán)境狀態(tài)。支持管理者對(duì)海洋監(jiān)管形勢進(jìn)行綜合分析，全面提升海洋監(jiān)管水平。

平臺(tái)通過組件應(yīng)用集成的方式，形成海洋智能圖像處理集成應(yīng)用。輸出圖像視頻處理API、SDK，提供二次開發(fā)能力和擴(kuò)展能力，為業(yè)務(wù)應(yīng)用提供各項(xiàng)智能圖像視頻處理服務(wù)。

用戶可以通過平臺(tái)的開放接口，對(duì)中心和數(shù)據(jù)節(jié)點(diǎn)管理的數(shù)據(jù)資源和模型資源進(jìn)行“透明”訪問。部門和機(jī)構(gòu)可以利用交換系統(tǒng)對(duì)分散的數(shù)據(jù)資源進(jìn)行整合，消除數(shù)據(jù)孤島。

5 結(jié)語

該平臺(tái)通過整合涉海多源數(shù)據(jù)開展了海上船舶識(shí)別及相關(guān)的信息共享與分析，促進(jìn)海洋數(shù)據(jù)資源的匯聚應(yīng)用，為海洋科學(xué)監(jiān)控提供智能輔助決策，推進(jìn)了涉海數(shù)據(jù)采集、挖掘、管理和共享等應(yīng)用的智能化水平，為建設(shè)海洋人工智能云平臺(tái)提供了示范應(yīng)用。已有工作為廣東現(xiàn)代海洋生態(tài)體系開發(fā)與建設(shè)提供基礎(chǔ)性、開放性、公共性服務(wù)，對(duì)快速賦能現(xiàn)代海洋產(chǎn)業(yè)、提升產(chǎn)業(yè)效率和加快產(chǎn)業(yè)轉(zhuǎn)型具有重要作用。