船舶智能航行感知系統(tǒng)集成設(shè)計(jì)研究

薛敏 耿建寧

1. 海裝裝備項(xiàng)目管理中心 北京 100071；2. 中船航海科技有限責(zé)任公司 北京 100074

引言

智能化是現(xiàn)代船舶發(fā)展的重要方向，主要是從智能感知到智能決策，進(jìn)而實(shí)現(xiàn)船舶智能控制的過程，以達(dá)到解放人力、智能避碰和自主航行的目的。而一艘船舶從設(shè)計(jì)到生產(chǎn)再到試驗(yàn)，涉及面廣且專業(yè)性強(qiáng)，技術(shù)發(fā)展和改進(jìn)難度較大。因此，雖然智能船舶的發(fā)展極其重要和迫切，但其技術(shù)發(fā)展和實(shí)施過程卻極其緩慢。

1 國內(nèi)外現(xiàn)狀研究

我國智能船舶的發(fā)展遵循系統(tǒng)布局、創(chuàng)新驅(qū)動、梯次推進(jìn)、重點(diǎn)突破的原則，按照“輔助決策-遠(yuǎn)程控制-無人自主”的研發(fā)路徑有序開展。依托國家重大科研項(xiàng)目和“產(chǎn)學(xué)研用”專業(yè)化協(xié)作團(tuán)隊(duì)，經(jīng)過幾年的研究與探索，我國在智能船舶和船舶自主航行領(lǐng)域取得了較好的成果。但是在船舶智能領(lǐng)域，對于增強(qiáng)現(xiàn)實(shí)技術(shù)在船舶輔助駕駛領(lǐng)域的研究起步較晚。天津航標(biāo)處利用AR技術(shù)構(gòu)建虛擬助航系統(tǒng)，通過GPS+3D技術(shù)獎虛擬航標(biāo)精準(zhǔn)投放至全球，船舶借助專用設(shè)備，航行至該區(qū)域，實(shí)時采集到虛擬助航系統(tǒng)、虛擬航道規(guī)劃服務(wù)每位船舶遠(yuǎn)洋航行提供高效助航服務(wù)。

2015年，法國艦艇建造局（DCNS）在歐洲海軍裝備展上發(fā)布了XWIND 4000“全數(shù)字化”概念艦設(shè)計(jì)方案，該方案運(yùn)用了語音控制技術(shù)、體感技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)，使艦員在艦橋上擁有360°全方位視野。所有的數(shù)字化系統(tǒng)均運(yùn)行于安全的數(shù)據(jù)中心體系結(jié)構(gòu)上，該體系結(jié)構(gòu)處于能根據(jù)作戰(zhàn)需求變化而分配相應(yīng)資源的虛擬環(huán)境中。

2019年，日本三菱重工在?？仗旆绖?wù)展發(fā)布了將用于日本30DX護(hù)衛(wèi)艦上的“先進(jìn)綜合戰(zhàn)情中心”設(shè)計(jì)方案，該方案運(yùn)用了船舶智能操控技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)，通過360°環(huán)狀屏幕墻將駕駛室、態(tài)勢感知室、主機(jī)和動力控制室、戰(zhàn)情中心聯(lián)合在一起，提供全景展示環(huán)境，可以顯示護(hù)衛(wèi)艦的全向的外部環(huán)境，融合來自艦上電光探測系統(tǒng)，紅外系統(tǒng)、視頻系統(tǒng)甚至雷達(dá)傳感器的圖像和數(shù)據(jù)，使戰(zhàn)斗指揮員及時獲取和利用最新的情況信息，同時還可以讓艦員通過多功能控制界面執(zhí)行作戰(zhàn)、導(dǎo)航和通信等幾乎全部的艦上指揮與控制工作。

2019年法國BAE公司將來自雷達(dá)、聲吶、光電設(shè)備等態(tài)勢感知的數(shù)據(jù)和其他戰(zhàn)術(shù)信息通過數(shù)據(jù)連接到AR眼鏡，在某型護(hù)衛(wèi)艦上進(jìn)行測試。展現(xiàn)在指揮員眼前的是虛擬的真實(shí)世界，友艦位置等信息數(shù)據(jù)將直接展現(xiàn)在這個視野中，讓艦員一目了然自己的狀態(tài)和位置，在艦上隨時隨地獲取戰(zhàn)術(shù)態(tài)勢和其他關(guān)鍵信息?？梢酝ㄟ^AR眼鏡檢測視野內(nèi)遠(yuǎn)處的物體，并通過AI獲取該物體的分類數(shù)據(jù)，如果數(shù)據(jù)與看到的數(shù)據(jù)不匹配，可以直接對數(shù)據(jù)進(jìn)行修改，如果發(fā)現(xiàn)可疑目標(biāo)威脅到本方艦艇，可以直接在系統(tǒng)中標(biāo)定該目標(biāo)，整個系統(tǒng)的用戶都能看到，能夠在戰(zhàn)斗環(huán)境中建立起更高效、更準(zhǔn)確的工作流程。

2018 年，英國海洋電子設(shè)備制造商Raymarine研發(fā)一款用于游艇的導(dǎo)航軟件——RaymarineClearCruise AR。該系統(tǒng)通過高清攝像頭采集船舶前方的實(shí)時視景，利用船載設(shè)備和傳感器獲取到視景中物標(biāo)（例如：船舶、浮標(biāo)）的對應(yīng)信息，運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)，將生成的虛擬信息疊加到視景中，將實(shí)時的增強(qiáng)視景呈現(xiàn)在電子屏幕上。安裝該軟件的游艇可以做到：①清楚地識別周圍裝有 AIS 的船只；②不同船舶的顏色編碼，確定物標(biāo)的狀態(tài)和風(fēng)險等級；③低能見度條件下，使游艇周圍的浮標(biāo)等可視化。該系統(tǒng)由于安裝在游艇上，相對于其他類型船只速度較快，需要計(jì)算機(jī)快速處理大量船舶數(shù)據(jù)。

與國外典型船舶智能產(chǎn)品相比，國內(nèi)的同類產(chǎn)品起步晚、發(fā)展慢，技術(shù)尚需成熟，需開展智能航行感知系統(tǒng)設(shè)計(jì)，以彌補(bǔ)船舶智能航行領(lǐng)域的缺陷。

2 系統(tǒng)設(shè)計(jì)

本文提出了一種船舶智能航行感知系統(tǒng)集成設(shè)計(jì)，主要包括航行態(tài)勢感知和AR輔助決策系統(tǒng)設(shè)計(jì)兩部分。

2.1 航行態(tài)勢感知——以計(jì)算機(jī)視覺為基礎(chǔ)的智能感知產(chǎn)品

航行態(tài)勢感知是船舶自主航行的基礎(chǔ)。如果將智能船舶比作人，船舶自主航行比作人的行走，那么航行態(tài)勢感知傳感器相當(dāng)于綜合利用人的眼睛、耳朵和鼻子等感官對周圍環(huán)境進(jìn)行感知。航行態(tài)勢感知技術(shù)包括態(tài)勢感知傳感器、態(tài)勢感知數(shù)據(jù)融合等技術(shù)。

態(tài)勢感知傳感器是集成激光雷達(dá)、導(dǎo)航雷達(dá)、紅外攝像、RGB攝像及PTZ全方位視頻監(jiān)控和其他導(dǎo)航傳感器及設(shè)備，利用傳感器技術(shù)和計(jì)算機(jī)視覺的最新進(jìn)展，通過信息融合和智能學(xué)習(xí)，實(shí)現(xiàn)船舶環(huán)境實(shí)時可視化和感知。通過實(shí)時采集雷達(dá)回波信息、全景激光雷達(dá)點(diǎn)云信息、視頻信息，進(jìn)行信息去噪、整合、特征提取等預(yù)處理，基于智能技術(shù)，開展圖像處理等研究，實(shí)現(xiàn)目標(biāo)自動檢測與識別。

態(tài)勢感知傳感器主要包括激光雷達(dá)、全景視覺、全景紅外、S波段雷達(dá)、X波段雷達(dá)。為了滿足不同船舶的航行需求，對空間分辨率、感知范圍、目標(biāo)識別率、環(huán)境及處理效率各方面有不同的要求，為了更好地支撐不同的態(tài)勢感知需求，各傳感器對比如下表所示。

表1 傳感器對比分析表

船舶航行態(tài)勢感知數(shù)據(jù)往往有多個數(shù)據(jù)源，為了充分發(fā)揮多源數(shù)據(jù)價值，確保態(tài)勢信息的正確性和全局性，需要對多源態(tài)勢感知數(shù)據(jù)進(jìn)行融合處理。針對航行中的船舶等目標(biāo)，雷達(dá)、AIS、激光等主要信息源進(jìn)行信息融合疊加顯示，實(shí)現(xiàn)各個信息源探測的目標(biāo)結(jié)果進(jìn)行正確的坐標(biāo)統(tǒng)一。數(shù)據(jù)融合方法包含貝葉斯網(wǎng)絡(luò)[1]、D-S 證據(jù)理論[2]、粗糙集理論[3]、神經(jīng)網(wǎng)絡(luò)等[4]。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的數(shù)據(jù)融合方法逐漸受到人們的關(guān)注。深度學(xué)習(xí)的顯著特征是可以自動從數(shù)據(jù)中提取目標(biāo)特征，所提取的高層特征具有表征性強(qiáng)、語義性好的特點(diǎn)[5]。因此，基于深度學(xué)習(xí)的數(shù)據(jù)融合是一種特征級數(shù)據(jù)融合，通過多次感知數(shù)據(jù)的迭代能夠更好地實(shí)現(xiàn)智能態(tài)勢感知，通過對激光雷達(dá)、全景視覺和全景紅外等感知數(shù)據(jù)的融合，能夠更好地輔助航行指揮員進(jìn)行態(tài)勢感知，提高航行安全性。

2.2 AR輔助決策系統(tǒng)——以人工智能為基礎(chǔ)的船舶智能產(chǎn)品

傳統(tǒng)航行態(tài)勢的分析依靠人來處理多來源、多種形態(tài)的態(tài)勢信息，對目標(biāo)的觀測手段為航行觀察視頻、導(dǎo)航雷達(dá)、AIS等，同一個目標(biāo)不同來源的文字、圖片、視頻信息等需交叉比對，從而獲取一個目標(biāo)的信息，工作量大，信息處理智能化程度不高，數(shù)據(jù)利用率低；另外，對于航行態(tài)勢感知的范圍不足，因駕駛室瞭望視野受限，兩側(cè)及向后視野不佳，夜間和雨雪霧天氣情況下人工瞭望受限，無法顯示艦艇全向的外部環(huán)境。智能航行態(tài)勢感知系統(tǒng)，通過增強(qiáng)現(xiàn)實(shí)技術(shù)將目標(biāo)進(jìn)行疊加，可提供多維態(tài)勢展示能力。

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡稱AR）是一種實(shí)時地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像的技術(shù)，從而將真實(shí)世界信息和虛擬世界信息“無縫”集成。通過該技術(shù)將視頻采集到的觀察視頻與電子海圖數(shù)據(jù)及傳感器觀測到的數(shù)據(jù)信息進(jìn)行疊加，可以實(shí)現(xiàn)真實(shí)世界的數(shù)據(jù)的信息集成，將電子海圖立體起來，直觀的向用戶全面展示航行態(tài)勢[6]。

為了將觀察視頻與地理信息更好的對準(zhǔn)，采用OSGEarth技術(shù)，OSGEarth技術(shù)提供了一個地理空間的開發(fā)工具包和地形引擎，該技術(shù)利用包含投影坐標(biāo)系及經(jīng)緯度信息的地形數(shù)據(jù)進(jìn)行定位，無論何種數(shù)據(jù)源的數(shù)據(jù)，只要能確定投影參考系，便能保證被放置在正確的位置上。且該技術(shù)提供開放式的繪圖標(biāo)準(zhǔn)，操作和數(shù)據(jù)的交互，一個統(tǒng)一的標(biāo)準(zhǔn)，使得該技術(shù)可以包含更多的數(shù)據(jù)源。基于此技術(shù)，可以完成三維地理空間的構(gòu)件及增強(qiáng)現(xiàn)實(shí)功能的實(shí)現(xiàn)。

圖1 AR輔助決策系統(tǒng)示意圖及結(jié)構(gòu)圖

2.3 智能航行感知系統(tǒng)功能

智能航行感知系統(tǒng)可以實(shí)現(xiàn)如下功能：

2.3.1 視頻接收及處理，通過視覺傳感器，接收外部的觀察視頻，并對視頻流進(jìn)行解析顯示，可通過智能圖像處理功能識別視頻圖像中的目標(biāo)。

2.3.2 數(shù)據(jù)源數(shù)據(jù)處理及整合功能。接收導(dǎo)航雷達(dá)、AIS、位置傳感器、速度傳感器等傳統(tǒng)的導(dǎo)航傳感器的信息，并對其進(jìn)行解析處理，獲取船舶的運(yùn)動狀態(tài)及周圍目標(biāo)的運(yùn)動狀態(tài)信息。對電子海圖數(shù)據(jù)的信息處理，獲取地理信息、礙航物、助航物等信息。

2.3.3 數(shù)據(jù)融合功能。融合視覺、雷達(dá)、AIS等接收的目標(biāo)信息，融合海圖數(shù)據(jù)及視頻數(shù)據(jù)。

2.3.4 OSGEarth為引擎的三維地理空間開發(fā)。對視頻信息進(jìn)行畸變處理后，進(jìn)行三維坐標(biāo)系標(biāo)定，建立為OSGEarth的基礎(chǔ)圖層。通過組合傳感器及融合后的目標(biāo)信息，將數(shù)據(jù)進(jìn)行整合，建立為目標(biāo)圖層。通過海圖數(shù)據(jù)的基礎(chǔ)地理信息解析及視頻數(shù)據(jù)，將助航物、礙航物、海圖危險信息等進(jìn)行信息進(jìn)行整合，建立為海圖標(biāo)記圖層。

2.3.5 海圖作業(yè)功能。通過建立的三維地理空間，提供測距、量算、計(jì)劃航線、錨泊監(jiān)控等輔助海圖作業(yè)功能。

2.3.6 報警管理。對危及航行安全的避碰信息、擱淺信息、沉船等礙航信息進(jìn)行報警管理。

智能航行態(tài)勢感知系統(tǒng)通過5部分模塊的有機(jī)結(jié)合，實(shí)現(xiàn)了在三維空間坐標(biāo)系中將攝像頭視頻流和目標(biāo)、航行海圖要素、避碰及本地傳感器等信息有機(jī)融合，為駕駛員的操縱決策提供了信息支撐，有效提升了船舶智能航行水平。

3 結(jié)束語

以各航行態(tài)勢感知傳感器為支撐，本文提出一種集成了航行態(tài)勢感知和AR輔助決策系統(tǒng)的智能航行感知系統(tǒng)，具備多源數(shù)據(jù)輸入和數(shù)據(jù)處理能力，在智能航行設(shè)備的研發(fā)和推廣方面具有極大的優(yōu)勢。同時，依托遠(yuǎn)洋和內(nèi)河實(shí)船試驗(yàn)和船舶航行支撐，可以獲取各類設(shè)備的實(shí)船試驗(yàn)數(shù)據(jù)，為智能船舶航行的發(fā)展提供基礎(chǔ)。