一種基于深度學(xué)習(xí)視覺感知的輔助靠泊系統(tǒng)

曹征宇，劉 芳，孫彥琰

（1.上海外高橋造船有限公司，上海 200137；2.邁潤智能科技（上海）有限公司，上海 201206）

0 引言

相較于陸地交通，水上交通面臨的風(fēng)險更高。安全受到多方面因素的影響，一方面，如風(fēng)向、水流、水域深度、寬度等自然環(huán)境因素會影響船只的安全航行；另一方面，如航道過窄等交通因素可能增加碰撞危險。此外，船員的過失操作或通信失誤等人為因素也可能影響船舶安全航行[1]。

除航行安全外，靠離泊也是船舶安全的重要關(guān)注點。隨著全球海運需求量的增加以及貨船的相關(guān)技術(shù)進(jìn)步，貨船向著大型化和高速化發(fā)展，貨船數(shù)量的增加提高了航道和港口船舶密度，增加了靠離泊時的風(fēng)險。貨船在靠離泊時的航速較低，風(fēng)和海流對船只的運動軌跡的影響大，可能改變船只入港時的速度或泊角。其次，大型貨船的船體尺寸加大了操作員的觀測盲區(qū)；大型船體帶來的巨大慣性也嚴(yán)重影響操船的靈活性。船舶輔助靠泊系統(tǒng)應(yīng)運而生，輔助船員安全高效地完成船舶的靠離泊。

1 傳統(tǒng)靠泊輔助系統(tǒng)

船舶靠泊輔助系統(tǒng)主要通過直接或間接測距的船位探測設(shè)備采集并計算船舶的靠泊信息幫助船員了解船舶入港時的姿態(tài)，警告潛在的危險，以此輔助船舶的安全靠港?？坎聪到y(tǒng)根據(jù)探測器的安裝位置可分為岸基式靠泊輔助系統(tǒng)和船載式靠泊輔助系統(tǒng)[2]。根據(jù)使用的船位探測設(shè)備的類型可分為聲波輔助靠泊、電磁波輔助靠泊兩大類，而這兩類輔助靠泊系統(tǒng)依據(jù)探測設(shè)備使用的技術(shù)可以進(jìn)一步細(xì)分。聲波靠泊輔助系統(tǒng)根據(jù)使用的探測技術(shù)主要可以分為空氣聲波靠泊輔助系統(tǒng)[3]和聲吶靠泊輔助系統(tǒng)兩類[4]。電磁波輔助靠泊系統(tǒng)根據(jù)使用的探測技術(shù)主要可以分為微波雷達(dá)靠泊輔助系統(tǒng)[4]、紅外靠泊輔助系統(tǒng)[3]、激光靠泊輔助系統(tǒng)[5]和DGPS靠泊輔助系統(tǒng)[6]四類。

從測距范圍、測距精度、測速范圍、測速精度、不同距離的測角范圍以及動態(tài)響應(yīng)六個方面對各類靠泊輔助系統(tǒng)進(jìn)行了比對，詳見表1。從表1可以看出，傳統(tǒng)靠泊輔助系統(tǒng)均存在易受環(huán)境影響、有效距離有限等較為明顯的不足，即使目前應(yīng)用較廣的激光靠泊輔助系統(tǒng)受制于船舶大小、靠港姿勢，存在一定局限性[2]。此外，傳統(tǒng)感知手段缺乏直觀性，無法直觀獲取船舶與碼頭的狀態(tài)畫面，增加了船員的使用成本。

表1 傳統(tǒng)靠泊輔助系統(tǒng)優(yōu)缺點對比

除以上的傳統(tǒng)系泊輔助外，CCTV作為輔助靠泊的設(shè)備也可以彌補上述系統(tǒng)缺乏直觀性的問題，通過在船身安裝攝像頭，讓船員直接獲得船舶周邊的視覺信息，以此輔助船舶靠泊。但是由于CCTV缺乏有效的數(shù)據(jù)采集手段，僅依靠船員自身判斷安全風(fēng)險，難以作為主要輔助靠泊系統(tǒng)使用。

2 基于視覺感知的輔助靠泊系統(tǒng)的開發(fā)

隨著物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術(shù)的發(fā)展與應(yīng)用，工業(yè)智能化的進(jìn)程正在穩(wěn)步推進(jìn)。德國提出了“工業(yè)4.0概念”[8]，我國制定了《中國制造2025》[9]，明確指出“以體質(zhì)增效為中心，以加快新一代信息技術(shù)與制造技術(shù)深度融合為主線，以推動智能制造為主攻方向”這一指導(dǎo)思想，并將高技術(shù)船舶列為重點推動的領(lǐng)域，重點推進(jìn)高技術(shù)船舶配套設(shè)備的集成化、智能化、模塊化設(shè)計制造和新技術(shù)。

DNVGL集團(tuán)在《未來航運業(yè)》中提出了“智能船舶”的概念，即具備實時數(shù)據(jù)傳輸匯集、高計算能力、數(shù)學(xué)建模能力、遠(yuǎn)程操控傳感器和微型化的船舶[10]。根據(jù)2014年10月10日的“大數(shù)據(jù)與智能船舶發(fā)展”高峰論壇的研討結(jié)論，船舶智能化已經(jīng)成為當(dāng)今船舶制造與航運領(lǐng)域發(fā)展的必然趨勢[11]。

為推進(jìn)船舶智能化發(fā)展和解決傳統(tǒng)靠泊輔助系統(tǒng)存在的問題以及局限性，保證船舶航行和靠離泊安全，基于視覺感知的輔助靠泊系統(tǒng)的研發(fā)被提上了日程。該系統(tǒng)使用人工智能光學(xué)感知技術(shù)，通過深度學(xué)習(xí)方法識別環(huán)境物體，分析安全風(fēng)險并進(jìn)行決策預(yù)警，輔助船員進(jìn)行航行及離靠泊操作，降低船員的操作難度，減少安全事故的發(fā)生率。在輔助船舶離靠岸時，通過深度學(xué)習(xí)算法處理多部攝像頭的影像，可以實現(xiàn)全船周圍360°的監(jiān)控，實時顯示船舶離岸距離、入泊角度、航行速度等信息，同時對安全風(fēng)險進(jìn)行實時預(yù)警，降低安全風(fēng)險并提升靠泊效率。在船舶航行時，可實現(xiàn)船前大范圍視野監(jiān)控，盡可能消滅視野死角。AI輔助識別船舶、障礙物等安全風(fēng)險并給出預(yù)警，保證船舶航行安全。

2.1 系統(tǒng)架構(gòu)搭建

視覺感知輔助靠泊系統(tǒng)的構(gòu)架示意圖如圖1所示，主要組成部分包括視覺感知模塊、數(shù)據(jù)處理模塊、通訊模組、存儲模塊、顯示終端以及計算平臺等。視覺感知模塊由十組靠泊環(huán)視攝像頭組成?？坎喘h(huán)視攝像頭安裝在船體周圍以及船舶兩翼，主要用于提供船只兩側(cè)以及周邊的視頻信息。圖2為靠泊環(huán)視攝像頭的安裝位置示例。數(shù)據(jù)處理模塊接收并處理感知模塊采集的視頻資料，并傳輸給其他模塊。同時數(shù)據(jù)處理模塊也會負(fù)責(zé)該系統(tǒng)與其他系統(tǒng)的數(shù)據(jù)交互。存儲模塊用于儲存原始視頻資料與合成處理后的視頻資料。通訊模組用于將視頻資料傳輸給岸端的顯示終端。態(tài)勢感知計算平臺通過圖像處理算法將多部攝像機拍攝到的視頻資料合成，分析是否存在安全風(fēng)險，并將合成后的視頻資料以及決策判斷傳輸給顯示終端。

圖1 視覺感知輔助靠泊系統(tǒng)架構(gòu)示意圖

圖2 靠泊環(huán)視攝像頭安裝點位示意圖

2.2 算法設(shè)計

2.2.1 算法整體框架

如圖3所示為視覺感知輔助靠泊系統(tǒng)算法整體框架圖，通過靠泊環(huán)視攝像頭獲取船舶實時靠泊畫面，采用全景視頻拼接方法，獲取無盲區(qū)全景畫面。在獲得的全景畫面基礎(chǔ)上，運用深度學(xué)習(xí)方法獲取船舶舷側(cè)線與碼頭岸線，根據(jù)事先標(biāo)定好的圖像與實際場景距離的對應(yīng)關(guān)系計算舷側(cè)線與碼頭岸線間的距離，通過幾何關(guān)系計算得到船舶艏艉分別與碼頭的距離以及船舶與碼頭的夾角，設(shè)定報警閾值，在艏艉與碼頭的距離、速度以及夾角達(dá)到判斷條件時發(fā)出報警提示。

圖3 算法整體框架圖

2.2.2 船岸距離及夾角測量

在靠泊過程中，測量船岸距離及夾角主要采用deeplabv3深度學(xué)習(xí)模型對水岸圖像進(jìn)行分割，并使用直線擬合算法從圖像分割后的特征中找出岸線，根據(jù)標(biāo)定結(jié)果算出船舶與岸的距離以及夾角。

本文所采用的是DeepLabv3+深度學(xué)習(xí)模型[12]，主要用于機器視覺領(lǐng)域的圖像分割任務(wù)。它是DeepLab系列模型中較新的版本，由Google Brain團(tuán)隊開發(fā)。DeepLabv3+結(jié)構(gòu)采用了空洞卷積和多尺度金字塔池化等技術(shù)，其結(jié)構(gòu)核心是空洞卷積。傳統(tǒng)的卷積操作只考慮局部像素之間的關(guān)系，而空洞卷積則可以在不增加參數(shù)數(shù)量的情況下，擴大卷積核的感受野。這樣可以更好地捕捉圖像中的上下文信息，提高分割的準(zhǔn)確性。

DeepLabv3+另一項優(yōu)化技術(shù)是多尺度金字塔池化。使用該方法可以在不同尺度下對圖像進(jìn)行池化操作，從而捕捉不同尺度下的特征。這樣可以更好地處理圖像中的物體大小和形狀變化，提高分割的魯棒性。

除了空洞卷積和多尺度金字塔池化，DeepLabv3+結(jié)構(gòu)還采用了空間金字塔池化、反卷積和條件隨機場等。這些技術(shù)可以進(jìn)一步提高分割的準(zhǔn)確性和魯棒性。圖4所示為本文采用的DeepLabv3+模型整體架構(gòu)圖。

圖4 DeepLabv3模型整體架構(gòu)圖

圖5所示為將DeepLabV3+用于船舶與碼頭圖像分割及直線擬合的效果圖，從圖中可以將碼頭擬合出直線，再根據(jù)直線所在位置及標(biāo)定結(jié)果，就可以計算出船岸距離及夾角。

圖5 船舶圖像分割及直線擬合效果

2.2.3靠泊預(yù)警功能

攝像頭拍攝船舶舷側(cè)靠泊過程的俯視畫面，在拍到圖像后對圖像中的碼頭岸線及船舶舷側(cè)線進(jìn)行目標(biāo)識別及特征提取，利用直線擬合方法抽象出碼頭岸線及船舶舷側(cè)線如圖6所示，以前后相機安裝位置為起始點，分別做碼頭岸線的垂線在抽象圖片上得到距離d1、d2以及舷側(cè)線與碼頭岸線的夾角α。根據(jù)攝像頭成像原理，攝像頭拍攝到的畫面中的像素點距離與真是距離具有一一對應(yīng)關(guān)系，而對應(yīng)關(guān)系可以通過攝像頭的參數(shù)標(biāo)定獲得。根據(jù)該關(guān)系可以得到真實舷側(cè)攝像頭到碼頭的距離D1、D2，夾角利用相似性原理與抽象圖片中夾角相等為α，如圖6所示，為攝像頭映射后的真實場景下的示意圖。

圖6 基于視覺的靠離泊預(yù)警映射示意圖

在得到D1、D2及α后可以對船舶靠泊進(jìn)行危險預(yù)警，危險判斷標(biāo)準(zhǔn)分為兩條：1）在船艏和船尾與碼頭的距離小于距離閾值Dg的前提下靠近碼頭速度V1、V2大于速度閾值Vg；2）夾角α的絕對值|α|小于角度閾值αg，V1、V2通過對D1、D2進(jìn)行離散微分得到，即：

則預(yù)警邏輯如下：

2.3 試驗驗證及分析

為驗證視覺感知在輔助靠泊系統(tǒng)中的應(yīng)用效果，在某散貨船上安裝視覺感知輔助靠泊系統(tǒng)在某次靠泊作業(yè)時對系統(tǒng)進(jìn)行測試。該船船寬約為45 m ，船長約為300 m ，橋樓兩側(cè)攝像頭安裝高度約30 m 。

系統(tǒng)顯示界面安裝在船舶駕駛臺屏幕上，系統(tǒng)會調(diào)用靠泊環(huán)視攝像頭拍攝到的視頻畫面，在進(jìn)行拼接合成后，顯示終端會顯示靠泊五視視頻畫面并增加輔助線標(biāo)注離船兩側(cè)距離，如圖7所示，包含2D俯視視角、前向視角、后向視角、左舷靠泊視角、右舷靠泊視角五個畫面，其中2D俯視視角下舷側(cè)可視范圍達(dá)到3倍船寬，艏艉可視范圍達(dá)到150 m ，增強了船員在靠泊時對周圍情況的直觀觀察。在該模式下，系統(tǒng)可顯示并且實時更新船舶距離岸邊的距離、靠岸速度、船舶與碼頭夾角等信息，并在存在安全風(fēng)險時預(yù)警船員。如圖8所示為測距及測角功能畫面。

圖7 五視全景視覺畫面

圖8 靠泊過程測距測角功能

為進(jìn)一步驗證系統(tǒng)的可用性，還需對系統(tǒng)測距、測角能力進(jìn)行驗證。距離測量是角度測量的基礎(chǔ)，距離測量的誤差水平直接影響角度測量的誤差水平，所以主要驗證測距誤差水平。

試驗中，首先在已安裝系統(tǒng)的船舶?？坎次坏膬啥朔胖眉す鉁y距儀，用于測量船舶靠泊過程中船艏及船艉到碼頭的距離，根據(jù)攝像頭安裝高度，估算攝像頭最遠(yuǎn)覆蓋距離大約為3倍船寬，即135 m 左右，所以采用200 m 量程激光測距儀，該測距儀精度為1 mm，可作為試驗驗證真值系統(tǒng)。

通過GPS系統(tǒng)作為時間同步器，在相同時間下，船艏船尾各取10組數(shù)據(jù)，試驗結(jié)果如表2所示。

表2 靠泊試驗結(jié)果（單位：m ）

由表2可以看到，船艏視覺距離測量在整個過程中的誤差均值為0.71 m ，船艉視覺距離測量在整個過程中的誤差均值為0.8 m ，均值誤差均小于1 m 可以滿足在船舶在靠泊過程中船舶相對碼頭距離測量的使用需求。

3 結(jié)語

船舶的航行與離靠泊安全十分重要，傳統(tǒng)靠泊輔助系統(tǒng)使用了不同的船位探測技術(shù)，但均存在不夠直觀及使用受限問題。為了優(yōu)化輔助靠泊系統(tǒng)的功能，同時推進(jìn)船舶智能化發(fā)展，本文探討了應(yīng)用深度學(xué)習(xí)視覺感知的輔助靠泊系統(tǒng)，運用DeepLabv3+圖像分割模型對船舶及碼頭的特征進(jìn)行分割，并根據(jù)分割及標(biāo)定結(jié)果計算船艏船艉到碼頭的距離，并設(shè)計了相應(yīng)的靠泊預(yù)警算法。

系統(tǒng)在某型散貨船上進(jìn)行了實船驗證，結(jié)果表明采用視覺感知的方式設(shè)計輔助靠泊系統(tǒng)，不僅可以提升輔助靠泊系統(tǒng)的直觀性，同時也可以滿足船員在靠泊時相對距離測量的誤差要求，具備一定的實用性。