耙吸式挖泥船可視化態(tài)勢感知系統(tǒng)設計

摘 要：挖泥船在土木工程中廣泛應用，然而，當前挖泥船作業(yè)存在的問題和挑戰(zhàn)需要更先進的監(jiān)測和感知系統(tǒng)來提高其操作效率和安全性。本研究創(chuàng)造性地提出了“全覆蓋、全天候、全過程、全共享”的技術要求，不僅解決船舶航行時的輔助瞭望和安全預警的需求，也為智能航行的終極目標自主駕駛奠定了基礎，實現(xiàn)對挖泥船運行態(tài)勢的實時監(jiān)測和全面分析。

關鍵詞：挖泥船；可視化；態(tài)勢感知；系統(tǒng)設計；傳感器技術

中圖分類號：U661.43 文獻標識碼：A

0 引 言

挖泥船在水利、港口和土木工程中的作用不可忽視，被稱為“地平線編輯器”，是我國的戰(zhàn)略裝備[1]。隨著挖泥船使用范圍和頻率的不斷擴大和提高，對挖泥船操控安全、疏浚工藝的要求也不斷提高。隨著近年智能船舶技術的發(fā)展，挖泥船也亟待智能系統(tǒng)的加持[2]。本文以“神華浚2”實船為例，研發(fā)可視化態(tài)勢感知系統(tǒng)，實現(xiàn)對挖泥船操作狀態(tài)的精準監(jiān)測和綜合分析，采用相關先進技術包括：人工智能視覺識別技術、多源數(shù)據(jù)融合技術、熱成像圖像處理技術、圖像拼接技術、視圖重構技術、數(shù)字孿生技術等。

1 系統(tǒng)設計方案

船舶可視化態(tài)勢感知系統(tǒng)以可視化態(tài)勢感知計算平臺為核心，通過深度學習、視覺處理技術以及數(shù)據(jù)融合技術，融合視頻信息與原有數(shù)據(jù)，提升原有船型智能化水平，有效解決靠離泊安全和航行安全等問題[3]。

1.1 系統(tǒng)原理

系統(tǒng)運用通導設備串口服務模塊及視覺數(shù)據(jù)處理模塊對相關傳感器信息進行處理，將不同物理介質(zhì)與通信協(xié)議的傳感器數(shù)據(jù)轉(zhuǎn)化為可以用以太網(wǎng)傳輸?shù)慕Y構化信息數(shù)據(jù)，如圖1所示。

可視化態(tài)勢感知計算平臺接入轉(zhuǎn)化完成的通導數(shù)據(jù)及攝像頭數(shù)據(jù)，對相關數(shù)據(jù)進行匯集、分析、處理，并提供輔助決策及分級預警功能。船端顯示模塊對船員所需要的信息進行可視化、一體化綜合顯示。

船端存儲數(shù)據(jù)庫存儲各功能原始數(shù)據(jù)、分析報表、決策結果以及預警記錄。數(shù)據(jù)庫劃分歷史數(shù)據(jù)區(qū)與實時數(shù)據(jù)緩存區(qū)，供不同功能進行調(diào)用，保障數(shù)據(jù)實時性與完整性。

通訊模組將船端數(shù)據(jù)上傳至云管理平臺，云管理平臺根據(jù)移動終端或岸端顯示模塊的操作請求，將數(shù)據(jù)、報表、預警等信息發(fā)送至各遠程終端。

1.2 軟件架構

系統(tǒng)軟件分為數(shù)據(jù)采集層、基礎服務層、應用算法層、可視化展示層四個部分。數(shù)據(jù)處理層主要對各傳感器數(shù)據(jù)進行處理，將數(shù)據(jù)轉(zhuǎn)化為通用格式，供上層軟件模塊調(diào)用。基礎服務層提供基礎軟件服務，包括AI引擎框架、船端數(shù)據(jù)庫。應用算法層包含各功能應用處理程序以及相關算法，包含視覺識別、多源信息融合、分級預警算法等，應用算法層完成所有智能助航系統(tǒng)相關功能?？梢暬故緦影诵畔⒕C合顯示及運城信息綜合顯示，運用合理人機交互設計，保證用戶可以方便高效地查看各項數(shù)據(jù)信息，如圖2所示。

2 關鍵技術分析

2.1 航行安全輔助

系統(tǒng)擁有大視角的可視化航道安全輔助功能，可識別航行的船只及其他障礙物，融合電子海圖、雷達、AIS、GPS等傳感器，感知障礙物、航速、航向等重要信息，提供視覺盲區(qū)覆蓋、視覺增強等功能，輔助船員瞭望，降低船員勞動強度，提升航行安全[4]，見圖3。

2.1.1大視角/全景顯示

采用大視角航道安全預警攝像頭組合，可展現(xiàn)船舶前后左右所有方位的航行視野，可進行視頻拼接，識別范圍可達2 n mile。

2.1.2視覺識別

通過視覺實時識別視野范圍內(nèi)的目標物并檢測距離、速度等信息，識別后在畫面上標出目標物。可探測海上近處無法從船用雷達及AIS掃描到的小目標，如海上臨時出現(xiàn)的漂浮物、無AIS設備的小型漁船等。

2.1.3電子海圖、雷達、AIS、GPS融合

融合電子海圖、雷達、AIS、GPS，作為視覺感知的補充，可以全面顯示目標物的各類信息，包括目標物類型、MMSI、船長、船寬、COG、SOG、CPA、TCPA等重要信息，同時也可以融合海圖信息，將等深線、航標燈等標注在圖像上。

2.1.4航行安全預警

系統(tǒng)以視覺感知為基礎，多傳感器融合為輔助，感知水面目標物信息，對目標物軌跡進行預測，同時預測本船航行軌跡，計算危險情景并進行航行安全預警，見圖4。

2.2 作業(yè)防碰撞

挖泥船作業(yè)時需要時刻關注周邊情況，主要包含挖泥船與周圍障礙物是否會發(fā)生碰撞等。

2.2.1作業(yè)工況全景顯示

運用船舶周圍布置的感知設備，通過視頻矯正及拼接技術，提供全景拼接圖像，清晰展現(xiàn)作業(yè)時船舶周圍360°的場景，消除視覺盲區(qū)[5]。

2.2.2作業(yè)防碰撞

為防止挖泥船作業(yè)時碰撞到障礙物，在挖泥船周圍裝上感知設備，保證系統(tǒng)感知可靠性并且可以適應不同遠近距離，設置多級電子圍欄警戒圈，當觸發(fā)不同層級的警戒圈時觸發(fā)聲光報警提示，由遠及近聲音頻率增加。防碰撞測量距離值實時顯示于視頻圖像中，展示障礙物最近碰撞點與我船的實時距離。

視覺設備復用靠離泊安全輔助的視覺識別模塊，測量大約距離，障礙物靠近一定范圍后，啟用感知設備，保證測量準確性。

2.3 靠離泊安全輔助

靠離泊安全輔助功能可以在船舶靠離泊過程中為駕駛人員提供真實360°全景影像，靠泊輔助線顯示，實時測距、測速功能。消除駕駛員靠泊盲區(qū)，提供靠泊安全保障，最大程度降低船舶在靠離泊期間的碰撞風險[6]。

2.3.1靠泊全景顯示

在船舶周邊布置靠泊輔助攝像頭，通過視頻矯正及拼接技術，提供船舶周邊真實的360°全景影像，清晰展現(xiàn)船舶周圍環(huán)境，消除視覺盲區(qū)。系統(tǒng)輸出2D鳥瞰圖、3D環(huán)視圖到顯示屏幕，可以使駕駛人員觀察到船舶周邊動靜態(tài)物體。

駕駛員可根據(jù)自身習慣，在使用過程中調(diào)整視頻視角，支持3D全景自由視角、2D俯視視角、前向視角、后向視角、左舷靠泊視角、右舷靠泊視角。

2.3.2靠泊輔助線顯示

為了更加直觀地顯示船舶距離岸線以及周圍水域的位置，系統(tǒng)在鳥瞰圖中顯示靠泊距離輔助線。識別與實時計算，提供船艏、船艉實時離岸距離、速度、船舶與碼頭夾角等靠離泊安全相關數(shù)據(jù)，見圖5。

2.4 視覺增強系統(tǒng)

視覺增強系統(tǒng)在薄霧、夜晚燈光極其微弱的情況下幫助船員看清周圍情況。系統(tǒng)也在視覺增強輔助模式下重新匹配視覺識別算法，可在該模式下提供視覺識別、預警等航行輔助功能，見圖6、圖7。

2.5 行為安全管理系統(tǒng)

行為安全管理系統(tǒng)運用視覺模組，基于AI的圖像處理技術，通過合規(guī)操作行為深度學習，可自動監(jiān)測駕駛室及泥艙甲板人員行為是否合規(guī)。系統(tǒng)可根據(jù)不同船舶的不同報警需求，對報警閾值進行配置[7]。主要監(jiān)測行為包括：航行值班看手機、航行值班打瞌睡、航行值班坐椅操船、航行走動瞭望、值班人員脫崗、值班船員跌倒或突發(fā)疾病、故意調(diào)開攝像頭及關閉監(jiān)控設備、駕駛室值班正規(guī)著裝、泥艙甲板工作人員正規(guī)著裝等，見圖8。

2.5.1遠程監(jiān)控與視頻顯示

系統(tǒng)包含遠程終端顯示軟件，岸端人員可在鏈路暢通及權限允許的情況下實時查看船只艙內(nèi)視頻畫面，緊急報警情況彈窗提醒。

2.5.2違規(guī)行為取證

對違規(guī)行為進行錄像或拍照取證，抓拍的視頻或圖片符合制定違章標準的5要素，即：1.違章船名及區(qū)域；2.違章行為；3.違章時間；4.違章照片體現(xiàn)的全過程位移；5.圖片編號。

2.5.3數(shù)據(jù)庫構建

系統(tǒng)為航運公司船員管理提供數(shù)據(jù)支撐，統(tǒng)計每年度各違規(guī)行為頻率、累計違規(guī)次數(shù)等信息，為航運公司在船員管理方面的各項工作提供決策依據(jù)，見圖9。

2.6 可視化船岸互通系統(tǒng)

系統(tǒng)可將船員行為檢測結果與航行安全預警結果進行結合，提供更具安全性及有效性安全監(jiān)測與預警。系統(tǒng)對船外危險情況及船內(nèi)人員疏忽進行全方位綜合判別，并采用分級智能危險預警機制，船舶管理人員可根據(jù)需要設定危險預警等級，系統(tǒng)將自動按照預設的預警等級提醒不同層級的相關人員采取相應的措施[8]。

2.6.1船岸分級預警

預警等級一般分為：駕艙預警、船長預警、岸端預警。系統(tǒng)首先運用語音方式通知駕駛艙內(nèi)船員；如果船員沒有反應，系統(tǒng)將報警發(fā)送至船長；如果船長仍然未采取措施，系統(tǒng)將通知岸端航運公司。

2.6.2緊急視頻抓拍及傳輸

在客戶定義的緊急情況下通過事件觸發(fā)機制抓拍視頻或圖像，通過有限的帶寬網(wǎng)絡進行發(fā)送，在達到監(jiān)測效果的前提下降低傳輸流量。

系統(tǒng)可運用船上存儲器存儲1個月的視頻，系統(tǒng)運用壓縮技術，能夠在最低2Mbps的帶寬下傳輸1080P視頻流，最低1Mbps的帶寬下傳輸720P的視頻流。

2.7 耙臂姿態(tài)監(jiān)控

耙臂姿態(tài)關系到耙吸式挖泥船的挖掘效率和耙臂機具的安全性，需要實時監(jiān)控其位置與角度[9]。在適當位置布設攝像頭，采集耙臂船上和水下動態(tài)運動圖像，通過智能化網(wǎng)絡分析和預測耙臂動態(tài)安全位置，實時生成耙臂安全位置預警圖像，在耙臂出現(xiàn)極限位置或者危險速度時提出警告并聯(lián)動急?？刂芠10]。耙臂姿態(tài)動態(tài)監(jiān)控實時畫面見圖11。

3 系統(tǒng)硬件布置

系統(tǒng)硬件主要包括AI專用可視化計算硬件平臺、專用通訊模組、航行安全預警感知模塊、作業(yè)防碰撞感知艏模塊、行為識別模塊、水下感知模塊、專用存儲模塊、數(shù)據(jù)交換處理模塊、終端顯示模塊及專用支架、不間斷供電單元等。主要布置在船舶羅經(jīng)甲板、駕駛甲板、駕駛室、船艙和船尾等地點。另外駕控臺中AIS/GPS、電羅經(jīng)、電子海圖和海事雷達需要配置連接到串口服務器。

4 結論與展望

本系統(tǒng)軟硬件結合，可以實現(xiàn)“全覆蓋、全天候、全過程、全共享”的挖泥船智能化態(tài)勢感知能力，能夠有效提高其操作效率和安全性。系統(tǒng)的技術創(chuàng)新點包括傳感器集成、數(shù)據(jù)處理、圖像識別增強等方面，也為整個智能船舶的研究提供一定參考。本系統(tǒng)也可以接入傳統(tǒng)船舶交通管理系統(tǒng)（Vessel Traffic Services，VTS），對VTS智能化系統(tǒng)提供技術支持，推動智慧航運的發(fā)展[11]。

從實際推廣應用來看，該系統(tǒng)可以在現(xiàn)有挖泥船上進行無縫集成，便于在現(xiàn)有控制系統(tǒng)上進行安裝部署，可以快速實現(xiàn)現(xiàn)有耙吸挖泥船的智能化升級改造，為疏浚工程的提供安全保障，對于耙吸挖泥船新造船的應用示范、舊船的升級改造具有廣泛的推廣價值。

參考文獻

[1] 郭燁.耙吸挖泥船智能化疏?？刂葡到y(tǒng)[J].機電設備，2021，38（2）：16-19.

[2] 羅剛，馮志勇，陳定等.大型自航絞吸挖泥船智能化集成控制系統(tǒng)[J].中國港灣建設，2016，36（9）：12-16.

[3] 雷進宇，初秀民，蔣仲廉等.基于可視分析的船舶航行態(tài)勢感知系統(tǒng)設計[J].中國航海，2018，41（3）：47-52.

[4] 何國文.基于機器視覺的船舶智能航行主動安全輔助技術及系統(tǒng)建構方法[D].青島科技大學，2022.

[5] 曹征宇，劉芳，孫彥琰.一種基于深度學習視覺感知的輔助靠泊系統(tǒng)[J].船電技術，2024，44（1）：53-57.

[6] 朱靜波，李孟麗，沈杰等.智能停泊系統(tǒng)在客滾船上的應用[J].船舶標準化工程師，2024，57（1）：29-31.

[7] 陳嘉鳴，劉克中，陳默子等.基于信道狀態(tài)信息的船舶駕駛員值班行為識別方法[J].大連海事大學學報，2020，46（3）：68-75.

[8] 張文君.智能船舶航行風險評價與管控策略研究[D].大連海事大學，2023.

[9] 劉凱鋒，焦鵬.基于自適應神經(jīng)模糊控制的耙臂角度控制方法[J].中國港灣建設，2022，42（6）：71-76.

[10] 張紅升，周昭旭，何彥行.耙吸挖泥船耙管姿態(tài)全自動自適應控制技術研究與應用[J].中國港灣建設，2022，42（1）：72-76.

[11] 雷進宇，初秀民，蔣仲廉等.基于可視分析的船舶航行態(tài)勢感知系統(tǒng)設計[J].中國航海，2018，41（3）：47-52.

作者簡介：

于長亮，高級工程師，碩士研究生，研究方向為船機設備管理