機(jī)器視覺(jué)在艦船綜合保障中的應(yīng)用研究

仲維彬

機(jī)器視覺(jué)在艦船綜合保障中的應(yīng)用研究

仲維彬

（海軍裝備部）

介紹了國(guó)外先進(jìn)艦船綜合保障方面的發(fā)展現(xiàn)狀，從應(yīng)用需求出發(fā)，分析了機(jī)器視覺(jué)技術(shù)在物資分揀、智能運(yùn)輸和智能監(jiān)控等場(chǎng)景中的應(yīng)用，探究了上述場(chǎng)景中提高艦船綜合保障能力有關(guān)機(jī)器視覺(jué)的關(guān)鍵技術(shù)。機(jī)器視覺(jué)在提高艦船綜合保障的自動(dòng)化水平、作業(yè)效率以及節(jié)省人力需求等方面將發(fā)揮重要作用。

艦船綜合保障；機(jī)器視覺(jué)；物資轉(zhuǎn)運(yùn)；智能監(jiān)控

0 引言

艦船綜合保障能力直接關(guān)系到武器裝備系統(tǒng)性能的發(fā)揮和全生命周期費(fèi)用的高低，優(yōu)化艦船的綜合保障能力至關(guān)重要。艦船的綜合保障包括物資、設(shè)備和技術(shù)資料保障等方面，而物資保障是確保艦船持續(xù)運(yùn)行和戰(zhàn)斗力保持的關(guān)鍵。目前艦船的物資轉(zhuǎn)運(yùn)和艦面異常狀態(tài)監(jiān)控人工參與較多，一定程度上影響了艦船作業(yè)效率，因此探尋一些高效能的、自動(dòng)化的物資轉(zhuǎn)運(yùn)與智能監(jiān)控方式尤為重要。隨著機(jī)器視覺(jué)在民用物流倉(cāng)儲(chǔ)、自動(dòng)導(dǎo)航和安全監(jiān)控等領(lǐng)域的成熟應(yīng)用，將機(jī)器視覺(jué)技術(shù)引入艦船綜合保障中可顯著提高自動(dòng)化和智能化水平，進(jìn)而支撐作戰(zhàn)效能的提高。

1 艦船綜合保障系統(tǒng)現(xiàn)狀分析

美國(guó)尼米茲級(jí)航母的結(jié)構(gòu)布置和物資補(bǔ)給、搬運(yùn)、存儲(chǔ)流程均為早期設(shè)計(jì)，例如在彈藥裝上艦載機(jī)之前，由于航空彈藥儲(chǔ)存在航母底層甲板的不同彈藥艙內(nèi)，需要艦員將武器移動(dòng)到搬運(yùn)車輛上，并在航母內(nèi)部經(jīng)過(guò)幾次橫向和縱向的移動(dòng)，送達(dá)不同的中轉(zhuǎn)區(qū)和裝配區(qū)[1]。這些“陳舊”流程使得尼米茲級(jí)航母的物資搬運(yùn)嚴(yán)重依賴人力，準(zhǔn)備時(shí)間較長(zhǎng)，影響艦載機(jī)出動(dòng)效率。

福特級(jí)航母的物資轉(zhuǎn)運(yùn)系統(tǒng)則進(jìn)行了大量的改進(jìn)，主要是在物資搬運(yùn)與存取系統(tǒng)的結(jié)構(gòu)、布置方面采用了很多自動(dòng)化技術(shù)，提高了空間利用率和調(diào)度效率，采用的先進(jìn)設(shè)計(jì)包括自動(dòng)倉(cāng)儲(chǔ)與提取系統(tǒng)、萬(wàn)向自動(dòng)搬運(yùn)車等。

福特級(jí)航母的自動(dòng)倉(cāng)儲(chǔ)與提取系統(tǒng)采用了選擇性卸載技術(shù)，如圖1所示，該技術(shù)使得貨艙、貯藏室、彈藥庫(kù)的存儲(chǔ)和卸載實(shí)現(xiàn)自動(dòng)化作業(yè)。系統(tǒng)工作時(shí)，在計(jì)算機(jī)端由人工識(shí)別和定位物資及其擺放位置，通過(guò)可編程控制算法和外部傳感器控制無(wú)人升降機(jī)到達(dá)指定位置，并利用傳輸系統(tǒng)將物資傳輸?shù)綗o(wú)人升降機(jī)和甲板上，實(shí)現(xiàn)了批量物資轉(zhuǎn)運(yùn)和指定物資的選擇性卸載，也將其存儲(chǔ)到航母貨艙的其他位置[2]，該系統(tǒng)有效節(jié)省了人力、提升了物資的存取效率。

圖1 福特級(jí)航母自動(dòng)倉(cāng)儲(chǔ)與提取系統(tǒng)

在手推車和鏟車基礎(chǔ)上，福特級(jí)航母上采用了具有自動(dòng)控制和導(dǎo)航系統(tǒng)的萬(wàn)向自動(dòng)搬運(yùn)車[3]，如圖2所示，該自動(dòng)搬運(yùn)車體積小、重量輕、負(fù)載能力強(qiáng)，可以利用車輛萬(wàn)向輪朝著任意方向移動(dòng)，在航母狹窄空間內(nèi)作業(yè)非常便利。運(yùn)行過(guò)程中，在艦員的遙控下自動(dòng)駕駛往返貨艙和甲板之間，控制搬運(yùn)車沿著準(zhǔn)確路徑行駛，大幅度提高物資搬運(yùn)效率，但整個(gè)過(guò)程中需要人員監(jiān)視和控制搬運(yùn)車的運(yùn)行狀態(tài)，自動(dòng)化程度有待進(jìn)一步提高。

圖2 萬(wàn)向自動(dòng)搬運(yùn)車

上述應(yīng)用中，艦船綜合保障中的物資存取和轉(zhuǎn)運(yùn)系統(tǒng)，采用了一定的自動(dòng)化設(shè)備，提升了艦船物資裝卸和搬運(yùn)的效率。然而整個(gè)運(yùn)輸過(guò)程中存在人員參與多、智能化水平和作業(yè)效率低等問(wèn)題，無(wú)法滿足未來(lái)無(wú)人化作戰(zhàn)的需要。

2 機(jī)器視覺(jué)技術(shù)在艦船綜合保障中的應(yīng)用分析

為滿足未來(lái)無(wú)人化作戰(zhàn)對(duì)艦船綜合保障體系發(fā)展的新要求，在現(xiàn)有艦船綜合保障設(shè)施的基礎(chǔ)上引入機(jī)器視覺(jué)技術(shù)，有望進(jìn)一步提高艦船物資轉(zhuǎn)運(yùn)以及艦面監(jiān)控視頻中的智能化和自動(dòng)化水平[4-5]。機(jī)器視覺(jué)在艦船保障的應(yīng)用如圖3所示，可通過(guò)視覺(jué)傳感器采集圖像，利用圖像處理模塊對(duì)獲取的圖像進(jìn)行智能識(shí)別與分析計(jì)算，根據(jù)具體需求實(shí)現(xiàn)物品碼/存儲(chǔ)位置識(shí)別、導(dǎo)航定位、障礙物感知和艦面狀態(tài)識(shí)別等能力，為物資轉(zhuǎn)運(yùn)過(guò)程中的自動(dòng)分揀、智能運(yùn)輸以及智能監(jiān)控等應(yīng)用提供支撐。

圖3 機(jī)器視覺(jué)在艦船綜合保障中的應(yīng)用

3 關(guān)鍵技術(shù)需求分析

3.1 自動(dòng)分揀識(shí)別

在艦船貨艙中，物資按照類別存儲(chǔ)在多列排布貨架的不同區(qū)域，人工存放存在物資類別與存儲(chǔ)位置誤識(shí)別、作業(yè)效率低等問(wèn)題。為此，采用機(jī)器視覺(jué)技術(shù)，建立基于語(yǔ)義分割和深度學(xué)習(xí)的物品碼與貨艙存儲(chǔ)位置識(shí)別模型，對(duì)物資類別與存儲(chǔ)位置進(jìn)行精準(zhǔn)識(shí)別。物資自動(dòng)分揀識(shí)別流程如圖4所示，通過(guò)BiSeNet、SeaFormer等模型對(duì)視覺(jué)傳感器采集的圖像進(jìn)行語(yǔ)義分割，定位物品碼，采用ResNet、DenseNet等深度學(xué)習(xí)模型對(duì)物品碼進(jìn)行識(shí)別[6-7]，獲得物資信息；可采用相同的算法識(shí)別貨艙存儲(chǔ)位置，將識(shí)別結(jié)果與物資信息進(jìn)行關(guān)聯(lián)，鎖定存儲(chǔ)位置?；诖耍瑢⒂行Ы档驼`識(shí)別概率，提升自動(dòng)分揀系統(tǒng)的作業(yè)效率。

圖4 物資自動(dòng)分揀識(shí)別流程

3.2 智能運(yùn)輸

為實(shí)現(xiàn)艦船物資在貨艙與甲板間的無(wú)人化智能運(yùn)輸，使用具有自主導(dǎo)航定位和障礙感知的機(jī)器視覺(jué)技術(shù)輔助無(wú)人轉(zhuǎn)運(yùn)車輛進(jìn)行自主形勢(shì)。

3.2.1 循跡式定位與導(dǎo)航

循跡式定位與導(dǎo)航是通過(guò)識(shí)別地面合作標(biāo)識(shí)的方式實(shí)時(shí)計(jì)算位姿，引導(dǎo)車輛沿著預(yù)先規(guī)劃的路線自動(dòng)行駛。循跡式定位與導(dǎo)航流程如圖5所示，對(duì)視覺(jué)傳感器采集的地面引導(dǎo)線等合作標(biāo)識(shí)進(jìn)行智能識(shí)別，并采用PNP（Perspective-N-Points）、POSIT等算法計(jì)算車輛當(dāng)前位置，直至引導(dǎo)車輛到達(dá)終點(diǎn)，實(shí)現(xiàn)轉(zhuǎn)運(yùn)車輛的循跡式定位與導(dǎo)航[8]。

圖5 循跡式定位與導(dǎo)航流程

3.2.2 同步定位與建圖

與循跡式導(dǎo)引需要專用的合作標(biāo)識(shí)的導(dǎo)航定位方式不同，基于視覺(jué)特征的同步定位與建圖（Simultaneous Localization and Mapping，SLAM）是一種基于周圍環(huán)境特征的自主定位算法，該算法對(duì)連續(xù)捕獲的場(chǎng)景圖像進(jìn)行特征檢測(cè)和提取，通過(guò)特征匹配構(gòu)建幀與幀之間的共視關(guān)系，對(duì)特征進(jìn)行優(yōu)化，在構(gòu)建周圍環(huán)境三維地圖的同時(shí)準(zhǔn)確定位車輛在地圖中的位置，提高轉(zhuǎn)運(yùn)車輛在行駛途中的環(huán)境感知與自主定位能力。

采用雙目相機(jī)的SLAM技術(shù)更容易獲得周圍的環(huán)境信息，其算法框圖如圖6所示。通過(guò)雙目相機(jī)采集環(huán)境圖像，基于視覺(jué)里程計(jì)機(jī)理提取圖像中的特征進(jìn)行特征提取與匹配以及位姿估算，并根據(jù)接收的位姿估算結(jié)果和回環(huán)檢測(cè)信息進(jìn)行后端非線性優(yōu)化，得到周圍環(huán)境三維地圖的同時(shí)獲取定位結(jié)果[9]。

圖6 雙目視覺(jué)SLAM定位算法

3.2.3 障礙物感知

物資運(yùn)輸過(guò)程中可能存在其他車輛、艦員以及某些固定設(shè)備等障礙物，影響轉(zhuǎn)運(yùn)車輛的正常行駛，因此需要提高轉(zhuǎn)運(yùn)車輛對(duì)障礙物的感知能力。采用雙目視覺(jué)三角測(cè)距法對(duì)獲取的圖像進(jìn)行智能分析計(jì)算，得到前方物體的深度信息，實(shí)現(xiàn)車輛行進(jìn)前方障礙物的智能感知。

雙目視覺(jué)三角測(cè)距原理如圖7所示。其中，l和r分別為左右相機(jī)的成像平面；l和r分別表示左右相機(jī)的像素坐標(biāo)；l和r分別為左右相機(jī)的焦距；為2個(gè)相機(jī)光心的距離。

圖7 雙目視覺(jué)三角測(cè)距原理

在平行雙目視覺(jué)系統(tǒng)中，相機(jī)視場(chǎng)內(nèi)的任意物點(diǎn)在左右相機(jī)中分別形成對(duì)應(yīng)的像點(diǎn)，首先計(jì)算左右相機(jī)采集圖像對(duì)應(yīng)點(diǎn)橫坐標(biāo)之間差值的絕對(duì)值，然后根據(jù)物點(diǎn)和左右相機(jī)之間的幾何關(guān)系計(jì)算出物點(diǎn)與光心的距離[10]，即為前方物體的深度信息，根據(jù)物體與車輛的相對(duì)位置、車輛行進(jìn)方向等關(guān)系判斷是否為障礙物。

機(jī)器視覺(jué)感知障礙物具有實(shí)時(shí)性好、精確度高、自主性強(qiáng)等優(yōu)點(diǎn)，另外可將超聲波、激光雷達(dá)等手段與機(jī)器視覺(jué)結(jié)合使用提供多重感知能力，通過(guò)異構(gòu)冗余設(shè)計(jì)實(shí)現(xiàn)無(wú)盲區(qū)覆蓋，提高障礙感知的可靠性，確保車輛行進(jìn)安全。

3.3 智能監(jiān)控

艦船運(yùn)行過(guò)程當(dāng)中可能會(huì)出現(xiàn)轉(zhuǎn)運(yùn)車輛異常、物資掉落、艦面人員跌倒甚至是飛機(jī)側(cè)翻等狀況，因此需要構(gòu)建基于機(jī)器視覺(jué)、人工智能的艦面狀態(tài)智能監(jiān)控系統(tǒng)。在著艦區(qū)、起飛區(qū)、?？繀^(qū)、艦橋等重要和易發(fā)生安全事故的區(qū)域安裝分布式監(jiān)控終端設(shè)備，在服務(wù)器端對(duì)分布式監(jiān)控設(shè)備所采集的視頻進(jìn)行實(shí)時(shí)智能圖像綜合處理，實(shí)現(xiàn)從僅具備錄制功能的傳統(tǒng)監(jiān)控到實(shí)時(shí)異常提示的智能化監(jiān)控轉(zhuǎn)變。艦面狀態(tài)智能監(jiān)控流程如圖8所示，首先通過(guò)HsNet、CifarNet等深度學(xué)習(xí)模型對(duì)車輛異常、物資掉落、人員跌倒和飛機(jī)側(cè)翻等不同狀態(tài)的樣本數(shù)據(jù)進(jìn)行訓(xùn)練，獲得艦面狀態(tài)識(shí)別模型，通過(guò)該模型識(shí)別輸入的實(shí)時(shí)監(jiān)控視頻，對(duì)異常狀態(tài)進(jìn)行智能識(shí)別和告警提示，實(shí)現(xiàn)對(duì)艦面狀態(tài)全方位、高可靠性的智能監(jiān)控。

圖8 艦面狀態(tài)智能監(jiān)控流程

4 結(jié)語(yǔ)

本文在分析現(xiàn)有艦船自動(dòng)化物資保障體系的基礎(chǔ)上，從適應(yīng)未來(lái)無(wú)人化作戰(zhàn)的應(yīng)用需求出發(fā)，分析了機(jī)器視覺(jué)技術(shù)在物資分揀、智能運(yùn)輸與智能監(jiān)控場(chǎng)景中的應(yīng)用，探究了物品碼/存儲(chǔ)位置識(shí)別、循跡式定位與導(dǎo)航、同步定位與建圖、障礙物感知、艦面異常狀態(tài)識(shí)別等關(guān)鍵技術(shù)。機(jī)器視覺(jué)技術(shù)的應(yīng)用，將進(jìn)一步提高艦船物資保障與艦面狀態(tài)監(jiān)控的智能化和自動(dòng)化水平，有效提升作業(yè)效率，優(yōu)化艦船作戰(zhàn)效能。

[1] 志昂. 美國(guó)“福特”級(jí)航母先進(jìn)物流系統(tǒng)[J]. 現(xiàn)代艦船，2012，12：32-35.

[2] 于瀛.“福特”級(jí)航母的設(shè)計(jì)及技術(shù)特點(diǎn)[J]. 現(xiàn)代艦船，2011，8：16-19.

[3] 希弦. 微觀航母之彈藥貯運(yùn)（下）和物流系統(tǒng)的新技術(shù)[J]. 兵器知識(shí)，2016，9（19）：76-79.

[4] 祝泓，張平. 艦船綜合保障系統(tǒng)設(shè)計(jì)[J]. 中國(guó)工程科學(xué)，2015，17（5）： 44-50.

[5] 孫光甦，原宗，關(guān)靜. 艦船綜合保障體系綜述[J]. 中國(guó)艦船研究，2020，15（1）：89-94.

[6] 王成軍，韋志文，嚴(yán)晨. 基于機(jī)器視覺(jué)技術(shù)的分揀機(jī)器人研究綜述[J]. 科學(xué)技術(shù)與工程，2022，22（3）：893-902.

[7] 趙熠，邵春福，李霞. 基于圖像處理技術(shù)的貨運(yùn)標(biāo)簽識(shí)別系統(tǒng)[J]. 設(shè)施與設(shè)備，2007，8：185-187.

[8] 張舒原，孫中. 視覺(jué)識(shí)別導(dǎo)引AGV系統(tǒng)的物流規(guī)劃分析[J]. 物流技術(shù)與應(yīng)用，2016，21（4）：130-135.

[9] 梁明亮，王云飛，張凱. 基于雙目視覺(jué)SLAM的室內(nèi)機(jī)器人導(dǎo)航技術(shù)[J]. 科學(xué)技術(shù)與創(chuàng)新，2022，17（4）：185-188.

[10] 郭兆明，周慶華，曾小為. 基于雙目視覺(jué)的缺陷藥片檢測(cè)[J]. 計(jì)算機(jī)與現(xiàn)代化，2021，11（5）： 56-60.

Research on Application of Machine Vision in Shipboard Comprehensive Support

ZHONG Weibin

An overview of the current state of development of advanced foreign naval vessels in the realm of comprehensive logistical support is provided. Starting from practical applications, it delves into the utilization of machine vision technology in scenarios such as material sorting, intelligent transportation and intelligent monitoring. The critical technologies associated with machine vision that enhance the comprehensive logistical support capabilities of naval vessels in these scenarios are investigated. Machine vision is poised to play a significant role in elevating the automation level, operational efficiency, and reducing the human resource requirements in enhancing naval vessel comprehensive logistical support.

Shipboard Comprehensive Support; Machine Vision; Materials Transportation; Intelligent Monitoring

TN953

A

1674-7976-(2023)-06-401-04

2023-10-30。

仲維彬（（1977.05—），江蘇海安人，碩士，高級(jí)工程師，主要研究方向?yàn)樾畔⒀b備技術(shù)研究。