USV復(fù)雜水域環(huán)境綜合感知技術(shù)

馬賽男， 邵漢東， 王 晨， 何旭東

(浙江嘉藍(lán)海洋電子有限公司，浙江 舟山 316021)

0 引 言

無(wú)人水面艇(Unmanned Surface Vessel, USV)在水質(zhì)監(jiān)測(cè)、水文信息監(jiān)控采集、信號(hào)中繼、海底掃測(cè)及電纜管道繪制、海上救援等方面發(fā)揮著重要作用。由于USV模式多樣化、作戰(zhàn)行動(dòng)靈活化、艇體結(jié)構(gòu)隱蔽化、作戰(zhàn)人員零傷亡、網(wǎng)絡(luò)作戰(zhàn)中心化等優(yōu)勢(shì)，使其越來(lái)越受到世界發(fā)達(dá)國(guó)家海軍的關(guān)注。

USV將自身所處的工作環(huán)境和狀態(tài)實(shí)時(shí)傳遞至岸基和工控機(jī)的過(guò)程就是環(huán)境感知。其是USV自主航行和避障決策任務(wù)的技術(shù)基礎(chǔ)，是USV主要關(guān)鍵技術(shù)之一。國(guó)內(nèi)學(xué)者已對(duì)提高USV的環(huán)境感知作了很多研究。李小毛等[1]提出一種基于3D激光雷達(dá)的障礙檢測(cè)算法,即將一個(gè)周期內(nèi)的3D激光點(diǎn)云投影至2.5D柵格地圖中,對(duì)障礙物進(jìn)行聚類分割；對(duì)柵格中的原始點(diǎn)云數(shù)據(jù)進(jìn)行特征提取, 并用卡爾曼濾波實(shí)時(shí)跟蹤。王博[2]從光視覺(jué)角度展開(kāi)研究：一是基于USV的水面圖像預(yù)處理，主要包括水面圖像穩(wěn)像研究及去霧增強(qiáng)研究；二是對(duì)水界線進(jìn)行檢測(cè)；三是利用光視覺(jué)目標(biāo)檢測(cè)；四是提出水面目標(biāo)跟蹤方法。姚旭洋[3]對(duì)雙目立位視覺(jué)的立體匹配環(huán)節(jié)進(jìn)行改進(jìn)優(yōu)化，可更加快速準(zhǔn)確地獲取目標(biāo)深度，并對(duì)水上目標(biāo)的識(shí)別算法展開(kāi)研究。因此，環(huán)境感知是USV自主航行和避障決策、任務(wù)的技術(shù)基礎(chǔ)，為USV的安全航行提供保障，文中將重點(diǎn)介紹USV的環(huán)境感知技術(shù)。

1 多傳感器數(shù)據(jù)融合技術(shù)綜述

USV所處海洋環(huán)境復(fù)雜，海面目標(biāo)檢測(cè)需要考慮氣象、地理、海面非線性隨機(jī)變化等諸多環(huán)境因素，為確保USV能夠高效地完成救援任務(wù)，需對(duì)視覺(jué)圖像信息、海事雷達(dá)圖像、激光雷達(dá)圖像等所包含的距離數(shù)據(jù)進(jìn)行多傳感器融合。多傳感器融合技術(shù)通過(guò)對(duì)多類同構(gòu)或異構(gòu)傳感器數(shù)據(jù)進(jìn)行綜合(集成或融合)獲得比單一傳感器更多的信息，形成比單一信源更可靠、更完全的融合數(shù)據(jù)，使用多傳感器數(shù)據(jù)融合擴(kuò)展空間觀測(cè)范圍。

根據(jù)各傳感器探測(cè)障礙物能力實(shí)行不同數(shù)據(jù)處理方法，不同傳感器的優(yōu)缺點(diǎn)如表1所示。圖1為環(huán)境傳感器海面檢測(cè)范圍。

表1 不同傳感器的優(yōu)缺點(diǎn)

圖1 環(huán)境傳感器海面檢測(cè)范圍示例

1.1 海事雷達(dá)障礙物識(shí)別技術(shù)

海事雷達(dá)是船舶安全航行非常重要的設(shè)備，主要有厘米波雷達(dá)和毫米波雷達(dá)，工作頻率主要在X、S、C、Ka頻段。船舶可安裝雙頻段雷達(dá)，比如X和S頻段可以配合使用。

(1)雷達(dá)距離探測(cè)原理

散射體受到雷達(dá)電磁波照射后，因其散射性會(huì)產(chǎn)生回波。散射功率的大小與雷達(dá)發(fā)射功率、距離及散射體散射特性有關(guān)。雷達(dá)距離方程的2種基本形式如下：

(1)

(2)

式(1)～式(2)中：Rmax,1和Rmax，2分別為2種方程形式下散射體至雷達(dá)的距離；P1為雷達(dá)發(fā)射功率；σ為散射體有效反射面積；Aγ為雷達(dá)接收天線的有效面積；λ為波長(zhǎng)；Si，min為最小可檢測(cè)信號(hào)功率；G為雷達(dá)天線增益。

(2)小目標(biāo)雷達(dá)散射截面積精確測(cè)量

為了驗(yàn)證海事雷達(dá)的障礙物識(shí)別技術(shù)，選擇0.63 m×0.31 m(長(zhǎng)×寬)、面積為0.195 3 m2的一塊鋼板作為驗(yàn)證對(duì)象，進(jìn)行小目標(biāo)雷達(dá)散射截面積(Radar Cross Section, RCS)精確測(cè)量。

雷達(dá)至海面距離約1.5 m，鋼板垂直于雷達(dá)發(fā)射波，分別在不同的量程下進(jìn)行論證，如圖2～圖4所示。

圖2 雷達(dá)在116 m量程下對(duì)鋼板的成像圖

圖3 雷達(dá)在232 m量程下對(duì)鋼板的成像圖

圖4 雷達(dá)在464 m量程下對(duì)鋼板的成像圖

通過(guò)雷達(dá)掃描圖對(duì)比可知：對(duì)面積小于0.2 m2的鋼板，雷達(dá)使用3個(gè)不同的量程進(jìn)行測(cè)試，并均檢測(cè)出鋼板的具體方位。由此可知，基于成像抽取的小目標(biāo)RCS精確測(cè)量技術(shù)實(shí)用且可靠。

1.2 激光雷達(dá)障礙物檢測(cè)技術(shù)

激光雷達(dá)具備360°掃描范圍，探測(cè)距離達(dá)百米級(jí)，通過(guò)采集和解析激光點(diǎn)云數(shù)據(jù)，能夠獲取USV近距離范圍內(nèi)的運(yùn)動(dòng)或靜止目標(biāo)，輔助USV完成避碰功能。激光雷達(dá)經(jīng)過(guò)掃描得到點(diǎn)目標(biāo)，如圖5所示。

圖5 激光雷達(dá)掃描示例

對(duì)于點(diǎn)目標(biāo)，激光雷達(dá)探測(cè)能量包含從目標(biāo)上被照亮光斑點(diǎn)反射的所有能量，在作用距離方程計(jì)算中，需要對(duì)目標(biāo)上整個(gè)被照亮區(qū)域進(jìn)行計(jì)算。

基于激光雷達(dá)的動(dòng)態(tài)障礙物信息提取研究，包括：目標(biāo)檢測(cè)、目標(biāo)識(shí)別和動(dòng)態(tài)目標(biāo)跟蹤等3個(gè)模塊(見(jiàn)圖6)。目標(biāo)檢測(cè)模塊對(duì)激光原始點(diǎn)云數(shù)據(jù)進(jìn)行聚類和特征提取處理，得到目標(biāo)的形狀、空間位置信息。目標(biāo)識(shí)別模塊利用神經(jīng)網(wǎng)絡(luò)算法對(duì)目標(biāo)進(jìn)行識(shí)別和分類，輸出點(diǎn)云簇的類別信息。USV自身位置和姿態(tài)信息通過(guò)動(dòng)態(tài)目標(biāo)跟蹤模塊融合目標(biāo)位置信息，利用卡爾曼濾波算法計(jì)算USV優(yōu)化的動(dòng)態(tài)目標(biāo)運(yùn)動(dòng)，并輸出其狀態(tài)信息。

圖6 目標(biāo)檢測(cè)、目標(biāo)識(shí)別和動(dòng)態(tài)目標(biāo)跟蹤流程

圖7為USV避讓障礙物場(chǎng)景下的激光雷達(dá)檢測(cè)效果示例。

圖7 避障過(guò)程中的激光雷達(dá)檢測(cè)位置與障礙物實(shí)際GPS位置對(duì)比

通過(guò)一一對(duì)應(yīng)各時(shí)刻激光雷達(dá)檢測(cè)位置(x1,y1)與障礙物GPS標(biāo)記位置(x2,y2)，得到兩者之間的距離差Δd。圖8為避障過(guò)程中的距離差隨時(shí)間變化曲線。

圖8 避障過(guò)程中的距離差隨時(shí)間變化曲線

上述所有時(shí)刻的距離差平均值計(jì)算結(jié)果為3.609 9 m。以激光雷達(dá)傳感器位置檢測(cè)誤差5.0 m為界限進(jìn)行統(tǒng)計(jì)，滿足該條件的概率為82.50%。將激光雷達(dá)跟蹤障礙物得到的障礙物速度信息與障礙物的GPS反饋速度信息進(jìn)行對(duì)比，得到關(guān)于速度大小和速度方向的精度統(tǒng)計(jì)，如圖9和圖10所示。

圖9 障礙物速度大小統(tǒng)計(jì)

圖10 障礙物速度方向統(tǒng)計(jì)

速度大小檢測(cè)的平均誤差為0.742 1 m/s，速度方向檢測(cè)的平均誤差為5.908 6°。通過(guò)對(duì)激光雷達(dá)數(shù)據(jù)的處理對(duì)比可知：基于激光雷達(dá)檢測(cè)的障礙物信息較為準(zhǔn)確，基本滿足USV安全航行對(duì)環(huán)境信息精度的要求。

1.3 基于單目攝像頭的障礙物測(cè)距技術(shù)

單目測(cè)距系統(tǒng)簡(jiǎn)單、運(yùn)算量小，需要目標(biāo)點(diǎn)之間有幾何約束關(guān)系，應(yīng)用場(chǎng)景有限制，成本較低?；趩文繑z像頭的測(cè)距方法算法簡(jiǎn)單、計(jì)算量小，成本低廉且實(shí)時(shí)性佳，近年來(lái)國(guó)內(nèi)外對(duì)單目測(cè)距方法取得了一定的成果，主要分為基于深度學(xué)習(xí)的測(cè)距方法和傳統(tǒng)數(shù)學(xué)模型測(cè)距方法。項(xiàng)目采用傳統(tǒng)數(shù)學(xué)模型的逆透視投影變換進(jìn)行測(cè)距?；谀嫱敢曂队白儞Q的單目測(cè)距原理如圖11所示。

圖11 單目測(cè)距原理

1.4 基于雙目攝像頭的障礙物測(cè)距技術(shù)

雙目攝像頭無(wú)須識(shí)別目標(biāo)的類別信息即可完成所有單目攝像頭的功能，且能夠獲得精度相對(duì)較高的深度信息。

基于雙目立體視覺(jué)的深度相機(jī)類似人類的雙眼，與基于飛行時(shí)間(Time of flight，TOF)技術(shù)、結(jié)構(gòu)光原理的深度相機(jī)不同，其不對(duì)外主動(dòng)投射光源，完全依靠拍攝的2張圖片(RGB色彩模式或灰度圖)計(jì)算深度，因此也被稱為被動(dòng)雙目深度相機(jī)。

雙目定位流程(見(jiàn)圖12)如下：對(duì)左、右兩個(gè)攝像機(jī)進(jìn)行相機(jī)標(biāo)定，得到各自的標(biāo)定參數(shù)；基于標(biāo)定參數(shù)分別對(duì)左圖和右圖進(jìn)行圖像校正，校正后的2張圖像位于同一平面且互相平行；對(duì)校正后的2張圖像進(jìn)行分割、特征點(diǎn)匹配；基于雙目攝像頭得到圖像空間的深度圖[4]。

圖12 雙目定位流程

2 復(fù)雜環(huán)境下多傳感器感知數(shù)據(jù)融合流程

在實(shí)際場(chǎng)景中，海事雷達(dá)和激光雷達(dá)是全向目標(biāo)探距，而單目和雙目測(cè)距是定向測(cè)距。USV主要關(guān)注以船首向?yàn)閰⒖键c(diǎn)-90°～+90°內(nèi)的掃描區(qū)間，單目和雙目攝像頭以此范圍為掃描范圍。

在一定范圍內(nèi)，海事雷達(dá)能夠較好地探測(cè)較遠(yuǎn)距離內(nèi)的目標(biāo)方位，而激光雷達(dá)則對(duì)USV較近范圍內(nèi)的目標(biāo)靈敏，因此海事雷達(dá)和激光雷達(dá)能夠較好地互補(bǔ)。然而，受風(fēng)浪、雨雪天氣的影響，激光雷達(dá)在實(shí)際應(yīng)用中如何抑制雜波影響是個(gè)關(guān)鍵問(wèn)題。在復(fù)雜環(huán)境感知中，通過(guò)單目和雙目攝像頭對(duì)激光雷達(dá)進(jìn)行補(bǔ)償可以有效地抑制由風(fēng)浪引起的雜波影響[5]。在實(shí)際應(yīng)用中，海事雷達(dá)與激光雷達(dá)在距離上互補(bǔ)，單目與雙目攝像頭在功能上對(duì)激光雷達(dá)進(jìn)行補(bǔ)償。在補(bǔ)償失敗中，通過(guò)航行信息對(duì)補(bǔ)償失敗的目標(biāo)進(jìn)行置信度測(cè)試。當(dāng)置信度在一定周期內(nèi)大于等于某值時(shí)，認(rèn)為此目標(biāo)真實(shí)存在；當(dāng)?shù)陀谀持禃r(shí)，認(rèn)為此目標(biāo)不存在[6]，應(yīng)當(dāng)舍棄。在復(fù)雜環(huán)境下，多傳感器感知數(shù)據(jù)融合的實(shí)際操作流程如圖13所示。

圖13 多傳感器感知數(shù)據(jù)融合流程

3 復(fù)雜環(huán)境下多傳感器感知技術(shù)實(shí)船海上測(cè)試

以海上救助USV為載體，試驗(yàn)海域內(nèi)有海警船、漁船、貨船等，海況2級(jí)，風(fēng)力1～3級(jí)。USV航速為5 kn，雷達(dá)掃描圖像生成周期為2.7 s，激光雷達(dá)點(diǎn)云數(shù)據(jù)處理周期為1.5 s，單目和雙目攝像頭測(cè)距周期為1.5 s。表2為測(cè)試結(jié)果。

表2 不同傳感器性能測(cè)試

表3為不同置信度下的多傳感器數(shù)據(jù)融合結(jié)果。

表3 不同置信度下的多傳感器數(shù)據(jù)融合結(jié)果

根據(jù)表3信息可知：置信度越高時(shí)，激光雷達(dá)、單目攝像頭、雙目攝像頭及海事雷達(dá)經(jīng)數(shù)據(jù)融合后得到的最優(yōu)結(jié)果目標(biāo)檢測(cè)率較好，虛警率會(huì)降低。通過(guò)對(duì)4種傳感器檢測(cè)出的障礙物數(shù)據(jù)進(jìn)行融合，能夠有效地提高目標(biāo)檢測(cè)率、降低目標(biāo)虛警率。

4 結(jié) 語(yǔ)

通過(guò)對(duì)適用于USV感知傳感器采集的數(shù)據(jù)進(jìn)行校正、分析和融合，可形成一種穩(wěn)健的目標(biāo)識(shí)別方法，為USV的自主航行提供穩(wěn)定、可靠的水上障礙物方位信息。但是USV在海上航行時(shí)會(huì)受到風(fēng)向風(fēng)速、波高流向、淺灘暗礁、各類來(lái)往船只等眾多隨機(jī)的可移動(dòng)和固定障礙物的影響，面對(duì)如此復(fù)雜、實(shí)時(shí)多變的環(huán)境，目前的海上綜合感知技術(shù)水平還遠(yuǎn)遠(yuǎn)不夠。提高識(shí)別能力、提高準(zhǔn)確性仍然是環(huán)境感知技術(shù)的重要研究方向?；谀澈Ｉ暇戎鶸SV實(shí)船數(shù)據(jù)進(jìn)行綜合感知技術(shù)的研究與探討，對(duì)提高USV的技術(shù)與安全航行具有一定的參考價(jià)值。