水下智能識(shí)別與自主抓取機(jī)器人設(shè)計(jì)與實(shí)現(xiàn)

高天銘,閆 敬 ,尤康林,張 良,林景勝,羅小元

(1.燕山大學(xué)電氣工程學(xué)院,河北秦皇島 066004;2.國家海洋技術(shù)中心自然資源部海洋觀測(cè)技術(shù)重點(diǎn)實(shí)驗(yàn)室,天津 300110)

1 引言

海珍品,例如海參、海膽、扇貝等,富含豐富的蛋白質(zhì)和微量元素,具有極高的營養(yǎng)價(jià)值.近年來,隨著國民收入的持續(xù)增加以及對(duì)健康的日益關(guān)注,人們對(duì)海參為代表的海珍品需求量逐年遞增.目前,通常采用人工作業(yè)的方式對(duì)海珍品進(jìn)行捕撈,潛水員需潛入海中半小時(shí)至兩小時(shí)不等,長期的潛水作業(yè)一方面對(duì)潛水員身體造成極大的危害,另一方面增加了捕撈成本.為保證潛水員的健康安全、提升捕撈效率、降低捕撈成本,亟需設(shè)計(jì)一套面向海珍品捕撈的水下智能識(shí)別與自主抓取機(jī)器人.

目前,常用的目標(biāo)智能識(shí)別算法主要分為兩類:1)以Fast R-CNN[1]為代表的二階段算法,其優(yōu)點(diǎn)是擁有較高的檢測(cè)精度,例如文獻(xiàn)[2]使用自制數(shù)據(jù)集訓(xùn)練Fast R-CNN模型,并通過核相關(guān)濾波算法完成了對(duì)海珍品的識(shí)別與跟蹤;文獻(xiàn)[3]使用透視變換和光照合成對(duì)數(shù)據(jù)集擴(kuò)增,進(jìn)而使用Fast R-CNN完成海珍品檢測(cè).但上述網(wǎng)絡(luò)架構(gòu)層數(shù)多、在線推理辨識(shí)實(shí)時(shí)性差,不適合水下目標(biāo)檢測(cè)這種實(shí)時(shí)性要求高的場(chǎng)合;2)YOLO系列[4]的一階段檢測(cè)算法,例如文獻(xiàn)[5]將多尺度視網(wǎng)膜的顏色增強(qiáng)算法與YOLO識(shí)別算法相結(jié)合實(shí)現(xiàn)海洋牧場(chǎng)中的魚群檢測(cè);文獻(xiàn)[6]通過空間金字塔結(jié)構(gòu)擴(kuò)大感受域,將目標(biāo)檢測(cè)轉(zhuǎn)化為回歸問題,使其具有較高的檢測(cè)速度與實(shí)時(shí)性,但所使用的YOLOv4網(wǎng)絡(luò)架構(gòu)包含162層,過深的層數(shù)導(dǎo)致網(wǎng)絡(luò)參數(shù)龐大,對(duì)系統(tǒng)硬件要求高.此外,現(xiàn)有的水下目標(biāo)識(shí)別方法通常采用雙目相機(jī)進(jìn)行目標(biāo)識(shí)別,例如Cui等人[7]通過雙目相機(jī)中左右目標(biāo)的四角鄰域匹配以確定水下目標(biāo)對(duì)應(yīng)位置.Xu等人[8]在高斯混合模型下設(shè)定了目標(biāo)識(shí)別的可接受閾值,并使用倫茨畸變模型對(duì)雙目相機(jī)校正以實(shí)現(xiàn)目標(biāo)定位.然而,雙目相機(jī)存在目標(biāo)搜索范圍窄的不足,此外基于可接受閾值的識(shí)別算法對(duì)閾值的依賴度過高,尤其當(dāng)目標(biāo)位置發(fā)生改變或出現(xiàn)水流等干擾時(shí)易產(chǎn)生誤判.如何設(shè)計(jì)一種網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、搜索范圍廣且誤判率低的水下目標(biāo)智能識(shí)別算法顯得尤為重要.

基于已識(shí)別的水下圖像信息,水下機(jī)器人對(duì)目標(biāo)的追蹤控制是抓取的基礎(chǔ)與前提.為此文獻(xiàn)[9]使用擴(kuò)展卡爾曼濾波觀測(cè)器預(yù)測(cè)目標(biāo)軌跡,并通過模型預(yù)測(cè)與非線性控制器克服模型不確定和隨機(jī)干擾;文獻(xiàn)[10]通過異步定位算法確定水下機(jī)器人位置,采用多元概率配置法估計(jì)系統(tǒng)模型的不確定參數(shù),最后設(shè)計(jì)了基于強(qiáng)化學(xué)習(xí)的跟蹤控制器;文獻(xiàn)[11]構(gòu)建了合作跟蹤網(wǎng)絡(luò),使水下機(jī)器人利用浮標(biāo)定位估計(jì)器獲取自身位置,進(jìn)一步通過自適應(yīng)非奇異終端滑膜跟蹤控制器抵達(dá)目標(biāo).而能否實(shí)現(xiàn)海珍品目標(biāo)的有效抓取將決定整個(gè)任務(wù)的成敗.為此,文獻(xiàn)[12]利用雙目視覺算法調(diào)整水下機(jī)器人位姿,進(jìn)而設(shè)計(jì)基于角度和電流反饋的比例-積分-微分抓取控制器.文獻(xiàn)[13]通過反向曲率模型求解多自由度機(jī)械臂逆運(yùn)動(dòng)學(xué),采用自適應(yīng)控制來抓取水下目標(biāo).此外,文獻(xiàn)[14]設(shè)計(jì)了一種多信號(hào)比例反饋控制器,即通過水下機(jī)器人的定位信息、深度信息和目標(biāo)檢測(cè)信息的聯(lián)合反饋調(diào)整位姿,以實(shí)現(xiàn)不同圖像識(shí)別狀態(tài)下的目標(biāo)抓取.上述文獻(xiàn)通常假設(shè)水下機(jī)器人在抓取過程中深度是固定不變的,而受水流等不確定擾動(dòng)影響,水下機(jī)器人深度呈時(shí)變波動(dòng)特性.上述特性,一方面降低水下目標(biāo)的識(shí)別定位精度;另一方面引起抓取機(jī)構(gòu)的不規(guī)律機(jī)械振動(dòng),降低抓取效率甚至失敗.此外,考慮水下機(jī)器人動(dòng)力學(xué)建模非常困難,文獻(xiàn)[12-14]采用了比例-積分-微分或者比例控制器實(shí)現(xiàn)水下目標(biāo)的抓取,其優(yōu)點(diǎn)是簡(jiǎn)單且不依賴于系統(tǒng)模型,但其控制器的參數(shù)選擇將直接影響抓取性能.盡管學(xué)者們提出很多適合陸地環(huán)境的參數(shù)調(diào)整策略[15-17],但如何考慮水下機(jī)器人深度時(shí)變波動(dòng)特性,以設(shè)計(jì)一種適合水下識(shí)別與抓取的比例-積分-微分控制器參數(shù)調(diào)整策略仍是一個(gè)待解決的問題.

本文搭建了兼具目標(biāo)識(shí)別與抓取功能的水下機(jī)器人,設(shè)計(jì)了水下智能識(shí)別與自主抓取算法,并通過水池測(cè)試驗(yàn)證了所提方法的實(shí)用性.論文主要貢獻(xiàn)如下:1)設(shè)計(jì)了具有目標(biāo)識(shí)別與抓取功能的水下機(jī)器人,該機(jī)器人對(duì)器件間通信與人機(jī)通信進(jìn)行聯(lián)合設(shè)計(jì),可實(shí)現(xiàn)識(shí)別與抓取信息的有效反饋,具有操控簡(jiǎn)單以及可靠性高等優(yōu)點(diǎn);2)在YOLOv4-tiny網(wǎng)絡(luò)[18]下,提出了基于單雙目自適應(yīng)切換與多目標(biāo)選擇的水下目標(biāo)識(shí)別定位算法,與基于YOLOv4網(wǎng)絡(luò)的識(shí)別算法[6]相比,該算法具有復(fù)雜度低的優(yōu)點(diǎn),與文獻(xiàn)[7-8]相比,該算法通過單雙目自適應(yīng)切換與多目標(biāo)選擇策略擴(kuò)大了目標(biāo)識(shí)別視野、降低了誤判率;3)提出了基于模糊比例-積分-微分的抓取控制器,與文獻(xiàn)[12-14]不同,該控制器加入了定深設(shè)計(jì),可克服水下機(jī)器人深度時(shí)變特性對(duì)抓取性能的影響,同時(shí)模糊規(guī)則的引入可有效提升控制性能.

2 水下抓取機(jī)器人系統(tǒng)設(shè)計(jì)

如圖1所示,設(shè)計(jì)了水下圖像智能識(shí)別與自主抓取機(jī)器人,該水下機(jī)器人主要由圖像處理單元、通信單元、控制單元、上位機(jī)及機(jī)械手抓取單元組成.

圖1 水下抓取機(jī)器人樣機(jī)圖Fig.1 Prototype of the underwater grasp vehicle

其中圖像處理單元負(fù)責(zé)接收單雙目相機(jī)采集的視頻流,進(jìn)而通過構(gòu)建的YOLOv4-tiny網(wǎng)絡(luò)完成海珍品等目標(biāo)的在線識(shí)別與定位;通信單元通過串行通信等方式以確保人機(jī)之間和各個(gè)內(nèi)部器件之間的數(shù)據(jù)傳輸;控制單元根據(jù)采集到的傳感器數(shù)據(jù)和圖像處理數(shù)據(jù),通過所設(shè)計(jì)的水下機(jī)器人航行與抓取控制器,以實(shí)現(xiàn)水下機(jī)器人對(duì)海珍品等目標(biāo)的實(shí)時(shí)趨近與可靠定深抓取;上位機(jī)通過接收通信單元傳輸?shù)臄?shù)據(jù),進(jìn)而完成視頻流和傳感器數(shù)據(jù)的可視化;機(jī)械手抓取單元根據(jù)控制單元指令,通過舵機(jī)轉(zhuǎn)動(dòng)以調(diào)動(dòng)齒輪機(jī)構(gòu)實(shí)現(xiàn)開閉,完成對(duì)目標(biāo)的抓取.基于上述單元,系統(tǒng)硬件主要包含控制艙、電池艙、單雙目相機(jī)、照明燈、機(jī)械手、測(cè)距聲吶以及推進(jìn)器,其結(jié)構(gòu)關(guān)系如圖2所示.

圖2 水下抓取機(jī)器人結(jié)構(gòu)關(guān)系Fig.2 Structural relationship of underwater grasp vehicle

2.1 圖像處理單元

圖像處理單元將水下視覺裝置采集的視頻流,分別傳輸至控制單元與上位機(jī),以進(jìn)行反饋決策與在線監(jiān)測(cè).為此,選用樹莓派4B作為圖像處理主板,構(gòu)建了YOLOv4-tiny網(wǎng)絡(luò)完成海珍品等目標(biāo)的在線識(shí)別與定位,并外接一枚邊緣計(jì)算芯片提升計(jì)算能力,保證識(shí)別與定位過程中的實(shí)時(shí)性.該主板包含4個(gè)USB接口,分別外接控制器通訊串口、計(jì)算芯片、及單雙目相機(jī);同時(shí)其千兆以太網(wǎng)接口,外接控制艙內(nèi)的電力載波模塊;此外水下視覺裝置由控制艙內(nèi)的單目廣角相機(jī)和艙外的雙目相機(jī)組成,其中單目廣角相機(jī)置于控制艙半球罩內(nèi),具有廣闊的視野,負(fù)責(zé)遠(yuǎn)距離目標(biāo)的識(shí)別;艙外雙目相機(jī)置于機(jī)械手上方,負(fù)責(zé)近距離目標(biāo)的識(shí)別與定位.

2.2 通信單元

考慮數(shù)據(jù)的有效傳輸和人機(jī)交互與自主抓取的需求,從人機(jī)通信和器件間通信兩個(gè)層面分別設(shè)計(jì).具體來說,在人機(jī)通信層面,通過IEEE802.11無線通信協(xié)議將手柄控制信號(hào)傳輸至上位機(jī);上位機(jī)對(duì)手柄控制信號(hào)進(jìn)行解算,并將解算數(shù)據(jù)和上位機(jī)命令傳輸給電力載波模塊,電力載波模塊采用IEEE1901.1有線通信協(xié)議將上述數(shù)據(jù)轉(zhuǎn)發(fā)至樹莓派;與此同時(shí),上位機(jī)通過電力載波模塊接收樹莓派的反饋信息,以實(shí)現(xiàn)人機(jī)通信層面信息的雙向交互.在器件間通信層面,樹莓派通過USB通信協(xié)議接收來自水下視覺裝置傳輸?shù)囊曨l流,并通過通用異步串行收發(fā)(universal asynchronous receiver transmitter,UART)協(xié)議將圖像處理數(shù)據(jù)傳輸至控制器;控制器接收樹莓派發(fā)送的數(shù)據(jù),并通過集成電路總線(inter-integrated circuit,I2C)、UART通信協(xié)議接收來自深度傳感器、聲吶、慣性測(cè)量單元采集的深度、航速、姿態(tài)等數(shù)據(jù),以實(shí)現(xiàn)器件間通信層面上信息的雙向交互.此外,為防止不同鏈路間發(fā)生通信干擾,每條通信鏈路配置了不同的頻帶.

2.3 上位機(jī)

為實(shí)現(xiàn)海珍品等目標(biāo)視頻流和傳感器數(shù)據(jù)的可視化,開發(fā)了如圖3所示的上位機(jī).需注意的是,上位機(jī)具有顯示和控制兩大功能,不僅能通過調(diào)節(jié)參數(shù)、調(diào)用運(yùn)動(dòng)指令、使用復(fù)位命令實(shí)現(xiàn)水下機(jī)器人的調(diào)試、布放和上浮回收,而且可通過傳感器數(shù)值和視頻流的可視化界面,實(shí)現(xiàn)水下機(jī)器人姿態(tài)信息、深度信息及水下識(shí)別與抓取情況的實(shí)時(shí)監(jiān)測(cè).

圖3 上位機(jī)界面Fig.3 Supervisory computer interface

2.4 機(jī)械手抓取單元

所設(shè)計(jì)的機(jī)械手抓取單元由樹脂機(jī)械連桿、連接器件、鋁制機(jī)械抓手和防水舵機(jī)組成.由于海珍品的種類、大小和硬度不一,為防止抓取力過大損害海珍品,在機(jī)械抓手內(nèi)側(cè)海綿置有一個(gè)壓力傳感器,在抓取時(shí)傳感器壓力探針進(jìn)行壓力反饋,通過對(duì)抓取力的動(dòng)態(tài)調(diào)節(jié)可實(shí)現(xiàn)無損抓取.同時(shí)當(dāng)機(jī)械手夾緊海珍品時(shí),由于舵機(jī)的電氣特性會(huì)產(chǎn)生堵轉(zhuǎn)電流,機(jī)械手閉合時(shí)間過久會(huì)出現(xiàn)堵轉(zhuǎn)故障,嚴(yán)重甚至燒毀控制器.為此,在控制器與機(jī)械手之間配置了一枚繼電器,當(dāng)機(jī)械手完成抓取回收動(dòng)作后,繼電器自動(dòng)觸發(fā)斷開電路使舵機(jī)斷開防止出現(xiàn)持續(xù)堵轉(zhuǎn),再次發(fā)送控制信號(hào)機(jī)械手復(fù)位.

3 軟件設(shè)計(jì)與實(shí)現(xiàn)

水下機(jī)器人采用如圖4所示的流程抓取目標(biāo):首先使用海珍品數(shù)據(jù)集對(duì)YOLOv4-tiny網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練,訓(xùn)練完畢后將該網(wǎng)絡(luò)模型構(gòu)建至樹莓派;將水下機(jī)器人布放至指定海域,利用測(cè)距聲吶測(cè)量海底深度,并下潛至預(yù)設(shè)深度,樹莓派通過單目相機(jī)采集的視頻流在線搜索識(shí)別;水下機(jī)器人環(huán)視確認(rèn)四周是否存在目標(biāo),若不存在則調(diào)整水平位姿再次環(huán)視,若存在則向目標(biāo)趨近并調(diào)整姿態(tài);隨著水下機(jī)器人趨近目標(biāo),單目-雙目自適應(yīng)切換算法關(guān)閉單目相機(jī)開啟雙目相機(jī)對(duì)目標(biāo)識(shí)別定位;判斷目標(biāo)是否處于機(jī)械手可抓取范圍,若不在則水下機(jī)器人繼續(xù)調(diào)整姿態(tài),若在則根據(jù)雙目相機(jī)所測(cè)距離調(diào)整姿態(tài)下潛,通過機(jī)械手完成目標(biāo)的定深抓取,抓取完畢上浮至預(yù)設(shè)深度重復(fù)上述步驟;若作業(yè)時(shí)間結(jié)束,機(jī)器人上浮至海面,人員對(duì)其進(jìn)行回收.

圖4 目標(biāo)抓取主要流程Fig.4 The main operations of the target grasping

3.1 水下目標(biāo)智能識(shí)別

水下目標(biāo)智能識(shí)別包括離線訓(xùn)練與在線識(shí)別兩個(gè)過程,其中離線訓(xùn)練過程需要訓(xùn)練出滿足目標(biāo)識(shí)別要求的網(wǎng)絡(luò)模型,在線識(shí)別過程需要通過構(gòu)建的網(wǎng)絡(luò)模型完成海珍品的實(shí)時(shí)檢測(cè).需要注意的是,本文研究重點(diǎn)為真實(shí)海洋環(huán)境下的海珍品智能識(shí)別和自主捕撈.與陸地環(huán)境不同,海洋弱光照條件由于光線在水中的吸收、散射衰減特性,影響進(jìn)一步目標(biāo)識(shí)別,通常采用文獻(xiàn)[19-21]的圖像增強(qiáng)算法,解決所采集圖像模糊不清、低對(duì)比度及噪聲等問題.本文在物理層面使用兩個(gè)黃光照明燈并使光線匯聚在搜索區(qū)域,以表現(xiàn)海珍品特征并還原其色彩對(duì)比度,圖像增強(qiáng)部分并非本文的研究重點(diǎn).

3.1.1 離線訓(xùn)練

采用YOLOv4-tiny網(wǎng)絡(luò)進(jìn)行水下圖像離線訓(xùn)練.該網(wǎng)絡(luò)主要由主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和預(yù)測(cè)頭組成,最小組件由卷積層、歸一化層和泄露線性整流函數(shù)(convolution-batch normalization-leaky-relu,CBL)組成.相比與傳統(tǒng)YOLOv4,其主干部分使用的跨階段局部網(wǎng)絡(luò)由原網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化而來[22],將提取的特征分為殘差塊和路由層,并將兩部分結(jié)果合并輸出至最大池化層以提高計(jì)算速度;頸部網(wǎng)絡(luò)僅保留特征金字塔結(jié)構(gòu)[23],由預(yù)測(cè)頭對(duì)得到的特征結(jié)果預(yù)測(cè),可輸出兩個(gè)尺度的預(yù)測(cè)結(jié)果.網(wǎng)絡(luò)模型總層數(shù)僅有38層,內(nèi)部參數(shù)由6000萬減小至600萬,降低了復(fù)雜度.離線訓(xùn)練過程包括如下步驟.

步驟1(數(shù)據(jù)集建立) 所建立的數(shù)據(jù)集包括海參、海膽、扇貝等海珍品.共6000張圖片,結(jié)合海珍品視覺圖像的自身特征,對(duì)數(shù)據(jù)庫中的圖片進(jìn)行數(shù)據(jù)清洗,并將不能表現(xiàn)目標(biāo)特征的圖片剔除,保證圖片的特征一致性.同時(shí)對(duì)部分圖片隨機(jī)切割和旋轉(zhuǎn),并將室內(nèi)水池模擬環(huán)境采集的500張海珍品圖片一同添加至數(shù)據(jù)集.所建立的數(shù)據(jù)集包含6000張圖片,海珍品個(gè)數(shù)在數(shù)據(jù)集中均勻分布,將訓(xùn)練集劃分為5000張圖片的訓(xùn)練集和1000張圖片的測(cè)試集.

步驟2(標(biāo)簽劃分) 對(duì)數(shù)據(jù)集不同種類的海珍品進(jìn)行標(biāo)定與標(biāo)簽劃分.隨后將測(cè)試集輸入至YOLOv4-tiny網(wǎng)絡(luò)模型中,輸入圖片的大小被調(diào)整至416×416以確保輸入的唯一性.

步驟3(網(wǎng)絡(luò)訓(xùn)練) 設(shè)置迭代次數(shù)和初始學(xué)習(xí)率,調(diào)整權(quán)重衰退因子和抖動(dòng)因子,防止網(wǎng)絡(luò)出現(xiàn)過擬合.采用動(dòng)量梯度下降法作為學(xué)習(xí)算法,迭代次數(shù)結(jié)束則訓(xùn)練完成,并得到損失函數(shù).若損失函數(shù)沒有收斂,則增加迭代次數(shù);若收斂則進(jìn)入步驟4.

步驟4(網(wǎng)絡(luò)測(cè)試與模型評(píng)價(jià)) 將測(cè)試集輸入網(wǎng)絡(luò)模型,根據(jù)訓(xùn)練集和測(cè)試集得到的平均精度值(average precision,AP)和平均精度均值(mean average percision,mAP)評(píng)價(jià)模型性能,若訓(xùn)練集遠(yuǎn)高于測(cè)試集考慮出現(xiàn)過擬合,添加訓(xùn)練樣本返回步驟3調(diào)整參數(shù)重新訓(xùn)練,直到網(wǎng)絡(luò)模型在訓(xùn)練集和測(cè)試集皆具有較高的AP值和mAP值.上述模型評(píng)價(jià)與召回率Rec和準(zhǔn)確率Pre有關(guān),定義如下

其中:OIoU∈[0,1]為預(yù)測(cè)框與真實(shí)物體框的交并比,在實(shí)際應(yīng)用中通常取;TP表示OIoU≥時(shí)正確檢測(cè)的海珍品數(shù)目;FP表示時(shí)錯(cuò)誤檢測(cè)的海珍品數(shù)目;FN為漏檢數(shù)目.進(jìn)一步通過插值計(jì)算每種海珍品平均精度值,其中:k為圖片的次序;N為測(cè)試集中的圖片總數(shù);?k表示第k張圖片后,具有最大召回率的圖片.mAP值為式(3)中每類海珍品AP值的均值

3.1.2 在線識(shí)別

在水下圖像在線識(shí)別階段,將已離線訓(xùn)練的模型嵌入至樹莓派,將單雙目相機(jī)實(shí)時(shí)采集的視頻流作為輸入,識(shí)別框的類別和位置信息作為有效反饋,以完成海珍品等水下目標(biāo)的在線識(shí)別.

根據(jù)單雙目相機(jī)視野范圍不同,以圖5為例,O為原點(diǎn)建立坐標(biāo)系,將其劃分為以O(shè)為原點(diǎn)長度A3寬度B3的單目域、以O(shè)為原點(diǎn)長度A2寬度B2的雙目域和以O(shè)1為原點(diǎn)長度A3寬度B3的抓取可行域3個(gè)區(qū)域.其中,O1點(diǎn)坐標(biāo)(0,y1),y1為縱坐標(biāo);目標(biāo)識(shí)別框中心點(diǎn)O2坐標(biāo)為(x2,y2),x2為橫坐標(biāo),y2為縱坐標(biāo);抓取可行域下方器件為機(jī)械手在圖像中的示意圖.

圖5 單目-雙目視域劃分示意圖Fig.5 Monocular-binocular field of view division

基于上述可行域,提出了單目-雙目自適應(yīng)切換算法以完成目標(biāo)位于不同視域時(shí)相機(jī)的選擇,擴(kuò)大水下機(jī)器人視野范圍,提高搜索效率.首先利用單目相機(jī)識(shí)別搜索目標(biāo),選擇目標(biāo)后更新目標(biāo)的位置(x2,y2);判定目標(biāo)位置是否位于雙目域,若位于雙目域則切換至雙目相機(jī),開啟雙目測(cè)距功能獲取目標(biāo)的距離信息;繼續(xù)更新目標(biāo)位置,并判定目標(biāo)是否處于抓取可行域,若是則根據(jù)雙目相機(jī)所測(cè)距離解算水下機(jī)器人抓取需要調(diào)整的位姿,若否則水下機(jī)器人繼續(xù)向目標(biāo)趨近調(diào)整;最后水下機(jī)器人按解算的距離信息調(diào)整位姿完成抓取,將雙目相機(jī)切換回單目相機(jī).具體實(shí)現(xiàn)步驟如表1所示.在上述單雙目相機(jī)在線識(shí)別階段,檢測(cè)頭對(duì)一個(gè)目標(biāo)檢測(cè)時(shí)可能會(huì)輸出多個(gè)識(shí)別框,每個(gè)識(shí)別框的置信度反映了網(wǎng)絡(luò)識(shí)別目標(biāo)的可靠程度

表1 單目-雙目自適應(yīng)切換算法Table 1 Mono-binocular adaptive switching algorithm

其中Eobj為檢測(cè)到海珍品的概率,若檢測(cè)到海珍品取1,未檢測(cè)到海珍品則取0.并采用非極大值抑制算法,僅保留所獲得的多個(gè)識(shí)別框中置信度最大值的海珍品識(shí)別框,將其余識(shí)別框篩除.

此外,真實(shí)海洋環(huán)境的海珍品具有聚集特性,針對(duì)多個(gè)海珍品的目標(biāo)識(shí)別問題,設(shè)計(jì)了基于多目標(biāo)選擇的目標(biāo)持續(xù)選擇算法,以完成對(duì)單個(gè)目標(biāo)的持續(xù)選擇與識(shí)別.首先,設(shè)置海珍品置信度閾值?vp并采集k幀視頻流,按照式(4)計(jì)算置信度,若某一幀某海珍品置信度小于該閾值,則將該海珍品篩除,計(jì)篩除完畢后剩余海珍品的總數(shù)為q,并計(jì)算上述k幀中第j個(gè)海珍品的置信度均值即

其中:i為圖片的幀數(shù);j=1,2,···,q為海珍品標(biāo)號(hào);表示第i幀中的第j個(gè)海珍品的置信度.取平均置信度最大海珍品為所期望目標(biāo),并記錄該目標(biāo)的種類和坐標(biāo)(m,n).隨后計(jì)算第k+1幀每個(gè)海珍品與第k幀所選擇目標(biāo)(m,n)的歐氏距離Lj,即

其中:a與b為正常數(shù)為第j個(gè)海珍品在第k+1幀的坐標(biāo),xj為橫坐標(biāo),yj為縱坐標(biāo).進(jìn)而計(jì)算每個(gè)海珍品的相似度得分Sj

其中:c1,c2與c3為權(quán)重系數(shù),當(dāng)海珍品與被選擇目標(biāo)為同一類時(shí)η=1,否則表示第k+1幀第j個(gè)目標(biāo)的置信度.基于此可求得相似度得分最大值的海珍品即為第k+1幀選擇目標(biāo).重復(fù)上述步驟,即可實(shí)現(xiàn)單目/雙目目標(biāo)識(shí)別過程中對(duì)單一目標(biāo)的持續(xù)選擇,具體實(shí)現(xiàn)方式如表2所示.

表2 基于多目標(biāo)選擇的目標(biāo)持續(xù)識(shí)別Table 2 Target continuous recognition based on multitarget selection

在上述識(shí)別基礎(chǔ)上設(shè)計(jì)雙目視覺下的目標(biāo)定位策略.設(shè)f為雙目相機(jī)焦距,左右目相機(jī)光心距離為T.在水平不同位置采集圖像時(shí),目標(biāo)在左右兩個(gè)平面成像橫坐標(biāo)為xl與xr,視差即為Δx=xl-xr.根據(jù)相似三角形原理得出目標(biāo)到相機(jī)的理論距離值Z

利用塊匹配方法[24],可得出雙目相機(jī)采集圖像的最小絕對(duì)誤差矩陣(sum of absolute differences,SAD),即

其中:λ為正方形滑動(dòng)窗口的邊長;l為滑動(dòng)窗口在右相機(jī)的覆蓋區(qū)域,r為滑動(dòng)窗口在右相機(jī)的覆蓋區(qū)域;α與β分別為滑動(dòng)窗口內(nèi)像素點(diǎn)的橫縱坐標(biāo).

測(cè)距過程可歸結(jié)為:獲取目標(biāo)點(diǎn)在雙目左相機(jī)中位置(x2l,y2l);在左相機(jī)以目標(biāo)點(diǎn)坐標(biāo)為中心用λ×λ大小的窗口覆蓋,得到像素區(qū)域l,并在右相機(jī)的同一行選擇起始點(diǎn),使用同樣大小窗口覆蓋,得到像素區(qū)域r;根據(jù)式(9)計(jì)算SAD值,以τ為步長沿同一行滑動(dòng)右相機(jī)窗口r,得到該行像素點(diǎn)的SAD矩陣;該矩陣中數(shù)值最小的一項(xiàng)為左右相機(jī)的最佳匹配塊,可得到目標(biāo)在右相機(jī)中的位置(x2r,y2r),左右相機(jī)的橫坐標(biāo)之差即為所求視差Δx=x2l-x2r;根據(jù)式(8),可計(jì)算出目標(biāo)到雙目相機(jī)的距離Z.需要注意的是,所使用的雙目相機(jī)為集成了左右目相機(jī)的模組,視頻流已在模組內(nèi)部合成,經(jīng)過目標(biāo)識(shí)別再劃分為左右目圖像.若使用兩個(gè)獨(dú)立單目相機(jī)分別采集兩路視頻流進(jìn)行識(shí)別,兩相機(jī)可能不能同時(shí)識(shí)別目標(biāo)從而無法求取視差,且難以保證采集圖像的同步性.

3.2 自主抓取

自主抓取分為水下機(jī)器人深度控制和趨近控制兩部分,其中深度控制過程需要水下機(jī)器人根據(jù)反饋的深度信息,完成定深搜索及定深抓取;趨近控制過程需要水下機(jī)器人根據(jù)所識(shí)別目標(biāo)位置的反饋完成水平位姿的調(diào)整并趨近目標(biāo).

3.2.1 水下機(jī)器人深度控制

水下機(jī)器人深度控制分為定深搜索及定深抓取兩部分,需要深度信息的精確反饋.測(cè)距聲吶通過向海底發(fā)射聲束,聲束到達(dá)海底會(huì)產(chǎn)生回波,通過聲束收發(fā)的時(shí)間差即可測(cè)算當(dāng)前水下機(jī)器人距離海底的距離.但當(dāng)水下機(jī)器人貼近海底抓取時(shí),回波信號(hào)太強(qiáng),會(huì)造成數(shù)據(jù)紊亂導(dǎo)致聲吶失效;深度傳感器可通過外部探針感知當(dāng)前深度水壓,而深度與水壓存在映射關(guān)系,通過與海面水壓值比對(duì),即可解算出當(dāng)前所處深度.但隨著下潛抓取深度增加,海水的溫鹽深會(huì)使誤差累積,從而影響測(cè)深精度.為此,采用一種聲吶-深度傳感器的聯(lián)合定深策略保證深度信息的精確反饋,一方面解決短距離聲吶回波過強(qiáng)引起的聲吶失效問題,另一方面減小海水溫鹽深帶來的不利影響:在定深搜索過程采用測(cè)距聲吶定深.首先將水下機(jī)器人布放至指定海域海平面,由測(cè)距聲吶計(jì)算海平面到海底的垂直距離H,隨后下潛至期望深度Ed1,并保持該深度識(shí)別搜索

其中:He為聲吶失效距離;δ為保證清晰識(shí)別條件下調(diào)整的深度,二者由試驗(yàn)測(cè)得.在下潛抓取過程中采用深度傳感器配合雙目測(cè)距信息定深.具體來說,水下機(jī)器人搜索到目標(biāo)后向目標(biāo)進(jìn)行趨近,當(dāng)目標(biāo)處于圖5中劃分的的抓取可行域時(shí),再開啟深度傳感器測(cè)量此刻深度h.同時(shí)雙目相機(jī)對(duì)目標(biāo)識(shí)別框中心點(diǎn)測(cè)距,水下機(jī)器人根據(jù)測(cè)距結(jié)果調(diào)整自身位姿,首先前進(jìn)cosθ(Z+Δz),再下潛sinθ(Z+Δz)以完成抓取.其中Δz為雙目測(cè)距修正誤差,θ為雙目相機(jī)傾角.在上述下潛抓取過程,不論雙目相機(jī)是否能識(shí)別目標(biāo),水下機(jī)器人都將根據(jù)雙目測(cè)距結(jié)果調(diào)整位姿.則定深抓取時(shí)深度傳感器的期望深度

基于上述深度信息的反饋進(jìn)行深度控制.根據(jù)水下機(jī)器人所處深度不同考慮以下情況:1)處于海平面,機(jī)身未完全浸沒海水,浮力較小;2)定深搜索,機(jī)身完全浸沒海水,浮力增大;3)定深抓取,此時(shí)距海底較近,推進(jìn)器高速旋轉(zhuǎn)加快海底與水下機(jī)器人間水流流速,產(chǎn)生向下壓力.因此深度控制參考圖6所示的深度控制框圖.深度環(huán)采用模糊比例-積分-微分控制下潛深度,確保在識(shí)別搜索和抓取過程完成期望深度的定深;角度環(huán)采用比例-積分-微分控制俯仰角,以確保豎直下潛.其中,d,?為當(dāng)前深度和俯仰角,俯仰角可由艙內(nèi)慣性測(cè)量單元測(cè)得;Ed,E?為期望深度和期望俯仰角;ed,e?為深度及俯仰角偏差;v1,v2為深度環(huán)、角度環(huán)輸出的推進(jìn)器轉(zhuǎn)速,對(duì)應(yīng)的推進(jìn)器輸出轉(zhuǎn)速v可由下式求得

圖6 深度控制框圖Fig.6 The block diagram of depth control

其中:ζ=1,2,···,Ω為采樣時(shí)刻,Ω為采樣時(shí)間;Δed,Δe?為深度和俯仰角在相鄰采樣時(shí)刻的差值;γ為使水下機(jī)器人在海水中處于懸停狀態(tài)時(shí)的推進(jìn)器轉(zhuǎn)速值;KP1,KI1,KD1分別為深度環(huán)比例、積分、微分增益系數(shù),通過下式整定

式中:K′P1,K′I1,K′D1為深度環(huán)的比例、積分、增益初值,ΔKP1,ΔKI1,ΔKD1為模糊控制器的比例、積分、微分增益輸出,該模糊控制器以當(dāng)前深度d為輸入,以ΔKP1,ΔKI1,ΔKD1為輸出,將輸入輸出劃分為S,M,B3個(gè)模糊子集分別代表小、中、大,并制定了3條模糊規(guī)則.KP2,KI2,KD2為角度環(huán)比例、積分、微分系數(shù).

3.2.2 水下機(jī)器人趨近控制

在水下機(jī)器人向目標(biāo)趨近過程中,按圖5計(jì)算目標(biāo)點(diǎn)與抓取可行域中心點(diǎn)的橫縱偏移量ex,ey及相鄰采樣時(shí)間的偏移量差值Δex,Δey,根據(jù)目標(biāo)所處位置不同分為以下兩種趨近策略:1)當(dāng)y2∈時(shí),水下機(jī)器人調(diào)整偏航角使ex=0,再行進(jìn)至ey=0.2)當(dāng)時(shí),水下機(jī)器人首先橫移運(yùn)動(dòng)至ex=0,再縱移至ey=0.兩種策略首先皆根據(jù)橫偏移量調(diào)整偏航角或進(jìn)行橫移,由于水下機(jī)器人在調(diào)整ex時(shí)受水流影響較大,故在該過程中采用模糊比例-積分-微分控制,在調(diào)整ey時(shí)采用比例-積分-微分控制.所對(duì)應(yīng)的推進(jìn)器轉(zhuǎn)速由下式求出

其中:v3,v4為調(diào)整橫縱偏移量輸出的推進(jìn)器轉(zhuǎn)速,模糊控制器輸入為ex,Δex,ΔKP3,ΔKI3,ΔKD3為輸出.KP3,KI3,KD3為調(diào)整橫偏移量的增益,KP4,KI4,KD4為調(diào)整縱偏移量時(shí)的增益.

4 試驗(yàn)與分析

4.1 目標(biāo)識(shí)別與測(cè)距試驗(yàn)

如表3所示,使用相同的數(shù)據(jù)集訓(xùn)練了YOLOv4-tiny、YOLOv4和YOLOv3-tiny三種網(wǎng)絡(luò)模型作為對(duì)比.其中YOLOv4的mAP值可達(dá)86.32%,識(shí)別速度僅有4.6 FPS;YOLOv3-tiny雖然檢測(cè)速度最快,可以達(dá)到24.3 FPS,但mAP值僅有68.85%;而本文采用的YOLOv4-tiny網(wǎng)絡(luò)mAP值為80.4%,檢測(cè)速度為18.0 FPS,在樹莓派的檢測(cè)速度為9.3 FPS,可兼顧在線識(shí)別精度和速度的需求.

表3 網(wǎng)絡(luò)模型性能對(duì)比Table 3 Performance comparison of network models

此外,在數(shù)據(jù)集和室內(nèi)水池完成了目標(biāo)識(shí)別測(cè)試,結(jié)果如圖7所示.圖7(a)-(b)為數(shù)據(jù)集測(cè)試結(jié)果,所訓(xùn)練的YOLOv4-tiny網(wǎng)絡(luò)識(shí)別了所有的海珍品;圖7(c)為室內(nèi)水池正常光照下的識(shí)別場(chǎng)景,k=10,受水下機(jī)器人運(yùn)動(dòng)影響,中心的海參被誤識(shí)別為扇貝且具有7.7%的最大置信度,但結(jié)合前10幀的海珍品種類、歐氏距離及置信度計(jì)算相似度得分,算法將其篩除并選擇圖7(d)中右上角正確識(shí)別的海參.圖7(e)為夜晚僅開啟照明燈模擬海底弱光照的場(chǎng)景,受水下機(jī)器人運(yùn)動(dòng)及弱光照特征缺失影響,右側(cè)的海參被誤識(shí)別,但圖(f)中的扇貝目標(biāo)物被最終選定.由此證明了所設(shè)計(jì)的算法一定程度上能篩除誤識(shí)別的海珍品并有效實(shí)現(xiàn)單一目標(biāo)的持續(xù)選定,從而防止多目標(biāo)情況因決策失誤導(dǎo)致的誤抓取.

圖7 海珍品識(shí)別結(jié)果Fig.7 Recognition results of precious seafood

在目標(biāo)定位試驗(yàn)中,所使用的雙目相機(jī)焦距為f=3mm,光心距離T=60mm.在水池中經(jīng)過標(biāo)定得到該相機(jī)內(nèi)部參數(shù).隨后將一扇貝目標(biāo)置于視野范圍中的抓取可行域,進(jìn)行如圖8所示測(cè)距試驗(yàn),其中左側(cè)彩圖8(a)為扇貝目標(biāo)圖像,右側(cè)黑白圖像(b)為采用所設(shè)計(jì)的算法生成的視差圖.試驗(yàn)結(jié)果如表4所示,最后經(jīng)過抓取試驗(yàn)調(diào)整設(shè)修正誤差z=6cm,水下機(jī)器人在定深抓取過程中,將修正誤差引入式(11)中,使定深更加精準(zhǔn),提高抓取的成功率.

圖8 雙目測(cè)距試驗(yàn)Fig.8 Experiment of binocular distance measurement

表4 雙目測(cè)距結(jié)果Table 4 Results of binocular distance measurement

4.2 定深試驗(yàn)

為驗(yàn)證控制器的定深性能,在室外湖泊進(jìn)行了水下機(jī)器人定深下潛試驗(yàn).湖泊水深3.7 m,設(shè)置定深識(shí)別深度及定深抓取深度為3.1 m和3.68 m.分別采用所設(shè)計(jì)的模糊比例-積分-微分控制器和比例-積分-微分控制器進(jìn)行對(duì)比定深試驗(yàn).使用兩種方法的深度軌跡如圖9所示,可以看出在3.1 m深度時(shí),兩種方法均可實(shí)現(xiàn)定深,但模糊比例-積分-微分控制器超調(diào)較小;深度為3.68 m時(shí),使用比例-積分-微分控制器在定深過程中,由于水流流速加快引起附加壓力被反復(fù)壓向湖底,從而在圖中表現(xiàn)出震蕩,無法完成定深.而使用所設(shè)計(jì)的模糊比例-積分-微分控制器在兩種深度均可實(shí)現(xiàn)定深,證明了該控制器的有效性.

圖9 深度控制軌跡Fig.9 Depth control trajectory

4.3 抓取試驗(yàn)

為驗(yàn)證所設(shè)計(jì)水下機(jī)器人的抓取性能,在室內(nèi)水池布放了海參模型進(jìn)行了如圖10所示自主抓取試驗(yàn).該室內(nèi)水池水深0.7米,定深識(shí)別及定深抓取深度分別為0.1米和0.69米,t為時(shí)間,紅色虛線圈為待抓取的海參目標(biāo)物.圖10(a)-(d)為抓取過程中的俯視圖,在上述自主抓取過程中,所搭載單雙目相機(jī)傳回上位機(jī)的實(shí)時(shí)視頻流如圖10(e)-(j)所示.在圖10(f)中水下機(jī)器人識(shí)別到了目標(biāo)并向其趨近,直至圖10(g)中t=11s時(shí),目標(biāo)位于視域中的預(yù)設(shè)位置,單目-雙目自適應(yīng)切換算法切換至雙目相機(jī),切換后的圖像如圖10(h)所示.圖10(i)為開啟雙目測(cè)距并調(diào)整位姿進(jìn)行定深下潛抓取,最終如圖10(j)完成了該海參目標(biāo)的抓取.值得注意的是,在圖10(h)中可以清楚地看見兩個(gè)海參,但依然可以完成對(duì)目標(biāo)的選定,再次證明識(shí)別算法的有效性.

圖10 室內(nèi)水池自主抓取試驗(yàn)Fig.10 Autonomous grasping experiment in indoor pool

5 結(jié)論

本文研究了水下機(jī)器人目標(biāo)識(shí)別與抓取控制問題.在硬件層面采用器件間通信與人機(jī)通信聯(lián)合設(shè)計(jì)的方式,設(shè)計(jì)了水下機(jī)器人的各個(gè)單元.在軟件層面采用YOLOv4-tiny網(wǎng)絡(luò)提出了基于單雙目自適應(yīng)切換與多目標(biāo)選擇的水下目標(biāo)識(shí)別定位算法,進(jìn)而設(shè)計(jì)了基于模糊比例-積分-微分的抓取控制器.最后通過試驗(yàn)驗(yàn)證了所提出方法的實(shí)用性,所設(shè)計(jì)的目標(biāo)識(shí)別算法具有復(fù)雜度低、視野大以及誤判率低的優(yōu)點(diǎn),同時(shí)抓取控制器可克服深度時(shí)變特性的影響.