基于改進(jìn)YOLOv3-Tiny的端到端海參自吸捕方法研究*

周麗芹, 郭太遠(yuǎn), 姜遷里, 孫偉成, 李 棟, 宋大雷,**, 孫洪秀

(1.中國海洋大學(xué)工程學(xué)院, 山東 青島 266100; 2.中國海洋大學(xué)海洋高等研究院, 山東 青島 266100; 3.山東國興智能科技股份有限公司, 山東 煙臺(tái) 264006)

海參是一種低脂肪、高蛋白食品,海參養(yǎng)殖業(yè)在中國存在著巨大的商業(yè)價(jià)值,但隨著海參養(yǎng)殖業(yè)發(fā)展,人工捕撈成本越來越高,捕撈自動(dòng)化程度低,捕撈人員很容易患上減壓病。因此海參捕撈屬于高危行業(yè),市面上急需低人力成本的智能水下采捕機(jī)器人來改進(jìn)捕撈模式、降低捕撈成本,從而提高海參捕撈的自動(dòng)化水平。

在海參自動(dòng)捕撈領(lǐng)域,由于移動(dòng)方式及采捕方式等限制,目前市場上尚未存在成熟的海參捕撈機(jī)器人。山東威海未來機(jī)器人公司設(shè)計(jì)的海參捕撈機(jī)器人[1]在通過自帶的攝像頭識(shí)別海參后,受人力控制進(jìn)行海參的抓取,但該機(jī)器人單次捕撈數(shù)目較少。于敬東等[2]設(shè)計(jì)了一種履帶爬行的海參捕撈機(jī)器人,通過吸水泵產(chǎn)生吸力將海參吸入存儲(chǔ)倉,受限于水下地形及履帶的速度,該機(jī)器人采捕效率較低。

隨著人工智能的發(fā)展,深度學(xué)習(xí)算法在智能采捕中的水下目標(biāo)檢測領(lǐng)域中得到不斷發(fā)展及應(yīng)用。Guo等[3]采用不同配置的深度殘差網(wǎng)絡(luò)對水下海參進(jìn)行識(shí)別,該算法使識(shí)別準(zhǔn)確率達(dá)到89.53%的同時(shí)還具備較強(qiáng)的泛化能力。熊海濤等[4]在Faster R-CNN[5]框架的結(jié)構(gòu)上融入了多尺度特征提取層和實(shí)例分割功能,提高了算法的自適應(yīng)特征融合能力,實(shí)現(xiàn)了對海參的準(zhǔn)確識(shí)別,平均精度均值(Mean of Average Precision,mAP)達(dá)到了94.47%。Peng等[6]利用短切特征金字塔網(wǎng)絡(luò),通過改進(jìn)現(xiàn)有的多尺度特征融合策略實(shí)現(xiàn)對海參的有效識(shí)別,最終mAP達(dá)到94%。張嵐等[7]通過改進(jìn)單次多框檢測器(Single Shot MultiBox Detector,SSD)網(wǎng)絡(luò),增加感受野模塊(Receptive Field Block,RFB)和注意力機(jī)制,對不同的深度特征進(jìn)行強(qiáng)化,最終海參檢測mAP達(dá)到了95.63%。然而以上研究僅致力于解決如何在復(fù)雜水下環(huán)境下檢測到海參目標(biāo),未能進(jìn)一步跟吸捕操作結(jié)合從而實(shí)現(xiàn)海參的自動(dòng)吸捕的最終目的。

YOLOv3是一種先進(jìn)的單階段目標(biāo)檢測框架,YOLOv3-tiny[7-9]是在YOLOv3基礎(chǔ)上的輕量級(jí)檢測網(wǎng)絡(luò),YOLOv3-tiny及其改進(jìn)的網(wǎng)絡(luò)在精確度和速度之間進(jìn)行折中,在犧牲一定精確度的基礎(chǔ)上大大提高了移動(dòng)目標(biāo)的檢測速度,在自主移動(dòng)平臺(tái)得到了大量的應(yīng)用。

以上方法解決了快速實(shí)時(shí)的目標(biāo)檢測問題,還未能實(shí)現(xiàn)海參吸捕的最終目的。在計(jì)算機(jī)視覺領(lǐng)域,端到端特指基于視覺的機(jī)器控制,具體表現(xiàn)為機(jī)器的輸入信號(hào)為原始圖片,輸出信號(hào)為可以直接控制機(jī)器的控制指令。Levine等[10]利用端到端的方法輸入圖片,輸出控制機(jī)械手移動(dòng)的指令來抓取物品,實(shí)現(xiàn)了端到端算法在物體抓取中的應(yīng)用。Youssef等[11]利用端到端的方法輸入圖片,輸出汽車的姿態(tài)角度。

本文在以上方法的應(yīng)用基礎(chǔ)之上,提出了一種基于數(shù)據(jù)驅(qū)動(dòng)和以目標(biāo)為中心的改進(jìn)YOLOv3-tiny的端到端海參自主吸捕方法。在YOLOv3-tiny所改進(jìn)的網(wǎng)絡(luò)基礎(chǔ)上,通過對特征提取網(wǎng)絡(luò)進(jìn)行增強(qiáng),同時(shí)對海參數(shù)據(jù)集邊界框尺寸進(jìn)行重新聚類,在保證實(shí)時(shí)性的基礎(chǔ)上提高識(shí)別的準(zhǔn)確性,實(shí)現(xiàn)吸捕視角下海參目標(biāo)的端到端精準(zhǔn)實(shí)時(shí)吸捕,推動(dòng)了海參采捕的智能化發(fā)展。

1 海參吸捕機(jī)器人設(shè)計(jì)

本文數(shù)據(jù)集采集及算法搭載設(shè)備為中國海洋大學(xué)自主研制的海參采捕機(jī)器人。

1.1 機(jī)器人結(jié)構(gòu)設(shè)計(jì)

水下機(jī)器人本體按照執(zhí)行功能進(jìn)行分類,主要由機(jī)器人框架、浮體、控制耐壓艙、電池電源耐壓艙、水平推進(jìn)器、垂向推進(jìn)器、單目攝像系統(tǒng)、雙目識(shí)別檢測系統(tǒng)和吸捕裝置構(gòu)成。其海參采捕機(jī)器人機(jī)械結(jié)構(gòu)分布和實(shí)物圖分別如圖1、2所示。

(①Frame top plate; ②Mega-Float; ③Suction power port; ④Suction capture storage bin;⑤Frame side panel; ⑥Horizontal propeller;⑦High-definition camera;⑧clump weight;⑨Main control room;⑩Battery power compartment;Suction and capture pipeline;Right angle reinforcement plate;Airborne antenna board;Vertical thruster.)

圖2 海參吸捕機(jī)器人實(shí)物圖

(①Suction capture storage bin; ②Suction capture power source; ③Suction and capture pipeline; ④Suction and capture pipeline;⑤High-definition camera.)

1.2 端到端控制系統(tǒng)設(shè)計(jì)

圖像處理器(Graphics processing unit,GPU)輸入端為水下攝像系統(tǒng),其主要由三路單目水下攝像機(jī)和雙目攝像機(jī)構(gòu)成。其中三路單目水下攝像機(jī)主要分別用來觀測吸捕管道、吸捕管口和機(jī)器人水下運(yùn)行視野。雙目攝像機(jī)主要用于海參的識(shí)別以及前方水下環(huán)境的檢測。GPU處理輸入端傳入的圖像信息后對符合吸捕條件的圖像給出吸捕信號(hào)傳輸?shù)紺PU輸出端。

CPU控制的輸出端為動(dòng)力推進(jìn)系統(tǒng),其主要由4個(gè)十字排布的水平推進(jìn)器及4個(gè)豎向排布的垂向推進(jìn)器構(gòu)成,可以實(shí)現(xiàn)前進(jìn)、后退、上浮、下潛、原地拐彎和側(cè)推的功能。吸捕系統(tǒng)主要由吸捕管口、吸捕管道、吸捕艙和吸捕動(dòng)力推進(jìn)等部分組成,其中吸捕動(dòng)力推進(jìn)裝置是采用中軸對稱鏡向安裝的,防止由于吸捕過程中產(chǎn)生對機(jī)器人控制姿態(tài)不利的影響。CPU可以根據(jù)輸入端的圖像處理結(jié)果對以上輸出端進(jìn)行控制。海參吸捕及觀測部件如圖4所示。

圖4 改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)圖

2 改進(jìn)YOLOv3-tiny檢測網(wǎng)絡(luò)

2.1 YOLOv3-tiny基本原理

YOLOv3-tiny是YOLOv3目標(biāo)檢測網(wǎng)絡(luò)的輕量化模型,沒有使用殘差層,只使用了2種尺度的YOLO輸出層,將網(wǎng)絡(luò)壓縮到23層,其中包含5種的網(wǎng)絡(luò)層:卷積層(Convolutional)13個(gè)、池化層(Maxpool)6個(gè)、路由層(Route)2個(gè)、上采樣層(Upsample)1個(gè)和輸出層(YOLO)2個(gè)。YOLOv3-tiny中,共有兩個(gè)輸出(YOLO)層,分別為13×13和26×26,每個(gè)網(wǎng)格可以預(yù)測3個(gè)bounding box。Yolov3-tiny中,除yolo層之前的卷積層外,每個(gè)卷積層之后都有BN層,且每個(gè)卷積層之后都有激活函數(shù)LEAKY。

在實(shí)際的工程應(yīng)用中,YOLOv3-tiny網(wǎng)絡(luò)被廣泛應(yīng)用于檢測在線的行人、車輛和破損等任務(wù)中,在本次吸捕視角下海參檢測任務(wù)中,該網(wǎng)絡(luò)可以實(shí)現(xiàn)對海參的快速實(shí)時(shí)檢測任務(wù),但需要通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)提高其檢測的準(zhǔn)確率。

2.2 改進(jìn)YOLOv3-tiny網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3-tiny網(wǎng)絡(luò)結(jié)構(gòu)簡單,回歸運(yùn)算過程中產(chǎn)生的參數(shù)較少,檢測速度較高。但因其特征提取網(wǎng)絡(luò)包含卷積層數(shù)目過少導(dǎo)致特征提取能力不強(qiáng),精確率和召回率等指標(biāo)不夠理想,在檢測過程中存在誤檢、漏檢等問題。本文擬通過對YOLOv3-tiny網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn),降低海參目標(biāo)檢測的誤檢、漏檢的概率,提高檢測的精確度。

本網(wǎng)絡(luò)采用卷積核步長為2的卷積層代替前三層換池化層,卷積+線性整流函數(shù)的結(jié)構(gòu)既保證了輸入尺寸在相同效率下成比例降低,又可以減少池化所導(dǎo)致特征點(diǎn)流失。同時(shí)針對YOLOv3-tiny特征提取網(wǎng)絡(luò)較淺難以提取高層次的語義特征的問題,在特征提取網(wǎng)絡(luò)中增加3個(gè)1×1和3個(gè)3×3的卷積層,在減少網(wǎng)絡(luò)層數(shù)增加帶來的運(yùn)算量和參數(shù)量的同時(shí)達(dá)到加深網(wǎng)絡(luò)層數(shù)、提取更加豐富的圖像特征的目的。改進(jìn)YOLOv3-tiny網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。

2.3 海參邊界框尺寸聚類

YOLOv3系列算法均借鑒了Faster R-CNN 錨點(diǎn)框[12]的思想,初始候選邊框選取的優(yōu)劣對于網(wǎng)絡(luò)的學(xué)習(xí)速度影響非常大,隨著輸出的特征圖的數(shù)量和尺度的變化,先驗(yàn)框的尺寸也需要相應(yīng)的調(diào)整。由于YOLOv3原始參數(shù)中并不含有與海參檢測相關(guān)的任務(wù)數(shù)據(jù), 因此使用YOLOv3-tiny原始參數(shù)進(jìn)行訓(xùn)練會(huì)對訓(xùn)練時(shí)間和訓(xùn)練準(zhǔn)確度造成一定影響。因此需要對海參數(shù)據(jù)集標(biāo)簽重新進(jìn)行聚類分析, 從而得到針對俯視視角下海參檢測更具有代表性的錨點(diǎn)框參數(shù)。對于本文吸捕視角下自采海參數(shù)據(jù)集,海參目標(biāo)在視野中形態(tài)、位置和大小具有多樣性,對于本研究自采數(shù)據(jù)集,參考成熟海參的形態(tài)特點(diǎn),對其先驗(yàn)框進(jìn)行聚類分析。

基于此,本文使用 K-Means方法[13]對海參邊界框尺寸進(jìn)行聚類,由于YOLOv3-tiny檢測模型需要在兩種尺度上進(jìn)行預(yù)測,每種尺度預(yù)測3個(gè)目標(biāo)邊框,本文最終的候選邊框數(shù)量為6,具體的尺寸分別為(37×183)、(37×68)、(91×62)、(84×144)、(92×193)和(248×147)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 目標(biāo)檢測平臺(tái)及數(shù)據(jù)集

為了驗(yàn)證本文算法的可行性,本文以實(shí)際拍攝的視頻進(jìn)行了測試驗(yàn)證,本文所采用的訓(xùn)練及計(jì)算環(huán)境分別為Intel(R)Core(TM)i7-9750H和NVIDIA GeForce RTX 2070,使用的深度學(xué)習(xí)框架為Keras框架,集成開發(fā)環(huán)境是Pycharm。

實(shí)驗(yàn)數(shù)據(jù)主要來源于山東省威海榮成市好當(dāng)家集團(tuán)海參養(yǎng)殖基地(122°9′50.416″E,36°56′59.227″N)海參采捕機(jī)器人于2022年6月1日驗(yàn)收實(shí)拍及部分大連理工大學(xué)發(fā)布的水下物體檢測(DUO)數(shù)據(jù)集[14]。通過對海試視頻進(jìn)行分幀處理,得到海參原始圖片746張,其中圖像分辨率為416×416。通過對DUO數(shù)據(jù)集的截取以及通過旋轉(zhuǎn)、縮放、翻轉(zhuǎn)和剪切等方法對自采數(shù)據(jù)集進(jìn)行增廣,本數(shù)據(jù)集最終得到4 347張?zhí)幚砗蟮膱D片數(shù)據(jù)。經(jīng)過數(shù)據(jù)標(biāo)注后,其中80%作為訓(xùn)練集,20%作為測試集。

3.2 目標(biāo)檢測評(píng)價(jià)指標(biāo)

重疊度(Intersection over-union,IOU)是候選框與原標(biāo)記框的交疊率,即它們的交集與并集的比值。本算法根據(jù)海參采捕機(jī)器人實(shí)際的采捕需求確定采用IOU閾值為0.5的平均精度均值和每秒幀檢測速率(FPS)作為評(píng)價(jià)目標(biāo)檢測方法的性能評(píng)價(jià)標(biāo)準(zhǔn)。平均精度均值(mAP)是目標(biāo)檢測模型中常用的評(píng)價(jià)指標(biāo),它由精確率(Precision)和召回率(Recall)組成的P-R曲線計(jì)算得到。精確率是在被所有預(yù)測為正的樣本中實(shí)際正樣本的概率,召回率是在實(shí)際正的樣本中被預(yù)測為正樣本的概率。精確率、召回率和平均精度均值計(jì)算方法分別為

(1)

(2)

(3)

式中:NTP為判定為正樣本的正樣本數(shù)量;NFP為判定為正樣本的負(fù)樣本數(shù)量;NFN為被判定為負(fù)樣本的正樣本數(shù)量;APi是指一個(gè)類別的平均精度;n為類別數(shù)目。

3.3 目標(biāo)檢測結(jié)果與分析

為驗(yàn)證改進(jìn)YOLOv3-tiny模型的有效性,本文將改進(jìn)的YOLOv3-tiny算法模型的識(shí)別結(jié)果同未改進(jìn)的YOLOv3-tiny、典型的一階段目標(biāo)檢測算法YOLOv3和SDD算法[15]模型的識(shí)別效果進(jìn)行對比試驗(yàn)。以上模型均使用相同的訓(xùn)練集,輸入圖像尺寸為416×416,同時(shí)其他訓(xùn)練參數(shù)均保持一致。

參考表1說明,本文算法在IOU閾值為0.5平均精度均值(mAP50)指標(biāo)上,比YOLOv3-tiny、YOLOv3、SSD算法分別高3.69%、低1.78%、低1.22%。幀速率(Frames Per Second,FPS)是指每秒鐘刷新的圖片的幀數(shù)(幀/s)。在檢測速度方面,本文算法較YOLOv3-tiny、YOLOv3、SSD算法分別低2.3幀/s、高6.9幀/s、高7.7幀/s。在內(nèi)存占用量方面,本文算法較YOLOv3-tiny、YOLOv3和SSD算法分別高2.2 MB、低202.4 MB、低58 MB,內(nèi)存占用較少。由表1可以看出,YOLOv3算法和SSD算法在同樣的數(shù)據(jù)條件下平均精度指標(biāo)表現(xiàn)較好,但在同樣的硬件條件下,YOLOv3和SSD模型搭載在離線端的計(jì)算量過大而導(dǎo)致檢測幀率較低。在滿足快速檢測的基礎(chǔ)上,改進(jìn)后的YOLOv3-tiny算法在檢測精度上的表現(xiàn)優(yōu)于未改進(jìn)的YOLOv3-tiny模型。

表1 模型檢測結(jié)果

圖5展示了模型更改前后的檢測結(jié)果對比。由圖5(a)和(b)在6種在視野中不同位置的檢測結(jié)果分析可知,改進(jìn)的YOLOv3-tiny模型在各個(gè)區(qū)域的海參檢測置信度均有提高,且在同一圖片下相比未改進(jìn)的模型檢測精度更高。本方法通過對網(wǎng)絡(luò)結(jié)構(gòu)的更改有效地提升了檢測網(wǎng)絡(luò)的性能,達(dá)到了更高的檢測效果。

(Holothurian x:識(shí)別為海參的概率為x。 Holothurian x:The probability of identifying sea cucumber is x.)圖5 模型對比結(jié)果

同時(shí)如圖6所示,改進(jìn)的YOLOv3-tiny模型的P-R曲線面積更大,說明改進(jìn)模型性能高于未改進(jìn)的YOLOv3-tiny模型。因此主干特征提取網(wǎng)絡(luò)的改進(jìn)有利于復(fù)雜水下環(huán)境下海參特征的提取,改進(jìn)后的YOLOv3-tiny模型系統(tǒng)性能更佳。

圖6 兩種PR曲線對比圖

3.4 機(jī)器人端到端效果驗(yàn)證

(1)人工操作采捕模擬實(shí)驗(yàn)。將改進(jìn)YOLOv3-tiny吸捕模型加載在Jetson Xaiver NX圖像處理模塊中,操作人員在實(shí)際操作過程中,攝像機(jī)采集的圖像傳輸?shù)絅X模塊中,模塊識(shí)別到符合吸捕條件圖像后輸出采捕信號(hào)。圖7是海參的吸捕效果圖,在海參的吸捕過程中NX模塊連續(xù)5幀檢測到海參信息后給出吸捕信號(hào),視為響應(yīng)完成,不能給出吸捕信號(hào)視為響應(yīng)失敗,由誤檢造成的錯(cuò)誤的吸捕信號(hào)視為誤發(fā)。通過分析輸入圖像與輸出采捕信號(hào)之間的對應(yīng)關(guān)系驗(yàn)證吸捕效果,測試結(jié)果如表2所示。由表2可知,端到端吸捕模型在NX上保證25幀/s的速度下響應(yīng)完成率(Response completion rate)為87.4%,誤發(fā)率(Misoccurrence rate)為5.6%,檢測幀率(FPS)為25.2幀/s,可以滿足端到端的吸捕要求。

表2 端到端檢測結(jié)果

(Holothurian x:識(shí)別為海參的概率為x。 Holothurian x:The probability of identifying sea cucumber is x.)

(2)自動(dòng)采捕實(shí)驗(yàn)。在完成人工操作采捕模擬實(shí)驗(yàn)后,本文繼續(xù)進(jìn)行了自動(dòng)采捕實(shí)驗(yàn)驗(yàn)證端到端吸捕效果。該過程由操作人員通過操作手柄控制吸捕機(jī)器人的移動(dòng),將機(jī)器人移動(dòng)到海參的上方,由端到端吸捕系統(tǒng)負(fù)責(zé)吸捕任務(wù),當(dāng)GPU檢測到吸捕視角下出現(xiàn)海參識(shí)別框時(shí),便發(fā)出吸捕指令完成自動(dòng)吸捕。經(jīng)過3次采捕效率實(shí)驗(yàn)測試,機(jī)器人平均每30 min可捕撈海參凈重為5.7 kg。圖7也展示了機(jī)器人在吸捕視角下從檢測發(fā)現(xiàn)海參到完成對海參的吸捕的過程。

4 結(jié)語

為解決采捕機(jī)器人的自動(dòng)吸捕問題,本文提出了一種基于改進(jìn)的YOLOv3-Tiny模型的目標(biāo)檢測方法,在保證快速檢測的同時(shí),本方法在相同數(shù)據(jù)集下具備更好的準(zhǔn)確度。同時(shí),將改進(jìn)的YOLOv3-Tiny模型搭載在機(jī)器人上并通過實(shí)驗(yàn)驗(yàn)證了端到端吸捕的可實(shí)施性。本研究為水下生物的識(shí)別和采捕提供了新的思路,推動(dòng)了海參自動(dòng)化采捕的發(fā)展。