基于雙目視覺的水下海參尺寸自動測量方法

董 鵬，周 烽，趙悰悰，王亞飛，米澤田，付先平

大連海事大學 信息科學技術(shù)學院，遼寧 大連116026

近年來，海參養(yǎng)殖產(chǎn)業(yè)在國內(nèi)發(fā)展迅速，養(yǎng)殖面積超過100 萬畝，產(chǎn)量超過20 萬噸。目前，海參的捕撈主要依靠人工，然而長期潛水作業(yè)會對人的身體造成多種危害，這使得海參捕撈從業(yè)人員逐年減少。因此在海洋牧場選擇水下智能機器人代替人工來完成海參捕撈作業(yè)已經(jīng)成為趨勢。

對于水下智能機器人來說，要想代替人工完成海參的捕撈工作，首先要對海參進行辨別并判斷其長勢情況，然后才能挑選成熟的海參進行捕撈。通常情況下，海參的長勢情況可以通過尺寸進行衡量。雙目視覺系統(tǒng)可以通過圖像檢測、立體幾何計算等一系列操作完成目標物尺寸測量這一任務(wù)，其成本較低、使用便捷，目前廣泛受到研究者的青睞。但是由于水體折射現(xiàn)象的影響，使得水上成像與水下成像存在很大區(qū)別，因此要想通過視覺方法完成海參尺寸測量這一任務(wù)就需要解決水下三維測量、水下目標檢測、水下圖像分割三個問題。

當前，基于光學的水下三維測量技術(shù)日趨成熟，其中，以水下雙目相機最為具有代表，其具有成本較低、精度較高等特點，被廣泛應(yīng)用于水下圖像信息采集。雙目視覺系統(tǒng)類似于人眼，用兩個攝像頭采集圖像，通過計算兩張圖像的視差來計算物體的距離。?uczyński 等人[1]在水下成像建模中使用虛擬相機進行分析，提出了一種用于水下相機標定的Pinax 模型。Lee 等人[2]為ROV的兩個操作手開發(fā)了雙目定位視覺系統(tǒng)。采用兩個攝像機對目標進行三維定位，協(xié)助兩臺機械手協(xié)同工作。李煊等人[3]在機器人上安裝了一個雙目視覺系統(tǒng)，實現(xiàn)對目標的尺寸估計和定位。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測算法發(fā)展迅速，這些算法不僅可以區(qū)分目標的種類，還可以定位到目標在圖像上的位置，并畫出包圍框。因此，其被廣泛應(yīng)用于水下目標檢測[4-6]。當前，基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測算法主要分為兩類：基于候選區(qū)域的目標檢測算法和基于回歸的目標檢測算法[7]?；诤蜻x區(qū)域的目標檢測算法需要先提取候選區(qū)域，然后再對候選區(qū)域進行檢測，從而得到檢測結(jié)果。Girshick 等人[8]率先提出了RCNN 方法，使得檢測效果明顯提升，為該類方法奠定了基石。近年來，隨著Faster R-CNN[9]、RFCN[10]等的提出，檢測效果進一步提升；基于回歸的目標檢測算法采用端到端的方式，放棄了候選區(qū)域的選擇，使得檢測速度得以提升，這其中以YOLO[11]、SSD[12]、DSSD[13]為代表，近年來，YOLO 又提出了改進版本YOLOv2[14]和YOLOv3[15]，采用了效果更好的基礎(chǔ)網(wǎng)絡(luò)，并加入了anchorbox機制，提高了YOLO系列方法檢測的準確率，并可以檢測水下小目標。

將目標對象從原圖中分割出來是測量的前提。因此，精準地進行圖像分割，具有重要意義。Rother 等人[16]提出了GrabCut 分割算法，采用三維高斯混合模型（GMM）來表示顏色統(tǒng)計的分布，以最大流算法求解割邊，通過迭代的方法達到最好的分割效果。郭傳鑫等人[17]提出了一種融合顯著圖模型和GrabCut算法得到水下海參圖像分割方法，通過利用單尺度Retinex 算法進行水下圖像增強，結(jié)合基于區(qū)域?qū)Ρ榷鹊娘@著性區(qū)域檢測方法和直方圖均衡的方法，得到海參區(qū)域圖像的部分前景和可能的背景。李曉陽等人[18]將深度引入超像素分割算法，每幅RGBD 圖像變成超像素塊的集合，構(gòu)建超像素塊的圖模型，結(jié)合顯著性檢測來擴充種子點區(qū)域，基于Biased Normalized Cuts來實現(xiàn)共分割，借助深度信息來優(yōu)化分割結(jié)果。

基于上述研究成果，本文提出了一種基于雙目視覺的水下海參自動檢測與尺寸測量方法，實現(xiàn)水下捕撈機器人對海參的智能精選分級。該方法主要包含四個步驟：（1）將雙目視覺系統(tǒng)用于水下，實現(xiàn)對于水下環(huán)境的三維重建；（2）將YOLOv3 目標檢測模型應(yīng)用于水下場景，使用水下數(shù)據(jù)集訓練了一個海參檢測模型，解決了水下海參檢測問題；（3）提出了一種GrabCut-RGBD 目標分割算法，在原本的RGB信息中加入了深度信息，構(gòu)建高斯模型，提高了水下圖像分割的準確度；（4）結(jié)合雙目得到的點云和分割得到的目標進行映射，得到了水下目標的三維坐標信息，從而實現(xiàn)了對水下海參的檢測和尺寸測量。

1 基于雙目視覺的水下海參尺寸自動測量方法

本文提出的基于雙目視覺與深度學習的水下海參尺寸自動測量方法的基本流程如圖1所示。首先，通過雙目相機獲取水下雙目圖像；對雙目圖像進行矯正操作，得到矯正后的水下雙目圖像；然后，在雙目矯正圖像上同時進行下列操作：（1）對矯正后的雙目圖像進行立體匹配，構(gòu)建雙目模型，得到深度圖、三維點云；（2）利用雙目矯正圖像的左圖進行海參檢測，獲取海參的邊界框；在檢測結(jié)果邊界框里結(jié)合深度圖、原圖進行圖像分割，對邊界框內(nèi)的海參與背景進行分離；最后利用凸包與卡殼算法在分割出的海參目標上尋找最佳尺寸測量點，將其映射至三維空間，實現(xiàn)海參的尺寸測量。

圖1 本文方法具體流程

1.1 水下雙目成像模型

相機在水下使用時，通常需要給相機加一個防水罩。根據(jù)光的折射原理，此時光會發(fā)生兩次折射，分別是水到防水罩，防水罩到空氣。文獻[19]認為，當防水罩厚度遠小于目標與相機的距離時，光線在玻璃中的傳播過程可以忽略。因此水下相機成像的簡化過程如圖2所示。

圖2 水下相機成像模型

圖中P(XW,YW,ZW)為目標點，O2為真實相機的位置，O1為入射光線延長線與相機光軸交點，為方便進行相機成像分析，將此位置作為虛擬相機的位置，A為相機光軸與水和空氣相交平面的交點，O為光進入空氣的折射點，θ1和θ2分別為入射角和折射角。

根據(jù)折射定律與相似三角形原理可得如下關(guān)系：

式中n1、n2分別為水和空氣的折射率。

由于等效虛擬相機與真實相機具有相同的視場，因此，AO在兩個相機上的投影具有相同的長度，即X1=X2,X1、X2分別為AO在虛擬相機與實際相機所成像的長度。因此：

根據(jù)式（2）、（3）得：

因此，當相機在水下使用時，焦距會因為折射率的改變產(chǎn)生變化，可以根據(jù)折射率求得虛擬相機的焦距。

假設(shè)在圖像像素坐標系中的點的坐標為Pu(u,v)，那么空間中的點P從圖像像素坐標系到世界坐標系的轉(zhuǎn)換關(guān)系如公式（5）：

式中，(u,v)是點Pu在圖像坐標系中的像素坐標，dx和dy分別為每個像素在X軸和Y軸方向上的尺寸，Z為空間點P的深度，P(Xw,Yw,Zw)為Pu點在世界坐標系中的坐標，圖像左上角為圖像像素坐標系原點，(u0,v0)為圖像坐標系的原點像素，f為相機的焦距，R為旋轉(zhuǎn)矩陣，T為平移向量。

相機成像過程中本身會存在切向和徑向畸變，水下相機在使用過程中由于跨越介質(zhì)將產(chǎn)生更大的畸變，因此需要引入高階畸變來補償成像過程因折射導致的更大程度的畸變。

（1）徑向畸變隨著成像點與中心的距離的增加而增加，因此本文采用與距中心的距離有關(guān)的二次及高次多項式函數(shù)進行矯正，公式如下：

式中，(x,y)是畸變點在成像儀上的原始位置，r為該點距離成像儀中心的距離，(xdistorted,ydistorted)是校正后的新位置，k1、k2、k3為徑向畸變系數(shù)。

（2）對于切向畸變本文使用如下公式進行矯正：

式中，p1、p2為切向畸變系數(shù)。

因此，只要獲取到Z的值，就可以獲得空間點P的三維坐標(Xw,Yw,Zw)，本文采用雙目視覺系統(tǒng)獲取Z的值，雙目視覺系統(tǒng)指有兩個水平放置相機構(gòu)成的視覺系統(tǒng)，一般兩個相機為左右放置，通過一系列的幾何分析，實現(xiàn)距離測量。理想的狀態(tài)下，雙目相機幾何模型如圖3所示，空間中的點P在左右相機成像平面各有一個成像點al、ar，根據(jù)三角形的相似關(guān)系有：

整理得：

圖3 雙目相機幾何模型

式中，dx為相機的像元尺寸，d就是左右相機的同一像素成像的橫坐標之差，并且基線b已知，因此只需要求得兩個相機之間的視差d便可以得到P點的深度Z。

1.2 海參檢測

對于矯正之后的圖像，需要迅速找出海參在圖像中的位置。這也就需要一個快速、精確的目標檢測模型來實現(xiàn)對海參的檢測，獲取海參邊界框。因此，本文選用了速度較快并且精度較高的YOLOv3 目標檢測模型來獲取海參的位置信息。

YOLOv3目標檢測模型采取端到端的方式，將整張圖片輸入到網(wǎng)絡(luò)中進行訓練，采用回歸方法得到邊界框，省去了生成候選區(qū)域的步驟，從而加快了目標檢測的速度。該算法將輸入圖片劃分成了S×S個網(wǎng)格，如果海參的中心落在了某個網(wǎng)格內(nèi)，這個網(wǎng)格就負責對這個目標進行檢測，每一個網(wǎng)格將輸出B個預(yù)測的邊界框的位置信息(x,y,w,h)以及置信度。

YOLOv3 借鑒了Faster RCNN 的RPN 中的錨框機制，卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測每個邊界框的坐標信息(tx,ty,tw,th)，x和y為目標中心所在單元格相對于圖像左上角的偏移，pw、ph為錨點框的高度和寬度，根據(jù)表達式（11）將得到最后修正后的邊界框：

其中，bx、by、bw、bh就是最終得到的預(yù)測邊界框的坐標、寬度和高度。整個訓練過程使用誤差平方和作為損失函數(shù)。

YOLOv3采用了darknet53作為主干網(wǎng)絡(luò)，整個網(wǎng)絡(luò)沒有池化層和全連接層，在前向傳播過程中，通過改變卷積核的步長來實現(xiàn)池化層的功能，使用三種尺度的特征圖進行檢測，這使得YOLOv3在檢測小目標時具有較好的效果。圖4是YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)示意圖，通過整個檢測算法后將得到海參的感興趣區(qū)域和置信度。

本文利用海參數(shù)據(jù)集訓練YOLOv3的模型（本文只識別海參一個類別），經(jīng)過反復的迭代，得到了比較穩(wěn)定的檢測模型，經(jīng)過實驗得出，該模型可以滿足本文方法中的海參檢測任務(wù)。

1.3 GrabCut-RGBD目標分割算法

對于海參檢測結(jié)果，要想知道海參的具體大小，需要進行圖像分割去除邊界框中的背景，找出海參在二維圖片坐標系中的實際位置。

圖4 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)示意圖

本文采用GMM（混合高斯模型）來表示顏色統(tǒng)計的分布，然后采用圖的最小割方法，實現(xiàn)海參和背景的分離，改進了Graph-Cut 算法[20]中當物體和背景的顏色差距較小時，將很難對物體進行準確分割的問題，將雙目得到的圖像深度信息加入到了GrabCut算法中，提出了GrabCut-RGBD圖像分割算法。

原始的GrabCut 算法只能分割RGB 圖像。在本文中，將深度信息映射到[0～255]，作為第四個通道，得到RGBD圖像。其中，數(shù)字越小表示距離相機越近。

本文將具有R、G、B、D 四個通道的圖像表示為I=(I1,I2,…,IN) ，圖像中的每一個像素都有一個標記α=(α1,α2,…,αN) ，α=0 代表屬于背景，α=1 代表屬于前景。θ為圖像前景與背景的直方圖分布的參數(shù)，θ={h(I,α),α=0,1}對于目標和背景分別用一個擁有K個高斯分量的全協(xié)方差混合高斯模型進行建模，k={k1,k2,…,kn,…,kN},kn代表第n個像素對應(yīng)的高斯分量。于是，用于整個圖像的吉布斯能量函數(shù)為：

考慮到顏色和深度的高斯模型，數(shù)據(jù)項U定義如下：

其中：

其中，p(·)是高斯概率分布，π(·)是混合權(quán)重系數(shù)。

平滑項表示如下：

其中，C是相鄰像素對的集合，BRGB為彩色RGB 空間兩個像素的歐式距離值，系數(shù)β由圖像的對比度決定，BD為深度D 空間兩個像素的差異，參數(shù)μ由深度的差異性決定。

1.4 最佳測量點選取

對于分割結(jié)果，本文以距離最遠的兩個點作為海參的最佳尺寸測量點，按照以下三步操作，實現(xiàn)海參尺寸的測量：

步驟1對于分割找到的海參在二維圖像坐標系中的實際位置坐標集合，利用凸包算法尋找能將所有點包圍起來的凸多邊形P=(p1,p2,…,pn)，如圖5（a）所示。

圖5 最佳測量點尋找示意圖

步驟2利用旋轉(zhuǎn)卡殼算法尋找最遠對踵點。如圖5（b）所示，在凸多邊形P上尋找其Y軸方向上兩個端點，假設(shè)為pi、pj，兩點間距離記為s1，將兩點作為第一對對踵點，在兩個端點處構(gòu)造兩條平行切線。順時針旋轉(zhuǎn)兩條切線，每當其中一條切線與凸多邊形的一邊重合時，將得到一對新的對踵點，此時新對踵點之間的距離記為si，直到切線回到原始位置，旋轉(zhuǎn)結(jié)束。得到對踵點距離集合{s1,s2,…,sn}，在對踵點距離集合中取最遠距離：

將最遠距離所對應(yīng)的對踵點作為最佳尺寸測量點，如圖5（b）中的M、N點所示。

步驟3 根據(jù)1.1 節(jié)所得結(jié)果，同理可推得二維坐標到三維坐標的轉(zhuǎn)換關(guān)系如式（17），進而獲取到最佳測量點的三維坐標M(XM,YM,ZM)、M(XN,YN,ZN)，從而可以根據(jù)最佳測量點三維坐標通過歐式距離公式計算海參實際尺寸S。

式中(ul,vl)為點的像素坐標。

2 實驗及結(jié)果分析

實驗硬件平臺為Nvidia Geforce GTX 1050 GPU、Intel Core i7-7700HQ@3.8 GHz。實驗所使用相機為C203水下雙目相機，單目分辨率為640×480，為方便圖像采集，將水下雙目相機搭載在了水下機器人上，利用水下機器人采集水下圖像數(shù)據(jù)。搭載水下雙目相機的水下機器人實物圖如圖6所示。

圖6 水下雙目實驗平臺實物圖

實驗采用水下雙目相機在4 m×2 m×1.5 m 的水池中進行圖像采集，在Matlab R2017環(huán)境下，利用張正友標定法[21]進行水下標定實驗，獲取相機內(nèi)外參。所采用的標定板橫縱角點個數(shù)為11×8，每個方格的大小為30 mm×30 mm。對于采集到的標定用圖像，將重投影誤差大于0.25個像素的圖像進行了剔除。同時，由于水下介質(zhì)的影響將導致圖像畸變變大，挑選了其中54 組標定用圖像，進行標定實驗。表1 為水下雙目標定參數(shù)，圖7為矯正前后的水下圖像，圖8為得到的水下場景深度圖像。

表1 左右相機水下標定參數(shù)

圖7 矯正前后的水下圖像

圖8 水下場景深度圖

2.1 水下測量實驗結(jié)果與分析

為了驗證本文雙目測量方法在水下不同距離、不同位置、不同姿態(tài)下的有效性，實驗采集了0.5～1.5 m范圍內(nèi)33 組不同姿態(tài)的標定板圖像（由于水下相機采集的圖像分辨率為640×480，當距離大于1.5 m 時，受像素限制，無法進行精準測量），對于同一標定板圖像上的每兩個相鄰角點進行重建測距，將重建得到的測量值d與真實值30 mm（相鄰角點距離為30 mm）進行比較，分別通過公式（18）、（19）計算最大誤差和平均誤差圖9為通過計算得到的誤差信息。

圖9 誤差測量結(jié)果

由誤差測量實驗結(jié)果可以得到，當成像距離小于110 cm時，平均誤差與最大誤差均小于1%，當成像距離大于110 cm 時，誤差隨著距離的增加有逐漸增大的趨勢，由于水下雙目相機所采集圖像的分辨率僅為640×480，當距離過大時，測量點選取將變得更加困難，這導致誤差會逐漸增大，但在1.5 m以內(nèi)時，測量平均誤差小于1.2%，最大誤差小于1.7%，滿足尺寸測量需求。

2.2 海參檢測網(wǎng)絡(luò)訓練與性能分析

本文海參檢測網(wǎng)絡(luò)訓練與測試電腦主要配置為Inter?CoreTMi7-7700K CPU @ 4.20 GHz、Nvidia Geforce GTX 1080 TI GPU和64 GB的運行內(nèi)存。

本文標注了19 500 張水下包含海參的圖像并制作成數(shù)據(jù)集用于檢測網(wǎng)絡(luò)的訓練與測試，其中14 000張圖片作為訓練集，5 500 張圖片作為測試集。網(wǎng)絡(luò)訓練的主要參數(shù)如表2所示。

表2 模型訓練參數(shù)設(shè)置

模型訓練Loss變化圖如圖10所示。從圖中可以看出，網(wǎng)絡(luò)在前5 000 次迭代中迅速擬合，之后趨于穩(wěn)定，平均損失在0.2左右浮動。

圖11為訓練時平均交并比（IOU）變化曲線，從圖中可以看出，平均交并比隨著迭代次數(shù)的增加在逐漸增大，這說明了檢測的準確率在不斷提高，當?shù)_到30 000次之后，平均交并比超過了90%。

使用訓練生成的權(quán)重文件對測試集圖片進行測試，檢測效果如圖12所示（標記框第一行為目標類別，O為包圍框左上點坐標，W和H為包圍框的寬和高）。

圖10 平均Loss曲線圖

圖11 平均IOU曲線圖

圖12 海參檢測效果圖

本文使用平均檢測精度（mAP）與平均檢測速度對YOLOv3模型進行評價，并與目前比較主流的檢測算法進行了對比，結(jié)果如表3所示。

表3 水下數(shù)據(jù)集檢測結(jié)果對比

從表中可以看出本文所使用的YOLOv3 檢測模型的平均檢測精度為0.826、平均檢測速度為57 frame/s，均超過了其他兩種檢測算法，可以滿足快速、精準檢測的需求。

圖13 本文分割算法與GrabCut分割算法效果對比圖

2.3 GrabCut-RGBD目標分割實驗結(jié)果與分析

為了驗證本文分割算法的有效性，將本文分割算法從分割效果、分割精度兩方面與傳統(tǒng)的GrabCut算法進行了比較。

本文分別采集了水下三個不同種類目標的圖像進行目標分割實驗。圖13為實驗結(jié)果，從（a）～（d）分別對應(yīng)了左右原圖、實際分割結(jié)果、GrabCut 分割結(jié)果、本文算法的分割結(jié)果，原圖中的紅色方框內(nèi)部區(qū)域為算法選取的分割區(qū)域。

本文使用分割精度對分割結(jié)果進行了進一步分析[22]。分割精度P為：

式中，CB為正確的背景像素個數(shù)，CF為正確的前景像素個數(shù)，N為總像素數(shù)。利用三個種類各十組圖片計算每個種類的平均分割精度，表4為本文方法與GrabCut分割算法平均分割精度對比。

表4 本文分割算法與GrabCut分割算法水下實驗結(jié)果對比%

由表4 可以看出，從分割精度方面來說，本文分割方法相對于原始的GrabCut算法效果有了一定的提升；根據(jù)圖可以看出，當目標的色彩與背景顏色較為接近時，GrabCut算法將不能進行準確的分割，而本文方法很好地彌補了GrabCut 算法的缺陷，使用R、G、B、D 四維信息進行圖像分割，使得當前、背景顏色相似時，也能擁有一個良好的分割效果。

2.4 水下海參尺寸自動測量實驗結(jié)果與分析

本文使用水下雙目相機采集了15組不同距離下包含海參目標的水下雙目圖像，每一個距離有5 組圖像。利用游標卡尺測量了海參的實際大小。然后將本文方法檢測出的海參大小與海參的實際尺寸進行誤差比較。

圖14 為游標卡尺測量出的海參的實際尺寸，圖15為本文方法在不同成像距離下（50～150 cm）海參檢測與測量結(jié)果圖。

圖14 海參尺寸實際測量圖

表5 中距離為海參與雙目相機之間的距離。誤差為每一個距離下五組測量結(jié)果誤差值與實際值之間的比值的平均值。數(shù)據(jù)結(jié)果顯示，本文方法的測量結(jié)果比海參的實際尺寸偏大，并且在1.5 m 范圍內(nèi)誤差小于2.03%。因此，本文所提出的方法在一定的距離下對于海參尺寸的自動測量具有較好的可用性。

表5 不同成像距離下海參測量結(jié)果誤差

圖15 不同成像距離下（50～150 cm）海參檢測與測量結(jié)果圖

3 結(jié)束語

本文提出了一種基于立體視覺與深度學習的水下海參尺寸自動測量方法，使用水下雙目相機獲取當前場景的三維信息，然后利用YOLOv3 算法進行目標檢測，獲取目標類別，提出了一種結(jié)合深度信息的GrabCut-RGBD 目標分割方法，進行海參與背景的分割，從而獲取到了海參的三維信息，實現(xiàn)對于海參大小的測量。實驗結(jié)果表明，本文提出的方法具有良好的準確性。盡管實驗結(jié)果滿足了當前的需求，但是，該方法有效距離較短并且實際操作較為繁瑣。未來的研究中，將著手對有效測量距離距離進行改善、改進標定方法，摒棄繁瑣的水下標定方法，并考慮如何將本文方法用于水下機器人，實現(xiàn)水下機器人對于水下海參的精準抓取。