基于雙目立體視覺的重疊柑橘空間定位

劉妤, 劉灑, 楊長輝,2, 王愷, 謝鈮

(1.重慶理工大學(xué)機(jī)械工程學(xué)院, 重慶 400054; 2.西安交通大學(xué)機(jī)械工程學(xué)院, 西安 710049)

柑橘是我國廣泛種植的水果之一，同時(shí)也是世界貿(mào)易量較大的一種水果。目前，柑橘采摘主要以人工為主，費(fèi)時(shí)、費(fèi)力且效率不高。采摘機(jī)器人可以有效提高采摘效率，是農(nóng)業(yè)機(jī)械發(fā)展的必然趨勢(shì)，但是現(xiàn)有的機(jī)器人采摘成功率并不理想，其主要原因之一是定位的準(zhǔn)確性問題，因此，提高定位精度是采摘機(jī)器人走向應(yīng)用需解決的問題之一。

目前，針對(duì)果蔬目標(biāo)的三維空間定位方法主要有以下幾種：①利用單個(gè)攝像機(jī)定位目標(biāo)，這種方法容易因特征點(diǎn)提取不準(zhǔn)確而增大定位誤差。如Baeten等[1]利用單個(gè)相機(jī)焦距、圖像平面內(nèi)像素大小及蘋果目標(biāo)中心之間的關(guān)系確定相機(jī)到目標(biāo)果實(shí)的距離；Henten等[2]應(yīng)用單相機(jī)移動(dòng)的方法實(shí)現(xiàn)了對(duì)溫室內(nèi)黃瓜的定位，結(jié)果表明，當(dāng)距離小于600 mm時(shí)，定位誤差為7.5 mm。②利用激光測(cè)距傳感器定位目標(biāo)，這種方法對(duì)光學(xué)系統(tǒng)要求較高，成本也較高。如Bulanon等[3]利用激光測(cè)距傳感器完成了對(duì)蘋果目標(biāo)的三維定位；Yin等[4]應(yīng)用激光測(cè)距儀獲取了成熟番茄的深度信息，平均測(cè)距誤差為1.06 mm；Jiménez等[5]基于AR-4000-LIR激光測(cè)距儀研究了樹上柑橘的定位，實(shí)測(cè)定位精度為10 mm。③利用三維相機(jī)定位目標(biāo)，這種方法適合室內(nèi)目標(biāo)空間定位，戶外定位效果較差，且成本昂貴。如Silwal等[6]利用三維相機(jī)采集蘋果圖像，并將該三維圖像映射為二維彩色圖像，進(jìn)而獲得果實(shí)目標(biāo)的空間位置信息；王濱等[7]提出了一種基于Kinect傳感器的獼猴桃空間坐標(biāo)獲取方法，定位誤差小于2 mm。④利用雙目立體視覺技術(shù)定位果實(shí)目標(biāo)，當(dāng)被測(cè)目標(biāo)與攝像機(jī)保持在一定距離范圍內(nèi)時(shí)，定位誤差較小，且成本較低，但目前多數(shù)研究未涉及戶外環(huán)境下重疊成簇果實(shí)目標(biāo)的三維空間定位。如Tarrío等[8]結(jié)合雙目立體視覺及結(jié)構(gòu)光的三維視覺系統(tǒng)研究了成簇草莓的識(shí)別和定位方法，定位精度為厘米級(jí)；蔣煥煜等[9]結(jié)合雙目立體視覺技術(shù)實(shí)現(xiàn)了成熟番茄的定位，結(jié)果表明,當(dāng)工作距離小于650 mm時(shí)，定位誤差為(-7～5)mm，當(dāng)工作距離小于1 050 mm時(shí)，定位誤差為(±10)mm；仲琴等[10]提取了番茄輪廓，并利用雙目視覺對(duì)番茄的形心進(jìn)行了立體匹配和定位；Li等[11]采用CMOS視覺傳感器構(gòu)建了應(yīng)用于菠蘿定位的雙目立體視覺系統(tǒng)，定位精度為2～3 cm。

綜合分析，目前針對(duì)果蔬目標(biāo)的空間定位研究多數(shù)只適用于室內(nèi)結(jié)構(gòu)光環(huán)境，而少數(shù)針對(duì)戶外環(huán)境果實(shí)三維空間定位的研究中多數(shù)限于單果目標(biāo)定位，較少涉及重疊果蔬空間定位且定位精度有待提高。因此，本文基于雙目立體視覺，以戶外重疊柑橘為對(duì)象，提出了一種三維空間定位方法，以期實(shí)現(xiàn)重疊柑橘的準(zhǔn)確空間定位。

1 材料與方法

1.1 雙目立體視覺系統(tǒng)搭建

重疊柑橘原始圖像通過自主研發(fā)的采摘機(jī)器人視覺平臺(tái)獲取。該平臺(tái)主要由雙目相機(jī)(Bumblebee2)、1394數(shù)據(jù)采集卡、計(jì)算機(jī)等組成，其中，計(jì)算機(jī)操作系統(tǒng)采用Win7，圖像處理軟件采用OpenCV3.10。本文所涉及的重疊柑橘圖像均是2018年12月在學(xué)校的柑橘種植基地通過視覺平臺(tái)[12]采集。

1.2 雙目相機(jī)標(biāo)定

為消除重疊柑橘圖像的畸變，首先運(yùn)用張正友標(biāo)定法[13]對(duì)雙目相機(jī)進(jìn)行標(biāo)定，以獲取雙目相機(jī)的相關(guān)參數(shù)。圖1所示，利用12×10棋盤格標(biāo)定板，標(biāo)定過程如下：①固定雙目相機(jī)，在一定范圍內(nèi)平移、旋轉(zhuǎn)棋盤格標(biāo)定板，采集36組處于不同方位的棋盤格雙目左右圖像；②依次對(duì)36組棋盤格圖像進(jìn)行角點(diǎn)檢測(cè)，得到相應(yīng)的單應(yīng)性矩陣；③求解相機(jī)的內(nèi)、外參數(shù)；④求解相機(jī)的畸變系數(shù)；⑤對(duì)初步得到的標(biāo)定結(jié)果優(yōu)化求精。

圖1 雙目相機(jī)棋盤格圖像

考慮到雙目相機(jī)的安裝誤差會(huì)導(dǎo)致左、右相機(jī)的成像平面不共面，從而增大定位誤差，因此，為提高定位精度，對(duì)雙目相機(jī)進(jìn)行立體標(biāo)定，如圖2所示。

圖2 雙目相機(jī)立體標(biāo)定

用旋轉(zhuǎn)矩陣R和平移矩陣T描述雙目左、右相機(jī)坐標(biāo)系之間及其與世界坐標(biāo)系的相對(duì)位置關(guān)系(圖3)。設(shè)點(diǎn)P在世界坐標(biāo)系下的坐標(biāo)為Pw，則點(diǎn)P在左、右相機(jī)坐標(biāo)系下的坐標(biāo)Pl、Pr如下。

圖3 雙目相機(jī)空間位置關(guān)系

(1)

Pr=RPl+T

(2)

式中，Rl、Tl為左相機(jī)的旋轉(zhuǎn)矩陣和平移向量，Rr、Tr為右相機(jī)的旋轉(zhuǎn)矩陣和平移向量，這四個(gè)參數(shù)在前述相機(jī)標(biāo)定中均可得到。

聯(lián)立式(1)(2)可得式(3)。

(3)

設(shè)(uj,vj)為實(shí)測(cè)得到的角點(diǎn)坐標(biāo)，(uc,vc)為標(biāo)定得到的角點(diǎn)坐標(biāo)，按式(4)所示，通過分析實(shí)測(cè)與標(biāo)定所得到的角點(diǎn)坐標(biāo)差異完成重投影誤差分析。

(4)

式中，N為試驗(yàn)次數(shù)，本文N=36。

1.3 重疊柑橘輪廓曲率分析

結(jié)合Lab和HSV顏色空間，基于顏色特征對(duì)柑橘區(qū)域進(jìn)行提取。

柑橘屬類球體，在重疊柑橘區(qū)域的邊緣交界處，曲率會(huì)發(fā)生突變，而樹葉也呈外凸形狀，被樹葉遮擋形成的邊緣處同樣會(huì)發(fā)生曲率突變，利用這一特征可實(shí)現(xiàn)柑橘重疊區(qū)域邊緣的分割。

柑橘輪廓各像素點(diǎn)的曲率[12]Ki如式(5)所示。

(5)

式中，n為柑橘輪廓的像素點(diǎn)個(gè)數(shù)；lth為輪廓的長度；h為采樣間隔(本文取為5)；θi為當(dāng)前采樣點(diǎn)到前一采樣點(diǎn)連線與x軸的夾角；θi+1為后一采樣點(diǎn)到當(dāng)前采樣點(diǎn)連線與x軸的夾角，可按下式計(jì)算[13]。

(6)

式中，(xi，yi)、(xi+1，yi+1)分別為前、后采樣點(diǎn)的坐標(biāo)。

1.4 重疊柑橘中心點(diǎn)匹配及三維空間定位

基于極線約束和圖像相似度，對(duì)雙目相機(jī)左右圖像重疊柑橘中心點(diǎn)進(jìn)行匹配。具體步驟如下：①對(duì)雙目左右圖像進(jìn)行柑橘圖像的分割與識(shí)別，得到柑橘中心點(diǎn)；②以柑橘中心點(diǎn)為圓心，以擬合橢圓長半軸擴(kuò)充0.2倍后的長度為半徑畫圓，并將該區(qū)域圖像從原始圖像中分割出來，作為待匹配區(qū)域；③當(dāng)待匹配的雙目圖像中柑橘中心點(diǎn)的行像素相差6個(gè)像素以內(nèi)時(shí)，運(yùn)用SURF算法、SSD算法及RANSAC算法進(jìn)行特征點(diǎn)的檢測(cè)和匹配；④定義匹配的特征點(diǎn)對(duì)數(shù)目為雙目左右柑橘圖像的相似度，當(dāng)兩幅圖像相似度大于25時(shí)，對(duì)重疊柑橘中心點(diǎn)進(jìn)行匹配。

按照上述步驟完成所有柑橘中心點(diǎn)匹配，再基于雙目立體視覺視差原理獲取重疊柑橘目標(biāo)的三維空間坐標(biāo)信息。圖4所示為雙目相機(jī)定位原理示意圖，在平行雙目立體視覺[14]中，假設(shè)兩攝像機(jī)內(nèi)部參數(shù)完全相同，世界坐標(biāo)系與左攝像機(jī)的攝像機(jī)坐標(biāo)系重合，設(shè)空間點(diǎn)P(X,Y,Z)在攝像機(jī)上成像的圖像坐標(biāo)分別為Pl=(ul,vl)、Pr=(ur,vr)，兩攝像機(jī)光心距離OlOr=d，焦距為f，則根據(jù)三角形相似關(guān)系可得空間點(diǎn)坐標(biāo)如下。

圖4 雙目相機(jī)定位原理

(7)

根據(jù)視差原理，由式(7)可計(jì)算出重疊柑橘中心的深度值及三維空間坐標(biāo)，其中Z坐標(biāo)值即為測(cè)量的柑橘中心深度，沿著雙目相機(jī)光軸方向，根據(jù)深度值大小，由近及遠(yuǎn)對(duì)重疊的柑橘進(jìn)行排序。

1.5 戶外定位實(shí)驗(yàn)

由式(7)可知，柑橘中心三維空間坐標(biāo)X、Y、Z均可由圖像坐標(biāo)ul和ur計(jì)算得到?？紤]到自然環(huán)境中X、Y坐標(biāo)值不易測(cè)量，而Z坐標(biāo)值相對(duì)容易測(cè)量，因此，本文只對(duì)重疊柑橘中心三維空間坐標(biāo)(X,Y,Z)中的Z坐標(biāo)進(jìn)行定位實(shí)驗(yàn)。具體步驟如下：①在重疊柑橘中心處分別標(biāo)上對(duì)應(yīng)的標(biāo)簽；②啟動(dòng)雙目立體視覺系統(tǒng)，通過圖像處理獲取重疊柑橘中心的三維空間坐標(biāo)Pi(Xi,Yi,Zi)，并統(tǒng)計(jì)對(duì)應(yīng)柑橘的Zi坐標(biāo)；③保持激光測(cè)距儀前端面與雙目相機(jī)鏡面共面，測(cè)量柑橘目標(biāo)表面處的深度值，記為dz；④用游標(biāo)卡尺測(cè)量每個(gè)柑橘的橫徑Dc、縱徑Dl，并計(jì)算柑橘的平均半徑r。

按照上述步驟依次對(duì)20組重疊柑橘進(jìn)行測(cè)量，實(shí)際柑橘中心處的深度值da=dz+r，其中r=(Dc+Dl)/4。以人工測(cè)量獲得的柑橘中心值為標(biāo)準(zhǔn)值，則本文方法測(cè)得的柑橘中心處深度誤差值de=Zi-da，平均誤差eave計(jì)算公式如下。

(8)

2 結(jié)果與分析

2.1 雙目相機(jī)標(biāo)定結(jié)果分析

采用張正友標(biāo)定法得到的雙目相機(jī)內(nèi)外參數(shù)、畸變系數(shù)，而經(jīng)雙目立體標(biāo)定得到的旋轉(zhuǎn)矩陣R和平移矩陣T，如表1所示。利用相關(guān)參數(shù)可以對(duì)雙目相機(jī)進(jìn)行畸變校正和立體校正。

表1 雙目相機(jī)標(biāo)定結(jié)果

左右相機(jī)的重投影誤差分析結(jié)果如圖5所示，由式(4)計(jì)算得到左、右相機(jī)在x、y兩個(gè)方向上的誤差分別為0.297 43和0.250 99個(gè)像素、0.302 86和0.252 88個(gè)像素，均在允許的誤差范圍之內(nèi)，滿足精度要求。根據(jù)立體標(biāo)定結(jié)果，最終得到兩相機(jī)的焦距f為1 341個(gè)像素，光心在X軸方向上的距離值d為121.903 mm，接近雙目相機(jī)基線長度120 mm，這表明立體標(biāo)定的結(jié)果是正確的。

圖5 雙目相機(jī)重投影誤差分析

2.2 重疊柑橘輪廓分析

2.2.1雙目相機(jī)標(biāo)定 從圖6可以看出，雙目左右柑橘圖像經(jīng)立體校正后行像素基本對(duì)齊，表明雙目相機(jī)標(biāo)定效果較好。

圖6 雙目左右圖像立體校正

2.2.2柑橘輪廓分析 從圖7可以看出，經(jīng)閾值分割且濾波去噪后，柑橘區(qū)域提取效果較好。以雙目右圖像為例，經(jīng)高斯平滑后的柑橘輪廓清晰，由式(5)所求得的輪廓像素點(diǎn)曲率,如圖8所示。

2.2.3柑橘輪廓像素點(diǎn)曲率分析 正常的柑橘輪廓像素點(diǎn)曲率范圍為[-0.2,0.2]，超出該范圍的即為異常輪廓像素點(diǎn)，即柑橘重疊或被樹葉遮擋時(shí)邊緣交疊處的輪廓像素點(diǎn)。將圖8中曲率異常的像素點(diǎn)映射到圖7所示輪廓上，如圖9所示，輪廓曲率異常的像素點(diǎn)位于曲率變化較大的像素點(diǎn)位置。沿輪廓序列逆時(shí)針方向，依次連接相鄰兩個(gè)異常像素點(diǎn)，獲得輪廓線段。

圖7 柑橘區(qū)域提取

2.2.4柑橘輪廓線段距離分析 通常情況下，柑橘輪廓是一個(gè)外凸的曲線，輪廓上任意兩像素點(diǎn)構(gòu)成的線段一定會(huì)在輪廓內(nèi)部。而柑橘被樹葉遮擋所產(chǎn)生的輪廓片段一般呈現(xiàn)內(nèi)凹形狀，該段輪廓上任意兩像素點(diǎn)構(gòu)成的線段大部分會(huì)在封閉的柑橘輪廓外面。為了通過尋找異常線段確定因樹葉遮擋而產(chǎn)生的輪廓，對(duì)圖8中線段上的像素點(diǎn)到對(duì)應(yīng)輪廓上的距離dmin進(jìn)行分析，并對(duì)dmin的符號(hào)做如下約定：當(dāng)像素點(diǎn)在輪廓內(nèi)時(shí)，dmin取正值；當(dāng)像素點(diǎn)在輪廓外時(shí)，dmin取負(fù)值；當(dāng)像素點(diǎn)在輪廓上時(shí)，dmin取零。結(jié)合圖9中線段(藍(lán)色線條)上的像素點(diǎn)與對(duì)應(yīng)封閉輪廓(黑色曲線)的位置關(guān)系，設(shè)每條線段上dmin≥0的像素點(diǎn)個(gè)數(shù)為nm，dmin<0的像素點(diǎn)個(gè)數(shù)為nl，對(duì)應(yīng)的輪廓片段上的像素點(diǎn)個(gè)數(shù)為nsum，每個(gè)像素點(diǎn)到相應(yīng)線段的距離為di，整段輪廓到線段上的平均距離為Dave，其計(jì)算如式(9)所示。

圖8 輪廓線段確定

圖9 柑橘輪廓篩選

(9)

2.2.5重疊柑橘輪廓確定 分別統(tǒng)計(jì)圖8中12條線段上的像素點(diǎn)個(gè)數(shù)nm、nl以及對(duì)應(yīng)的Dave，結(jié)果如表2所示。

表2 像素點(diǎn)統(tǒng)計(jì)

當(dāng)滿足式(10)或(11)時(shí)，該線段為正常線段，其對(duì)應(yīng)的輪廓片段為柑橘輪廓，否則不是柑橘輪廓。

(10)

Dave≥T3

式中，Dave用于檢測(cè)輪廓片段的平直性。

當(dāng)Dave≥5.5時(shí)，該輪廓片段彎曲度接近完整柑橘輪廓，因此，閾值T3的取值為5.5；當(dāng)Dave<1.2時(shí)，該輪廓片段過于平直，不符合柑橘輪廓的形狀特征，不是柑橘輪廓，因此，閾值T2的取值為1.2；當(dāng)1.2≤Dave<5.5時(shí)，該輪廓片段是否為柑橘輪廓需要進(jìn)一步判斷，此時(shí)，若線段中像素點(diǎn)個(gè)數(shù)nm占像素點(diǎn)總數(shù)nm+nl的比例T1不小于45%，則該輪廓片段為柑橘輪廓，反之則是因樹葉遮擋而產(chǎn)生的非柑橘輪廓，因此，閾值T1的取值為45%。

經(jīng)分析，正常的線段有A1、B1、B2、B3、D1、D4、D5、D8。在兩正常線段的交點(diǎn)處分割重疊柑橘輪廓，則正常線段對(duì)應(yīng)的輪廓片段為柑橘輪廓(圖9中綠色曲線)，其余的輪廓片段則不是柑橘輪廓(圖9中紅色曲線)。

在分割后的輪廓像素點(diǎn)集中剔除非柑橘輪廓(圖9中紅色曲線)像素點(diǎn)，由于粗略分割后的柑橘輪廓是不完整的，為了還原目標(biāo)果實(shí)，本文基于最小二乘法的橢圓擬合插值算法[15]重構(gòu)柑橘輪廓，并將橢圓中心作為柑橘的中心點(diǎn)，結(jié)果如圖10所示。

圖10 重疊柑橘輪廓重建及中心點(diǎn)獲取

2.3 重疊柑橘中心點(diǎn)匹配及三維空間定位結(jié)果

重疊柑橘中心點(diǎn)匹配過程如圖11所示，排序結(jié)果如圖12所示，對(duì)應(yīng)的柑橘目標(biāo)三維空間坐標(biāo)如表3所示。

表3 重疊柑橘中心三維空間坐標(biāo)

圖11 雙目左右圖像重疊柑橘中心點(diǎn)匹配

對(duì)于存在遮擋關(guān)系的兩個(gè)柑橘A、B，若A遮擋B，即柑橘A在柑橘B的前面(用“A→B”表示)，則柑橘A的中心深度值小于柑橘B。按照此判斷標(biāo)準(zhǔn)，對(duì)圖12中存在遮擋關(guān)系的重疊柑橘1/2/5，3/6，7/8進(jìn)行判斷，則有1→2、1→5、2→5，3→6，7→8。

圖12 重疊柑橘排序

2.4 戶外定位實(shí)驗(yàn)驗(yàn)證結(jié)果

戶外定位實(shí)驗(yàn)測(cè)得的重疊柑橘目標(biāo)Zi坐標(biāo)、表面深度值dz、橫徑Dc、縱徑Dl、中心深度值da和中心深度誤差de如表5所示，柑橘中心定位誤差均在9 mm以內(nèi)。而本文方法和人工測(cè)量的重疊柑橘中心深度數(shù)據(jù)對(duì)比如圖13所示，依據(jù)式(8)，計(jì)算得本文方法的平均測(cè)量誤差為6.38 mm，在允許的誤差范圍之內(nèi)，滿足戶外重疊柑橘定位的精度要求。

圖13 重疊柑橘中心深度測(cè)量對(duì)比

表5 重疊柑橘相關(guān)數(shù)據(jù)統(tǒng)計(jì)

3 討論

準(zhǔn)確獲取采摘目標(biāo)的三維空間坐標(biāo)是釆摘機(jī)器人成功釆摘的重要前提?，F(xiàn)有果蔬目標(biāo)三維空間定位研究多數(shù)是針對(duì)特定環(huán)境，難以應(yīng)用于戶外自然環(huán)境[2,6-10]，雖然已有研究戶外果蔬目標(biāo)的三維空間定位[1,3-5,11]，但僅限于沒有重疊和遮擋的情況，沒有考慮戶外果蔬重疊成簇、被樹葉遮擋等實(shí)際生長狀態(tài)，實(shí)用性不強(qiáng)。而且，常用的顏色空間模型中，RGB顏色模型對(duì)光線變化較為敏感，而Lab和HSV顏色模型與設(shè)備無關(guān)，能夠在一定程度上消除光線變化的影響。為此，本文依托自主搭建的采摘機(jī)器人雙目立體視覺系統(tǒng)，重點(diǎn)研究了自然環(huán)境中重疊成熟柑橘的三維空間定位，結(jié)合Lab和HSV顏色空間，基于顏色特征對(duì)柑橘區(qū)域進(jìn)行提取，在此基礎(chǔ)上提出了一種基于極線約束與圖像相似度的重疊柑橘中心深度測(cè)量方法，確定了重疊柑橘的遮擋關(guān)系，并根據(jù)視差原理完成了重疊柑橘的三維空間定位。結(jié)果表明，本文方法的定位誤差為6.38 mm，可滿足柑橘采摘機(jī)器人戶外采摘作業(yè)的定位精度需求。

本文方法可推廣應(yīng)用于戶外其他類球形果蔬的三維空間定位。但是，果蔬采摘機(jī)器人的作業(yè)環(huán)境較為復(fù)雜，不可避免地存在陰/晴天自然光照變化、圖像采集順/逆光、枝葉等遮擋物在果蔬表面形成陰影等情況，因此，后續(xù)主要考慮從以下方面著手提高定位精度：①在視覺系統(tǒng)結(jié)構(gòu)優(yōu)化方面，借鑒醫(yī)學(xué)上的無影燈原理，在視覺系統(tǒng)中加入主動(dòng)光源和遮光裝置，以補(bǔ)償自然條件差異對(duì)視覺系統(tǒng)的影響；②在定位算法智能優(yōu)化方面，將深度學(xué)習(xí)理論[16]應(yīng)用于視覺系統(tǒng)定位算法，以提高圖像分析處理的精度和效率。