茄子采摘機器人目標識別與測距方法

宋 健， 王 凱， 張曉琛

(1. 濰坊學院 機電工程學院，山東 濰坊261061;2. 常州大學 機械工程學院，江蘇 常州213000)

0 引 言

蔬菜自動化收獲能有效解決在盛果期菜農(nóng)勞動強度大、果實采收不及時等難題，對提高生產(chǎn)效率，克服農(nóng)業(yè)勞動力短缺，促進蔬菜產(chǎn)業(yè)的發(fā)展具有重要意義［1-2］。從上世紀80 年代中期開始，以日本為代表的西方發(fā)達國家在收獲采摘機器人的研究上作了大量的工作，試驗開發(fā)了一些具有人工智能的蔬菜采摘機器人［3-5］。但由于技術(shù)、市場和價格等因素的影響，離實用化和商業(yè)化還有很大一段距離［6］。其中，成熟果實的智能化識別與定位是關(guān)鍵技術(shù)之一［7］。

當前，農(nóng)業(yè)機器人常用的目標探測工具是彩色相機。但是，一個彩色相機只能得到目標的二維位置信息和成熟度信息，而無法獲取其三維位置信息。而且，單個相機很難保證其信息的準確性和可靠性［8］。當前，國內(nèi)外的采摘機器人一般采用雙目機器視覺或單目視覺加上接近覺傳感器來實現(xiàn)對果實進行定位。但由于目前的接近覺傳感器在要求的果實距離的范圍內(nèi)準確性不高，所以使得雙目視覺的研究更加廣泛［9］。Teruo Takahashi 等研制的蘋果采摘機器人，其視覺系統(tǒng)主要采用了2 個彩色相機組成的雙目立體視覺系統(tǒng)。當左、右兩個相機同時獲取了同一目標的圖像后，通過將兩幅圖像進行中心合成來重建采摘目標的三維信息［13］。蔣煥煜等研究了基于雙目立體視覺技術(shù)的成熟番茄的識別與定位方法，獲取了成熟番茄的位置信息，用于指導溫室內(nèi)成熟番茄的自動化采摘作業(yè)［14］。袁挺等通過建立基于灰度相關(guān)與極線幾何相結(jié)合的匹配策略，實現(xiàn)了雙目視覺下的黃瓜抓取點的立體匹配和三維重建［15］。

雙目視覺技術(shù)在采摘機器人上的應(yīng)用有了較快的發(fā)展，但依然存在識別和定位精度較低和工作效率不高的問題［16］。本文以生長環(huán)境中的茄子為研究對象，借助OPopenCV 豐富的視覺處理算法，實現(xiàn)采摘目標的識別與三維信息的獲取，以期提高采摘機器人視覺系統(tǒng)的智能化和實時性。

1 機器人系統(tǒng)總體結(jié)構(gòu)

1.1 圖像分割

采摘機器人視覺系統(tǒng)中的圖像分割就是把茄子果實從圖像中提取并標記出來，也就是將圖像分成茄子果實和背景兩部分。根據(jù)對茄子果實和周圍環(huán)境的顏色特征分析，G-B 灰度圖像對于果實目標的分割最為有利。另外，采摘機器人對視覺系統(tǒng)實時性和適應(yīng)性的要求較高?；谝陨蟽牲c，采用基于亮度的閾值分割算法對G-B 灰度圖像進行分割。

主要原理:

式中:Th為分割閾值;Gav為平均灰度值;Gmax為最大灰度值;f 為權(quán)重因子。

圖1 圖像分割效果

1.2 果實目標的特征提取

果實圖像分割完成之后就得到了包含果實的二值圖像，此時可用區(qū)域標記算法找出各個果實的區(qū)域，進行區(qū)域分析，并得到這些區(qū)域的外接矩形，從而完成果實目標的提取。

根據(jù)采摘機器人的工作要求，采用4 連通像素標記法對果實目標進行標記。在對圖像進行標記的同時，還可以得到標記算法的副產(chǎn)品，程序中可實現(xiàn)如下功能:①計算區(qū)域的面積。②去除噪聲的影響。③跟蹤目標的邊界，計算目標的周長、圓形度。而且，可以方便地提取所需要的質(zhì)心、面積、外接矩形、切斷點等特征。

2 視覺系統(tǒng)的標定

計算機視覺的基本任務(wù)是從攝像機獲取的圖像信息出發(fā)計算三維空間中物體的幾何信息，并由此重建和識別物體，而空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系是由攝像機成像的幾何模型決定的。這些幾何模型參數(shù)即攝像機參數(shù)包括攝像機內(nèi)部參數(shù)和外部參數(shù)。因為生產(chǎn)誤差以及工藝水平問題，使生產(chǎn)的攝像頭往往存在一些問題。比如說主光點的偏移，在x、y 方向上的焦點尺寸不同導致的焦點不規(guī)則等。所以在應(yīng)用中必須這些畸變進行數(shù)學上矯正。

為了獲取最大的精度，標定選擇在Matlab 標定工具箱中進行。標定方法采用張正友的平面標定方法，攝像頭前放置標準黑白相間的棋盤，攝像頭拍攝不同角度下的10 張棋盤的圖像。在獲取完圖片后Matlab經(jīng)過多次迭代計算得到攝像頭的內(nèi)外參數(shù)。圖2 為Mtlab 建立的模型，圖中，1 ～10 為攝像頭所采集的不同角度下的標定板。由于開發(fā)語言是C + +，所以所得的各種參數(shù)保存到xml 文件中，以便后續(xù)的圖像處理使用。

3 視覺視覺測距算法

3.1 雙目視覺測距原理

最基本的雙目視覺系統(tǒng)的立體幾何關(guān)系如圖3 所示。2 個完全相同的攝像機的2 個圖像平面位于一個平面內(nèi)，2 個攝像機的坐標軸相互平行，且x 軸相互重合，攝像機之間在x方向的距離為基線距離B。在該

圖2 Matlab 標定模型

模型中，場景中同一個特征點在2 個攝像機圖像平面的成像位置不同，位置之差成為視差(x'l－x'r)，該特征點在2 個不同圖像上的投影點稱為共軛對，通過2個攝像機中心(Ol和Or)和場景特征點P 的片面稱為外極平面，外極平面與圖像平面的交線稱為外極線，同一圖像平面上所有外極線交于一點，該點稱為外極點。

治療前，兩組血清CEA、ApoA1值均無統(tǒng)計學差異；觀察組與對照組治療后的血清CEA值都低于治療前，同組治療前后比較差異有統(tǒng)計學意義（P＜0.05）；治療后觀察組的CEA低于對照組，差異有統(tǒng)計學意義（P＜0.05）。觀察組與對照組治療后的ApoA1值都高于治療前，同組治療前后比較差異有統(tǒng)計學意義（P＜0.05）；治療后觀察組的ApoA1高于對照組，差異有統(tǒng)計學意義（P＜0.05）。見表4。

圖3 雙目視覺立體幾何關(guān)系圖

場景點P 在左、右圖像平面中的投影點分別為Pl和Pr。不失一般性，假設(shè)坐標系原點與左透鏡中心重合。根據(jù)相似三角形原理，很容易得出深度信息z。

式中:F 是焦距;B 是基線距離。

3.2 質(zhì)心匹配算法

立體匹配是根據(jù)對所選特征的計算，建立特征之間的對應(yīng)關(guān)系，將同一個空間物理點在不同圖像中的映像點對應(yīng)起來。采摘對象是茄子的果實呈圓柱形，平行安裝的2 個攝像機采集到圖像的質(zhì)心是一對很好的匹配點，可以采用質(zhì)心匹配方法進行目標對象的定位。通過對左右兩圖像進行圖像分割，獲取目標對象在立體圖像對中的質(zhì)心坐標。進而采用基于質(zhì)心并輔以極線約束、唯一性約束、視差梯度約束的算法來實現(xiàn)果實目標的匹配。

極限約束給出了對應(yīng)點的重要約束條件，利用極線約束可以大大地縮小尋找對應(yīng)點的搜索空間，從而提高搜索速度，減少誤匹配。由分析推導可得雙攝像頭的相對位置和極限方程的公式為

式中:［m］x為向量m 所定義的反對稱矩陣;u1、u2為2 個攝像頭對應(yīng)點的齊次坐標;M21、M11為攝像機投影矩陣。

該約束是指一般情況下，一幅圖像上的每個特征點最多只能與另一幅圖像上的一個特征點對應(yīng)。研究中根據(jù)一個茄子只有一個質(zhì)心滿足惟一性約束的情況，將兩幅圖像中分別提取的茄子質(zhì)心坐標進行匹配。

視差梯度度量的是兩對匹配點的相對視差。假設(shè)空間中兩點A、B 在左圖中Al=(axlay)，Bl=(bxlby);在右圖中Ar=(axray)，Br=(bxrby)，該兩點的獨眼分離度S 為

兩點間的匹配視差差別為

本文為平行雙目立體視覺系統(tǒng)，則ay=by，匹配對之間的視差梯度為:

實際應(yīng)用中，視差梯度是受限制的，Γ(A，B)≤1。

3.3 算法實現(xiàn)

茄子一般呈圓柱型，所以平行安裝的2 個攝像機采集到圖像的質(zhì)心是一對很好的匹配點。利用前述方法對左右視圖分別進行圖像分割，然后分別求出兩者的質(zhì)點。采用極線約束、視差梯度約束的算法來實現(xiàn)果實目標的匹配，具體算法如下:①圖像預處理和分割;②提取左右2 個圖像中茄子的質(zhì)心坐標;③對右邊茄子圖像中的每個特征，利用極線約束條件找出左邊圖像中的可能匹配;④計算每個匹配的視差梯度，以確保其在視差梯度范圍內(nèi);⑤遍歷所有可能的匹配，得出結(jié)果。

質(zhì)心匹配程序界面如圖4 所示。

圖4 質(zhì)心匹配程序界面

4 實驗結(jié)果及分析

4.1 實驗條件

具有開放式體系結(jié)構(gòu)的茄子采摘機器人系統(tǒng)包括PC 機，固高公司的GUC-800-TPG-M23-L2 8 軸獨立運動控制器，安川交流伺服驅(qū)動系統(tǒng)，大恒水星系列數(shù)字攝像機MER-125-30，5 自由度關(guān)節(jié)式機器人本體。實驗用PC 機的CPU 為Intel 酷睿i5 4570，4 GB 內(nèi)存，Windows XP 操作系統(tǒng)，編程語言為C + +，編譯環(huán)境為Visual C2010，視覺數(shù)據(jù)庫版本ewing2.44。

將攝像機固定于機械手基座上，2 攝像機安裝的光軸平行且高度相同，2 個攝像機距離600 mm。觸發(fā)器控制兩個攝像機同時拍攝同一場景的圖像，采集圖像的分辨率為640 像素×480 像素。

4.2 結(jié)果與分析

利用質(zhì)心匹配算法，對3 個不同的茄子在300 ～800 mm 范圍內(nèi)的10 個不同位置進行了定位實驗。測定了不同位置的3 個茄子深度信息的實際值，并利用質(zhì)心匹配方法計算目標對象的距離值，測試結(jié)果如圖5 所示。其中，縱坐標為茄子深度信息測量值與預測值的偏差，橫坐標為測量距離。

圖5 測試誤差曲線

由圖可見，當工作距離小于600 mm 時，除了個別奇異點外，茄子深度信息的誤差基本上在±15 mm 以內(nèi)，完成一次目標對象的定位測量所需時間約0.26 s。造成誤差的主要原因:①圖像分割的圖像雖然經(jīng)過了濾波處理，但是不可能根本清除，造成了質(zhì)心坐標的誤差，從而影響了深度信息的準確性。②測量誤差隨著距離的增大而增大的原因，主要是由于目標對象在圖像中的視差隨著距離的增大而減小，在視差誤差相同的情況下，預測值的誤差隨距離的增大而增大。③攝像機標定的誤差也在一定程度上影響著測量的精度。

實驗結(jié)果表明，基于雙目視覺的茄子采摘機器人目標定位方法原理簡單，智能性好，適應(yīng)面廣，能夠滿足采摘機器人目標定位的要求。只是耗時相當較多，處理速度需進一步提高。

5 結(jié) 語

為了對茄子采摘機器人提供果實目標的三維信息，提出了一種基于雙目立體視覺的目標定位方法。在RGB 顏色空間成熟茄子果實與背景之間差異較大，采用基于亮度的閾值分割算法可以較好地將目標果實分割出來。采用基于質(zhì)心并輔以極線約束、視差梯度約束的算法能夠比較準確地獲得茄子果實的三維信息。實驗測定，測量距離300 ～600 mm，茄子深度信息的誤差基本上在±15 mm 以內(nèi)，平均用時0.26 s。該方法雖然能夠滿足茄子采摘機器人視覺系統(tǒng)的要求，但是其測量精度和實時性還有進一步提高的余地。今后的研究中，還需要優(yōu)化系統(tǒng)算法設(shè)計，精確標定攝像機參數(shù)，從而開發(fā)出能夠應(yīng)用于采摘機器人實際作業(yè)的果實目標定位算法。

［1］ 宋 健，張鐵中，徐麗明，等. 果蔬采摘機器人研究進展與展望［J］.農(nóng)業(yè)機械學報，2006，37 (5):158-162.

［2］ 崔玉潔，張祖立，白曉虎. 采摘機器人的研究進展與現(xiàn)狀分析［J］. 2012，2(2):4-7.

［3］ 張凱良，楊 麗，張鐵中. 高架草莓采摘機器人設(shè)計與試驗［J］. 農(nóng)業(yè)機械學報，2012，9(43):165-172.

［4］ Van Henten E J，Van Tuijl B A J. Field test of an autonomous cucumber picking robot［J］. Biosystems Engineering，2003，86(3)，305-313.

［5］ 梁喜鳳，苗香雯，崔紹榮，等. 番茄收獲機械手運動學優(yōu)化與仿真試驗［J］.農(nóng)業(yè)機械學報，2005，36(7):96-100.

［6］ Murali Regunathan，Won Suk Lee. Citrus Fruit Identification and Size Determination Using Machine Vision and Ultrasonic Sensors［C］∥ASAE ，ASAE Meeting，Hokkaido :IEEE，2005:639-644.

［7］ 湯修映，張鐵中.果蔬收獲機器人研究綜述［J］.機器人，2005，27(1):90-96.

［8］ 崔 鵬，陳 志，張曉超.蘋果采摘機器人仿生機械手靜力學分析與仿真［J］. 農(nóng)業(yè)機械學報，2011，42(2):149-153;.

［9］ Song J. Target Identification Based on Improved Wavelet Edge Detection for Eggplant Picking Robot［J］. International Review on Computers and Software，2011，6(5):710-714.

［10］ 郭艾俠，肖德琴. 基于探索性分析的荔枝串與結(jié)果母枝圖像識別［J］.實驗室研究與探索，2014，33(2):4-9.

［11］ Bulanon D M，Kataoka T. Fruit detection system and an end effector for robotic harvesting of Fuji apples［J］. CIGR Journal，2010，12(1):203 -210.

［12］ Xu L，You Z，Wu S，et al. Development and experiment on automatic grading equipment for kiwi［J］. INMATEH-Agricultural Engineering，2013，41(3):55-64.

［13］ Teruo Takahashi，Shuhuai Zhang，Hiroshi Fukuchi. Measurement of 3-D Locations of Fruit by Binocular Stereo Vision for Apple Harvesting in an Orchard［J］.ASAE，2002，16(2):653-659..

［14］ 蔣煥煜，彭永石，應(yīng)義斌. 雙目立體視覺技術(shù)在果蔬采摘機器人中的應(yīng)用［J］.江蘇大學學報，2008，29(5):377-380.

［15］ 袁 挺，李 偉，譚豫之，等. 溫室環(huán)境下黃瓜采摘機器人信息獲?。跩］. 農(nóng)業(yè)機械學報，2009，40(10):151-155 .

［16］ Shigehiko Hayashi，Kenta Shigematsxi. Evaluation of a strawberryharvesting robot in a field test［J］. Biosystems Engineering，2010，105(2):160-171.