機(jī)器視覺在采摘機(jī)器人識別與定位中的應(yīng)用

焦迎雪，董海濤，武文革

（1.山西鐵道職業(yè)技術(shù)學(xué)院，山西 太原 030013；2.山西機(jī)電職業(yè)技術(shù)學(xué)院，山西 長治 046011；3.中北大學(xué)，山西 太原 030051）

1 引言

在信息技術(shù)的驅(qū)動下，農(nóng)業(yè)生產(chǎn)過程的機(jī)械化朝著自動化和智能化的方向發(fā)展。機(jī)器人技術(shù)的飛速發(fā)展徹底改變了傳統(tǒng)的農(nóng)業(yè)生產(chǎn)方式［1］。長期以來，農(nóng)業(yè)一直是影響國內(nèi)經(jīng)濟(jì)和社會發(fā)展的核心問題，農(nóng)業(yè)機(jī)器人的研究和開發(fā)具有重要的價值［2］，并形成了豐富的經(jīng)濟(jì)和社會效益。采摘是整個生產(chǎn)過程中最耗時的環(huán)節(jié)，也是整個生產(chǎn)過程中關(guān)鍵環(huán)節(jié)之一。采摘作為生產(chǎn)的關(guān)鍵環(huán)節(jié)，非常耗時，果蔬采摘具有較強(qiáng)的實(shí)時性。因此，研究基于機(jī)器視覺的夜間采摘機(jī)器人識別與定位技術(shù)具有重要的意義。

近年來，國內(nèi)外的研究人員對采集機(jī)器人技術(shù)進(jìn)行了大量研究，并取得了許多優(yōu)異的成果，但對采摘機(jī)器人識別與技術(shù)的研究非常少。文獻(xiàn)［3］對夜晚西紅柿的識別和定位技術(shù)進(jìn)行研究，總結(jié)了成熟西紅柿的檢測和分類方法，分析了當(dāng)前番茄采摘存在的主要問題，并對未來的研究重點(diǎn)進(jìn)行展望。文獻(xiàn)［4］提出了一種低成本的單雙目識別和定位系統(tǒng)。首先，雙目視覺系統(tǒng)可以根據(jù)蘋果顏色、形狀和位置特征來識別和定位蘋果，然后位于執(zhí)行器底部邊緣的單目視覺系統(tǒng)可以在短距離內(nèi)鎖定并采摘目標(biāo)。文獻(xiàn)［5］提出了一種基于單眼視覺和超聲檢測的振動水果識別與定位方法。首先，使用Oteu閾值對圖像進(jìn)行分割，然后用灰色的果實(shí)區(qū)域填充圖像，然后疊加處理后的圖像序列以獲得合成圖像。韓鑫等提出了一種基于改進(jìn)的單次多框架深度學(xué)習(xí)識別方法的機(jī)器人抓取系統(tǒng)，以實(shí)現(xiàn)零件檢測、分類、定位和抓取等，并通過實(shí)驗(yàn)進(jìn)行了驗(yàn)證［6］。由于果實(shí)是具有生命的離散個體，不同的生長環(huán)境（如光照、遮擋等）會造成個體形狀和顏色的差異，給果實(shí)的識別帶來困難，影響識別的準(zhǔn)確性。在夜間識別目標(biāo)水果時，上述研究存在識別精度低、識別時間長等問題，適應(yīng)性有待進(jìn)一步加強(qiáng)。

在此基礎(chǔ)上，這里提出了一種基于機(jī)器視覺的夜間采集識別與定位方法，使用基于粒子群優(yōu)化的獨(dú)立成分分析方法來降低夜間蘋果圖像中的噪聲，使用PCNN方法對圖像進(jìn)行分割，并通過邊緣檢測等方法提取目標(biāo)輪廓，最后使用改進(jìn)的三點(diǎn)定圓法來提高目標(biāo)的識別和定位精度。仿真結(jié)果驗(yàn)證了該方法的有效性和可行性。

2 系統(tǒng)結(jié)構(gòu)

采摘機(jī)器人識別和定位系統(tǒng)由嵌入式控制器、雙目視覺傳感器和末端執(zhí)行器等組成。模擬人類采摘蘋果的過程，系統(tǒng)結(jié)構(gòu)，如圖1所示。首先，使用雙目視覺傳感器對樹上的蘋果進(jìn)行識別和定位，然后選擇一個目標(biāo)［7］。基于采集的信息，嵌入式控制器可以識別目標(biāo)并將其在短距離內(nèi)鎖定。機(jī)械手根據(jù)已建立的基于圖像反饋的控制方法進(jìn)行采摘［8］。采摘目標(biāo)后，機(jī)械臂將返回到其初始位置并選擇下一個目標(biāo)，直到采摘了所有已識別和定位目標(biāo)。機(jī)器人移動以重新識別、定位。采摘目標(biāo)。文中主要研究識別和定位技術(shù)。

圖1 系統(tǒng)結(jié)構(gòu)Fig.1 System Structure

3 夜間目標(biāo)的識別與定位

由于光照和濕度等不利因素，夜間采集的圖像質(zhì)量較差，并且會伴隨大量噪聲污染［9］。文中對圖像連續(xù)進(jìn)行降噪、分割、輪廓提取和定位，識別和定位過程，如圖2所示。

圖2 識別與定位流程Fig.2 Identification and Positioning Process

3.1 圖像降噪

粒子群優(yōu)化ICA算法提高了算法的運(yùn)算效率和降噪精度［10］。ICA算法的核心是求解分離矩陣W，并使用PSO算法實(shí)現(xiàn)ICA優(yōu)化，PSO-ICA算法的基本步驟如下。

（1）對被測信號x進(jìn)行集中化和白化處理，得到矩陣D和H。

（2）對粒子群進(jìn)行初始化，隨機(jī)生成粒子i初始位置zi和速度vi，對粒子i的適應(yīng)度進(jìn)行計算［11］。

（3）通過粒子的適應(yīng)度來確定粒子的最佳位置，其中，是待求分離矩陣為群體最優(yōu)位置。

（4）利用粒子群優(yōu)化算法更新粒子的位置和速度。

（5）正交化分離矩陣。

（6）對粒子適應(yīng)度進(jìn)行計算，更新粒子和種群最優(yōu)位置，并與之前的迭代進(jìn)行比較，如果是最優(yōu)值，保留當(dāng)前值，然后繼續(xù)下一步［12］。否則，返回步驟（3）。

（8）種群最優(yōu)位置pg為待求解的分離矩陣W，算法結(jié)束。

3.2 PCNN分割

目前，大部分圖像分割算法都依靠圖像灰度信息，并且常常忽略圖像中的空間信息［13］。常用的分割算法有色差分割、Kmeans 算法、PCNN 算法，均可以有效分割出蘋果圖像，單PCNN算法分割耗時最短。

這里采用PCNN用于蘋果圖像分割，PCNN不僅考慮了灰度信息，還考慮了空間信息。

PCNN 作為第三代神經(jīng)網(wǎng)絡(luò)，被廣泛應(yīng)用于圖像處理領(lǐng)域［14］。PCNN 可以根據(jù)其空間接近度和亮度對圖像像素進(jìn)行分組，并將其應(yīng)用于圖像分割以獲得更好的分割結(jié)果。簡化的PCNN神經(jīng)元模型，如圖3所示。

圖3 簡化PCNN神經(jīng)元模型Fig.3 Simplified PCNN Neuron Model

對模型進(jìn)行數(shù)學(xué)描述，在輸入?yún)^(qū)中，神經(jīng)元的輸入有兩大通道［15］，如式（1）、式（2）所示。

式中：i，j—神經(jīng)元的標(biāo)號；

Fij—神經(jīng)元輸入項(xiàng)；

Iij—輸入激勵，即與像素點(diǎn)(i，j)相對應(yīng)的特征值；

Lij—連接輸入項(xiàng)；

Yij—脈沖輸出；

Wij—耦合連接域的連接系數(shù)。

在連接輸入器主要作用是對輸入進(jìn)行調(diào)制，獲得內(nèi)部狀態(tài)信號，如式（3）所示。

式中：Uij—內(nèi)部活動頁；β—內(nèi)部活動頁連接系數(shù)。

在脈沖發(fā)生器中，如式（4）、式（5）所示［16］。

式中：γ—動態(tài)閾值衰減步長；ve—放大系數(shù)。

PCNN 參數(shù)設(shè)置大多數(shù)都是通過實(shí)驗(yàn)反復(fù)調(diào)試獲取的。參考現(xiàn)有研究成果描述的PCNN模型使用最大熵準(zhǔn)則來確定迭代次數(shù)，然后對蘋果圖像進(jìn)行分割［17］。

3.3 輪廓提取

在分割圖像之后，執(zhí)行輪廓提取以展示圖像紋理的細(xì)節(jié)。在這里，使用邊緣檢測、凸殼提取和輪廓消除等方法獲得目標(biāo)蘋果的真實(shí)輪廓。

這里采用Canny邊緣檢測算子，邊緣檢測的過程如下［18］。

（1）使用高斯濾波器對輸入圖像進(jìn)行平滑處理。

（2）計算梯度幅值圖像和角度圖像。

（3）對幅值圖像進(jìn)行抑制處理。即，將具有最高梯度值的像素保留為邊緣，并去除其他像素。

（4）邊緣檢測和連接：雙閾值和連接分析。

通過邊緣檢測提取的圖像還不平滑，通過凸殼來替換蘋果目標(biāo)的輪廓，關(guān)于凸殼有很多算法文中使用卷包裹方法，步驟如下。

①在點(diǎn)集中選擇橫或縱坐標(biāo)最小的點(diǎn)。

②以所選點(diǎn)a1開始繪制一條水平線，然后以a1為中心逆時針旋轉(zhuǎn)該線，直到它接觸到點(diǎn)集中的點(diǎn)為止。設(shè)為a2，線段a1a2是凸殼的一條邊。

③繼續(xù)圍繞a2點(diǎn)逆時針旋轉(zhuǎn)線，直到它接觸到點(diǎn)集中的下一個點(diǎn)。設(shè)為a3，線段a2a3是凸殼的第二條邊。

④重復(fù)前面的步驟，直到下一個點(diǎn)為a1，線段ana1是凸殼的第n條邊。

這里采用自適應(yīng)方法去除目標(biāo)蘋果的不真實(shí)輪廓，并保留目標(biāo)蘋果的實(shí)際輪廓。基本思想是以輪廓左上角作為起點(diǎn)，逆時針追蹤輪廓，在凸包的頂點(diǎn)位置標(biāo)記序號，并基于這些頂點(diǎn)號來確定相鄰輪廓之間的距離［18］。計算出平均距離，并將其平均值設(shè)置為閾值，確定兩個相鄰頂點(diǎn)的距離和閾值，如果該值大于閾值，則輪廓不是目標(biāo)蘋果的真實(shí)輪廓。將其刪除。否則，將其視為要保留的真實(shí)輪廓。

3.4 改進(jìn)的三點(diǎn)定圓法定位

為了最大程度地識別目標(biāo)果實(shí)的中心和半徑，減少平均值計算過程中的誤差，采用遺傳算法對三點(diǎn)定圓法進(jìn)行優(yōu)化，提高定位的準(zhǔn)確性。

假設(shè)目標(biāo)蘋果輪廓上的任何三個點(diǎn)P1(x1，y1)、P2(x2，y2)、P3(x3，y3)，由這三個點(diǎn)確定的圓心為O(x0，y0)。假設(shè)連接任意兩個點(diǎn)的線段的垂線的交點(diǎn)圓的中心，則兩條中垂線的，如式（6）所示［19］。

圓的中心和圓上的點(diǎn)之間的距離是圓的半徑長度r，計算如式（7）所示。

圓可以由不在同一條線上的三個點(diǎn)確定，但是對圖像來說，圖像中的點(diǎn)是圖像中的像素。如果目標(biāo)蘋果輪廓中的三個像素太近，則它們會影響圓或使圓的確定變得困難。因此，如果在目標(biāo)輪廓上選擇三個點(diǎn)，則應(yīng)設(shè)置閾值，以使所確定圓的中心和半徑盡可能接近目標(biāo)蘋果的圓，步驟如下。

（1）初始種群，根據(jù)三點(diǎn)定圓法計算目標(biāo)蘋果的中心和半徑，并重復(fù)20次。以20組中心和半徑為初始種群，每個圓的中心及其對應(yīng)的半徑為群體中的個體。

（2）計算每個個體的適應(yīng)度。遺傳算法在個體被選中的概率中起著至關(guān)重要的作用。適應(yīng)度越好，就越容易被選擇。文中將步驟一中的蘋果目標(biāo)定位結(jié)果與實(shí)際蘋果目標(biāo)像素數(shù)之比用作適應(yīng)度函數(shù)，即重合系數(shù)。計算如式（8）所示［20］。

（3）選擇適應(yīng)度較大的解。設(shè)置適用度閾值p=90%，將閾值之上的解保存，刪除其它解。

（4）將第三步中獲得的解用作下一代或通過交叉變異遺傳算法生成新解，生成一個新種群。

（5）設(shè)定適應(yīng)度的期望值E=95%。迭代次數(shù)T=100。如果種群P(i)中解達(dá)到期望值或最大迭代次數(shù)時，操作結(jié)束。否則，將產(chǎn)生下一代種群P(i+1)，重復(fù)步驟（2）～步驟（4），直到重合系數(shù)達(dá)到期望值或最大迭代次數(shù)，定位流程，如圖4所示。

圖4 定位流程Fig.4 Positioning Process

4 算例分析

4.1 降噪效果分析

圖像降噪后，有必要評估降噪效果，主要有主觀評價和客觀評價，主觀評價是通過觀察者肉眼觀察處理后進(jìn)行評價，受到人的主觀因素影響。這里采用客觀評價，客觀評價是相對主觀評價而言，圖像降噪質(zhì)量的客觀評估是指在評估過程中通過結(jié)合數(shù)學(xué)原理和工程技術(shù)來量化圖像質(zhì)量，然后評估圖像質(zhì)量的量化技術(shù)，具有操作簡便、重現(xiàn)性強(qiáng)、易于集成等優(yōu)點(diǎn)，具有廣闊的應(yīng)用前景?？陀^標(biāo)準(zhǔn)包括均方誤差（MSE）、峰值信噪比（PSNR）等。文中用峰值信噪比來評估圖像的將噪效果，其數(shù)學(xué)原理，如式（9）所示。

式中：fij—原始圖降噪圖；M、N—圖像的高度和寬度，尺寸相同圖像M×N，PSNR數(shù)值越大，降噪能力越強(qiáng)。

對這里提出的PSO-ICA 將噪算法進(jìn)行了仿真。首先，將自然光下和夜間采集蘋果圖像轉(zhuǎn)換為灰度圖像，并在自然光下采集的圖像中添加概率P=0.03 的椒鹽噪聲。在實(shí)驗(yàn)中，在MATLAB 中分別采用均值濾波、ICA 和PSO-ICA 去除混合噪聲圖像和夜間圖像中的噪聲。均值濾波窗戶尺寸為3×3（像素）。ICA 正交變換8×8基圖。PSO-ICA 降噪方法，粒子數(shù)N=20，最大粒子速度1，學(xué)習(xí)系數(shù)2，慣性權(quán)重0.9和0.4，最大迭代數(shù)100，仿真結(jié)果，如圖5所示。

圖5 降噪結(jié)果對比Fig.5 Comparison of Noise Reduction Results

采用均值濾波、ICA和PSO-ICA對混合噪聲的自然光圖像和夜間圖像中的噪聲進(jìn)行降低，由圖5可知，對混合噪聲的自然光圖像進(jìn)行降噪，均值濾波算法降噪效果最差，ICA算法次之，PSOICA算法降噪效果最為清晰。

對夜間圖像進(jìn)行降噪，同樣是均值濾波算法降噪效果最差，ICA算法次之，PSO-ICA算法降噪效果最好，圖片最為清晰。與均值濾波和ICA降噪方法相比，這里提出的PSO-ICA降噪方法具有最低的噪聲和最清晰的圖像。

為了進(jìn)一步驗(yàn)證該算法的適應(yīng)性，對20幅蘋果夜景圖像進(jìn)行了仿真實(shí)驗(yàn)，并計算了每種方法的平均峰值信噪比和平均運(yùn)行時間。結(jié)果記錄，如表1所示。

表1 算法降噪效果比較Tab.1 Comparison of Noise Reduction Effects of Algorithms

從客觀數(shù)據(jù)來看，均值濾波后的低噪聲圖像具有最低的峰值信噪比（PSNR）。獨(dú)立成分分析（ICA）去噪方法的峰值信噪比（PSNR）較均值濾波提高明顯。PSO-ICA結(jié)果具有相對較高的峰值信噪比（PSNR），明顯高于其他兩種方法。就執(zhí)行時間而言，均值濾波的時間最短，ICA花費(fèi)的時間最長，但是PSO優(yōu)化后的ICA執(zhí)行時間大大減少了。

從峰值信噪比可以看出，均值濾波將噪算法比原始圖像高17.39%，ICA降噪算法高29.50%，PSO-ICA將噪方法比原始圖像高39.06%。表明了該算法在夜間圖像降噪中的有效性。

4.2 分割效果分析

圖像分割的最終目標(biāo)是將目標(biāo)與背景分離。分割算法的評估可以通過分割結(jié)果與原始圖像中的目標(biāo)匹配的程度來衡量。在實(shí)驗(yàn)中，K-means和PCNN 用于圖像分割。分割結(jié)果的比較，如圖6所示。

圖6 分割結(jié)果對比Fig.6 Comparison of Segmentation Results

在這一部分中，使用分割誤差，重疊系數(shù)和執(zhí)行時間全面分析分割算法的性能。分割誤差SE越小，分割效果越好。計算如式（10）所示。

式中：Ai—分割后提取的蘋果目標(biāo)區(qū)域；

A—原始圖像中目標(biāo)蘋果區(qū)域。

重疊系數(shù)表示分割后的目標(biāo)和原始目標(biāo)之間的匹配程度，值越高，分割效果越好，如式（11）所示。

式中：Ai?A—分割后的圖像和原始圖像。

通過K-means分割得到的目標(biāo)果實(shí)部分丟失，PCNN分割方法可以更完整地提取目標(biāo)蘋果，效果優(yōu)于K-means分割。為了更準(zhǔn)確地確定這兩種分割方法的性能，驗(yàn)證PCNN分割方法的適用性，對20種分割后的無遮擋蘋果圖像進(jìn)行了分割方法測試，并對分割誤差、重合系數(shù)和運(yùn)行時間進(jìn)行了比較結(jié)果，如表2所示。

表2 分割效果比較Tab.2 Comparison of Segmentation Effect

從表2可以看出，K-means分割和PCNN分割的平均分割誤差分別為8.703%和2.225%。平均重疊系數(shù)為90.562%和97.358%，平均執(zhí)行時間為4.642s 和0.691s，PCNN 分割優(yōu)于Kmeans分割。PCNN分割可以實(shí)現(xiàn)目標(biāo)蘋果的準(zhǔn)確提取。

4.3 識別與定位效果分析

根據(jù)蘋果類圓特征，利用遺傳算法改進(jìn)的三點(diǎn)定圓法，實(shí)現(xiàn)了重疊果實(shí)真實(shí)輪廓上的識別和定位。通過比較改進(jìn)前后的三點(diǎn)定圓法定位結(jié)果，驗(yàn)證了這里算法的適應(yīng)性。實(shí)驗(yàn)結(jié)果，如圖7所示。

圖7 識別與定位結(jié)果對比Fig.7 Comparison of Recognition and Location Results

如圖7所示，改進(jìn)的三點(diǎn)定圓法可以最大程度地識別目標(biāo)果實(shí)的中心和半徑。為了驗(yàn)證這里定位算法的有效性，分別對20幅枝葉嚴(yán)重遮擋（遮擋率＞50%）和少量枝葉遮擋（遮擋率＜50%）及重疊果實(shí)夜間蘋果圖像進(jìn)行了研究，采用假陽性率（FPR）、假陰性率（FNR）和重疊系數(shù)（OI）進(jìn)行評價。重疊系數(shù)（OI）按式（8）計算。假陽性率（FPR）表示誤認(rèn)為背景為蘋果的像素比例。計算如式（12）所示。

假陰性率（FNR）表示誤認(rèn)為蘋果為背景的像素比例，如式（13）計算。

其仿真測試結(jié)果示例，如圖8～圖10所示。

圖8 重疊系數(shù)對比Fig.8 Comparison of Overlap Coefficient

圖9 假陽性率對比曲線Fig.9 Comparison Curve of False Positive Rate

圖10 假陰性率對比曲線Fig.10 Comparison Curve of False Negative Rate

當(dāng)枝葉的遮擋率超過50%時，三點(diǎn)定圓法和這里優(yōu)化算法的平均重疊系數(shù)分別為71.775%和89.05%，平均假陽性率為5.065%和2.825%，平均假陰性率分別為10.43%和8.19%；在枝葉遮擋率小于50%的情況下，三點(diǎn)定圓法和這里優(yōu)化算法的平均重疊因子分別為86.15%和94.3%，平均假陽性率為2.67%和1.34%，平均假陰性率為8.265%和5.42%；在果實(shí)重疊的情況下，三點(diǎn)定圓法和文中優(yōu)化算法平均重疊系數(shù)為69.55%和88.8%，平均假陽性率為5.225%和3%，平均假陰性率為9.895%和6.98。對三個評價參數(shù)的分析表明，遺傳算法改進(jìn)的三點(diǎn)定圓法具有最大的平均重疊系數(shù)，且假陽性率和假陰性率均低于改進(jìn)前，因此，該算法可以在夜間更準(zhǔn)確地定位目標(biāo)蘋果。

5 結(jié)論

這里基于采摘機(jī)器人的體系結(jié)構(gòu)，提出了一種基于機(jī)器視覺的夜間采摘識別與定位方法，采用粒子群（PSO）優(yōu)化的獨(dú)立成分分析（ICA）用于對夜間蘋果圖像進(jìn)行將噪，通過PCNN分割方法分割圖像，通過邊緣檢測等提取目標(biāo)輪廓，最后通過改進(jìn)的三點(diǎn)定圓法對目標(biāo)果實(shí)進(jìn)行定位。主要結(jié)論如下：（1）與均值濾波和ICA將噪方法相比，文中提出的PSO優(yōu)化ICA的將噪方法具有最低的噪聲和最清晰的圖像。（2）通過K-means分割得到的目標(biāo)果實(shí)部分丟失，PCNN分割方法可以更完整地提取目標(biāo)蘋果，效果優(yōu)于Kmeans分割。（3）這里的識別與定位方法在夜間遮擋小于50%時識別率為94.3%，遮擋大于50%時識別率為89.05%，有效提高了識別和定位的準(zhǔn)確性?？紤]到實(shí)驗(yàn)設(shè)備和數(shù)據(jù)的規(guī)模，研究仍處于起步階段。基于此，逐步改進(jìn)和完善將成為下一步工作的重點(diǎn)。