采摘機器人動作技巧訓(xùn)練研究與應(yīng)用
——基于足球比賽標(biāo)準(zhǔn)動作檢測系統(tǒng)

王 蒙

(內(nèi)蒙古醫(yī)科大學(xué)，呼和浩特 010110)

0 引言

我國是世界上獼猴桃和草莓等產(chǎn)量較高的國家，獼猴桃和草莓果實營養(yǎng)豐富、價值高，因此價格也較高；但在采摘期間這些類型的果實作物容易破損，給作物的種植造成較大的損失。目前，草莓和獼猴桃等易破碎作物的采摘主要采用人工作業(yè)的方式。這兩種作物采摘的時間集中，勞動強度較大，果實作物如果得不到及時的采摘，會影響果實的銷售。隨著科技的進(jìn)步，利用采摘機器人代替人工采摘成為可能。由于工作環(huán)境變化大、干擾因素多，加上草莓和獼猴桃等果實容易破損，給采摘機器人的設(shè)計帶來了較高的難度。采用機器人動作技巧訓(xùn)練的方法，不僅可以實現(xiàn)采摘機器人果實的快速定位，也可以使采摘機器人的動作達(dá)到最佳的姿態(tài)，從而降低果實破損率，對提高作物果實的采摘效率具有重要的現(xiàn)實意義。

1 足球比賽運動員動作檢測和采摘人訓(xùn)練動作捕捉

足球?qū)儆诩ち覍剐缘谋荣悾诒荣愡^程中，由于其動作較快，對球員標(biāo)準(zhǔn)動作的捕捉較為困難，而通過對視頻的處理，利用圖像的邊緣檢測方法，可以較為容易得實現(xiàn)快速動作的捕捉過程，如圖1所示。

圖1 足球比賽實況圖像

以實際比賽為例，在前鋒射球的瞬間，可以利用圖像邊緣檢測技術(shù)，去掉與球員動作無關(guān)的背景因素，保留身體部位的關(guān)鍵動作，從而實現(xiàn)關(guān)鍵動作的捕捉，如圖2所示。

圖2 足球比賽關(guān)鍵動作捕捉

對比賽實況進(jìn)行圖像處理，可以得到射球瞬間各個球員的關(guān)鍵動作捕捉結(jié)果。對這些關(guān)鍵動作技巧進(jìn)行標(biāo)記，有助于球員的訓(xùn)練，可以建立龐大的訓(xùn)練數(shù)據(jù)庫，為球員大賽前的訓(xùn)練提供技術(shù)依據(jù)，如圖3所示。

圖3 易破損果實作物采摘機器人動作訓(xùn)練

在采摘機器人進(jìn)行采摘過程中，很多作物的果實是非常容易破損的，為了提高作業(yè)效率、降低破損率，只能對采摘機器人進(jìn)行反復(fù)的訓(xùn)練，以最佳的動作姿態(tài)采摘果實，而最佳姿態(tài)可以采用圖像邊緣檢測技術(shù)對關(guān)鍵動作進(jìn)行標(biāo)記。

2 圖像特征提取算法和動作邊緣檢測捕捉技術(shù)

邊緣檢測是圖像特征提取的重要算法。在足球比賽視頻圖像的動作捕捉過程中，可以采用邊緣檢測算法將關(guān)鍵動作清晰表達(dá)。將其應(yīng)用在采摘機器人的動作訓(xùn)練過程中，可以對采摘最佳動作范圍進(jìn)行特征提取，為動作訓(xùn)練提供依據(jù)。邊緣檢測算法已經(jīng)發(fā)展了很多經(jīng)典的算子，如Sobel算子、Reborts算子、Log算子及Canny算子等。通過算法的對比，選用合適的算法進(jìn)行圖像處理。

1)Reborts算子。Reboerts算子是典型的邊緣檢測算子，該算子采用的是局部差分的方法，在使用梯度進(jìn)行搜索邊界時，其梯度算子是像素差，像素選擇的是對角方向上的。具體的表達(dá)式為

Gx=f(i,j)-f(i-1,j-1)

Gy=f(i-1,j)-f(i,j-1)

(1)

其中，f(i,j)表示像素點；G(x,y)表示梯度值。

卷積模版為

(2)

利用卷積算子和圖像運算后，可以得到圖像的梯度值，然后選擇合適的閾值。當(dāng)梯度大于閾值時，則將f(i,j)判斷為邊緣點；如果小于該值，則判斷為非邊緣點，最后得到的邊緣圖像是一個二值圖像。這種算子對一般正常的圖像檢測效果較好，但對于具有傾角的圖像檢測效果不理想，存在很多漏檢的情況。因此，在邊緣檢測時還需要考慮更多的算子。

2)Sobel算子。Sobel算子在Reborts算子的基礎(chǔ)上對其模板進(jìn)行了擴(kuò)展，從而可以削弱噪聲的影響。其模版大小擴(kuò)展成了3×3，即

圖像中的每個像素點與以上水平和垂直兩個卷積算子做卷積運算后，計算得到梯度幅值G(x,y)，然后選擇合適的閾值。當(dāng)梯度大于閾值時，則將f(i,j)判斷為邊緣點；如果小于該值，則判斷為非邊緣點。Sobel算子相比其他算法在空間上更加容易實現(xiàn)，并且采用了局部平均的搜索方法，使其受到噪聲影響較小。如果對于檢測的精確度要求不高，則可以采用Sobel算法。

3)Log邊緣算子。Log邊緣檢測算法的精度更高一些，其集成了高斯算法和拉普拉斯算法。具體步驟如下：

(1)濾波。對圖像進(jìn)行濾波處理，根據(jù)足球比賽動作和采摘機器人訓(xùn)練動作的視覺特征，選取高斯函數(shù)作為濾波函數(shù)。其表達(dá)式為

其中，G(x,y)為一個圓對稱函數(shù)；σ為控制平滑作用的系數(shù)。

利用卷積的方法可以得到相對平滑的圖像，即

g(x,y)=f(x,y)·G(x,y)

(5)

(2)增強。對平滑圖像g(x,y)進(jìn)行拉普拉斯運算，即

h(x,y)=▽2f(x,y)·G(x,y)

(6)

(3)檢測。邊緣檢測判據(jù)是二階導(dǎo)數(shù)的零交叉點(即h(x,y)=0的點)，并對應(yīng)一階導(dǎo)數(shù)的較大峰值。高斯拉普拉斯算法對卷積模板又進(jìn)行了擴(kuò)展，其規(guī)模達(dá)到了5×5，具體如圖4所示。

圖4 高斯——拉普拉斯算子

高斯--拉普拉斯算子是將兩種濾波的方法結(jié)合到了一起，利用高斯平滑濾波方法和拉普拉斯銳化濾波方法可以首先將噪聲去除，然后再進(jìn)行相關(guān)的邊緣檢測，從而達(dá)到較好的效果。

圖5為動作邊緣檢測和捕捉的基本流程。在輸入視頻動作圖像后，首先需要對動作進(jìn)行不間斷的跟蹤，然后利用邊緣檢測算子進(jìn)行圖像的邊緣檢測。如果捕捉到標(biāo)準(zhǔn)規(guī)法的動作，則對動作進(jìn)行標(biāo)記；如果沒有提取到特征，則選擇合適的算子重新進(jìn)行邊緣檢測，直到提取到有效的特征，然后對動作特征進(jìn)行標(biāo)記，為動作訓(xùn)練提供參考。

圖5 動作邊緣檢測和捕捉流程

3 采摘機器人動作訓(xùn)練測試

為了驗證基于足球比賽標(biāo)準(zhǔn)動作檢測的在采摘機器人動作技巧訓(xùn)練中的可行性，以足球比賽圖像標(biāo)準(zhǔn)動作的檢測算法為依據(jù)，對采摘機器人的動作進(jìn)行捕捉，如圖6所示。

圖6 采摘機器人動作訓(xùn)練

在草莓等易破碎果實的采摘過程中，需要對機器人采摘學(xué)習(xí)一定的動作技巧，才能使果實的破損率降低到最小。動作捕捉過程如圖7所示。

圖7 采摘機器人動作捕捉

當(dāng)采摘機器人機械手以最短的路徑到達(dá)采摘目標(biāo)時，采用邊緣檢測的方法記錄動作的具體位置坐標(biāo)，然后再將機器人驗證該路徑反復(fù)訓(xùn)練，最終實現(xiàn)采摘機器人的快速定位，如圖8所示。

圖8 采摘機器人動作定位

利用圖像檢測標(biāo)定的位置，通過編程的方式可以使機器人以最快的速度達(dá)到最佳采摘狀態(tài)。為了驗證方案的可行性，對采摘機器人進(jìn)行了實際采摘實驗，如圖9所示。

圖9 機器人采摘現(xiàn)場

為了驗證方案的可行性，對采摘機器人動作訓(xùn)練前后的采摘破損率進(jìn)行了驗證，從而得到了如表1所示的驗證結(jié)果。

表1 采摘破損率評估

測試結(jié)果表明：采用足球比賽球員標(biāo)準(zhǔn)動作邊緣檢測方法對采摘機器人動作進(jìn)行捕捉的訓(xùn)練方法是可行的，在訓(xùn)練前后采摘機器人的采摘破損率有了明顯的改善，提高了采摘機器人的作業(yè)效率和精度。

4 結(jié)論

為了解決易破損果實作物的難采摘問題，將足球比賽動作邊緣檢測和特征捕捉方法引入到了采摘機器人的動作訓(xùn)練過程中，從而使采摘機器人作業(yè)過程中達(dá)到最佳的采摘動作姿態(tài)。為了驗證方案的可行性，利用基于Log算子的邊緣檢測方法對采摘機器人動作訓(xùn)練過程圖像進(jìn)行了邊緣檢測，并得到了最佳動作姿態(tài)。對訓(xùn)練前后的采摘破損率進(jìn)行了統(tǒng)計分析，結(jié)果表明：采用該方案可以明顯地改善采摘過程的破損率問題，提高了采摘精度，為難采摘作物采摘機器人的研究提供了一種高效的設(shè)計方法。