采摘機(jī)器人視覺(jué)圖像檢測(cè)應(yīng)用研究

羅 偉

(武漢學(xué)院，武漢 430079)

0 引言

隨著信息時(shí)代的到來(lái)和電腦、手機(jī)等多媒體終端的普及，多媒體為體育教學(xué)和運(yùn)動(dòng)員的訓(xùn)練提供了極大的便利，只有運(yùn)用先進(jìn)的技術(shù)手段對(duì)教學(xué)進(jìn)行改革，才能達(dá)到體育教學(xué)的最優(yōu)效果。利用多媒體數(shù)據(jù)庫(kù)系統(tǒng)可以為學(xué)生提供更加生動(dòng)形象的學(xué)習(xí)素材，從而提高學(xué)生的學(xué)習(xí)興趣，采用先進(jìn)的多媒體系統(tǒng)還可以對(duì)多視頻進(jìn)行實(shí)時(shí)分析，從而捕捉到優(yōu)秀運(yùn)動(dòng)員的一些標(biāo)準(zhǔn)和極限動(dòng)作，為教學(xué)和運(yùn)動(dòng)員的訓(xùn)練提供素材。籃球運(yùn)動(dòng)捕捉系統(tǒng)具有較高的圖像特征提取能力，將其使用在采摘機(jī)器人的視覺(jué)系統(tǒng)的設(shè)計(jì)中，可有效提高系統(tǒng)的目標(biāo)識(shí)別能力，提高自動(dòng)化作業(yè)水平。

1 籃球動(dòng)作捕捉系統(tǒng)及其在采摘機(jī)器人動(dòng)作訓(xùn)練中的應(yīng)用

多媒體數(shù)據(jù)庫(kù)系統(tǒng)在運(yùn)動(dòng)員訓(xùn)練和教學(xué)時(shí)具有很多優(yōu)勢(shì)，采用多媒體數(shù)據(jù)庫(kù)系統(tǒng)可以對(duì)籃球的動(dòng)作進(jìn)行實(shí)時(shí)的捕捉，通過(guò)對(duì)比賽視頻幀的處理，得到優(yōu)秀運(yùn)動(dòng)員在得分時(shí)的技巧動(dòng)作。這種方式讓學(xué)習(xí)不再受地域的限制，可以全方位多層次的展開教學(xué)活動(dòng)，使教學(xué)變得更加生動(dòng)形象，使教與學(xué)都能達(dá)到最好的效果。以籃球動(dòng)作捕捉系統(tǒng)為例，如圖1所示。

圖1 籃球動(dòng)作捕捉系統(tǒng)Fig.1 The basketball action capturing system

利用該系統(tǒng)可以實(shí)時(shí)地對(duì)比賽視頻幀進(jìn)行動(dòng)作捕捉，并從動(dòng)作特征中統(tǒng)計(jì)技術(shù)動(dòng)作數(shù)據(jù)，從而獲得籃球技術(shù)動(dòng)作的多媒體數(shù)據(jù)支持。采摘機(jī)器人在自主作業(yè)時(shí)，其最主要的環(huán)節(jié)是自主定位果實(shí)目標(biāo)，這就需要依靠機(jī)器人自身強(qiáng)大的視覺(jué)系統(tǒng)。根據(jù)籃球動(dòng)作捕捉系統(tǒng)的原理，采摘機(jī)器人的視覺(jué)系統(tǒng)也可以采用特征捕捉技術(shù)，對(duì)果實(shí)目標(biāo)進(jìn)行定位，從而實(shí)現(xiàn)自主作業(yè)，其設(shè)計(jì)流程如圖2所示。

在設(shè)計(jì)采摘機(jī)器人視覺(jué)系統(tǒng)時(shí)，可以依據(jù)籃球?qū)崟r(shí)視頻的動(dòng)作提取技術(shù)，對(duì)果實(shí)目標(biāo)特征進(jìn)行提取，最終實(shí)現(xiàn)機(jī)器人的自主果實(shí)定位，實(shí)現(xiàn)自主作業(yè)。

圖2 基于籃球動(dòng)作捕捉的采摘機(jī)器人視覺(jué)系統(tǒng)設(shè)計(jì)Fig.2 Design of picking robot vision system based on basketball motion capturing

2 基于籃球動(dòng)作捕捉的采摘機(jī)器人視覺(jué)圖像邊緣檢測(cè)

在籃球動(dòng)作捕捉過(guò)程中，動(dòng)作捕捉的對(duì)象往往是比賽的視頻序列，該序列是由比賽現(xiàn)場(chǎng)的攝像機(jī)獲取的一組隨著時(shí)間變化的圖像，根據(jù)一定的時(shí)間間隔可以得到圖像隨時(shí)間的變化關(guān)系，其表達(dá)式可以寫成

{f(x,y,t0),f(x,y,t1),…,f(x,y,tN-1)}

(1)

其中，N為總的幀數(shù)；t為采集圖像時(shí)對(duì)應(yīng)的實(shí)時(shí)時(shí)刻，時(shí)間間隔為ti-ti-1。在沒(méi)有特殊要求的情況下，兩幅圖像的時(shí)間間隔是相同的，對(duì)于動(dòng)態(tài)圖像的捕捉，可以得到比靜態(tài)圖上更加豐富的信息。在圖像捕捉過(guò)程中，最重要的環(huán)節(jié)是圖像的邊緣檢測(cè)，通過(guò)圖像邊緣檢測(cè)可以使圖像隱含的信息發(fā)掘出來(lái)，其基本步驟為：

1)濾波。在傳感器實(shí)時(shí)采集過(guò)程中，由于籃球動(dòng)作的速度較快，難免會(huì)存在較多的噪聲，通過(guò)濾波可以將噪聲的影響降低到最小。

2)增強(qiáng)。利用梯度算法的原理，通過(guò)改變圖像的梯度，使圖像局部模糊的部分清晰化，以找到明顯的圖像邊緣。

3)檢測(cè)。由于圖像局部邊緣模糊，通過(guò)圖像邊緣檢測(cè)很難找到圖像的邊緣點(diǎn)，而通過(guò)梯度的設(shè)定閾值，可以對(duì)邊緣進(jìn)行判斷，從而檢測(cè)到邊緣。

4)定位。精確確定邊緣的位置。

通過(guò)圖像濾波、圖像平滑處理、邊緣增強(qiáng)、邊緣定位及閾值分割等，可以檢測(cè)出圖像的邊緣，為動(dòng)作數(shù)據(jù)的捕捉提供數(shù)據(jù)支持，其具體流程如圖3所示。

圖3 邊緣檢測(cè)的流程圖Fig.3 The flow chart of edge detection

邊緣檢測(cè)算法的主要目標(biāo)是檢測(cè)到梯度變化的最大值，通過(guò)優(yōu)化梯度值，對(duì)噪聲進(jìn)行抑制，從而有效地找到邊緣的位置。邊緣檢測(cè)算子有很多，本次選用Canny算法。

Canny邊緣檢測(cè)算法在實(shí)際使用時(shí)，首先會(huì)對(duì)圖像進(jìn)行濾波操作，然后對(duì)圖像的最大梯度值進(jìn)行檢測(cè)，從而確定圖像的邊緣位置。在進(jìn)行檢測(cè)時(shí)，采用先對(duì)圖像進(jìn)行平滑處理，后對(duì)圖像進(jìn)行求導(dǎo)，其二維高斯函數(shù)為

(1)

在某一方向n上是G(x,y)的一階方向?qū)?shù)為

(2)

(3)

(4)

其中，n為方向矢量；G為梯度矢量。將圖像f(x,y)與Gn作卷積，同時(shí)改變n的方向，當(dāng)Gn·f(x,y)得到最大值時(shí)，邊緣檢測(cè)的方向與n正交。則

(5)

(6)

(7)

(8)

其中，A(x,y)為捕捉實(shí)時(shí)圖像(x,y)點(diǎn)處的邊緣強(qiáng)度；θ為捕捉實(shí)時(shí)圖像(x,y)點(diǎn)處的法向矢量。為了得到準(zhǔn)確的圖像邊緣，需要提取局部梯度的最大值點(diǎn)，常用的方式是將G(x,y)使用一個(gè)閾值。

如圖4所示：為了對(duì)捕捉圖像進(jìn)行邊緣檢測(cè)，需要得到圖像邊緣梯度的最大值，通過(guò)閾值的設(shè)定，保留高于閾值的點(diǎn)，將低于閾值的點(diǎn)全部設(shè)置為0，從而可有效地識(shí)別出圖像的邊緣，為果實(shí)目標(biāo)信息的獲取提供數(shù)據(jù)支持。

圖4 采摘機(jī)器人果實(shí)目標(biāo)邊緣檢測(cè)和識(shí)別流程

Fig.4 The target edge detection and recognition process of fruit picking robot

3 采摘機(jī)器人視覺(jué)圖像檢測(cè)系統(tǒng)測(cè)試

為了驗(yàn)證籃球動(dòng)作捕捉多媒體數(shù)據(jù)庫(kù)系統(tǒng)方案在采摘機(jī)器人視覺(jué)檢測(cè)系統(tǒng)中使用的可行性，利用機(jī)器人實(shí)驗(yàn)測(cè)試的方法對(duì)方案進(jìn)行驗(yàn)證，首先對(duì)視覺(jué)系統(tǒng)的圖像處理進(jìn)行測(cè)試，其測(cè)試場(chǎng)景如圖5所示。

圖5 采摘機(jī)器人視覺(jué)系統(tǒng)測(cè)試場(chǎng)景Fig.5 The test scenario of vision system of picking robot

為了驗(yàn)證時(shí)間系統(tǒng)對(duì)復(fù)雜采摘環(huán)境的適應(yīng)性，選取了夜間作業(yè)環(huán)境作為研究對(duì)象，受夜間光線的影響，采集得到的圖像往往含有較多的噪聲，首先對(duì)圖像進(jìn)行濾波和增強(qiáng)處理，得到了如圖6所示的結(jié)果。

圖6 圖像增強(qiáng)后結(jié)果Fig.6 The effect after image enhancement

采用圖片平滑和增強(qiáng)處理后，圖像的背景噪聲有了明顯的降低，相對(duì)于背景部分，果實(shí)圖像更加突出，然后采用邊緣檢測(cè)算法，可以得到更加清晰的果實(shí)圖像，如圖7所示。

圖7 邊緣檢測(cè)后結(jié)果圖像Fig.7 The result image after edge detection

對(duì)圖像進(jìn)行邊緣檢測(cè)后，成功地提取到果實(shí)的特征圖像，將背景部分繼續(xù)弱化，為采摘機(jī)器人果實(shí)目標(biāo)的識(shí)別提供了較高質(zhì)量的圖像。為了進(jìn)一步驗(yàn)證采摘機(jī)器人對(duì)目標(biāo)識(shí)別的準(zhǔn)確率，設(shè)計(jì)了采摘機(jī)器人果實(shí)采摘試驗(yàn)，如圖8所示。

通過(guò)測(cè)試可以得到圖像的準(zhǔn)確識(shí)別率和準(zhǔn)確定位率，對(duì)5次測(cè)試結(jié)果進(jìn)行了統(tǒng)計(jì)，得到了如表1所示的結(jié)果。

測(cè)試結(jié)果表明：采用本次設(shè)計(jì)的視覺(jué)檢測(cè)系統(tǒng)對(duì)果實(shí)圖像的準(zhǔn)確識(shí)別率較高，且能夠準(zhǔn)確地定位到果實(shí)，可以滿足高精度采摘的需求，從而驗(yàn)證了方案的可行性。

圖8 采摘機(jī)器人實(shí)驗(yàn)Fig.8 The experiment of picking robot表1 采摘機(jī)器人采摘性能測(cè)試Table 1 The picking performance test of picking robot %

4 結(jié)論

為了提高采摘機(jī)器人視覺(jué)系統(tǒng)的目標(biāo)識(shí)別精度，提高自動(dòng)化程度，將籃球動(dòng)作捕捉系統(tǒng)引入到視覺(jué)系統(tǒng)的設(shè)計(jì)過(guò)程中，參考捕捉系統(tǒng)的邊緣檢測(cè)和動(dòng)作特征提取方法，對(duì)視覺(jué)系統(tǒng)進(jìn)行了改進(jìn)，得到了具有較高精度的目標(biāo)識(shí)別能力。對(duì)視覺(jué)系統(tǒng)的功能進(jìn)行了驗(yàn)證，結(jié)果表明：采用籃球動(dòng)作捕捉技術(shù)對(duì)采摘機(jī)器人視覺(jué)系統(tǒng)進(jìn)行改進(jìn)后，其果實(shí)目標(biāo)的識(shí)別能力較強(qiáng)，可在復(fù)雜的夜間環(huán)境下成功的將果實(shí)目標(biāo)識(shí)別。對(duì)采摘機(jī)器人的果實(shí)識(shí)別率和準(zhǔn)確定位率進(jìn)行了測(cè)試，結(jié)果表明：其成功識(shí)別果實(shí)的概率較高，準(zhǔn)確定位的能力較強(qiáng)，滿足了高精度采摘的需求。