足球智能機(jī)器人雙目視覺(jué)發(fā)球角度定位方法

聶上偉

（成都中醫(yī)藥大學(xué)體育學(xué)院，四川 成都 611137）

1 引言

現(xiàn)階段科技的迅速發(fā)展，增強(qiáng)了機(jī)器人的功能，使其在各個(gè)領(lǐng)域，被廣泛地應(yīng)用，尤其是在近年來(lái)備受關(guān)注的體育界，其中，應(yīng)用較為廣泛的是足球智能機(jī)器人[1]。足球智能機(jī)器人屬于可行走式智能機(jī)器人系統(tǒng)，是機(jī)器人領(lǐng)域研究的一個(gè)重要分支。足球智能機(jī)器人不僅具有一般機(jī)器人的共性，而且還具有自身的特點(diǎn)，它是將實(shí)現(xiàn)足球機(jī)器人發(fā)球作為發(fā)展目標(biāo)，在無(wú)線數(shù)字通信中，通過(guò)計(jì)算機(jī)視覺(jué)、運(yùn)動(dòng)分析、調(diào)節(jié)控制和傳感器監(jiān)測(cè)進(jìn)行研究。伴隨著計(jì)算機(jī)視覺(jué)以及視覺(jué)傳感器的不斷發(fā)展和實(shí)踐應(yīng)用，視覺(jué)定位已經(jīng)成為一種體現(xiàn)機(jī)器人智能、擬人等特點(diǎn)的定位技術(shù)[2]。在足球智能機(jī)器人的視覺(jué)系統(tǒng)研究中，雙目視覺(jué)定位屬于一個(gè)重要的研究課題，也是視覺(jué)系統(tǒng)的一個(gè)研究難點(diǎn)，現(xiàn)階段受到了廣泛關(guān)注。

針對(duì)機(jī)器人雙目視覺(jué)定位，部分專家學(xué)者給出了一些較好的研究成果，文獻(xiàn)[3]提出基于改進(jìn)ORB特征的遙操作工程機(jī)器人雙目視覺(jué)定位方法，采用圖像二分法，處理圖像無(wú)效區(qū)域保留匹配區(qū)域，利用ORB算法匹配有效區(qū)域，運(yùn)用RANSAC算法處理偽匹配，獲取匹配點(diǎn)對(duì)，實(shí)現(xiàn)機(jī)器人雙目視覺(jué)定位。該方法能夠有效減小遙操作工程機(jī)器人作業(yè)的定位誤差。文獻(xiàn)[4]提出遙操作工程機(jī)器人的雙目視覺(jué)定位方法研究，通過(guò)建立目標(biāo)物模板，采用模板識(shí)別圖像目標(biāo)物并獲取特征點(diǎn)，利用組合匹配方法，立體匹配特征點(diǎn)并三維重建，實(shí)現(xiàn)目標(biāo)物的空間定位。該方法匹配計(jì)算量較小，定位效率較高。

基于上述分析，提出了足球智能機(jī)器人雙目視覺(jué)發(fā)球角度定位方法。利用雙目攝像機(jī)，觀測(cè)足球場(chǎng)地，雙目標(biāo)定足球智能機(jī)器人。采用Canny算子進(jìn)行邊緣檢測(cè)，識(shí)別圖像中目標(biāo)物的位置，確保足球智能機(jī)器人發(fā)球穩(wěn)定性。

利用Harris算子提取目標(biāo)角點(diǎn)信息，并結(jié)合Canny邊緣檢測(cè)識(shí)別的目標(biāo)邊緣點(diǎn)作為特征點(diǎn)，基于Canny?Harris特征點(diǎn)，匹配左圖像和右圖像里的目標(biāo)物，獲取二者匹配關(guān)系。通過(guò)立體匹配獲取數(shù)據(jù)，針對(duì)物體角度實(shí)施三維重構(gòu)，減小足球落點(diǎn)位置誤差，從而精準(zhǔn)定位機(jī)器人發(fā)球角度。

2 足球智能機(jī)器人雙目視覺(jué)發(fā)球角度定位方法

2.1 雙目標(biāo)定

在足球智能機(jī)器人雙目處綁定攝像機(jī)，使攝像機(jī)與機(jī)器人一起運(yùn)動(dòng)，在多個(gè)位置通過(guò)攝像機(jī)對(duì)足球場(chǎng)地進(jìn)行觀測(cè)，獲取足球智能機(jī)器人雙目的平移矩陣與旋轉(zhuǎn)矩陣，對(duì)足球智能機(jī)器人實(shí)施雙目標(biāo)定。其中，攝像機(jī)及足球智能機(jī)器人運(yùn)動(dòng)前后位置具體，如圖1所示。

圖1攝像機(jī)及足球智能機(jī)器人運(yùn)動(dòng)前后位置Fig.1 Front and Rear Positions of Camera and Soccer Intelligent Robot

如圖1 所示的攝像機(jī)及足球智能機(jī)器人運(yùn)動(dòng)前后位置中，Cobj—二維坐標(biāo)系；Cc1—移動(dòng)攝像機(jī)所處的原始坐標(biāo)系；Ce1—足球智能機(jī)器人移動(dòng)原始坐標(biāo)系；Cc2—攝像機(jī)移動(dòng)終止坐標(biāo)系；Ce2—足球智能機(jī)器人移動(dòng)終止坐標(biāo)系；T、R—旋轉(zhuǎn)和平移矩陣[5]；Cc3—攝像機(jī)第三位置處坐標(biāo)系；Ce3—足球智能機(jī)器人第三位置處坐標(biāo)系；( )Ra1，Ta1—從第一到第二位置后，攝像機(jī)矩陣平移變換和矩陣旋轉(zhuǎn)變換；(Ra2，Ta2)—從第二到第三位置后，攝像機(jī)矩陣平移變換和矩陣旋轉(zhuǎn)變換［6］；(Rb1，Tb1)、(Rb2，Tb2)—足球智能機(jī)器人從第一個(gè)位置到第二個(gè)位置后的平移矩陣與旋轉(zhuǎn)矩陣坐標(biāo)以及足球智能機(jī)器人從第二個(gè)位置到第三個(gè)位置后的平移矩陣與旋轉(zhuǎn)矩陣坐標(biāo)。在攝像機(jī)處于第一個(gè)位置和第二個(gè)位置時(shí)，利用雙目攝像機(jī)觀測(cè)足球場(chǎng)，獲取坐標(biāo)系Cc1和Cc2中，世界坐標(biāo)系的描述，并通過(guò)4×4 矩陣表示，將其記為M與N[7]。A表示坐標(biāo)系Cc1與Cc2的關(guān)系為：

假設(shè)B表示坐標(biāo)系Ce1與Ce2的關(guān)系，其值可通過(guò)控制軟件實(shí)際讀取值進(jìn)行推導(dǎo)。如果用攝像機(jī)和機(jī)器人坐標(biāo)系Cc和Ce的變換關(guān)系來(lái)表示X，那么雙目標(biāo)定即為：

分別對(duì)上式中平移矩陣與旋轉(zhuǎn)矩陣這兩個(gè)未知量進(jìn)行求解。具體求解過(guò)程如下：

如果控制平移矩陣與旋轉(zhuǎn)矩陣兩次運(yùn)動(dòng)時(shí)旋轉(zhuǎn)軸保持不平行，獲取Rb1、Rb2、Ra1、Ra2旋轉(zhuǎn)軸所相對(duì)方向上的向量分別為kb1、kb2、ka1、ka2，那么矩陣旋轉(zhuǎn)變換可用式（5）進(jìn)行計(jì)算：

將R求解的值代入足球智能機(jī)器人兩次移動(dòng)坐標(biāo)系變化方程組中，即可獲得平移矩陣的超定方程組，通過(guò)最小二乘法[9]對(duì)T進(jìn)行求解，完成雙目標(biāo)定。

其中，足球智能機(jī)器人兩次移動(dòng)坐標(biāo)系變化方程組具體如下式所示：

2.2 識(shí)別目標(biāo)

由于Canny算子能夠有效提取完整邊緣，且連續(xù)性較好，定位精準(zhǔn)。因此，采用Canny算子進(jìn)行邊緣檢測(cè)，從而識(shí)別目標(biāo)，獲得目標(biāo)在圖像上所在的位置，確保獲取準(zhǔn)確性和精確性較高的角度定位。Canny邊緣檢測(cè)的具體步驟流程為：

（1）通過(guò)濾波技術(shù)，去除圖像噪點(diǎn)，實(shí)施圖像平滑處理。

（2）在背景和目標(biāo)物體灰度差中進(jìn)行二值圖像處理，確保只有0和1兩個(gè)像素值，并變換圖像。

（3）提取二值化圖像的邊緣，獲取圖像內(nèi)各區(qū)域的實(shí)際邊緣及區(qū)域的整體數(shù)量。

（4）計(jì)算局部梯度和邊緣方向。

（5）將閾值與歐式距離進(jìn)行比較。當(dāng)歐式距離小于閾值時(shí)，將該邊緣區(qū)域確定為目標(biāo)區(qū)域；當(dāng)該邊緣區(qū)域小于閾值時(shí)，將該圖像確定為目標(biāo)區(qū)域；當(dāng)該圖像中沒(méi)有任何目標(biāo)區(qū)域時(shí)，將該閾值確定為場(chǎng)景中沒(méi)有目標(biāo)區(qū)域，并將該閾值重新確定為目標(biāo)區(qū)域。

（6）連接邊緣，通過(guò)形心法計(jì)算目標(biāo)物體，以得到目標(biāo)點(diǎn)坐標(biāo)。

2.3 立體匹配

利用Harris算子對(duì)目標(biāo)角點(diǎn)信息進(jìn)行提取，并結(jié)合Canny邊緣檢測(cè)識(shí)別的目標(biāo)邊緣點(diǎn)作為特征點(diǎn)。

Harris檢測(cè)的具體步驟流程為：

（1）在水平和垂直方向上，對(duì)圖像像素梯度進(jìn)行計(jì)算。

（2）采用高斯濾波，去除圖像噪聲，獲取離散二維零均值高斯函數(shù)。

（3）計(jì)算初始圖像中各像素點(diǎn)的興趣值。

（4）對(duì)局部極值點(diǎn)進(jìn)行選擇。

（5）設(shè)定閾值，從而對(duì)目標(biāo)角點(diǎn)進(jìn)行選擇。

基于Canny?Harris特征點(diǎn)，匹配左圖像和右圖像里的目標(biāo)物角度，獲取二者的匹配關(guān)系，在匹配過(guò)程中，考慮一致性序列約束[10]。立體匹配具體步驟，如圖2所示。

圖2 立體匹配具體步驟Fig.2 Specific Steps of Stereo Matching

2.4 目標(biāo)定位

通過(guò)基于Canny?Harris特征點(diǎn)立體匹配獲取的數(shù)據(jù)，針對(duì)物體角度實(shí)施三維重構(gòu)，實(shí)現(xiàn)足球智能機(jī)器人雙目視覺(jué)發(fā)球角度定位。在M1和M2兩個(gè)點(diǎn)上設(shè)置左右攝像機(jī)的對(duì)應(yīng)透視投影矩陣，則：

將Zc1與Zc2消去，獲取關(guān)于X、Y、Z的線性方程，對(duì)其進(jìn)行整理后可獲取下式：

式中：T—二乘閾值。

通過(guò)上式即可求取世界坐標(biāo)系中P點(diǎn)的坐標(biāo)，實(shí)現(xiàn)足球智能機(jī)器人雙目視覺(jué)發(fā)球角度定位。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

為了驗(yàn)證足球智能機(jī)器人雙目視覺(jué)發(fā)球角度定位方法的有效性，以MATLAB 仿真軟件作為實(shí)驗(yàn)平臺(tái)，對(duì)其進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)環(huán)境設(shè)置具體，如表1所示。

表1 實(shí)驗(yàn)環(huán)境設(shè)置Tab.1 Experimental Environmental Settings

其中，電動(dòng)平移臺(tái)、控制器和電動(dòng)旋轉(zhuǎn)臺(tái)參數(shù)，如表2所示。

表2 電動(dòng)平移臺(tái)、控制器和電動(dòng)旋轉(zhuǎn)臺(tái)具體參數(shù)Tab.2 Specific Parameters of Electric Flatter，Controller and Electric Rotator

3.2 雙目視覺(jué)系統(tǒng)搭建

在雙目視覺(jué)系統(tǒng)搭建的過(guò)程中，采用視差測(cè)量視覺(jué)深度，標(biāo)定攝像機(jī)內(nèi)部參數(shù)。采用MATLAB 工具箱Camera Calibration Toolbox，進(jìn)行左右攝像機(jī)參數(shù)標(biāo)定。利用雙目攝像機(jī)，對(duì)足球場(chǎng)進(jìn)行觀測(cè)，如圖3所示。

圖3 雙目攝像機(jī)觀測(cè)足球場(chǎng)Fig.3 Observation of Football Field with Binocular Camera

實(shí)驗(yàn)中所用到的足球智能機(jī)器人，如圖4所示。利用足球智能機(jī)器人進(jìn)行發(fā)球?qū)嶒?yàn)，選取一種足球智能機(jī)器人運(yùn)動(dòng)參數(shù)模式，重復(fù)該運(yùn)行參數(shù)模式，完成足球智能機(jī)器人發(fā)球過(guò)程。連續(xù)發(fā)球5次，并運(yùn)用搭建的雙目視覺(jué)系統(tǒng)，記錄5次發(fā)球過(guò)程的數(shù)據(jù)。采用搭建的雙目視覺(jué)系統(tǒng)對(duì)其落點(diǎn)三維坐標(biāo)進(jìn)行測(cè)量，并估計(jì)足球智能機(jī)器人發(fā)球穩(wěn)定性。

圖4 足球智能機(jī)器人Fig.4 Intelligent Soccer Serve Robot

3.3 足球智能機(jī)器人發(fā)球穩(wěn)定性分析

分別設(shè)置足球發(fā)球角度為10°、20°、30°、40°和50°，根據(jù)物體斜拋模型，使用擊球點(diǎn)、發(fā)球軌道角度和落球點(diǎn)三維坐標(biāo)，擬合足球發(fā)球飛行軌跡，如圖5所示。根據(jù)圖5不同發(fā)球角度的飛行軌跡擬合結(jié)果可知，隨著發(fā)球角度的增加，足球飛行距離隨之減小。其中，當(dāng)發(fā)球角度為10°時(shí)，足球飛行距離的平均值為1253mm；當(dāng)發(fā)球角度為20°時(shí)，足球飛行距離的平均值為1210mm；當(dāng)發(fā)球角度為30°時(shí)，足球飛行距離的平均值為1146mm；當(dāng)發(fā)球角度為40°時(shí)，足球飛行距離的平均值為999.7mm；當(dāng)發(fā)球角度為50°時(shí)，足球飛行距離的平均值為921.5mm。

圖5 不同發(fā)球角度的飛行軌跡擬合結(jié)果Fig.5 Flight Trajectory Fitting Results of Different Service Angles

且在不同發(fā)球角度下，足球智能機(jī)器人的發(fā)球飛行軌跡較為穩(wěn)定。但是，相比不同發(fā)球角度的飛行軌跡擬合結(jié)構(gòu)可知，當(dāng)發(fā)球角度為10°時(shí)，足球智能機(jī)器人發(fā)球穩(wěn)定性較高。

3.4 足球智能機(jī)器人發(fā)球精度分析

在此基礎(chǔ)上，進(jìn)一步對(duì)足球智能機(jī)器人發(fā)球精度進(jìn)行研究，設(shè)定足球落點(diǎn)位置為?500mm，得到不同發(fā)球角度下球落點(diǎn)分布情況，如圖6所示。

根據(jù)圖6的不同發(fā)球角度下球落點(diǎn)分布情況可以看出，隨著發(fā)球角度的增加，足球落點(diǎn)位置隨之增大。其中，當(dāng)發(fā)球角度為10°時(shí)，足球落點(diǎn)位置的平均值為?505mm；當(dāng)發(fā)球角度為20°時(shí)，足球落點(diǎn)位置的平均值為?396mm；當(dāng)發(fā)球角度為30°時(shí)，足球落點(diǎn)位置的平均值為?318mm；當(dāng)發(fā)球角度為40°時(shí)，足球落點(diǎn)位置的平均值為?225mm；當(dāng)發(fā)球角度為50°時(shí)，足球落點(diǎn)位置的平均值為?116mm。由此可知，當(dāng)發(fā)球角度為10°時(shí)，足球落點(diǎn)位置的平均值與實(shí)際設(shè)定的足球落點(diǎn)位置的誤差較小，足球智能機(jī)器人發(fā)球精度較高。

4 結(jié)束語(yǔ)

為了減小足球智能機(jī)器人落點(diǎn)位置與實(shí)際設(shè)定的足球落點(diǎn)位置的誤差，提高足球智能機(jī)器人發(fā)球精度，確保發(fā)球精度穩(wěn)定性，提出了足球智能機(jī)器人雙目視覺(jué)發(fā)球角度定位方法。通過(guò)獲取平移矩陣與旋轉(zhuǎn)矩陣，雙目標(biāo)定足球智能機(jī)器人，基于Canny?Harris特征點(diǎn)匹配，獲取二者匹配關(guān)系并三維重構(gòu)物體，實(shí)現(xiàn)足球智能機(jī)器人角度定位。該方法的足球智能機(jī)器人發(fā)球穩(wěn)定性較高，能夠有效減小足球落點(diǎn)位置誤差，提高足球智能機(jī)器人發(fā)球精度。