基于視覺識(shí)別的按鈕自主操作機(jī)械手探究

路斌 郝世偉 原瑜點(diǎn) 賈衛(wèi)萍 彎子璇

【摘 要】針對(duì)機(jī)器人自主按鈕的操作需求，設(shè)計(jì)了一種基于視覺識(shí)別的自由按鈕自主操作機(jī)械手。結(jié)合功能需求對(duì)該機(jī)械手的機(jī)械結(jié)構(gòu)和控制系統(tǒng)進(jìn)行設(shè)計(jì)，通過幾何法求解了機(jī)械手的運(yùn)動(dòng)學(xué)正反解，并規(guī)劃了其運(yùn)動(dòng)軌跡。采用支持向量機(jī)對(duì)按鈕樣本進(jìn)行訓(xùn)練和預(yù)測，并通過視覺對(duì)按鈕進(jìn)行定位。

【關(guān)鍵詞】自主操作機(jī)械手；視覺識(shí)別；按鈕按壓；支持向量機(jī)；視覺定位

近年來，關(guān)于移動(dòng)機(jī)器人在醫(yī)院、酒店等進(jìn)行巡邏或物品自動(dòng)運(yùn)輸?shù)难芯恳痍P(guān)注。這類機(jī)器人往往需要通過電梯實(shí)現(xiàn)上下樓層巡邏或運(yùn)輸物品，于是，如何讓機(jī)器人自動(dòng)乘坐電梯成為必須面對(duì)的難題。目前機(jī)器人一般采用無線通訊的方式與電梯進(jìn)行交流，從而可實(shí)現(xiàn)自動(dòng)乘坐電梯。但是，采用無線通信方式來實(shí)現(xiàn)機(jī)器人自主乘坐電梯時(shí)，需要升級(jí)原有的電梯控制系統(tǒng)，這樣不僅會(huì)增加電梯的成本，還會(huì)影響電梯的運(yùn)行可靠性。尤其在多臺(tái)電梯同時(shí)運(yùn)行的情況下，其成本隨著電梯數(shù)量的增加而增加。由此，在移動(dòng)機(jī)器人上搭載智能機(jī)械手來實(shí)現(xiàn)電梯按鈕的自動(dòng)識(shí)別與操作非常必要。

本文設(shè)計(jì)了一種基于視覺識(shí)別的按鈕自主操作機(jī)械手。該機(jī)械手能夠安裝在移動(dòng)機(jī)器人或自主導(dǎo)引車上，允許機(jī)器人利用機(jī)械手所提供的應(yīng)用程序編程接口對(duì)按鈕進(jìn)行自主按壓操作，從而完成相對(duì)復(fù)雜的任務(wù)。

一、按鈕自主操作機(jī)械手總體設(shè)計(jì)

（一）機(jī)械設(shè)計(jì)

機(jī)械手結(jié)構(gòu)要求如下：（1）機(jī)械手工作范圍能夠覆蓋正常高度的按鈕；（2）機(jī)械手需質(zhì)量輕，體積小，方便安裝；（3）機(jī)械手有較高的位置精度；（4）手指按壓按鈕時(shí)有一定的緩沖和力度。

依據(jù)上述設(shè)計(jì)要求，包括一個(gè)移動(dòng)升降關(guān)節(jié)、一個(gè)水平旋轉(zhuǎn)關(guān)節(jié)以及兩個(gè)豎直俯仰關(guān)節(jié)；關(guān)節(jié)減速器采用諧波齒輪減速器；主體采用3D打印，質(zhì)量較輕，且能夠包裹大多數(shù)元器件；手指后裝有緩沖機(jī)構(gòu)和觸碰開關(guān)，允許一定程度的壓縮。

（二）硬件設(shè)計(jì)

機(jī)械手采用單片機(jī)作為主控，并采用傳感器與機(jī)器人控制器進(jìn)行通訊；每個(gè)關(guān)節(jié)均采用伺服電機(jī)驅(qū)動(dòng)，以保證機(jī)械手的運(yùn)動(dòng)精度；同時(shí)在每個(gè)旋轉(zhuǎn)關(guān)節(jié)輸出軸安裝了SPS38系列的單圈絕對(duì)式編碼器，以獲得任意時(shí)刻機(jī)械手的姿態(tài)；并在機(jī)械手末端加裝了激光測距傳感器和電荷耦合器件定焦攝像頭，用于獲得目標(biāo)按鈕相對(duì)于機(jī)械手的位置，其中攝像頭通過USB3.0與機(jī)器人控制器相連。綜上，該機(jī)械手僅需要USB3.0與RS232串口便能夠與機(jī)器人主控相連，極大地提高了機(jī)械手的可移植性。

（三）工作原理

機(jī)械手的軟件系統(tǒng)分為兩部分：（1）下位機(jī)部分，負(fù)責(zé)傳感器數(shù)據(jù)的讀取、機(jī)械手的姿態(tài)解算以及電機(jī)的運(yùn)動(dòng)控制；（2）上位機(jī)部分，負(fù)責(zé)視覺處理獲取按鈕位置，與下位機(jī)通訊以及提供API接口函數(shù)。

二、按鈕位置的獲取

（一）視覺識(shí)別算法

按鈕識(shí)別方法與識(shí)別過程如下：利用按鈕上不同的簡單圖案、數(shù)字或字符，實(shí)現(xiàn)按鈕的區(qū)分與位置獲取，即將按鈕識(shí)別轉(zhuǎn)化為簡單圖案識(shí)別。在小樣本情況下，二值化方向梯度直方圖和支持向量機(jī)，在車牌識(shí)別中應(yīng)用較廣，考慮車牌識(shí)別與本機(jī)械手中的按鈕圖案識(shí)別較為相似，本機(jī)械手采用一種基于HOG特征和支持向量機(jī)在車牌識(shí)別中應(yīng)用較廣，考慮車牌識(shí)別與本機(jī)械手中的按鈕圖案識(shí)別較為相似，本機(jī)械手采用一種基于HOG特征和SVM分類器的按鈕識(shí)別方法。

（二）圖像預(yù)處理

由于機(jī)械手末端的CCD攝像頭所拍攝到的圖像為三通道RGB圖像，其信息量龐大，不能直接進(jìn)行圖像處理，需要先進(jìn)行適當(dāng)?shù)念A(yù)處理。首先，將圖像轉(zhuǎn)為單通道的灰度圖；接著，將灰度圖進(jìn)行二值化，以繼續(xù)降低后續(xù)處理的復(fù)雜程度，考慮機(jī)械手工作空間內(nèi)光照條件不一定均勻，采用局部自適應(yīng)二值化的方法盡可能保留原始圖像的特征；最后，利用遞歸方法判斷每個(gè)白色像素點(diǎn)是否孤立，以去除離散噪聲。

（三）圖像分割

由于圖像中的感興趣區(qū)域只占圖像中的一小部分，因此需要對(duì)圖像進(jìn)行分割。本機(jī)械手采用基于二值化圖像的邊緣輪廓提取分割法從原始圖像中獲得ROI。其具體過程為：從二值化圖像中獲取所有的輪廓點(diǎn)集；再利用圖案的一些固有特性，例如長寬比、面積等實(shí)現(xiàn)對(duì)輪廓的篩選，通過篩選的點(diǎn)集矩形區(qū)域便是ROI。利用輪廓特征矩對(duì)獲得的ROI進(jìn)行旋轉(zhuǎn)矯正，為進(jìn)行下一步處理，還需將ROI進(jìn)行歸一化處理，即將ROI的大小統(tǒng)一縮放為20*20。

（四）HOG特征提取

HOG主要用于計(jì)算圖像中ROI的局部梯度的統(tǒng)計(jì)信息，能夠充分地描述ROI中的邊緣輪廓特征。

（五）圖像訓(xùn)練與預(yù)測

SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的模式分類方法，較其他方法而言，SVM在解決樣本少、非線性及高維數(shù)方面有巨大優(yōu)勢]。本機(jī)械手所采用的SVM分類器是OpenCV2.49中的聚類支持向量機(jī)。本機(jī)械手先對(duì)按鈕圖案樣本庫提取到的HOG特征進(jìn)行訓(xùn)練得到相應(yīng)模型，再利用該模型對(duì)從圖像中分割得到的HOG特征進(jìn)行預(yù)測，獲得相應(yīng)的按鈕標(biāo)簽。

三、結(jié)束語

本文基于視覺識(shí)別的按鈕自主操作機(jī)械手能夠方便地安裝在移動(dòng)機(jī)器人上，成本低、質(zhì)量輕，工作空間能夠自動(dòng)操作常見高度的按鈕。該機(jī)械手樣機(jī)的控制定位精度達(dá)到10mm；針對(duì)常見方形電梯按鈕，機(jī)械手的按鈕視覺識(shí)別成功率可達(dá)94%；并能夠通過視覺定位算法使機(jī)械手準(zhǔn)確地按壓電梯按鈕。實(shí)驗(yàn)證明，搭載該智能機(jī)械手的移動(dòng)機(jī)器人或AGV小車能夠在非定標(biāo)環(huán)境中對(duì)電梯按鈕進(jìn)行自動(dòng)操作，從而實(shí)現(xiàn)自動(dòng)上下樓層的功能。雖然本文所設(shè)計(jì)的機(jī)械手存在結(jié)構(gòu)尺寸較大、外觀不夠美觀等不足，但對(duì)解決移動(dòng)機(jī)器人或AGV小車自動(dòng)乘坐電梯提供了一種新的思路與方法。在后續(xù)的研究工作中，可以考慮以電動(dòng)推桿代替線性模組，以降低機(jī)械手的結(jié)構(gòu)尺寸，同時(shí)通過改進(jìn)Sobel算子來進(jìn)一步提高按鈕識(shí)別率。

【參考文獻(xiàn)】

[1]搖林凱.自主服務(wù)機(jī)器人在智能樓宇系統(tǒng)中的應(yīng)用研究[D].廈門：廈門大學(xué)航空航天學(xué)院，2014.

[2]王家超.醫(yī)院病房巡視機(jī)器人定位與避障技術(shù)研究[D].濟(jì)南：山東大學(xué)控制科學(xué)與工程學(xué)院，2012.

[3]郭杰.一種多功能酒店服務(wù)機(jī)器人[P].中國：CN201420842068.X.2015-07-08.

[4]新浪科技.谷歌投資的機(jī)器人投入使用：提供酒店客房服務(wù)[EB/OL].http：//tech.sina.com.cn/it/2014-09-22/09089631592.shtml，2014-09-22.

[5]尚俊.基于HOG特征的目標(biāo)識(shí)別算法研究[D].武漢：華中科技大學(xué)軟件學(xué)院，2012.