圖像識別的機器手抓握滑移檢測系統(tǒng)開發(fā)*

邢 揚， 史運澤， 俞竹青

(常州大學 機械工程學院，江蘇 常州 213100)

圖像識別的機器手抓握滑移檢測系統(tǒng)開發(fā)*

邢 揚， 史運澤， 俞竹青

(常州大學 機械工程學院，江蘇 常州 213100)

為實現(xiàn)機器手抓握物體時不發(fā)生脫落，首先應(yīng)檢測其與被抓握物體接觸面上的滑移信號。提出一種基于圖像識別的機器手抓握滑移檢測方法，采用中心區(qū)域匹配思想的歸一化互相關(guān)算法(NCC)匹配由視覺傳感器實時采集到的被抓握物體表面圖像，得到被抓握物體在采集圖像期間的滑移情況。實驗結(jié)果表明：此系統(tǒng)可以準確檢測被抓握物體是否發(fā)生滑移及滑移的方向和大小，具有高準確度、高靈敏度等優(yōu)點。

圖像識別； 機器手； 滑移檢測； 歸一化互相關(guān)

0 引 言

機器手在抓取物品時，要實現(xiàn)被抓握的物體不發(fā)生脫落，首先應(yīng)該檢測機器手和被抓握物體接觸面上的滑覺信號，再將信號反饋給機器人以改變夾持控制力，通過控制夾持力來防止目標物體的脫落，最終協(xié)助機器人完成抓取和操作任務(wù)。因此，滑移信號的檢測是機器人完成高精度抓取與操作任務(wù)的關(guān)鍵所在[1,2]。目前,常見的檢測機器手與抓握對象間滑移現(xiàn)象的方法有[3]：磁力式滑覺傳感器、觸針式壓電晶體滑覺傳感器、滾筒式滑覺傳感器、振動式滑覺傳感器、基于電聲原理觸滑覺傳感器、基于新型壓阻觸滑覺傳感器、基于壓電材料聚偏二氟乙烯(polyvinylidene fluo-ride,PVDF)薄膜滑覺傳感器等，但以上的滑覺檢測方法分別存在結(jié)構(gòu)復雜，靈敏度低，成本高等缺點。本文嘗試提出了一種基于圖像識別的機器手抓握滑移檢測方法。

1 基于圖像識別的機器手抓握滑移檢測系統(tǒng)

基于圖像識別機器手抓握系統(tǒng)裝置如圖1所示。固定于機器人手指腔內(nèi)的高清攝像機和鏡頭實時采集被抓握物體表面的圖像，并將采集到的信號傳至控制計算機。

圖1 基于圖像識別機器手抓握滑移檢測裝置

控制計算機通過對連續(xù)采集的被抓握物體表面圖像做實時圖像匹配分析，判斷是否發(fā)生滑移及滑移的方向和大小。如圖2所示，圖(a)、(b)為視覺傳感器連續(xù)采集被抓握物體表面的兩幀圖像。將(a)圖中的特征區(qū)域S作為模板，定義其左上角為點P1。在(b)圖中通過圖像匹配算法可找到特征區(qū)域S，并定義特征區(qū)域S的左上角為點P2。對比特征區(qū)域S在兩幀圖像中P1，P2點的位置坐標，若x1≠x2或y1≠y2，則被抓握物體在采集這兩幀圖像的過程中發(fā)生了滑移。

圖2 被抓握物體表面的兩幀圖像及匹配

2 圖像匹配

圖像匹配就是從包含同一景物拍攝的兩幅圖像在空間上進行對準，以確定出這兩幅圖像間相對位置的過程[4]?；诨叶刃畔⒌臍w一化互相關(guān)(normalized cross-correlation,NCC)算法是圖像匹配領(lǐng)域中被認為是最佳的相似性評判依據(jù),具有算法簡單，匹配精度高，不受外部光照影響，對噪聲具有一定的魯棒性等優(yōu)點，且當圖像相對縮放、旋轉(zhuǎn)和畸變差異不大時，也能夠得到滿意的匹配[5]。如圖3所示，NCC算法的主要思想為[6]：設(shè)待匹配圖像S的大小為M×N，模板圖像T的大小為m×n。Su,v表示模板T在待匹配圖像S上平移時，搜素窗口所覆蓋的子圖區(qū)域。其中，(u,v)表示子圖區(qū)域左上角頂點在S中的位置坐標。計算并記錄子圖Su,v與模板圖T的NCC相關(guān)值，其中，最大值對應(yīng)的子圖位置即為最佳匹配點的位置。

圖3 待匹配圖像S與模板圖像T的示意圖

NCC匹配算法的公式定義為[7]

R(u,v)=

(1)

Su,v=S(u+i,v+j)

(2)

(3)

T=T(i,j)

(4)

(5)

3 基于圖像識別的抓握滑移檢測算法

由于相鄰的兩幀圖像存在相同特征區(qū)域，通過對比這些相同特征區(qū)域的位置信息可以判斷出機器手所抓握物體表面是否發(fā)生滑移和滑移的方向與大小。在檢測中，將抓取過程中采集的某一幀圖像作為第一幀圖像，連續(xù)采集到的下一幀圖像作為第二幀圖像。由于采集時間間隔較小，連續(xù)采集到的兩幀圖像相同特征區(qū)域不會有大幅度的位置變化，且圖像的主要特征體現(xiàn)在靠近中心的區(qū)域部分，因此為減少計算量，可采取中心區(qū)域匹配的思想來提高匹配準確度及降低NCC算法的時間。計算步驟如下：

4)利用Matlab得到NCC系數(shù)對應(yīng)的三維圖，最大的NCC系數(shù)對應(yīng)子圖為匹配圖像，其左上角為起始點記為點P。

5)根據(jù)模板起始點P0和匹配圖像起始點P的坐標，計算被抓握物體的滑移情況，包括滑移的方向和大小。

4 實驗分析

實驗對橡膠材質(zhì)和紙質(zhì)材質(zhì)兩種物體進行了抓握滑移檢測實驗分析。

4.1 橡膠材質(zhì)物體的滑移檢測實驗分析

圖4前幀圖像a和本幀圖像b為視覺傳感器連續(xù)采集到的被抓握橡膠物體表面的兩幀圖像，大小為150像素×150像素。采用上述算法，以前幀圖像a的中心50像素×50像素作為模板，則其左上角點坐標為P0(50,50)，本幀圖像b的中心100像素×100像素作為待匹配圖像。模板與待匹配圖覆蓋子圖的NCC系數(shù)三維圖如圖5所示，圖中X,Y軸為模板在待匹配圖上覆蓋子圖的左上角點的坐標，Z軸表示相應(yīng)坐標對應(yīng)的NCC系數(shù)值，NCC系數(shù)的值域為[-1,1]，相似性最大時值為1，不相關(guān)時值為0，當兩幅圖像視覺上看內(nèi)容一樣，亮度相反，相似性為-1。NCC系數(shù)的值越接近1，模板與其在待匹配圖覆蓋的子圖的相似度越高，最大NCC系數(shù)對應(yīng)的子圖即為最佳匹配圖像。

圖4 視覺傳感器連續(xù)采集到橡膠物體表面的兩幀圖像

由圖5可以看出，最大NCC系數(shù)對應(yīng)子圖的左上角像素點位置坐標為P(32,67)。對比兩起始點坐標可知，該物體發(fā)生了滑移，滑移量為x=-18，y=17。由實驗計算結(jié)果可知：被抓握的橡膠物體在此期間發(fā)生了滑移，水平方向向左滑移了18個像素點，垂直方向向下滑移了17個像素點。

圖5 橡膠表面物體歸一化互相關(guān)系數(shù)三維圖

為驗證本實驗的準確性，利用專業(yè)圖像軟件可得上述兩幀實時圖像相同特征點對應(yīng)的位置坐標，如圖6所示。由圖可知，相同特征點(鼠標筆尖點)在前幀圖像a和本幀圖像b的位置坐標分別為(76,95),(58,112)。對比兩點坐標，可得被抓握物體在此期間發(fā)生了滑移，滑移量為Δx＇=-18，Δy＇=17，與上述實驗結(jié)果一致，證明了本方法的準確性。

圖6 視覺傳感器連續(xù)采集到橡膠物體表面的兩幀圖像及相同特征點坐標

4.2 紙質(zhì)材質(zhì)物體的滑移檢測實驗分析

圖7前幀圖像a和本幀圖像b為連續(xù)采集到的被抓握紙質(zhì)物體表面的兩幀圖像，大小均為150像素×150像素。采用上述算法，則模板左上角點坐標為Q0(50,50)，模板與待匹配圖覆蓋子圖的NCC系數(shù)三維圖如圖8所示。由圖8可知，最大NCC系數(shù)對應(yīng)子圖的左上角像素點位置坐標為Q(39,61)。對比兩點坐標可得該物體在采集這兩幀圖像期間發(fā)生了滑移，滑移量為Δx=-11,Δy=11，即水平方向向左滑移了11個像素點，垂直方向向下滑移了11個像素點。

圖7 視覺傳感器連續(xù)采集到紙質(zhì)物體表面的兩幀圖像

圖8 紙質(zhì)表面物體歸一化互相關(guān)系數(shù)三維圖

同樣，為驗證實驗的準確性，利用專業(yè)圖像軟件可得上述兩幀圖像相同特征點對應(yīng)的位置坐標如圖9所示。由圖可知,相同特征點在兩幀圖像的位置坐標分別為(55,74),(44,85)。計算可得Δx＇=-11，Δy＇=11，即被抓握的紙質(zhì)物體在采集這兩幀圖像期間，水平方向向左滑移了11個像素點，垂直方向向下滑移了11個像素點，與上述實驗結(jié)果一致，充分證明了本方法的正確性。

圖9 視覺傳感器連續(xù)采集到紙質(zhì)物體表面的兩幀圖像及相同特征點坐標

5 結(jié) 論

提出了一種基于圖像識別機器手抓握滑移檢測的系統(tǒng)，采用圖像匹配領(lǐng)域中被認為最佳相似性評判依據(jù)的歸一化互相關(guān)算法，利用中心區(qū)域匹配的思想匹配連續(xù)采集到的被抓握物體表面圖像，判斷被抓握物體是否產(chǎn)生滑移及滑移量的大小。實驗研究分析了機器手抓握橡膠物體和紙質(zhì)物體時發(fā)生的滑移情況，并利用專業(yè)圖像處理軟件對比兩幀圖像相同特征點的位置坐標得到物體實際滑移量，驗證了算法的正確性。實驗結(jié)果表明：此系統(tǒng)可以準確檢測被抓握物體是否發(fā)生滑移及滑移的方向和大小，具有高準確度、高靈敏度等優(yōu)點。

[1] 朱樹平．基于滑覺檢測的農(nóng)業(yè)機器人果蔬抓取研究[D]．南京:南京農(nóng)業(yè)大學，2012．[2] Cranny A，Cotton D P J，Chappell P H．Thick-film force and slip sensors for prosthetic hand[J]．Sensors and Actuators A，2005(123-124)：162-171．

[3] 向 婷，陳進軍．基于新型壓阻觸滑覺傳感器軟抓取機械手的研究[J]．制造業(yè)自動化，2013，35(3)：69-71．

[4] 李子印，許 斌，陳立峰．基于自適應(yīng)步長選擇的NCC圖像匹配算法[J]．光電工程，2013，40(10)：77-84．

[5] Tsai Duming，Lin Chienta．Fast normalized cross correlation for defect detection [J]．Pattern Recognition Letters，2003，24：2625-2631．

[6] 孫卜郊，周東華．基于NCC的存在旋轉(zhuǎn)的圖像匹配方法[J]．傳感器與微系統(tǒng)，2008，27(5)：43-45．

[7] 胡 敏，賀曉佳，王曉華．快速區(qū)域質(zhì)心圖像匹配算法[J]．電子測量與儀器學報，2011，25(5)：455-462．

Development on robot hand grasping and slipping detecting system based on image recognition*

XING Yang, SHI Yun-ze, YU Zhu-qing

(School of Mechanical Engineering，Changzhou University，Changzhou 213100，China)

To achieve the object to be grasped by robot without shedding,the first thing to do is detecting the slipping signal between the object and the robot.A method for slipping signal detection based on image recognition is presented,use normalized cross-correlation algorithm(NCC)to match surface image of object real-time collected by the visual sensor,slipping case during collecting images of grasped object robot can be obtained by comparing these two images.Experimental results indicates that this method can accurately detect the slip signal of the object which grasping by robot and the direction and size of slipping,the method possesses advantages of high accuracy,and high sensitivity etc.

image recognition; robot hand; slipping detecting;normalized cross correlation(NCC)

10.13873/J.1000—9787(2017)04—0131—03

2016—06—21

科技部中小企業(yè)技術(shù)創(chuàng)新基金項目(14C26213201195)

TP 242.6

A

1000—9787(2017)04—0131—03

邢 揚(1991-)，女，碩士研究生，研究方向為主從隨動機器人的研究與開發(fā)。

俞竹青(1962-)，男，通訊作者，工學博士，教授，從事機電一體化與機器人技術(shù)的研究工作，E—mail:yzhuqing@cczu.edu.cn。