基于機器視覺的紗籠紗桿快速定位方法

張文昌，單忠德，盧 影

(1. 機械科學(xué)研究總院集團有限公司 先進成形技術(shù)與裝備國家重點實驗室，北京 100083；2. 北京機科國創(chuàng)輕量化科學(xué)研究院有限公司，北京 100083)

紡織染整工藝自動化過程需要對筒子紗進行多次移載，其載具主要采用大尺寸(直徑為1～3 m)紗籠形式，紗籠上設(shè)計有密集排布的細長紗桿(幾十根至上百根)，在使用過程中紗桿易變形，需要頻繁進行校對，且紗籠在各工藝工位移載時存在定位誤差，對機器人實現(xiàn)紗桿上筒子紗、鎖扣等工件的自動化取放帶來了極大的困難。目前，紗桿校正以人工為主，并通過末端夾持器的優(yōu)化設(shè)計提高取放容錯能力[1]，120根紗桿的紗籠校對時間需要半個小時，且受人為因素影響校正可靠性差，工業(yè)生產(chǎn)中自動取放成功率不是很理想。

機器視覺作為非接觸、高精度檢測手段，一直是國內(nèi)外學(xué)者的研究熱點，廣泛用于質(zhì)量檢測[2-3]、目標識別定位[4-5]、自動化裝配[6-7]等行業(yè)。特別地，將視覺用于機器人的機器人視覺，顯著提升了裝備的自動化水平：如Gu等[8]針對宇航輔助機器人抓取需求提出基于區(qū)域匹配和像素偏置的雙目視覺定位方法，該方法識別效率高，顯著提高了機器人對目標抓取的靈活性；Kuo等[9]提出通過標定好的單目相機結(jié)合機器人末端運動學(xué)，實現(xiàn)機器人末端姿態(tài)的檢測方法，用于機器人編碼器無效場景下的機器人末端定位；Frank[10]提出通過相機的二維圖像數(shù)據(jù)實現(xiàn)圓柱目標的三維定位方法，從而引導(dǎo)機器人對圓柱目標的空間抓取操作；Romulo等[11]在協(xié)同式自主機器人應(yīng)用方面，在每個機器人上安裝1個相機，通過同時采集的圖像對，實現(xiàn)目標的空間定位；季旭全等[12]針對大型星載設(shè)備的裝配問題，采用機器學(xué)習(xí)和雙目視覺實現(xiàn)裝配體之間的位置測量，從而引導(dǎo)機械臂完成裝配作業(yè)。針對紗籠紗桿定位問題，紗桿密集排布及使用過程中易變形的特點給視覺定位帶來了新的挑戰(zhàn)，若采用單次拍照識別定位所有紗桿的模式，由于紗籠尺寸太大，大范圍光照環(huán)境的一致性難以保證，紗桿識別成功率低，且定位精度不高；若對紗籠上的所有紗桿逐個進行拍照定位，由于紗籠紗桿數(shù)量較多，必然對生產(chǎn)節(jié)拍產(chǎn)生較大影響，從而影響生產(chǎn)效率。

考慮到紗桿固定于紗籠上，可將紗籠上的密集紗桿看作一個剛體處理，雖然紗桿易變形，但其變形周期較長，一般數(shù)周或數(shù)月累計的形變量才會對生產(chǎn)造成影響。鑒于這些特點，本文提出一種離線檢測與在線檢測相結(jié)合的機器人視覺定位方法，離線檢測單元在非生產(chǎn)時間進行，結(jié)合機器人動作逐個對紗籠上所有紗桿進行檢測定位，并將所有紗桿的位置信息記錄在數(shù)據(jù)庫中，離線檢測單元根據(jù)實際工藝不定期對紗籠進行檢測；在線檢測單元在生產(chǎn)過程中通過檢測少數(shù)紗桿，并結(jié)合離線檢測的紗桿位置信息采用最小二乘法計算得到紗籠的整體位姿偏移，然后根據(jù)紗籠位姿偏移計算得到所有紗桿的位置信息，從而引導(dǎo)機器人完成紗桿上工件的取放作業(yè)。針對紗桿識別可能失敗的情況，結(jié)合實際應(yīng)用提出了紗桿識別失敗時的解決方案，并對在線檢測的檢測成功率進行分析，最后通過現(xiàn)場實驗驗證所提方法的有效性。

1 紗籠紗桿機器人視覺系統(tǒng)構(gòu)建

1.1 機器人視覺檢測系統(tǒng)組成

紗籠紗桿機器人采用手眼(eye-in-hand)視覺控制方式，視覺攝像頭安裝在機器人末端，用于對紗桿的拍照定位，如圖1所示。生產(chǎn)工藝過程中，紗籠隨托盤進入相應(yīng)的機器人工位，機器人在視覺系統(tǒng)引導(dǎo)下，完成紗籠紗桿上工件的取放作業(yè)。

圖1 紗籠紗桿視覺機器人Fig.1 Vision robot of yarn-bars on yarn-cage. (a) General design structure; (b) Local structure

1.2 視覺檢測系統(tǒng)標定

相機標定是視覺定位系統(tǒng)的關(guān)鍵，由于被測紗籠處于固定平面，紗籠紗桿機器人視覺系統(tǒng)可簡化為二維測量系統(tǒng)。結(jié)合實際應(yīng)用，相機標定以機器人坐標系作為世界坐標系，忽略鏡頭畸變及安裝誤差的影響，采用線性方法對相機進行標定。分別建立圖像像素坐標系O-UV和平行于機器人坐標系的機器人末端工具坐標系O-XY，如圖2所示。

圖2 成像模型Fig.2 Imaging model

點P在O-XY坐標系下坐標記為[X，Y]T，其成像點Q在O-UV坐標系下坐標記為[U，V]T，則有：

(1)

式中：λ為圖形坐標系單像素尺寸，mm；θ為2個坐標系之間的旋轉(zhuǎn)角度，rad；Tx和Ty為2個坐標系之間x和y向的偏移量，mm。

在eye-in-hand機器人視覺系統(tǒng)下，點P在機器人坐標系下的坐標(僅考慮x和y方向)為

(2)

式中，[xr，yr]T為當(dāng)前機器人坐標。將式(2)代入式(1)得

(3)

視覺系統(tǒng)標定即對λ、θ、Tx和Ty的標定。采用文獻[6] 的標定方法，將單點標靶固定放置在相機下方，通過機器人運行9個位置得到9組樣本，采用最小二乘法線性擬合，即可計算得到相機參數(shù)λ和θ。由于紗籠紗桿機器人不具備旋轉(zhuǎn)功能，工程應(yīng)用時Tx和Ty通過示教得到。

1.3 紗籠紗桿識別與定位

由于紗桿桿尖特征較為突出，視覺中桿尖識別圖像處理過程采用經(jīng)典的圖像識別與定位流程，主要包括平衡去噪、圖像銳化、圖像分割，以及幾何特征分析4個環(huán)節(jié)，對于圖像處理后的二值圖像，通過連通域的長度、寬度、面積，以及圓度特征進行桿尖的識別，得到桿尖Q的圖像坐標[U，V]T，如圖3所示。

圖3 紗桿識別Fig.3 Yarn-bar recognition

將識別結(jié)果代入式(3)，即可計算得到紗桿桿尖在機器人坐標系下的坐標。

2 紗籠紗桿離線檢測

紗桿易變形，需要頻繁進行校對，因此，需要建立紗籠紗桿數(shù)據(jù)庫，記錄紗籠紗桿的位置信息。離線檢測即在生產(chǎn)線非工作時間，通過控制機器人使得攝像頭處于紗桿上方，然后拍照識別紗桿，以這種方式逐個對紗籠上所有紗桿進行定位檢測并將檢測結(jié)果記錄到數(shù)據(jù)庫中。受工藝等因素影響，紗桿特征不能保證完全一致，加上光線條件不均衡，視覺系統(tǒng)對紗桿識別難以實現(xiàn)100%的成功率，針對識別失敗的情況，采用人工輔助的方式進行校準，如圖4所示。

圖4 手動選擇紗桿特征Fig.4 Manual selection of yarn-bar

紗籠上紗桿數(shù)量記為n，紗桿位置記為Pi(i=1,2,…,n)。離線檢測整體流程如圖5所示。

3 紗籠紗桿在線檢測

(4)

式中：P′i為第i號紗桿當(dāng)前位置；Pi為第i號紗桿離線檢測時記錄的位置。

在線檢測在自動化生產(chǎn)過程中進行，通過檢測少數(shù)幾個紗桿計算得到當(dāng)前紗籠相對于與離線檢測時的位姿偏差，結(jié)合該紗籠在離線檢測時數(shù)據(jù)庫中的紗桿位置信息，計算得到紗籠上所有紗桿的當(dāng)前位置，從而引導(dǎo)機器人完成相應(yīng)的取放作業(yè)。

3.1 在線檢測算法

圖6示出在線視覺系統(tǒng)結(jié)合機器人對預(yù)先選定的m(2

圖6 在線視覺示意圖Fig.6 Online detection view

記U={a1,a2,…，ak}(k≤m)表示檢測成功的k個紗桿，建立誤差函數(shù)：

(5)

式中：Qai=[Xai，Yai]T(1≤i≤k)，為第ai號桿的在線檢測結(jié)果；εai=[εxai，εyai]T，為第ai號桿實測位置與計算位置的偏差，包括x向偏差和y向偏差。采用高斯牛頓法，將誤差寫成

(6)

將初始參數(shù)C0=[0，0，0]代入到誤差函數(shù)，則只要k≥2即可通過最小二乘法解得：

(7)

經(jīng)j(一般取j=3即可)次迭代收斂后，即可得到最終結(jié)果：

C≈Cj=Cj-1+ΔCj-1

(8)

在線檢測流程如圖7所示。

圖7 在線檢測流程Fig.7 Online detection flow

3.2 在線檢測紗桿選擇分析

通過最小二乘法進行平面二維點匹配，從而得到二者之間的旋轉(zhuǎn)平移關(guān)系，以所計算的二維點數(shù)據(jù)對之間的誤差平方和最小作為優(yōu)化指標，理論上最少只需要2組數(shù)據(jù)對即可，但針對紗籠紗桿定位問題，由于機械系統(tǒng)、電控系統(tǒng)、視覺測量系統(tǒng)等各環(huán)節(jié)均存在誤差，在線檢測時選定的紗桿數(shù)目和位置對測量精度有一定的影響，其影響滿足如下規(guī)律。

1)紗桿數(shù)目：識別出的紗桿數(shù)目越多，其結(jié)果魯棒性越好。

2)紗桿位置：識別出的紗桿位置相互之間距離越大，其結(jié)果魯棒性越好。

綜合考慮，在線檢測時應(yīng)盡量選擇外圍紗桿，且結(jié)合生產(chǎn)節(jié)拍的要求，盡量選擇更多的紗桿進行檢測。

此外，實際工程應(yīng)用中，視覺系統(tǒng)對紗籠上紗桿的定位檢測不可能100%成功，即存在誤識別與識別失敗的情況。檢測m個紗桿，其中k個檢測成功，雖然k≥2時即可實現(xiàn)紗籠的整體位姿偏差計算，但需要結(jié)合實際生產(chǎn)中紗籠定位成功率、定位精度等具體工況，選擇k的最小條件。

4 實驗測試與應(yīng)用驗證

采用實際生產(chǎn)中典型規(guī)格紗籠紗桿拆裝鎖扣機器人進行實驗，對本文所提方法進行驗證。鎖扣機器人重復(fù)定位精度為±0.5 mm，紗籠直徑為2 m，紗桿個數(shù)為120，其布局如圖8所示。

圖8 120個紗桿布局Fig.8 Structure of 120 yarn-bars

4.1 離線檢測測試

按照第3節(jié)所述流程對該紗籠120個紗桿進行定位檢測，如圖9所示。

圖9 離線檢測實驗照片F(xiàn)ig.9 Offline detection photo

離線檢測整個工藝過程約需5 min完成，其中有 8個紗桿識別失敗，通過人工輔助校準完成。離線檢測完成后的數(shù)據(jù)記錄到紗籠數(shù)據(jù)庫中。

為直觀觀測離線檢測的效果，每個紗桿檢測后，機器人運行至校準位置，并拍照確認，如圖10所示。圖中十字線為基準線，圖10(a)為校準時采集的照片，圖10(b)為校準后機器人根據(jù)校準位置調(diào)整偏差后再次采集的照片。120個紗桿在檢測后均達到了圖10所示效果，即所有紗桿定位結(jié)果準確可靠。

圖10 離線檢測效果比對圖Fig.10 Contrasting figures of offline detection. (a) Picture for error detection and correction; (b) Picture after correction

4.2 在線檢測測試

在線檢測選定檢測紗籠外圍的6個紗桿，為驗證在線檢測的有效性，人為使紗籠產(chǎn)生一定的偏差。6個紗桿定位檢測總共耗時約17 s，結(jié)果如表1所示。

表1 在線檢測數(shù)據(jù)Tab.1 Online detection data

通過第3.1節(jié)所述方法，計算紗籠整體相對于離線數(shù)據(jù)偏差：

C=[-0.000 55，6.93，0.46]T

(9)

為驗證在線計算結(jié)果的準確性，采用離線檢測的模式檢測所有紗桿的實際位置，以在線檢測計算位置與實際位置的距離偏差作為誤差衡量依據(jù)，結(jié)果如表2所示?？芍?，120個紗桿的位置誤差最大誤差為0.75 mm，平均誤差為0.4 mm。

按照在線檢測結(jié)果引導(dǎo)機器人完成鎖扣的安裝，120個紗桿鎖扣安裝全部成功。紗籠鎖扣安裝總共耗時約為45 min，在線視覺檢測時間為17 s，所占節(jié)拍僅為0.63%，基本可以忽略。

由于視覺系統(tǒng)對紗籠上紗桿的定位檢測不可能100%成功，從識別出的結(jié)果中分別抽取2、3、4、5個紗桿各3組，進行紗籠的定位計算，并進行誤差分析，結(jié)果如表3所示?？梢钥闯?，按照實驗所選的 6個紗桿進行在線檢測，識別出的紗桿數(shù)目不小于3時，能夠得到較高的在線檢測精度。

4.3 在線檢測紗籠成功率分析

實際生產(chǎn)中，結(jié)合實驗結(jié)果以k≥3作為紗籠定位成功的判定條件，紗桿識別成功率記為Pg，紗籠的定位成功率為Pl，依據(jù)本文實驗條件，則

表2 在線檢測誤差Tab.2 Error of online detection

表3 少桿數(shù)紗桿在線定位檢測結(jié)果Tab.3 Online positioning detection data of yarn-bars with few count

(10)

根據(jù)離線檢測信息，120個紗桿中8個檢測失敗，即實驗中紗桿的檢測成功率為93.33%，代入式(10)，得到在實驗條件下，在線檢測紗籠定位成功率為99.974%，即平均約4 000個紗籠識別失敗1次。 在實際工藝生產(chǎn)中，單個紗籠生產(chǎn)節(jié)拍一般不低于30 min，即每天不超過50個紗籠，實驗中的在線檢測成功率可實現(xiàn)不低于80 d的正常生產(chǎn)。

實驗結(jié)果表明了本文所提方法的有效性和實用性。目前基于本文所提方法開發(fā)的鎖扣拆裝機器人視覺系統(tǒng)在染色工廠的自動化生產(chǎn)線上得到應(yīng)用，使用效果良好。

5 結(jié) 論

本文結(jié)合紡織印染行業(yè)紗籠紗桿的特點，提出一種基于機器視覺的離線檢測與在線檢測相結(jié)合的紗籠紗桿快速定位方法，得到如下主要結(jié)論：

1)離線檢測單元在非生產(chǎn)時間進行，不占用生產(chǎn)節(jié)拍，結(jié)合機器人動作對紗籠上所有紗桿進行檢測定位，并將所有紗桿的位置信息記錄在數(shù)據(jù)庫中，借助人機協(xié)同，離線檢測速度快，檢測結(jié)果準確可靠。

2)在線檢測單元在生產(chǎn)過程中進行，通過檢測少數(shù)紗桿，結(jié)合離線檢測的紗桿位置信息，采用最小二乘法計算得到紗籠的整體位姿偏移，并計算每個紗桿的位置從而引導(dǎo)機器人完成紗桿上工件的取放作業(yè)。根據(jù)現(xiàn)場實驗條件選定6個紗桿，只要成功檢測3個紗桿即可實現(xiàn)紗籠紗桿高精度定位檢測，檢測速度快，僅占用生產(chǎn)節(jié)拍的0.63%，紗籠檢測定位成功率高達99.974%，魯棒性強，具有顯著的工程實用價值。