基于圖像識別的端拾器吸盤安裝的研究及應用

陳坤煌，樊留群，楊永

基于圖像識別的端拾器吸盤安裝的研究及應用

陳坤煌，樊留群*，楊永

（同濟大學中德學院，上海 201804）

針對傳統(tǒng)的汽車沖壓件端拾器的線上裝配問題，提出了一種基于圖像識別的線下安裝方法。采用兩個攝像機對裝配中的端拾器進行視覺檢測，通過圖像預處理提取圖中吸盤的輪廓，利用最小二乘法擬合其輪廓曲線，提取吸盤特征，并與模板庫中的吸盤樣本圖像進行相似度匹配，根據吸盤的圓面特征和空間坐標變換原理，獲取吸盤的位姿，通過計算其與理論位姿的偏差，給出調整的方法，為吸盤的正確裝配提供指導。實驗結果表明，該方法可以有效地提取吸盤的位姿，提高了安裝吸盤的效率和精度。

端拾器；真空吸盤；圖像識別；位姿驗證

隨著國內汽車銷量的逐步增長，沖壓自動化生產線發(fā)展迅速，設備及工藝更新換代加快，在生產效率進一步提高的要求下對相應的輔助配套裝置也有了更高的要求。端拾器就是一種安裝在機器人/機械手端頭部位，利用真空吸盤或夾鉗輔助取放料的裝置[1]。近年來，端拾器已經在沖壓自動化生產線上得到了廣泛的應用，現已成為其中不可缺少的重要組成部分。

傳統(tǒng)的端拾器吸盤的安裝方法主要是依靠現場技術人員的經驗選取吸盤安裝點的線上安裝方法。由于缺乏精確的理論技術指導，吸盤的安裝往往需要經過多人多次的反復調試，因而增加了安裝時間以及自動化生產線上的停機等待時間。若端拾器吸盤的位置安裝不當，在后期沖壓過程中，還可能產生重大的安全隱患。因此，快速、準確地完成端拾器吸盤的安裝工作，具有非常重要的現實意義。關于端拾器吸盤的精確定位問題，文獻[2]提出了通過組裝機構模擬機器人實現線下組裝的方法，文獻[3]提出了proximity snapping和collision snapping方法來實現在虛擬環(huán)境中的精確定位，文獻[4]提出了引入機器人運動學Denavit-Hartenberg模型的方法。但是，對于吸盤現場安裝時位置調整的指導方法，目前還沒有很完善的研究。

本文采用離線方式進行端拾器裝配，研制了基于視覺定位的安裝平臺?；贠penCV開發(fā)環(huán)境，采用機器視覺的方法，研究端拾器吸盤安裝位置的驗證及修正問題，提出了一種基于圖像識別的吸盤底部圓心及位姿的計算方法，利用雙目視覺原理和吸盤的圓面特征，結合二維平面與三維空間的坐標系變換，實現端拾器吸盤的定位，檢驗其安裝位置，將吸盤的調整工作拆分為旋轉和平移操作，從而降低實際操作時調整吸盤位姿的難度，為高效的吸盤安裝提供指導。

1 系統(tǒng)設計

根據不同的適應場合，吸盤的種類與尺寸有多種選擇[5]。常見的結構類型有折疊型、平底型和橢圓型等。一般，折疊型吸盤用在弧度較大、定位粗糙的部位，適應性強；橢圓型吸盤用在細長緊湊的部位；平底型吸盤直徑較大，用在大平面位置，吸力強。本文主要對折疊型和平底型吸盤進行研究，其外形如圖1所示。

圖1 吸盤示意圖

由于拍攝角度的原因，在圖像中真空吸盤底部呈現出橢圓的形狀，針對吸盤底部的橢圓形輪廓，本文提出了一種輪廓特征與橢圓特性相結合的算法，識別吸盤底部的橢圓輪廓并求出其圓心及位姿，從而檢驗吸盤是否安裝在理論位置。檢驗流程如圖2所示。

2 圖像處理

通常圖像會由于背景噪聲、光照不均勻、幾何畸變等原因出現失真，需要利用灰度化處理、圖像增強和圖像平滑等技術改善圖像的視覺效果[6]，從而提取出圖像的有效輪廓。為減少計算量，一般先將彩色圖像轉變成灰度圖像，再進行后續(xù)的圖像處理。灰度化效果如圖3（a）。

圖2 系統(tǒng)流程圖

高斯濾波器是一類根據高斯函數的形狀來選擇權值的線性平滑濾波器。對圖像進行高斯濾波使圖像更加平滑，且邊緣保留的效果也更好。為將吸盤的輪廓與背景圖像區(qū)分開來，需對圖像進行二值化處理[7]。當像素點的灰度值小于設定閾值時，灰度值置為0，顯示為黑色，大于閾值時，灰度值置為255，顯示為白色。

由于攝像頭安裝在端拾器裝配平臺的固定位置，所以可建立起相機坐標和端拾器工作坐標之間的變換關系。因此，所采集到的吸盤圖像的大小和位置限定于一定的范圍內。利用二值化圖像提取到輪廓點之后，即可將吸盤的輪廓繪制出來，處理后圖像如圖3（b）所示。

圖3 吸盤圖像處理

3 吸盤特征的提取與圖像匹配

3.1 最小二乘法擬合吸盤輪廓曲線

為了減小后期圖像匹配的計算量，首先進行輪廓曲線的重新采樣。吸盤的輪廓曲線中，選取底部橢圓長軸以下的部分等間距地進行曲線采樣，取20個采樣點，記錄其坐標位置，作為輪廓曲線擬合的基礎。

最小二乘法[8]可用于曲線擬合，它要求樣點中y與(x)之差的平方和最小，其公式為：

式中：為曲線的擬合函數；為待定系數；φ為一組線性無關的函數族，通過人為給定。

圓弧形狀可以通過二階多項式模型很好地擬合出來，故?。?/p>

以20個采樣點作為待擬合點，根據式（1）編寫最小二乘法程序，求解其中的3個未知系數1、2和3，即可得到橢圓曲線的方程為：

3.2 吸盤特征的定義

本文基于吸盤底部橢圓輪廓的特點，定義了吸盤的三個特征：輪廓曲線彎折次數、橢圓弧長與長軸的比值和曲率半徑與長軸的比值。

（1）輪廓曲線彎折次數。整個吸盤的輪廓曲線包含一定程度的彎曲變化，輪廓的彎曲可以體現其曲線的特點。實驗中采用吸盤輪廓的右半部分進行彎折次數的計算，如圖4所示。

圖4 彎折次數示意圖

（2）橢圓弧長與長軸的比值。橢圓弧長[9]是指吸盤底面上的橢圓輪廓長軸以下部分的弧長，弧長長度取相鄰像素點的坐標距離的總和。

（3）各采樣點曲率半徑與長軸的比值[10]。可體現現場采集的吸盤圖像與樣本圖像采樣點的曲率特征的相似程度，在3.1節(jié)中采集的20個采樣點處，利用橢圓曲線方程進行計算。

以上三個特征均具有平移、旋轉和尺度不變性，因而可以作為吸盤特征匹配的依據。

3.3 圖像匹配

首先分別計算工廠里現場采集的吸盤圖像和模板庫中各個吸盤的樣本圖像的輪廓曲線的彎折次數，然后將其進行對比。圖3中的吸盤的彎折次數為3次，與模板庫的樣本圖像進行比對，排除掉彎折次數不為3的樣本圖像。

接下來對吸盤的樣本圖像和現場圖像進行第2個特征的匹配。當兩者的相對誤差小于10%時，認為兩者的弧長與長軸比值這一特征值匹配成功。

去除掉差異較大的樣本圖像后，對現場圖像和余下的樣本圖像進行20個采樣點的曲率半徑與長軸比值的比對。當至少80%的采樣點即16個點都滿足相對誤差小于10%時，認為該特征匹配成功。計算滿足該條件的采樣點的個數，作為判斷依據。

當三個特征的匹配都成功時，實現對圖3中吸盤的識別。詳細匹配結果如表1所示。

表1 吸盤特征的匹配結果

4 吸盤位姿的計算及調整方案

4.1 吸盤位姿估計方法

端拾器初次安裝后，為了驗證吸盤是否安裝于理論位置，需要通過求取吸盤底部圓心及位姿，定位吸盤在實際空間中的位置和方向。根據小孔成像原理，相機光心，即凸透鏡的中心，到成像平面的垂直距離為焦距。吸盤底面在相機成像平面中呈現出橢圓形狀，如圖5所示。若已知橢圓的長短軸端點坐標和吸盤底面圓的半徑，結合空間坐標變換，即可實現吸盤位置和姿態(tài)估計[11]。

圖5中，將光心與成像平面上橢圓的長軸端點、和短軸端點、連接，并作延長線得到在實際吸盤圓面上的四個端點、、、。此時，相機坐標系的和軸分別對應長軸和短軸方向。令軸的單位向量為，軸的單位向量為，連接、得到交點，得到在方向上且與成像平面垂直的單位向量，則與相機坐標系的軸重合。在相機坐標系中，原點為光心，則橢圓的端點坐標為（0,v,）、（0, -v,）、（-u, 0,）和（u, 0,）。其中：

（3）

本研究采用了兩臺MV-GE1400C-T型CMOS工業(yè)相機，其圖像尺寸為4384×3288，兩臺相機平行等高、一左一右架設。根據橢圓的性質，橢圓的長軸端點的曲率半徑最小，短軸端點的曲率半徑最大。計算橢圓輪廓的曲率半徑，可得橢圓長短軸的4個端點。這4個點在左相機的像素坐標系下的坐標如表2所示。

為了描述點在空間中的位置，需要將像素坐標轉化為相機坐標系下的坐標。由相機說明書可得相機的焦距＝6.03 mm，結合相機參數和空間坐標系的變換[12]將橢圓4個端點坐標轉化為左相機坐標系的坐標，如表2所示。

表2 橢圓長短軸端點坐標

吸盤底面圓的端點分別在、的延長線上。根據相似性原理可得、的坐標分別為＝、＝。其中，、為比例系數。利用、的坐標得到吸盤底面圓心坐標＝(＋)/2。根據幾何關系[12]可求得底面圓的圓心坐標和圓面法向量的兩組解：

已知和的坐標可根據幾何原理[11]求出單位向量＝（-0.993, -0.052, -0.103）、＝（-0.049, 0.996, -0.034）和＝（-0.105, 0.029, 0.994）。根據式（4）、式（5）可得吸盤底面圓在相機坐標系下的兩組位姿解。實際中相機坐標系的、軸與長軸和短軸方向不重合，需將兩組位姿解左乘以旋轉矩陣1＝[T,T,T]得到實際相機坐標系下的位姿解為：

計算右相機坐標系下兩組圓心坐標，將右相機坐標系下位置轉化到左相機坐標系下[12]，得到此時左相機坐標系下的吸盤圓心坐標為：

通過比較可得2和2的偏差更小，因此2、2為真實解，且法向量2與實際法向量的方向相同。通過測量發(fā)現，相機光心與吸盤圓心間的實際距離為50 cm左右，與計算得到的結果相符。

4.2 吸盤安裝位置調整方案

在端拾器離線安裝平臺上，工人將吸盤初步安裝就位后，通過上述視覺識別算法，得到與理論位姿的安裝誤差，借助三維軟件Unity3D，以圖像的形式實時顯示偏差及調整的方位，給出具體的操作提示，指導工人調整吸盤位姿。如圖6所示，實驗中，坐標系原點為左相機光心，安裝副桿為軸參考方向，端拾器主桿為軸參考方向，并通過右手定則確定軸方向。其中，吸盤通過轉接桿與副桿連接，轉接桿與主桿平行。

為了將吸盤調整到理論位置，將調整工作分為平移和旋轉操作。假設吸盤的理論安裝位姿為1＝（1,1,1,1,1,1）、實際安裝位姿為2＝（2,2,2,2,2,2）。其中，、、為位置坐標，、、代表空間姿態(tài)信息。

圖6 吸盤安裝坐標系

首先對吸盤進行平移操作，為了便于實際指導工人進行調整操作，分別計算吸盤中心點坐標在、和軸上的誤差，將吸盤沿著桿件進行3次平移操作。當差值為正時，沿相應軸的正方向平移；反之則沿相應軸的負方向平移。吸盤沿坐標軸的平移量分別為：

完成對吸盤的平移操作后，還需旋轉吸盤至指定姿態(tài)。為了方便工人進行實際旋轉操作，將旋轉過程拆分為沿著坐標軸分別旋轉。由于吸盤為旋轉體，因此只需對其繞著坐標軸進行兩次旋轉變換。實際上吸盤在安裝時，吸盤只能繞副桿即x軸和轉接桿即y軸旋轉。記On2為吸盤實際姿態(tài)，ONt為理論姿態(tài)。首先將吸盤繞y軸從On2旋轉θy角度至On2'，此時向量On2'與x軸的夾角等于ONt與x軸的夾角，計算角n2'ONt的大小θx，將吸盤繞x軸繼續(xù)旋轉θx角度至理論姿態(tài)ONt。如圖7所示。

記ON與軸的夾角為1，2的空間位姿為3＝（3,3,3,3,3,3），繞軸旋轉后2與2在平面的投影和的模大小不變，則有：

據此得出3、3、3的值。記ON與2在平面的投影分別為和，則旋轉角θ和θ的求解方法為：

現給出吸盤理論安裝位姿為1＝（-50.35, 16.03, 498.94, 0.10, 0.30, 0.95）。結合式（7）～式（9），計算得到θ＝40.22°、θ＝21.37°。在實際操作中，旋轉吸盤會引起底部圓心坐標的變化。因此計算平移量Δ、Δ、Δ時，需減去吸盤繞和軸旋轉時在各個軸產生的偏差，從而得到實際需要平移的距離。記2與軸的夾角為∠2，吸盤繞軸的旋轉半徑為r＝5 cm，吸盤繞軸旋轉時不改變坐標，旋轉引起的和軸方向的誤差分別為：

吸盤繞軸的旋轉半徑r＝40 cm，旋轉時不影響坐標，在和軸產生的誤差分別為：

最終得到實際的軸平移量為：

Δ－Δ＝-11.82 mm

同理可得實際和軸的平移量分別為-218.42 mm和-166.91 mm。根據平移量的大小排序，調整吸盤位置時優(yōu)先消除較大的偏差。

本文在虛擬現實引擎Unity3D，進行吸盤位置調整的動畫展示。根據計算得到的吸盤平移量和旋轉角度，首先基于坐標軸對吸盤進行3次平移，然后將其依次繞和軸進行旋轉。調整過程如圖8所示。

在實際調整過程中平移距離和旋轉角度難以精準把控，所以一次調整往往不能直接調整到位。因此，通過相機實時拍攝現場吸盤照片并在計算機中求取所需的平移距離和旋轉角度，在顯示器中給出實時的用戶操作提示，即平移距離和旋轉角度及其方向，從而提升安裝過程的可操作性，實現高效的端拾器吸盤的線下輔助安裝指導。

5 結論

（1）基于機器視覺的圖像處理技術，針對端拾器的吸盤，提出了一種基于圖像識別的吸盤底部圓心及位姿的計算方法，實現吸盤的定位，提供吸盤安裝位置驗證和調整的依據。

（2）運用圖像處理技術獲取吸盤輪廓，使用最小二乘法擬合輪廓曲線，在保證準確度的同時減小計算量，根據輪廓的特征對現場圖像

和樣本圖像進行相似度比較，實現了現場圖像中吸盤的識別。

（3）利用吸盤底部圓心及位姿信息作為吸盤安裝位置調整的依據。以端拾器為參照物分別對吸盤進行旋轉和平移調整，從而降低工人實際操作時的難度。與傳統(tǒng)的線上安裝相比，本文提供的線下輔助安裝指導提高了吸盤裝配的效率和精準度。

圖8 吸盤位置調整過程

[1]曹署. 實現機械手自動化沖壓線端拾器共用的方法[J]. 裝備制造技術，2017（9）：75-77.

[2]趙建會，徐志剛. 沖壓端拾器的組裝和調試[J]. 精密成形工程，2012，4（2）：67-71.

[3]DEWAR R G，CARPENTER I D，RITCHIE JM，et al. Assembly Planning in a Virtual Environment[C]. Proceeding of Portland International Conference on Management and Technology. Los Alamitos，Cal.，USA：IEEE Computer Society， 1997：664-667.

[4]李翠玲，張浩，趙榮泳，等. 轎車車身沖壓線Tooling的自動化虛擬裝配模型[J]. 計算機集成制造系統(tǒng)，2007（11）：2110-2114.

[5]方芳，謝玉穎. 端拾器在沖壓自動化生產線上的應用[J]. 金屬加工（熱加工），2013（17）：83-85.

[6]田欣利，王健全，唐修檢，等. 基于圖像處理的單顆粒金剛石曲率半徑測定方法研究[J]. 中國機械工程，2013，24（3）：308-312.

[7]楊飛平，徐雷，賀云翔，等. 基于直方圖數據擬合的PCB板嵌孔識別研究[J]. 機械，2018，45（7）：1-6，58.

[8]陳良澤. 用矩陣運算實現曲線擬合中的最小二乘法[J]. 傳感器技術，2001（2）：30-31+34.

[9]高瑞璞. 一種輪廓曲線的匹配方法[D]. 大連：大連海事大學，2014.

[10]王曉龍. 現場鞋印輪廓提取與估計算法研究[D]. 大連：遼寧師范大學，2015.

[11]韓慶瑤，萬書亭. 機器視覺中空間圓透視投影特性研究[J]. 華北電力大學學報，1998（1）：79-84.

[12]趙程. 具有圓面特征的非合作目標雙目視覺位姿測量[D]. 哈爾濱：哈爾濱工業(yè)大學，2015.

Installation of Tooling Suction Cup Based on Image Processing Methods

CHEN Kunhuang，FAN Liuqun，YANG Yong

( Sino-German School for Postgraduate Studies, Tongji University, Shanghai201804, China )

To solve the problem of traditional on-line assembly of tooling of automobile stamping parts, this paper proposed an off-line installation method based on image recognition. Two cameras were used to detect the tooling in assembly process. The contour of suction cups was extracted by image preprocessing. The least square method was applied to contour curve fitting. Features of suction cups were then extracted and matched with the sample images in template library. The suction cup’s posture was obtained according to the characteristics of the circular surface and the spatial coordinate transformation. By calculating the deviation from its theoretical posture, an adjustment method was developed, which provides guidance for correct assembly of the suction cup. The results show that this method can effectively extract the suction cup’s posture and improve its installation efficiency and accuracy.

tooling；vacuum suction cup；image recognition；posture verification

TP391.7

A

10.3969/j.issn.1006-0316.2020.05.010

1006－0316 (2020) 05－0060－07

2020－01－02

陳坤煌（1994－），男，福建漳州人，碩士，主要研究方向為圖像處理和識別；楊永（1993－），男，安徽宿州人，碩士，主要研究方向為圖像處理和識別。*通訊作者：樊留群（1964－），男，河南長垣人，博士，教授，主要研究方向為機床數控與機器人和智能制造系統(tǒng)，E-mail：lqfan@#edu.cn。