耳溫計(jì)檢定系統(tǒng)機(jī)械臂位姿自動修正方法研究

摘" 要： 針對耳溫計(jì)自動檢定系統(tǒng)中機(jī)械定位隨機(jī)偏移的問題，提出一種基于機(jī)器視覺的機(jī)械臂位姿自動修正算法。在恒溫槽基準(zhǔn)位建立機(jī)械臂運(yùn)動的基準(zhǔn)參考坐標(biāo)系，在此坐標(biāo)系下設(shè)計(jì)機(jī)械臂作業(yè)路徑動作；系統(tǒng)作業(yè)過程中，通過定位恒溫槽上的特征圖案生成變換矩陣，產(chǎn)生新參考坐標(biāo)系；機(jī)械臂來到新參考坐標(biāo)系下拍照，反推變換矩陣偏差值并對其迭代更新；通過對機(jī)械臂運(yùn)動的參考坐標(biāo)系進(jìn)行修正，完成對機(jī)械臂三維作業(yè)的位姿修正。實(shí)驗(yàn)結(jié)果表明，所提算法對恒溫槽上3個平面的定位精度達(dá)到0.5 mm以內(nèi)，為相似場景下的視覺引導(dǎo)提供了一種新思路。

關(guān)鍵詞： 耳溫計(jì)； 檢定系統(tǒng)； 機(jī)械臂； 位姿修正； 恒溫槽； 手眼標(biāo)定

中圖分類號： TN911.23?34； TP242" " " " " " " " " "文獻(xiàn)標(biāo)識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）08?0090?05

Research on automatic correction method for pose of mechanical arm in ear thermometer verification system

ZHAO Zihui1， ZHANG Yupei2， CHEN Yibing1， CAO Songxiao1， TANG Jianbin1， XU Zhipeng1

（1. College of Metrology and Measurement Engineering， China Jiliang University， Hangzhou 310018， China;

2. Zhejiang Institute of Metrology， Hangzhou 310063， China）

Abstract： In allusion to the problem of random deviation of mechanical positioning in the automatic ear thermometer calibration system， an automatic correction algorithm of mechanical arm pose based on machine vision is proposed. In the reference position of the thermostat tank， the reference coordinate system for the movement of the mechanical arm is established， and the operation path action of the mechanical arm is designed under this coordinate system. During the operation of the system， the transformation matrix is generated by locating the feature pattern on the thermostat tank to generate a new reference coordinate system. The robotic arm can take photos in a new reference coordinate system， to deduce the deviation value of the transformation matrix， and iteratively update it. By correcting the reference coordinate system for the motion of the robotic arm， the three?dimensional operation pose of the robotic arm is corrected. The experimental results show that the positioning accuracy of the proposed algorithm for three planes on the constant temperature bathcan reach within 0.5 mm， providing a new approach for visual guidance in similar scenarios.

Keywords： ear thermometer; verification system; mechanical arm; pose correction; constant temperature bath; hand?eye calibration

0" 引" 言

機(jī)器視覺與機(jī)械臂相結(jié)合，使機(jī)械臂在自動化領(lǐng)域有了更加廣闊的應(yīng)用前景[1?3]。通過視覺技術(shù)，可根據(jù)作業(yè)場景對機(jī)械臂作業(yè)位姿進(jìn)行修正[4?5]。通常，采用3D相機(jī)獲取目標(biāo)點(diǎn)的三維信息，對機(jī)械臂三維位姿進(jìn)行修正；采用2D相機(jī)獲取目標(biāo)點(diǎn)在某平面的二維信息，對機(jī)械臂在某一個平面內(nèi)的位姿進(jìn)行修正。

王稼祥等利用雙目結(jié)構(gòu)光相機(jī)獲取三維點(diǎn)云數(shù)據(jù)，引導(dǎo)自動化系統(tǒng)進(jìn)行低壓渦輪軸裝配[6]。張良安等通過雙目結(jié)構(gòu)光視覺系統(tǒng)獲取螺栓三維點(diǎn)云信息，識別其在空間中的位姿，引導(dǎo)機(jī)械臂末端進(jìn)行自動裝配擰緊[7]。董大釗等提出一種基于單目視覺的機(jī)器人裝配位姿在線校正算法[8]，采用相機(jī)拍照，獲取機(jī)械臂夾取工件后工件的二維位姿，將工件位姿校正量分解為原始位姿差、旋轉(zhuǎn)引入位姿差及殘余位姿差三部分，再將這三部分位姿誤差補(bǔ)償量反饋給機(jī)器人，以引導(dǎo)機(jī)器人完成裝配。

針對在研的耳溫計(jì)檢定系統(tǒng)具有成本有限、精度要求不高的特點(diǎn)，本文提出一種基于2D視覺的機(jī)械臂三維位姿自動修正方法。

1" 系統(tǒng)組成及工作原理

耳溫計(jì)檢定系統(tǒng)示意圖如圖1所示。系統(tǒng)硬件部分包含恒溫槽、二等鉑電阻、測溫電橋、托盤、機(jī)械臂、機(jī)械臂末端結(jié)構(gòu)（智能相機(jī)、氣缸、柔性夾具、按鍵機(jī)構(gòu)）等。其中，機(jī)械臂選用埃斯頓ER12?1510型號六軸機(jī)械臂，重復(fù)定位精度為±0.03 mm；相機(jī)選用海康工業(yè)智能黑白相機(jī)，分辨率為1 024×1 408。系統(tǒng)通過上位機(jī)控制機(jī)械臂運(yùn)行，控制相機(jī)取像，獲取測溫電橋測得的溫度真值；通過機(jī)械臂程序控制機(jī)械臂末端夾具及按鍵機(jī)構(gòu)；通過視覺處理程序?qū)λ@圖像進(jìn)行處理并計(jì)算，獲取相應(yīng)的修正信息。

機(jī)械臂從托盤上夾取耳溫計(jì)并將其傾斜放置于恒溫槽的支架上，使其探頭垂直于恒溫槽上的黑體空腔。之后在末端采用按鍵機(jī)構(gòu)對耳溫計(jì)按鍵，并用智能相機(jī)拍照，識別耳溫計(jì)顯示屏溫度后將其放回原位。經(jīng)過長期使用后，機(jī)械臂與恒溫槽相對位置發(fā)生改變，所以需對機(jī)械臂三維作業(yè)位姿進(jìn)行修正。機(jī)械臂末端與恒溫槽上表面如圖2所示。黑體空腔表面示意圖直徑為10 mm，耳溫計(jì)探頭直徑為6 mm，綜合考慮機(jī)械臂及末端機(jī)構(gòu)的定位精度以及視覺系統(tǒng)的檢測能力，系統(tǒng)綜合定位精度應(yīng)優(yōu)于1 mm。

解決該問題的難點(diǎn)如下：

1） 系統(tǒng)采用單目相機(jī)對物體進(jìn)行定位，單目相機(jī)通常僅用于對空間中某一平面上的物體進(jìn)行定位，無法識別物體在空間中的三維信息。

2） 機(jī)械臂末端夾具、按鍵機(jī)構(gòu)、智能相機(jī)與機(jī)械臂末端TCP不共軸，即使得到目標(biāo)三維位姿信息后，也需根據(jù)按鍵機(jī)構(gòu)、夾具、智能相機(jī)與機(jī)械臂末端TCP的相對位置參數(shù)以及耳溫計(jì)機(jī)身尺寸參數(shù)，求解機(jī)械臂位姿修正值，而多個參數(shù)的引用會降低位姿修正的精度。

為此，本文提出一種機(jī)械臂位姿自動修正方法，通過視覺算法迭代修正機(jī)械臂運(yùn)動的參考坐標(biāo)系，實(shí)現(xiàn)對機(jī)械臂路徑動作的自動修正。

2" 機(jī)械臂基準(zhǔn)參考坐標(biāo)系及手眼標(biāo)定

2.1" 建立機(jī)械臂基準(zhǔn)參考坐標(biāo)系

機(jī)械臂基座坐標(biāo)系[{Wo}]是機(jī)械臂內(nèi)部自帶的坐標(biāo)系，基準(zhǔn)參考坐標(biāo)系[{Wu}]是由使用者創(chuàng)建的，兩者可通過平移和旋轉(zhuǎn)相互轉(zhuǎn)換[9]，轉(zhuǎn)換關(guān)系如下：

[xoyozo1=RT0T1xuyuzu1] （1）

式中：[R]為[3×3]的旋轉(zhuǎn)矩陣；[T]為[1×3]的平移向量。

為方便建立機(jī)械臂基準(zhǔn)參考坐標(biāo)系，在恒溫槽上表面貼上Mark點(diǎn)，Mark點(diǎn)示意圖如圖3所示。以Mark點(diǎn)中心點(diǎn)作為基準(zhǔn)參考坐標(biāo)系[{Wu}]原點(diǎn)，Mark點(diǎn)中心延展的2條互相垂直的直線分別作為[x]軸、[y]軸，建立機(jī)械臂運(yùn)動的基準(zhǔn)參考坐標(biāo)系{[Wu]}。采用三維向量描述Mark點(diǎn)在該坐標(biāo)系下的位姿，記作[[x，y，ε]T]，[[x，y]T]為Mark點(diǎn)中心點(diǎn)在[XOY]平面的坐標(biāo)，[ε]為Mark點(diǎn)旋轉(zhuǎn)角度，Mark點(diǎn)基準(zhǔn)位姿為[[0，0，0]T]。

2.2" 手眼標(biāo)定

系統(tǒng)采用九點(diǎn)標(biāo)定技術(shù)，機(jī)械臂末端攜帶相機(jī)移動9個點(diǎn)位，建立基準(zhǔn)參考坐標(biāo)系和像素坐標(biāo)系的轉(zhuǎn)換關(guān)系，公式如下：

[rc1=cosθ-sinθ0sinθcosθ0001SxxuSyyu1+txty0] （2）

式中：[Sx]、[Sy]分別為[x]軸、[y]軸方向的縮放比例；[tx]、[ty]分別為[x]軸、[y]軸方向的平移量；θ為對應(yīng)的旋轉(zhuǎn)角度；[r]、[c]表示像素坐標(biāo)；[xu]、[yu]表示基準(zhǔn)參考坐標(biāo)系下機(jī)械臂在[XOY]平面的二維坐標(biāo)。

3" 參考坐標(biāo)系迭代方法

建立基準(zhǔn)坐標(biāo)系，確立其余像素坐標(biāo)系的轉(zhuǎn)換關(guān)系后，在基準(zhǔn)位置，以基準(zhǔn)參考坐標(biāo)系作為機(jī)械臂運(yùn)動的參考坐標(biāo)系，設(shè)計(jì)機(jī)械臂攜帶耳溫計(jì)對恒溫槽測溫的路徑動作。因?yàn)樵O(shè)計(jì)的路徑動作與其參考坐標(biāo)系間的相對位置關(guān)系具有不變性，所以針對恒溫槽位置發(fā)生改變的情況，可通過修改機(jī)械臂運(yùn)動的參考坐標(biāo)系對機(jī)械臂三維位姿進(jìn)行修正。

坐標(biāo)系間轉(zhuǎn)換關(guān)系如圖4所示。

3.1" 生成新參考坐標(biāo)系

恒溫槽偏移和旋轉(zhuǎn)的情況在理論模型上可簡化為Mark點(diǎn)在基準(zhǔn)參考坐標(biāo)系[{Wu}]中[XOY]平面的坐標(biāo)變換。機(jī)械臂到達(dá)基準(zhǔn)參考坐標(biāo)系下的拍照點(diǎn)，拍照并通過模板匹配算法定位圖像中的Mark點(diǎn)[10]，進(jìn)行手眼轉(zhuǎn)換[11]，得到Mark位姿[[x y θ]T]，將其與Mark點(diǎn)基準(zhǔn)位姿[[0 0 0]T]作差，即可得到位姿差[[Δx Δy α]T]，如下所示：

[[Δx Δy α]=[x y θ]-[0 0 0]]" （3）

Mark點(diǎn)為基準(zhǔn)參考坐標(biāo)系坐標(biāo)原點(diǎn)，其僅在XOY平面平移旋轉(zhuǎn)，如圖5所示。

故可根據(jù)位姿差[[Δx Δy α]T]生成新參考坐標(biāo)系[{W'u}]，公式如下所示：

[x'uy'uz'u1=cosα-sinα0Δxsinαcosα0Δy00100001xuyuzu1=Txuyuzu1] （4）

在新參考坐標(biāo)系[{W'u}]中進(jìn)行基準(zhǔn)參考坐標(biāo)系下設(shè)計(jì)的路徑動作，機(jī)械臂內(nèi)部通過式（1）和式（4）聯(lián)立轉(zhuǎn)換，即可實(shí)現(xiàn)位姿自動修正。

3.2" 新參考坐標(biāo)系迭代修正

由于九點(diǎn)標(biāo)定定位誤差[12]、相機(jī)畸變、模板匹配的識別誤差等干擾因素的存在，生成的新參考坐標(biāo)系[{W'u}]存在誤差，所以需對參考坐標(biāo)系迭代修正。令機(jī)械臂在新參考坐標(biāo)系下拍照位拍照，定位圖像中Mark點(diǎn)坐標(biāo)。拍照位置示意圖如圖6所示。

獲得Mark點(diǎn)在新參考坐標(biāo)系下位姿[[m n q]T]，并與基準(zhǔn)位姿[[0 0 0]T]作差，獲得坐標(biāo)偏差[（ΔX，ΔY）T]和角度偏差γ如下：

[[ΔX ΔY γ]=[m n q]-[0 0 0]] （5）

已知，新參考坐標(biāo)系[{W'u}]中坐標(biāo)的偏移量與基準(zhǔn)參考坐標(biāo)系[{Wu}]中坐標(biāo)的偏移量可由旋轉(zhuǎn)矩陣進(jìn)行轉(zhuǎn)換，根據(jù)坐標(biāo)偏差可求得修正值，如下：

[Δx'Δy'=cos（-α）-sin（-α）sin（-α）cos（-α）ΔXΔY] （6）

更新式（4）中變換矩陣[T]的參數(shù)如下所示：

[Δxi+1Δyi+1αi+1=ΔxiΔyiαi+Δx'iΔy'iγ'i] （7）

式中[i]為迭代次數(shù)。更新變換矩陣[T]參數(shù)后再次生成參考坐標(biāo)系，機(jī)械臂到達(dá)新參考坐標(biāo)系拍照位拍照，求解坐標(biāo)偏差[（ΔX，ΔY）T]和角度偏差γ，若偏差小于設(shè)定最大允許值，參考坐標(biāo)系迭代更新完畢；否則重復(fù)上述步驟，迭代更新參考坐標(biāo)系，直至偏差小于設(shè)定值。

4" 實(shí)驗(yàn)與分析

為驗(yàn)證機(jī)械臂位姿自動修正方法在系統(tǒng)中的可行性，進(jìn)行精度驗(yàn)證實(shí)驗(yàn)與重復(fù)性實(shí)驗(yàn)。搭建的實(shí)驗(yàn)裝置如圖7所示。在恒溫槽的3個平面上（面Ⅰ、面Ⅱ和面Ⅲ）貼上激光定位紙，且將一支紅色激光筆固定在機(jī)械臂的末端。實(shí)驗(yàn)流程如下：示教機(jī)械臂使激光筆光斑質(zhì)心對準(zhǔn)3個平面上的定位點(diǎn)，由此得到3個示教點(diǎn)；考慮到相機(jī)單像素精度為0.017 mm，并結(jié)合實(shí)驗(yàn)實(shí)際情況，設(shè)定算法中最大允許值分別為0.02 mm、0.02 mm和0.04°；調(diào)整恒溫槽位置5次，每次恒溫槽旋轉(zhuǎn)角度在-20°～20°之間，平移距離在-8～8 cm之間；令機(jī)械臂迭代修正參考坐標(biāo)系，修正完畢后，來到3個示教點(diǎn)，用相機(jī)拍攝圖像，記錄激光點(diǎn)與定位點(diǎn)的位置關(guān)系。

完成實(shí)驗(yàn)后，對所拍攝的圖像進(jìn)行處理，處理過程如圖8所示。以2條直線的交點(diǎn)作為定位點(diǎn)，通過直線檢測算法[13]獲得定位點(diǎn)的像素坐標(biāo)[（x1，y1）T]；通過邊緣檢測算法和blob分析法[14]，求得激光筆光斑的質(zhì)心的像素坐標(biāo)[（x2，y2）T]。

由式（8）即可求解坐標(biāo)偏差值[d]。

[d=k（x2-x1）2+（y2-y1）2] （8）

式中：[k]為單位像素精度，取0.017 mm。實(shí)驗(yàn)所得坐標(biāo)偏差數(shù)據(jù)如表1所示。

根據(jù)表1可以得知，機(jī)械臂在重復(fù)性定位精度為0.03 mm的情況下，在迭代更新參考坐標(biāo)系后，對于面Ⅰ、面Ⅱ和面Ⅲ均實(shí)現(xiàn)了0.5 mm以內(nèi)的定位精度，滿足系統(tǒng)所需精度要求。

5" 結(jié)" 語

針對機(jī)械臂與恒溫槽相對位姿相對于示教時有較大偏差這一問題，本文提出機(jī)械臂位姿修正算法，增強(qiáng)了耳溫計(jì)檢定系統(tǒng)的魯棒性。該方法通過視覺技術(shù)迭代更新機(jī)械臂運(yùn)動的參考坐標(biāo)系，從而實(shí)現(xiàn)機(jī)械臂檢定動作的位姿修正，具有成本較低、適應(yīng)性強(qiáng)等特點(diǎn)。實(shí)驗(yàn)結(jié)果表明，提出的方法定位精度達(dá)到0.5 mm。

注：本文通訊作者為徐志鵬。

參考文獻(xiàn)

[1] 陳贇.我國工業(yè)自動化行業(yè)產(chǎn)業(yè)鏈技術(shù)水平和差距分析及發(fā)展對策[J].科學(xué)發(fā)展，2022（10）：30?36.

[2] 丁博，付秀蓉，宗成龍.探究工業(yè)產(chǎn)業(yè)背景下機(jī)械制造及其自動化的發(fā)展方向[J].內(nèi)燃機(jī)與配件，2021（2）：154?155.

[3] AZARMIPOUR M， HANA R， KLEINERT T. An IT?OT integration concept for flexible process automation： Virtualization of industrial control systems for application in the process industry [J]. at?Automatisierungstechnik， 2023， 71（5）： 403?411.

[4] YANG X， CHEN F， WANG F， et al. Sensor fusion?based teleoperation control of anthropomorphic robotic arm [J]. Biomimetics， 2023， 8（2）： 169.

[5] SIAO C Y， CHEN M H， WANG S Y， et al. Telemedicine medical ultrasonic system based on robotic arm [J]. Sensors and materials， 2022， 34（6）： 2181?2188.

[6] 王稼祥，陳坤勇，江錄春，等.基于視覺引導(dǎo)的航空發(fā)動機(jī)低壓渦輪軸自動化裝配系統(tǒng)研究[J].機(jī)械設(shè)計(jì)與研究，2021，37（3）：94?100.

[7] 張良安，李鵬飛，謝勝龍.雙目結(jié)構(gòu)光視覺引導(dǎo)的螺栓自動裝配系統(tǒng)設(shè)計(jì)[J/OL].計(jì)算機(jī)集成制造系統(tǒng)：1?19[2023?11?02].http：//kns.cnki.net/kcms/detail/11.5946.tp.20230104.1056.005.html.

[8] 董大釗.渦旋式汽車空調(diào)壓縮機(jī)動盤自動裝配系統(tǒng)研究[D].杭州：浙江大學(xué)，2021.

[9] FOGLI D， GARGIONI L， GUIDA G， et al. A hybrid approach to user?oriented programming of collaborative robots [J]. Robotics and computer?integrated manufacturing， 2022， 73： 102234.1?102234.16.

[10] 彭剛，熊超，夏成林，等.一種基于Mark點(diǎn)的點(diǎn)膠機(jī)器人視覺目標(biāo)定位方法[J].智能系統(tǒng)學(xué)報(bào)，2018，13（5）：728?733.

[11] 王耀南，江一鳴，姜嬌，等.機(jī)器人感知與控制關(guān)鍵技術(shù)及其智能制造應(yīng)用[J].自動化學(xué)報(bào)，2023，49（3）：494?513.

[12] 鄭啟強(qiáng).基于視覺引導(dǎo)的工業(yè)機(jī)器人貼標(biāo)系統(tǒng)研究[D].福州：福建工程學(xué)院，2020.

[13] 刁燕，吳晨柯，羅華，等.基于改進(jìn)的概率Hough變換的直線檢測優(yōu)化算法[J].光學(xué)學(xué)報(bào)，2018，38（8）：170?178.

[14] 趙朗月，吳一全.基于機(jī)器視覺的表面缺陷檢測方法研究進(jìn)展[J].儀器儀表學(xué)報(bào)，2022，43（1）：198?219.

作者簡介：趙子惠（1999—），女，黑龍江鶴崗人，碩士，主要研究領(lǐng)域?yàn)閮x器儀表檢定與機(jī)器視覺。

徐志鵬（1982—），男，安徽潛山人，博士，副教授，研究方向?yàn)榫苓\(yùn)動控制、高壓氣動元件及系統(tǒng)。