一種基于VisionMaster的機(jī)器視覺糾偏定位系統(tǒng)應(yīng)用實(shí)現(xiàn)

蔡振浩，宋 勇

（上海思客琦自動(dòng)化工程有限公司智能制造先進(jìn)技術(shù)研究院，上海 201206）

0 引言

中國是一個(gè)制造大國，隨著經(jīng)濟(jì)飛速發(fā)展，傳統(tǒng)制造業(yè)進(jìn)行自動(dòng)化、信息化、智能化的結(jié)構(gòu)調(diào)整和轉(zhuǎn)型升級(jí)已成為行業(yè)發(fā)展共識(shí)[1-2]。只有機(jī)器設(shè)備具備了主動(dòng)感知環(huán)境、產(chǎn)品工藝、操作者水平的變化，主動(dòng)調(diào)整軟件和程序，自動(dòng)適應(yīng)周圍的變化，并根據(jù)這些變化不斷地學(xué)習(xí)和優(yōu)化自己的控制性能才是智能化。機(jī)器視覺是讓機(jī)器設(shè)備具備外界感知能力的一種實(shí)現(xiàn)方式。將機(jī)器視覺、人工智能、5G物聯(lián)網(wǎng)通信等先進(jìn)技術(shù)引入傳統(tǒng)制造業(yè)，提高新能源汽車動(dòng)力電池生產(chǎn)效率，并和MES有機(jī)結(jié)合，從而有效控制并降低各類誤差和生產(chǎn)制造缺陷，推動(dòng)和促進(jìn)新能源生產(chǎn)制造領(lǐng)域的智能制造水平[3-4]。

機(jī)器視覺技術(shù)，就是采用機(jī)器代替人眼來做測(cè)量和判斷，在工業(yè)應(yīng)用領(lǐng)域的主要應(yīng)用有測(cè)量、引導(dǎo)、檢測(cè)、識(shí)別等，涉及通信、計(jì)算機(jī)、信號(hào)處理、人工智能、模式識(shí)別等諸多領(lǐng)域?qū)W科的交叉[5]。機(jī)器視覺系統(tǒng)優(yōu)點(diǎn)有：（1）具有非接觸性；（2）接收光譜范圍較寬，擴(kuò)展了人眼的視覺范圍；（3）可以長時(shí)間不間斷地穩(wěn)定工作。典型的工業(yè)機(jī)器視覺應(yīng)用系統(tǒng)包括：光源、光學(xué)系統(tǒng)、圖像捕捉系統(tǒng)、圖像數(shù)字化模塊、數(shù)字圖像處理模塊、智能判斷決策模塊和機(jī)械執(zhí)行模塊，實(shí)際中用計(jì)算機(jī)來模擬人的視覺功能從客觀事物的圖像中提取信息，進(jìn)行智能后處理，進(jìn)行決策輔助。助力工業(yè)生產(chǎn)柔性化，使生產(chǎn)線更容易適應(yīng)產(chǎn)品的變化。目前機(jī)器視覺技術(shù)在工業(yè)自動(dòng)化領(lǐng)域常見應(yīng)用于測(cè)量、引導(dǎo)、檢測(cè)、識(shí)別等[6]。劉景泰等[7]將機(jī)器視覺應(yīng)用于自動(dòng)裝配系統(tǒng)，解決了某小型產(chǎn)品裝配中的關(guān)鍵問題。劉明周等[8]設(shè)計(jì)了基于機(jī)器視覺的機(jī)械產(chǎn)品裝配系統(tǒng)，用于適應(yīng)不同的裝配任務(wù)。

在黑燈工廠、無人工廠的自動(dòng)化產(chǎn)線中，大量采用基于先進(jìn)機(jī)器視覺算法及機(jī)器人技術(shù)的全自動(dòng)協(xié)作系統(tǒng)，實(shí)現(xiàn)無人值守機(jī)器自主搬運(yùn)、分揀、托舉、存儲(chǔ)等功能，該技術(shù)被廣泛應(yīng)用于物流倉儲(chǔ)、工廠制造等場(chǎng)景，其涉及到的關(guān)鍵技術(shù)有相機(jī)標(biāo)定和糾偏對(duì)位算法[10]。

相機(jī)標(biāo)定方法包括以張正友標(biāo)定法為代表的傳統(tǒng)相機(jī)標(biāo)定法、主動(dòng)視覺相機(jī)標(biāo)定法，以及相機(jī)自標(biāo)定法等，如表1所示。

表1 標(biāo)定方法分類

值得注意的是：（1）Tsai兩步法速度較快，但僅考慮徑向畸變，當(dāng)相機(jī)畸變嚴(yán)重時(shí)，該方法不適用[11]；（2）分層逐步標(biāo)定法是先對(duì)圖像的序列做射影重建，在重建的基礎(chǔ)上進(jìn)行放射標(biāo)定和歐式標(biāo)定，通過非線性優(yōu)化算法求得相機(jī)內(nèi)外參數(shù)，優(yōu)化算法收斂性不確定，在實(shí)際中并不常用。

在先進(jìn)的自動(dòng)化產(chǎn)線中，大量裝配有高精度高性能機(jī)器人，具備高度精準(zhǔn)的空間運(yùn)動(dòng)控制能力。在實(shí)際生產(chǎn)中通過主動(dòng)系統(tǒng)控制相機(jī)做特定運(yùn)動(dòng)，利用控制平臺(tái)控制相機(jī)發(fā)生特定的移動(dòng)拍攝多組圖像，依據(jù)圖像信息和已知位移變化來求解相機(jī)內(nèi)外參數(shù)。本文將主要基于N點(diǎn)標(biāo)定法的主動(dòng)式視覺標(biāo)定方法。

1 定位糾偏應(yīng)用設(shè)計(jì)

根據(jù)機(jī)器人（也指：多關(guān)節(jié)多自由度機(jī)械臂）運(yùn)動(dòng)學(xué)的知識(shí)，機(jī)械臂通過多個(gè)旋轉(zhuǎn)電機(jī)驅(qū)動(dòng)，實(shí)現(xiàn)機(jī)器人末端的可控制定位驅(qū)動(dòng)。機(jī)器人自身是沒有傳感器的，人為在機(jī)器人上或旁安裝相機(jī)，通過使用相機(jī)獲得目標(biāo)坐標(biāo)，從而讓機(jī)器人根據(jù)相機(jī)得到的圖像對(duì)目標(biāo)進(jìn)行操作的方式叫做機(jī)器人視覺。為了使得相機(jī)（亦即機(jī)器人的眼）與機(jī)器人（亦即機(jī)器人的手）坐標(biāo)系之間建立關(guān)系，就必須要對(duì)機(jī)器人與相機(jī)坐標(biāo)系進(jìn)行標(biāo)定，該標(biāo)定過程也就叫做手眼標(biāo)定[12-13]，如圖1所示。

圖1 手眼標(biāo)定示意圖

通常機(jī)器人手眼關(guān)系分為：eye-in-hand以及eye-to-hand兩種。其中eye-in-hand也就是眼在手上，機(jī)器人的視覺系統(tǒng)隨著機(jī)械臂末端運(yùn)動(dòng)；eye-to-hand也就是眼在手旁，機(jī)器人的視覺系統(tǒng)與機(jī)器人基座固定，不會(huì)在世界坐標(biāo)系內(nèi)運(yùn)動(dòng)。對(duì)于eye-in-hand情況，機(jī)器人手眼標(biāo)定即標(biāo)定得到機(jī)器人末端與相機(jī)之間的坐標(biāo)變換關(guān)系；對(duì)于eye-to-hand情況，機(jī)器人手眼標(biāo)定即標(biāo)定得到機(jī)器人基座與相機(jī)之間的坐標(biāo)變換關(guān)系。兩種標(biāo)定方法都將機(jī)器人以及相機(jī)之間的不變量確定了下來，從而建立了兩者的轉(zhuǎn)換矩陣。實(shí)際中，常用9點(diǎn)/12點(diǎn)標(biāo)定法，亦即使用相機(jī)和機(jī)械臂獲得空間中的多組相同點(diǎn)坐標(biāo)值，建立起機(jī)械臂與相機(jī)間的坐標(biāo)變換關(guān)系[14]。

2 機(jī)器視覺軟件系統(tǒng)設(shè)計(jì)

采用機(jī)器視覺系統(tǒng)精確匹配電池模組安裝工件上的特征點(diǎn)與轉(zhuǎn)角，用來計(jì)算來料工件的偏移量，進(jìn)行校正。選用海康威視公司生產(chǎn)的MV-CE120-10GMGC面陣工業(yè)相機(jī)，支持GigE Vision千兆以太網(wǎng)傳輸接口、黑白成像、分辨率4 024×3 036，傳輸幀率9.6 fps。視覺處理軟件采用的是?？低昖isionMaster機(jī)器視覺軟件進(jìn)行項(xiàng)目開發(fā)。VisionMaster是?？低曌灾餮邪l(fā)的視覺開發(fā)平臺(tái)，集成機(jī)器視覺多種算法組件，可快速組合算法，實(shí)踐各種視覺應(yīng)用方案。實(shí)現(xiàn)對(duì)工件或被測(cè)物的查找、測(cè)量、缺陷檢測(cè)等。功能豐富，用戶界面友好。

2.1 標(biāo)定流程

標(biāo)定主要用于確定相機(jī)坐標(biāo)系和機(jī)械臂世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。N點(diǎn)標(biāo)定是通過N點(diǎn)像素坐標(biāo)和物理坐標(biāo)，實(shí)現(xiàn)相機(jī)坐標(biāo)系和執(zhí)行機(jī)構(gòu)物理坐標(biāo)系之間的轉(zhuǎn)換，并生成標(biāo)定文件，要求N≥4。

在標(biāo)定轉(zhuǎn)換模塊中加載該標(biāo)定文件后，可實(shí)現(xiàn)對(duì)被測(cè)物體的像素到物理坐標(biāo)的轉(zhuǎn)換。通常選取9點(diǎn)，即9點(diǎn)標(biāo)定法。標(biāo)定時(shí)，當(dāng)機(jī)構(gòu)旋轉(zhuǎn)軸與圖像定位不共軸時(shí)需要設(shè)置旋轉(zhuǎn)次數(shù)，一般是在9個(gè)標(biāo)定點(diǎn)的基礎(chǔ)上加上3個(gè)旋轉(zhuǎn)點(diǎn)，即為12點(diǎn)標(biāo)定。Δx、Δy是N點(diǎn)標(biāo)定法中，圍繞旋轉(zhuǎn)中心分別沿著x方向和y方向移動(dòng)的位移，實(shí)際中可以保準(zhǔn)特征提取點(diǎn)在相機(jī)視野范圍的基礎(chǔ)上，根據(jù)實(shí)際情況進(jìn)行設(shè)置。N點(diǎn)標(biāo)定法圖例如圖2所示。

圖2 N點(diǎn)標(biāo)定法圖例

基于VisionMaster算法平臺(tái)搭建的處理流程如圖3所示。

圖3 VisionMaster搭建N點(diǎn)標(biāo)定法處理流程

執(zhí)行步驟如表2所示。

表2 VM平臺(tái)實(shí)現(xiàn)相機(jī)N點(diǎn)標(biāo)定流程

點(diǎn)標(biāo)定完成后，點(diǎn)擊按鈕生成標(biāo)定文件。標(biāo)定誤差即重投影誤差（標(biāo)定板上的物理點(diǎn)經(jīng)過標(biāo)定矩陣投影回圖像中，與實(shí)際圖像坐標(biāo)的距離），單位為像素。通常標(biāo)定誤差應(yīng)小于1，對(duì)于比較精確的標(biāo)定板，標(biāo)定誤差可以達(dá)到0.1左右。標(biāo)定旋轉(zhuǎn)誤差單位為度，越小越好，通常應(yīng)小于1。

2.2 生產(chǎn)流程糾偏定位

完成相機(jī)標(biāo)定流程后，會(huì)產(chǎn)生得到標(biāo)定文件。在后繼生產(chǎn)中，可以導(dǎo)入使用該標(biāo)定結(jié)果，相機(jī)視覺測(cè)量新的來料的匹配點(diǎn)的坐標(biāo)值與角度，進(jìn)行糾偏。搭建定位糾偏生產(chǎn)流程如圖4所示。

圖4 VisionMaster定位糾偏生產(chǎn)流程設(shè)計(jì)

其主要步驟如表3所示。

表3 VM平臺(tái)實(shí)現(xiàn)相機(jī)糾偏引導(dǎo)流程

單相機(jī)糾偏定位引導(dǎo)中，相機(jī)一般倒裝并固定在機(jī)臺(tái)上，通過視覺定位引導(dǎo)機(jī)器人糾正來料位置的波動(dòng)，確保對(duì)每個(gè)來料進(jìn)行精組裝。設(shè)計(jì)中使用“單點(diǎn)對(duì)位”是因?yàn)樵撃K考慮了機(jī)器人末端有延展軸，使得操縱點(diǎn)不是法蘭中心導(dǎo)致的不共軸。

3 結(jié)束語

引入機(jī)器視覺、圖像處理等先進(jìn)技術(shù)，提高制造行業(yè)的自動(dòng)化、信息化、智能化水平，提升生產(chǎn)效率，已成為行業(yè)的一種發(fā)展趨勢(shì)。本文針對(duì)新能源汽車動(dòng)力電池生產(chǎn)過程中頻繁常用的引導(dǎo)安裝工序，設(shè)計(jì)了視覺定位糾偏的視覺處理系統(tǒng)。基于VisionMaster軟件平臺(tái)，開發(fā)了自動(dòng)安裝機(jī)器視覺軟件系統(tǒng)，以提高新能源汽車鋰電池的自動(dòng)化產(chǎn)線的自動(dòng)化、智能化程度，極大提高了生產(chǎn)效率。