基于Halcon的機器人視覺標定與應(yīng)用研究

高成 樊易飛 佟維妍

摘? 要： 在機器人視覺伺服領(lǐng)域，視覺標定是一個重要的研究方向，也是當(dāng)前的研究熱點。對軟件標定原理進行說明，建立攝像機坐標系統(tǒng)和機器人世界坐標系統(tǒng)之間的關(guān)系，利用Halcon函數(shù)庫中的算子，充分考慮了機械手的末端中心和鏡頭徑向畸變的影響，提出基于Halcon的優(yōu)化軟件標定方法，實現(xiàn)攝像機內(nèi)外參數(shù)的標定。實驗結(jié)果證明，該方法在X，Y，Z方向的標定精度都較高，標定過程簡單易行，完全適用于工業(yè)機器人的視覺系統(tǒng)標定。

關(guān)鍵詞： 機器人; 視覺標定; Halcon; 攝像機參數(shù); 徑向畸變; 標定精度

中圖分類號： TN876?34; TP24? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）18?0178?04

Abstract： The visual calibration is an important research direction in the field of robot visual servo， and is also one of the current research hotspots. The principle of software calibration is described in detail. The relationship between the camera coordinate system and the robot world coordinate system is established. In consideration of the influences of the terminal center of the robot hand and the radial distortion of the camera lens， an optimized software calibration method based on Halcon is proposed by means of the operator in the function library， and the internal and external parameters of the camera are calibrated. The experimental results show that the method has high calibration accuracy in X， Y and Z axis， and the calibration process is simple and easy. It is suitable for visual system calibration of industrial robots.

Keywords： robot; vision calibration; Halcon; camera parameters; radial distortion; calibration accuracy

0? 引? 言

機器視覺是用計算機模仿生物視覺的科學(xué)和技術(shù)，其發(fā)展與計算機視覺的進步密切相關(guān)[1?3]。近30年，國內(nèi)外學(xué)者在計算機視覺方面進行了大量研究，也取得了重要突破，提出了新的理論和方法，為機器視覺的工業(yè)化奠定了理論基礎(chǔ)。工業(yè)化的發(fā)展對裝配定位精度和自動化水平要求越來越高。基于計算機視覺的工業(yè)機器人定位精度高、成本低、自動化和智能化水平高，機器視覺在定位和裝配領(lǐng)域有廣泛的應(yīng)用[4]。

因為機器視覺的軟件和硬件產(chǎn)品的巨大需求，很多公司開發(fā)了自己的視覺函數(shù)庫，方便用戶編寫應(yīng)用程序。目前，OpenCV，Halcon和LabVIEW等函數(shù)庫在工業(yè)生產(chǎn)應(yīng)用較廣。Halcon是一套完整的標準機器視覺算法軟件包，廣泛應(yīng)用于機器視覺集成開發(fā)環(huán)境。利用Halcon算子，能明顯縮短計算機視覺應(yīng)用系統(tǒng)的開發(fā)周期、降低成本，并促進了機器視覺、醫(yī)學(xué)影像和圖像分析處理的快速發(fā)展。Halcon是歐州和日本工業(yè)界應(yīng)用最廣的機器視覺軟件。機器視覺的核心是圖形算法，圖形算法的不斷進步為機器視覺技術(shù)發(fā)展提供了可靠的理論基礎(chǔ)，為社會生產(chǎn)力提供了強大動力。

當(dāng)前，視覺標定方法大致分為三類：傳統(tǒng)標定法、自標定法和基于主動視覺的標定方法[5]。

1999年，張正友提出了張氏相機標定法，其他大多標定方法都以張氏標定法為基礎(chǔ)進行改進。Otkovic 等用神經(jīng)網(wǎng)絡(luò)方法進行相機標定[6]，Kukelova在標定模型的基礎(chǔ)矩陣表達式上，加了兩個約束條件，提高了相機標定的速度[7]，文獻[8]利用消隱點原理對張氏標定法改進，簡化了張氏標定步驟，實驗證明，相機標定精度也得到了提高。文獻[9]應(yīng)用LabVIEW視覺開發(fā)工具包， 完成畸變校正。文獻[10]利用Halcon和VC++編寫程序，實現(xiàn)了視覺機器人抓取系統(tǒng)。文獻[11]提出一種優(yōu)化的自適應(yīng)攝像機標定方法，將攝像機參數(shù)估計與鏡頭畸變校準分開進行，提高了鏡頭畸變校準的精度，減小了參數(shù)優(yōu)化過程中的變量維數(shù)。文獻[12]基于改進的兩步法攝像機標定方法，對第一步中得到的標定參數(shù)通過非線性優(yōu)化，并求解畸變系數(shù)，用單幅圖像即可完成標定。文獻[13] 將自適應(yīng)和聲搜索算法與攝像機標定過程相結(jié)合，優(yōu)化了標定所得的攝像機內(nèi)參和鏡頭徑向畸變系數(shù)。

以上研究方法是針對不同的應(yīng)用環(huán)境和應(yīng)用要求，各有優(yōu)缺點。本文提出一種適用于工業(yè)現(xiàn)場實際條件的機器視覺標定方法，根據(jù)功能劃分不同的模塊，組成結(jié)構(gòu)完整的系統(tǒng)，包括標定模塊、模板生成模塊、拍照觸發(fā)模塊、圖像采集模塊、圖像處理模塊和數(shù)據(jù)交互模塊。相機標定是利用機器視覺進行精確測量和定位的前提和基礎(chǔ)。

1? 基于Halcon的視覺標定和應(yīng)用

軟件標定就是要建立相機成像的數(shù)學(xué)模型，描述世界坐標系下的目標投影到相機成像平面的過程。軟件標定的最終目標是準確計算包含在模型中相機的內(nèi)外參數(shù)。目標位置在圖像平面坐標系統(tǒng)中以像素表示，標定完成后，目標位置用毫米表示。

利用Halcon函數(shù)庫完成相機標定，實現(xiàn)簡單，結(jié)果可靠。整個標定過程包括制作標定板、參數(shù)設(shè)置、標記點搜索和標定計算。通過正確選擇相應(yīng)算子和設(shè)置參數(shù)，就可完成相機的準確標定，標定流程如圖1所示。

1.1? 標定板制作

Halcon的標定流程所需的對象是方形白底標定板，有m×n個圓形標記點，標定板的一角以三角形標記。原則上，標定板面積約占相機整個視野的[13]。如圖2所示，標定板上標記點的尺寸應(yīng)適當(dāng)，太大會使鄰近標記點間分界不清;太小會使標記點不易分辨。選擇標定板的前提是所有標記點成像清晰，并盡可能多的在標定板上排列。標記點越密集，算法越匹配，相應(yīng)的標定精度越高。

1.2? 標定點搜索

標定過程中，必須在攝像機視野內(nèi)不斷改變標定板的位置，轉(zhuǎn)動標定板的方向，在X軸和Y軸方向傾斜標定板，以檢測透視畸變和鏡頭畸變;同時，不能破壞標定板的表面，在標定結(jié)束時計算出準確的標定參數(shù)。在分割完成的多個區(qū)域中，孔型區(qū)域的個數(shù)與標定板描述文件一致，在圖像中確定出標定板區(qū)域，外圍的矩形輪廓作為標定板所在區(qū)域。為了減少背景噪聲或其他碎片對提取點的影響，本文采用了輪廓篩選方法，不同的是，忽略小于閾值的閉合區(qū)域。標定板區(qū)域搜索結(jié)果如圖3所示。

所有的邊緣將被優(yōu)化到亞像素的精度。將標記點的中心坐標存儲在2個數(shù)組中，所有點的行坐標存儲于RCoord，所有點的列坐標存儲于CCoord，2個數(shù)組維數(shù)必須對應(yīng)于標記點個數(shù)，嚴格按照標定板描述文件中的順序排列。

1.3? 標定計算

標定計算需要進行坐標變換。笛卡爾坐標系是目前應(yīng)用最廣泛、最理想的位置參考系統(tǒng)。在任何空間，坐標系的建立只需選擇原點和坐標軸。

世界坐標系是基礎(chǔ)坐標系，其他坐標系的位姿，都以世界坐標系為參考，有時也被稱為全局坐標系。為了計算簡便，本文所使用的標定算法中，將目標物所在平面中心定義為世界坐標系的原點， X軸和Y軸與成像平面坐標系中Xi軸和Yi軸平行，Z軸與攝像機光軸平行，如圖4所示。

圖中，P（xw，yw，zw）是點P在世界坐標系W下的坐標，P（xc，yc，zc）是在攝像機坐標系C中的坐標，I是攝像機的成像平面。根據(jù)攝像機針孔成像的原理，點P在I的投影為Pi（xi，yi），由于畸變等因素影響，而實際成像于點[P′ix′i，y′i]。

1） 點P在坐標系W與C中的齊次坐標變換關(guān)系為：

式中：t是坐標系W與C的位置平移向量;R是坐標系W與C繞X，Y和Z軸的旋轉(zhuǎn)向量，并且旋轉(zhuǎn)角度由歐拉角[（θ，?，φ）]表示。

2） 將攝像機坐標系C下目標點P的三維坐標P（xc，yc，zc）變換為成像平面I二維坐標系中的坐標Pi（xi，yi）。

式中，f是相機焦距。

3） 世界坐標系W下P點發(fā)出的光通過透鏡中心折射，在成像平面I上沒有成像于點Pi（xi，yi），實際成像于[P′ix′i，y′i]，這就是透鏡的徑向畸變。徑向畸變關(guān)系可以用較簡單的形式表示，如下：

式中，k是測量失真程度的參數(shù)。當(dāng)k=0時，無畸變;k<0時，表示桶形畸變;k>0時，表示枕形畸變。

4） 在成像平面坐標系I中，點P以像素坐標表示，記Pi（r，c）。I中主點Oi坐標以（r0，c0）表示，Py和Px分別表示I中yi方向和xi方向單位像素（pixel）長度，變換關(guān)系為：

目標點的匹配結(jié)果為二維圖像坐標，返回世界坐標也是X和Y方向的二維坐標，Z缺省值為0。因該平面是標定板在標定過程中所處的平面，世界坐標的原點被固定在攝像機拍攝圖像的中心。

2? 試驗結(jié)果及分析

2.1? 試驗標定

實驗中使用的全景攝像機的分辨率是1 024×768，在標定過程中，用Halcon軟件提取圖像中的角點。利用棋盤標定板，選擇7×7標記點的棋盤[12]。每個棋盤的尺寸為30 mm×30 mm，并且從每個圖像中提取6×6個標記點。在不同位置和角度選擇10張圖片。

在Halcon圖像處理軟件中，有許多角點提取算法，如Point_Foerstner，Point_Harris和Point_Lepetit算法，可以提取交叉點，但不能排除標定板邊緣的某些角坐標，且坐標誤差較大。圖5比較了幾種算法的提取結(jié)果。本文利用saddle_points_sub_pix算法提取角點，具有以下特點：

1） 采取亞像素級的數(shù)學(xué)分析，精確提取角點;

2） 利用灰度值函數(shù)的閾值，剔除圖像中灰度值相對均勻的區(qū)域。

主線程和后臺線程的軟件標定流程如圖6所示。

標定開始，首先制作標定板，讀取其描述文件，按下“采集”按鈕，判斷是否是第一次拍攝，如果攝像機內(nèi)部參數(shù)已初始化，則圖像處理標記設(shè)置為“真”。如果拍攝到足夠多的照片，單擊“標定”按鈕，當(dāng)后臺線程存儲足夠多的標記坐標時，開始校準計算，獲取攝像機的內(nèi)外參數(shù)并保存。

對10個圖像的標定結(jié)果的平均誤差進行再平均，不考慮透鏡畸變，平均誤差是0.35 mm。圖7比較了文獻[14?15]算法的標定誤差與本文提出算法的標定誤差，可以看出，本文提出方法的算法標定誤差較小。

2.2? 標定精度

在精度測試中，首先輸入目標對象的模板。將目標物體放置在攝像機視場中的固定位置，通過精確的測量，在攝像機拍攝照片后，匹配數(shù)據(jù)記錄下來。10幅圖像實驗數(shù)據(jù)如表1所示，匹配精度誤差分析直方圖如圖8所示。根據(jù)試驗結(jié)果，在X方向，視覺軟件的測量誤差小于0.35 mm，Y方向小于0.25 mm，Z方向小于0.3 mm，校準的匹配性符合系統(tǒng)的要求。