面向裝配定位的大視場測量系統(tǒng)組合標定方法

王寶俊 張 超 崔海華 姜 濤 傅世強 王鴻熠 吳 凱

2021年中國航天大會專欄

面向裝配定位的大視場測量系統(tǒng)組合標定方法

王寶俊張 超崔海華姜 濤傅世強王鴻熠吳 凱

（1. 南京航空航天大學(xué)智能材料與結(jié)構(gòu)航空科技部級重點實驗室，南京 210016；2.北京航星機器制造有限公司，北京 100013）

針對航天大部件裝配中的定位過程，為解決所使用的視覺系統(tǒng)標定方法復(fù)雜、標定精度低的問題，提出一種平面靶標和一維靶標組合的雙目視覺系統(tǒng)標定方法。該方法結(jié)合單應(yīng)性變換原理，利用小型平面靶標進行組合標定視覺系統(tǒng)內(nèi)參，將內(nèi)參作為輸入，利用一維編碼靶標標定視覺系統(tǒng)外參，在保證內(nèi)外參數(shù)標定精度的基礎(chǔ)上，大大簡化雙目視覺系統(tǒng)實際使用過程中的標定步驟，能夠有效提高標定效率。實際標定實驗結(jié)果表明，雙目視覺系統(tǒng)標定精度可達0.08mm，獲得相機內(nèi)參后可對外參進行在線標定，標定精度和效率均較高。

雙目視覺系統(tǒng)標定；平面靶標；一維編碼靶標；單應(yīng)性變換；歸一化算法

1 引言

在航天大部件裝配過程中由于部件尺寸大、剛性弱、易變形等特性，對其定位引導(dǎo)精度提出了較高要求。視覺方式作為常見的測量檢測、定位引導(dǎo)和精度驗證的手段，因其精度高、操作簡便而廣泛應(yīng)用。視覺系統(tǒng)在使用中，標定是最為基礎(chǔ)和關(guān)鍵的技術(shù)之一，標定的方法和結(jié)果影響著最終的效率和精度。視覺系統(tǒng)標定是指建立圖像像素位置與場景點位置之間的關(guān)系，途徑是根據(jù)相機模型由特征點的圖像坐標和世界坐標求解相機內(nèi)外參數(shù)。

雙目視覺系統(tǒng)作為常見的視覺測量方式，國內(nèi)外學(xué)者已經(jīng)對其標定方法做了大量研究工作。按照是否使用標定物，標定方法可分為主動視覺標定方法和使用標定物的標定方法。主動視覺標定方法需要控制相機按照特定方式移動，難以保證相機運動精度，因此在實際應(yīng)用中難以推廣。使用標定物的標定方法按照標定物的不同又可以分為三維靶標法、平面靶標法和一維靶標法。三維靶標法標定精度高，但其存在自遮擋問題，且制造加工難度大，實際應(yīng)用較為困難；平面靶標法標定精度較高，但問題在于靶標要覆蓋整個視場才能保證標定精度，故靶標尺寸大、標定步驟復(fù)雜；一維靶標法標定精度略低于前兩種方法，但其標定方式靈活高效且成本低，適合在線標定。

針對航天大部件裝配定位的實際環(huán)境與條件，單一的標定方法難以同時滿足高精度高效率的要求。本文提出一種平面靶標和一維靶標組合的雙目視覺系統(tǒng)標定方法，利用小型平面靶標組合構(gòu)造覆蓋相機整個視場的大型平面靶標，進而標定雙目系統(tǒng)內(nèi)參，以內(nèi)參作為輸入，利用一維編碼靶標在線標定外參。實驗表明，該方法在保證雙目視覺系統(tǒng)標定精度的基礎(chǔ)上，能夠有效簡化標定步驟，提高標定效率。

2 雙目視覺系統(tǒng)模型

圖1 雙目視覺模型示意圖

左右相機坐標系之間的相互位置關(guān)系可通過空間轉(zhuǎn)換矩陣表示為：

實際相機成像過程中會存在畸變，一般只考慮徑向和切向畸變。徑向畸變可描述為：

切向畸變可描述為：

3 組合式標定原理

3.1 基于組合式平面靶標的內(nèi)參標定

在利用平面靶標進行相機內(nèi)參標定時，要想獲得高精度的標定結(jié)果，靶標的尺寸需要和測量視場范圍一樣大，而大尺寸的平面靶標設(shè)計制造困難。因此采用將多個小型平面靶標組合構(gòu)造大型靶標的方式進行標定，在保證內(nèi)參標定精度的同時，小型平面靶標制造相對簡單，且成本較低。

圖2 平面靶標組合示意圖

式（9）可改寫為：

上述步驟未考慮鏡頭畸變，同時標定圖像會存在一定噪聲，因此需要進一步采用列文伯格-馬夸爾特算法（Levenberg-Marquardt，LM算法）優(yōu)化相機內(nèi)參。

設(shè)雙目視覺系統(tǒng)共拍攝了張標定圖像，為標定過程中使用的小型平面靶標數(shù)目，分別建立左右相機最優(yōu)化目標函數(shù)：

至此，通過小型平面靶標組合的方式已得到最優(yōu)的左右相機內(nèi)部參數(shù)。由于相機內(nèi)部參數(shù)只與相機本身特性有關(guān)，故認為外界環(huán)境改變不會影響相機內(nèi)參。標定好內(nèi)部參數(shù)后，認為相機內(nèi)參在很長一段時間內(nèi)不會改變。在雙目系統(tǒng)實際使用中，只需進行一次上述相機內(nèi)參標定，后續(xù)使用時只要對雙目系統(tǒng)左右相機外部參數(shù)進行在線標定即可，因此可以簡化實際使用時的標定步驟。

3.2 基于一維靶標的外參標定

已有很多學(xué)者研究利用一維靶標對雙目系統(tǒng)進行標定，其中最關(guān)鍵的步驟是如何通過多組匹配圖像點坐標快速準確地解算相機外參初值。對于這一問題，最經(jīng)典的方法是基于對極幾何原理的八點算法。

3.2.1 傳統(tǒng)八點算法解算基礎(chǔ)矩陣

因此，式（13）可化為與本質(zhì)矩陣有關(guān)的方程。

基礎(chǔ)矩陣和本質(zhì)矩陣都是雙目視覺系統(tǒng)的關(guān)鍵參數(shù)，二者類似。由式（13）或式（15），只要知道多組匹配像點坐標即可解算。一般采用8對匹配像點進行基礎(chǔ)矩陣或本質(zhì)矩陣的求解，即傳統(tǒng)的八點算法。

3.2.2 加權(quán)平移歸一化算法解算基礎(chǔ)矩陣

傳統(tǒng)八點算法是易于實現(xiàn)的線性算法，但其對噪聲數(shù)據(jù)異常敏感，并且求得的解不穩(wěn)定，估計得到的基礎(chǔ)矩陣精度也不高，原因在于八點法在處理時認為每對匹配點對陣的影響都是相同的，但實際上每個點誤差不同，對陣的影響也各不相同。因此，采用一種加權(quán)平移歸一化算法，引入余差作為權(quán)因子，以排除噪聲干擾，使得高精度的匹配點對陣的影響大而低精度的匹配點影響小。

式中：是向量Fp的第個分量。

再對圖像坐標作歸一化處理：

3.2.3 解算外部參數(shù)

奇異值分解得到的只是比例意義上的，還需對其結(jié)合一維靶標長度進行絕對定向。通過一維靶標已知的真實長度和測量所得特征點間比例意義上的距離求解比例系數(shù)，進而最終確定平移向量。

3.2.4 非線性優(yōu)化外部參數(shù)

在相機外參標定過程中由于圖像噪聲的影響會導(dǎo)致最終標定結(jié)果的不準確，因此結(jié)合一維靶標特征點距離約束對相機外參進行LM非線性優(yōu)化，建立最優(yōu)化目標函數(shù)

4 標定實驗與結(jié)果分析

本文提出的算法均已使用C++編程語言完成實現(xiàn)。為驗證所提出的雙目系統(tǒng)平面靶標和一維靶標組合式標定方法的可行性和有效性，對雙目視覺系統(tǒng)進行了標定實驗。

標定實驗環(huán)境和條件如下：雙目視覺系統(tǒng)兩相機采用德國映美精CMOS工業(yè)相機，型號為DMK 33GP031，相機分辨率為2592×1944pixel（5MP），鏡頭焦距為8mm，測量距離約為2m。

對于標定內(nèi)參所用的小型平面靶標，采用如圖4a所示的形式。小型平面靶標正中間的方形編碼標志邊長為75mm，其作用是確定靶標坐標系，同時不同的編碼標志可以區(qū)分不同的小型靶標，以便于組合。靶標上各圓點的半徑為15mm，圓心間距為45mm。將4個小型平面靶標進行組合以覆蓋雙目視覺系統(tǒng)整個視場范圍，如圖4b所示。

圖4 小型平面靶標示意圖

按照這種組合方式在相機視場內(nèi)調(diào)整靶標，獲得不同的位姿關(guān)系，左右相機分別拍攝20張圖像，然后利用本文標定方法標定雙目系統(tǒng)內(nèi)參矩陣，內(nèi)參標定結(jié)果如表1所示。

表1 雙目視覺系統(tǒng)內(nèi)參標定結(jié)果

為驗證內(nèi)參標定精度，對平面靶標上的特征點進行三維重建，統(tǒng)計左右相機20張圖像每張圖像重建出的靶標特征點坐標之間的距離的平均值，并與真值45mm進行比較，比較結(jié)果如圖5所示。

圖5 靶標特征點距離重建結(jié)果

由圖5可以看出，靶標特征點重建精度基本保持在±0.1mm以內(nèi)，可見精度較高。

標定外參所用的一維靶標采用如圖6的形式，一維靶標上粘貼有編碼標志點。相較于傳統(tǒng)圓形標志點，編碼點具有匹配性好、提取精度高、不需要特定匹配算法等優(yōu)點。

圖6 一維靶標示意圖

將一維靶標在雙目視覺系統(tǒng)視場內(nèi)任意擺放20次，獲得左右相機拍攝圖像，利用本文方法標定外參，并與傳統(tǒng)的八點算法進行比較，標定和比較的結(jié)果如表2所示。

表2 雙目視覺系統(tǒng)外參標定結(jié)果

圖7 兩種方法余差結(jié)果比較

為驗證外參標定精度，采用余差作為衡量標準之一，確保減少噪聲對圖像坐標點的干擾，保證本文算法的正確性。本文方法與傳統(tǒng)八點算法在余差上的差異如圖7所示。

由圖7可以看出，兩種方法余差曲線圖趨勢一致，因此可以說明本文方法的正確性。同時由余差數(shù)據(jù)可以明顯看出，本文所計算的余差精度是傳統(tǒng)八點算法的100倍左右。

再將矩陣的條件數(shù)作為衡量標準，判斷估計的基礎(chǔ)矩陣的魯棒性好壞。矩陣的條件數(shù)是對矩陣誤差或不確定度的敏感性的度量，直接反映了矩陣的魯棒性，條件數(shù)越大，矩陣的魯棒性就越差，這時矩陣稱做是病態(tài)的；條件數(shù)越小，矩陣的魯棒性就越好，這時矩陣稱做是良態(tài)的。矩陣的條件數(shù)和范數(shù)有關(guān)，表3顯示了不同范數(shù)下本文算法和傳統(tǒng)八點算法所估計的基礎(chǔ)矩陣的差異。

表3 兩種方法基礎(chǔ)矩陣條件數(shù)比較

從表3可以看出，在不同的范數(shù)下，傳統(tǒng)八點算法所估計出的基礎(chǔ)矩陣條件數(shù)是本文方法的10～10倍，因此本文方法可以有效改善基礎(chǔ)矩陣的條件數(shù)，提高了基礎(chǔ)矩陣的魯棒性。

因此綜合余差和矩陣的條件數(shù)兩種衡量標準，本文的外參標定方法可以有效提高基礎(chǔ)矩陣估計的精度，提高外參結(jié)果的精度。

最后，本文利用標定好的雙目視覺系統(tǒng)觀測小型標準靶標，進一步驗證本文標定方法的準確性和有效性。如圖8所示，每個小型標準靶標兩點之間的距離均為90mm，通過標定好的雙目視覺系統(tǒng)進行測量和三維重建。

圖8 小型標準靶標示意圖

將測量結(jié)果與標準值進行比對，測量結(jié)果如圖9所示。

由圖9分析可知，測量結(jié)果最大誤差為0.179mm，最小誤差為0.011mm，誤差平均值為0.078mm，測量結(jié)果的均方根誤差為=0.081mm。將本文方法與其他文獻或方法進行對比，對比結(jié)果如表4所示。

圖9 小型標準靶標測量結(jié)果

表4 不同標定方法結(jié)果對比

由表4分析可知，本文的組合式標定方法測量誤差均低于其他文獻中的方法，因此說明本文標定方法可以獲得較高的標定精度。

4 結(jié)束語

在航天大部件的裝配定位過程中，視覺系統(tǒng)的標定是最為基礎(chǔ)和關(guān)鍵的技術(shù)之一。本文提出一種平面靶標和一維靶標組合的雙目視覺系統(tǒng)標定方法，利用小型平面靶標進行組合構(gòu)造覆蓋相機整個視場的大型平面靶標，進而標定雙目系統(tǒng)內(nèi)參，利用一維編碼靶標結(jié)合加權(quán)平移歸一化算法標定外參。實驗結(jié)果表明，本文方法能夠在保證雙目視覺系統(tǒng)標定精度的基礎(chǔ)上，有效簡化標定步驟，提升視覺系統(tǒng)的標定效率，可行性與實用性較高。

1 張廣軍. 視覺測量[M]. 北京：科學(xué)出版社，2008：102～103

2 朱嘉，李醒飛，徐穎欣. 攝像機的一種主動視覺標定方法[J]. 光學(xué)學(xué)報，2010，30(5)：1297～1303

3 孫軍華，劉震，張廣軍，等. 基于柔性立體靶標的攝像機標定[J]. 光學(xué)學(xué)報，2009，29(12)：3433～3439

4 王晨，張宗華，丁宇航，等. 基于立體標靶的雙目系統(tǒng)標定研究[J]. 光學(xué)技術(shù)，2020，46(3)：322～329

5 Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (11): 1330～1334

6 Valsamis N, Ilias K, George K, et al. Fully automatic camera calibration using regular planar patterns[J]. Int Arch Photogram Remote Sens Spatial Inf Sci, 2008, 37(B5): 21～26

7 王亮，吳福朝. 基于一維標定物的多攝像機標定[J]. 自動化學(xué)報，2007，33 (3)：225～231

8 楊珍，孫軍華，吳子彥，等. 基于雙一維靶標的攝像機標定方法[J]. 光電子·激光，2010，21(3)：411～414

9 Amini K, Rostami F. A modified two steps Levenberg-Marquardt method for nonlinear equations[J]. Journal of Computational and Applied Mathematics, 2015, 288: 341～350

10 Zhang Zhengyou. Camera calibration with one-dimensional objects.[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(7):892～899

11 周富強，張廣軍，魏振忠，等. 基于未知運動一維靶標的雙目視覺傳感器標定[J]. 機械工程學(xué)報，2006，42(6)：92～96

12 楊景豪，劉巍，劉陽，等. 雙目立體視覺測量系統(tǒng)的標定[J]. 光學(xué)精密工程，2016，24(2)：300～308

13 倪章松，顧藝，柳慶林，等. 大視場雙目立體視覺柔性標定[J]. 光學(xué)精密工程，2017，25(7)：1882～1889

Combined Calibration Method of Large Field of View Measurement System for Assembly Positioning

Wang BaojunZhang ChaoCui HaihuaJiang TaoFu ShiqiangWang HongyiWu Kai

(1. Ministry Level Key Laboratory of Aeronautical Science and Technology for Intelligent Materials and Structures, Nanjing University of Aeronautics and Astronautics, Nanjing 210016;2. Beijing Hangxing Machinery Manufacturing Co., Ltd., Beijing 100013)

A binocular vision system calibration method based on the combination of plane target and one-dimensional target is proposed in this paper for the problems of complex calibration method and low calibration accuracy in the positioning process of aerospace large parts assembly.This method combines the small plane target to calibrate internal parameters of vision system, based on the homography transform principle and taking the internal parameters as the input data, uses one-dimensional coding target to calibrate external parameters of vision system. On the basis of ensuring the calibration accuracy of internal and external parameters, it greatly simplifies the calibration steps in the actual use of binocular vision system, and can effectively improve the calibration efficiency.The experimental results show that the calibration accuracy of the binocular vision system can reach 0.08mm. After obtaining the internal parameters of the camera, the external parameters can be calibrated online, thus the calibration accuracy and efficiency are both high.

calibration of binocular vision system；plane target；one dimensional coded target；homography transformation；normalization algorithm

O439

A

國家重點研發(fā)計劃2019YFB2006100、2019YFB17075001；江蘇高校優(yōu)勢學(xué)科建設(shè)工程資助項目；南京航空航天大學(xué)研究生創(chuàng)新基地（實驗室）開放基金項目kfjj20200108。

王寶俊（1997），碩士，儀器科學(xué)與技術(shù)專業(yè)；研究方向：雙目視覺、三維測量。

2021-04-08