線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化標定*

王金橋,段發(fā)階,伯 恩,劉博文,馮 帆

(天津大學精密測試技術(shù)及儀器國家重點實驗室,天津 300072)

?

線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化標定*

王金橋,段發(fā)階*,伯 恩,劉博文,馮 帆

(天津大學精密測試技術(shù)及儀器國家重點實驗室,天津 300072)

為了精確快捷地標定線結(jié)構(gòu)光掃描傳感器的結(jié)構(gòu)參數(shù),提出了一種線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化現(xiàn)場標定的新方法,建立了線結(jié)構(gòu)光掃描傳感器的數(shù)學模型,根據(jù)張正友攝像機標定思想結(jié)合L-M非線性優(yōu)化算法能快速精確地完成攝像機內(nèi)外參數(shù)的標定,在此基礎(chǔ)上,引入輔助線激光,通過反復多次提取兩激光交點完成對線結(jié)構(gòu)光平面精確標定。文章還介紹了如何獲取激光交點以及精確提取交點坐標的方法,通過設(shè)計相關(guān)實驗驗證了本文方法的可行性,使系統(tǒng)精度優(yōu)于24 μm,能滿足實際測量要求。

線結(jié)構(gòu)光;攝像機標定;光條中心提取;光平面標定

隨著工業(yè)生產(chǎn)對非接觸式測量需求日益增加,對檢測的效率和精度也提出了越來來高的標準。線結(jié)構(gòu)光掃描測量是一種基于激光三角法的先進的三維檢測技術(shù),它具有測量范圍廣、效率高、便于操作以及精度適中的優(yōu)點,在工業(yè)測量領(lǐng)域中有著廣闊的應(yīng)用前景[1-2]。線結(jié)構(gòu)光掃描測量的核心技術(shù)就在于系統(tǒng)標定算法的性能,其中主要包含三方面算法:攝像機內(nèi)外參數(shù)標定算法、光條中心提取算法、線結(jié)構(gòu)光平面標定算法。攝像機標定是視覺測量的基礎(chǔ),常規(guī)的標定算法已經(jīng)比較成熟,大部分研究集中在根據(jù)實際應(yīng)用場合不同而對現(xiàn)有標定技術(shù)的改進[3-4]。光條中心的提取算法根據(jù)系統(tǒng)設(shè)計參數(shù)的不同實際效果會有很大差異,要滿足線結(jié)構(gòu)光掃描系統(tǒng)實時在線測量的要求,同時又要保證較高的精度,對光條中心的提取算法就提出了更高的要求,目前大部分算法只能滿足速度和精度的其中一個方面,所以在現(xiàn)有技術(shù)基礎(chǔ)上加以整合改進兼顧速度和精度,是線結(jié)構(gòu)光掃描測量必須解決的難題[5-6]。光平面標定方法根據(jù)靶標的不同分為三維標定[7]和二維標定[8]2種類型,三維標定方法具有一定的精度,但由于三維靶標制作成本和工藝要求較高,應(yīng)用場合受到一定限制;二維標定方法的靶標制作簡單、效率高,并且隨著二維標定算法的不斷完善,標定的精度也往往能滿足不同場合測量需要,有著廣泛的應(yīng)用前景。目前,國內(nèi)對這些算法的研究大多集中在對單一方面的某些性能的研究,綜合三方面算法而對系統(tǒng)標定算法的研究較少[9-12]。

本文在此基礎(chǔ)上,根據(jù)實際測量要求,對線結(jié)構(gòu)光掃描測量系統(tǒng)各方面技術(shù)做了大量的研究測試,提出了一套能滿足線結(jié)構(gòu)光測量高標準的系統(tǒng)方案,并從原理和實驗2個角度驗證了系統(tǒng)標定方法的高效和高精度的特性。文章在攝像機標定上采用文獻[13]的思想結(jié)合LM非線性優(yōu)化算法有效標定攝像機內(nèi)外參數(shù),利用文獻[8]中在光條中心提取時加入直線性約束結(jié)合文獻[14]的方法能快速準確提取光條中心線,提出了基于二維棋盤格的光平面標定方法,引入輔助激光,通過準確提取雙激光條交點坐標來精確標定光平面在攝像機坐標系下的方程。由于這三方面的算法是緊密相連的,要保證系統(tǒng)的整體精度必須確保各方面算法的精度,文章通過設(shè)計相關(guān)實驗驗證各算法的可行性,以及系統(tǒng)的整體精度。

圖1 線結(jié)構(gòu)光掃描傳感器工作原理

1 線結(jié)構(gòu)光掃描傳感器系統(tǒng)模型

在線結(jié)構(gòu)光視覺傳感器系統(tǒng)中,激光器將激光投射到平面標定板上,形成一高亮激光條,通過提取光條中心,準確獲取光條中心點在圖像坐標系下的坐標,通過攝像機投影模型轉(zhuǎn)換到攝像機坐標系下的坐標。由于激光器與攝像機之間的空間位置關(guān)系是固定的,通過光平面標定我們可以知道線結(jié)構(gòu)光平面在攝像機坐標系下的平面方程,二維靶標上的線結(jié)構(gòu)光條是激光平面與靶標面的交線,結(jié)合光條中心點在攝像機坐標下的坐標,從而獲取某一時刻光條中心線所在平面處在攝像機坐標系下的坐標,當傳感器以非固定的速率向一個方向移動時,線結(jié)構(gòu)光光條會掃描靶標平面,同時攝像機以一定的采樣頻率獲取任意時刻光條中心所在靶標位置,將攝像機采集到的各幀圖像光條中心位置拼合,形成離散化的點云數(shù)據(jù),再經(jīng)過適當處理,從而實現(xiàn)了線結(jié)構(gòu)光視覺傳感器的掃描測量功能。圖1表示本文所設(shè)計的線結(jié)構(gòu)光視覺傳感器系統(tǒng)工作原理圖。

1.1 攝像機投影模型

(1)

(2)

(3)

(4)

如上所示,以P點為例,式(1)表示攝像機坐標系與世界坐標系之間的投影轉(zhuǎn)換關(guān)系,即攝像機外部參數(shù)模型;式(2)表示像素坐標系下的投影點p″與世界坐標系轉(zhuǎn)換;式(3)表示攝像機內(nèi)部參數(shù)標定模型;式(4)表示攝像機畸變模型。R、T分別是旋轉(zhuǎn)平移矩陣;s是比例因子,與攝像機相對靶標位置有關(guān);fx、fy、u0、v0表示攝像機內(nèi)參;k1、k2表示攝像機徑向畸變系數(shù),p1、p2表示切向畸變系數(shù)。本文基于文獻[10]攝像機標定方法,采用11×12的棋盤格作為標定板,每個方格的尺寸為6 mm×6 mm,利用棋盤格角點作為特征點,在不考慮畸變模型的情況下利用最小二乘法求解,再將包含畸變參數(shù)在內(nèi)的所有參數(shù)作為初始值放到LM非線性優(yōu)化算法中進行優(yōu)化,得到最終的所有優(yōu)化解,算法中的目標函數(shù)為:

(5)

其中:mij→(u,v);M→(xw,yw)。

1.2 線結(jié)構(gòu)光平面標定

光平面標定的模型參數(shù)主要包括攝像機內(nèi)部參數(shù)和光平面與攝像機之間的相對位置關(guān)系,在1.1中筆者已經(jīng)完成對攝像機內(nèi)參數(shù)的標定,而光平面與攝像機之間的位置關(guān)系實際上是光平面在攝像機坐標系下的方程,并設(shè)方程為:

zC=AxC+ByC+C

(6)

因此,要完成線結(jié)構(gòu)光平面的標定只要確定系數(shù)A、B、C即可。從1.1中推理可知,式(1)和式(2)就是激光器光平面標定的數(shù)學模型,通過這2個式子可以得到激光光條上的點在攝像機坐標系下的坐標,即要由(u,v)得到對應(yīng)的(XC,YC,ZC),雖然式(3)表示出了上面2種坐標的轉(zhuǎn)換關(guān)系,但是對于比例系數(shù)s是未知的,所以我們需要(XW,YW)來做一個中間的轉(zhuǎn)換,即先由(u,v)根據(jù)式(2)得到(XW,YW),再由(XW,YW)根據(jù)式(1)得到(XC,YC,ZC)。

圖2 光平面標定系統(tǒng)示意圖

為了使整個標定過程盡可能簡便,筆者采用與攝像機標定同時進行,如上圖2所示,激光器Ⅰ與攝像機集成在測頭中,測頭與上位機相連可實時觀測圖像質(zhì)量,激光器Ⅱ可調(diào)整角度自由移動。通過引入輔助激光條Ⅱ與原激光條Ⅰ相交,精確提取交點坐標,保持靶標位置不動,改變激光Ⅱ投射位置,反復進行多次,這樣就可以獲得同一靶標姿態(tài)下多個雙激光交點坐標,再改變一下靶標位置,重復上述過程,這樣就獲得靶標在不同姿態(tài)下的多組雙激光交點。

1.3 激光交點的精確提取

由以上分析可知,要保證光平面標定精度,關(guān)鍵在于準確獲取兩激光交點坐標,筆者采用先分別提取兩激光條的中心,擬合兩條直線方程,通過求解兩直線交點來獲取特征點坐標。因此問題的關(guān)鍵在于如何精確提取光條中心。

目前國內(nèi)外學者提出的光條中心提取方法有很多,但結(jié)合筆者設(shè)計的線結(jié)構(gòu)光掃描測頭對測量速度和精度實際需要(速度50幀/s,精度優(yōu)于30 μm),并且考慮到系統(tǒng)在測量時受到環(huán)境光、材質(zhì)、背景色以及被掃描工件表面三維形貌調(diào)制影響,大部分算法不是提取精度不夠高就是響應(yīng)時間太長,不能滿足工程實際需要。本文采用文獻[8]中提出的在光條中心點鏈接階段加入直線性約束的思想,結(jié)合文獻[14]分別提取激光Ⅰ與激光Ⅱ的光條中心,擬合直線方程求交點,從而獲得兩激光交點的精確坐標值。如圖3所示,為實驗過程中采集的不同角度激光交線圖樣。

值得注意的是,如果直接提取兩激光條中心,由于相互干擾且交點處誤差最大,這樣提取的交點坐標誤差會非常大,所以筆者采用的方法是先求取激光條L1的中心線,然后關(guān)閉激光器Ⅰ,打開激光器Ⅱ,并求取激光條L2的中心線,計算兩條中心線的交點。如圖4是對圖3c姿態(tài)下分別提取的光條中心圖樣。

圖3 雙激光交點獲取

圖4 雙激光交點提取過程

2 實驗部分

實驗中,攝像機采用型號為MU3E200M(EGYYO)USB3.0工業(yè)相機,像素分辨率1600x1200,像元尺寸4.5 μm×4.5 μm,鏡頭采用日本的Computer 8 mm鏡頭,激光器波長635 nm,功率5 mW。定制的11×12陶瓷棋盤格,每格標準長度6 mm,精度為1 μm,系統(tǒng)結(jié)構(gòu)如圖5所示。

圖5 系統(tǒng)實驗

2.1 攝像機標定

本文利用基于張正友標定原理和L-M非線性優(yōu)化算法的方法標定的攝像機內(nèi)外參數(shù)結(jié)果如表1所示,再結(jié)合式(4)完成對攝像機的畸變校正。

2.2 光平面標定

按照上文所述的方法固定安裝好實驗各部分,調(diào)整好實驗裝置后,在不打開激光的情況下拍攝1幅棋盤圖像,保持各部分不動,根據(jù)上述已經(jīng)完成的攝像機標定可以得到棋盤在攝像機坐標系下的投影關(guān)系。打開激光器Ⅰ,利用本文算法獲取激光條L1的中心線,關(guān)閉激光器Ⅰ,打開激光器Ⅱ,同理獲取激光條L2的中心線,并計算兩中心線交點坐標,再調(diào)整激光器Ⅱ,得到一組交點坐標,再移動棋盤位置,重復以上步驟,最終獲取棋盤在12個位姿下的共計96個點的攝像機坐標系下的坐標。表2列出了其中一組數(shù)據(jù)分別在圖像坐標系和攝像機坐標系下的不同值。

表1 攝像機內(nèi)參數(shù)及畸變系數(shù)標定結(jié)果

表2 標定特征點在2個不同坐標系下的坐標值

圖6 光平面標定結(jié)果分析

對獲取得到的96個點進行平面擬合,得激光器光平面在攝像機坐標系下的平面方程為:

zC=2.0975xC-0.0521yC+210.0125

圖6(a)為利用實測值擬合的激光平面,圖6(b)為所有特征點到擬合光平面上的距離,所有點到光平面的平均距離為0.026 mm,具有較高精度。

2.2 系統(tǒng)精度驗證

為驗證系統(tǒng)精度,設(shè)計如下實驗,基本原理是在光平面內(nèi)測量棋盤格的尺寸。通過攝像機獲取棋盤圖像并提取棋盤的所有角點,根據(jù)每一行的角點的坐標進行直線擬合,如下圖中的Fit line 1。打開激光器,在棋盤上投射出一條激光光條出來,取激光光條上的一串點進行光條直線擬合,如下圖中的Fit Laser center line。Fit Laser center line與Fit Line 1是垂直的,其垂直度可根據(jù)兩條直線的斜率來判斷。實驗情況下計算的兩者的角度在89.76°,基本滿足垂直條件。計算Fit Laserline與Fit Line 1的交點A,同樣方法求出Fit Laserline與Fit Line 2的交點B,以此類推?？梢詮挠杀疚姆椒硕ǖ臄z像機直接讀出各點在攝像機坐標系下的三維坐標,再計算出AB、BC、CD…長度。棋盤格標準規(guī)格是6 mm(精度1μ),將實際測得的長度與標準長度比較。原理圖如下圖7所示:a表示實驗原理示意圖,b為實際擬合出交點坐標。

圖7 系統(tǒng)精度驗證實驗

在不同姿態(tài)下反復進行10次試驗,試驗結(jié)果統(tǒng)計如下表3所示。從表中可知,系統(tǒng)精度優(yōu)于24 μm。

表3 系統(tǒng)精度實驗結(jié)果分析

3 總結(jié)

文章提出了一種線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化現(xiàn)場標定的新方法,建立了線結(jié)構(gòu)光掃描傳感器的數(shù)學模型,根據(jù)張正友攝像機標定思想結(jié)合LM優(yōu)化算法能快速精確地完成攝像機內(nèi)外參數(shù)的標定,在此基礎(chǔ)上,引入輔助線激光,通過反復多次提取兩激光交點來實現(xiàn)線結(jié)構(gòu)光平面準確標定。本文綜合三方面算法完成線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化標定,并從實驗的角度論證了算法的可行性,使系統(tǒng)精度優(yōu)于24 μm,能滿足實際測量要求。

[1] 孫長庫. 激光測量技術(shù)[M]. 天津:天津大學出版社,2008:155-156.

[2]Seokbae S,Hyunpung P,Kuanh H L. Automated Laser Scanning System for Reverse Engineering and Inspection[J]. International Journal of Machine Tools and Manufacture,2002,42(8):889-897.

[3]劉濤,賈剛,王宗義. 一種基于運動的線結(jié)構(gòu)光視覺測量系統(tǒng)標定方法[J]. 傳感技術(shù)學報,2011,24(4):624-628.

[4]Jorge Santolaria,Juan-Jose Aguilar. A Crenellated-Target-Based Calibration Method for Laser Triangulation Sensors Integration in Articulated Measurement Arms[J]. Robotics and Computer-Integrated Manufacturing,2011,27:282-291.

[5]Zhou F,Zhang G. Complete Calibration of a Structured-Light Strip Vision Sensor Through Planar of Unknown Orientations[J]. Image and Vision Computing,2005,(23):59-67.

[6]Wu B,Xue T,Zhang T,et al. A Novel Method for Round Steel Measurement with a Multi-Line Structured Light Vision Sensor[J]. Measurement Science and Technology,2010,21(2):025204-025209.

[7]段發(fā)階,劉鳳梅,葉聲華. 一種新型線結(jié)構(gòu)光傳感器結(jié)構(gòu)參數(shù)標定方法[J]. 儀器儀表學報,2000. 21(1):108-110.

[8]劉震,張廣軍. 一種高精度線結(jié)構(gòu)光傳感器視覺傳感器現(xiàn)場標定方法[J]. 光學學報,2009,29(11):3124-3128.

[9]Nick Van Gestel,Steven Cuypers,Philip Bleys. A Performance Evaluation Test for Laser Line Scanner on CMMS[J]. Optical and Lasers in Engineering,2009,(47):336-342.

[10]吳慶華,何濤,史鐵林. 一種基于平面標靶的線結(jié)構(gòu)光視覺傳感器標定方法[J]. 光電子·激光,2013,24(2):297-301.

[11]許麗,張之江. 基于共面靶標的結(jié)構(gòu)光標定方法[J]. 光電子·激光,2009,20(8):1063-1069.

[12]張超,段發(fā)階,董宇青,等. 自動編程器視覺定位算法研究[J]. 傳感技術(shù)學報,2011,24(3):382-385.

[13]Zhang Zhengyou. A Flexible New Technique for Camera Calibration[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[14]趙博華,王伯雄,楊博淙,等. 混合反射特性表面形貌測量中光刀條紋的提取方法[J]. 清華大學學報(自然科學版),2011,51(8):1084-1088.

王金橋(1989-),男,廣西桂林人,碩士研究生,主要研究方向為計算機視覺檢測,jqw@tju.edu.cn;

段發(fā)階(1968-),男,湖南郴州人,博導,教授,主要從事測試計量技術(shù)及儀器,激光測試技術(shù),計算機視覺檢測技術(shù)和光纖傳感技術(shù)等方面研究,fjduan@tju.edu.cn。

CalibrationofLineStructuredLightScanningSensorStructureParameterIntegration*

WANGJinqiao,DUANFajie*,BOEn,LIUBowen,FENGFan

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

In order to mark line structured light scanning sensor structure parameters accurately,this paper presents a new method for the integration structure parameters calibration of line structure light scanning sensor and establishes the mathematical model of line structured light scanning sensor. According to the Zhang Zhengyou camera calibration based L-M algorithm,this algorithm can complete the intrinsic and extrinsic parameters of the camera quickly and accurately. On this basis,author introduces auxiliary line laser and extracts two laser intersection to finish lines structure light plane calibration repeatedly. This paper also introduces the method of obtaining the laser point and accurately extracting the intersection point coordinate. Relevant experimental results verify the feasibility of this method. The system accuracy is better than 24 μm,meeting the requirement of actual measurement.

line structure light;calibration of camera;extraction of light center;calibration of light plane

項目來源:國家“863”計劃項目(2013AA102402);國家自然基金項目(51275349)

2014-06-06修改日期:2014-07-22

10.3969/j.issn.1004-1699.2014.09.009

TP391

:A

:1004-1699(2014)09-1196-06