基于激光斑標定的圓柱面上缺陷尺寸測量

張　鈞　盧莉莎　田金文

(華中科技大學自動化學院　武漢　430074)

基于激光斑標定的圓柱面上缺陷尺寸測量

張鈞盧莉莎田金文

(華中科技大學自動化學院武漢430074)

摘要在視頻測量檢查的實際運用中,通常被檢測缺陷位于圓柱面上而非平面。為滿足測量缺陷的精度要求,論文根據(jù)在視頻檢測設備上安裝的激光槍打在缺陷檢查面上的圖像信息和其實際的安裝位置,構(gòu)建了相機標定模型。并沿過圓柱體中心線的平面剖開圓柱面,將對缺陷的測量由三維空間轉(zhuǎn)化到二維空間,從而在平面上求解出缺陷的最小矩形包絡。文章還針對帶缺陷的測量試板對該模型進行結(jié)果驗證,實驗表明利用文中所構(gòu)建的模型所測量缺陷的結(jié)果滿足規(guī)定范圍的精度要求。

關(guān)鍵詞視頻測量; 圓柱面; 激光槍; 相機標定; 測量缺陷

Class NumberTP391

1引言

在視頻測量檢查的實際應用中,傳統(tǒng)的視頻檢查設備和技術(shù)只能夠清晰檢查出設備的缺陷,但對于缺陷的尺寸卻無法精確測量。為此,在視頻檢查設備上安裝激光槍,根據(jù)拍攝的激光槍打在缺陷檢查面上的圖像信息[1]和其實際安裝位置可以構(gòu)建相機標定[2～5]模型;再通過一些常用的邊緣提取方法,如:Canny[6],LiveWire[7～8]等在圖像上提取缺陷輪廓;利用構(gòu)建的相機標定模型可以解算出圖像上缺陷的實際大小。然而在很多實際情況下,要測量的缺陷位于圓柱面上,如大型壓力容器罐壁,而不是平面。若將大型壓力容器罐壁近似簡化為平面來完成這一測量過程,往往滿足不了對測量精度的要求。故本文提出了一種基于激光斑標定的圓柱面上缺陷尺寸測量的方法,直接根據(jù)實際的被檢測圓柱面構(gòu)建相機定標模型,再沿過圓柱體中心線所在的平面剖開圓柱面構(gòu)建測量模型,從而實現(xiàn)對圓柱面上缺陷的測量。

2相機標定

相機標定[2～5]的實質(zhì)是構(gòu)建世界坐標系和像平面坐標系之間的關(guān)系模型,其中涉及到三維空間中的場景在二維相機圖像平面上的成像過程。下面以實際視頻測量應用中的空間模型介紹一下像平面坐標系,像空坐標系和世界坐標系之間的關(guān)系。

2.1像平面坐標系與像空坐標系

以圖像中的第0行第0列的像素所在的位置為原點O1,圖像中列增加的方向為U軸正向,圖像中行增加的方向為V軸正向可構(gòu)建如圖1所示的以像素為單位的像平面坐標系O1-UV,且設相機光軸和成像面的交點(圖像的主點)在該坐標系中的像素坐標為(u0,v0);以圖像的主點為原點O,圖像中列增加的方向為X軸正向,圖像中行增加的方向為Y軸正向可構(gòu)建如圖1所示的以毫米為單位的像平面坐標系O-XY。

對像平面坐標系O-XY中的任意一點P的坐標為(x,y),其對應在像平面坐標系O1-UV中的坐標為(u,v),則

x=(u-u0)gu

y=(v-v0)gv

(1)

其中,gu和gv分別表示相機的水平格網(wǎng)間距和豎直格網(wǎng)間距(格網(wǎng)間距表示圖像上1個像素所對應的物理距離,即單位為毫米/像素)

以相機光心為原點Oc,圖像中列增加的方向為Xc軸正向,圖像中行增加的方向為Yc軸正向,相機光軸上由原點指向被檢面的方向為Zc軸正向可構(gòu)建如圖2所示的以毫米為單位像空坐標系Oc-XcYcZc。

圖1　像平面坐標系

圖2　像空坐標系

假設圖像上的點P在像空坐標系中的坐標為(xc,yc,zc)T,因在實際應用中都采用針孔成像模型作為相機成像模型,則

(2)

其中,f為相機焦距。

由式(1),式(2)可得

(3)

式(3)給出了物點P在像空坐標系中的坐標和物點P所對應像點的像素坐標之間的變換公式。

2.2像平面坐標系與世界坐標系

在拍攝圖像的過程中可以調(diào)整相機的姿態(tài),為簡化模型,調(diào)整相機姿態(tài),使相機光軸與被檢測圓柱面切平面的法向量平行。故可建立與像空坐標系重合的以毫米為單位世界坐標系Ow-XwYwZw。

· 當相機位于圓柱體內(nèi),圓柱面在物理坐標系Ow-XwYwZw中的方程為

[Zw-(d-r)]2+Xw2=r2

(4)

此時

(5)

其中,r為待檢測圓柱體的半徑,d為被檢弧面到相機光心的距離。

· 當相機位于圓柱體外,圓柱面在物理坐標系Ow-XwYwZw中的方程為

[Zw-(d+r)]2+Xw2=r2

(6)

此時

(7)

其中,r為待檢測圓柱體的半徑,d為被檢弧面到相機光心的距離。

下面僅以被檢面為圓柱面內(nèi)側(cè)進行討論,設圖像上的被檢面上的點P在世界坐標系中的坐標為(xw,yw,zw)T,因世界坐標系與像空坐標系重合,則由式(3)和式(5)可得

(8)

(9)

式(8)和式(9)分別給出了物點P在世界坐標系中的坐標和物點P所對應像點的像素坐標之間的相互變換公式。

3缺陷測量

3.1像平面坐標系與測量坐標系

由式(9)可將圖像上提取缺陷的像素坐標轉(zhuǎn)化為其在物理空間中的實際位置,而由于這些缺陷位于圓柱面上,可將對缺陷的測量轉(zhuǎn)換到圓柱體的測量坐標系Om-XmYmZm中,為方便測量坐標系和世界坐標系中的坐標轉(zhuǎn)換按如圖3所示方式構(gòu)建測量坐標系。

圖3　圓柱面測量坐標系示意圖

其中,Om為相機光軸與圓柱中心軸的交點,Xm軸正向,Ym軸正向,Zm軸正向分別與世界坐標系Ow-XwYwZw中Xw軸正向,Yw軸正向,Zw軸正向相同。

則

(10)

由式(9)和式(10)可以得到物點在測量坐標系中的坐標和物點所對應像點的像素坐標之間的如下變換公式:

(11)

3.2測量坐標系三維到二維的轉(zhuǎn)換

在實際應用中,往往需要測量缺陷的最小矩形包絡,而在圓柱面上完成這一測量過程比較困難?？赏ㄟ^將圓柱面沿過其中心線的平面剖開,將對缺陷的測量由三維空間轉(zhuǎn)化為二維空間。

圖4　坐標系XtOtYt示意圖

假設圓柱面上任意一點的坐標為(xm1,ym1,zm1)T,將該圓柱面沿平面YmOmZm剖開會得到一平面,針對該平面創(chuàng)建如圖4所示的坐標系XtOtYt。

假設圓柱面上的點在創(chuàng)建的平面坐標系XtOtYt中的坐標為(xt1,yt1),則有如下的坐標轉(zhuǎn)換關(guān)系:

yt1=ym1

(12)

3.3缺陷測量步驟

由上面的公式推導可得如下缺陷測量的步驟:

1) 已知參數(shù)d,r;

2) 已知第i個激光槍的物理安裝位置(xwi,ywi,0)T;

3) 利用單個閉環(huán)反饋方法提取第i個激光光斑中心所對應的像點的像素坐標(ui,vi);

4) 根據(jù)激光槍的物理安裝位置(xwi,ywi,0)T計算第i個激光光斑在圓柱面上的物理坐標(xwi,ywi,zwi)T;

5) 根據(jù)(ui,vi)和(xwi,ywi,zwi)T,結(jié)合式(8)求解參數(shù)f/gu,f/gv;

6) 利用Canny算法提取圖像中的缺陷邊緣,再結(jié)合式(11)將缺陷邊緣在像平面坐標系中的像素坐標轉(zhuǎn)化為其在測量坐標系中的坐標。

7) 利用式(12)將被檢圓柱面上缺陷區(qū)域的外輪廓點上的物理坐標信息轉(zhuǎn)換為平面坐標系XtOtYt中的信息來獲得缺陷區(qū)域的二維物理尺度測量。

4實驗結(jié)果

利用安裝有四個激光槍的相機對如圖5所示的外徑為497.5mm的測量試板上的缺陷進行測量。

圖5　測量試板缺陷示意圖

圖6　激光槍安裝示意圖

其中缺陷1和缺陷2的尺寸分別為28.5*1.3,1.2*28.5(單位:mm)。

四個激光槍的安裝位置如圖6所示。

按照缺陷測量的步驟對測試試板上的缺陷進行測量,下面以當相機與測試試板之間的距離為300mm時的情況為例進行說明。

1) 獲取含缺陷的圖像信息如圖7;

圖7　含缺陷的圖像

2) 提取圖像上的激光光斑如圖8,并計算其像素坐標見圖9;

圖8　提取激光光斑后的結(jié)果圖像

圖9　提取激光光斑的像素坐標

3) 根據(jù)激光光斑的像素坐標及激光槍安裝的位置坐標確定相機標定模型參數(shù);

4) 利用Canny或LiveWire算法提取測量試板上的缺陷輪廓見圖10;

圖10　提取缺陷輪廓后的結(jié)果圖像

5) 利用測量模型分別計算出缺陷1,缺陷2的最小矩形包絡。

圖11　缺陷的最小矩形包絡

調(diào)整相機與測量試板之間的距離,使其分別為400mm,500mm,按照如上的測量步驟對測量試板上的缺陷進行測量,測量結(jié)果如表1所示。

表1　缺陷測量結(jié)果(單位:mm)

因缺陷1和缺陷2的實際尺寸分別為28.5*1.3,1.2*28.5(單位:mm),由表1可得如表2所示的測量結(jié)果誤差表。

表2　缺陷測量誤差(單位:mm)

5結(jié)語

為了滿足在視頻測量檢查的實際應用中,對壓力容器罐壁上缺陷測量的精度要求,本文提出了一種基于激光光斑標定的圓柱面上缺陷尺寸測量的方法。首先利用安裝激光槍的相機獲取含缺陷的圖像,再提取激光槍打在待檢測圓柱面上激光光斑在圖像中的像素坐標,由此可以根據(jù)拍攝的激光槍打在缺陷檢查面上的圖像信息和其實際安裝位置構(gòu)建相機標定模型;然后通過一些常用的邊緣提取方法在圖像上提取缺陷輪廓,再利用所構(gòu)建的相機標定模型和測量模型測量出缺陷的最小矩形包絡;最后通過測量測量試板上的缺陷尺寸對本文提出方法的正確性進行了驗證,實驗結(jié)果表明采用文中提出的方法,當缺陷尺寸小于1.5mm時,測量精度為0.2mm;當缺陷尺寸大于25mm時,測量精度為1.0mm。

參 考 文 獻

[1] Jun Zhang, Dandan Tian, Xiaomao Liu, et al. Laser beam based calibration[C]//Proc. SPIE 8004, MIPPR 2011: Pattern Recognition and Computer Vision, 80040T (December 02, 2011).

[2] 馬頌德,張正友.計算機視覺[M].北京:科學出版社,1997:46-49.

MA Songde, ZHANG Zhengyou. Computer Vision[M]. Beijing: Science Press,1997:46-49.

[3] 張廣軍.機器視覺[M].北京:科學出版社,2006:103-104.

ZHANG Guangjun. Machine Vision[M]. Beijing: Science Press,2006:103-104.

[4] 胡國元,何平安,等.視覺測量中的相機標定問題[J].光學與光電技術(shù),2004(3):9-12.

HU Guoyuan, HE Pingan, et al. Camera calibration problem in visual measurement[J]. Optics and Optoelectronic Technology,2004(3):9-12.

[5] 吳文琪,孫增圻.機器視覺中的攝像機定標方法綜述[J].計算機應用研究,2004(2):4-6.

WU Wenqi, SUN Zengqi. A survey of camera calibration methods in machine vision[J]. Computer Application Research,2004(2):4-6.

[6] Canny J. A computational approach to edge detection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[7] Jianwu Dang, Fang Zhang. Research and improvement of Live-Wire interactive algorithm for medical image segmentation[J]. Application Reasearch of Computers,2008,25(8):915-917.

[8] Jun Zhang, Rong Yang, Xiaomao Liu, et al. Livewire based single still image Segmentation[C]//Proc. SPIE. 8002, MIPPR 2011: Multispectral Image Acquisition, Processing, and Analysis, 80021M. (November 20, 2011).

Defect Measurement on Cylinder Based on Laser Beam Calibration

ZHANG JunLU LishaTIAN Jinwen

(School of Automation, Huazhong University of Science and Technology, Wuhan430074)

AbstractIn practical application of the video measurement, the defect is usually located on the cylinder instead of the plane. To satisfy accuracy requirements, camera calibration model is constructed, using image, with laser spots in defect inspection surface, and installation positions of laser guns. Then, cylindrical surface along its center line is spilted, transforming defect measurement from three-dimensional space to two-dimensional space, and defects’ smallest rectangle envelopes in the place is solved. In addition, using test plate with defects verified model. The result indicates that defect measurement can meet accuracy requirements through this method.

Key Wordsvideo measurement, cylinder, laser, camera calibration, defect measurement

收稿日期:2015年12月12日,修回日期:2016年1月24日

作者簡介:張鈞,男,博士,副教授,研究方向:機器視覺與機器學習。盧莉莎,女,碩士,研究方向:計算機視覺與模式識別。田金文,男,博士,教授,研究方向:遙感圖像信息處理。

中圖分類號TP391

DOI:10.3969/j.issn.1672-9722.2016.06.037