基于多視約束的軌道車輛零件快速三維測(cè)量技術(shù)

敖　平，王國(guó)平，楊曉云，鐘　凱

(南車南京浦鎮(zhèn)車輛有限公司，江蘇 南京 210032)

?

基于多視約束的軌道車輛零件快速三維測(cè)量技術(shù)

敖平，王國(guó)平，楊曉云，鐘凱

(南車南京浦鎮(zhèn)車輛有限公司，江蘇 南京 210032)

摘要：隨著軌道交通行業(yè)的發(fā)展，對(duì)軌道車輛的制造要求越來(lái)越高。軌道車輛內(nèi)飾件裝配是軌道車輛生產(chǎn)的重要質(zhì)量控制項(xiàng)點(diǎn)。采用基于多視相移框架的結(jié)構(gòu)光快速三維測(cè)量技術(shù)，可以將多視約束與相移原理有機(jī)結(jié)合，解相完成后每個(gè)像素可以獨(dú)立地進(jìn)行立體匹配與三維重構(gòu)，無(wú)需相位展開(kāi)過(guò)程，從而快速重構(gòu)出密集三維輪廓數(shù)據(jù)。相比現(xiàn)有的結(jié)構(gòu)光測(cè)量技術(shù)，該方法使測(cè)量速度與相機(jī)圖像采集的速度一致，能實(shí)現(xiàn)任意復(fù)雜形狀物體的全時(shí)間分辨率、全空間分辨率的快速三維測(cè)量。

關(guān)鍵詞：車輛內(nèi)飾測(cè)量；機(jī)器視覺(jué)；三視張量

軌道車輛內(nèi)飾件的裝配控制水平綜合反映了軌道車輛產(chǎn)品開(kāi)發(fā)和質(zhì)量控制水平，已成為軌道交通車輛制造企業(yè)關(guān)注的焦點(diǎn)。意大利的Spanesi公司、瑞典的Caroliner公司利用激光、紅外線掃描技術(shù)等實(shí)現(xiàn)對(duì)汽車車身三維尺寸的測(cè)量，滿足了現(xiàn)代汽車維修業(yè)對(duì)檢測(cè)技術(shù)的新要求。對(duì)于智能掃描測(cè)量應(yīng)用于軌道車輛車體生產(chǎn)中的新技術(shù)，國(guó)內(nèi)還比較少。研究車體空間尺寸自動(dòng)化檢測(cè)，對(duì)于車體內(nèi)飾的裝配誤差檢測(cè)有著重要意義——能夠直觀地顯示配件或車體的誤差，從而提高裝配效率。

在對(duì)軌道車輛內(nèi)飾測(cè)量的過(guò)程中，采用的是手持設(shè)備，考慮到測(cè)量過(guò)程中可能發(fā)生手的抖動(dòng)、需要測(cè)量不連續(xù)復(fù)雜曲面的物體以及需要高的測(cè)量效率等因素，本文提出一種基于多視相移框架的動(dòng)態(tài)三維測(cè)量技術(shù)。該技術(shù)可以將多視約束與相移原理有機(jī)結(jié)合，無(wú)需相位展開(kāi)過(guò)程，大大節(jié)約了時(shí)間，且可測(cè)量不連續(xù)物體。而保證這一方法穩(wěn)定實(shí)施的關(guān)鍵在于相位主值圖中快速、穩(wěn)定地查找匹配點(diǎn)。為此，本文提出一種基于三視張量的立體匹配方法，該方法能使圖像中每個(gè)像素獨(dú)立計(jì)算匹配點(diǎn)。

1基于三視張量的立體匹配方法

1.1結(jié)構(gòu)光快速三維測(cè)量技術(shù)

采用基于相位輪廓術(shù)的三維測(cè)量方法，在軌道車輛內(nèi)飾的測(cè)量過(guò)程中[1]采用了快速三維測(cè)量技術(shù)?？焖偃S測(cè)量技術(shù)流程如圖1所示。

圖1　動(dòng)態(tài)三維面形測(cè)量技術(shù)流程圖

測(cè)量系統(tǒng)主要由1個(gè)數(shù)字光學(xué)(Digital Light Processing，DLP)投影儀和2個(gè)相機(jī)組成。由于光路的可逆性，DLP投影儀投射的圖片即可當(dāng)作拍攝的圖片[2]，DLP投影儀可以當(dāng)作相機(jī)來(lái)對(duì)待，從而與2個(gè)相機(jī)共同組成三目立體視覺(jué)系統(tǒng)。

測(cè)量時(shí)，DLP投影儀循環(huán)地投射出具有2π/3相移的3幅正弦光柵條紋圖像，由2個(gè)相機(jī)同步采集經(jīng)物體表面調(diào)制變形的條紋圖像。在連續(xù)采集數(shù)據(jù)流中，任意相鄰的3幅圖像都可以計(jì)算出1幅相位主值圖，并且在無(wú)需相位展開(kāi)的情況下，相機(jī)1圖像中的每一個(gè)像素均能獨(dú)立求解相機(jī)2圖像中對(duì)應(yīng)點(diǎn)，從而完成三維坐標(biāo)的計(jì)算。因此，該系統(tǒng)的測(cè)量速度與相機(jī)圖像采集速度一致，能實(shí)現(xiàn)任意復(fù)雜形狀物體的全時(shí)間分辨率、全空間分辨率的動(dòng)態(tài)三維面形測(cè)量。

系統(tǒng)中正弦光柵圖像可表示為：

I1(x,y)=I′(x,y)+I″(x,y)cos[φ(x,y)]

(1)

(2)

(3)

式中，(x,y)為圖像的像素坐標(biāo)；I′(x,y)為直流分量；I″(x,y)為一次諧波分量；φ(x,y)為相位值。根據(jù)相移計(jì)算式1可求解出相位主值：

(4)

同時(shí)，也可以推導(dǎo)出直流分量I′(x,y)和一次諧波分量I″(x,y)：

(5)

(6)

I′(x,y)可以當(dāng)作紋理圖，I″(x,y)可以當(dāng)作質(zhì)量模板圖去除背景[3]。根據(jù)式4，相位主值φ(x,y)的值域?yàn)閇-π, π]。在圖像匹配過(guò)程中，為了消除誤匹配，應(yīng)將相位主值展開(kāi)為絕對(duì)相位值φ(x,y)：

φ(x,y)=φ(x,y)+2kπ

(7)

式中，k為光柵周期數(shù)。

針對(duì)這一問(wèn)題，S. Zhong[4]與J. T. Xi均提出了空間相位展開(kāi)算法，但由于空間相位展開(kāi)算法依賴于鄰近領(lǐng)域相位值，導(dǎo)致無(wú)法測(cè)量不連續(xù)物體。為了實(shí)現(xiàn)任意復(fù)雜形狀三維測(cè)量，S. Zhong等針對(duì)相位展開(kāi)問(wèn)題進(jìn)行了大量的研究，提出了二維編碼[6]、多頻圖像[7]、復(fù)合相移[8]和相位編碼[9]等多個(gè)方法來(lái)實(shí)現(xiàn)每個(gè)像素獨(dú)立展開(kāi)。K. Liu等采用雙頻光柵圖像，需要至少5張圖像重構(gòu)1幅三維面形數(shù)據(jù)。上述方法都需要至少1張額外的圖像來(lái)實(shí)現(xiàn)像素獨(dú)立相位展開(kāi)，從而降低了三維測(cè)量速度。

為此，本文提出一種基于多視相移框架的動(dòng)態(tài)三維測(cè)量技術(shù)，該技術(shù)可以將多視約束與相移原理有機(jī)結(jié)合，在解相完成后，每個(gè)像素可以獨(dú)立地進(jìn)行立體匹配與三維重構(gòu)，無(wú)需相位展開(kāi)過(guò)程。

1.2基于三視張量的立體匹配方法

在連續(xù)采集數(shù)據(jù)流中，任意相鄰的3幅圖像都可計(jì)算出1幅相位主值圖，并且在無(wú)需相位展開(kāi)的情況下，相機(jī)1圖像中的每一個(gè)像素均能獨(dú)立求解相機(jī)2圖像中對(duì)應(yīng)點(diǎn)，從而完成三維坐標(biāo)的計(jì)算；因此，該系統(tǒng)的測(cè)量速度與相機(jī)圖像采集速度一致，能實(shí)現(xiàn)復(fù)雜形狀、不連續(xù)物體的動(dòng)態(tài)三維面形測(cè)量。

保證該方法穩(wěn)定實(shí)施的關(guān)鍵在于相位主值圖中快速、穩(wěn)定地查找匹配點(diǎn)。為此，提出一種基于三視張量的立體匹配方法，該方法能使圖像中每個(gè)像素獨(dú)立計(jì)算匹配點(diǎn)。

與被動(dòng)立體視覺(jué)測(cè)量法相比，正弦光柵圖像投影在立體視覺(jué)測(cè)量法中的核心作用是使圖像間匹配更為精確，并對(duì)環(huán)境光干擾與被測(cè)表面紋理與顏色有一定抗力。測(cè)量時(shí)，視圖間的立體匹配是以三視張量約束為基礎(chǔ)。三視張量實(shí)質(zhì)上是的數(shù)字陣列，它包含了3幅視圖間不依賴于場(chǎng)景結(jié)構(gòu)的所有(射影)幾何關(guān)系，它的作用類似于基本矩陣在兩視圖中的作用[10]。多目視覺(jué)系統(tǒng)中點(diǎn)與線的匹配關(guān)系如圖2所示。

圖2　多目視覺(jué)系統(tǒng)中點(diǎn)與線的匹配關(guān)系

在圖2中，測(cè)量空間點(diǎn)P在相機(jī)1和相機(jī)2圖像平面上的投影點(diǎn)分別是p1和p2；P點(diǎn)位于空間直線L上，L在投影儀平面上的投影圖像為l，那么p1、l和p2構(gòu)成了一組對(duì)應(yīng)關(guān)系。令相機(jī)1、投影儀和相機(jī)2的投影矩陣分別為M、M1和M2，s和s″分別為比例因子，根據(jù)小孔成像模型則有：

(8)

將式8寫(xiě)成矩陣形式：

(9)

由于式9有非零解，因此U(6×7)矩陣的秩最大是5，故U的任意6×6子矩陣的行列式均為零。為方便表達(dá)，下述方程中的部分矩陣與向量用張量形式表達(dá)。取第1個(gè)相機(jī)矩陣的3行，投影儀矩陣的1行，第2個(gè)相機(jī)矩陣的2行構(gòu)建1個(gè)子矩陣W，則有：

(10)

式中，det(W)表示求矩陣W的行列式。對(duì)式10進(jìn)行分解，則有：

(11)

令三視張量為：

(12)

則有：

(13)

式13是以張量的形式表達(dá)了p1、p2和l三者之間的對(duì)應(yīng)關(guān)系，因此，只要已知對(duì)應(yīng)組中的2個(gè)，便可以計(jì)算出另外1個(gè)。

基于三視張量的對(duì)應(yīng)關(guān)系示意圖如圖3所示，假設(shè)投影的光柵周期總數(shù)為n，對(duì)于相機(jī)1圖像中的1個(gè)給定像素點(diǎn)p1，在DLP投影儀圖像平面上找到n個(gè)具有相同相位值的垂線與之對(duì)應(yīng)。各垂線的水平坐標(biāo)可表示為：

(14)

式中，φ為點(diǎn)p1的相位主值；w為DLP投影儀圖像的像素寬度。那么根據(jù)點(diǎn)p1和直線l的坐標(biāo)，可以通過(guò)式13在相機(jī)2圖像中計(jì)算出n個(gè)對(duì)應(yīng)點(diǎn)。其中，擁有相同相位主值的點(diǎn)即為正確的對(duì)應(yīng)點(diǎn)。

圖3　基于三視張量的對(duì)應(yīng)關(guān)系示意圖

根據(jù)式13，三視張量描述了一個(gè)線性關(guān)系。實(shí)際中由于鏡頭存在畸變，從而引入了非線性成分，因此，在立體匹配前應(yīng)對(duì)相位圖進(jìn)行鏡頭畸變校正。為此，采用文獻(xiàn)[11]中所提出的鏡頭畸變模型(包括三階鏡像畸變與二階切向畸變)對(duì)相位圖進(jìn)行校正。然而，投影儀相位圖中具有相同相位垂線的經(jīng)校正后會(huì)變?yōu)榍€，從而增加了計(jì)算真實(shí)垂線的難度。

目前，尚未發(fā)現(xiàn)解決這一問(wèn)題的方法，如果忽略投影儀鏡頭畸變，在相機(jī)2圖像中計(jì)算的對(duì)應(yīng)點(diǎn)的坐標(biāo)必然會(huì)存在較大誤差，從而影響對(duì)應(yīng)點(diǎn)查找的穩(wěn)定性與三維測(cè)量精度。根據(jù)光路可逆的原理，DLP投影儀“拍攝”的圖像即為投影的圖像，因此，在測(cè)量前根據(jù)畸變模型令待投影的光柵圖像畸變，待校正畸變后即可還原為理想的圖像，從而消除鏡頭畸變對(duì)對(duì)應(yīng)點(diǎn)計(jì)算的影響。

為了驗(yàn)證這一方法的正確性，以帶有圓形特征點(diǎn)的平面標(biāo)靶作為被測(cè)對(duì)象(見(jiàn)圖4a)，分別投射已畸變和未畸變的光柵圖像，用直接提取的對(duì)應(yīng)點(diǎn)作為參照，衡量2種光柵圖像計(jì)算出的對(duì)應(yīng)點(diǎn)誤差，其結(jié)果如圖4b所示。結(jié)果表明，投射畸變的光柵圖像能將對(duì)應(yīng)點(diǎn)的精度控制在0.6個(gè)像素以內(nèi)，而投射未畸變的光柵圖像會(huì)使匹配誤差超過(guò)1.7個(gè)像素。

圖4　投射畸變圖像與未畸變圖像的對(duì)應(yīng)點(diǎn)計(jì)算精度對(duì)比

1.3排除誤匹配

在實(shí)施過(guò)程中，由于多光柵數(shù)與相位誤差的影響很容易導(dǎo)致誤匹配，本文提出一種兩步法去除誤匹配點(diǎn)，從而有效保證了匹配的正確率。為了使匹配精度對(duì)相位誤差不敏感，采用邊界點(diǎn)相位校正來(lái)輔助邊界點(diǎn)的對(duì)應(yīng)點(diǎn)查找，同時(shí)利用極線約束對(duì)已找到的匹配點(diǎn)進(jìn)行精度優(yōu)化，從而提高了測(cè)量精度。

兩步法主要包括視差范圍約束與混合一致性檢查?；谝暡罘秶s束誤匹配點(diǎn)排除如圖5所示。

圖5　基于視差范圍約束誤匹配點(diǎn)排除

視差范圍約束能排除誤匹配點(diǎn)的本質(zhì)原因是測(cè)量空間限制了對(duì)應(yīng)點(diǎn)所在圖像極線范圍。測(cè)量空間通常是指立體視覺(jué)系統(tǒng)的公共可見(jiàn)區(qū)域，并且在該空間內(nèi)相機(jī)與投影儀都能清晰聚焦；因此，只需將所有的備選點(diǎn)投影到校正平面，通過(guò)判斷水平坐標(biāo)值便能排除誤匹配點(diǎn)。

混合一致性檢查是為了在剩余的備選點(diǎn)中選擇唯一的匹配點(diǎn)。實(shí)際測(cè)量中存在一定的偶然因素，少數(shù)錯(cuò)誤對(duì)應(yīng)點(diǎn)的相位值可能比正確對(duì)應(yīng)點(diǎn)的相位值更接近目標(biāo)值，因此，某些情況下相位值還不能確保找到正確的對(duì)應(yīng)點(diǎn)。正確的一組匹配點(diǎn)的所有屬性必然是一致的，包括相位值與紋理灰度值，因此，正確對(duì)應(yīng)點(diǎn)應(yīng)該擁有最小的混合相容值，故通過(guò)最小的混合相容值進(jìn)行混合一致性檢查。

2實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證上述所提出的三視張量的相位展開(kāi)優(yōu)化算法，選擇了4種復(fù)雜形狀的物體作為測(cè)量對(duì)象，其中包括不同形狀的鑄件等。不同鑄件的尺寸精度檢測(cè)以及物體的三維數(shù)據(jù)如圖6所示。從數(shù)據(jù)中可以看出，所提的方法可以測(cè)量復(fù)雜形狀的物體，包括階梯狀表面物體和不連續(xù)表面物體，并且結(jié)果中無(wú)明顯的水波紋，因此證明本算法具有較高的精度。

圖6　復(fù)雜形狀的物體測(cè)量

3結(jié)語(yǔ)

本文提出了一種基于多視相移框架的動(dòng)態(tài)三維測(cè)量方法，在連續(xù)測(cè)量的圖像數(shù)據(jù)流中任意3幅圖像都可以用來(lái)重構(gòu)三維數(shù)據(jù)，三維測(cè)量速度可以和相機(jī)采集速度一樣快，使得測(cè)量軌道車輛尺寸公差的速度快、效率高。保證該方法穩(wěn)定實(shí)施的關(guān)鍵是在相位主值圖中快速、穩(wěn)定地查找匹配點(diǎn)。為此，提出了一種基于三視張量的立體匹配方法，該方法能使圖像中每個(gè)像素獨(dú)立計(jì)算匹配點(diǎn)。但在實(shí)施過(guò)程中，由于多光柵數(shù)與相位誤差的影響很容易導(dǎo)致誤匹配，本文提出了一種兩步法(包括視差范圍約束與混合一致性檢查)來(lái)去除誤匹配點(diǎn)，從而有效保證了匹配的正確率。采用邊界點(diǎn)相位校正來(lái)輔助邊界點(diǎn)的對(duì)應(yīng)點(diǎn)查找，同時(shí)利用極線約束對(duì)已找到的匹配點(diǎn)進(jìn)行精度優(yōu)化，從而提高了測(cè)量精度。

參考文獻(xiàn)

[1] 黃燕鈞,李中偉,史玉升,等. 基于多頻外差原理的三維測(cè)量技術(shù)[J]. 新技術(shù)新工藝， 2008(12):37-40,10.

[2] Zhang S, Huang P S. Novel method for structured light system calibration[J]. Opt. Eng., 2006, 45(8):083601.

[3] Liu K, Wang Y C, Lau D L, et al. Dual-frequency pattern scheme for high-speed 3D shape measurement[J]. Optics Express, 2010, 18(5): 5229-5244.

[4] Zhang S, Li X. Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction[J] . Appl. Opt., 2007, 46(1):50-57.

[5] Chen K, Xi J T, Yu Y G, et al. A composite quality-guided phase unwrapping algorithm for fast 3D profile measurement[C]//Proc. SPIE Conference. Piscataway: IEEE Press, 2012.

[6] Wang Y J, Zhang S, Oliver J H. 3D shape measurement technique for multiple rapidly moving objects[J] . Optics Express, 2011, 19(9): 8539-8545.

[7] Wang Y J, Zhang S. Superfast multi-frequency phase-shifting technique with optimal pulse with modulation[J]. Optics Express, 2011, 19(6): 5149-5155.

[8] Zhang S. Composite phase-shifting algorithm for absolute phase measurement[J]. Opt. Laser Eng., 2012, 50(11): 1538-1541.

[9] Wang Y J, Zhang S. Novel phase-coding method for absolute phase retrieval[J]. Optics Letters, 2012, 37(11): 2067-2069.

[10] Hartley R, Zisserman A. Multiple view geometry in computer vision[M]. Cambridge: Cambridge University Press, 2000.

[11] Heikkia J, Silven O. A four-step camera calibration procedure with implicit image correction[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 1997.

責(zé)任編輯鄭練

Railway Vehicles’ Rapid Three-dimensional Measurement Technology based on Multi-view Constraint

AO Ping, WANG Guoping, YANG Xiaoyun, ZHONG Kai

(Nanjing SR Puzhen Rail Transport Co., Ltd., Nanjing 210032, China)

Abstract：With the booming development of rail transit industry, there is more requirement to the manufacturing of railway vehicles. The assembly of interiors plays an important role of deciding the quality of railway vehicles production. The rapid three-dimensional measurement technology of structured light based on multi-view phase-shift framework is used. This technique combined multi-view constraint with phase-shift and each pixel can explore its corresponding point independently only in the wrapped phase-map and reconstruct a 3D point in space, so arbitrary shape including the discontinuous surfaces or step-like surfaces can be measured with full spatial resolution and full time resolution.

Key words:railway vehicles interiors measurement, machine vision, triple-view tensor

收稿日期：2015-07-28

作者簡(jiǎn)介：敖平(1984-)，男，工程師，主要從事車輛制造等方面的研究。

中圖分類號(hào)：TN 209

文獻(xiàn)標(biāo)志碼:A