用于曲面輪廓測量的結(jié)構(gòu)光視覺技術(shù)研究

洪華杰,甘子豪,何科延,顧海鵬

(國防科技大學(xué)智能科學(xué)學(xué)院,湖南 長沙 410073)

0 引言

隨著現(xiàn)代產(chǎn)業(yè)化的不斷發(fā)展,航空航天、汽車制造、半導(dǎo)體行業(yè)、精密儀器制造、模具設(shè)計(jì)等領(lǐng)域?qū)?fù)雜曲面零件的需求日益增大。 面形測量技術(shù)逐漸成為制約這類零件制造性能的關(guān)鍵因素。 光學(xué)三維面形測量方法大致可分為接觸式和非接觸式兩類。其中,較為典型的接觸式測量方法有三角坐標(biāo)測量法。 三角坐標(biāo)測量法通過傳感探頭在被測物表面掃描得到的各測點(diǎn)空間坐標(biāo)位置,對坐標(biāo)位置信息進(jìn)行計(jì)算處理后生成被測物的三維形貌結(jié)果。 盡管接觸式測量方法能達(dá)到較高的精度,但容易造成觸頭磨損、被測物表面損傷等問題,且測量速度慢、效率低。 非接觸式測量方法有零位補(bǔ)償干涉檢測法,即通過一個(gè)折射補(bǔ)償鏡或者計(jì)算全息圖(computergenerated hologram,CGH)將波面干涉儀投射的標(biāo)準(zhǔn)波面轉(zhuǎn)換為與待測曲面匹配的參考波面,從而實(shí)現(xiàn)零位干涉測量[1]。 盡管該方法具有很高的測量精度,但由于每個(gè)待測曲面需要制作特定的補(bǔ)償器,大大增加了測量成本,不具備普遍適用性。 結(jié)構(gòu)光法早期由美國南加州大學(xué)研究人員提出,之后逐漸開始應(yīng)用于對目標(biāo)進(jìn)行三維測量,屬于非接觸式測量方法,目前已成為機(jī)器視覺測量領(lǐng)域的重要分支。該方法具有測量速度快、視場大、精度高等優(yōu)勢。

本文首先介紹了結(jié)構(gòu)光測量系統(tǒng)的組成及三維測量原理;然后,針對結(jié)構(gòu)光法測量曲面涉及的關(guān)鍵技術(shù)問題(包括結(jié)構(gòu)光視角系統(tǒng)設(shè)計(jì)、結(jié)構(gòu)光編碼技術(shù)、系統(tǒng)標(biāo)定方法、曲面輪廓的測量與重構(gòu)),總結(jié)分析了國內(nèi)外的研究現(xiàn)狀;最后,對用于曲面輪廓測量的結(jié)構(gòu)光技術(shù)發(fā)展趨勢進(jìn)行了展望。

1 結(jié)構(gòu)光測量系統(tǒng)的組成及三維測量原理

結(jié)構(gòu)光測量根據(jù)投射光源形式的不同,可分為點(diǎn)結(jié)構(gòu)光、線結(jié)構(gòu)光和面結(jié)構(gòu)光三類。 點(diǎn)結(jié)構(gòu)光測量是通過逐點(diǎn)掃描物體進(jìn)行測量。 其圖像捕獲及數(shù)據(jù)處理時(shí)間隨被測物體尺寸的增大而急劇增加。 線結(jié)構(gòu)光測量是將線激光投射到被測表面,分析經(jīng)由被測表面調(diào)制得到的變形光條圖像,獲得被測表面的二維輪廓。為得到三維形貌特征,需配合運(yùn)動平臺完成多組測試數(shù)據(jù)的采集,再通過拼接算法生成被測輪廓的三維數(shù)據(jù)[2]。 面結(jié)構(gòu)光測量是采用投影儀將已編碼的圖形(比如光柵條紋)投射到被測表面上,通過分析由被測表面調(diào)制得到的圖像,直接得到表面的三維面形。 基于結(jié)構(gòu)光原理的曲面測量系統(tǒng)如圖1 所示。

圖1 基于結(jié)構(gòu)光原理的曲面測量系統(tǒng)示意圖Fig.1 Schematic diagram of curved surface measurement system based on structured light principle

該系統(tǒng)包括機(jī)械結(jié)構(gòu)、電氣系統(tǒng)和軟件系統(tǒng)三個(gè)部分。 其中,機(jī)械結(jié)構(gòu)的主要組件有結(jié)構(gòu)光投射裝置、攝像機(jī)、安裝支架;電氣系統(tǒng)的主要組件有上位機(jī)、電源等;軟件系統(tǒng)主要包括標(biāo)定、圖像預(yù)處理、結(jié)構(gòu)光編碼及視覺測量的相關(guān)軟件。

2 關(guān)鍵技術(shù)研究現(xiàn)狀

2.1 結(jié)構(gòu)光視覺系統(tǒng)設(shè)計(jì)

面向工業(yè)應(yīng)用,國內(nèi)外相關(guān)機(jī)構(gòu)開展了針對結(jié)構(gòu)光視覺系統(tǒng)設(shè)計(jì)的研究工作[3]。 針對不同的照明因素,如陰影模糊、鏡面反射、透明等,美國哥倫比亞大學(xué)設(shè)計(jì)了多種不同的結(jié)構(gòu)光投影模式以適應(yīng)各種環(huán)境,并使用數(shù)學(xué)組合邏輯對所有投影模式處理的結(jié)果進(jìn)行綜合運(yùn)算,以消除各種光照影響。 盡管該系統(tǒng)對某些高反光、透明的測量對象具有很好的效果,但由于需要投影大量不同的圖案,增加了測量時(shí)間。 之后,諾特丹大學(xué)研究團(tuán)隊(duì)采用多個(gè)攝像與多個(gè)投影儀組成三維重構(gòu)系統(tǒng),可進(jìn)行多個(gè)視角的測量,最后進(jìn)行拼接運(yùn)算。這種方法實(shí)現(xiàn)了高精度的三維輪廓識別,但硬件較復(fù)雜,不夠靈活。 針對大尺寸鍛件的質(zhì)量檢測需求,盧布爾雅那大學(xué)開發(fā)了一套結(jié)構(gòu)光三維在線測量系統(tǒng)。 該系統(tǒng)使用綠色線結(jié)構(gòu)光,能夠克服高溫狀態(tài)下工件的輻射光干擾,并根據(jù)激光三角坐標(biāo)測量法原理獲得鍛件的特征尺寸。

目前,國外相關(guān)公司已推出了部分商業(yè)產(chǎn)品,歐美國家在該類產(chǎn)品的研發(fā)上處于國際領(lǐng)先的地位,代表性的有FARO 公司的Cobalt 3D Imager 和GOM 公司的ATOS 系列。 FARO 公司推出的Cobalt 3D Imager 采用雙目結(jié)構(gòu)光形式,測量范圍為500 mm×350 mm×300 mm,精度可達(dá)0.05 mm,外形小、重量輕,能夠完成模具檢測、自動質(zhì)量控制及尺寸分析等作業(yè)任務(wù)。 ATOS流動式光學(xué)掃描儀是由德國GOM 公司開發(fā)、生產(chǎn)的,是可用于產(chǎn)品開發(fā)、逆向工程、快速成型和質(zhì)量控制的三維掃描測量設(shè)備。 其投影的結(jié)構(gòu)光為矩形光柵,測量時(shí)間為8 s/幀,最高測量精度可達(dá)±0.02 mm。

在國內(nèi),華南理工大學(xué)科研團(tuán)隊(duì)結(jié)合雙目視差原理和線結(jié)構(gòu)光三維測量原理,設(shè)計(jì)了機(jī)車閘瓦磨損量的智能化檢測系統(tǒng)。 該方法解決了單目單視角的盲區(qū)問題,檢測精度為±2 mm[4]。 吉林大學(xué)研制了一套結(jié)構(gòu)光視覺測量系統(tǒng)。 該系統(tǒng)利用移動平臺對軸類零件進(jìn)行掃描,并根據(jù)軸類零件的幾何特征,以掃描后的三維數(shù)據(jù)對其圓柱度誤差進(jìn)行分析。 西南科技大學(xué)研究人員設(shè)計(jì)了一種基于微振鏡掃描的結(jié)構(gòu)光投射系統(tǒng)。振鏡式結(jié)構(gòu)光投射系統(tǒng)設(shè)計(jì)方案如圖2 所示。 該方案能夠快速投射光柵式面結(jié)構(gòu)光,且光柵條紋的空間頻率可控。 采用該系統(tǒng)方案定位目標(biāo),能夠獲得0.1 mm的三維重構(gòu)精度[5]。 此外,華中科技大學(xué)、四川大學(xué)等單位也相繼開展了類似的研究工作。

圖2 振鏡式結(jié)構(gòu)光投射系統(tǒng)設(shè)計(jì)方案Fig.2 Design scheme of galvanometric structured light projection system

2.2 結(jié)構(gòu)光編碼技術(shù)

對結(jié)構(gòu)光進(jìn)行編碼是三維面形測量的關(guān)鍵過程。有效、可靠的編碼策略能使相機(jī)平面和投影儀平面之間的匹配更加迅速、準(zhǔn)確,對系統(tǒng)的測量精度與效率具有重要影響。 根據(jù)編碼圖案,可將結(jié)構(gòu)光編碼方法分為時(shí)序編碼、空間編碼、直接編碼三大類。

時(shí)序編碼是通過將多個(gè)不同的編碼圖案按時(shí)序先后投射到物體表面,生成相應(yīng)的編碼圖像序列。 該編碼方案可獲取高密度和高精度的點(diǎn)云數(shù)據(jù)。 在此過程中,需要投影多幅圖像。 紐約州立大學(xué)布法羅分校學(xué)者提出二值編碼,采用黑色和白色條紋形成一個(gè)序列投射模式,使物體上的每個(gè)點(diǎn)擁有一個(gè)獨(dú)特的二進(jìn)制代碼。 其優(yōu)點(diǎn)是圖像分割比較簡單、計(jì)算量少,缺點(diǎn)是需要投射多張編碼圖案。 西班牙吉羅納大學(xué)提出了格雷編碼方案。 與二值編碼相比,該編碼方案大大減少了由一個(gè)狀態(tài)到下一個(gè)狀態(tài)的時(shí)邏輯混淆。 武漢理工大學(xué)的研究人員提出了一種自適應(yīng)正弦光柵編碼圖案,能有效提高特定球狀物體圖案的分辨率和重構(gòu)覆蓋率。相移法通過投影一組具有確定相位差的光柵圖案獲取相位信息,進(jìn)而計(jì)算得到目標(biāo)的三維坐標(biāo),具有分辨率高、穩(wěn)定性好等優(yōu)點(diǎn)。 目前,已開發(fā)出包括三相移算法、四相移算法和九相移算法等在內(nèi)的多種算法[6]。

空間編碼使用周期相鄰碼字共同確定中心碼字的位置信息。 該編碼方法只需投影一幅編碼圖像,重構(gòu)速度快,不足之處在于點(diǎn)云的重構(gòu)密度和精度以及穩(wěn)定性較低。 日本鹿兒島大學(xué)基于偽隨機(jī)序列設(shè)計(jì)的彩色條紋編碼圖案,實(shí)現(xiàn)了運(yùn)動物體全表面重構(gòu)。 德國弗勞恩霍夫研究院提出以彩色高斯條紋作為碼字,生成具有高斯特性的編碼圖案,在干擾環(huán)境光照條件下能夠保持一定的三維重構(gòu)精度。 中國科學(xué)院先進(jìn)技術(shù)研究院基于M 陣列空間編碼,以四種彩色幾何菱形作為特征基元生成M 陣列編碼圖案,并對該編碼圖案提出了相應(yīng)的特征基元檢測算法,在運(yùn)動的人臉上實(shí)現(xiàn)了較高的重構(gòu)精度;后來在此編碼的基礎(chǔ)上又進(jìn)行了改進(jìn),即在原來的基元中加入新的幾何特征,通過對包括人臉在內(nèi)的真實(shí)物體的重構(gòu),驗(yàn)證了該方法的三維重構(gòu)質(zhì)量[7]。 西安交通大學(xué)科研團(tuán)隊(duì)提出一種兩級空時(shí)彩色編碼方法,提高了結(jié)構(gòu)光系統(tǒng)的測量效率,有效地解決了彩色結(jié)構(gòu)光測量中存在的色串?dāng)_和色差問題。

直接編碼是對每個(gè)像素點(diǎn)指定一個(gè)碼字。 單一的像素點(diǎn)包含每個(gè)點(diǎn)所對應(yīng)的整個(gè)碼字,一般使用大量的顏色或者周期性的投射模式。 由于相鄰像素的色差十分微小,該方法在實(shí)際使用中對各種噪聲十分敏感,有一定的局限性。

2.3 系統(tǒng)標(biāo)定方法

結(jié)構(gòu)光三維成像系統(tǒng)的測量精度依賴于系統(tǒng)參數(shù)的標(biāo)定結(jié)果。 因此,快速且精確的標(biāo)定方法是實(shí)現(xiàn)高精度三維面形測量的前提。 近年來,相關(guān)學(xué)者針對結(jié)構(gòu)光視覺系統(tǒng)的標(biāo)定技術(shù)開展部分研究工作。

在國外,新加坡南洋理工大學(xué)以標(biāo)準(zhǔn)量塊作為測試對象,提出一種基于最小二乘法的條紋投影測量系統(tǒng)標(biāo)定方法。 該方法可有效減少攝像機(jī)鏡頭畸變對標(biāo)定結(jié)果的影響。 美國天主教大學(xué)使用同心環(huán)靶標(biāo),結(jié)合數(shù)字圖像相關(guān)算法得到靶標(biāo)圓心的像素坐標(biāo),再基于Levenberg-Marquard 算法,實(shí)現(xiàn)了三維測量系統(tǒng)的高精度標(biāo)定。 德國弗朗霍夫應(yīng)用光學(xué)與精密工程研究所分析了三維面結(jié)構(gòu)光掃描設(shè)備誤差的主要來源,并針對相機(jī)標(biāo)定結(jié)果的穩(wěn)定性問題給出了評估方法。 韓國科學(xué)技術(shù)院分析了同心圓的幾何和代數(shù)約束及其在攝像機(jī)標(biāo)定中的應(yīng)用,給出了其他基于二次曲線的攝像機(jī)標(biāo)定方法的分析,并提出了基于兩個(gè)半徑確定的同心圓標(biāo)定靶標(biāo)的攝像機(jī)標(biāo)定方法。 美國匹茲堡大學(xué)利用非線性最小二乘法估計(jì)出每一幅圖像對應(yīng)的攝像機(jī)內(nèi)參數(shù)矩陣,以實(shí)現(xiàn)變參數(shù)攝像機(jī)標(biāo)定。 西澳大學(xué)以空間中非共面的、具有己知三點(diǎn)的四條直線為靶標(biāo),利用三標(biāo)定點(diǎn)與光點(diǎn)間的交比不變性進(jìn)行光平面的標(biāo)定。

在國內(nèi),空軍工程大學(xué)研究人員針對相機(jī)標(biāo)定結(jié)果易受外界因素干擾的問題展開了研究,指出光源、圖片數(shù)量和棋盤格尺寸對相機(jī)標(biāo)定準(zhǔn)確度的影響較大。西安交通大學(xué)科研團(tuán)隊(duì)基于射影變換及誤差補(bǔ)償法獲得精確的標(biāo)定點(diǎn)坐標(biāo),提出如圖3 所示的用于系統(tǒng)標(biāo)定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。 試驗(yàn)結(jié)果表明,該方法能夠降低建模的復(fù)雜度,并有效提升標(biāo)定精度[8]。 華中科技大學(xué)建立了一種受約束的稀疏光束法平差模型,并根據(jù)此模型中雅克比矩陣的結(jié)構(gòu)特點(diǎn)提出了一種新的矩陣分塊策略,提高了稀疏線性方程組的求解效率。 北京郵電大學(xué)提出一種快速標(biāo)定法。 該方法需要在一個(gè)能自由移動的平面靶標(biāo)上,根據(jù)三個(gè)特征點(diǎn)建立透視模型。 這三個(gè)特征點(diǎn)相互位置確定且共線,再結(jié)合光條紋的成像信息,求出攝像機(jī)坐標(biāo)系下光平面上標(biāo)定點(diǎn)的坐標(biāo)。

圖3 用于系統(tǒng)標(biāo)定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Neural network structure for system calibration

2.4 曲面輪廓的測量與重構(gòu)

針對曲面零件的輪廓測量與重構(gòu)方法,國內(nèi)外科研人員已開展了部分研究工作。 日本東京大學(xué)科研人員提出了一種基于多線彩色結(jié)構(gòu)光的輪廓測量方法,從多角度采集投射在物體表面的彩色條紋圖像,根據(jù)獲取的圖像和投影圖案數(shù)據(jù)庫求解匹配問題,再通過激光三角坐標(biāo)測量原理法重構(gòu)物體的三維輪廓。 意大利比薩大學(xué)提出了一種結(jié)合結(jié)構(gòu)光和工業(yè)標(biāo)記檢測的三維曲面重構(gòu)方法。 該方法包括采用結(jié)構(gòu)光立體視覺系統(tǒng)獲取點(diǎn)云,以及自動檢測相鄰點(diǎn)云重疊區(qū)域上的標(biāo)記,通過對比不同形狀目標(biāo)的重構(gòu)結(jié)果與機(jī)械探針檢測結(jié)果,驗(yàn)證了方法的可行性。 美國亞利桑那大學(xué)研究團(tuán)隊(duì)提出將結(jié)構(gòu)光條紋反射測量方法應(yīng)用于大口徑非球面鏡的面形檢測。 結(jié)構(gòu)光法應(yīng)用于拋物面檢測如圖4所示。 圖4 中,被測離軸拋物面的口徑為130 mm。

圖4 結(jié)構(gòu)光法應(yīng)用于拋物面檢測的示意圖Fig.4 Schematic diagram of the application of structured light method to paraboloid detection

在國內(nèi),北京大學(xué)的研究人員提出采用彩色結(jié)構(gòu)光法表征板、管等結(jié)構(gòu)的形變輪廓,通過對各變形狀態(tài)對應(yīng)的采集圖像進(jìn)行彩色條紋識別、解碼和三角剖分處理,驗(yàn)證了該方法的可行性。 四川大學(xué)利用透射液晶顯示器(liquid crystal display,LCD)生成的正弦光柵,由攝像機(jī)記錄經(jīng)被測鏡面反射產(chǎn)生的光柵變形條紋圖,通過被測鏡面和理想鏡面對應(yīng)點(diǎn)的橫向像素之差獲得被測點(diǎn)面形偏差的梯度信息,并通過數(shù)據(jù)處理完成三維面形的重構(gòu)。 天津大學(xué)將相移條紋圖的特點(diǎn)與數(shù)字圖像處理技術(shù)相結(jié)合,在重構(gòu)前從背景中提取被測物體的邊界,減少了需要處理的數(shù)據(jù)量,提高了邊界處的重構(gòu)精度。 中科院光電所科研團(tuán)隊(duì)采用結(jié)構(gòu)光條紋反射測量技術(shù)實(shí)現(xiàn)了對大口徑SiC 離軸非球面鏡的面形檢測,分別采用結(jié)構(gòu)光法和激光三角坐標(biāo)測量法測量同一鏡面,兩者數(shù)據(jù)差值的均方根(root mean square,RMS)為0.419 4 μm[11]。 上海理工大學(xué)提出了一種基于結(jié)構(gòu)光的零相位偏折法[12],通過仿真結(jié)合試驗(yàn)驗(yàn)證了該方法的有效性。 試驗(yàn)結(jié)果表明,該方法的測量誤差在微米量級。

3 發(fā)展趨勢展望

從國內(nèi)外研究現(xiàn)狀來看,目前已有相關(guān)學(xué)者采用結(jié)構(gòu)光技術(shù)實(shí)現(xiàn)了對球面、拋物面等三維曲面的輪廓重構(gòu),可達(dá)微米量級的測量精度。 但該技術(shù)仍存在一些尚未解決的技術(shù)瓶頸與挑戰(zhàn)性問題。 其發(fā)展趨勢可總結(jié)如下。

①目前的測試對象大多為相對簡單的規(guī)則曲面。然而,對于高陡度非球面、自由曲面等復(fù)雜面形零件而言,尚未形成較為完善的結(jié)構(gòu)光測試?yán)碚撆c方法體系。這類問題是當(dāng)前結(jié)構(gòu)光測量面臨的技術(shù)挑戰(zhàn),涉及投影設(shè)備優(yōu)化、面形信息提取算法的創(chuàng)新和標(biāo)定模型的改進(jìn)等方面。

②航天航空、精密儀器等領(lǐng)域?qū)鈱W(xué)面形精度要求達(dá)到了亞微米乃至納米量級,現(xiàn)階段結(jié)構(gòu)光檢測水平尚無法滿足應(yīng)用需求。 影響測量精度的因素很多,包括系統(tǒng)標(biāo)定誤差、結(jié)構(gòu)光編解碼算法等。 將結(jié)構(gòu)光法融合計(jì)算光學(xué)、深度學(xué)習(xí)等理論,探索如何進(jìn)一步提高精度,是未來的研究方向之一。

③基于結(jié)構(gòu)光視覺研究大口徑光學(xué)曲面的面形檢測問題。 大口徑光學(xué)曲面在工程上的應(yīng)用越來越廣泛。 通過開展結(jié)構(gòu)光三維測量系統(tǒng)的優(yōu)化研究,在保證精度的前提下,不斷增加結(jié)構(gòu)光法可檢測的區(qū)域范圍,可實(shí)現(xiàn)大口徑光學(xué)元件的快速面形測量。

4 結(jié)論

由于復(fù)雜曲面具有形狀的任意性和數(shù)學(xué)表達(dá)的困難性,給實(shí)際面形測量與評價(jià)帶來了極大的技術(shù)挑戰(zhàn)。結(jié)構(gòu)光法作為一類高精度的非接觸式測量方法,能夠克服傳統(tǒng)激光三角坐標(biāo)測量法存在的觸頭易磨損、效率低等問題;單次可投射的結(jié)構(gòu)光覆蓋范圍大,在測量效率上也具備明顯的優(yōu)勢。 與零位補(bǔ)償干涉測量方法相比,結(jié)構(gòu)光法無需針對每個(gè)待測面制作相應(yīng)的補(bǔ)償器,可大大減少測量成本,適用性更強(qiáng)。 因此,基于結(jié)構(gòu)光視覺的檢測方法在復(fù)雜曲面測量領(lǐng)域具有廣闊的應(yīng)用前景。