劉澤隆,李茂月,盧新元,張明壘
(哈爾濱理工大學(xué) 先進(jìn)制造智能化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,黑龍江 哈爾濱 150080)
航空發(fā)動(dòng)機(jī)渦輪葉片、核電汽輪機(jī)大葉片、大口徑光學(xué)鏡面等典型的復(fù)雜曲面零件,幾何精度和物理性能要求高,在機(jī)械加工過(guò)程中極易產(chǎn)生變形[1]。因此,對(duì)零件進(jìn)行在機(jī)不拆卸檢測(cè),高效地檢測(cè)加工質(zhì)量,確保其加工精度滿足要求,成為近年來(lái)先進(jìn)制造領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)的測(cè)量方式是將零件從機(jī)床上卸載,置于三坐標(biāo)測(cè)量機(jī)(Coordinate Measuring Machine,CMM)上,通過(guò)接觸式測(cè)量原理進(jìn)行檢測(cè)。這種方法需要將工件多次拆卸重新裝夾,容易帶來(lái)定位誤差和裝夾變形,且測(cè)量探頭易對(duì)工件表面造成損傷。隨著先進(jìn)制造技術(shù)的推進(jìn),出現(xiàn)了可對(duì)零件進(jìn)行非接觸式的在機(jī)檢測(cè),可有效避免上述缺點(diǎn),在機(jī)檢測(cè)技術(shù)即在工件裝夾定位狀態(tài)不變的情況下,對(duì)工件進(jìn)行原位檢測(cè)。以光學(xué)檢測(cè)為代表的非接觸式測(cè)量可有效避免反復(fù)拆卸帶來(lái)的影響,同時(shí)測(cè)量速度快,具備一定的實(shí)時(shí)性,測(cè)量結(jié)果可用于指導(dǎo)加工參數(shù)的修正[2]。
光學(xué)測(cè)量設(shè)備主要有激光干涉儀、結(jié)構(gòu)光測(cè)量?jī)x、顯微共焦儀、白光干涉儀等。其中,結(jié)構(gòu)光技術(shù)具有測(cè)量原理簡(jiǎn)單、硬件成本低、測(cè)量精度高、測(cè)量速度快等優(yōu)點(diǎn),在工業(yè)和醫(yī)學(xué)等領(lǐng)域受到廣泛應(yīng)用。另外,結(jié)構(gòu)光技術(shù)算法易于集成,相關(guān)硬件可以通過(guò)與機(jī)械臂配合進(jìn)行測(cè)量視點(diǎn)和路徑規(guī)劃[3],受待測(cè)件尺寸的影響較小。
基于結(jié)構(gòu)光技術(shù)的測(cè)量效果受到相機(jī)分辨率、投影分辨率、標(biāo)定精度等因素影響。其測(cè)量精度很大程度上取決于被測(cè)物體表面的光學(xué)反射特性。由于加工過(guò)程中環(huán)境光線復(fù)雜,且金屬表面具有較強(qiáng)的鏡面反射,使用傳統(tǒng)結(jié)構(gòu)光方法測(cè)量時(shí),工業(yè)相機(jī)拍攝的條紋圖像易出現(xiàn)過(guò)飽和,導(dǎo)致條紋數(shù)據(jù)信息丟失,造成重建的點(diǎn)云出現(xiàn)大面積的波紋和孔洞,無(wú)法準(zhǔn)確得到待測(cè)物的三維信息。在商用設(shè)備市場(chǎng)中,著名測(cè)量系統(tǒng)供應(yīng)商德國(guó)GOM 和瑞典Hexagon 通過(guò)在待測(cè)件表面噴涂一種抑制強(qiáng)反射的涂層,來(lái)改變材料的反射特性,使其表面由鏡面反射變?yōu)槁瓷?,從而削弱反光,但是涂層的厚度和均勻程度主要取決于操作者的經(jīng)驗(yàn),極容易帶來(lái)測(cè)量誤差,降低測(cè)量精度。國(guó)內(nèi)外學(xué)者為了解決這一問(wèn)題,進(jìn)行了多方面的研究。研究發(fā)現(xiàn)相機(jī)所拍攝條紋圖像呈現(xiàn)過(guò)飽和現(xiàn)象,是因?yàn)榇郎y(cè)件的反射強(qiáng)度變化程度高于相機(jī)的0~255 灰度強(qiáng)度范圍。因此用于高反光表面測(cè)量的方法被稱為高動(dòng)態(tài)范圍(High Dynamic Range,HDR)技術(shù)。
在結(jié)構(gòu)光檢測(cè)方面,現(xiàn)有的綜述大多介紹了不同的檢測(cè)原理和方法[4-5],針對(duì)HDR 結(jié)構(gòu)光測(cè)量技術(shù),現(xiàn)有文獻(xiàn)雖然進(jìn)行了技術(shù)總結(jié),討論了不同技術(shù)的優(yōu)缺點(diǎn)[6-7],但未與在機(jī)加工檢測(cè)結(jié)合,且隨著智能技術(shù)的成熟,近兩年國(guó)內(nèi)外學(xué)者將深度學(xué)習(xí)等智能算法應(yīng)用于結(jié)構(gòu)光檢測(cè)中,解決了實(shí)時(shí)在機(jī)檢測(cè)、動(dòng)態(tài)物體檢測(cè)和HDR 檢測(cè)等問(wèn)題。本文以機(jī)械加工在機(jī)檢測(cè)為背景,對(duì)近年來(lái)用于測(cè)量高反光表面的HDR 技術(shù)進(jìn)行了全面綜述。本文將現(xiàn)有技術(shù)方案歸納為基于硬件設(shè)備的HDR 技術(shù)和基于條紋算法的HDR 技術(shù)兩大類,針對(duì)不同方法的特點(diǎn),結(jié)合對(duì)加工場(chǎng)景在機(jī)檢測(cè)的需求,總結(jié)了不同方法的技術(shù)特點(diǎn),并且對(duì)HDR 結(jié)構(gòu)光在機(jī)檢測(cè)進(jìn)行了技術(shù)展望。
下文安排如下:第二部分介紹HDR 條紋測(cè)量原理和在機(jī)檢測(cè)關(guān)鍵問(wèn)題;第三、四部分分別介紹基于硬件設(shè)備的HDR 技術(shù)和基于條紋算法的HDR 技術(shù);第五部分結(jié)合加工在機(jī)檢測(cè)方面面臨的問(wèn)題,對(duì)現(xiàn)有方法進(jìn)行分析比較,總結(jié)特點(diǎn);第六部分介紹HDR 結(jié)構(gòu)光在機(jī)檢測(cè)技術(shù)的潛在應(yīng)用和技術(shù)展望;第七部分為結(jié)論。
與傳統(tǒng)接觸式測(cè)量技術(shù)相比,三維視覺(jué)測(cè)量技術(shù)具有速度快、成本低的特點(diǎn),為我國(guó)先進(jìn)制造、精密工程發(fā)展戰(zhàn)略提供新的技術(shù)支撐。如表1所示,三維視覺(jué)測(cè)量技術(shù)根據(jù)測(cè)量過(guò)程中是否投射光源,可分為被動(dòng)視覺(jué)測(cè)量和主動(dòng)視覺(jué)測(cè)量。其中,面結(jié)構(gòu)光式測(cè)量方法在所有結(jié)構(gòu)光方法中測(cè)量效率最高,廣泛應(yīng)用于物體的三維測(cè)量領(lǐng)域。
表1 三維視覺(jué)測(cè)量技術(shù)分類Tab.1 Classification of three-dimensional visual measurement technology
結(jié)構(gòu)光測(cè)量系統(tǒng)主要由工業(yè)相機(jī)、投影儀和計(jì)算機(jī)組成,其原理示意圖如圖1(彩圖見(jiàn)期刊電子版)所示。
條紋輪廓術(shù)(Fringe Projection Profilometry,FPP)是常用的面結(jié)構(gòu)光測(cè)量方法。其通過(guò)計(jì)算機(jī)獲得編碼條紋,經(jīng)投影儀投射到待測(cè)物表面,解析變形條紋即可得到相位信息。在經(jīng)典的FPP測(cè)量系統(tǒng)中,常采用相移法求解相位,條紋圖案為正弦光柵,條紋強(qiáng)度Ii(x,y)可以表示為:
式中,(x,y)是圖像像素坐標(biāo),a(x,y)是條紋圖像的背景光強(qiáng);b(x,y)是受物體表面反射率影響的調(diào)制光強(qiáng);i表示相移步數(shù);N表示相移總步數(shù);φ(x,y)為待求相位主值,其表達(dá)式為:
得到相位主值后,通過(guò)多頻外差法獲得連續(xù)相位,將連續(xù)相位與標(biāo)定數(shù)據(jù)相結(jié)合,即可得到待測(cè)物的三維信息。
在信息互聯(lián)的智能制造背景下,利用AGV小車(chē)和六自由度機(jī)器人搭載結(jié)構(gòu)光測(cè)量設(shè)備,對(duì)加工過(guò)程中的零件進(jìn)行在機(jī)檢測(cè)(如圖2 所示)。該方法可避免反復(fù)拆卸產(chǎn)生定位誤差和裝夾變形,同時(shí)可提高零件整體的加工效率,有助于推進(jìn)智能化加工(如圖3 所示)。
圖3 結(jié)構(gòu)光在機(jī)檢測(cè)系統(tǒng)架構(gòu)Fig.3 Architecture of on-machine detection system of structured light
在加工環(huán)境中,傳統(tǒng)結(jié)構(gòu)光技術(shù)易受到復(fù)雜環(huán)境光線和金屬零件高反光的影響。但將HDR技術(shù)應(yīng)用于結(jié)構(gòu)光在機(jī)檢測(cè)中,可有效抑制相關(guān)影響,提升測(cè)量精度。結(jié)構(gòu)光系統(tǒng)中,相機(jī)成像模型如公式(3)所示[8]:
式中:I是圖像像素強(qiáng)度;α是相機(jī)靈敏度系數(shù);t是相機(jī)的曝光時(shí)間;β是待測(cè)物的反射系數(shù);Ip是投影儀的光強(qiáng);Iα1是被測(cè)物體反射的環(huán)境光;Iα2是直接進(jìn)入相機(jī)的環(huán)境光;μ是相機(jī)的噪聲誤差。
根據(jù)該模型可知,通過(guò)改變相機(jī)的曝光量、條紋的光強(qiáng)和物體的反射特性,可以改進(jìn)拍攝條紋圖像的成像效果?;诖嗽?,國(guó)內(nèi)外學(xué)者通過(guò)改變相機(jī)曝光度、調(diào)整投影圖案強(qiáng)度,加置偏振濾光片,利用相位測(cè)量偏折術(shù)、光度立體技術(shù),更改編碼解碼方案和深度學(xué)習(xí)智能算法等多種方法,對(duì)HDR 測(cè)量技術(shù)進(jìn)行研究。在使用HDR 結(jié)構(gòu)光技術(shù)進(jìn)行在機(jī)檢測(cè)時(shí),需重點(diǎn)考慮如下問(wèn)題:
(1)零件加工時(shí),整體處于暗房環(huán)境,但受到環(huán)境光和金屬工件鏡面反射影響,光線條件較為復(fù)雜,在抑制高反光的同時(shí),不能忽略暗區(qū)域的影響。
(2)測(cè)量系統(tǒng)的硬件設(shè)備不能過(guò)于復(fù)雜,要易于配合機(jī)床、機(jī)械臂、AGV 小車(chē),同時(shí)零件檢測(cè)的路徑要易于規(guī)劃,使檢測(cè)方案更加集成化、智能化。
(3)測(cè)量方案簡(jiǎn)單的同時(shí),對(duì)測(cè)量速度和效率要求較高,要具有實(shí)時(shí)性,可及時(shí)反饋測(cè)量結(jié)果,指導(dǎo)加工參數(shù)的補(bǔ)償修正。
下面結(jié)合在機(jī)檢測(cè)需求,詳細(xì)綜述各類方法的研究進(jìn)展。
基于硬件設(shè)備的HDR 技術(shù)是通過(guò)對(duì)結(jié)構(gòu)光硬件設(shè)備進(jìn)行改進(jìn),從而降低高反光對(duì)其測(cè)量結(jié)果的影響,主要可分為相機(jī)曝光法、偏振濾光片法、相位測(cè)量偏折術(shù)以及光度立體技術(shù)。
相機(jī)的曝光是成像質(zhì)量的重要影響因素,若曝光過(guò)度,則圖像整體過(guò)飽和;若曝光不足,則圖像整體過(guò)暗,兩者都會(huì)使圖像丟失細(xì)節(jié),無(wú)法準(zhǔn)確獲得條紋信息。Zhang 等人[9]提出了一種快速自動(dòng)曝光的方法。通過(guò)捕獲一次曝光的條紋圖像,來(lái)確定最佳曝光時(shí)間。所提方法雖然可以快速找到最佳曝光時(shí)間,但是適用范圍受限,對(duì)于整體偏亮或偏暗的圖像有較好的效果,對(duì)于加工過(guò)程中明暗混合的復(fù)雜場(chǎng)景,難以確定一個(gè)統(tǒng)一的最佳曝光時(shí)間,影響在機(jī)檢測(cè)質(zhì)量。
多重曝光[10-11]技術(shù)是指將不同曝光時(shí)間下采集的圖像,融合成一幅圖像以避免圖像飽和,從而達(dá)到較高的信噪比(Signal Noise Ratio,SNR)。Zhang等人[12]提出將多重曝光技術(shù)應(yīng)用于三維測(cè)量,通過(guò)調(diào)整相機(jī)鏡頭光圈獲得一組不同曝光程度的條紋圖像。對(duì)陶瓷花瓶檢測(cè)時(shí),將高曝光的飽和像素用低曝光下相應(yīng)的像素替換。所提方法不僅適用于相移法,對(duì)于莫爾條紋、激光干涉法同樣適用。
在傳統(tǒng)多重曝光技術(shù)中,對(duì)于曝光度的選擇主要依靠經(jīng)驗(yàn)。若曝光范圍選取不好,直接影響最終測(cè)量結(jié)果。為了避免依據(jù)經(jīng)驗(yàn)選擇曝光度的不可靠性,國(guó)內(nèi)外學(xué)者通過(guò)相機(jī)響應(yīng)函數(shù)曲線選擇適合的曝光時(shí)間。Song 等人[13]提出利用相機(jī)響應(yīng)函數(shù)來(lái)壓縮動(dòng)態(tài)范圍,使用中等曝光數(shù)據(jù)作為參考進(jìn)行圖像融合。對(duì)不銹鋼沖壓件通過(guò)6 次曝光進(jìn)行檢測(cè)實(shí)驗(yàn),平均偏差(Mean Absolute Error,MAE)為0.06 mm。Feng 等人[14]基于灰度直方圖分布將測(cè)量出的表面反射率細(xì)分為幾個(gè)組。根據(jù)相機(jī)響應(yīng)函數(shù)自適應(yīng)地預(yù)測(cè)每個(gè)組的最佳曝光時(shí)間。Cui 等人[15]利用不同曝光時(shí)間的序列圖像,標(biāo)定相機(jī)響應(yīng)曲線函數(shù)。基于最高灰度值和最低灰度值雙閾值原理,提出了曝光時(shí)間的自適應(yīng)選擇算法。實(shí)驗(yàn)表明,所提方法自動(dòng)計(jì)算了4 次曝光時(shí)間,避免了基于經(jīng)驗(yàn)調(diào)整曝光時(shí)間的缺點(diǎn),提高了曝光的自動(dòng)化水平和測(cè)量精度。
考慮獲取相機(jī)響應(yīng)曲線并記錄曝光時(shí)間較為繁瑣,且相機(jī)響應(yīng)曲線受環(huán)境光影響較大,存在誤差。Rao[16]通過(guò)分析每個(gè)像素的條紋調(diào)制強(qiáng)度,設(shè)定調(diào)制閾值來(lái)自動(dòng)計(jì)算多個(gè)曝光時(shí)間。實(shí)驗(yàn)表明,該方法最多在5 次曝光下,即可完成HDR 三維測(cè)量。Wu 等人[17]提出了一種曝光融合方法,在水平和豎直兩個(gè)方向投射二值格雷碼,算法流程如圖4 所示。通過(guò)拉普拉斯金字塔分解圖像的加權(quán)平均值,以高斯金字塔分解圖像權(quán)重,得到融合金字塔,從而獲得最終圖像。實(shí)驗(yàn)對(duì)圓柱形電池通過(guò)8 次曝光進(jìn)行檢測(cè),MAE 值為0.088 0 mm,測(cè)量時(shí)間為1 436 s,所提方法雖然無(wú)需擬合相機(jī)響應(yīng)曲線,但是需要多組曝光數(shù)據(jù),較為耗時(shí)。
圖4 曝光融合算法流程[17]Fig.4 The process of exposure fusion algorithm[17]
基于相機(jī)曝光技術(shù)進(jìn)行結(jié)構(gòu)光在機(jī)檢測(cè)時(shí),無(wú)需額外添加硬件,只需對(duì)圖像進(jìn)行融合處理。其核心在于曝光參數(shù)的選擇,單次最佳曝光難以適用于復(fù)雜場(chǎng)景,而利用多重曝光的方式,需要合理選擇曝光時(shí)間實(shí)現(xiàn)對(duì)待測(cè)工件的多次測(cè)量,影響了檢測(cè)效率,且曝光時(shí)間不能隨意設(shè)定,應(yīng)保證與投影儀的刷新率精確同步。
自然光經(jīng)物體反射會(huì)變?yōu)椴糠制窆?,利用偏振成像獲得反射光的偏振狀態(tài)成為近年來(lái)計(jì)算機(jī)視覺(jué)的熱點(diǎn)方向。將偏振片置于工業(yè)相機(jī)鏡頭前進(jìn)行在機(jī)檢測(cè),可有效地達(dá)到過(guò)濾高光的目的。
使用單組偏振片會(huì)將圖像整體的亮度降低,影響圖像的SNR,國(guó)內(nèi)外學(xué)者采用多組偏振片和圖像融合的方式,來(lái)實(shí)現(xiàn)對(duì)高光的抑制并提高條紋圖像的SNR。Salahieh 等人[18]通過(guò)選擇不同的偏振測(cè)量值或偏振角和曝光時(shí)間的正確組合,消除飽和或低對(duì)比度條紋區(qū)域,以保持條紋良好的可見(jiàn)性。平茜茜等人[19]在兩個(gè)CCD 相機(jī)前加裝偏振片,將一個(gè)固定成0°,另一個(gè)調(diào)成4 個(gè)角度。通過(guò)4 幅圖像的偏振信息得到梯度信息,對(duì)其積分后得到用于重構(gòu)的深度信息。根據(jù)雜散光和漫反射光具有不同的光譜特性和偏振特性,郝婧蕾[20]對(duì)待測(cè)目標(biāo)進(jìn)行高光消除預(yù)處理,從而提高三維重構(gòu)精度。Wang 等人[21]基于條紋圖像生成輔助圖像,確定最佳曝光時(shí)間和偏振方向,在適當(dāng)?shù)钠毓鈺r(shí)間內(nèi)提取4 種偏振方向生成復(fù)合相移圖像,消除飽和以及低對(duì)比度區(qū)域。Zhu 等人[22]建立了相機(jī)在偏振系統(tǒng)下的強(qiáng)度響應(yīng)函數(shù),避免了復(fù)雜的偏振雙向反射分布模型,可直接計(jì)算偏振片之間的角度,通過(guò)圖像融合算法生成最佳條紋。該方法顯著消除了高光的影響,并減少了黑白條紋之間的模糊過(guò)渡區(qū)域。
上述方式與多重曝光類似,需要相機(jī)進(jìn)行多次拍攝,影響在機(jī)檢測(cè)的效率。因此,國(guó)內(nèi)外學(xué)者利用不同偏振方向的多組相機(jī)和投影儀,同時(shí)獲取不同偏振角度的條紋圖像。Maeda 等人[23]將偏振相機(jī)前的偏振片以0°、45°、90°和135°放置,通過(guò)1/4 波形板和空間光調(diào)制器與投影儀組合產(chǎn)生空間變換的偏振圖案。偏振相機(jī)可同時(shí)獲取4 個(gè)偏振方向的相移圖像,從而得到三維信息,MAE 結(jié)果為0.04 mm。Xiang 等人[24]設(shè)計(jì)了一種由兩個(gè)相機(jī)和兩個(gè)投影儀構(gòu)成的偏振測(cè)量系統(tǒng),如圖5 所示。在測(cè)量過(guò)程中,利用入射光偏振的特性,使用兩個(gè)同軸排列的偏振相機(jī)同時(shí)捕獲被測(cè)表面上的變形條紋。采用兩步相移算法計(jì)算相位,得到三維形狀。實(shí)驗(yàn)均方根偏差(Root Mean Square Error,RMSE)為0.17 mm。
圖5 Xiang 設(shè)計(jì)的偏振測(cè)量系統(tǒng)[24]Fig.5 Polarization measurement system designed by Xiang[24]
基于偏振濾光片的HDR 技術(shù)易降低圖像的整體亮度。這是因?yàn)槠湓谙魅蹒R面反射的同時(shí)也削弱了漫反射,導(dǎo)致圖像SNR 下降。由于加工環(huán)境光線較為復(fù)雜,此類方法不適用于加工現(xiàn)場(chǎng)的在機(jī)檢測(cè)。雖可通過(guò)選擇多組偏振片進(jìn)行數(shù)據(jù)融合的方式得到較好的條紋圖像,但是降低了整體的測(cè)量效率。另外,對(duì)于偏振片角度的選擇,需依靠人為經(jīng)驗(yàn)并仔細(xì)調(diào)整光路,整體結(jié)構(gòu)較為復(fù)雜。
工業(yè)生產(chǎn)中的鏡面和類鏡面零件具有極強(qiáng)的鏡面反射,傳統(tǒng)結(jié)構(gòu)光技術(shù)中,工業(yè)相機(jī)無(wú)法直接清晰捕獲投影儀投射的條紋結(jié)構(gòu)光。相位測(cè)量偏折術(shù)(Phase Measuring Deflectometry,PMD)是基于條紋反射原理,將傳統(tǒng)的結(jié)構(gòu)光測(cè)量系統(tǒng)中的投影儀用一個(gè)LCD 顯示屏代替,使計(jì)算機(jī)生成的條紋圖顯示在LCD 顯示屏上。相機(jī)通過(guò)被測(cè)物的鏡面反射,捕捉所顯示條紋圖案的反射圖像,再通過(guò)對(duì)捕獲的圖像求解相位信息,來(lái)重建被測(cè)物形狀[25]。
傳統(tǒng)的PMD 技術(shù)中,LCD 顯示屏必須與被測(cè)物平行放置,占用了很大的測(cè)量空間,不適合緊湊的在機(jī)測(cè)量。Zhuang 等人[26]提出了一種緊湊的在機(jī)PMD 技術(shù)。該方法將液晶屏垂直于被測(cè)鏡面放置,用于實(shí)時(shí)測(cè)量表面形狀畸變(如圖6 所示)。該方法顯著擴(kuò)展了傳統(tǒng)PMD 方法的應(yīng)用范圍,適用于封閉式激光設(shè)備和組裝式激光系統(tǒng)中的實(shí)時(shí)測(cè)量。Gao 等人[27]利用平板分束器使系統(tǒng)更加緊湊。與傳統(tǒng)配置相比顯著減小了系統(tǒng)體積,測(cè)量精度在0.001 mm 之內(nèi)。傳統(tǒng)的PMD 系統(tǒng)中,通常采用平面LCD 顯示屏,這限制了被測(cè)表面的可測(cè)量曲率。針對(duì)這一問(wèn)題,Han 等人[28]將彎曲的液晶顯示器用于PMD 系統(tǒng)中,并利用標(biāo)定參數(shù)和種子點(diǎn)將兩個(gè)攝像頭視角下重建的三維模型進(jìn)行點(diǎn)云配準(zhǔn)。通過(guò)仿真分析,驗(yàn)證了系統(tǒng)的曲率測(cè)量范圍大于平面LCD 顯示屏的曲率測(cè)量范圍。
圖6 封閉激光腔內(nèi)COPMD 測(cè)量系統(tǒng)[26]Fig.6 COPMD measurement system in an enclosed laser cavity[26]
在大口徑光學(xué)鏡面的加工檢測(cè)領(lǐng)域,美國(guó)亞利桑那大學(xué)Su 等人[29]在2010 年基于條紋反射原理,首次提出了軟件可調(diào)式光學(xué)檢測(cè)系統(tǒng)(Software Configurable Optical Test System,SCOTS)。在對(duì)130 mm 離軸拋物面進(jìn)行測(cè)量時(shí),得到了RMSE 為1 μm 的測(cè)量結(jié)果。中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所的邵山川團(tuán)隊(duì)[30]利用條紋反射法對(duì)超精密金剛石車(chē)削反射鏡進(jìn)行在位面形檢測(cè)。對(duì)口徑為100 mm 凹球面金屬反射鏡進(jìn)行檢測(cè),結(jié)果表明:面形檢測(cè)精度(峰谷值)優(yōu)于1 μm;與干涉儀檢測(cè)結(jié)果相比,RMSE 測(cè)量結(jié)果為0.089 μm,其檢測(cè)系統(tǒng)裝置如圖7 所示。在大口徑非球面鏡面測(cè)量方面,袁婷[31]等人用條紋反射法對(duì)口徑為821.65 mm 拋物面反射鏡進(jìn)行了檢測(cè),實(shí)驗(yàn)裝置如圖8 所示。檢測(cè)結(jié)果與干涉測(cè)量結(jié)果偏差僅為0.183 μm。這證明條紋反射法應(yīng)用于大口徑非球面檢測(cè)的可行性。Navarro 等人[32]利用SCOTS 對(duì)直徑為4.2 m 的Daniel K.Inouye太陽(yáng)望遠(yuǎn)鏡進(jìn)行檢測(cè),其RMSE 結(jié)果小于20 nm。
圖7 條紋反射在位面形檢測(cè)系統(tǒng)中的裝置[30]Fig.7 Fringe reflection setup in on-machine surface measurement system[30]
圖8 大口徑拋物面反射鏡實(shí)驗(yàn)裝置圖[31]Fig.8 Experimental device diagram of large diameter parabolic reflector[31]
由于PMD 技術(shù)測(cè)量原理特殊,一般用于測(cè)量連續(xù)的鏡面工件,如手機(jī)屏幕、天文望遠(yuǎn)鏡鏡面等時(shí),測(cè)量精度較高,可達(dá)到亞微米級(jí)別,且不需太多的前期準(zhǔn)備和后續(xù)處理工作。通過(guò)合理設(shè)計(jì)硬件布置方案,即可實(shí)現(xiàn)鏡面工件的在機(jī)檢測(cè)。但對(duì)于具有復(fù)雜特征的金屬零件的加工過(guò)程,零件表面反射特性表現(xiàn)為鏡面反射與漫反射相結(jié)合,此時(shí),無(wú)法反射出變形的條紋,在這種情況下,此類方法不適用。
光度立體(Photometric Stereo,PS)技術(shù)于上世紀(jì)80 年代由Woodham 提出[33],其原理是保持觀察方向不變,在不同方向照明下,將多個(gè)圖像的深度信息與法向信息相結(jié)合,重建物體表面的三維形貌。
光度立體技術(shù)的重點(diǎn)在于對(duì)物體表面法向量的計(jì)算。Lu 等人[34]使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)預(yù)測(cè)物體的初始法線,在多光譜光度立體框架中進(jìn)行迭代優(yōu)化。近年來(lái),國(guó)內(nèi)外學(xué)者將雙向反射分布函數(shù)(Bidirectional Reflectance Distribution Function,BRDF)應(yīng)用于光度立體技術(shù)中,進(jìn)行法向量求解,用于檢測(cè)和分離高反射成分[35-36]。
國(guó)內(nèi)外學(xué)者還對(duì)照明系統(tǒng)進(jìn)行了重點(diǎn)研究,通過(guò)合理設(shè)計(jì)光源數(shù)量和角度,得到準(zhǔn)確的法線信息。Pei 等人[37]提出的測(cè)量系統(tǒng)由投影儀、工業(yè)相機(jī)和29 個(gè)發(fā)光二極管構(gòu)成。利用FPP 測(cè)量得到待測(cè)物點(diǎn)云,通過(guò)近場(chǎng)光度立體系統(tǒng)得到像素的法向信息,將兩者融合,進(jìn)而得到完整的點(diǎn)云。測(cè)量結(jié)果與CMM 測(cè)量數(shù)據(jù)相比,RMSE僅為0.006 9 mm,峰谷值偏差為0.009 4 mm。Meng等人[38]將照明系統(tǒng)放置在30 個(gè)不同方向上,所得均方根誤差為0.005 3 mm。然而,由于系統(tǒng)測(cè)量角度約為±7°,限制了可以重建的曲面范圍。
光度立體技術(shù)具有多個(gè)照明光路,能夠?qū)崿F(xiàn)相互補(bǔ)盲,精度可達(dá)到0.01 mm 之內(nèi),有助于實(shí)現(xiàn)HDR 測(cè)量。但是,測(cè)量結(jié)果依賴于反射模型,對(duì)于加工過(guò)程中的零件,由于其表面的反射情況復(fù)雜及形狀未知,對(duì)反射模型進(jìn)行標(biāo)定不具有普適性,容易帶來(lái)測(cè)量誤差,且測(cè)量系統(tǒng)較為復(fù)雜,測(cè)量場(chǎng)景具有較大的限制性,難以與加工機(jī)床和機(jī)械臂配合實(shí)現(xiàn)在機(jī)測(cè)量。
基于硬件設(shè)備的HDR 技術(shù)在硬件上對(duì)傳統(tǒng)FPP 技術(shù)進(jìn)行了改進(jìn),使相機(jī)可以拍攝到較為清晰的條紋圖像,從而降低了反光對(duì)測(cè)量精度的影響。表2 分析了上述技術(shù)的測(cè)量精度以及有無(wú)額外硬件方面的對(duì)比情況。對(duì)于測(cè)量精度,本文僅對(duì)各參考文獻(xiàn)中的精度進(jìn)行了總結(jié)。由于不同實(shí)驗(yàn)時(shí),所測(cè)工件尺寸、表面反射屬性和測(cè)量環(huán)境不同,因此測(cè)量精度的比較不具有普遍性。
表2 基于硬件設(shè)備的HDR 技術(shù)對(duì)比Tab.2 Comparison of HDR technologies based on hardware devices
基于條紋算法的HDR 結(jié)構(gòu)光在機(jī)檢測(cè)技術(shù)不依賴于硬件設(shè)備,主要是在算法層面改進(jìn)條紋成像質(zhì)量,從而提高測(cè)量精度。目前,國(guó)內(nèi)外學(xué)者通過(guò)改變條紋圖案亮度、顏色、頻率以及更改條紋編碼和解碼等方式展開(kāi)了深入研究。
調(diào)整條紋圖案強(qiáng)度是根據(jù)物體表面反射強(qiáng)度的不同,逐像素確定投影條紋的灰度,從而使整體圖像具有較好的SNR 且未達(dá)到飽和狀態(tài),也稱為自適應(yīng)條紋法。
Waddington 等人[39]首次提出自適應(yīng)調(diào)整投影條紋圖最大輸入灰度的方法,并合成了不同強(qiáng)度的圖像,以避免圖像飽和。然而,機(jī)械加工環(huán)境大多屬于暗房環(huán)境,僅改變條紋的最大灰度值雖可削弱金屬工件反光的效果,但同時(shí)也降低了暗區(qū)亮度,導(dǎo)致在機(jī)檢測(cè)精度降低。該團(tuán)隊(duì)還根據(jù)物體的局部反射率,將適當(dāng)強(qiáng)度的條紋投影到物體的相應(yīng)區(qū)域[40],但這需要進(jìn)行復(fù)雜的預(yù)校準(zhǔn)。Jiang 等人[41]開(kāi)發(fā)了一種自動(dòng)選擇參數(shù)(曝光時(shí)間、條紋顏色、條紋調(diào)制強(qiáng)度)的方法。他們通過(guò)調(diào)整不同相機(jī)曝光時(shí)間和不同強(qiáng)度的條紋,提高最終條紋圖像的SNR,算法處理參數(shù)及效果如圖9 所示。
圖9 Jiang 所提方法的測(cè)量結(jié)果[41]Fig.9 The measurement results by Jiang’s method[41]
實(shí)驗(yàn)測(cè)量結(jié)果的MAE 為0.003 mm,并且對(duì)環(huán)境光不敏感。但是此種方法需要6 組條紋才能合成出一組SNR 較好的條紋,基于三頻四步相移的方法,雙目相機(jī)需要拍攝144(2×6×12=144)張圖像,需30 s 完成,測(cè)量效率低且參數(shù)選擇的程序較為復(fù)雜。Wang 等人[42]在測(cè)量前先投影48 幅圖像,以建立投影與捕獲圖像之間的像素映射關(guān)系,然后投影了兩幅圖像灰度分別為0 和100 的圖像,來(lái)估計(jì)反射率和背景強(qiáng)度。該方法的測(cè)量實(shí)驗(yàn)結(jié)果顯示RMSE 為0.109 mm。這種方法的測(cè)量效率依賴于硬件設(shè)備,為了滿足在機(jī)檢測(cè)的實(shí)時(shí)性需求。需要高速相機(jī)以及高刷新率的投影儀才能在短時(shí)間內(nèi)完成映射關(guān)系。Sun 等人[43]通過(guò)對(duì)投影儀像素建立投影強(qiáng)度模型,在高曝光和低曝光下分別拍攝兩幅圖像,以計(jì)算投影強(qiáng)度,再將亞像素坐標(biāo)映射到投影儀圖像上,并對(duì)其進(jìn)行濾波,以實(shí)現(xiàn)精確的坐標(biāo)對(duì)應(yīng)。同時(shí),提出了點(diǎn)云完整性(Point Cloud Integrality,PCI)作為評(píng)價(jià)量化指標(biāo)。在采用三頻四步相移方法的情況下,通過(guò)38 幅圖像獲得了被測(cè)物的完整三維信息,高反射區(qū)域PCI 指標(biāo)達(dá)到94.1%。
除了通過(guò)投影一系列條紋計(jì)算最佳強(qiáng)度外,國(guó)內(nèi)外學(xué)者還提出利用多次迭代和多項(xiàng)式擬合等方法獲得最優(yōu)的投影強(qiáng)度。Babaie 等人[44]使用多次迭代來(lái)計(jì)算適當(dāng)?shù)耐队皬?qiáng)度,并在小范圍內(nèi)測(cè)量有光澤的物體,但測(cè)量精度取決于迭代次數(shù)。Chen 等人[45]通過(guò)擬合多項(xiàng)式函數(shù)將捕獲的強(qiáng)度轉(zhuǎn)換為投影強(qiáng)度,確定每個(gè)飽和像素簇對(duì)應(yīng)的最佳投影強(qiáng)度。當(dāng)簇中飽和像素對(duì)應(yīng)的曲面區(qū)域反射率變化較大時(shí),該函數(shù)將不準(zhǔn)確。馮維等人[46]首先估計(jì)物體表面反射率、環(huán)境光和表面結(jié)構(gòu)相互作用產(chǎn)生的反射光后,建立相機(jī)-投影儀間的強(qiáng)度關(guān)系式,以求解像素點(diǎn)的最佳投影灰度值。相較于傳統(tǒng)方法,該方法的平均誤差減少了61.9%,標(biāo)準(zhǔn)偏差減少了67.7%。李乾等人[47]依據(jù)待測(cè)元件表面的反射率分布情況,利用相機(jī)響應(yīng)曲線逐像素計(jì)算元件上每一點(diǎn)對(duì)應(yīng)的投影灰度值范圍和最低投影灰度。實(shí)驗(yàn)RMSE 值為0.103 mm,可完成金屬材質(zhì)高光工件的三維形貌測(cè)量。
調(diào)整投影圖案強(qiáng)度的優(yōu)點(diǎn)在于無(wú)需額外添置硬件,算法容易集成,可以逐像素地進(jìn)行灰度調(diào)整,避免了圖像SNR 整體降低的問(wèn)題,因此測(cè)量精度較高,但由于需要投影多組條紋來(lái)確定最佳強(qiáng)度和映射關(guān)系,影響了測(cè)量效率,實(shí)時(shí)性較差。隨著硬件設(shè)備的提升,可通過(guò)采用高刷新率的投影儀和相機(jī)改善這一問(wèn)題,以滿足在機(jī)檢測(cè)的要求。
通過(guò)顏色特征的鏡面反射分離方法是由Shafer[48]提出的。該方法基于雙色反射模型,對(duì)光線和顏色進(jìn)行了討論,認(rèn)為像素點(diǎn)的顏色由物體表面的顏色和光源的顏色決定,由此分離出像素點(diǎn)的鏡面反射部分。
彩色圖像通過(guò)拜耳濾波器可分離成R、G、B 三個(gè)通道,不同通道的亮度衰減程度不同。對(duì)于單色照明,以藍(lán)光為例,如圖10(彩圖見(jiàn)期刊電子版)所示,其量子效率存在以下關(guān)系eb>eg>er,高衰減紅色通道可以接受非常高的亮度而不飽和,而低衰減藍(lán)色通道則對(duì)低亮度更敏感。因此,國(guó)內(nèi)外學(xué)者研究了彩色條紋和彩色相機(jī),用于HDR測(cè)量。
圖10 彩色圖像不同通道亮度衰減原理圖[51]Fig.10 Schematic diagram of brightness attenuation in different channels of color image[51]
Wang 等人[49]在保持相機(jī)曝光度不變的前提下,通過(guò)投射7 組不同顏色的條紋,從中選擇灰度范圍分布較大的4 組條紋(藍(lán)色、黃色、青色和白色)進(jìn)行合成。該方法的缺點(diǎn)是對(duì)于投影儀的刷新率有較高的要求。Chua 等人[50]使用RGB 通道控制投影強(qiáng)度,來(lái)隔離不同顏色通道,將通道分為最高強(qiáng)度通道(藍(lán)色通道)、中等強(qiáng)度通道(綠色通道)和最低強(qiáng)度通道(紅色通道)。在每個(gè)通道下都可獨(dú)立計(jì)算3D 數(shù)據(jù),達(dá)到增加測(cè)量動(dòng)態(tài)范圍的目的。
使用不同顏色條紋進(jìn)行多次投影時(shí),需要高刷新率的投影儀才能保證測(cè)量效率,對(duì)硬件要求較高。因此,國(guó)內(nèi)外學(xué)者還提出利用彩色相機(jī)拍攝單色條紋,再通過(guò)分離不同顏色通道實(shí)現(xiàn)HDR 測(cè)量。Yin 等人[51]從條紋圖像中分離出R、G、G 和B 通道的4 個(gè)單色子圖像,校準(zhǔn)R&G、G&B 通道之間的衰減比后,用4 個(gè)子圖像合成一幅HDR 的圖像,從而避免了不良曝光的影響。實(shí)驗(yàn)分析相位平均誤差(Phase Average Error,PAE)在0.03 rad 內(nèi)。Zheng 等人[52]將綠色二值條紋投射到被測(cè)物上,使用彩色相機(jī)拍攝兩張不同強(qiáng)度的條紋圖像,進(jìn)而分離出6 張單通道圖像,合成出1 幅HDR 圖像后進(jìn)行解碼。Liu 等人[53]將藍(lán)色條紋投影到待測(cè)物上,并利用彩色相機(jī)采集圖像。利用R、G、B 三通道對(duì)光線的響應(yīng)不同這一特性,將1 幅條紋圖像和1 幅常規(guī)圖像分成6 幅具有不同亮度級(jí)別的單色圖像。從每組圖像中選擇最亮但不飽和的對(duì)應(yīng)像素生成最終的HDR 圖案,對(duì)其進(jìn)行傅立葉解碼,可以對(duì)具有光澤表面的動(dòng)態(tài)物體進(jìn)行測(cè)量,實(shí)驗(yàn)對(duì)撕A4 紙的過(guò)程進(jìn)行測(cè)量,測(cè)量效果如圖11(彩圖見(jiàn)期刊電子版)所示。
圖11 Liu 所提方法的動(dòng)態(tài)物體測(cè)量結(jié)果[53]Fig.11 The measurement results of dynamic objects by Liu’s method[53]
基于顏色信息的HDR 技術(shù)需要對(duì)不同顏色通道進(jìn)行條紋編碼,后續(xù)還需逐個(gè)通道對(duì)相位信息進(jìn)行求解,再最終融合,因此算法編程復(fù)雜程度較高。但編程后算法運(yùn)行較快,可在一定程度上抑制反光的影響,滿足在機(jī)檢測(cè)的需求。當(dāng)被測(cè)的加工件具有復(fù)雜的紋理特征和多種顏色時(shí),此類方法會(huì)受到限制,測(cè)量精度有所下降。
除了對(duì)條紋圖案亮度進(jìn)行調(diào)整之外,國(guó)內(nèi)外學(xué)者還通過(guò)對(duì)投影圖案的編碼和解碼進(jìn)行調(diào)整,從而防止高反射引起的相位丟失。
Zhang 等人[8]首次提出了混合質(zhì)量的概念,以更全面地評(píng)估相位質(zhì)量。在混合質(zhì)量這一概念的指導(dǎo)下,對(duì)所有初始相位進(jìn)行加權(quán)融合,以獲得更精確的相位作為最終相位。Chen 等人[54]提出了一種相位求解方法,將同一頻率下存在飽和現(xiàn)象的幀去除,至少保留3 張有效條紋,用余下條紋進(jìn)行相位求解,其PAE 結(jié)果可在0.01 rad 內(nèi)。Jiang 等人[55]利用反向條紋和常規(guī)條紋的組合代替飽和條紋進(jìn)行相位恢復(fù),以減少相位誤差,相位RMSE 結(jié)果從0.29 rad 減少到0.02 rad。然而,在估算飽和像素時(shí),缺乏通用的公式。在Jiang 方法基礎(chǔ)上,Wang 等人[56]將反轉(zhuǎn)條紋和常規(guī)條紋的互補(bǔ)技術(shù)與廣義相移算法相結(jié)合,投影規(guī)則條紋和反向條紋兩組互補(bǔ)相移條紋。從兩組條紋圖中選擇相同相機(jī)像素處的所有非飽和強(qiáng)度值,并使用廣義相移算法檢索相位,可以同時(shí)減少因飽和像素和伽馬效應(yīng)引起的誤差。
使用正弦條紋投射時(shí),與條紋圖像在飽和區(qū)域的灰度值達(dá)到255 時(shí),出現(xiàn)截?cái)喱F(xiàn)象,不滿足正弦規(guī)律,使該區(qū)域的相位信息丟失,引起相位求解誤差。對(duì)于這一情況,在文獻(xiàn)[57]中提到,當(dāng)絕對(duì)相位范圍在[0,2π)時(shí),相位誤差σΦ可以表示為:
式中,σ是高斯分布噪聲的方差;N是相移步長(zhǎng);f是條紋頻率;B是條紋調(diào)制。
根據(jù)式(4)可知,在條紋調(diào)制固定的情況下,可以通過(guò)增加相移步長(zhǎng)和條紋頻率的方式降低相位誤差?;诖嗽恚珻hen 等人[58]通過(guò)模擬分析得出以下結(jié)論:當(dāng)相移步數(shù)N與條紋頻率P滿足整數(shù)倍關(guān)系時(shí),飽和情況下的條紋也可恢復(fù)精確的相位。He 等人[59]設(shè)計(jì)了一種棋盤(pán)式的高頻條紋圖案,在解碼過(guò)程中,通過(guò)交叉位置而不是單個(gè)圖像強(qiáng)度來(lái)提取編碼信息。所提方法具有較好的魯棒性,其測(cè)量精度在0.04 mm 內(nèi)。對(duì)于顯微結(jié)構(gòu)光三維測(cè)量方法,由于其景深較小,密集的高頻條紋容易出現(xiàn)散焦,從而影響測(cè)量結(jié)果。針對(duì)這一問(wèn)題,Hu 等人[60]提出一種多頻相移方案,采用相位融合的方式,用密度較低的條紋圖像計(jì)算絕對(duì)相位,代替飽和區(qū)域中不可用的相位,從而降低相位誤差的影響。所提方法可有效用于手表零件、封裝的芯片等微小反光物體的測(cè)量,測(cè)量結(jié)果如圖12(彩圖見(jiàn)期刊電子版)所示。
圖12 Hu 所提方法對(duì)微小反光物體測(cè)量結(jié)果[60]Fig.12 The measurement results of tiny reflective objects by Hu’s method[60]
除此之外,國(guó)內(nèi)外學(xué)者還曾通過(guò)投射格雷碼圖案,解決因高反光引起的解碼誤差。格雷碼采用的是二值編碼方式,具有較好的保邊性,能很好地測(cè)量具有非均勻反射率和高亮區(qū)域表面的三維形貌[61]。Song 等人[62]在傳統(tǒng)格雷碼的基礎(chǔ)上,額外投影了一組黑白翻轉(zhuǎn)的條紋圖像。他們利用改進(jìn)的邊緣檢測(cè)算法實(shí)現(xiàn)了亞像素定位,解決了因高反光導(dǎo)致條紋周期性模糊的問(wèn)題。Lu 等人[63]提出一種錯(cuò)位格雷碼的編碼策略。通過(guò)獲取邊界相互交錯(cuò)的編碼圖案,并通過(guò)降低單周期解碼次序的子域解相階數(shù),獲取正確的條紋階次順序。該方法有效降低了不均勻反射所導(dǎo)致的格雷碼邊界相位的階躍誤差。
對(duì)于條紋圖像編碼和解碼的方式,雖然無(wú)需復(fù)雜的算法,但是對(duì)于加工場(chǎng)景的復(fù)雜光線環(huán)境適用性較差。格雷碼作為一種二值化編碼方式所含信息量較少,且邊緣部分易產(chǎn)生階躍誤差,不適合高精度的測(cè)量。此外,利用高頻率正弦條紋和增加相移的方法,會(huì)使整體測(cè)量時(shí)間增加,不利于在機(jī)檢測(cè)。
近些年,隨著人工智能的快速發(fā)展,國(guó)內(nèi)外學(xué)者將深度學(xué)習(xí)等方法應(yīng)用于結(jié)構(gòu)光測(cè)量領(lǐng)域[64]。在圖像預(yù)處理[65-66]、彩色條紋顏色通道分離[67-68]、高速動(dòng)態(tài)測(cè)量[69]等方面進(jìn)行了大量研究。深度學(xué)習(xí)的應(yīng)用,將基于物理模型的傳統(tǒng)思維轉(zhuǎn)為基于數(shù)據(jù)模型驅(qū)動(dòng)的智能化思維,為HDR 結(jié)構(gòu)光在機(jī)測(cè)量提供了新的解決方案。
Liu 等人[70]提出了一種基于支持向量機(jī)算法的智能條紋投影技術(shù)。通過(guò)訓(xùn)練不同表面的曝光時(shí)間和飽和像素?cái)?shù),僅將一個(gè)灰度模式投影到測(cè)試表面上,即可預(yù)測(cè)合適的曝光時(shí)間。所提方法用于電子束增材制造(Electron Beam Additive Manufacturing,EBAM)的在機(jī)檢測(cè)中(如圖13 所示),該方法可以有效測(cè)量高反光曲面的金屬粉末熔化狀態(tài)和表面缺陷,并將測(cè)量結(jié)果反饋到制造過(guò)程中,從而提高了加工質(zhì)量。
圖13 EBAM 機(jī)床結(jié)構(gòu)光在機(jī)檢測(cè)設(shè)備[70]Fig.13 On-machine detection equipment with structured light in EBAM machine tool[70]
彭廣澤等人[71]基于CNN 對(duì)條紋高光圖像進(jìn)行修復(fù)。將兩個(gè)曝光條件下的條紋圖像進(jìn)行融合,確定迭代修復(fù)算法的初值,然后通過(guò)所提算法對(duì)局部高光區(qū)域進(jìn)行快速修復(fù)。Yang 等人[72]設(shè)計(jì)了一種基于條紋調(diào)制的“檢測(cè)-修復(fù)”網(wǎng)絡(luò)結(jié)構(gòu)(如圖14 所示)。該結(jié)構(gòu)由低調(diào)制區(qū)檢測(cè)模塊和條紋增強(qiáng)模塊組成。通過(guò)低調(diào)制區(qū)檢測(cè)模塊準(zhǔn)確分割出低調(diào)制區(qū)域,然后引入到條紋增強(qiáng)模塊中,再將條紋圖的高階特征和低階特征進(jìn)行融合,從而可以預(yù)測(cè)低調(diào)制區(qū)的條紋分布。兩個(gè)模塊的結(jié)合可以恢復(fù)條紋圖的飽和區(qū),增強(qiáng)暗區(qū)的條紋信息。對(duì)量塊的測(cè)量結(jié)果表明,采用該結(jié)構(gòu)可以使RMSE 結(jié)果由0.55 mm 降至0.06 mm。
圖14 高動(dòng)態(tài)范圍條紋圖像改善網(wǎng)絡(luò)[72]Fig.14 High dynamic range fringe pattern improvement network[72]
上述文獻(xiàn)是通過(guò)深度學(xué)習(xí)的方法對(duì)高動(dòng)態(tài)條紋圖像進(jìn)行修復(fù),以消除高反射和低亮度的影響,從而根據(jù)修復(fù)的條紋圖像求解準(zhǔn)確的相位,得到三維模型。除此類方法之外,國(guó)內(nèi)外學(xué)者還提出通過(guò)直接預(yù)測(cè)相位的方式實(shí)現(xiàn)HDR 測(cè)量。Qiao 等人[73]將深度學(xué)習(xí)應(yīng)用于PMD 技術(shù)中,從單個(gè)條紋圖中提取鏡面的相位信息,該方法用到兩個(gè)神經(jīng)網(wǎng)絡(luò)(CNN1 和CNN2)。CNN1 用于預(yù)測(cè)輸入條紋圖像的背景強(qiáng)度,再將原條紋和背景強(qiáng)度輸入到CNN2 中,預(yù)測(cè)相位主值的分子和分母。Zhang 等人[74]利用深度學(xué)習(xí)強(qiáng)大的計(jì)算能力,基于CNN 預(yù)測(cè)相位主值,消除HDR 引起的相位誤差。訓(xùn)練的數(shù)據(jù)集為2 880 個(gè)條紋圖像。所提方法不僅適用于高反射率的被測(cè)物,而且對(duì)低反射率物體也適用。RMSE 測(cè)量結(jié)果為0.057 8 mm,與三步相移法相比降低了53.5%,同時(shí)滿足高速動(dòng)態(tài)測(cè)量要求。
通過(guò)深度學(xué)習(xí)方法解決HDR 測(cè)量,可以提高測(cè)量效率,并在一定程度上提高測(cè)量精度,可用于加工時(shí)的在機(jī)檢測(cè)。但是,相關(guān)算法的復(fù)雜程度較高,建立數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)模型需要大量時(shí)間。而且,前期準(zhǔn)備工作量較大,且測(cè)量結(jié)果過(guò)于依賴訓(xùn)練模型的種類和數(shù)量;訓(xùn)練模型少會(huì)導(dǎo)致測(cè)量精度降低;當(dāng)訓(xùn)練模型足夠多時(shí),又會(huì)增加訓(xùn)練時(shí)間以及其他成本。
根據(jù)算法思路、算法復(fù)雜程度和測(cè)量精度,對(duì)基于條紋算法的HDR 技術(shù)對(duì)比列于表3。由于不同學(xué)者采用的精度指標(biāo)有所差異,根據(jù)不同文獻(xiàn)從平均偏差、相位偏差、均方根偏差方面對(duì)精度范圍進(jìn)行了總結(jié)。
表3 基于條紋算法的HDR 技術(shù)對(duì)比Tab.3 Comparison of HDR technologies based on fringe algorithm
上述已對(duì)HDR 結(jié)構(gòu)光測(cè)量技術(shù)從硬件設(shè)備和條紋算法兩方面進(jìn)行了分類和綜述。表4 結(jié)合加工零件在機(jī)檢測(cè)的關(guān)鍵問(wèn)題,如光線條件適應(yīng)性、系統(tǒng)硬件設(shè)備和檢測(cè)效率,對(duì)技術(shù)特點(diǎn)進(jìn)行總結(jié)。
表4 各類HDR 測(cè)量技術(shù)總結(jié)Tab.4 Summary of various HDR measurement technologies
將HDR 結(jié)構(gòu)光測(cè)量技術(shù)應(yīng)用于在機(jī)檢測(cè)中,與傳統(tǒng)的FPP 技術(shù)相比,該技術(shù)更為靈活,可實(shí)現(xiàn)對(duì)復(fù)雜場(chǎng)景的檢測(cè)。應(yīng)用于機(jī)械加工、航空航天、汽車(chē)裝備等領(lǐng)域時(shí),可提高作業(yè)效率,推動(dòng)工業(yè)智能化,具有較高的應(yīng)用價(jià)值。
(1)智能制造加工-檢測(cè)一體化
機(jī)械制造業(yè)是工業(yè)發(fā)展的基礎(chǔ),將結(jié)構(gòu)光設(shè)備與機(jī)床配合,應(yīng)用于工件的切削、拋光、輪廓識(shí)別、裝配等工藝中,實(shí)現(xiàn)加工-檢測(cè)一體化,避免了零件反復(fù)拆卸產(chǎn)生變形和定位誤差,從而提高了加工效率和精度。HDR 技術(shù)可有效抑制反光帶來(lái)的不利影響,有助于判斷刀具磨損、零件過(guò)切、欠切和表面質(zhì)量,實(shí)現(xiàn)超精密加工和無(wú)人化智能工廠。
(2)極端尺寸工件的精密測(cè)量
對(duì)極大和極小零件進(jìn)行精密測(cè)量是儀器測(cè)量領(lǐng)域的難點(diǎn)。對(duì)于飛機(jī)機(jī)翼、汽車(chē)車(chē)身、汽輪機(jī)葉片等極大尺寸的待測(cè)件,無(wú)需將零件拆卸,可通過(guò)結(jié)構(gòu)光設(shè)備與機(jī)械臂配合,進(jìn)行路徑規(guī)劃后逐視點(diǎn)檢測(cè),所測(cè)數(shù)據(jù)再通過(guò)點(diǎn)云拼接得到完整三維模型;而對(duì)于芯片、光學(xué)鏡片等毫米級(jí)尺寸的待測(cè)件,可將FPP 技術(shù)與顯微鏡結(jié)合,實(shí)現(xiàn)小視場(chǎng)高精度的測(cè)量[75]。HDR 技術(shù)可有效提高測(cè)量精度,為零件缺陷檢測(cè)及維護(hù)、增材制造提供準(zhǔn)確的三維數(shù)據(jù)。
(3)醫(yī)工結(jié)合領(lǐng)域的精密測(cè)量
FPP 技術(shù)廣泛應(yīng)用于生物醫(yī)學(xué)領(lǐng)域,為人臉識(shí)別、醫(yī)學(xué)診斷提供了新的技術(shù)支持。相關(guān)學(xué)者采用雙目結(jié)構(gòu)光自適應(yīng)光柵算法對(duì)術(shù)中肝臟表面進(jìn)行三維重建,并對(duì)腫瘤進(jìn)行精確定位[76]。使用HDR 條紋投影技術(shù)對(duì)口腔、骨骼等部位進(jìn)行三維重建,可直接應(yīng)用于臨床診斷和手術(shù)中,無(wú)需指定暗房場(chǎng)地進(jìn)行掃描,提高了診斷效率和建模精度,為后續(xù)治療提供了新的途徑。
(4)大口徑鏡面、類鏡面物體精密測(cè)量
天文望遠(yuǎn)鏡鏡片、反射鏡鏡片等大口徑鏡面、類鏡面物體在軍用、民用、天文等領(lǐng)域起到重要作用,其加工主要包括銑磨成型、研磨和拋光三個(gè)階段,每道工序完成后,都需對(duì)表面進(jìn)行精密測(cè)量,判斷是否滿足加工要求。研磨階段后常采用輪廓檢測(cè)法進(jìn)行面型測(cè)量,拋光后采用光學(xué)干涉法進(jìn)行測(cè)量。對(duì)于從研磨到拋光的過(guò)渡階段,輪廓檢測(cè)儀受到精度限制,且測(cè)量時(shí)間較長(zhǎng);而光學(xué)干涉儀動(dòng)態(tài)范圍小,難以覆蓋全口徑檢測(cè),兩種方法都具有局限性。此時(shí),考慮到條紋反射法具有成本低、精度高、測(cè)量速度快的特點(diǎn),可有效銜接輪廓檢測(cè)和光學(xué)干涉檢測(cè)的面形誤差測(cè)量范圍,實(shí)現(xiàn)對(duì)大口徑鏡面、類鏡面物體的全口徑在機(jī)檢測(cè)。
(1)復(fù)雜屬性及復(fù)雜光照環(huán)境的適應(yīng)性
復(fù)雜屬性表面和復(fù)雜光照環(huán)境對(duì)HDR 結(jié)構(gòu)光技術(shù)的影響是具有重要研究意義和挑戰(zhàn)性的課題。在未來(lái)技術(shù)研究中,針對(duì)被測(cè)物尺寸(極大、極?。?、表面屬性(如純鏡面反射、鏡面反射與漫反射結(jié)合、大曲率鏡面以及透明屬性等)和測(cè)量環(huán)境(日光環(huán)境、暗房環(huán)境、環(huán)境光影響等)進(jìn)行參數(shù)選擇,使所研究技術(shù)具有更高的適用性是重要突破方向。
(2)使用機(jī)械臂進(jìn)行視點(diǎn)、路徑規(guī)劃
結(jié)構(gòu)光設(shè)備與機(jī)械臂配合是實(shí)現(xiàn)在機(jī)檢測(cè)的重要條件,對(duì)待測(cè)件進(jìn)行合理的視點(diǎn)、路徑規(guī)劃,可提高檢測(cè)效率。在已知CAD 模型的條件下,需要綜合考慮視點(diǎn)數(shù)量和測(cè)量精度,要在保證測(cè)量精度的前提下保證測(cè)量效率。在未知CAD 模型的條件下,需要準(zhǔn)確預(yù)判下一視點(diǎn)范圍,保證視點(diǎn)選擇的合理性。同時(shí),如何在機(jī)械臂運(yùn)動(dòng)時(shí)避免機(jī)床顫振、機(jī)械臂抖動(dòng)對(duì)測(cè)量精度的影響,也是近些年的研究熱點(diǎn)。
(3)深度學(xué)習(xí)智能算法的應(yīng)用
深度學(xué)習(xí)技術(shù)的成熟也為工業(yè)領(lǐng)域提供了新的解決方案。在HDR 結(jié)構(gòu)光技術(shù)中,將深度學(xué)習(xí)應(yīng)用于位置標(biāo)定、圖像處理和相位預(yù)測(cè),對(duì)于數(shù)據(jù)集的采集、訓(xùn)練機(jī)制和優(yōu)化等方面都是重點(diǎn)研究對(duì)象。目前,此類方法處于研究初期,雖然給結(jié)構(gòu)光測(cè)量技術(shù)帶來(lái)了實(shí)質(zhì)性的改進(jìn),但同時(shí)也需評(píng)估在特定任務(wù)中使用大量數(shù)據(jù)和計(jì)算資源的經(jīng)濟(jì)性與可靠性。
(4)動(dòng)態(tài)測(cè)量與在機(jī)檢測(cè)結(jié)合
結(jié)合結(jié)構(gòu)光系統(tǒng)的測(cè)量原理,目前的在機(jī)加工測(cè)量更多是針對(duì)某道工序結(jié)束后,暫停加工,在短時(shí)間內(nèi)進(jìn)行形貌等質(zhì)量檢測(cè)。使用現(xiàn)有的商用硬件設(shè)備進(jìn)行在機(jī)檢測(cè)時(shí),常采用相移法模式,且對(duì)于具有高反光特性的金屬零件需在表面噴涂層,影響了加工效率、自動(dòng)化和智能化程度,實(shí)時(shí)性較差,不利于及時(shí)反饋測(cè)量結(jié)果以及對(duì)加工參數(shù)進(jìn)行補(bǔ)償修正。將動(dòng)態(tài)測(cè)量應(yīng)用于在機(jī)檢測(cè)中,可邊加工邊檢測(cè),克服了現(xiàn)有力傳感器等的安裝尺寸的局限,有助于進(jìn)一步提高效率并及時(shí)修正加工參數(shù)。使用傅立葉輪廓術(shù)(Fourier Transform Profilometry,FTP),可通過(guò)單張條紋圖像求解得到三維模型,但是測(cè)量精度較低。在未來(lái)的研究中,可將高速相機(jī)、高速投影儀的硬件設(shè)備與深度學(xué)習(xí)、HDR 技術(shù)、FTP 技術(shù)等算法相結(jié)合。在完成動(dòng)態(tài)測(cè)量的同時(shí),進(jìn)一步提高測(cè)量精度。
近年來(lái),F(xiàn)PP 測(cè)量技術(shù)廣泛應(yīng)用于航空發(fā)動(dòng)機(jī)葉片、汽輪機(jī)葉片等復(fù)雜曲面零件的在機(jī)檢測(cè)中,是以滿足國(guó)家需求為導(dǎo)向的先進(jìn)制造技術(shù)。針對(duì)金屬零件加工時(shí),所處環(huán)境光線復(fù)雜且自身具有高反光的問(wèn)題,采用HDR 技術(shù)與FPP 在機(jī)測(cè)量技術(shù)結(jié)合,可有效抑制相關(guān)影響。
本文首先介紹了條紋結(jié)構(gòu)光的測(cè)量原理,總結(jié)出HDR 結(jié)構(gòu)光在機(jī)檢測(cè)面臨的重點(diǎn)問(wèn)題。其次,回顧了國(guó)內(nèi)外學(xué)者近幾年對(duì)HDR 結(jié)構(gòu)光技術(shù)的研究進(jìn)展,將其綜述為基于硬件設(shè)備的HDR 技術(shù)和基于條紋算法的HDR 技術(shù)兩大類。然后,結(jié)合在機(jī)檢測(cè)的條件需求,對(duì)各類技術(shù)進(jìn)行總結(jié),比較不同方法的優(yōu)缺點(diǎn)和在機(jī)檢測(cè)的適用性,為不同技術(shù)的應(yīng)用提供一定的指導(dǎo)。最后,結(jié)合近年來(lái)工業(yè)制造和精密測(cè)量的研究熱點(diǎn),進(jìn)行潛在應(yīng)用分析,并提出技術(shù)展望。HDR 結(jié)構(gòu)光在機(jī)檢測(cè)技術(shù)是一種極具研究?jī)r(jià)值的測(cè)量技術(shù),對(duì)智能制造、精密測(cè)量的發(fā)展起到推動(dòng)作用。在未來(lái),進(jìn)一步提高HDR 結(jié)構(gòu)光在機(jī)檢測(cè)技術(shù)的測(cè)量效率和精度,具有更高的研究?jī)r(jià)值和發(fā)展?jié)摿Α?/p>