基于機器視覺的平面透明元件測量方法研究

Abstract： The article proposes a machine vision based method for measuring planar transparent components to address issues such as unclear features and low measurement accuracy in large fields of view.This method mainly includes two parts： two-dimensional information measurement of planar transparent elements and height information measurement. Adding feature backgrounds to enhance the texture information of planar transparent elements，and based on this，an image registration method using SURFcorner detection is proposed to achieve high-precision image stitching in a large field of view environment. An improved binarization method is also proposed to remove feature backgrounds and restore image information. Combined with contour detection and rectangular contour recognition techniques，two-dimensional information of planar transparent elements is obtained. At the same time， a laser projection device is introduced to achieve high-precision detection of laser ectopic imaging on the upper and lower surfaces of planar transparent elements through grayscale centroid method and improved bilateral filtering method，and obtain height information of planar transparent elements based on the principle of refraction. The experimental results show that the accuracy of two-dimensional detection is5 microns，with arelative error kept below 0.02% .Theaccuracyofheight detection is 50 microns， with a relative accuracy kept below 0.78% ，achieving high-precision measurement of planar transparent components in a large field of view.

Keywords： machine vision; transparent component; image processing; grayscale centroid method

0 引言

多色成像與無縫光譜巡天項目中的無縫光譜組件主要任務(wù)是完成巡天觀測任務(wù)中的無縫光譜觀測。因此作為重要組件的平面透明元件光柵的準確安裝至關(guān)重要。光柵的位置精度和角度誤差會影響光譜分辨率、成像質(zhì)量和光譜效率。

傳統(tǒng)的人工裝配的方式，操作困難復(fù)雜，依賴于裝配人員的長期經(jīng)驗，實現(xiàn)難度較高。因此為實現(xiàn)機器化的裝配自標，首先需要獲得高精度的平面透明元件光柵的三維信息。本文基于此進行了基于視覺的平面透明元件三維高精度測量方法研究。

針對透明元件三維重建技術(shù)，目前已有許多研究。例如KUTULAKOSKN等人[1]基于光線與光線對應(yīng)關(guān)系，分析了通過三角測量方法重建透明物體的可能性，并且將該問題按照光線經(jīng)過物體的折射次數(shù)分類為（N，M，K問題，通過不同的（NM，K來分析三維重建的可能性。MURASEH等[2]利用單一視角及水下未知圖案，通過光流法提取信息分析失真圖像，提出了一種基于表面法線重建透明目標的方法。此外ABERMANK等人[3]還嘗試了通過侵入式的方式來實現(xiàn)透明元件的三維檢測。

雖然以上方法都提供了良好的透明元件檢測的處理思路，但針對平面透明光柵的檢測仍存在以下問題。1）光路復(fù)雜，實際的實驗效果對實驗環(huán)境依賴度較高。2）檢測精度較低，不能達到高精度的測量目的。3）浸人式的三維檢測方法可能對透明元件本身造成結(jié)構(gòu)性改變或者損傷，因此這種方法并不適用于光柵等精密光學(xué)元件。

基于上述問題，本文提出了一種結(jié)合了機器視覺及激光的平面透明元件三維測量方法。測量實驗環(huán)境與設(shè)備如圖1所示。針對平面透明元件具有較好的檢測效果，優(yōu)點如下。

1）基于平面透明元件的特點，使用主動激光打光的方式獲取元件的高度信息，對元件影響極小，實驗裝置簡單。線激光輪廓傳感器[4容易收到反光表面的干擾，故很難測量透明元件的高度信息；激光雷達測量精度相對較低，且相對成本較高，數(shù)據(jù)處理復(fù)雜。

2）采用圖像拼接的形式，擴大了相機拍攝范圍，同時增強了圖像細節(jié)，為元件的高精度測量奠定良好基礎(chǔ)。

1相關(guān)工作

針對圖像的獲取，CCD（chargecoupleddevice，感光耦合組件）相機獲取圖像的視場大小，與其每個像素的像元大小息息相關(guān)。在分辨率相同的條件下，相機視場越大，像元也越大，但與此同時像元的密度也越低，這使得圖像的細節(jié)信息相應(yīng)減少。因此較大的視場和較多的細節(jié)往往是不可兼得的。為了解決平面透明元件大視場下的高精度的測量，將多幅圖像精準拼接也是至關(guān)重要的一步。拼接的精度直接影響測量的精度。典型的基于圖像拼接算法有Harrisl5角點檢測、SIFT（scale-invariantfeaturetransform尺度不變特征轉(zhuǎn)換）特征檢測[、SURF（speededupRobustfeatures，加速穩(wěn)健特征）特征檢測[7]以及 ORB （oriented FAST and rotated brief） 特征檢測[8]等。

基于SURF的圖像拼接方法具有抗干擾性強實時性高等優(yōu)點，故SURF的圖像拼接方法對本文高精度的拼接要求適配性較高，為增加平面透明元件紋理信息，本文通過添加特征背景的方式提高匹配成功率，同時提出了一種基于二值化的背景剔除方法，從而可以最大程度上還原圖像信息。

針對輪廓提取，傳統(tǒng)意義上的邊緣檢測方法例如canny算子[9]、Sobel算子[10]等，最終目的是檢測出圖像中像素的梯度變化位置。而本文探討的平面透明元件的二維檢測則更側(cè)重于對其輪廓信息的提取，因此采用了自適應(yīng)閾值[11]檢測結(jié)合輪廓提取的方式，該方法能有效的抑制噪聲影響，提高檢測精度。

針對主動激光照射下激光條紋的識別，主要有細化法、極值法、高斯曲線擬合法[12-13]和灰度重心法[14-15]等檢測方法。其中灰度重心法減小了光條紋灰度分布不均勻?qū)е碌恼`差，具有較高的中心線提取精度，同時運算速度快，實時性好，因此本文選擇了灰度重心法作為主要的提取手段。同時為了弱化噪聲對灰度重心法的影響，提出了一種改進的雙邊濾波[16方法，使得保留細節(jié)信息的同時盡可能的降低噪聲的影響。

2平面透明元件三維測量

2.1 圖像拼接

圖像的拼接[17-18]主要包括特征點匹配、圖像融合兩個部分。其中特征點的正確匹配對于圖像的高精度融合極為重要。常用的圖像拼接方法主要依靠像素特征點來完成，在實際的特征檢測及匹配過程中極易產(chǎn)生誤匹配的情況，這將大大影響實驗的精度。因此本文引入機器臂移動平臺，通過機器臂和圖像結(jié)合的方式，控制角點匹配的范圍，這將極大減少計算量，并提高匹配精度。

圖像拼接示意圖如圖2所示。假設(shè)相機跟隨機器臂在 x 方向移動，拍攝的一系列圖像為imgl、img2...，y 方向同理。其中灰色區(qū)域即理論上img1、img2的重疊區(qū)域， a 為灰色區(qū)域?qū)挾?，即機械臂每次移動的距離， b 為拍攝的圖片總寬度，如圖2（a）所示，點A為已檢測出的圖img1上某一待匹配特

征點。

一般情況下，基于SURF角點檢測的圖像配準方法采用快速近似最近鄰庫（fastlibraryforapproximatenearestneighbors，F(xiàn)LANN）匹配算法來實現(xiàn)。對于img1上的特征點A，通過搜索img2上已檢測出的所有特征點來完成配準，如圖2（b）所示。該方法拼接一次計算量較大，匹配精度隨著圖像寬度 b 的增大也會有所下降，因此相比完全依靠特征點匹配的配準方式，結(jié)合了機器臂移動距離及特征點匹配的方式，將匹配范圍限制在灰色區(qū)域，將獲得更好的精度和更快的處理速度，如圖2（c）所示。同時該方式也摒除了完全依靠機器臂移動距離拼接方式對硬件環(huán)境的極高要求。

2.2 輪廓檢測

平面透明元件的二維測量要求精準檢測出元件的輪廓信息。傳統(tǒng)邊緣檢測方法雖然在像素等突變處的檢測效果較好，但相對于噪聲敏感，對元件整體的輪廓檢測較弱。因此本文結(jié)合了自適應(yīng)閾值濾波和輪廓跟蹤算法，極大的減少了背景和目標內(nèi)部的紋理以及噪聲干擾的影響。

為移除格子背景信息，減少輪廓信息檢測的干擾，提出了一種基于OTSU（最大類間差法）二值化[19]的改進方法，能有效剔除透明元件中的背景信息。

OTSU是一種經(jīng)典的閾值選取辦法，使用一個灰度級為 k 的門限將這些像素點劃分為兩類：CO和C1（背景和目標）。并通過判別式分析法中類的分離性測量法作為選取最佳門限，即最佳閾值。原理如下：

x 指代為 0，1，μ_x 表示各類的平均灰度級：

σ_B²=w₀w₁（μ₁-μ₀）²

式中： μ_T ——總平均灰度;

σ_T² （204號 -灰度級的總方差；σ_B² 類間方差：

根據(jù)標準判別公式（4），求 η 的最大值時， σ_T² 的取值與 k 無關(guān)，因此問題簡化為求 σ_B² 最大的單目標函數(shù)，如公式（5）所示， k 取值得式（5）最大為獲得的最佳閾值。

σ_B²（k^*）=max_1?k?Lσ_B²（k）

基于對最佳閾值的提取，提取圖片中符合閾值條件的前景像素矩陣 arr[] ，結(jié)合直方圖統(tǒng)計方法，統(tǒng)計出圖片中占比最大的像素值，將矩陣arr[]的所有像素替換成該像素值。最后通過濾波的方式，平滑圖片，完成對格子背景的剔除。效果如圖3所示。

圖3（a）為未剔除背景原圖，圖3（b）為根據(jù)閾值篩選出的前景像素矩陣arr是圖像，即需要剔除的背景部分，圖3（C為最終剔除效果圖像，效果較好。

對于輪廓的提取，本文利用自適應(yīng)閾值強化邊緣并獲得二值圖像，在二值圖像基礎(chǔ)上應(yīng)用輪廓跟蹤算法[20]提取和跟蹤輪廓。

輪廓跟蹤是處理數(shù)字化二進制圖像中的基本技術(shù)之一，用于提取邊界的坐標序列或鏈碼。算法實現(xiàn)流程如圖4所示，NBD為邊界序號，標記輪廓邊界及類型。

外輪廓及孔輪廓判別標準如表1所示。

2.3 高度檢測

針對透明元件的特殊性，其表面缺乏必要的紋理信息，且光路極易發(fā)生折射和反射。適用于普通物體的三維重建方法強依賴于物體的表面信息，并不能在透明物體上有較好的效果。因此引入線激光方法[21-22]，通過激光線投影在透明元件上下表面的成像來計算元件的高度信息

主要的激光線投影成像及計算原理如圖5所示，激光線成像實驗圖如圖6所示。

激光器的光在透明元件上表面時成實像為 P 經(jīng)過透明元件的折射效果，光透過元件上表面在下表面成實像 P₁ 。通過相機拍攝最終成像在圖像中的 P^′ 及 P₁^′ 位置。 θ 為激光器入射角度， θ^′ 表示激光線在投過透明元件折射后的折射角， d 為透明元件的高度值。此時通過圖像，就可以知道兩條光線成像的像素坐標。

結(jié)合圖5，由折射公式可知：

其中 n 為折射率（已知），入射角 θ 取決于可調(diào)節(jié)的激光器的位置，可利用已知厚度的標準塊（標準塊的長寬高尺寸一定且表面平整光滑）完成角度標定，計算出入射角 θ ；經(jīng)過坐標轉(zhuǎn)換可計算知道光線 P 及P₁ 的坐標位置 P（x_P，y_P，z_P） ，以及 P₁（x_P1，y_P1，z_P1） ；根據(jù)三角關(guān)系，可以計算出透明元件高度d為：

平面透明元件的高度測量取決于激光在元件上下表面的成像 P^′ 及 P₁^′ 位置，但測量的精度取決于對于激光線中心的提取。如何將寬度大于1像素的激光線用一根像素寬度為1的中心線表示出來是需要探究的重中之重。

針對激光中心，本文通過灰度重心法完成提取?；叶戎匦姆ň哂兴俣瓤炀雀叩葍?yōu)點，通過逐行計算，在行坐標的方向上提取光條紋區(qū)域的灰度重心點，以此來準確確定光條紋的中心點位置。將每個截面的光條紋中心點進行擬合，最終形成光條紋的中心線，從而實現(xiàn)對光條紋的定量描述和分析。計算灰度重心公式如下：

式中： u，ν? 1 -圖像行、列；

x_ν ——v列的灰度重心坐標;

I（u，ν） ——該點像素值。

灰度重心法對于像素的分布非常敏感，而激光器的打光在圖片獲取時會產(chǎn)生大量的椒鹽噪聲，影響激光線的提取。為了降低噪聲對灰度重心法的影響，提出了一種改進的雙邊濾波方法，盡量在保留邊緣細節(jié)的同時，消除椒鹽噪聲的影響。

雙邊濾波是一種基于高斯濾波的加權(quán)平均濾波方式，優(yōu)點在于權(quán)重的選取不僅考慮了像素的歐氏距離，還考慮了像素范圍域中的輻射差異。

w（i，j，k，l）=d（i，j，k，l）×r（i，j，k，l）

其中 w（i，j，k，l） 為雙邊濾波器模板，其權(quán)值由空間域核 d（i，j，k，l） 及顏色域核 r（i，j，k，l） 組成。 r 越大像素躍變越小，代表非邊緣；反之則代表邊緣。當 r 較大時值趨近于1， w 相當于高斯濾波； r 當較小時， w 的權(quán)重被相應(yīng)拉小，濾波效果減弱。

為了減少椒鹽噪聲，同時保留雙邊濾波保持邊緣細節(jié)的作用，本文在雙邊濾波中引入了中值平滑。對于權(quán)重 w 的選取，引入一個閾值ratio，當 r 取值大于ratio時，仍舊依照公式（11）的權(quán)重 w 進行濾波；當 r 取值小于ratio時，引入中值平滑濾波，選取領(lǐng)域內(nèi)的中值替換原理的像素值完成濾波，效果如圖7所示。改進的雙邊濾波方法核在過濾噪聲及保留圖像邊緣細節(jié)方面都表現(xiàn)出良好效果，能夠?qū)崿F(xiàn)對椒鹽噪聲的有效抑制。

3實驗與結(jié)果

為論證本文的三維檢測方法的精度，將從二維信息測量、高度測量兩個方面進行實際方法測試。

3.1 二維信息測量

元件的準確測量有賴于其高精度的拼接效果，本文將 4×4 的原始圖像拼接為完整圖像并去除背景的實際效果如圖8所示，

利用輪廓跟蹤算法及霍夫矩陣，檢測出透明元件二維信息如圖9所示。

實驗的識別效果較好，輪廓連續(xù)無斷聯(lián)，無大量零散的孤立邊緣點。為了進一步測試該方法的實際精度，通過圖像坐標及世界坐標的轉(zhuǎn)換，計算出待測量的透明元件實際長度、寬度。兩組實驗結(jié)果如表2所示。

從實驗結(jié)果可以看出，絕對誤差在 0.005mm 以內(nèi)，相對誤差保持在 0.02% 以下。因此對透明元件的二維信息檢測準確度為 5μm ，在機器臂移動準確度為 0.02mm 的情況下，完成了微米級高精度測量。

3.2 高度信息測量

為了獲得激光線準確的入射角度，利用標準塊進行激光線的標定。根據(jù)公式（6）、（7），在已知玻璃塊厚度 d 的條件下，反推出此時激光線的入射角度θ ，示意圖如圖10所示。

兩條激光線的偏差如圖11（a），利用灰度重心法將繪制圖像重心如圖11（b），為了更好地計算激光線之間的距離，利用RANSAC（randomsampleconsensus，隨機樣本一致算法）直線檢測法擬合直線，剔除異常點后繪制直線圖如圖11（c）所示。

變換不同入射角度的激光線，得出幾組實驗結(jié)

果如表3所示。

從上述的實驗結(jié)果可以看出，檢測精度較高，相交于人工采用千分尺的結(jié)果，相對誤差保持在1% 以內(nèi)，符合高精度測量的實驗要求。

4結(jié)束語

本文針對透明元件在大視場下的高精度測量，提出了一種基于圖像拼接和邊緣跟蹤的二維信息測量方法及一種基于線激光折射的高度信息測量方法，實現(xiàn)了透明元件的高精度測量。最終的二維信息準確度為 5μm ，高度信息準確度為 50μm 。此外，本文為非接觸式的透明元件高精度三維測量提供了一種新的研究思路及方法。

參考文獻

[1]KUTULAKOSKN，STEGERE.A theoryof refractive and specular3Dshapebylight-path triangulation[J].International Journal ofComputerVision，2008，76：13-29.

[2]MURASE H. Surface shape reconstruction of an undulating transparent object[C]. International Conference on Computer Vision.Ieee，1990.

[3]ABERMANK，KATZIR O， ZHOU Q， et al.Dip transform for 3D shapereconstruction[J]. ACMTransactionson Graphics（TOG），2017，36（4）： 1-11.

[4]黃斌，王寅昊.激光傳感器和機器視覺的復(fù)雜運動動作識別 方法[J].激光雜志，2023，44（10）：217-224. HUANG B， WANG Y H. Complex motion recognition method based on laser sensor and machine vision[J].Lasers Journal，2023，44（10）： 217-224.

[5]HARRIS C， STEPHENS M. A combined corner and edge detector[C].Alveyvisionconference，1988，15（50）：10-5244.

[6]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[7]HERBERT B，ANDREAS E. Speeded-up robust features （SURF）[J]. Computer Vision and Image Understanding， 2008，346-359.

[8]RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF[C]. International Conference on Computer Vision. Ieee，2011： 2564-2571.

[9] CANNY J. A computational approach to edge detection[J]. IEEETransactionson pattern analysis and machine intelligence， 1986（6）： 679-698.

[10] SOBEL I， FELDMAN G.A 3x3 isotropic gradient operator forimage processing[J].A talk at the Stanford Artificial Project， 1968： 271-272.

[11] BERNSE J. Dynamic thresholding of grey-level images[C]. In Proc.8th International Conference on Pattern Recognition， 1986：1251-1255.

[12] 趙崢，丁飛，李澤群，等.基于限定搜索高斯曲面擬合的星點 質(zhì)心提取算法[J].中國測試，2023，49（12）：54-59. ZHAO Z， DING F，LI Z Q，et al. Star centroid extraction algorithm based on limited search Guassian surface fitting[J]. ChinaMeasurementamp;Test，2023，49（12）：54-59.

[13]巴國鑫，季杭馨，章華濤，等.零級像無縫光譜儀波長定標方 法研究[J].中國測試，2023，49（12）：60-66. BA G X， JI H X， ZHANG H T， et al. Research on wavelength calibration method of slitless spectrometer based on zero-order image[J].China Measurement amp; Test，2023，49（12）： 60-66.

[14] ASSEN HC，EGMONT-PETERSEN M，REIBER JH. Accurate object localization in gray level images using the center of gravity measure： accuracy versus precision[J]. IEEE Transactions on Image Processing， 2002， 11（12）： 1379-1384.

[15]熊飛，戴松新，丁飛，等.天文光譜儀非完整光斑導(dǎo)星定位算 法[J].中國測試，2023，49（12）：47-53. XIONG F，DAI S X， DING F， et al. Non-integral speckle star positioning algorithm for astronomical spectrometer[J]. China Measurement amp;Test， 2023，49（12）： 47-53.

[16] TOMASI C， MANDUCHI R. Bilateral filtering for gray and color images[C]. Sixth International conference on computer vision （IEEE Cat. No. 98CH36271） . 1998： 839-846.

[17] 宋昀岑，陳偉，葉玉堂，等.具重復(fù)特征的大物面自動視覺檢 測中的亞像素級拼接[J].光學(xué)學(xué)報，2014，34（3）：188-193. SONGYC，CHENW，YeYT，etal.Sub-pixel stitching method for large object with duplicate texture of automatic visual inspection[J].OpticsIetters，2014，34（3）：188-193.

[18]樊慶文，王小龍，侯力，等.基于等距序列圖像的快速拼接技 術(shù)[J].四川大學(xué)學(xué)報（工程科學(xué)版），2005（1）：139-142. FANQW，WANGXL，HOUL，et al.Speedinessmosaic technology based on isometry serial images[J]．Sichuan University Journal （Engineering Science Edition），2005（1）： 139-142.

[19] OTsU N. A threshold selection method from gray-level histograms[J].Automatica，1975，11（285-296）：23-27.

[20] SUZUKI S. Topological structural analysis of digitized binary imagesby borderfollowing[J].Computervision，graphics， and image processing，1985，30（1）： 32-46.

[21]湯強晉.激光三角法在物體三維輪廓測量中的應(yīng)用[D].南 京：東南大學(xué)，2006. TANG Q J.The application of laser triangulation in the measurement of three-dimensional contours of objects[D]. Nanjing：SoutheastUniversity，2006.

[22]王曉嘉，高雋，王磊.激光三角法綜述[J].儀器儀表學(xué)報， 2004，25（4）： 601-604. WANGXJ，GAOJ，WANGL，etal.Survey onthelaser triangulation[J].Chinese Jourmal of Scientific Instrument， 2004，25（4）： 601-604.

（編輯：劉楊）