基于雙目視覺(jué)的鈑金件邊緣檢測(cè)技術(shù)研究與系統(tǒng)開(kāi)發(fā)

（南京航空航天大學(xué)機(jī)電學(xué)院，南京210016）

鈑金零件是組成現(xiàn)代飛機(jī)機(jī)體的重要部分，其數(shù)量約占飛機(jī)零件總數(shù)的20%～50%，具有種類多、尺寸大、厚度薄、剛度小易變形、形狀不規(guī)則等特點(diǎn)[1–3]。鈑金件上的內(nèi)/外輪廓邊緣是表征鈑金零件外形的重要信息，對(duì)于鈑金件的生產(chǎn)和裝配十分關(guān)鍵。傳統(tǒng)的鈑金件邊緣檢測(cè)采用以模擬量傳遞為基礎(chǔ)的實(shí)物對(duì)比式檢測(cè)方法，測(cè)量效率低、精度差，人工勞動(dòng)強(qiáng)度大[4–6]。目前應(yīng)用較為廣泛的數(shù)字化檢測(cè)裝置如三坐標(biāo)測(cè)量機(jī)[7]、iGPS[8]和激光雷達(dá)[9]等，難以對(duì)鈑金件邊緣進(jìn)行細(xì)節(jié)特征的完整精確測(cè)量。

視覺(jué)測(cè)量技術(shù)是近年來(lái)迅速發(fā)展起來(lái)的一種光電檢測(cè)技術(shù)，具有非接觸、全視場(chǎng)、高精度、自動(dòng)化程度高、穩(wěn)定性好、適用范圍廣等優(yōu)點(diǎn)[10]，在理論和實(shí)踐中都有很高的價(jià)值，已成為提高生產(chǎn)效率和保證產(chǎn)品質(zhì)量的重要手段。但是鈑金件形狀大小各異且厚度極?。ㄍǔH有1mm 左右），現(xiàn)有的視覺(jué)測(cè)量設(shè)備難以對(duì)其邊緣進(jìn)行有效測(cè)量。其中，結(jié)構(gòu)光掃描儀雖然可以實(shí)現(xiàn)對(duì)大型曲面的快速三維點(diǎn)云重建，但是對(duì)于曲面邊緣部位，其測(cè)量得到的點(diǎn)云數(shù)據(jù)容易缺失，難以精確表達(dá)零件的邊緣輪廓；帶精密機(jī)械轉(zhuǎn)臺(tái)的激光掃描儀的測(cè)量對(duì)象體積和重量均受轉(zhuǎn)臺(tái)大小限制，而鈑金件種類眾多、尺寸大小各不相同，因此這種設(shè)備同樣不適合鈑金件邊緣的現(xiàn)場(chǎng)測(cè)量使用。

本文針對(duì)鈑金件邊緣檢測(cè)具體需求，設(shè)計(jì)開(kāi)發(fā)了一套手持式雙目視覺(jué)檢測(cè)原型系統(tǒng)（SMEIS），能夠?qū)崟r(shí)、高精度測(cè)量各類鈑金零件的邊緣，提高薄壁零件邊緣檢測(cè)的質(zhì)量和效率。

SMEIS系統(tǒng)結(jié)構(gòu)和工作流程

1 SMEIS系統(tǒng)結(jié)構(gòu)

SMEIS系統(tǒng)的測(cè)量傳感器硬件裝置如圖1所示，主要包括兩個(gè)CMOS 相機(jī)及其光學(xué)鏡頭、多線激光發(fā)射器、觸發(fā)控制器、帶有45°斜面的相機(jī)支架、鋁合金框架、圓弧形手柄。由于鈑金件厚度通常僅有約1mm，使得常規(guī)結(jié)構(gòu)的相機(jī)+線激光測(cè)量傳感器在鈑金件邊緣處極薄側(cè)面上的激光條紋特征成像效果較差，難以進(jìn)行圖像提取。為了解決這一問(wèn)題，SMEIS系統(tǒng)將相機(jī)通過(guò)帶有45°斜面的相機(jī)支架安裝在鋁合金框架的上方，線激光發(fā)射器水平固定在鋁合金框架的下方。這種布局方式有兩個(gè)優(yōu)點(diǎn)：（1）顯著改善線激光在鈑金件邊緣處薄壁側(cè)面的成像質(zhì)量，同時(shí)減小標(biāo)記點(diǎn)的成像畸變，大幅提升邊緣側(cè)面上的數(shù)據(jù)完整性和測(cè)量精度；（2）在圖像中突出鈑金件邊緣處極薄側(cè)面的激光條紋特征的同時(shí)弱化鈑金件主曲面上的激光條紋特征，便于對(duì)邊緣側(cè)面上的激光條紋進(jìn)行分割，進(jìn)而直接獲得只包含邊緣信息的測(cè)量數(shù)據(jù)。觸發(fā)控制器通過(guò)觸發(fā)控制線同時(shí)與兩個(gè)相機(jī)和激光發(fā)射器連接，實(shí)現(xiàn)對(duì)相機(jī)和激光的同步控制；兩個(gè)相機(jī)通過(guò)USB3.0 集線器及數(shù)據(jù)線與計(jì)算機(jī)連接，確保系統(tǒng)與計(jì)算機(jī)之間圖像傳輸?shù)膶?shí)時(shí)性；圓弧形手柄方便測(cè)量人員以手持方式靈活地對(duì)鈑金件邊緣進(jìn)行掃描測(cè)量。

SMEIS 原型系統(tǒng)由傳感器硬件裝置和系統(tǒng)軟件兩部分構(gòu)成，如圖2所示。測(cè)量時(shí)，SMEIS系統(tǒng)測(cè)量傳感器硬件裝置向表面貼有圓形標(biāo)記點(diǎn)的鈑金件邊緣薄壁側(cè)面投射線激光條紋并連續(xù)移動(dòng)拍攝同步圖像，計(jì)算機(jī)接收同步圖像并通過(guò)系統(tǒng)軟件進(jìn)行實(shí)時(shí)計(jì)算，獲取鈑金件邊緣薄壁側(cè)面上的三維點(diǎn)坐標(biāo)，從而實(shí)現(xiàn)對(duì)鈑金件邊緣的檢測(cè)。

圖1 SMEIS系統(tǒng)測(cè)量傳感器硬件裝置Fig.1 System sensor hardware device used for edge inspection

圖2 SMEIS系統(tǒng)總體結(jié)構(gòu)Fig.2 SMEIS system architecture

2 SMEIS系統(tǒng)工作流程

SMEIS系統(tǒng)工作流程如圖3所示，主要包括檢測(cè)系統(tǒng)參數(shù)標(biāo)定、鈑金件邊緣檢測(cè)圖像同步采集、增量式三維重建和全局光束平差優(yōu)化4個(gè)流程。

測(cè)量前，首先要對(duì)系統(tǒng)參數(shù)進(jìn)行標(biāo)定，確定每個(gè)相機(jī)各自的成像參數(shù)及兩個(gè)相機(jī)之間的位姿參數(shù)，這些參數(shù)是后續(xù)進(jìn)行增量式三維重建和光束平差優(yōu)化流程的基礎(chǔ)；標(biāo)定完成后，打開(kāi)激光發(fā)射和圖像采集同步觸發(fā)信號(hào)，觸發(fā)控制器按照設(shè)定頻率向線激光發(fā)射器和雙目相機(jī)連續(xù)發(fā)射同步觸發(fā)信號(hào)，線激光發(fā)射器接收觸發(fā)信號(hào)并向鈑金件邊緣處薄壁側(cè)面投射線激光，雙目相機(jī)接收觸發(fā)信號(hào)并采集同步圖像傳輸至計(jì)算機(jī)；計(jì)算機(jī)對(duì)每一幀同步圖像中的薄壁側(cè)面上的激光條紋中心點(diǎn)列進(jìn)行三維重建，同時(shí)利用標(biāo)記點(diǎn)坐標(biāo)對(duì)應(yīng)關(guān)系將測(cè)量數(shù)據(jù)統(tǒng)一轉(zhuǎn)換到全局坐標(biāo)系下；測(cè)量完成后停止觸發(fā)信號(hào)，對(duì)測(cè)量得到的激光中心點(diǎn)列全局三維坐標(biāo)進(jìn)行全局光束平差優(yōu)化，得到最終的鈑金件邊緣測(cè)量數(shù)據(jù)。

SMEIS系統(tǒng)關(guān)鍵技術(shù)

1 激光條紋中心點(diǎn)列實(shí)時(shí)提取

本文對(duì)鈑金件邊緣的檢測(cè)方法本質(zhì)上是對(duì)投射在鈑金件邊緣薄壁側(cè)面上的激光條紋中心點(diǎn)列進(jìn)行三維重建，因此激光條紋中心點(diǎn)列提取的速度和準(zhǔn)確性直接影響系統(tǒng)測(cè)量的實(shí)時(shí)性和精度。

SMEIS系統(tǒng)測(cè)量時(shí)處理的實(shí)時(shí)圖像如圖4所示。該圖像為1280×1024 大小的單通道灰度圖像，其中包含鈑金件邊緣薄壁側(cè)面上的激光條紋圖案、圓形標(biāo)記點(diǎn)、噪聲等信息，背景相對(duì)復(fù)雜。如果對(duì)每一采樣時(shí)刻的圖像都單獨(dú)進(jìn)行激光條紋中心點(diǎn)列提取，算法的時(shí)間開(kāi)銷過(guò)于龐大，系統(tǒng)的實(shí)時(shí)性將難以保證；同時(shí)，激光條紋的分割也容易受到背景中圓形標(biāo)記點(diǎn)和噪聲的干擾。為此，本文利用圖像序列的相關(guān)性，將圖像序列中任意兩個(gè)相鄰時(shí)刻圖像中的激光條紋位置相關(guān)聯(lián)，提出了一種基于ROI（Region of Interest）的激光條紋中心點(diǎn)列提取算法，此算法可以顯著縮小圖像處理的區(qū)域，大幅提升系統(tǒng)實(shí)時(shí)性。需要說(shuō)明的是，SMEIS原型系統(tǒng)硬件配置了6個(gè)線激光發(fā)射器，在對(duì)鈑金件邊緣的手持式掃描中，實(shí)際采用3 線激光即可獲得良好的掃描效果。

基于ROI的激光條紋中心點(diǎn)列提取算法的核心是激光條紋ROI初始化模塊，其流程如圖5所示，具體包括：

（1）對(duì)原始圖像二值化處理；

（2）提取二值化圖像中的輪廓特征信息，得到包含激光條紋輪廓、標(biāo)記點(diǎn)輪廓、噪聲的輪廓特征信息圖；

（3）在輪廓特征信息圖中，先通過(guò)輪廓圓度值濾除圓形標(biāo)記點(diǎn)輪廓，再通過(guò)左右圖像極線相互校驗(yàn)濾除部分雜質(zhì)輪廓，得到包含激光條紋輪廓和少量雜質(zhì)輪廓的輪廓特征信息圖；

圖3 SMEIS系統(tǒng)工作流程圖Fig.3 SMEIS system workflow

圖4 SMEIS系統(tǒng)檢測(cè)過(guò)程實(shí)時(shí)圖像Fig.4 Real-time image of SMEIS system inspection process

（4）在第（3）步處理完成的輪廓特征信息圖中，每次任選3個(gè)輪廓，首先判斷其最小包圍盒尺寸是否相近，再判斷這3個(gè)輪廓的最小包圍盒中心連線構(gòu)成的矢量是否平行，如果同時(shí)滿足以上兩個(gè)條件則說(shuō)明選取的3個(gè)輪廓就是激光條紋輪廓，否則重新選取3個(gè)輪廓重復(fù)上述判斷，直至找到符合約束條件的3個(gè)激光條紋輪廓；

（5）以第（4）步中選取的3個(gè)激光條紋輪廓的最小包圍盒中心點(diǎn)為中心，選取適當(dāng)大小的矩形區(qū)域作為激光條紋ROI。需要說(shuō)明的是，在本文進(jìn)行的大量試驗(yàn)中，單個(gè)激光條紋最小包圍盒的寬度小于10像素，高度約為10像素，任意兩個(gè)相鄰激光條紋最小包圍盒中心點(diǎn)在寬度方向上的間距大于50像素，因此矩形區(qū)域的寬度取值應(yīng)當(dāng)在10～50像素之間，矩形區(qū)域的高度取值應(yīng)當(dāng)大于10像素；在取值范圍內(nèi)，矩形區(qū)域的寬度和高度越大，算法的魯棒性越強(qiáng)，因此本文實(shí)際選取的激光條紋ROI的尺寸為50×50像素。

基于ROI的激光條紋中心點(diǎn)列提取算法流程如圖6所示，主要包括：

（1）通過(guò)檢查激光條紋ROI是否已經(jīng)初始化或者發(fā)生了丟失、錯(cuò)誤（連續(xù)若干幀圖像中無(wú)法正確提取到激光條紋中心點(diǎn)）來(lái)判斷ROI是否正確，如果不正確則跳轉(zhuǎn)到激光條紋ROI初始化模塊，重新進(jìn)行激光條紋ROI初始化，否則執(zhí)行下一步；

（2）分別對(duì)每個(gè)ROI進(jìn)行二值化處理；

（3）分別提取每個(gè)ROI內(nèi)的輪廓信息，得到3 幅輪廓特征信息圖；

（4）從每個(gè)ROI的輪廓特征信息圖中各取一個(gè)輪廓并計(jì)算其最小包圍盒，分別判斷這3個(gè)包圍盒尺寸、形狀與最新的ROI 內(nèi)的激光條紋最小包圍盒尺寸、形狀是否相近，如果其最小包圍盒尺寸的比值滿足設(shè)定閾值則說(shuō)明選取的輪廓就是激光條紋輪廓，否則在不符合條件的ROI 輪廓特征信息圖內(nèi)重新選取輪廓執(zhí)行上述判斷；

（5）在第（4）步選取的激光條紋輪廓最小包圍盒中，逐行計(jì)算其灰度質(zhì)心，得到激光條紋中心點(diǎn)。

激光條紋中心點(diǎn)實(shí)時(shí)提取的結(jié)果如圖7所示。

2 點(diǎn)云實(shí)時(shí)拼接

圖5 激光條紋ROI初始化流程Fig.5 Laser stripes ROI initialization workflow

圖6 基于ROI的激光條紋中心點(diǎn)提取算法流程圖Fig.6 ROI-based laser stripe center points extraction algorithm workflow

圖7 激光條紋中心點(diǎn)實(shí)時(shí)提取結(jié)果Fig.7 Laser stripe center points real-time extraction results

在對(duì)鈑金件邊緣進(jìn)行實(shí)時(shí)測(cè)量的過(guò)程中，由于鈑金件大小、形狀各異，而僅靠一個(gè)采樣時(shí)刻的單次測(cè)量無(wú)法實(shí)現(xiàn)對(duì)整個(gè)鈑金件邊緣的檢測(cè)，因此需要通過(guò)連續(xù)移動(dòng)SMEIS系統(tǒng)硬件裝置不斷改變激光條紋在鈑金件邊緣的位置，同時(shí)對(duì)其進(jìn)行實(shí)時(shí)三維重建，再將各次測(cè)量得到的點(diǎn)云同步轉(zhuǎn)換到同一坐標(biāo)系下，即點(diǎn)云實(shí)時(shí)拼接。

如圖8所示，S1，S2，…，Sn分別是SMEIS系統(tǒng)傳感器硬件裝置處于位置1，位置2，…，位置n時(shí)的左相機(jī)坐標(biāo)系，即測(cè)量坐標(biāo)系，令S1與全局坐標(biāo)系SG重合，S2，S3，…，Sn到全局坐標(biāo)系SG的變換分別記為T1，T2，…，Tn。Tn形式如式（1）所示，其中，Rn是3×3 旋轉(zhuǎn)矩陣，tn是3×1平移向量。

假設(shè)Sn坐標(biāo)系下有一點(diǎn)PC=[xc yc zc1]T，其在全局坐標(biāo)系下的坐標(biāo)PG=[xGyGzG1]T可通過(guò)式（2）計(jì)算：

點(diǎn)云拼接的本質(zhì)就是實(shí)時(shí)計(jì)算當(dāng)前位置相機(jī)坐標(biāo)系到全局坐標(biāo)系的剛體變換矩陣Tn。本文采取在鈑金件表面粘貼若干黑白圓形標(biāo)記點(diǎn)的方式，通過(guò)標(biāo)記點(diǎn)的空間位置對(duì)應(yīng)關(guān)系實(shí)時(shí)計(jì)算Tn。算法流程如圖9所示，具體包括：

（1）根據(jù)極線約束、視差梯度約束、順序一致性約束等多視圖幾何基本約束，將當(dāng)前時(shí)刻左、右相機(jī)中的同名標(biāo)記點(diǎn)中心進(jìn)行正確配對(duì)并三角化重建，得到當(dāng)前測(cè)量坐標(biāo)系下的一組標(biāo)記點(diǎn)中心三維坐標(biāo)（假設(shè)其數(shù)量為H），記為點(diǎn)集P：

（2）對(duì)點(diǎn)集P中每一點(diǎn)Pm，計(jì)算其與除自身之外的其他所有點(diǎn)的歐氏距離d：

選取與其歐氏距離d最小的兩個(gè)點(diǎn)pa、pb作為三角形的另外兩個(gè)頂點(diǎn)，則pm對(duì)應(yīng)的歐氏空間三角形信息Triangle_m為：

圖8 點(diǎn)云實(shí)時(shí)拼接示意圖Fig.8 Point cloud real-time registration diagram

（3）將當(dāng)前時(shí)刻的所有三角形信息與上一時(shí)刻的所有三角形信息逐個(gè)對(duì)比，若存在一對(duì)三角形信息使得其對(duì)應(yīng)的三邊長(zhǎng)度的差值均小于指定閾值，則認(rèn)為這兩個(gè)三角形的頂點(diǎn)對(duì)應(yīng)歐氏空間中的3個(gè)同名點(diǎn)。需要說(shuō)明的是，在歐氏空間中，剛體變換并不改變空間三角形的尺寸和形狀，因此，理論上在任意兩個(gè)測(cè)量坐標(biāo)系下，同一個(gè)空間三角形的三邊長(zhǎng)應(yīng)當(dāng)對(duì)應(yīng)相等；然而由于在實(shí)際的標(biāo)記點(diǎn)中心三維重建過(guò)程中存在一定誤差，同一個(gè)空間三角形的三邊長(zhǎng)在不同測(cè)量坐標(biāo)系下并不嚴(yán)格相等，因此需要設(shè)置一定的閾值，該閾值的選取應(yīng)當(dāng)略大于系統(tǒng)測(cè)量精度，本文進(jìn)行的試驗(yàn)中實(shí)際選取的閾值為0.1mm。

（4）假設(shè)第（3）步中獲取的歐氏空間同名點(diǎn)分別記為點(diǎn)1、2、3，在當(dāng)前測(cè)量坐標(biāo)系下的坐標(biāo)分別為p1、p2、p3，其在前一時(shí)刻測(cè)量中獲得的三維坐標(biāo)已變換至全局坐標(biāo)系下，相應(yīng)的全局坐標(biāo)分別記為q1、q2、q3，先分別計(jì)算兩組點(diǎn)的質(zhì)心坐標(biāo)p、q，再計(jì)算每個(gè)點(diǎn)的去質(zhì)心坐標(biāo)：

記去質(zhì)心坐標(biāo)pi'、qi'的向量形式分別為pi'、qi'，定義矩陣W：

其中，W是一個(gè)3×3的矩陣，對(duì)W進(jìn)行SVD 分解[11]可求得剛體變換矩陣Tn。

圖9 點(diǎn)云實(shí)時(shí)拼接算法流程圖Fig.9 Point cloud real-time registration algorithm workflow

（5）利用第（4）步中求得的Tn將點(diǎn)集P中的每一點(diǎn)變換至全局坐標(biāo)系下，并與前一時(shí)刻測(cè)量獲得的標(biāo)記點(diǎn)中心全局坐標(biāo)逐一對(duì)比，如果二者的歐氏距離小于指定閾值（本文中為0.1mm），則為一對(duì)同名點(diǎn)，記錄所有同名點(diǎn)對(duì)。

（6）利用第（5）步中獲取的所有同名點(diǎn)對(duì)信息，分別計(jì)算兩組點(diǎn)的質(zhì)心坐標(biāo)p'、q'，按照式（8）計(jì)算每個(gè)點(diǎn)的去質(zhì)心坐標(biāo)，其中，NUM是同名點(diǎn)對(duì)數(shù)量。

記去質(zhì)心坐標(biāo)pi''、pi''的向量形式分別為pi''、pi''，按照式（9）構(gòu)造W'矩陣并對(duì)其進(jìn)行SVD 分解，用此次求得的剛體變換矩陣更新Tn的值。

點(diǎn)云實(shí)時(shí)拼接的一個(gè)示例如圖10所示。其中，圖10（a）是SG視角下重建的激光條紋中心和標(biāo)記點(diǎn)中心，圖10（b）是Sn視角下重建的激光條紋中心和標(biāo)記點(diǎn)中心，圖10（c）是將Sn視角下的重建結(jié)果拼接到SG坐標(biāo)系后的結(jié)果（其中綠色點(diǎn)代表SG視角下和Sn視角下的同名標(biāo)記點(diǎn)中心）。

3 全局優(yōu)化

在點(diǎn)云實(shí)時(shí)拼接過(guò)程中，三角化重建標(biāo)記點(diǎn)三維坐標(biāo)時(shí)不可避免地會(huì)產(chǎn)生一定的誤差，進(jìn)而導(dǎo)致剛體變換矩陣的計(jì)算值與真實(shí)值之間也產(chǎn)生誤差，當(dāng)測(cè)量圖像序列較大時(shí)，這種誤差不斷累積將對(duì)系統(tǒng)測(cè)量精度帶來(lái)較大影響。為此，本文采用光束平差法作為全局優(yōu)化手段，通過(guò)最小化重投影誤差的方式優(yōu)化標(biāo)記點(diǎn)全局坐標(biāo)和剛體變換矩陣的計(jì)算結(jié)果，顯著減小拼接帶來(lái)的累積誤差，進(jìn)一步提升系統(tǒng)測(cè)量精度。

光束平差法優(yōu)化模型為

其中，residualL為左相機(jī)重投影誤差；residualR為右相機(jī)重投影誤差；n為圖像序列的幀數(shù)；m為第i幀圖像對(duì)應(yīng)測(cè)量坐標(biāo)系下重建的標(biāo)記點(diǎn)個(gè)數(shù)；project()是描述空間點(diǎn)三維坐標(biāo)到其對(duì)應(yīng)的成像平面上的實(shí)際投影點(diǎn)二維像素坐標(biāo)的投影函數(shù)；KL是左相機(jī)內(nèi)參矩陣；KR是右相機(jī)內(nèi)參矩陣；MLR是左相機(jī)坐標(biāo)系到右相機(jī)坐標(biāo)系的剛體變換矩陣；Ti是第i幀圖像對(duì)應(yīng)測(cè)量坐標(biāo)系到全局坐標(biāo)系的剛體變換矩陣；imgRij分別是第i幀圖像對(duì)應(yīng)測(cè)量坐標(biāo)系下重建的第j個(gè)標(biāo)記點(diǎn)的全局坐標(biāo)的齊次坐標(biāo)、左相機(jī)圖像像素坐標(biāo)、右相機(jī)圖像像素坐標(biāo)。

圖10 點(diǎn)云實(shí)時(shí)拼接示例Fig.10 An example of point cloud real-time registration

系統(tǒng)軟件開(kāi)發(fā)

1 軟件功能模塊簡(jiǎn)介

本系統(tǒng)基于Visual Studio 2013集成開(kāi)發(fā)環(huán)境，以組件模塊化方式開(kāi)發(fā)，其軟件功能模塊分解圖如圖11所示。鈑金件邊緣檢測(cè)系統(tǒng)軟件主要分為硬件控制、在線檢測(cè)、圖形圖像可視化3個(gè)部分。各個(gè)功能模塊內(nèi)部具有高聚合性，保證了算法的輕量性和運(yùn)算速度；各個(gè)功能模塊之間具有低耦合性，便于后續(xù)檢測(cè)系統(tǒng)的維護(hù)和進(jìn)一步開(kāi)發(fā)。不同功能模塊之間通過(guò)系統(tǒng)標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)或自定義數(shù)據(jù)文件進(jìn)行數(shù)據(jù)交互。

2 并行處理模式

SMEIS系統(tǒng)進(jìn)行在線檢測(cè)時(shí)，需要實(shí)時(shí)對(duì)采集到的同步圖像進(jìn)行一系列的處理，串行處理模式可以使得程序在結(jié)構(gòu)上相對(duì)簡(jiǎn)單，但同時(shí)也使得程序的時(shí)間開(kāi)銷變大，導(dǎo)致系統(tǒng)實(shí)時(shí)性降低。為此，本系統(tǒng)采用圖12所示的并行處理模式，充分利用各模塊之間的獨(dú)立性，使用多線程方法并行處理多個(gè)子模塊，具體包括：對(duì)在線檢測(cè)模塊和可視化模塊并行處理；對(duì)左、右相機(jī)激光條紋圖像處理子模塊和標(biāo)記點(diǎn)圖像處理子模塊并行處理；對(duì)相機(jī)實(shí)時(shí)畫面可視化子模塊和三維點(diǎn)云可視化子模塊并行處理。在并行處理的每一個(gè)環(huán)節(jié)中，利用互斥體對(duì)各個(gè)子線程之間傳遞的數(shù)據(jù)進(jìn)行保護(hù)，確保檢測(cè)結(jié)果的穩(wěn)定性和正確性。這種并行處理模式極大提升了算法的實(shí)時(shí)性，使得檢測(cè)系統(tǒng)能夠以大于30fps的速度實(shí)時(shí)處理同步圖像。

檢測(cè)結(jié)果與討論

1 與ATOS?的測(cè)量效果對(duì)比試驗(yàn)

為了驗(yàn)證本文所研發(fā)的SMEIS系統(tǒng)的實(shí)時(shí)性和測(cè)量效果，選取了圖13（a）所示的3種航空工業(yè)中常見(jiàn)的鈑金零件作為試驗(yàn)對(duì)象，對(duì)這3個(gè)試驗(yàn)對(duì)象的邊緣進(jìn)行了實(shí)時(shí)檢測(cè)，并將檢測(cè)結(jié)果分別與ATOS?結(jié)構(gòu)光掃描儀（單次測(cè)量標(biāo)稱精度0.025mm）的檢測(cè)結(jié)果進(jìn)行了對(duì)比。該試驗(yàn)采用XIMEA MQ013MGE2 工業(yè)數(shù)字相機(jī)，6mm 短焦鏡頭，3DLL20 線激光發(fā)射器，在普通室內(nèi)環(huán)境下進(jìn)行。

在試驗(yàn)鈑金零件的表面靠近邊緣處隨機(jī)粘貼若干數(shù)量的圓形標(biāo)記點(diǎn)，將其放置在黑色吸光背景布上，手持SMEIS系統(tǒng)測(cè)量傳感器硬件裝置圍繞試驗(yàn)對(duì)象連續(xù)移動(dòng)進(jìn)行實(shí)時(shí)檢測(cè)，分別統(tǒng)計(jì)每個(gè)試驗(yàn)零件的檢測(cè)幀數(shù)和每幀圖像的處理用時(shí)，并計(jì)算單幀圖像處理用時(shí)的平均值和檢測(cè)過(guò)程的平均幀率，結(jié)果如表1所示。表1中數(shù)據(jù)顯示，對(duì)以上3個(gè)試驗(yàn)零件的檢測(cè)平均幀率分別為33.40fps、34.04fps、33.48fps，實(shí)時(shí)性較好。

使用SMEIS系統(tǒng)對(duì)3種試驗(yàn)零件邊緣進(jìn)行檢測(cè)的結(jié)果如圖13（b）所示，使用ATOS?結(jié)構(gòu)光掃描儀對(duì)相同試驗(yàn)條件下的試驗(yàn)對(duì)象進(jìn)行檢測(cè)的結(jié)果如圖13（c）所示。需要說(shuō)明的是，為了突出邊緣檢測(cè)效果，圖13（c）只顯示了ATOS?系統(tǒng)在邊緣附近的測(cè)量數(shù)據(jù)。從放大圖中可以看出，ATOS?結(jié)構(gòu)光掃描儀在各試驗(yàn)零件的邊緣處獲得的三維點(diǎn)云中出現(xiàn)了大量的數(shù)據(jù)缺失，而SMEIS系統(tǒng)對(duì)側(cè)壁的檢測(cè)數(shù)據(jù)明顯更加完整、均勻、致密，細(xì)節(jié)表現(xiàn)更佳。

2 精度驗(yàn)證試驗(yàn)

圖11 SMEIS系統(tǒng)功能模塊分解Fig.11 Module decomposition of SMEIS system software

圖12 并行處理模式架構(gòu)Fig.12 Parallel processing mode architecture

表1 試驗(yàn)零件檢測(cè)速度Table1 Inspection speed of test parts

為了驗(yàn)證SMEIS系統(tǒng)的測(cè)量精度，對(duì)圖14所示的精磨加工的臺(tái)階面零件進(jìn)行了重復(fù)性精度驗(yàn)證試驗(yàn)。具體測(cè)量對(duì)象是該零件表面高度為1mm的豎直臺(tái)階側(cè)面，該小平面經(jīng)過(guò)精磨處理，平面度為0.02mm。使用SMEIS系統(tǒng)對(duì)該豎直臺(tái)階面進(jìn)行了3次獨(dú)立檢測(cè)，獲得的數(shù)據(jù)點(diǎn)總量分別為18028個(gè)、19340個(gè)、17276個(gè)，其中，每條激光點(diǎn)列約10個(gè)點(diǎn)，其檢測(cè)結(jié)果如圖15所示。分別利用這3次檢測(cè)得到的數(shù)據(jù)點(diǎn)擬合平面，并統(tǒng)計(jì)每個(gè)點(diǎn)到其對(duì)應(yīng)平面的距離，將統(tǒng)計(jì)結(jié)果繪制成頻率分布直方圖（圖16），統(tǒng)計(jì)結(jié)果的具體數(shù)值分別如表2～4所示。數(shù)據(jù)顯示，SMEIS系統(tǒng)對(duì)豎直臺(tái)階平面的第1次檢測(cè)結(jié)果的平面偏差平均值μ1為0.0394mm，標(biāo)準(zhǔn)差σ1為0.0301mm，在置信區(qū)間（–0.1，0.1）內(nèi)的置信度為95.5%；第2次檢測(cè)結(jié)果的平面偏差平均值μ2為0.0328mm，標(biāo)準(zhǔn)差σ2為0.0245mm，在置信區(qū)間（–0.1，0.1）內(nèi)的置信度為98.7%；第3次檢測(cè)結(jié)果的平面偏差平均值μ3為0.0383mm，標(biāo)準(zhǔn)差σ3為0.0302mm，在置信區(qū)間（–0.1，0.1）內(nèi)的置信度為95.3%。以上數(shù)據(jù)表明該系統(tǒng)具有較高的測(cè)量精度和測(cè)量穩(wěn)定性。

圖13 試驗(yàn)零件實(shí)物及檢測(cè)結(jié)果Fig.13 Test parts and inspection results

圖14 精度驗(yàn)證試驗(yàn)對(duì)象實(shí)物Fig.14 Test object of accuracy verification

圖15 豎直臺(tái)階面檢測(cè)結(jié)果Fig.15 Inspection results of test objects

結(jié)論

針對(duì)鈑金類零件邊緣檢測(cè)這一難點(diǎn)問(wèn)題，本文開(kāi)發(fā)了一套基于雙目視覺(jué)和多線激光的邊緣檢測(cè)原型系統(tǒng)SMEIS。詳細(xì)介紹了系統(tǒng)硬件構(gòu)成和測(cè)量方案，討論了激光條紋中心點(diǎn)實(shí)時(shí)提取、點(diǎn)云實(shí)時(shí)拼接、全局光束平差優(yōu)化等關(guān)鍵技術(shù)。在系統(tǒng)軟件開(kāi)發(fā)過(guò)程中，以模塊化、組件化的方式組織系統(tǒng)架構(gòu)，便于系統(tǒng)后續(xù)的維護(hù)和擴(kuò)展；廣泛使用多線程方式并行處理多個(gè)子流程，使得整個(gè)系統(tǒng)能夠以較高的幀率進(jìn)行實(shí)時(shí)檢測(cè)和同步顯示。

鈑金件的現(xiàn)場(chǎng)試驗(yàn)結(jié)果表明，SMEIS系統(tǒng)能夠?qū)ΜF(xiàn)有測(cè)量手段難以測(cè)量的鈑金件邊緣進(jìn)行實(shí)時(shí)、高精度的檢測(cè)，顯著提升鈑金件邊緣檢測(cè)的效率和質(zhì)量并減輕人工檢測(cè)的強(qiáng)度。該方法也可以廣泛應(yīng)用于小階差高度的側(cè)面特征的測(cè)量。

雖然手持式掃描測(cè)量方式方便靈活，適用性強(qiáng)，但對(duì)于某些需要自動(dòng)化檢測(cè)的應(yīng)用，后續(xù)也可以將SMEIS系統(tǒng)傳感器硬件裝置安裝在機(jī)器人末端，令機(jī)器人按照預(yù)定規(guī)劃的路線連續(xù)運(yùn)動(dòng)，實(shí)現(xiàn)檢測(cè)過(guò)程自動(dòng)化。

圖16 豎直臺(tái)階面檢測(cè)結(jié)果平面偏差分布直方圖Fig.16 Plane deviation histogram of inspection results

表2 豎直臺(tái)階側(cè)面第1次檢測(cè)結(jié)果平面偏差Table2 Plane deviation of first inspection results

表3 豎直臺(tái)階面第2次檢測(cè)結(jié)果平面偏差Table3 Plane deviation of second inspection results

表4 豎直臺(tái)階面第3次檢測(cè)結(jié)果平面偏差Table4 Plane deviation of third inspection results