基于雙目視覺(jué)的引磁片定位與測(cè)量研究

(1.聊城大學(xué) 物理科學(xué)與信息工程學(xué)院，山東 聊城 252059；2.聊城大學(xué) 機(jī)械與汽車工程學(xué)院，山東 聊城 252059)

0 引言

隨著工業(yè)4.0戰(zhàn)略風(fēng)潮的興起，機(jī)器視覺(jué)被廣泛應(yīng)用到包裝機(jī)械、交通[1]、醫(yī)療[2-3]、工業(yè)生產(chǎn)[4]、電子制造等國(guó)民經(jīng)濟(jì)的多個(gè)領(lǐng)域[5]，成為提高生產(chǎn)的自動(dòng)化程度和機(jī)器人智能程度的一種重要手段。機(jī)器視覺(jué)主要分為單目和多目?jī)纱箢愐曈X(jué)技術(shù)，在對(duì)目標(biāo)進(jìn)行定位、測(cè)量和重建等操作中，常常需要獲取目標(biāo)的三維坐標(biāo)，而單目視覺(jué)無(wú)法感知空間的三維信息；雖然基于結(jié)構(gòu)光、激光、RGB-D深度相機(jī)的主動(dòng)測(cè)距方法能快速實(shí)現(xiàn)準(zhǔn)確、無(wú)干預(yù)地三維定位及測(cè)量，但設(shè)備成本高，無(wú)法達(dá)到普及應(yīng)用[6]。另外，對(duì)于自動(dòng)化生產(chǎn)中的大量重復(fù)性測(cè)量工作，人工視覺(jué)很難長(zhǎng)時(shí)間保持精神集中的狀態(tài)，常出現(xiàn)視力疲勞、不適于危險(xiǎn)工作環(huán)境、易損傷工件表面等問(wèn)題，很難達(dá)到自動(dòng)化生產(chǎn)的高精度要求。相較之下，基于非接觸式雙目立體視覺(jué)恢復(fù)三維信息的方法進(jìn)行測(cè)量，該測(cè)量方式幾乎不需要人工參與，具有設(shè)備要求較低、連續(xù)性高、非接觸無(wú)損傷和對(duì)人眼無(wú)害等優(yōu)點(diǎn)，同時(shí)還可以使測(cè)量效率及測(cè)量的精度得到一定提升。因此非接觸式雙目立體視覺(jué)技術(shù)具有較高的研究?jī)r(jià)值，對(duì)自動(dòng)化大批生產(chǎn)中工件的高精度測(cè)量具有重要研究意義。綜合考慮，非接觸式雙目立體視覺(jué)技術(shù)可以滿足超薄磁性車載手機(jī)支架鐵片的準(zhǔn)確定位及高精度的測(cè)量要求。

HALCON是德國(guó)MVtec公司開(kāi)發(fā)的一套完善的視覺(jué)算法包[7]。它包含3D匹配、運(yùn)動(dòng)檢測(cè)、三維重建、多目立體視覺(jué)和深度學(xué)習(xí)等高級(jí)算法，具有快速、精確、高效、穩(wěn)定的優(yōu)點(diǎn)，能夠?qū)崿F(xiàn)圖像拼接、邊緣檢測(cè)、攝像機(jī)標(biāo)定、測(cè)量以及深度學(xué)習(xí)(語(yǔ)義分割)等。此軟件應(yīng)用領(lǐng)域廣泛，使用圖像處理的地方均可以使用HALCON，涵蓋衛(wèi)星遙感，生物醫(yī)學(xué)，監(jiān)控，到工業(yè)生產(chǎn)上的自動(dòng)化測(cè)量。本文研究基于HALCON圖像處理平臺(tái)，利用雙目立體視覺(jué)技術(shù)實(shí)現(xiàn)對(duì)超薄工件引磁片的高精度定位與測(cè)量，并通過(guò)大量實(shí)驗(yàn)驗(yàn)證了方法的可行性。

1 雙目視覺(jué)系統(tǒng)

1.1 雙目視覺(jué)測(cè)量

雙目視覺(jué)三維測(cè)量是基于視差原理，通過(guò)建立兩個(gè)攝像機(jī)的圖像平面與三維空間中的目標(biāo)物體之間的三角幾何模型，利用特征點(diǎn)匹配關(guān)系和三角法原理進(jìn)行物體在三維空間上的信息獲取[8]。雙目立體視覺(jué)系統(tǒng)的結(jié)構(gòu)大體分兩種: 一種是軸線匯聚系統(tǒng)結(jié)構(gòu)，另一種是軸線平行系統(tǒng)結(jié)構(gòu)。

本實(shí)驗(yàn)采用由兩組完全相同的相機(jī)和鏡頭組成的軸線平行系統(tǒng)結(jié)構(gòu)，選用的是維視數(shù)字圖像技術(shù)有限公司的M-1614MP2工業(yè)鏡頭和型號(hào)為MV-VS120 CCD彩色工業(yè)相機(jī)。在軸線平行的立體視覺(jué)系統(tǒng)中，左右兩個(gè)攝像機(jī)的焦距及其內(nèi)部參數(shù)均相同，這為尋找空間點(diǎn)在左右成像平面上投影點(diǎn)之間的匹配關(guān)系提供了很好的條件。在HALCON軟件HDevelop開(kāi)發(fā)環(huán)境下，基于HALCON雙目立體視覺(jué)技術(shù)，對(duì)目標(biāo)圖像的自動(dòng)采集、系統(tǒng)標(biāo)定與立體校正、特征點(diǎn)提取、立體匹配、立體重建等相結(jié)合的非接觸式三維信息重構(gòu)算法進(jìn)行研究。具體算法流程如圖1所示。

圖1 軟件算法流程

1.2 系統(tǒng)標(biāo)定與立體校正

在求取空間點(diǎn)的三維坐標(biāo)之前，雙目視覺(jué)系統(tǒng)要解決的首要任務(wù)是確定攝像機(jī)參數(shù)，確定攝像機(jī)參數(shù)是通過(guò)校準(zhǔn)雙目立體系統(tǒng)來(lái)實(shí)現(xiàn)的。系統(tǒng)標(biāo)定是指建立攝相機(jī)模型,由己知標(biāo)定板的特征點(diǎn)像素坐標(biāo)和世界坐標(biāo)來(lái)求解攝像機(jī)的內(nèi)外參數(shù)[9]。建立攝相機(jī)模型,即通過(guò)坐標(biāo)系轉(zhuǎn)換、實(shí)驗(yàn)及計(jì)算的方法求解攝像機(jī)的模型參數(shù)。攝像機(jī)投影[6]中的像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換過(guò)程為：

(1)

式中,uv為圖像像素坐標(biāo)系；dx,dy為像素單元；f為畸變系數(shù)；OcXcYcZc為相機(jī)坐標(biāo)系；OwXwYwZw為世界坐標(biāo)系；R,t為旋轉(zhuǎn)、平移矩陣；M1,M2為相機(jī)內(nèi)、外部參數(shù)。雙目標(biāo)定方法與單目標(biāo)定的方法相同，立體系統(tǒng)標(biāo)定完成后，左右攝像機(jī)的相對(duì)位置以及各自焦距等參數(shù)即可確定，不可以再次更改。若更改位置或改變焦距，需要重新進(jìn)行標(biāo)定[10]。準(zhǔn)確的標(biāo)定攝像機(jī)是完成雙目視覺(jué)定位與測(cè)量的前提。

實(shí)驗(yàn)采用張正友標(biāo)定法對(duì)系統(tǒng)進(jìn)行標(biāo)定，基于HALCON圖像處理平臺(tái)，通過(guò)左右攝像機(jī)在可視范圍內(nèi)同時(shí)采集標(biāo)定板在不同空間位置下的標(biāo)定板圖像，利用HALCON提供的強(qiáng)大功能算法動(dòng)態(tài)庫(kù)來(lái)完成標(biāo)定板圖像的處理過(guò)程。如圖2(a)所示，選用的標(biāo)定板圖像模型是(30×30) mm的黑色圓型標(biāo)志點(diǎn)標(biāo)定板。通過(guò)平滑標(biāo)定板圖像、亞像素閾值分割和亞像素邊緣提取方法，定位標(biāo)定板位置并分割出標(biāo)定板區(qū)域；結(jié)合邊緣提取、圓心確定等一系列操作，提取每個(gè)標(biāo)定板區(qū)域中49個(gè)圓型標(biāo)志點(diǎn)的圖像坐標(biāo)。實(shí)驗(yàn)采集20組不同姿態(tài)下的標(biāo)定板圖像，通過(guò)20次標(biāo)定取平均值的方法，確定兩個(gè)攝像機(jī)的內(nèi)、外參數(shù)以完成系統(tǒng)的標(biāo)定，其中一組標(biāo)定板處理過(guò)程如圖2(b)、(c)所示。

圖2 標(biāo)定板圖像處理

完成系統(tǒng)標(biāo)定后輸出用于校正立體圖像對(duì)的映射圖，將采集到的工件圖像對(duì)通過(guò)映射圖校正為標(biāo)準(zhǔn)的外極線幾何結(jié)構(gòu)，即立體校正。校正結(jié)果如圖3所示。

圖3 立體校正圖

2 特征點(diǎn)提取

2.1 工件引磁片的特征點(diǎn)提取

本文采用圖像金字塔分層搜索策略與帶縮放的亞像素精度模板匹配算法進(jìn)行目標(biāo)引磁片特征點(diǎn)的提取，對(duì)縮放、混亂背景、部分遮擋、光照不均勻和對(duì)比度全局反轉(zhuǎn)等情況具有很好地魯棒性，有效地提高了特征點(diǎn)提取的精度與速度。該算法在Sobel算子濾波得到邊緣點(diǎn)方向向量的基礎(chǔ)上定義相似性度量函數(shù)，同時(shí)結(jié)合圖像金字塔分層搜索策略，利用引磁片圖像邊緣的形狀信息進(jìn)行模板匹配?；谛螤钅０迤ヅ渌惴ǖ南嗨菩远攘縮為:

(2)

其中：d表示模板圖像中點(diǎn)的梯度向量，e表示搜索圖像中對(duì)應(yīng)點(diǎn)的梯度向量。

歸一化后的相似度量s：

(3)

由于對(duì)模板中點(diǎn)的梯度向量進(jìn)行了歸一化，相似度量s將返回一個(gè)小于等于1的值，當(dāng)s=1時(shí)，說(shuō)明模板與圖像一一對(duì)應(yīng)。為進(jìn)一步提高算法的實(shí)時(shí)性，采用金字塔分層搜索策略可以減小搜索的位姿數(shù)量以及模板中點(diǎn)的數(shù)量以提高運(yùn)算速度，在金字塔最底層得到的像素級(jí)定位精度，并利用最小二乘平差進(jìn)行微調(diào)整，獲得亞像素級(jí)定位精度和尺度縮放精度。具體地，在每層圖像上與創(chuàng)建的模板圖像進(jìn)行相同的圖像處理過(guò)程，包括圖像濾波、邊緣檢測(cè)和邊緣細(xì)化，完成從金字塔頂層向下的逐層搜索，直至當(dāng)相似度量s大于預(yù)設(shè)的閾值，便可以實(shí)現(xiàn)中心特征點(diǎn)的提取，也就是匹配模板的中心坐標(biāo)。同時(shí)，將邊緣提取到的亞像素邊緣通過(guò)Ramer[11]算法，對(duì)大量的亞像素邊緣坐標(biāo)數(shù)據(jù)按照直線和圓弧等基本幾何元素進(jìn)行分段以獲取邊緣特征點(diǎn)。工件的邊緣與中心特征點(diǎn)提取結(jié)果如圖4所示，十字標(biāo)記處即為特征點(diǎn)。

圖4 特征點(diǎn)提取

2.2 鞍點(diǎn)提取

鞍點(diǎn)(Saddle point)指在一個(gè)方向上是極大值，在另一個(gè)方向上是極小值。輸入圖像是由x和y的二次多項(xiàng)式近似，在輸入圖像中，計(jì)算其每一像素點(diǎn)分別在x、y方向的二階偏導(dǎo)數(shù)，根據(jù)Hessian矩陣行列式[12]的特征值來(lái)檢測(cè)多項(xiàng)式的極值和鞍點(diǎn)，特征值對(duì)應(yīng)于灰度值表面的曲率。如果Hessian矩陣的兩個(gè)特征值的都是小于零的，則檢測(cè)該臨界點(diǎn)處是一個(gè)局部極大值，如果兩個(gè)特征值都是大于零的，則該點(diǎn)是局部最小值；如果它們具有不同的符號(hào)，則檢測(cè)該臨界點(diǎn)處是鞍點(diǎn)，也就是指在一個(gè)方向上是極大值，在另一個(gè)方向上是極小值。

基于Hessian矩陣行列式[12]提取的鞍點(diǎn)進(jìn)行構(gòu)建向量，并運(yùn)用構(gòu)建的向量定義一個(gè)新的非正交的坐標(biāo)系平面，坐標(biāo)系平面由向量P2P1和P2P0定義，在非正交的坐標(biāo)系中計(jì)算并確定該平面上的法向量。鞍點(diǎn)提取與非正交坐標(biāo)系的構(gòu)建如圖5所示。

3 目標(biāo)定位

3.1 立體匹配

立體匹配是雙目視覺(jué)算法中最關(guān)鍵的一步，其主要工作是尋找不同觀察角度下的同一空間物體中的同一點(diǎn)在不同圖像中的對(duì)應(yīng)關(guān)系[13]。其搜索原理為:以左圖像中像素點(diǎn)PL為中心作為待匹配點(diǎn)，截取一個(gè)矩形子窗口；在右圖像中，按照從上到下從左到右的原則，根據(jù)相似性度量準(zhǔn)則搜索與待匹配點(diǎn)PL灰度值最接近的窗口，并求出窗口的中心PR，該點(diǎn)即為最佳匹配點(diǎn)，進(jìn)而可以獲取同一點(diǎn)在不同圖像中的對(duì)應(yīng)關(guān)系(見(jiàn)圖6)。

圖6 模板匹配原理圖

由于左右攝像機(jī)的視角不同，光照也會(huì)產(chǎn)生一定的差異，所以需要一種不隨光照變化而變化的方法，本文采用極線約束準(zhǔn)則與NCC[7]相結(jié)合的灰度相關(guān)區(qū)域匹配算法快速完成特征點(diǎn)的立體匹配。歸一化互相關(guān)算法NCC：

(4)

3.2 三維重建與3D仿射變換

雙目立體視覺(jué)系統(tǒng)的三維重建是通過(guò)兩臺(tái)攝像機(jī)同時(shí)獲取場(chǎng)景的兩幅圖像，找到空間同一點(diǎn)在兩幅圖像中的匹配點(diǎn)對(duì)，結(jié)合雙目視覺(jué)成像原理可求出該點(diǎn)的三維坐標(biāo)[14]。獲得的三維點(diǎn)云圖以及截取的部分三維點(diǎn)X、Y、Z坐標(biāo)信息如圖7所示。

圖7 三維重建結(jié)果

4 實(shí)驗(yàn)結(jié)果與分析

圖8 三維空間信息與測(cè)量結(jié)果圖

結(jié)果如表1所示，測(cè)得引磁片的實(shí)際半徑誤差小于0.1 mm，誤差率小于1%；實(shí)際厚度誤差小于0.1 mm，誤差率小于6%。結(jié)果表明，本文方法可有效獲取工件引磁片特征點(diǎn)的3D坐標(biāo)，精度較高，驗(yàn)證了一定條件下該方法具有較好的準(zhǔn)確性和實(shí)時(shí)性。

表1 測(cè)量結(jié)果與實(shí)際結(jié)果比較

5 結(jié)語(yǔ)

本文研究了基于雙目視覺(jué)的工件引磁片定位與測(cè)量整個(gè)過(guò)程。在目標(biāo)識(shí)別與特征點(diǎn)提取階段，通過(guò)雙目系統(tǒng)標(biāo)定實(shí)現(xiàn)引磁片圖像對(duì)的立體矯正，利用圖像金字塔分層搜索策略結(jié)合帶有縮放的亞像素形狀模板匹配算法實(shí)現(xiàn)對(duì)工件引磁片區(qū)域的準(zhǔn)確識(shí)別及特征點(diǎn)的提取，使得在目標(biāo)區(qū)域識(shí)別速度及特征點(diǎn)提取精度方面有很大的提升。在目標(biāo)定位階段，利用極線約束準(zhǔn)則與NCC相結(jié)合的灰度相關(guān)性匹配算法完成特征點(diǎn)的立體匹配，降低了匹配錯(cuò)誤和重復(fù)匹配的可能性，并解決了左右兩幅圖像中目標(biāo)特征定位點(diǎn)不匹配的問(wèn)題；進(jìn)一步結(jié)合雙目視覺(jué)測(cè)距原理、3D坐標(biāo)仿射轉(zhuǎn)換和幾何計(jì)算實(shí)現(xiàn)了對(duì)特征點(diǎn)的三維定位。在測(cè)量階段，通過(guò)空間曲線擬合公式取平均值的方法完成半徑的測(cè)量；利用提取的鞍點(diǎn)構(gòu)建非正交平面坐標(biāo)系與法向量，通過(guò)點(diǎn)積運(yùn)算實(shí)現(xiàn)超薄引磁片厚度的測(cè)量。實(shí)驗(yàn)結(jié)果表明，基于HALCON的機(jī)器視覺(jué)技術(shù)，整個(gè)流程通過(guò)軟件算法達(dá)到亞像素精度，有效地實(shí)現(xiàn)了對(duì)超薄引磁片的準(zhǔn)確定位及高精度尺寸測(cè)量，在一定程度上降低了硬件的使用成本，對(duì)自動(dòng)化大批量生產(chǎn)的超薄磁性車載手機(jī)支架鐵片的高精度測(cè)量具有一定的現(xiàn)實(shí)意義。