基于立體視覺的焊孔識別與定位系統(tǒng)研究

摘 要：目前對大型軸承焊孔、焊縫的焊接基本都是工人手工焊接，而這種傳統(tǒng)的人工焊接方式，效率低且質(zhì)量不穩(wěn)定，難以滿足大批量的生產(chǎn)需求；并且在高溫高壓、水下及核工業(yè)現(xiàn)場等惡劣環(huán)境下，要考慮溫度、壓強及光的折射等因素的影響，人工焊接更是困難，焊接過程對工人的身體傷害也非常大。針對上述問題，基于立體視覺技術(shù)，研究焊孔的自動檢測識別與定位系統(tǒng)，先通過雙目相機實時拍攝焊孔信息，并對拍攝的圖像進(jìn)行預(yù)處理；然后利用模板匹配算法和LOG算子檢測技術(shù)實現(xiàn)對焊孔的檢測識別；最后使用AD-Census算法對焊孔進(jìn)行三維重建。經(jīng)實驗表明，焊孔三維定位誤差在0.5 mm內(nèi)，滿足工廠對焊孔的焊接要求。

關(guān)鍵詞：立體視覺；焊孔識別；焊孔定位；LOG檢測；立體匹配；三維重建

中圖分類號：TP273 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2024）05-00-03

0 引 言

近年來，各國對自動化焊接技術(shù)的發(fā)展越發(fā)重視，早在2013年，德國就提出了“工業(yè)4.0”計劃[1]，主要思想是通過將信息技術(shù)與網(wǎng)絡(luò)空間虛擬系統(tǒng)相結(jié)合的手段，實現(xiàn)制造業(yè)由傳統(tǒng)人工向智能化的轉(zhuǎn)型。2015年，日本提出了“機器人新戰(zhàn)略”計劃[2]，擴大機器人開發(fā)投資，確定以機器人為核心的三大目標(biāo)，實現(xiàn)機器人革命。同年，我國也提出了“中國制造2025”計劃[3]，旨在加速推進(jìn)新一代信息技術(shù)與制造技術(shù)的融合發(fā)展，全面提高企業(yè)研發(fā)、產(chǎn)品生產(chǎn)及服務(wù)管理的智能化水平，實現(xiàn)我國由制造業(yè)大國到制造業(yè)強國的轉(zhuǎn)變。目前工業(yè)機器人的使用程度和規(guī)模已經(jīng)成為國家智能化、自動化發(fā)展的標(biāo)志，自動化焊接機器人技術(shù)的研究與發(fā)展有著重要的意義。

對目標(biāo)的檢測識別與定位中，圖像處理技術(shù)和計算機視覺技術(shù)得到廣泛應(yīng)用，給機器人加上視覺傳感設(shè)備，可以捕捉周圍環(huán)境信息，實現(xiàn)對目標(biāo)物的實時檢測。機器人進(jìn)行自動化焊接時，通過機器視覺，采集焊縫寬度、深度及形狀等特征信息；再通過圖像處理技術(shù)，對采集的圖像信息進(jìn)行預(yù)處理，便于實現(xiàn)焊接過程的智能控制[4-6]。

1 識別與定位系統(tǒng)

為實現(xiàn)對軸承焊孔的檢測識別與定位，本文研究了一套立體視覺系統(tǒng)，此系統(tǒng)主要包含圖像預(yù)處理、立體匹配及三維重建。整體系統(tǒng)框圖如圖1所示。

首先，利用雙目相機捕獲焊孔的左右圖像；其次，對圖像進(jìn)行預(yù)處理，增強圖像目標(biāo)信息；再次，對捕獲的左右圖像進(jìn)行立體匹配，計算圖像視差；最后，結(jié)合獲取的視差圖及重投影矩陣對焊孔進(jìn)行三維重建。

2 焊孔檢測識別

2.1 相機成像模型

將兩個相機放在同一水平位置，就組成了雙目相機模型，即雙目視覺模型。雙目視覺模型作為機器視覺的重要分支，能夠使計算機通過二維圖像感知三維環(huán)境信息。它基于視差原理，通過相機從不同位置和角度觀察同一物體，并根據(jù)相機小孔成像模型幾何原理，推導(dǎo)出目標(biāo)點的空間坐標(biāo)。

2.2 相機標(biāo)定

通過相機成像模型確定了基于雙目視覺的三維重建公式，但公式中包含相機成像模型參數(shù)，因此還需要通過相機標(biāo)定實驗，確定相機成像模型參數(shù)，即雙目相機的內(nèi)外參數(shù)。

相機標(biāo)定實驗的目的主要有兩點：一是獲取雙目相機的內(nèi)外參數(shù)，用于獲取目標(biāo)點的空間坐標(biāo)；二是獲取相機的畸變參數(shù)，便于后續(xù)對圖片進(jìn)行去畸變處理。相機的標(biāo)定在三維幾何重建的過程中占有非常重要的地位，不僅是三維重建的基礎(chǔ)，而且立體校正和三維重建部分都需要用到標(biāo)定得到的相機內(nèi)參、外參及畸變系數(shù)，標(biāo)定結(jié)果直接影響三維重建精度。本文通過OpenCV標(biāo)定獲取相機內(nèi)外參數(shù)。

2.3 立體校正

立體校正是指對兩幅圖像分別進(jìn)行一次平面投影變換，通過立體校正能夠校正拍攝圖像時引起的畸變，使兩幅圖像的對應(yīng)極線在同一水平線上，這樣一幅圖像上任意一點與其在另一幅圖像上的對應(yīng)點在同一行，立體匹配時只需在該行進(jìn)行一維搜索即可找到對應(yīng)點，加快了立體匹配的速度。

目前常見的校正方法有Fusiello校正法和Bouguet校正法。由于Fusiello校正法在攝像機畸變較大時，難以實現(xiàn)理想的校正效果。因此，本文選擇可靠性較好的Bouguet校正法進(jìn)行左右圖像的立體校正，該方法可以較為理想地實現(xiàn)校正效果。

2.4 LOG檢測識別

斑點指二維圖像中與周圍顏色、灰度有差異的特征區(qū)域。斑點檢測是圖像處理中重要的研究內(nèi)容，是對目標(biāo)特征提取和檢測的重要步驟。目前主要的斑點檢測方法有差分方法和局部極值方法，差分方法是基于函數(shù)在對應(yīng)像素點處的導(dǎo)數(shù)，局部極值方法是基于函數(shù)局部極值的尋找。本文采用基于函數(shù)導(dǎo)數(shù)的LOG斑點檢測算法。通過LOG算子檢測圖像斑點主要有3個步驟：

（1）改變σ的值，生成不同尺寸的規(guī)范化后的拉普拉斯函數(shù)模板。

（2）利用這些模板分別與圖像進(jìn)行卷積。

（3）在尺度和圖像空間上檢測極值點，求中心和半徑。

在二維圖像中，檢測圖像中的斑點，需計算各個不同尺度下的高斯拉普拉斯響應(yīng)值，當(dāng)一個檢測點的響應(yīng)值均大于或者小于周圍26個相鄰點的響應(yīng)值時，就認(rèn)為該點是被檢測到的斑點。

3 焊孔三維重建

3.1 立體匹配

完成圖像的預(yù)處理及焊孔的檢測識別后，需要通過立體匹配算法提取圖像的深度信息，結(jié)合三維重建技術(shù)，實現(xiàn)對焊孔的三維定位。其中，立體匹配算法是雙目視覺三維重建的關(guān)鍵所在，通過立體匹配找出焊孔圓心在左右圖像中對應(yīng)的像素點，得到相關(guān)視差及深度，進(jìn)一步獲取三維空間中焊孔的位置。

立體匹配方法有：基于局部的、全局的、半全局的以及全局和半全局結(jié)合的。本文采用全局和半全局結(jié)合的匹配精度較高的AD-Census立體匹配算法[5-10]。進(jìn)行立體匹配時，通常有4個步驟：代價計算、代價聚合、視差計算及視差優(yōu)化。

（1）代價計算

代價計算描述的是左右圖像上兩像素點之間的相關(guān)程度，代價值越小，表示兩像素相關(guān)性越小，匹配率越小。反之，兩像素的代價值越大，則表示其相關(guān)性也就越大，越有可能是匹配點。

（2）代價聚合

代價聚合是通過代價值的大小衡量像素點之間互為匹配點的精準(zhǔn)程度。上一步的代價計算只考慮圖像中每個像素的代價值，易受噪聲干擾，造成誤匹配。因此，代價聚合這一步驟是利用像素鄰域一定窗口內(nèi)的信息進(jìn)行對比，達(dá)到濾波的目的，優(yōu)化局部的相似度，得到新的視差空間圖。

（3）視差計算

視差計算是對代價聚合之后的代價值進(jìn)行篩選，選出代價值最小的匹配點作為目標(biāo)點，并將該最小代價值對應(yīng)的視差值作為最優(yōu)視差。視差值通常采用贏家通吃（Winners Take All， WTA）算法進(jìn)行計算。而全局立體匹配算法便是通過構(gòu)造能量函數(shù)，求取最優(yōu)解來計算視差。

（4）視差優(yōu)化

視差優(yōu)化是為了對前面步驟得到的粗糙的視差圖做進(jìn)一步的優(yōu)化處理，提高視差圖質(zhì)量。主要通過中值濾波、左右一致性檢測等方法處理視差圖中遮擋、噪聲等錯誤視差。

3.2 三維重建原理

三維重建時，將雙目相機拍攝的左、右圖像設(shè)置為目標(biāo)圖像，利用立體匹配算法生成視差圖，并獲得目標(biāo)物體圖像的深度信息，進(jìn)一步根據(jù)相似三角形原理實現(xiàn)目標(biāo)物體的三維重建。設(shè)經(jīng)過計算得到三維重建的空間坐標(biāo)為（X，Y，Z），通過AD-Census立體匹配算法獲得視差圖和重投影矩陣，進(jìn)而進(jìn)行焊孔的三維重建，如式（1）所示。

（1）

其中，重投影矩陣Q如式（2）所示。

（2）

將式（2）代入式（1）得三維重建公式為：

（3）

式中：cx、cy為相機主點坐標(biāo)；f為焦距；d為點P在左右圖像中的視差；cx'是右相機主點在圖像中的橫坐標(biāo)。代入Q、d及焊孔像素坐標(biāo)即可得到焊孔的三維空間坐標(biāo)。

3.3 實驗結(jié)果及分析

對焊孔進(jìn)行實時檢測識別與定位時，設(shè)置每隔1 s輸出一次三維重建結(jié)果。由于篇幅有限，此處只選取一組實驗結(jié)果與焊孔實際三維空間坐標(biāo)進(jìn)行對比分析，見表1所列。結(jié)合實際空間中焊孔位置坐標(biāo)，通過對比分析x、y、z各個坐標(biāo)軸的數(shù)值變化情況，發(fā)現(xiàn)焊孔三維重建最大誤差為0.48 mm，小于0.5 mm，滿足工廠對焊孔的焊接要求。

4 結(jié) 語

本文設(shè)計的基于立體視覺的焊孔檢測識別與定位系統(tǒng)，通過LOG算子檢測技術(shù)進(jìn)行焊孔的檢測識別，實現(xiàn)焊孔精確定位；利用AD-Census立體匹配算法獲取圖像深度信息，進(jìn)行焊孔三維實驗，實現(xiàn)焊孔的三維定位。實驗結(jié)果表明，三維重建精度較高，具有一定的可行性。

參考文獻(xiàn)

[1] WEI F. Industry 4.0：advances of Germany’s manufacturing innovation（Extended abstract：Presentation-only）[C]// Proceedings of 2017 13th IEEE Conference on Automation Science and Engineering（CASE 2017）. Xi’an，China：IEEE，2017.

[2]周濟. 智能制造—“中國制造2025”的主攻方向[J]. 中國機械工程，2015，26（17）：2273-2284.

[3] BENDALE T D，KHARAT V J. A design of gesture controlled mobile robot with robotic arm for nuclear environment [C]// Proceedings of 2017 International Conference on Nascent Technologies in Engineering （ICNTE）. Vashi，India：IEEE，2017：1-6.

[4]張建民，陳富健，龍佳樂. 基于圖像處理的點云濾波算法[J]. 激光與光電子學(xué)進(jìn)展，2021，58（6）： 229-240.

[5]劉明言，杜萬和，楊敬輝.基于最小二乘法擬合平面的激光平面度檢測[J].智能制造，2023，30（5）：112-118.

[6]潘勇. 基于圖像三維重建的路面裂縫檢測研究[D].北京：北京建筑大學(xué)，2024.

[7]趙成星，張曉玲，楊宇. 基于SGBM半全局立體匹配算法的三維重建[J]. 激光雜志，2021，42（4）： 139-143.

[8]王沁，費強，石迪迪.雙目立體視覺匹配算法的實現(xiàn)與分析[J].經(jīng)緯天地，2022，37（3）：41-44.

[9]吳思文. 基于點云數(shù)據(jù)的三維輪廓重構(gòu)技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2022.

[10]劉悅. 基于跨尺度和多路徑融合的半全局立體匹配方法研究[D].呼和浩特：內(nèi)蒙古大學(xué)，2023.

作者簡介：楊翠珠（1997—），女，碩士，研究方向為機器視覺。

收稿日期：2023-04-20 修回日期：2023-05-18

基金項目：2022年北方民族大學(xué)研究生創(chuàng)新項目（YCX22116）