基于雙棱鏡單攝像機(jī)立體視覺(jué)的P-GMAW熔池表面重建

張梅梅，梁志敏, 張亞?wèn)|

(河北科技大學(xué)材料科學(xué)與工程學(xué)院，河北石家莊 050018)

隨著焊接的機(jī)械化和自動(dòng)化，實(shí)時(shí)地獲取焊接過(guò)程的狀態(tài)信息已成為焊接過(guò)程質(zhì)量控制的先決條件。熔池表面三維形貌所承載的豐富信息能夠反映焊接過(guò)程的穩(wěn)定性、焊接熔透狀態(tài)等情況,相比于2D傳感獲得的熔池長(zhǎng)度、寬度等信息，熔池3D傳感技術(shù)能夠獲得的高度信息與熔透狀態(tài)的關(guān)系更直接。

熔池3D傳感技術(shù)研究中用到的視覺(jué)測(cè)量方法主要有陰影恢復(fù)形狀法[1-2]、結(jié)構(gòu)光三維視覺(jué)測(cè)量法[3-7]和雙目立體視覺(jué)測(cè)量法[8-11]。哈爾濱工業(yè)大學(xué)的趙冬斌等首次引入并改進(jìn)陰影恢復(fù)形狀技術(shù)，利用復(fù)合濾光技術(shù)獲得了填絲脈沖GTAW 脈沖焊基值期間熔池圖像，并由單幅熔池圖像計(jì)算出了熔池的表面高度[1-2]。但是由于這一方法假設(shè)條件過(guò)多，模型不成熟，因此計(jì)算結(jié)果可靠性差。有部分學(xué)者，特別是KOVACEVIC等在激光頻閃系統(tǒng)的基礎(chǔ)上進(jìn)行了改進(jìn)，組成了新的“結(jié)構(gòu)光三維視覺(jué)”熔池檢測(cè)系統(tǒng)[3-6]。南昌大學(xué)的汪巖峰等則采用小功率的激光器和特制的光柵也獲取了熔池表面的多條紋變形激光[7]。SONG針對(duì)上述方法對(duì)熔深較大(>0.5 mm)的部位失效的問(wèn)題，提出了增加成像屏，雖解決了這一問(wèn)題，卻增加了熔池重建算法的復(fù)雜性。MNICH等采用2個(gè)高速攝像機(jī)構(gòu)成的立體視覺(jué)系統(tǒng)，同時(shí)拍攝熔池的圖像，對(duì)圖像進(jìn)行校正，應(yīng)用立體匹配算法進(jìn)行熔池的三維重建，給出了熄弧瞬間熔池的三維重建結(jié)果。由于使用2個(gè)攝像機(jī)導(dǎo)致系統(tǒng)昂貴，拍攝時(shí)必須保證同步，因此該方法并不適合工業(yè)應(yīng)用[8]。ZHAO等則采用基于平面鏡的單目立體視覺(jué)技術(shù)來(lái)拍攝立體圖像對(duì)，實(shí)現(xiàn)了通過(guò)單攝像機(jī)獲得熔池的2個(gè)物像，降低了系統(tǒng)成本，并實(shí)現(xiàn)了少數(shù)特征點(diǎn)三維運(yùn)動(dòng)軌跡，也就是流動(dòng)狀態(tài)的測(cè)量[9]。由此可見(jiàn)，基于單攝像機(jī)的立體視覺(jué)技術(shù)降低了成本，避免了雙攝像機(jī)的同步問(wèn)題[10-11]，只要對(duì)2個(gè)物像完成立體匹配，就能獲得物體的三維信息，可以說(shuō)它是熔池三維傳感中最具發(fā)展?jié)摿Φ姆椒ㄖ弧?/p>

本文分析了基于雙棱鏡單攝像機(jī)的立體視覺(jué)系統(tǒng)的成像原理[12]，采用一個(gè)雙棱鏡和一個(gè)CCD攝像機(jī)結(jié)合作為成像系統(tǒng)，搭建了一套單攝像機(jī)立體視覺(jué)傳感系統(tǒng)，采用此系統(tǒng)拍攝P-GMAW焊熔池圖像，完成了脈沖熔化極氣體保護(hù)焊基值期間熔池表面形貌的三維重建，并和實(shí)際焊縫的熔寬和余高作對(duì)比，分析了重建結(jié)果精度。

1 雙棱鏡立體視覺(jué)系統(tǒng)原理

圖1 a)反映了雙棱鏡立體視覺(jué)系統(tǒng)原理[12]，將CCD攝像機(jī)假設(shè)為理想的針孔攝像機(jī)模型，從世界坐標(biāo)到圖像平面屬于透視投影，(O，X，Y，Z)和(Op，Xp，Yp，Zp)分別是攝像機(jī)坐標(biāo)系和雙棱鏡坐標(biāo)系，攝像機(jī)坐標(biāo)系的X軸和Y軸與雙棱鏡坐標(biāo)系的Xp軸和Yp軸分別平行，Z軸和Zp軸與攝像機(jī)的光軸重合。

雙棱鏡的斜面∏l和∏r與基準(zhǔn)面∏的夾角都是α,三維空間中物體上任一點(diǎn)發(fā)出的光線入射到雙棱鏡，發(fā)生2次折射，從斜面折射出的光線與入射光線相比偏轉(zhuǎn)角為δ，再經(jīng)過(guò)透鏡折射，最終在像平面上相交形成2個(gè)虛擬點(diǎn)ml，mr，虛擬點(diǎn)的反向延長(zhǎng)線交點(diǎn)為Xr，Xl，這樣就實(shí)現(xiàn)了單攝像機(jī)雙目立體視覺(jué)傳感，同時(shí)實(shí)現(xiàn)了相關(guān)點(diǎn)ml，mr在同一掃描線上的約束。此外由圖1 b)可知δ大小由角α和雙棱鏡折射率n決定，它們之間滿足如公式(1)的關(guān)系。

(1)

圖1 雙棱鏡立體視覺(jué)系統(tǒng)原理Fig.1 Principle of biprism-stereo system

2 試驗(yàn)系統(tǒng)

2.1 試驗(yàn)系統(tǒng)構(gòu)成

為了獲取清楚的熔池圖像，建立了圖2所示的試驗(yàn)系統(tǒng)，選用福尼斯公司的TPS 2700型焊機(jī)在工件上方固定焊槍位置進(jìn)行P-GMAW平板堆焊試驗(yàn)，工件固定在自行研制的電機(jī)驅(qū)動(dòng)載物行走平臺(tái)上，通過(guò)研華610H型工控機(jī)控制著行走平臺(tái)的運(yùn)動(dòng)來(lái)實(shí)現(xiàn)工件相對(duì)焊槍勻速運(yùn)動(dòng)；選用德國(guó)Basler的CCD攝像機(jī)，35 mm焦距、百萬(wàn)像素級(jí)Computar鏡頭以及加拿大Matrix Solios的圖像采集卡作為圖像采集系統(tǒng)，濾光片置于鏡頭前，雙棱鏡與攝像機(jī)固定在同一導(dǎo)軌上，間距可調(diào)，由工控機(jī)驅(qū)動(dòng)兩軸控制器實(shí)現(xiàn)拍攝位置和角度的調(diào)節(jié)。

圖2 試驗(yàn)系統(tǒng)框圖Fig.2 Block graph of experiment system

2.2 試驗(yàn)方案

采用P-GMAW焊接方法在厚度為5 mm的低碳鋼Q235上進(jìn)行堆焊試驗(yàn)，焊絲選用直徑為1.2 mm的H08Mn2SiA，峰值電流為400 A，峰值電壓為31 V，基值電流為50 A，基值電壓為19 V，電流脈沖頻率為50 Hz，保護(hù)氣為體積分?jǐn)?shù)80%Ar和體積分?jǐn)?shù)20%CO2,氣流量為15 L/min,焊接速度為0.25 m/min。在堆焊試驗(yàn)過(guò)程中，設(shè)置攝像機(jī)的曝光時(shí)間為150 μs，拍攝圖像速度為167 幀/s。配合中心波長(zhǎng)為849 nm的窄帶干涉濾光片和峰值透射率為35%的減光片濾光系統(tǒng)從熔池側(cè)后方進(jìn)行圖像的采集。攝像機(jī)標(biāo)定選用黑白棋盤(pán)格模板，每個(gè)黑白格尺寸為2 mm×2 mm。

2.3 熔池圖像

本文利用上述試驗(yàn)系統(tǒng)實(shí)時(shí)拍攝了P-GMAW焊接整個(gè)過(guò)程中的圖像對(duì)，主要分為基值期間和峰值期間2個(gè)階段，峰值期間的電壓和電流較大，弧光強(qiáng)烈、所覆蓋熔池區(qū)域較大，不利于后期圖像匹配，基值期間的電壓和電流較小，弧光相對(duì)較弱，拍攝到的熔池圖像對(duì)如圖3所示，可以看出只有電弧光較弱，且覆蓋區(qū)域較小，熔池邊界清晰，表面細(xì)節(jié)豐富，同時(shí)可看出熔渣以及液態(tài)金屬的流動(dòng)。

圖3 基值期間的熔池圖像對(duì)Fig.3 Pool images during the base period of welding

3 熔池表面重建

3.1 重建過(guò)程

3.1.1 圖像對(duì)預(yù)處理

在P-GMAW焊基值期間中，弧光較弱，熔池本身輻射強(qiáng)度很高，使得熔池周邊的母材區(qū)域的灰度值受到干擾不為0，同時(shí)存在細(xì)小飛濺的干擾會(huì)造成圖像個(gè)別灰度突變點(diǎn)，拍攝的圖像對(duì)不能直接匹配，否則會(huì)造成高誤匹配影響后期三維重建，需在匹配前進(jìn)行中值濾波[13]和閾值處理[14]，消除這些沖擊噪聲。

3.1.2 圖像對(duì)匹配

立體匹配問(wèn)題就是對(duì)于左圖像上一點(diǎn)如何在右圖像上尋找對(duì)應(yīng)點(diǎn)的過(guò)程。它的主要任務(wù)就是計(jì)算代表左右兩幅圖像之間對(duì)應(yīng)關(guān)系的視差圖像，然后由三角測(cè)量原理就可以求得景物的深度。本文對(duì)預(yù)處理后的圖像對(duì)采用區(qū)域立體匹配SSD算法(如圖4所示，設(shè)左圖像Il為參考圖像，右圖像Ir為待匹配圖像；淺灰色矩形框?yàn)槠ヅ浯翱?，大小?2n+1)(2n+1)；白色矩形1代表窗口中心點(diǎn)Il(x，y)；白色矩形2代表1的匹配點(diǎn)Ir(x+d，y)；d代表視差；l代表視差搜索長(zhǎng)度；深灰色區(qū)域代表搜索區(qū)域)[15]，按照?qǐng)D4所示原理在右圖同一掃描線上根據(jù)公式(2)計(jì)算左右窗口內(nèi)對(duì)應(yīng)點(diǎn)的灰度差平方的總和SSD值，并以此作為相關(guān)性評(píng)價(jià)代價(jià)，代價(jià)越小，相關(guān)性越高，獲得最小SSD值時(shí)對(duì)應(yīng)的視差值d就是所求最優(yōu)視差值，為提高計(jì)算速度可適當(dāng)縮小搜索窗口尺寸和設(shè)定視差搜索長(zhǎng)度l。

圖4 SSD匹配算法的原理Fig.4 Principle of SSD matching algorithm

(2)

3.1.3 左右一致性檢驗(yàn)

在立體匹配中，熔池圖像存在左右視場(chǎng)遮擋區(qū)域的不同以及熔池缺少紋理等特征信息問(wèn)題，使得SSD匹配算法得到視差圖中存在的誤匹配的特征點(diǎn)，需要把這些誤匹配的點(diǎn)剔除。本文中用左右視差一致性檢驗(yàn)的方法來(lái)剔除誤匹配點(diǎn)。首先是用上述SSD匹配算法分別得到以左圖為參考圖和以右圖為參考圖的左右視差圖dl，dr。若左視差圖中一個(gè)特征點(diǎn)A像素坐標(biāo)為(x,y)，則右圖上相應(yīng)匹配點(diǎn)B像素坐標(biāo)為(x+d,y)，如果A，B兩點(diǎn)是相對(duì)應(yīng)的匹配點(diǎn)即沒(méi)有誤匹配，則應(yīng)該滿足左右一致性檢驗(yàn)dl(x,y)-dr(x+dl(x,y),y)=0，否則為誤匹配點(diǎn)。

3.1.4 亞像素級(jí)視差求取

用上述SSD匹配算法得到的視差圖是像素級(jí)的，很多小區(qū)域獲得視差值為同一個(gè)值，這樣可預(yù)知后期重建出的三維圖會(huì)呈現(xiàn)多個(gè)臺(tái)階，連續(xù)性不好，而實(shí)際熔池表面是一個(gè)連續(xù)的整體。為此，本課題組對(duì)得到的視差圖進(jìn)行了亞像素級(jí)的求解。亞像素視差求解算法是對(duì)某特征處的離散視差所對(duì)應(yīng)的 SSD值進(jìn)行二次曲線擬合[16-17]，找出二次曲線的最小值處所對(duì)應(yīng)的視差值。假設(shè)進(jìn)行SSD立體匹配后某特征點(diǎn)像素級(jí)的視差值為d0，所對(duì)應(yīng)的SSD值為S(d0)，則視差d0-1所對(duì)應(yīng)的SSD值為S(d0-1)，視差d0+1所對(duì)應(yīng)的SSD值為S(d0+1)。由上述3個(gè)點(diǎn)(d0-1,S(d0-1))，(d0,S(d0))，(d0+1,S(d0+1))依照表達(dá)式(3)進(jìn)行二次曲線擬合求出SSD最小值處對(duì)應(yīng)的視差值dopt，這樣就獲得了某特征的亞像素級(jí)視差。

(3)

通過(guò)上述原理對(duì)像素級(jí)視差圖進(jìn)行二次曲線擬合，得到亞像素視差圖，這樣提高了匹配算法的精度，為后續(xù)的熔池表面的重建提供了更精確的數(shù)據(jù)，總體提高了熔池表面形貌三維重建的精度。

3.2 重建結(jié)果

根據(jù)標(biāo)定結(jié)果及三角形原理，由亞像素級(jí)視差圖計(jì)算出三維點(diǎn)云，并給每個(gè)點(diǎn)附上參考圖的灰度值，建立網(wǎng)格，擬合成三維曲面，即為熔池表面形貌重建結(jié)果。圖5是接近熄弧時(shí)刻熔池的重建結(jié)果，其中仍存在著很小的不連續(xù)的區(qū)域，但基本不影響整體分析。圖6是焊縫尾部的實(shí)際表面形貌。可以看出圖6中箭頭所指向的部分為凹陷區(qū)，這部分與圖5箭頭所指區(qū)域相吻合，并且從肉眼角度看出兩圖的整體形貌和部分主要特征信息相吻合，從定性角度證實(shí)了重建結(jié)果的可靠性。

圖5 熔池表面重建的結(jié)果Fig.5 Reconstruction result of pool surface

圖6 焊縫尾部的實(shí)際表面形貌Fig.6 Real surface topography of weld tail

4 重建結(jié)果精度分析

試驗(yàn)連續(xù)均勻地拍攝了從進(jìn)入穩(wěn)定焊接狀態(tài)到熄弧整個(gè)過(guò)程中的熔池圖像對(duì)，總計(jì)850幀。由文中第2部分可知P-GMAW焊的脈沖頻率為50 Hz，焊接速度為0.25 m/min，拍攝的幀頻為167幀/s，可以大致將熔池圖像對(duì)與焊縫位置一一對(duì)應(yīng)上，選取幾個(gè)焊縫位置找出對(duì)應(yīng)的基值期間的圖像對(duì)，進(jìn)行熔池表面的三維形貌重建，將測(cè)定的熔寬和余高與實(shí)際焊縫位置的熔寬和余高作對(duì)比，獲得重建結(jié)果的精度。

為了便于測(cè)量重建結(jié)果的熔寬和余高，首先將熔池的邊界部分用區(qū)域擬合的方法擬合成工件表面，然后對(duì)空間坐標(biāo)系重新進(jìn)行了定義，將工件表面確定為X軸和Y軸組成的平面坐標(biāo)系，Z軸垂直于工件表面。這樣熔寬就是XY平面上熔池輪廓的邊界兩點(diǎn)之間的距離，余高就是Z軸坐標(biāo)的最大值。

用卡尺以5 mm為間隔測(cè)量焊縫的實(shí)際熔寬及余高，得到5組采樣數(shù)據(jù)，找出對(duì)應(yīng)的5組熔池圖像對(duì)分別進(jìn)行重建，和對(duì)應(yīng)時(shí)刻圖像重建的三維熔池的熔寬、余高作對(duì)比來(lái)計(jì)算重建的精度，對(duì)比結(jié)果見(jiàn)表1。

重建結(jié)果的熔寬和實(shí)際位置的熔寬二者的對(duì)比數(shù)據(jù)顯示，最大的誤差為0.48 mm，最大的相對(duì)誤差為4.1%。誤差相對(duì)比較小，重建的精度高，能夠真實(shí)地反映焊縫某位置處的實(shí)際熔寬。重建結(jié)果的余高和實(shí)際位置的余高二者的對(duì)比數(shù)據(jù)顯示，最大的誤差為-0.15 mm，最大的相對(duì)誤差為-4.3%，誤差較小。

表1 重建結(jié)果與實(shí)測(cè)值對(duì)比Tab.1 Contrast of reconstruction result and measured value

通過(guò)重建的結(jié)果跟焊縫常用的特征參數(shù)熔寬和余高的比較，獲得的熔寬和余高的最大誤差分別為0.48 mm和-0.15 mm，誤差較小。可見(jiàn)本文所采用的算法用于熔池表面形貌的三維重建的精度較高，所采用的技術(shù)路線合理。重建的結(jié)果能夠真實(shí)地反映焊接過(guò)程中熔池的動(dòng)態(tài)變化，為分析熔池的特征提供了理論數(shù)據(jù)。

5 結(jié) 論

1)根據(jù)雙棱鏡立體視覺(jué)原理搭建了一套雙棱鏡單攝像機(jī)立體視覺(jué)傳感系統(tǒng)。和雙目立體視覺(jué)傳感系統(tǒng)相比，結(jié)構(gòu)簡(jiǎn)單且體積小，只需一個(gè)攝像機(jī)加一個(gè)雙棱鏡取代原有的雙攝像機(jī)，不僅降低了成本，而且解決了兩攝像機(jī)參數(shù)不一致的問(wèn)題，便于圖像采集和攝像機(jī)參數(shù)標(biāo)定。

2)選取了P-GMAW平板堆焊基值期間的熔池圖像對(duì)，運(yùn)用區(qū)域匹配SSD算法進(jìn)行匹配，得到了熔池表面的三維形貌；并對(duì)重建結(jié)果與實(shí)際焊縫的熔寬和余高進(jìn)行了5組比對(duì)，熔寬和余高的相對(duì)誤差分別為4.1%和-4.3%，誤差較小，符合工業(yè)要求，證明了重建的結(jié)果能夠真實(shí)地反映焊接過(guò)程的熔池的動(dòng)態(tài)變化。但所用的匹配算法比較簡(jiǎn)單，獲得的效果不是很好，有部分缺失，進(jìn)一步提高匹配算法是將來(lái)的工作重點(diǎn)。

參考文獻(xiàn)/References：

[1] 趙冬斌,陳善本,吳 林. 由單目圖像獲得表面高度算法的分析和實(shí)現(xiàn)[J]. 計(jì)算機(jī)學(xué)報(bào), 2000, 23(2): 147-152.

ZHAO Dongbin, CHEN Shanben, WU Lin. Analysis and realization of the calculus of height from a single image[J]. Chinese Journal of Computers, 2000, 23(2): 147-152.

[2] ZHAO D B, YI J Q, CHEN S B. Extraction of three-dimensional parameters for weld pool surface in pulsed GTAW with wire filler[J]. Journal of Manufacturing Science and Engineering，2003, 125(3): 493-503.

[3] MA Xiaoji, ZHANG Yuming. Reflection of illumination laser from gas metal arc weld pool surface[J]. Measurement Science and Technology，2009，20(11)：105-115.

[4] 王志江, 張廣軍, 張?jiān)Ｃ? 等. 非熔化極氣體保護(hù)焊接熔池表面形貌三維傳感及其裝置設(shè)計(jì)[J]. 機(jī)械工程學(xué)報(bào), 2008, 44(10): 30-33.

WANG Zhijiang, ZHANG Guangjun, ZHANG Yuming, et al. 3D sensing of gas tungsten arc weld pool surface and sensing device design[J]. Chinese Journal of Mechanical Engineering, 2008, 44(10): 30-33.

[5] 陳希章, 陳善本. 焊縫三維信息計(jì)算精度分析及試驗(yàn)方法[J].焊接學(xué)報(bào),2009,30(3): 45-48.

CHEN Xizhang, CHEN Shanben. Accuracy analysis and experimental method on three-dimensional information computing of weld seam[J]. Transactions of the China Welding Institution,2009,30(3): 45-48.

[6] KOVACEVIC R, ZHANG Y M. Vision sensing of 3D weld pool surface[A]. Proceedings of the 4th International Conference on Trends in Welding Research[C]. Gatlinburg: The 4th International Conference，1995.5-8.

[7] 汪巖峰, 劉南生, 林浩亮, 等. 基于結(jié)構(gòu)光投影的焊接熔池圖像獲取與處理[J].焊接學(xué)報(bào), 2008, 29(10): 81-84.

WANG Yanfeng, LIU Nansheng, LIN Haoliang, et al. Image taking and processing of welding pool based on structured light projection[J]. Transactions of the China Welding Institution, 2008, 29(10): 81-84.

[8] MNICH C, DEBRUNNER C. Vision-based sensing of the welding process: A survey[J]. International Journal of Modelling, Identification and Control, 2006, 1(2): 84-93.

[9] ZHAO C X, RICHARDSON I M. A stereo vision method for tracking particle flow on the weld pool surface[J]. Journal of Applied Physics, 2009, 105: 123-104.

[10] 林維詩(shī). 基于主動(dòng)輪廓模型和水平集方法的圖像分割[D]. 西安: 西安電子科技大學(xué), 2010.

LIN Weishi. Image Segmentation Based on Active Contour Model and Level Set Method[D]. Xi′an: Xidian University, 2010.

[11] 楊金峰. 大視場(chǎng)單攝像機(jī)立體視覺(jué)測(cè)量技術(shù)研究[D]. 天津: 天津大學(xué), 2007.

YANG Jinfeng. Study on Technology of Single Camera Stereo Vision Measuring with Large-field[D]. Tianjin: Tianjin University, 2007.

[12] LEE D H, KWEON I S. A novel stereo camera system by a biprism[J]. IEEE Transactions on Robotics and Automation, 2000, 16(6):528-541.

[13] 楊龍光, 周激流, 何 坤. 混合噪聲的圖像復(fù)原算法[J]. 四川大學(xué)學(xué)報(bào), 2008, 45(5):1120-1124.

YANG Longguang, ZHOU Jiliu, HE Kun. An improved algorithm for de-noising mixed noise in image[J]. Journal of Sichuan University, 2008, 45(5): 1120-1124.

[14] 章毓晉. 圖像分割[M] 北京: 科學(xué)出版社,2001.

ZHANG Yujin. Image Segmentation[M]. Beijing: Science Press, 2001.

[15] 顧 征,蘇顯渝.采用色彩相似性約束的立體匹配[J].光電工程, 2007, 34(1):95-99.

GU Zheng, SU Xianyu. Stereo matching algorithm using constraint of color similarity[J]. Opto-Electronic Engineering, 2007, 34(1):95-99.

[16] SHIMIZU M, OKUTOMI M. An analysis of sub-pixel estimation error on area-based image matching[A]. Proceedings of the 14th International Conference on Digital Signal Processing [C].Ottawa: The 14th International Conference, 2002.1239-1242.

[17] SHIMIZU M, OKUTOMI M. Precise sub-pixel estimation on area-based matching[A]. Proceedings of the 8th IEEE International Conference on Computer Vision[C].Ottawa:The 8th IEEE International Conference, 2001.90-97.