結(jié)構(gòu)光熔池傳感中反射圖的遞歸選區(qū)處理算法

程方杰，李立東，武少杰

結(jié)構(gòu)光熔池傳感中反射圖的遞歸選區(qū)處理算法

程方杰1, 2，李立東1，武少杰1, 2

(1. 天津大學(xué)材料科學(xué)與工程學(xué)院，天津 300350；2. 天津市現(xiàn)代連接技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津 300350)

點(diǎn)陣結(jié)構(gòu)光三維熔池傳感中處理反射圖并識(shí)別成像點(diǎn)是后續(xù)熔池重構(gòu)計(jì)算的基礎(chǔ)，然而，由于弧光在成像屏上分布不均勻，加上結(jié)構(gòu)激光照射到工件表面后漫反射到成像屏上，生成了額外的高亮背景，因此大大增加了成像點(diǎn)識(shí)別難度. 此外，激光束在傳播過(guò)程中受金屬蒸氣散射發(fā)生橫向擴(kuò)散，造成成像屏上的成像點(diǎn)尺寸變大、對(duì)比度下降，給識(shí)別帶來(lái)了更大困難，極易丟失成像點(diǎn)(丟點(diǎn))或誤將噪聲識(shí)別為成像點(diǎn)(多點(diǎn)). 針對(duì)該問(wèn)題，提出了一種遞歸選區(qū)圖像處理算法，該算法由整體到局部，利用遞歸的思想不斷選擇“未成功識(shí)別”區(qū)域做進(jìn)一步處理，當(dāng)逐層返回處理結(jié)果后，可實(shí)現(xiàn)從不均勻背景中分離出所有成像點(diǎn)，不易丟點(diǎn)或多點(diǎn). 在每層處理計(jì)算中，算法的主要步驟包括閾值、濾波、連通域計(jì)算、大連通域遞歸處理以及小連通域重新覆蓋等. 閾值處理采用OTSU算法，該算法針對(duì)各層目標(biāo)圖像的亮度特征自動(dòng)確定最佳閾值. 濾波處理采用中值濾波法，提出每深入兩層將濾波窗口的尺寸減小2個(gè)像素，可以降低丟點(diǎn)可能性，減少無(wú)用遞歸，避免超過(guò)最大遞歸深度. 最后，用起弧后不同時(shí)刻拍攝的具有不同特征的反射圖驗(yàn)證了遞歸選區(qū)處理算法的有效性，并分析討論了該算法的實(shí)時(shí)性能. 結(jié)果顯示，單個(gè)圖像的處理平均用時(shí)約為46ms，可以滿足實(shí)時(shí)傳感要求.

結(jié)構(gòu)光三維視覺(jué)；熔池傳感；圖像處理

焊工可以通過(guò)觀察熔池表面形貌，不斷調(diào)整手中焊槍姿態(tài)，從而獲得成形美觀、力學(xué)性能優(yōu)良的焊縫．讓機(jī)器模擬焊工，實(shí)現(xiàn)熔池三維表面實(shí)時(shí)觀測(cè)是焊接技術(shù)朝自動(dòng)化和智能化發(fā)展的關(guān)鍵一步[1-2]．目前，視覺(jué)傳感因其不影響焊接過(guò)程本身，并且獲得的信息充足、直觀，已逐漸成為熔池監(jiān)測(cè)的最重要手段之一，主要包括陰影恢復(fù)形狀法、雙目立體視覺(jué)法和結(jié)構(gòu)光法3種．陰影恢復(fù)形狀法基于3條假設(shè)，與實(shí)際焊接情形不符，加上強(qiáng)弧光的干擾，使得重構(gòu)結(jié)果有一定偏差[3-4]．雙目立體視覺(jué)法對(duì)兩個(gè)相機(jī)的同步及圖像質(zhì)量要求較高，此外熔池表面高亮區(qū)域的特征不明顯，給立體匹配造成了很大困難[5-6]．結(jié)構(gòu)光法由Saeed等[7]和Zhang等[8]提出，用一束結(jié)構(gòu)激光照射到熔池表面，其反射線被位于熔池另一側(cè)的成像屏截取，反射圖由位于成像屏后方的CCD相機(jī)捕獲．畸變的反射圖中蘊(yùn)含著熔池表面的三維幾何信息，可以由其逆推計(jì)算出熔池的三維表面．結(jié)構(gòu)光法充分利用了熔池表面的鏡面反射特性，并且這種間接的測(cè)量方式極大地降低了弧光的干擾，因此具有較好的研究和應(yīng)用前景．

目前，熔池傳感研究中使用的結(jié)構(gòu)激光主要有點(diǎn)陣、線陣和網(wǎng)格3種，其中線陣、網(wǎng)格激光雖然可以提供更多信息，但其圖像處理和相應(yīng)的熔池重構(gòu)算法均較難實(shí)現(xiàn)，因此使用較少[9]．針對(duì)點(diǎn)陣激光，已有多種熔池重構(gòu)算法被提出[10-13]，然而無(wú)論哪種算法實(shí)現(xiàn)的先導(dǎo)條件均是各個(gè)成像點(diǎn)可以被準(zhǔn)確地識(shí)別出來(lái)，并獲得其坐標(biāo)數(shù)據(jù)．不丟失成像點(diǎn)(丟點(diǎn))、不將噪聲誤認(rèn)為成像點(diǎn)(多點(diǎn))是保證后續(xù)重構(gòu)算法準(zhǔn)確實(shí)現(xiàn)的基本要求，然而由于反射圖的背景亮度不均勻、個(gè)別成像點(diǎn)對(duì)比度較低，使得這一要求難以達(dá)到．金澤石[12]針對(duì)該問(wèn)題提出了一種區(qū)域閾值化算法，按固定尺寸將圖像分割成一個(gè)個(gè)小區(qū)域，根據(jù)各區(qū)域的情況獨(dú)立確定閾值，從而將各成像點(diǎn)從其周圍的背景中分離出來(lái)．然而該方法機(jī)械地對(duì)圖像進(jìn)行分割，未考慮不同反射圖中成像點(diǎn)陣的差異，因此容易丟點(diǎn)或多點(diǎn)．本文針對(duì)點(diǎn)陣結(jié)構(gòu)光熔池傳感中反射圖的圖像處理問(wèn)題，提出了一種遞歸選區(qū)處理算法，該算法能夠很好地將成像點(diǎn)從不均勻背景中分離出來(lái)，且不易丟點(diǎn)或多點(diǎn)，為后續(xù)重構(gòu)算法的實(shí)現(xiàn)奠定了基礎(chǔ)．

1?試驗(yàn)系統(tǒng)及反射圖分析

1.1?試驗(yàn)系統(tǒng)

本文建立的試驗(yàn)系統(tǒng)如圖1所示．所用激光為17×17的點(diǎn)陣結(jié)構(gòu)，功率為100mW，波長(zhǎng)為660nm，其與焊槍下方熔池中心的水平、豎直距離分別為25mm和18mm．成像屏是一塊尺寸為?300mm×300mm的半透明亞克力板，距離熔池150mm．CCD相機(jī)(FLIR-BFLY)鏡頭內(nèi)加裝了波長(zhǎng)660nm、帶寬10nm的濾光片，用以過(guò)濾弧光，拍攝的圖像尺寸為800像素×800像素．本試驗(yàn)的焊接方法為鎢極惰性氣體保護(hù)焊(GTAW)，采用的鎢極直徑為1.6mm，焊接電流為60A，電弧電壓為10.5V，氬氣流量為10L/min，材料為100mm×100mm×3mm的304不銹鋼板，焊接方式為固定位置點(diǎn)焊．

圖1?試驗(yàn)系統(tǒng)

1.2?反射圖分析

圖2給出了試驗(yàn)中熔池達(dá)到穩(wěn)定狀態(tài)時(shí)(起弧后5.92s)拍攝的一張反射圖，本文后續(xù)將以該圖為例進(jìn)行闡述．可以觀察到在反射圖的中下方，弧光背景較亮，而上部幾乎不受弧光影響．中間有一個(gè)近似矩形的區(qū)域背景亮度較高，這是矩形點(diǎn)陣結(jié)構(gòu)光照射到基板表面漫反射到成像屏上的結(jié)果．在電弧的高溫作用下，液態(tài)金屬蒸發(fā)形成蒸氣，激光束在傳播過(guò)程中發(fā)生散射，致使成像屏上的一些成像點(diǎn)尺寸變大、對(duì)比度下降，難以與其周圍背景區(qū)分．以上問(wèn)題造成反射圖圖像處理中容易出現(xiàn)丟點(diǎn)、多點(diǎn)現(xiàn)象，給成像點(diǎn)識(shí)別帶來(lái)了極大的挑戰(zhàn)．

圖2?反射圖分析

2?反射圖的遞歸選區(qū)處理算法

2.1?圖像預(yù)處理

圖3(a)給出了圖2中某個(gè)成像點(diǎn)的放大圖，可以發(fā)現(xiàn)像素點(diǎn)的灰度值并非平滑變化．直接對(duì)原始圖像進(jìn)行閾值處理，可能會(huì)產(chǎn)生較多獨(dú)立的連通域以及噪點(diǎn)，因此首先對(duì)原始圖像進(jìn)行一次濾波處理，使圖像平滑．濾波算法有多種，本文選擇中值濾波法，即將每一個(gè)像素點(diǎn)的灰度值設(shè)置為該點(diǎn)某鄰域窗口內(nèi)所有像素點(diǎn)灰度值的中值．當(dāng)濾波窗口尺寸為5像素×5像素時(shí)，該成像點(diǎn)區(qū)域的濾波結(jié)果如圖3(b)所示．可以觀察到，濾波后的成像點(diǎn)基本滿足像素灰度值由中心到邊緣逐漸減小，為后續(xù)處理打下了基礎(chǔ).

圖3?圖像預(yù)處理(濾波)

2.2?遞歸選區(qū)處理

圖4?遞歸選區(qū)處理的算法流程

算法中的濾波處理起到了至關(guān)重要的作用，不僅可以去除噪聲，還可以對(duì)距離較近的離散白色像素點(diǎn)產(chǎn)生圖像膨脹的作用，使其連通成大塊區(qū)域，從而避免多點(diǎn)發(fā)生．同時(shí)，對(duì)已識(shí)別出的單個(gè)成像點(diǎn)，濾波處理有一定的腐蝕效果，使其不易再與臨近成像點(diǎn)連通，可免除多余的遞歸處理．

濾波窗口的尺寸對(duì)結(jié)果有較大影響，圖6給出了預(yù)處理后圖像在第1層遞歸處理中的閾值結(jié)果img_2，及其在不同窗口尺寸下的濾波結(jié)果img_3. 大濾波窗口去噪能力強(qiáng)，容易將區(qū)域連通起來(lái)，但閾值后尺寸較小的成像點(diǎn)也可能被過(guò)濾掉，因此容易丟點(diǎn)，如圖6(c)所示，其窗口尺寸為19像素×19像素；小濾波窗口不易丟點(diǎn)，但去噪能力弱，因此容易多點(diǎn)，如圖6(d)所示，其窗口尺寸為11像素×11像素．理想的濾波結(jié)果如圖6(b)所示，其窗口尺寸為15像素×15像素．此外，試驗(yàn)發(fā)現(xiàn)濾波窗口的尺寸每深入兩層后減2效果較好，即第1、2層的窗口尺寸為15像素×15像素，第3、4層的窗口尺寸為13像素×13像素，以此類推．遞歸層數(shù)較淺時(shí)，OTSU算法針對(duì)img_1選取的閾值較低，閾值處理后高亮區(qū)域的面積較大，噪聲也多，宜用大尺寸的濾波窗口，此時(shí)丟點(diǎn)的可能性較?。S著遞歸的深入，算法確定的閾值提高，閾值處理后高亮區(qū)域的面積較小，若仍使用大尺寸的濾波窗口，則丟點(diǎn)的可能性增加．此外，高閾值也大大減少了噪聲，無(wú)需使用大尺寸的濾波窗口．當(dāng)遞歸進(jìn)入深層時(shí)，img_1通常對(duì)應(yīng)于熔池中心，成像點(diǎn)間隔較近，大尺寸的濾波窗口可能會(huì)反復(fù)將成像點(diǎn)連通，從而反復(fù)遞歸處理該區(qū)域，極端情況下會(huì)超過(guò)最大遞歸深度限制而導(dǎo)致程序崩潰．因此，綜合以上考慮，筆者提出隨遞歸深入逐漸減小濾波窗口尺寸，減小速率為每深入兩層減小2個(gè)像素，此時(shí)可以取得最佳結(jié)果.

圖6?第1層遞歸處理中不同窗口尺寸下的濾波結(jié)果

圖6(b)濾波結(jié)果img_3的后續(xù)遞歸及結(jié)果返回過(guò)程如圖7所示．可以觀察到，深層處理在濾波后可能將一些成像點(diǎn)過(guò)濾掉．以第2層img_3為例，圖7中左上角的一些成像點(diǎn)由于閾值后尺寸較小，被誤當(dāng)噪點(diǎn)去除了．然而，這些成像點(diǎn)在上一層處理中由于閾值較低，閾值后尺寸較大，往往已被識(shí)別．當(dāng)?shù)?層處理到這些成像點(diǎn)時(shí)，其外接矩形區(qū)域會(huì)重新覆蓋到對(duì)應(yīng)位置，因此不會(huì)出現(xiàn)丟點(diǎn)現(xiàn)象．

圖7?第1層濾波結(jié)果img_3的后續(xù)遞歸及結(jié)果返回過(guò)程

2.3?圖像后處理

當(dāng)遞歸選區(qū)處理結(jié)束后，各成像點(diǎn)已從不均勻背景中分離出來(lái)，最后只需提取其幾何中心即可，結(jié)果如圖8所示．至此，反射圖的圖像處理全部完成．可以觀察到，除邊緣個(gè)別亮度較低的成像點(diǎn)和反射圖中心對(duì)比度較低的一個(gè)成像點(diǎn)未成功識(shí)別外，其余成像點(diǎn)均被成功識(shí)別，筆者提出的遞歸選區(qū)處理算法取得了較理想的結(jié)果．經(jīng)圖像處理后，各成像點(diǎn)的二維坐標(biāo)即被確定，由熔池重構(gòu)算法[11]逆推計(jì)算對(duì)應(yīng)的熔池表面反射點(diǎn)三維坐標(biāo)，然后進(jìn)行曲面插值即可完成重構(gòu)，重構(gòu)結(jié)果如圖9所示．

圖8?圖像后處理(中心提取)

圖9?熔池表面三維重構(gòu)結(jié)果

3?算法有效性檢驗(yàn)及實(shí)時(shí)性分析

3.1?有效性檢驗(yàn)

為進(jìn)一步檢驗(yàn)所提出的遞歸選區(qū)處理算法的有效性，筆者對(duì)焊接試驗(yàn)中拍攝的其他照片進(jìn)行了處理．圖10給出了相同焊接參數(shù)下拍攝的另外兩張反射圖及其圖像處理結(jié)果、熔池重構(gòu)結(jié)果，對(duì)應(yīng)于起弧后熔池尺寸逐漸變大的過(guò)程．可以發(fā)現(xiàn)起弧后不久熔池尺寸較小，反射圖中成像點(diǎn)數(shù)量較少，點(diǎn)陣激光投射到基板上漫反射產(chǎn)生的高亮區(qū)域更加明顯．由于此時(shí)激光束受金屬蒸氣的散射影響較小，光束較聚集，成像點(diǎn)尺寸小、亮度大，因而仍具有較高的對(duì)比度．所提出的遞歸選區(qū)處理算法成功地識(shí)別出了兩張反射圖中的所有成像點(diǎn)，且未出現(xiàn)丟點(diǎn)和多點(diǎn)現(xiàn)象，因此該算法被認(rèn)為是有效的．

3.2?實(shí)時(shí)性分析

本文的算法實(shí)現(xiàn)基于Python＋OpenCV，試驗(yàn)計(jì)算機(jī)的配置為Intel Core i7處理器、8GB運(yùn)行內(nèi)存．筆者對(duì)一次焊接試驗(yàn)中從起弧到熄弧期間拍攝的386張照片的處理計(jì)算用時(shí)進(jìn)行了統(tǒng)計(jì)，結(jié)果顯示該算法最長(zhǎng)用時(shí)62ms，最短用時(shí)31ms，平均用時(shí)46ms．由此可見(jiàn)，該算法具有優(yōu)秀的實(shí)時(shí)性能，可以滿足實(shí)時(shí)傳感要求．

4?結(jié)?論

(1) 所提出的遞歸選區(qū)處理算法可以有效解決點(diǎn)陣結(jié)構(gòu)光熔池傳感中反射圖的圖像處理問(wèn)題，不易出現(xiàn)丟點(diǎn)、多點(diǎn)現(xiàn)象．

(2) 所提出的遞歸選區(qū)處理算法具有優(yōu)秀的實(shí)時(shí)性能，可以滿足實(shí)時(shí)傳感要求．

［1］ Chen S，Zhang Y，Lin T，et al. Welding robotic systems with visual sensing and real-time control of dynamic weld pool during pulsed GTAW[J]. International Journal of Robotics & Automation，2004，19 (1)：28-35.

［2］ Lu W，Zhang Y. Robust sensing and control of the weld pool surface[J]. Measurement Science and Technology，2006，17(9)：2437-2446.

［3］ Du Q，Chen S，Lin T. Reconstruction of weld pool surface based on shape from shading[J]. Chinese Journal of Mechanical Engineering，2006，19(2)：168-171.

［4］ 李來(lái)平，林?濤，陳善本，等. 基于由陰影恢復(fù)形狀法的焊接熔池表面高度獲取[J]. 上海交通大學(xué)學(xué)報(bào)，2006，40(6)：898-901.

Li Laiping，Lin Tao，Chen Shanben，et al. The surface height acquisition of welding pool based on shape from shading(SFS)[J]. Journal of Shanghai Jiaotong University，2006，40(6)：898-901(in Chinese).

［5］ Mnich C M. Development of a Synchronized，High-Speed，Stereovision System for in Situ Weld Pool Measurement[D]. Ann Arbor：Colorado School of Mines，2004.

［6］ Ma H，Wei S，Lin T，et al. Binocular vision system for both weld pool and root gap in robot welding process[J]. Sensor Review，2010，30(2)：116-123.

［7］ Saeed G，Zhang Y M. Mathematical formulation and simulation of specular reflection based measurement system for gas tungsten arc weld pool surface[J]. Measurement Science and Technology，2003，14(9)：1671-1682.

［8］ Zhang Y M，Song H S，Saeed G. Observation of a dynamic specular weld pool surface[J]. Measurement Science and Technology，2006，17(6)：9-12.

［9］ Song H，Zhang Y. Image processing for measurement of three-dimensional GTA weld pool surface[J]. Welding Journal，2007，86(10)：323-330.

［10］ Song H，Zhang Y. Three-dimensional reconstruction of specular surface for a gas tungsten arc weld pool[J]. Measurement Science and Technology，2007，18(12)：3751-3767.

［11］ Zhang W，Wang X，Zhang Y. Analytical real-time measurement of a three-dimensional weld pool surface[J]. Measurement Science and Technology，2013，24(11)：115011.

［12］ 金澤石. GTAW熔池表面三維視覺(jué)傳感與熔池動(dòng)態(tài)建模[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)材料科學(xué)與工程學(xué)院，2014.

Jin Zeshi. Three-Dimensional Visual Sensing of GTAW Pool Surface and Dynamic Modeling of Welding Pool[D]. Harbin：School of Materials Science and Engineering，Harbin Institute of Technology，2014(in Chinese).

［13］ Wang Z，Yang R，Zhang Y. Analytic measurement of mirror surfaces by a single shot with united modeling of incident rays[J]. Measurement Science and Technol-ogy，2012，23(12)：125404.

Recursive-Selective Processing Algorithm of a Reflection Image in Structured Light Weld Pool Sensing

Cheng Fangjie1, 2，Li Lidong1，Wu Shaojie1, 2

(1. School of Materials Science and Engineering，Tianjin University，Tianjin 300350，China；2. Tianjin Key Laboratory of Advanced Joining Technology，Tianjin 300350，China)

Processing reflection images and identifying imaging points in structured light sensing are the bases of subsequent reconstruction of a 3D weld pool surface. However，due to uneven distribution of arc light on the imaging plane and diffuse reflection of structured laser light projected onto the workpiece surface，identification could not be achieved effectively. Moreover，laser beams get scattered by metal vapor during propagation，which enlarged the sizes of some imaging points and decreased their contrast with the background，adding to difficulties in identification easily missing imaging points or mistakenly taking noises as imaging points. To solve this problem，a recursive-selective image processing algorithm was proposed. From whole to local，the algorithm used the idea of recursion to continuously select those unidentified areas for further processing. When the processed areas were returned layer by layer，all imaging points could be separated from the uneven background，with no missing or redundant points. At each layer，the main steps of the algorithm included thresholding，filtering，computing connected domains，recursive processing of large connected domains，and recovering of small，connected domains. The OTSU algorithm was used for thresholding，which automatically determined the best threshold of the target image at each layer according to its brightness characteristics. Median filtering was adopted，and it was proposed to reduce the size of the filter window by 2pixels every two layers，which would reduce the possibility of missing points and avoid invalid recursion in case the maximum recursion depth was exceeded. Finally，reflection images with unique characteristics taken at different moments after arcing were used to verify the effectiveness of the proposed algorithm，and real-time performance of the algorithm was also analyzed. The results show that the average processing time of one image is about 46ms，which meets the requirements of real-time sensing.

structured light based 3D vision；weld pool sensing；image processing

TK441

A

0493-2137(2022)01-0033-07

10.11784/tdxbz202008034

2020-08-13；

2020-09-14.

程方杰（1971—??），男，博士，教授，chfj@tju.edu.cn．

武少杰，shaojie@tju.edu.cn．

國(guó)家自然科學(xué)基金資助項(xiàng)目(51775372).

Supported by the National Natural Science Foundation of China(No. 51775372).

(責(zé)任編輯：田?軍)