基于KNN Matting算法的冷金屬過渡焊接熔滴尺寸檢測

管森，邢彥鋒，曹菊勇，楊夫勇，張小兵

（201620 上海市 上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院）

0 引言

熔滴過渡是焊接傳熱和傳質(zhì)的重要環(huán)節(jié)，作為焊絲熔化形成部分，對熔池形貌和焊縫成形有著重大影響。根據(jù)焊接工藝不同，熔滴過渡主要分為短路過渡、滴狀過渡和噴射過渡3 種形式[1]。本文以短路過渡為主的冷金屬過渡焊接（CMT）作為研究對象。CMT是傳統(tǒng)GMAW（Gas-Metal-Arc-Welding）的改進(jìn)技術(shù)，由于飛濺小，熱輸入低，焊接穩(wěn)定，獲得越來越廣泛的應(yīng)用[2]。分析研究冷金屬過渡焊接過程中熔滴形貌變化規(guī)律，有助于把握熔滴尺寸，有效改善焊接性能[3]。

國內(nèi)外學(xué)者對熔滴檢測行為進(jìn)行了大量研究。楊倩[4]等人使用基于小波變換和改進(jìn)的Prewitt 算子檢測了GMAW 短路過程的熔滴過渡圖像，能較準(zhǔn)確地表示出熔滴的輪廓，但是對于光亮和高噪聲情況存在擬合精度不高、細(xì)節(jié)不夠的情況，熔滴作為焊絲熔化所產(chǎn)生的金屬液滴，其大小形狀、過渡方式與焊接電流存在直接關(guān)系；朱志明[5]等人分析了短路過渡CO2焊接過程采集的焊接電流信號，采用最小二乘法計算出波形控制短路過渡焊接規(guī)律模型，可預(yù)判熔滴尺寸的大小與燃弧脈沖時間的寬度關(guān)系，但是無法確定輪廓變化，不能預(yù)測熔滴過渡趨勢。針對熔滴過渡趨勢研究，Xing[6]等人基于VOF 方法，建立了熔滴與電弧耦合的三維數(shù)值分析模型，模擬了水下濕式藥芯電弧焊中的熔滴過渡和電弧等離子體流動過程，確立了此焊接過程中的熔滴過渡情況和受力情況，但是對輪廓變化情況研究不夠。

KNN Matting 算法[7]相比于熔滴形貌檢測，對輪廓細(xì)節(jié)的分類能力較強(qiáng)，作為在圖像編輯和電影制作中的一項關(guān)鍵技術(shù)，具有較高的魯棒性。適用于人工繪制的三區(qū)標(biāo)志圖（Trimap）或草圖（scribble）作為輸入，基于KNN 的拉普拉斯矩陣計算方法，通過KNN 構(gòu)建鄰接矩陣，進(jìn)而得到拉普拉斯矩陣，由此求得封閉形式解來分離用戶所需前景，故在此用以熔滴過渡輪廓的擬合。

本文在建立高速攝像機(jī)的熔滴圖像拍攝和基于OpenCV 平臺的基礎(chǔ)上，使用KNN Matting 算法描繪了冷金屬過渡開始與過渡過程中熔滴輪廓的變化。

1 實驗材料與設(shè)備

本試驗采用Fronius 公司的TRS4000CMT 焊機(jī)，同時搭載KUKA 公司的六軸機(jī)器人進(jìn)行運動控制。選用直徑為1.2 mm 的ER4043 鋁硅焊絲。攝像設(shè)備采用Optronis 公司的CP80-3-M 型高速攝像機(jī)，曝光時間設(shè)定為50 μs，幀速率設(shè)置為4 000 幀/s。焊接平臺示意圖如圖1 所示。

圖1 焊接平臺Fig.1 Welding platform

2 熔滴圖像處理流程

本文就冷金屬過渡焊的熔滴過渡開始和過渡過程中圖像進(jìn)行處理，算法具體流程如圖2 所示。

圖2 熔滴圖像預(yù)處理及算法流程圖Fig.2 Droplet image preprocessing and algorithm flow chart

2.1 圖像預(yù)處理

受拍攝設(shè)備、自然環(huán)境因素的影響，熔滴圖像的拍攝會出現(xiàn)高光亮、噪點較多等情況，故算法實行前要進(jìn)行預(yù)處理操作。由于高速攝像機(jī)拍攝熔滴過渡圖像的色彩空間較為簡單，拍攝圖像為灰度圖，不含豐富的色彩信息，但是受色彩的明亮程度影響較大，故將BGR 空間轉(zhuǎn)換到HSV 空間，且KNN Matting算法是基于HSV空間進(jìn)行聚類分析的。為了不影響原圖的細(xì)節(jié)表征，可采用中值濾波進(jìn)行噪聲過濾，中值濾波不采用加權(quán)求均值處理，可在幾乎不影響原圖情況下去除全部噪聲。圖3 為中值濾波處理后的圖像。

圖3 中值濾波Fig.3 Median filtering

3 KNN Matting 算法處理

KNN Matting 算法是將用戶生成的Alpha Matte添加到原圖的透明度通道中，根據(jù)透明度的設(shè)定，提取用戶所需保留前景，為后續(xù)圖像操作打下基礎(chǔ)。KNN Matting 算法核心組成為

其中：Ii——原始圖像的像素；αi——透明度；Fi——前景像素；Bi——背景像素。

熔池拍攝圖像的前景背景構(gòu)成一般是復(fù)雜的，不具備明顯的邊界分離，α的取值一般不取完全前景的1 值或者完全背景的0 值，是0～1 之間的線性組成值。所以，此方程α、F和B均為未知變量，無法求解。為解決方程不可求解問題，Levin[8]等人提出針對在單個核空間內(nèi)保證平滑度的情況下，B和F可作為定值，應(yīng)用最小二乘法求得對應(yīng)的透明度α；Chen[9]等人在此基礎(chǔ)上提出Trimap 圖設(shè)定作為邊界條件，其中Trimap 根據(jù)透明度不同，分為3 種顏色：將完全前景設(shè)為白色（α=1），不確定過渡區(qū)域設(shè)為灰色（α=0.5），完全背景設(shè)為黑色（α=0），為生成最終的Alpha Matte 提供了快速迭代條件。

3.1 Trimap 繪制

傳統(tǒng)Trimap 依賴手工標(biāo)注生成，但是不僅不夠智能化，處理圖片過多會對人工產(chǎn)生不小的負(fù)擔(dān)，后來改進(jìn)了產(chǎn)生許多自動生成顯著圖的算法，用作Trimap 的生成雛形圖。其中，Xiao[10]等人提到了一種IG 算法，是通過一個DoG 帶通濾波過程，其中的一端被設(shè)置為圖像的直流分量，可初步生成顯著圖，作為無監(jiān)督學(xué)習(xí)，可以節(jié)省很大的人為工作量。其顯著圖的計算公式為

式中：Iμ——圖像的直流分量，即對應(yīng)每個顏色通道的均值；Iωhc（x，y）——高斯濾波后的圖像；||·||——1 范數(shù)，即2 個向量的絕對值之和。

由于顯著圖屬于初步形成的草圖，邊界位置存在某些像素不適配，或存在丟失行為。之后需將顯著圖二值化后進(jìn)行先膨脹后腐蝕的閉運算，相差部分作為灰度未知區(qū)域。圖4 為Trimap 生成過程，圖5 為最終生成的Trimap。

圖4 三區(qū)標(biāo)志圖生成過程Fig.4 Generation process of Trimap

圖5 三區(qū)標(biāo)志圖Fig.5 Trimap

3.2 KNN Matting 提取熔滴前景

KNN Matting 通過使用K個最近鄰像素來匹配非局部區(qū)域，并且提供了一個簡單快速的算法來產(chǎn)生更高質(zhì)量的圖像擇取結(jié)果，進(jìn)一步利用共軛梯度法求解封閉形式解，生成最終的Alpha Matting。它假定像素的α值可以通過具有相似外觀的非局部像素的α值的加權(quán)和來描述。本文通過選用不同的K值進(jìn)行迭代，在K取31 時前景擬合精度可達(dá)到98%，且相對于K取更大時的計算時長相對更短，滿足所需要求。然而，由于非局部像素之間的比較，其計算量相對其他前景提取算法較大，本文考慮到此因素，設(shè)定IG 算法提取后的Trimap 作為約束條件放入KNN Matting 中，減少其自動生成Trimap 的過程，可很快使得迭代收斂，求得封閉形式解。

對于Trimap 中像素，生成的特征向量為：

式中：h，s，v——HSV 顏色空間的3 個值；（x，y）——像素i的坐標(biāo)值。

將特征向量放入內(nèi)核函數(shù)中計算，其內(nèi)核函數(shù)為

式中：C——權(quán)值調(diào)節(jié)系數(shù)，為保證k（i，j）∈[0，1]；||·||——1 范數(shù)，即2 個向量的絕對值之和。

對生成的內(nèi)核函數(shù)求取拉普拉斯矩陣，公式為：

式中，相似矩陣Aij=k（i，j）；對角矩陣Dij=∑Aij。

將得到的拉普拉斯矩陣求取封閉形式解，其中封閉形式解的方程為

式中：λ——約束系數(shù)；m——Trimap 中灰度未知標(biāo)定位置。

求得封閉形式解即為所需的Alpha Matte。

圖6 為Alpha Matte，圖7 為提取的熔滴前景。

圖6 前景蒙版Fig.6 Alpha Matte

圖7 提取的熔滴前景Fig.7 Extraction of droplet foreground

3.3 輪廓提取與描繪

3.3.1 閉運算

對圖7 中一些高亮像素會造成圖像形成黑點的情況，采用先膨脹后腐蝕的閉運算，可以消除圖像中的黑點。圖8 為閉運算后的熔滴前景。

圖8 閉運算Fig.8 Close operation

3.3.2 輪廓提取

本文利用OpenCV 內(nèi)部自帶的Contours 函數(shù)尋找目標(biāo)輪廓并做提取，然后將提取的輪廓圖像與原圖進(jìn)行加權(quán)平均。圖9 為輪廓提取后的冷金屬過渡熔滴圖像。

圖9 輪廓提取Fig.9 Contours extraction

由上述實驗步驟可看出，KNN Matting 算法對于熔滴輪廓的檢測具有較好的擬合程度，對于細(xì)節(jié)方面的處理較為細(xì)膩，可以很好地反映出熔滴過渡過程中傳質(zhì)的變化行為，而且可以較好地提取出熔滴的實際形貌特征，為對應(yīng)不同焊接參數(shù)下的焊接過程中熔滴在圖像序列中的動態(tài)行為跟蹤和反映熔滴實時的大小變化情況打下了良好的基礎(chǔ)。

4 結(jié)論

本文提出了利用KNN Matting 算法實現(xiàn)冷金屬過渡焊接熔滴過渡開始和過渡狀態(tài)下的輪廓檢測。實驗表明，此方法擬合熔滴輪廓較為準(zhǔn)確，對于熔滴的過渡行為具有一定的表示作用。但Trimap 生成所使用的IG 算法在實驗中被表明適用在小樣本數(shù)據(jù)集中，且作為無監(jiān)督學(xué)習(xí)，對于大樣本、拍攝圖像清晰度不夠等情況下，訓(xùn)練時長較長，擬合生成的顯著圖不夠理想。投入實際應(yīng)用中時，應(yīng)配合深度學(xué)習(xí)深化算法靈敏度，提高對實際拍攝中大樣本圖像邊界敏感程度和實時處理的能力。