基于機器視覺的四通閥自動釬焊定位系統(tǒng)

孔 明 賀楚紅 王英軍 黃 瑋

中國計量大學，杭州，310018

?

基于機器視覺的四通閥自動釬焊定位系統(tǒng)

孔 明 賀楚紅 王英軍 黃 瑋

中國計量大學，杭州，310018

為了提高四通閥焊接的速度和精度，提出了四通閥自動釬焊定位技術及系統(tǒng)。運用基于圖像處理方法的計算機視覺技術，實現(xiàn)了對空調(diào)零件四通閥釬焊坐標的快速準確定位。采用近紅外背光源進行照明，實現(xiàn)了對四通閥圓心坐標及側面高度的自動檢測。采用近紅外背光源能使成像邊緣更清晰易辨，具有環(huán)保節(jié)能、壽命長等優(yōu)點。該系統(tǒng)主要通過閾值分割和PCA算法分別實現(xiàn)對四通閥銅柱圓輪廓提取和銅柱高度的水平投影，通過形狀匹配和直線擬合獲得圓心相對坐標和高度，實現(xiàn)對四通閥釬焊定位的檢測。該系統(tǒng)具有速度快、準確率高、系統(tǒng)運行穩(wěn)定等優(yōu)點，在工業(yè)上的四通閥釬焊中具有較好的應用性和廣闊的發(fā)展前景。

圖像處理；圖像分析；灰度直方圖；測量

0 引言

四通換向閥是熱泵型空調(diào)中的重要部件之一，起著制冷、制熱的轉換作用，適用于中央/分體/窗式空調(diào)器等，能夠實現(xiàn)冷媒流向的轉換，換向安全可靠。隨著冷暖空調(diào)器的普及使用，四通閥的需求量逐漸加大，但是目前大部分企業(yè)的四通閥焊接一直依賴手工釬焊，勞動強度大，效率低，也有部分企業(yè)依賴進口設備。天津焊接研究所開發(fā)的PG2-25X二工位四通閥端蓋高頻自動釬焊專機，采用高頻感應加熱對四通閥兩端端蓋進行焊接，替代了手工釬焊，降低了操作者勞動強度且設備穩(wěn)定性較好[1]。空調(diào)制冷行業(yè)中，四通換向閥的焊接主要使用自動火焰釬焊設備，采用該方式雖然能獲得較高的產(chǎn)品質量及生產(chǎn)效率，但現(xiàn)有自動火焰釬焊設備仍存在工作條件惡劣、生產(chǎn)效率低下、釬焊質量不穩(wěn)定的弊端[2]。我國雖然先后研制成功了幾臺釬焊設備，但生產(chǎn)中還要進口國外昂貴的焊接設備，這制約了空調(diào)家電業(yè)的發(fā)展[3]。

現(xiàn)代焊接技術的自動化水平日益提高，針對上述弊端，本文提出了一種四通閥自動釬焊定位系統(tǒng)，采用Opencv的編程環(huán)境設計了實驗裝置，提出了一種主成分分析的投影方法來提取四通閥的高度邊界，通過形狀匹配獲取四通閥的4個圓心。本系統(tǒng)利用機器視覺直接觀測四通閥焊接過程，該方法具有明顯的優(yōu)點，采集的數(shù)字圖像表象直觀，信息豐富，且數(shù)字化的圖像數(shù)據(jù)可以實時傳輸?shù)接嬎銠C高速緩存內(nèi)進行實時處理，提取特征信息，并作出在線判決，使得實現(xiàn)焊接過程質量實時傳感與控制成為可能。

1 檢測系統(tǒng)

1.1 硬件系統(tǒng)

四通閥自動釬焊定位系統(tǒng)工位圖如圖1所示，主要包括工控機、I/O卡、兩部相機以及接近開關等。系統(tǒng)的主要任務是利用機器視覺技術對當前時刻所拍攝的四通閥進行圖像預處理，根據(jù)四通閥的特征進行分析，得出分析結果(即四通閥相對圓心和高度坐標)，然后傳遞給執(zhí)行機構進行焊接操作。該檢測系統(tǒng)主要由圖像采集裝置、背光源、圖像處理及分析軟件、執(zhí)行機構與環(huán)形傳動裝置等組成。

本系統(tǒng)中工控機控制兩部相機進行四通閥兩方位圖像采集以及圓心和高度相對位置檢測。傳動裝置一共有6個工位，上下線需要依靠人工擺放固定，底座呈回轉式運動。系統(tǒng)獲得接近信號以后打開兩個相機和背光源進行圖像采集，之后進行圖像處理，獲得的兩組相對坐標經(jīng)坐標校正以后傳輸給PLC，PLC傳輸給機械臂進行焊接操作。

圖1 整體檢測系統(tǒng)工位示意圖

為了更好地實現(xiàn)四通閥釬焊定位、快速檢測，系統(tǒng)在遮光環(huán)境下采用紅外通道對四通閥外形信息圖形進行采集。紅外通道由CMOS相機、背光源組成。

根據(jù)視場大小(50 mm×60 mm)以及誤差要求(0.5 mm)，對相機進行了選型計算，選擇130萬像素CMOS圖像傳感器相機，它具有成本低、靈敏度高等優(yōu)點。

用背光源和普通環(huán)形LED光源分別進行照明，采集到的圖像如圖2和圖3所示，根據(jù)對比可以發(fā)現(xiàn)用背光源照明的圖像輪廓更加清晰，有利于圖像處理時特征的提取和檢測。背光源放置于被測物體的側面，當對物體進行成像時，被測物與光源形成了邊緣陰影，從而可以很容易地得到四通閥邊緣的輪廓，將被測物從背景中分開。

圖2 背光源照明圖像

圖3 環(huán)形LED照明圖像

兩個相機垂直排列，分別從上方和右側對四通閥進行拍攝，上方的相機用于采集四通閥四個圓心圖像，右側的相機用于采集高度圖像。利用四通閥經(jīng)過紅外光照明成像所得的彩色圖實現(xiàn)四通閥釬焊定位的檢測。

1.2 軟件系統(tǒng)

整個圖像處理流程如圖4所示，其中主要用到形狀匹配算法和PCA算法。

圖4 圖像處理流程圖

1.2.1 形狀匹配原理

形狀匹配是計算機視覺和模式識別的一個基本問題，它被應用到很多領域，如目標識別、基于內(nèi)容的圖像檢索、文字識別、醫(yī)療診斷等。在過去的幾十年中，人們研究和開發(fā)了很多形狀匹配算法，每種算法各有其優(yōu)點和缺陷[4]。

Zhang等[5]根據(jù)所獲得形狀特征的方法是通過形狀輪廓還是形狀區(qū)域，把形狀描述方法分為基于輪廓的形狀描述方法和基于區(qū)域的形狀描述方法兩類，前一種方法的形狀特征來自于形狀的輪廓曲線信息，后一種方法則來自于形狀區(qū)域的信息。還可以根據(jù)所獲得的形狀特征的表示與描述是根據(jù)整體元素還是局部元素，把形狀描述方法分為全局形狀描述方法和結構化形狀描述方法。

本文采用基于輪廓的形狀描述方法，顧名思義，基于輪廓的形狀描述方法首先需要提取的就是形狀的輪廓信息。一般基于輪廓的形狀匹配分為6個步驟[6]，包括圖像采集、邊緣檢測、樣本點采集、形狀描述、形狀匹配和結果分析等。

對要進行匹配的圖像進行信息采集，于其邊緣輪廓進行檢測，確定其邊緣，對于特征的提取極其關鍵，最終的目的是生成一條連續(xù)的曲線來表示物體的輪廓，這一過程中避免了很多跟邊緣無關的信息的處理，保留的都是與邊緣計算相關的信息量，大大減小了后續(xù)工作的計算量[7-8]。

在Opencv中，我們可以使用cvMatchShapes (const void* object1, const void* object2, int method, double parameter =0)算子進行形狀匹配，其中，object1表示第一個輪廓圖像，object2表示第二個輪廓圖像。cvMatchShapes()使用匹配方法見表1。

表1 cvMatchShapes()匹配方法表

圓心原始圖像(圖5)經(jīng)過灰度化后繪制灰度直方圖(圖6)，對曲線進行二階求導，取其第一個波谷為閾值，進行二值化處理，如圖7所示。閾值分割后進行輪廓提取和形狀匹配，并擬合輪廓，輸出4個銅管的圓心坐標和半徑，如圖8所示。

圖5 圓心原始圖

圖6 灰度直方圖

圖7 圓心自動閾值圖

圖8 形狀檢測圖

1.2.2 主成分分析的投影

主成分分析(principal component analysis，PCA)方法的基礎是Karhunen-Loeve變換(簡稱K-L變換)，是一種常用的正交變換，主要用于數(shù)據(jù)降維。PCA可將高維度的資料進行壓縮，它是最小均方誤差下的最優(yōu)維數(shù)據(jù)壓縮技術，它可以從一個多元變量的數(shù)據(jù)中找出能表現(xiàn)這個數(shù)據(jù)特征的幾個量，揭示了事物的本質，能夠簡化問題。而且PCA方法所提取的特征之間是互不相關的，Turk等[9]最早將PCA用于特征臉的提取。

把原始數(shù)據(jù)中每個樣本用一個向量表示，然后把所有樣本組合起來標準化后構成一個矩陣。求取該矩陣的協(xié)方差矩陣，再求得協(xié)方差矩陣的特征值和特征向量，將求出的特征向量按照特征值的大小進行組合形成一個映射矩陣，并根據(jù)指定的PCA保留的特征個數(shù)取出映射矩陣的前n行或者前n列作為最終的映射矩陣。將得到的映射矩陣對原始數(shù)據(jù)進行映射，達到數(shù)據(jù)降維的目的。協(xié)方差矩陣為

cov(x,y)=E(xy)-E(x)E(y)

對角線上分別是x和y的方差，非對角線上是協(xié)方差。協(xié)方差大于0表示x和y若有一個增，另一個也增；協(xié)方差小于0表示一個增，一個減；協(xié)方差為0時，兩者獨立。協(xié)方差絕對值越大，兩者對彼此的影響越大，反之越小。

將特征值按照從大到小的順序排序，選擇其中最大的k個，然后將其對應的k個特征向量分別作為列向量組成特征向量矩陣。將樣本點投影到選取的特征向量上。假設樣例數(shù)為m，特征數(shù)為n，減去均值后的樣本矩陣為DataAdjust(mn)，協(xié)方差矩陣是n2，選取的k個特征向量組成的矩陣為EigenVectors(nk)。那么投影后的數(shù)據(jù)FinalData為

FinalData(mk)=DataAdjust(mn)×EigenVectors(nk)

然后得到結果。這樣，就將原始的n維特征變成了k維，這k維就是原始特征在k維上的投影。

整個PCA過程貌似極其簡單，就是求協(xié)方差的特征值和特征向量，然后作數(shù)據(jù)轉換；計算共變量矩陣以及共變量的特征值以及特征向量，將特征向量排序后投影回原始數(shù)據(jù)的結果，再進行降低維度的動作，將x軸的數(shù)據(jù)投影在y軸上。圖9為進行PCA的投影圖，從投影圖中可以看到投影的梯度代表每根銅管的高度。

圖9 投影曲線圖

圖10 PCA水平投影圖

為了求銅管的高度，需要知道梯度的坐標，梯度的縱坐標即銅管的高度，因此，需要對投影曲線進行數(shù)據(jù)分析。提取投影曲線，將其放大并逆時針旋轉90°，如圖10所示。對其進行直線擬合得到斜率(圖11)，處在波谷的4個斜率值對應的點即高度所在拐點，如圖12所示。其中，銅管高度等于圖片原始寬度減去拐點橫坐標。

圖11 直線擬合斜率圖

圖12 高度示意圖

2 實驗

為了驗證本文方法的可行性，在實驗室搭建了實驗平臺，進行實驗研究。實驗系統(tǒng)中，一個CMOS相機光軸垂直于四通閥圓心所在平面，另一個CMOS相機光軸與圓心所在平面平行，可使其重合成一條直線，有利于后期高度的檢測。

系統(tǒng)工作流程如下：在實驗過程中，打開軟件后首先進行初始化工作，包括檢查相機與背光源能否正常工作；監(jiān)聽輸入端口，若有接近信號，計算機會控制打開相機和背光源，進行圖像采集，進入圖像處理；若接收到結束信號，系統(tǒng)停止工作并退出。

圖像處理流程如下：

(1)獲取圓心坐標。首先讀入標定值，然后讀取四通閥圓心圖像，對其進行灰度化并繪制灰度直方圖；進行一階求導和二階求導，取的第一個波谷值即閾值；經(jīng)過閾值分割和形狀匹配等算法提取出四個圓心的相對坐標信息并輸出。

(2)獲取高度值。首先讀入標定值，讀取四通閥高度圖像，對其進行灰度化處理，然后進行PCA水平投影，對投影點進行直線擬合，獲得4個高度坐標。

實驗前需進行測量裝置的標定，即相機內(nèi)外參數(shù)的標定。

為了驗證所開發(fā)的四通閥自動釬焊定位系統(tǒng)的有效性，銅管序號從左往右依次為1、2、3、4，對10個四通閥進行實驗，要求誤差在0.5 mm內(nèi)，高度以第三根銅管為基準，檢測結果見表2和表3。

表2 四通閥圓心檢測實驗結果

表3 四通閥相對高度檢測實驗結果

從表2和表3的實驗結果中可以看到，在10組實驗中，只有第9組四通閥的第1個銅管直徑數(shù)據(jù)誤差大于0.5 mm，系統(tǒng)檢測準確率為99%。

在整個系統(tǒng)中相機存在光學誤差。當點光源經(jīng)過鏡頭在像平面成像，如果此時保持鏡頭與相平面距離不變，沿光軸方向前后移動物體，則像平面上成的像就會成為有一定直徑的圓形，叫彌散圓。保持四通閥與相平面距離不變，在景深內(nèi)沿光軸方向前后移動四通閥，就會在像平面上形成一定直徑的彌散圓。彌散圓直徑的計算公式為

其中，uA、uB為物距，f為焦距，F(xiàn)為光圈數(shù)。物距uA、uB分別為350.01 mm和350 mm，將相機參數(shù)代入上式中可得δ≈0.17 μm。δ數(shù)量級過小，因此，相機的光學誤差可忽略不計。

3 結語

本文研發(fā)了一種基于圖像處理的近紅外通道四通閥自動釬焊定位系統(tǒng)，并對其進行了實驗，實驗結果表明，該系統(tǒng)能較好地對四通閥的圓心和高度進行定位，檢測速度達到100個/h，準確度率為99%。本系統(tǒng)通過將圖像處理技術應用到四通閥圖像的特征提取中，完善了數(shù)字圖像處理技術在空調(diào)零件四通閥釬焊領域的應用。自動釬焊系統(tǒng)不僅大幅度提高了工作效率，降低了工人的 勞動強度，而且自動化程度高、PLC程序控制、操作簡單、工作運行可靠、工藝合理、焊接質量穩(wěn)定，使空調(diào)零部件焊接部分質量上升到一個新的臺階。

[1] 焦鐵, 柳英利,丁正春.2工位四通閥端蓋高頻自動釬焊專機的研制[J].焊接技術, 2003,22(5):47-48. Jiao Tie, Liu Yingli, Ding Zhengchun. Development of Two-station Four-way Valve High Frequency Automatic Brazing Machine[J].Welding Technique, 2003,22(5):47-48.

[2] 孫學娟.直線步進式自動火焰釬焊專機的研制[J]. 焊接技術,2014(7):52-55. Sun Xuejuan.Development of High Frequency Induction Automatic Brazing Special Machine with 2 Working Procedures for 4-passage-valve End Cover[J]. Welding Technology,2014(7):52-55.

[3] 柳英利, 薛萍, 許春瑩，等.四通閥焊接生產(chǎn)線的開發(fā)研制與完善[J].焊接技術,2003,32(6):39-40. Liu Yingli, Xue Ping, Xu Chunying, et al. Development of a Linear Stepping a Utomatic Flame Brazing Machine[J]. Welding technique,2003,32(6):39-40.

[4] 周瑜, 劉俊濤, 白翔.形狀匹配方法研究與展望[J].自動化學報,2012,38(6):889-910. Zhou Yu, Liu Juntao, Bai Xiang. Research and Prospect of Shape Matching Method[J]. Journal of Automation, 2012,38(6):889-910.

[5] Zhang Dengsheng,Lu Guojun.Review of Shape Representation and Description Techniques[J].Pattern Recognition, 2004,37(1):1-19.

[6] 余江.基于輪廓的形狀匹配方法研究[D].合肥：安徽大學,2013.

[7] 張強.基于幾何特征的目標識別及跟蹤技術的研究[D].長春：長春理工大學，2008.

[8] 于夢竹.基于亞像素邊緣檢測的圖像放大算法研究與實現(xiàn)[D].哈爾濱：哈爾濱工程大學，2013.

[9] Turk M, Pentland A. Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience, 1991,3(1):71-86.

(編輯 陳 勇)

Four-way Valve Automatic Brazing Positioning System Based on Machine Vision

Kong Ming He Chuhong Wang Yingjun Huang Wei

China Jiliang University,Hangzhou,310018

To improve the speed and precision of four-way valve brazing, an automatic brazing inspention system was proposed. Based on machine vision the four-way valve brazing coordinate was located accurately. Using near-infrared backlight source for lighting the automatic dectections of four-way valve center and side heigh were realize. Using near-infrared backlight the image edge might make more clear and easy to argue, with the advantages of environmental protection and energy saving, long life, et al. The system might achieve the level projection of four-way valve circle contour extraction and column height mainly through threshold segmentation and PCA algorithm respectively. Through shape matching and linear fitting the center of circle relative coordinate and height were obtained to achieve the four-way valve brazing inspectiong system.The four-way valve brazing inspection has the advantages of high speed, high accuracy, stable system operation and so on. It has good applications and broad development prospects in industries.

image processing; image analysis; gray histogram; measurement

2015-12-01

國家自然科學基金資助項目(51375467)

TN911.73;TP391.4

10.3969/j.issn.1004-132X.2016.22.011

孔 明，男，1978年生。中國計量大學計量測試工程學院教授。主要研究方向為精密儀器、機器視覺。賀楚紅，女，1990年生。中國計量大學計量測試工程學院碩士研究生。王英軍，男，1991年生。中國計量大學計量測試工程學院碩士研究生。黃 瑋，男，1991年生。中國計量大學計量測試工程學院碩士研究生。