基于機器視覺的工件裝配快速定位方法實現(xiàn)

劉向前,閆娟,楊慧斌,賈茜偉

(上海工程技術(shù)大學(xué)機械與汽車工程學(xué)院，上海 201620)

0 前言

隨著智能化、自動化的快速發(fā)展，智能裝配生產(chǎn)線成為了當今加工工藝中不可缺少的環(huán)節(jié)。智能裝配通俗上可理解為用智能化設(shè)備來代替原有人工參與的裝配，即通過多套機器人的智能聯(lián)動和分工協(xié)作來完成多種裝配任務(wù)。定位是保證其過程中零部件裝配質(zhì)量的一個重要環(huán)節(jié)。裝配對精度及穩(wěn)定性要求較高，該過程工作強度大，一旦裝配過程中出現(xiàn)部件裝配誤差較大的情況，就會導(dǎo)致機構(gòu)達不到預(yù)期的功能，甚至使整個機器出現(xiàn)故障，導(dǎo)致不能正常工作。當前，傳統(tǒng)人工裝配的方式已經(jīng)無法滿足現(xiàn)代化裝配精度、效率等需求。因此，如何快速高效對各所需裝配零部件進行準確定位成為有待解決的技術(shù)痛點。

經(jīng)過不斷的研究與開發(fā)，機器視覺和圖像處理技術(shù)的應(yīng)用愈加廣泛?；跈C器視覺的識別檢測系統(tǒng)，采用的非接觸式定位方式，已經(jīng)成為當今智能自動化生產(chǎn)裝配線的主流裝配方法，它不僅定位速度快、結(jié)構(gòu)簡單，而且精度較高。目前，類似的視覺定位應(yīng)用中，主要有閾值濾波、特征點的提取、Sobel算子提取、多濾波處理等。吳賽敏提出用SIFT算法對預(yù)處理后圖像特征點進行提取，然后采用KD-Tree數(shù)據(jù)結(jié)構(gòu)實現(xiàn)對提取特征點的搜索，最后使用FANSAC算法實現(xiàn)特征點與位姿的最終匹配。于嘉鵬等提出一種自適應(yīng)天牛須搜索自動布局算法，使它在保證高效性的同時能搜索到最優(yōu)解，最終實現(xiàn)整個規(guī)劃的過程優(yōu)化。針對相機采集到的圖像存在復(fù)雜背景干擾問題，Lawrence ROBERTS提出一種邊緣處理技術(shù)，即采用Sobel算子與復(fù)合粒子群法相結(jié)合，利用復(fù)合粒子群搜索Sobel算子中最優(yōu)閾值，結(jié)果表明:優(yōu)化后的Sobel算子能夠準確地檢測到圖像輪廓，并且對噪聲起到有效抑制作用。以上基于機器視覺檢測定位的方法，相比傳統(tǒng)檢測定位在精度與效率上都有所提高，但受其工作環(huán)境復(fù)雜、背景干擾的影響，上述方法的重復(fù)定位精度仍然較低。

本文作者基于機器視覺與圖像處理技術(shù)，通過改進的小步長天牛須算法對工件進行寬度檢測，以實現(xiàn)精確定位。首先，采用最小二乘圓擬合對采集的圖像進行ROI提??；為降低圖像周邊對其定位造成的干擾，采用Sobel算子對外輪廓進行處理；同時，通過傅里葉正反變換對圖像進行濾波處理，并建立部件定位數(shù)學(xué)模型；最后，通過小步長天牛須算法進行模型的求解。對不同型號、不同規(guī)格工件進行定位裝配，結(jié)果表明：定位精度在98%以上，誤差可控制在裝配要求的范圍之內(nèi)，可有效解決裝配中檢測定位的問題。

1 定位系統(tǒng)的硬件搭建

硬件系統(tǒng)主要包含工控機、工業(yè)相機、相機鏡頭、條形光源、ABB機器人及控制服務(wù)器；圖像處理主要包含圖像采集、圖像分析及使用的軟件平臺。綜合考慮到使用環(huán)境、定位工件特征等多種因素，選取高分辨率的工業(yè)級海康威視相機，其具體參數(shù)如表1所示。為補償亮度，采用條形光進行端面補光。采用條形光源的優(yōu)點如下：(1)光源是直流電源，所以不存在頻閃現(xiàn)象；(2)照明均勻、穩(wěn)定，無虛影出現(xiàn)；(3)光源功耗小、熱量低且使用壽命比較長。

表1 相機參數(shù)

考慮到相機采集工件圖像時的效率，在軟件中設(shè)置相機采集圖像的方式為LINE外部觸發(fā)的方式。ABB機器人就位后，由PLC發(fā)出信號經(jīng)過工控機發(fā)出的采集信號使得相機對工件進行拍照，然后由光纖網(wǎng)口傳入工控機進行圖像處理；圖像處理完成后，由PLC發(fā)出信號驅(qū)使ABB 機器人直接定位到部件處進行零部件夾取。該系統(tǒng)整體布局如圖1所示。

定位系統(tǒng)包含伺服控制系統(tǒng)、相機采集系統(tǒng)、圖像識別系統(tǒng)及指令收發(fā)系統(tǒng)。該系統(tǒng)執(zhí)行的流程如圖2所示。

圖1 系統(tǒng)整體布局

圖2 系統(tǒng)執(zhí)行流程

系統(tǒng)實施整體流程如下：(1)初始化ABB，確保工件到位狀態(tài)，所有的零部件由同步輸送機進行輸送，然后觸發(fā)光電傳感器，當?shù)竭_工位時，由圖像采集區(qū)域反饋信號給PC進行處理，若ABB定位到位，將信號傳送PLC，觸發(fā)相機進行拍照；若定位不到位，將會進行報錯；(2)圖像采集完成后，PC將采集完成信號發(fā)送至PLC，驅(qū)動ABB夾具夾取工件，然后觸發(fā)輸送帶復(fù)位；(3)ABB機器人夾取零部件移至要與之裝配的液壓工作臺處，若放置準確，則驅(qū)使夾具復(fù)位，否則系統(tǒng)會報錯處理；(4)在液壓臺上進行裝配，完成后觸發(fā)端面光電傳感器工作，并驅(qū)使液壓工作臺轉(zhuǎn)向另一個要進行裝配工序的機器人處。搭建的系統(tǒng)三維模型如圖3所示。

圖3 系統(tǒng)結(jié)構(gòu)三維模型

2 工件定位方法實現(xiàn)

由相機采集到的工件圖像如圖4所示。由于工件檢測外表面形狀的特殊性要求，可以看出提取的ROI區(qū)域形狀為一個圓區(qū)域或者矩形區(qū)域。但由于傳感器、夾具及復(fù)雜背景的存在，會對檢測造成干擾。針對此種多干擾環(huán)境下工件的定位處理問題，提出基于Sobel算子的形態(tài)學(xué)膨脹改進算法。

圖4 工件上表面圖像采集

先對相機采集到的工件圖像進行預(yù)處理，再對其進行二值化及Blob分析。使用Sobel算子對邊緣特征進行提取，然后選用膨脹運算進行優(yōu)化。根據(jù)工件初步形心坐標可計算出實際偏移量，通過調(diào)節(jié)偏移量來驅(qū)動ABB電控運動進行實時調(diào)節(jié)。具體實施流程如圖5所示。

圖5 圖像實施處理流程

3 模型建立與求解

3.1 模型建立

在處理目標工件圖像時，考慮到效率、精度問題以及背景復(fù)雜的干擾性情況，不可能對采集到的圖像進行全部分析處理，即要對某一特定區(qū)域進行提取。在工件中，ROI區(qū)域為圓形區(qū)域，而且需要對存在的背景干擾進行降低、消除。又由于夾具、工位環(huán)境的復(fù)雜及不可預(yù)知性，利用傳統(tǒng)閾值分割方法處理或者連通域面積方法很難將工件ROI區(qū)域提取出。鑒于此，本文作者結(jié)合工件特征提出用最小二乘法對工件內(nèi)外圓與邊緣分別進行擬合、提取，然后對生成的區(qū)域求其差集，具體流程如圖6所示。

圖6 圖像ROI提取

對工件圖像進行Blob分析、形態(tài)學(xué)處理和對邊緣進行亞像素的提取。其定義擬合方程為

=(+)+(+)

(1)

整理變換式(1)可得一般形式方程為

++++=0

(2)

設(shè)工件輪廓邊緣上任一點坐標為(,)，其中∈(1,2,3,…,)。令：

(3)

由弦長公式、垂弦定理可解得參數(shù)、及為

(4)

為使式(3)值最小，則需要使值最小。

對式(3)進行求解可得：

(5)

(6)

(7)

其中：

=∑-∑

將、、值代入式(4)中可解得擬合中心坐標值(，)及半徑值。對求得的內(nèi)外徑及圓心區(qū)域值求差集，即可獲得工件感興趣的區(qū)域。

3.2 圖像干擾的抑制

由于在對工件進行圖像采集的過程中，存在的光照、背景等一些干擾因素都會對成像造成影響，導(dǎo)致采集到的圖像中分布著大小不一的噪聲。為減少干擾，結(jié)合頻域的特點，對它進行傅里葉變換，將空間域轉(zhuǎn)換到頻率域進行處理。具體轉(zhuǎn)換如下：

(8)

(9)

式中：(,)為一個規(guī)格為×的圖像；、為頻域變量。變換后對應(yīng)的頻譜圖及中心頻譜圖如圖7所示。

圖7 變換后的頻譜圖

對比圖7可知，中心化頻譜圖呈四周發(fā)散狀態(tài)分布。本文作者選用卡爾曼濾波進行濾波再處理，最后對濾波后的圖像進行反變換將其轉(zhuǎn)換為空間域，實現(xiàn)對工件原圖像干擾的降噪與抑制。

3.3 模型求解

對采集到的圖像進行ROI提取、圓擬合及濾波處理后，建立工件的定位模型。采用基于小步長天牛須的算法對建立的模型進行求解。

3.3.1 小步長天牛須算法

天牛須算法也被稱為甲殼蟲搜索算法，于21世紀20年代由LI提出的一種啟發(fā)式新型算法。該算法是LI受到天牛覓食原理啟發(fā)而探索出的一種智能算法,以進行最優(yōu)化的求解策略。但是，由于天牛須算法最初采用的步長值是固定值，這使得在進行全局搜索過程時適應(yīng)性較差，導(dǎo)致效率較低，并且精度不高。針對此問題，本文作者采用改進的小步長天牛須算法，達到對濾波后的圖像進行小步長精細化的搜索，將兩者結(jié)合有效保障算法在效率、精度與速度之間的平衡。

3.3.2 改進的算法流程

步驟1：對濾波處理后圖像進行數(shù)據(jù)提取；

步驟2：初始化改進的小步長天牛須算法參數(shù)；

步驟3：求解左、右質(zhì)心坐標值：

(10)

(11)

其中：為天牛左坐標；為天牛右坐標；為左右之間的距離；為初始值；

步驟4：引入價值函數(shù)：

=()

(12)

=()

(13)

步驟5：由小步長改變策略求解下一個質(zhì)心點坐標：

(14)

其中：為變化參數(shù)；為步長值。

步驟6：求解是否滿足結(jié)束條件；若滿足，迭代結(jié)束；否則返回，繼續(xù)進行迭代計算。其具體執(zhí)行流程如圖8所示。

圖8 算法實現(xiàn)執(zhí)行流程

4 實驗驗證與結(jié)果

4.1 實驗環(huán)境及參數(shù)配置

此實驗中硬件配置環(huán)境為Windows10運行系統(tǒng)、Inter(R)Core(TM)i5-5200U CPU、頻率為2.20 GHz、RAM為8 GB的PC機。系統(tǒng)軟件是基于Vision Master環(huán)境開發(fā)的，PLC采用SIEMENS的S7-1200，選用多臺ABB機器人相互協(xié)作進行實驗研究。

4.2 實驗數(shù)據(jù)處理與分析

為驗證所涉及算法的合理性，針對相機采集圖像進行補光、濾波、降噪處理和最終的工件定位實驗，實驗環(huán)境基于Vision Master平臺進行開發(fā)，具體實施流程如圖9所示。

圖9 平臺實施流程

具體流程:(1)對相機采集圖像進行干擾降噪處理；(2)圖像邊緣處使用Sobel算子進行直線查找；同理，在其他邊緣處也采用相同方法求解；(3)為精確檢測到每個工件的中心坐標值，將改進的小步長天牛須算法引入腳本中，以對每一個工件坐標值進行精確搜索及計算；(4)用卡尺工具驗證工件的實際中心坐標值；(5)將所有處理完成的數(shù)據(jù)發(fā)送至服務(wù)終端。

實驗中選用6組不同型號、規(guī)格的機械零部件進行定位、裝配實驗，并計算其裝配誤差，各樣本的求解數(shù)據(jù)如表2所示，改進前后定位檢測效果如圖10所示。

表2 樣本采集數(shù)據(jù)

圖10 定位檢測示意

由圖10(a)可看出:求解的工件定位點分布在工件邊緣的兩側(cè)，且分布不均勻，明顯偏移邊緣中心。由圖10(b)可以觀察到：此時每個工件計算定位點都在其邊緣左、右傾斜線中點處。這樣不僅可以保證實現(xiàn)工件定位的準確性，同時也將有效減小裝配導(dǎo)致的可能誤差。

為了驗證算法定位策略的準確性，針對理想情況下、改進前及改進后3種情況，對樣本進行大于100次的測試實驗，記錄實驗數(shù)據(jù)，選取具有代表性的20次數(shù)據(jù)結(jié)果，并由MATLAB進行數(shù)據(jù)統(tǒng)計，結(jié)果如圖11所示。

圖11 數(shù)據(jù)對比統(tǒng)計結(jié)果

由圖11可知：該圖像檢測定位算法可有效求解出工件定位中心坐標值；從準確率上來講，其精度達到98.57%以上，誤差控制在1.5%以下，滿足實際裝配工藝要求；從效率上來講，可節(jié)約大量時間及勞動力，極大地提高生產(chǎn)效率?？傮w上來說，該算法滿足實際加工工藝裝配精度需求，可縮短生產(chǎn)周期，提高裝配效率，具有較高的準確性及可靠性。

5 結(jié)語

本文作者為解決工件在裝配中定位誤差問題，提高生產(chǎn)中裝配效率，提出一種采用機器視覺技術(shù)對工件進行精確定位的方法。首先，對相機采集到的圖像進行最小二乘圓擬合ROI提取，使用Sobel算子對其邊緣進行處理；為抑制背景的干擾，采用傅里葉正反變換進行濾波處理，并建立工件定位數(shù)學(xué)模型；最后，采用改進的小步長天牛須算法對其模型進行求解。基于Vision Master平臺開發(fā)環(huán)境，搭建了不同算法腳本。對比不同型號、不同類別工件檢測定位出的實驗數(shù)據(jù)，結(jié)果表明：所提出的系統(tǒng)定位策略可有效提高定位的精度，誤差可控制在2%以下，滿足實際裝配需求。