汝 杰,李俊峰,沈軍民
(浙江理工大學(xué) 機械與自動控制學(xué)院,浙江 杭州 310018)
鋼化玻璃絕緣子(toughened glass insulator, TGI)全稱盤型懸式鋼化玻璃絕緣子[1],具有零值自破、壽命長、耐振動疲勞、抗冰害等的優(yōu)異特性,主要用于高壓和超高壓交、直流輸電線路中[2]。在TGI的生產(chǎn)制造工藝過程中,需要上窯進(jìn)行均質(zhì)處理,而目前生產(chǎn)企業(yè)均是通過手工方式完成。這種方式勞動強度大、效率低,工作環(huán)境差,人為影響因素大,不利于滿足大規(guī)模、自動化生產(chǎn)的需求。
機器視覺可替代人工視覺,用于全自動裝配和生產(chǎn)[3-7]。陳澤寧等[8]在工件的定位與識別方面通過求取工件輪廓中心矩和輪廓軸線二階導(dǎo)數(shù)的最小值,求得工件的中心坐標(biāo)和旋轉(zhuǎn)角度,然后提取模板工件的Hu不變矩與工件輪廓的Hu不變矩,利用輪廓的相似度量函數(shù)識別工件類型,但對于背景區(qū)分不大、工件之間存在重疊的情況,匹配結(jié)果不盡理想;李長勇等[9]提出了一種基于機器視覺的煙箱包裝帶識別與定位算法,該算法能夠?qū)Ω鞣N顏色的包裝帶進(jìn)行識別與定位,但是對于棱角不明顯、干擾因素多的情況下效果不佳;陳海永等[10]針對集裝箱薄板對接焊,提出一種新穎的焊接機器人起始點識別和焊槍精點的視覺控制方法,并使用直線霍夫變換方法實現(xiàn)焊縫直線的識別與焊縫特征點的提取,該方法具有較好的魯棒性。
本文將機器視覺引入到TGI柔性生產(chǎn)線上[11],并自主研發(fā)相關(guān)設(shè)備,開發(fā)出鋼化玻璃絕緣子識別與定位算法。
該智能上窯定位裝置的方案設(shè)計如圖1所示。
圖1 智能上窯系統(tǒng)方案
TGI智能上窯定位裝置主要由機械系統(tǒng)、控制系統(tǒng)和視覺系統(tǒng)組成,主要完成的任務(wù)有:對待上窯的TGI進(jìn)行識別與定位,確定TGI的中心坐標(biāo)以及正、反情況;利用機械手夾爪將識別的正、反擺放TGI逐個抓取,并進(jìn)行即時翻轉(zhuǎn),最后按照具體要求擺放在窯爐的傳送帶上。該系統(tǒng)采取兩步走的策略,其工作流程如圖2所示。
圖2 系統(tǒng)工作流程
TGI的抓取機構(gòu)為機械手夾爪,通過六軸機器人和機械手夾爪的配合實現(xiàn)TGI的上窯操作[12]。利用自主研發(fā)的機械手夾爪,將其安裝在六軸機器人T軸的法蘭盤上,其中:左機械手負(fù)責(zé)完成對反面放置TGI的吸取和放置;右機械手負(fù)責(zé)完成對正面放置TGI的夾取和放置;左、右機械手通過齒輪、鏈條傳動完成TGI的翻轉(zhuǎn);左、右機械手上的手爪負(fù)責(zé)完成對隔板和托架的抓取與放置。
該智能上窯定位裝置以工控機為中心控制相關(guān)機構(gòu)的執(zhí)行,通過RS-232串口通信完成信號的傳輸。上位機工控機通過Gige千兆網(wǎng)與工業(yè)相機進(jìn)行通信,并利用開發(fā)的識別與定位算法對相機采集的TGI圖像進(jìn)行處理,獲取TGI的中心坐標(biāo)。下位機PLC通過CC-LINK模塊與機械人進(jìn)行通信,通過控制機械手夾爪完成對TGI的抓取和放置。
系統(tǒng)采用高端集成吊頂燈作為該系統(tǒng)的光源,并設(shè)計了相機升降機構(gòu)。光源的正下方為相機升降機構(gòu),其上安裝有CCD工業(yè)相機,通過相機標(biāo)定,確定相機的內(nèi)外參數(shù),進(jìn)而可以確定相機的安裝位置。
光源和視覺采集平臺如圖3所示。
圖3 光源和視覺采集平臺
根據(jù)生產(chǎn)企業(yè)對TGI擺放規(guī)則、最大款TGI的成像及機械手夾爪的設(shè)計要求等因素,系統(tǒng)定位誤差不能超過5 mm,相機視野為1 300 mm×900 mm。相機選用DALSA公司的Genie M2560面掃描相機,分辨率為2 560×2 048,鏡頭焦距為16 mm。視覺系統(tǒng)控制流程如圖4所示。
圖4 視覺系統(tǒng)控制流程
通過視覺采集平臺,該智能上窯定位裝置獲取TGI圖像,如圖5所示。
圖5 鋼化玻璃絕緣子圖像
傳統(tǒng)的邊緣檢測算法在單位像素內(nèi)所獲得邊緣控制點并不精確,獲得的中心坐標(biāo)也不準(zhǔn)確,故筆者采用亞像素精度獲取邊緣輪廓。
筆者在提取亞像素精度邊緣輪廓的過程中,采用本文提出的三點插值法,獲得輪廓邊緣的一系列控制點,從而獲得亞像素精度邊緣輪廓,然后利用最小二乘法進(jìn)行曲線擬合。
為實現(xiàn)像素的細(xì)分,本文采用三點插值法[13]。插值具體過程如下:
先在x方向上對R1和R3進(jìn)行插值,如下式所示:
(1)
(2)
式中:x,x1,x2—x方向像素;f—像素點x方向像素值。
然后在y方向上對R1和R3進(jìn)行插值,如下式所示:
(3)
式中:y,y1,y2—y方向像素;f1—像素點p在y方向像素值。
由式(1,2)代入式(3)可以得到f1(p)結(jié)果;在x方向上對R2進(jìn)行插值,可以得到:
(4)
式中:x,x1,x2—x方向像素;f—像素點x像素值。
在y方向上對R2和R3進(jìn)行插值,可以得到f2(p):
(5)
式中:y,y1,y2—y方向像素;f2—像素點p在y方向像素值。
由式(3,5)可以得到點pi+x,j+y處的灰度值:
(6)
式中:f—像素點p在x、y方向像素值。
利用上述計算過程,插值結(jié)果如圖6所示。
圖6 本文提取的邊緣輪廓
計算出邊緣數(shù)據(jù)之后,由于存在畸變,邊緣成橢圓輪廓,本研究利用最小二乘法對這些數(shù)據(jù)進(jìn)行擬合[14],利用方程直接求出橢圓的中心位置,以該點為中心繪制圓近似替代橢圓輪廓,具體的計算過程如下:
設(shè)橢圓輪廓坐標(biāo)的數(shù)據(jù)為:Nc=[(x1,y1),(x2,y2),…,(xn,yn)],其中:(x1,y1),(x2,y2),(xn,yn)—該橢圓中各控制點的像素坐標(biāo)。
橢圓的一般方程可寫為:P(X,R)=x2+Axy+By2+Cx+Dy+E=0,其中:R—曲線參數(shù),R=[A,B,C,D,E];X—坐標(biāo)向量,X=[x2xyy2xy1]T。因此橢圓圓心坐標(biāo)(x0,y0)可以表示為:
(7)
式中:x0—橫坐標(biāo);y0—縱坐標(biāo)。
那么橢圓長、短軸可以表示成:
(8)
式中:a,b—橢圓的長、短軸。
(9)
本研究通過上述的計算結(jié)果進(jìn)行輪廓擬合,擬合結(jié)果如圖7所示。
圖7 擬合結(jié)果
反面特征擬合的中心是4個擬合圓中心坐標(biāo)的平均值,由于畸變的影響,從圖像的中心向四周逐漸發(fā)生扭曲偏移,每個產(chǎn)品近中心位置處偏移量最小,中心區(qū)域最接近真實值。擬合中心與真值對比如圖8所示。
圖8 中心坐標(biāo)對比
通過畸變校正實驗,第①組近心中心為(1 121.65,968.197),目標(biāo)中心為(1 114.465,968.255),誤差為(+7.185,-0.058);第②組近心中心為(726.713,660.287),目標(biāo)中心為(710.021,651.374),誤差為(+16.692,+8.913);第③組進(jìn)行中心為(1 788.75,992.128),目標(biāo)中心為(1 803.57,991.007),誤差為(-14.82,+1.121)。
通過實驗可知:在水平方向上具有7~16個像素誤差,即不超過±3.5 mm~8.0 mm的誤差;在豎直方向上最大不超過10個像素誤差,即不超過±5 mm的誤差。而機械手夾爪每次抓取前起止位置為產(chǎn)品的正上方,之后根據(jù)反饋的坐標(biāo)值,每次抓取產(chǎn)品調(diào)節(jié)的控制量有本體回轉(zhuǎn)X-,X+,下臂前后擺動Y-,Y+,上臂上下擺動Z-,Z+。為了滿足定位精度,在本體回轉(zhuǎn)控制量上,設(shè)置為向左X-+5.5 mm,向右X+-5.5 mm,這樣水平方向上的誤差可以控制在±(2.0~2.5) mm,滿足本項目的精度要求。
利用上文中擬合的正、反輪廓作為特征,經(jīng)小波變換,采用由粗到精的匹配策略[15-17],具體的過程如下:
(1)將模板圖像和目標(biāo)圖像利用小波變換得到尺度空間M下的分量;
(2)在j=M上進(jìn)行特征匹配,獲得最佳的匹配輪廓Li;
(3)從第二層開始,上一層的匹配結(jié)果將作為本層的初始值,即把在j=M層得到的最佳匹配輪廓映射到j(luò)=M-1層圖像上,然后再在j=M-1層圖像上進(jìn)行匹配,進(jìn)行更精細(xì)的匹配;
(4)另j=j-1重復(fù)上述(3)操作,隨著匹配層數(shù)的增加,可以將假目標(biāo)層層排除,直至在原始圖像上(即j=0時)進(jìn)行最終的匹配,從而獲得最終的目標(biāo)以及中心坐標(biāo)的定位。
為了提高準(zhǔn)確率,該智能上窯裝置利用機械手夾爪上的激光測距傳感器,通過其發(fā)射激光脈沖,測量傳感器到TGI產(chǎn)品第一接觸面的距離,通過公式判斷,確定是否為誤檢。
TGI產(chǎn)品測距校正如圖9所示。
圖9 測距校正H1—激光測距傳感器到反面放置TGI第一接觸面的距離,經(jīng)過多次測量H1取平均值為200 mm;H2—激光測距傳感器到正面放置TGI第一接觸面的距離,多次測量H2取平均值為20 mm
H1與H2的關(guān)系滿足:
H2?H1
(10)
H1-10≤H≤H1+10
(11)
H2-10≤H≤H2+10
(12)
式中:H,H1,H2—實際測量、反面測量、正面測量距離。
其中:實際測量距離為H,若滿足式(11)的條件,則認(rèn)為TGI為反面放置;若滿足式(12)的條件,則認(rèn)為TGI為正面放置。
該智能上窯定位裝置系統(tǒng)選用2 G內(nèi)存臺式的工控機,利用VC++中的MFC搭建系統(tǒng)界面,并在指定模塊下進(jìn)行編程,智能上窯定位裝置系統(tǒng)界面及控制機器人如圖10所示。
圖10 智能上窯裝置
TGI上窯流水線安裝于室內(nèi),由于TGI表面光滑且成弧狀,極易反光,該識別與定位系統(tǒng)在通風(fēng)窗處安裝有遮光窗簾。
本文通過大量采集上午、下午和晚上的TGI產(chǎn)品圖像進(jìn)行實驗分析,隨機抽取上午、下午、晚上的圖像進(jìn)行實驗,實驗結(jié)果如圖11所示。
圖11 不同光照下TGI識別結(jié)果
實驗結(jié)果表明:雖然在自然光的影響下圖像的成像質(zhì)量不好,但是該識別與定位系統(tǒng)依然能夠確保產(chǎn)品正、反面的識別,魯棒性較好。
本文通過隨機選取5托產(chǎn)品,其中每一托有8層,每一層正、反TGI產(chǎn)品個數(shù)為10個,產(chǎn)品總個數(shù)為800個,將信息融合技術(shù)引入到鋼化玻璃絕緣子識別與定位算法中,通過流水線在線操作,分析本識別與定位系統(tǒng)的識別率,識別結(jié)果如表1所示。
表1 智能上窯系統(tǒng)識別結(jié)果及識別率
本文選取3種不同型號的產(chǎn)品進(jìn)行工作效率分析,將人工上窯與智能上窯裝置進(jìn)行對比,對比的結(jié)果如表2所示。
表2 人、機工作效率對比
本文通過設(shè)計鋼化玻璃絕緣子智能上窯裝置定位系統(tǒng),采用三點插值法提高插值精度,有效獲取正、反產(chǎn)品的特征輪廓;并增加激光測距校正環(huán)節(jié),提高產(chǎn)品識別的準(zhǔn)確率。通過實驗驗證:該智能上窯裝置定位系統(tǒng)運行穩(wěn)定、設(shè)計可靠,可以實現(xiàn)TGI全自動化上窯作業(yè)。
但如果產(chǎn)品未水平放置,就會造成無法識別該產(chǎn)品,進(jìn)而無法準(zhǔn)確進(jìn)行上窯。因此該系統(tǒng)要求工人在托架上擺放產(chǎn)品時,產(chǎn)品之間留有一定的間隙,隔板的背景選擇灰暗的且隔板厚度均一致,選擇底部托架時,挑選標(biāo)準(zhǔn)托架,盡量保證與地面水平。
:
[1] 張啟龍,風(fēng) 杰,吳小飛,等.鋼化玻璃絕緣子研究進(jìn)展[J].材料科學(xué)與工程學(xué)報,2014,32(4):596-601.
[2] MOURA E P, ALBERT B B, FONTGALLAND G. Statistical classification of contamination in glass insulators by reading its spectrum[J].InternationalSymposiumonAppliedElectromagneticsandMechanics,2014,45(1):589-595.
[3] 張 猛,施保華.基于機器視覺系統(tǒng)的PC主板自動組裝[J].中國儀器儀表,2016(9):32-35.
[4] 蔣小輝,黃敬堯,呂 添,等.基于人機界面的固定點焊機自動控制系統(tǒng)[J].測控技術(shù),2017,36(3):83-85.
[5] 董 婷.一種自動稱重包裝控制系統(tǒng)設(shè)計[J].控制工程,2017,24(2):372-377.
[6] LIU Jin-mei, WANG Jun-hong, SUN Dong-hui. The design and application of beverage automatic fill-ing system[J].AppliedMechanicsandMaterials,2014,3223(563):366-371.
[7] 郭蘭芳,任家富,石 維.金屬工件涂層在線檢測系統(tǒng)的設(shè)計[J].自動化與儀器儀表,2015(3):35-36.
[8] 陳澤寧,張學(xué)習(xí),彭澤榮,等.基于機器視覺的工件定位和識別[J]. 電子科技,2016,29(4):99-103.
[9] 李長勇,亓利偉,曹其新.基于機器視覺的煙包箱裝帶識別定位算法[J].華中科技大學(xué)學(xué)報:自然科學(xué)版,2008,36(10):61-64.
[10] 陳海永,方灶軍,徐 德,等.基于視覺的薄鋼板焊接機器人起始點識別與定位控制[J].機器人,2013,35 (1):90-97.
[11] TIAN Hao, KANG Xiao-yong, ZHANG Jun-nuo, et al. Fault diagnosis of gearbox based on information fusion technique[J].AppliedMechanicsandMaterials,2014,3028(543):1083-1086.
[12] 張國棟,祁瑞敏.基于S7-200的六軸機械手PLC控制[J].制造業(yè)自動化,2013,35(10):12-13.
[13] JI Hua-wei, WEN Yong-qing. Study on bilinear interpolation Preisach model of Piezoelectric actuator[J].AdvancedMaterialsResearch,2012,1510(443):437-441.
[14] 鄭月英,錢唯德,羅 俊,等.基于曲線擬合的亞像素邊緣定位方法的研究[J].光學(xué)技術(shù),2007,33(3):386-389.
[15] 吳曉軍,鄒廣華.基于邊緣幾何特征的高性能模板匹配算法[J].儀器儀表學(xué)報,2013,34(7):23-30.
[16] 白 宇,張李超,史玉升,等.基于多邊形擬合的形狀匹配與定位算法研究[J].激光與光電子學(xué)進(jìn)展,2016,53(4):172-178.
[17] 路士增,姜明順,隋青美,等.基于數(shù)據(jù)模板匹配算法的FBG沖擊定位系統(tǒng)[J].光電子.激光,2014,25(2):305-310.