大跨度中厚板邊緣視覺識(shí)別與打磨引導(dǎo)研究*

吳立華，申啟訪，黃冠成，陳新度

（1.廣東開放大學(xué)（廣東理工職業(yè)學(xué)院），廣州 510091；2.廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州 510006）

0 引言

大跨度中厚板由于其較大的尺寸和較厚的厚度，能夠提供更高的強(qiáng)度和剛度，適用于建筑、橋梁、船舶和其他工程領(lǐng)域的各種結(jié)構(gòu)和設(shè)備制造。近年來，特別在風(fēng)力發(fā)電綠色新能源大趨勢(shì)下[1]，大跨度中厚板大量用于制造風(fēng)電塔。風(fēng)電塔風(fēng)力發(fā)電機(jī)組的地面支撐結(jié)構(gòu)需要承受風(fēng)力的沖擊和重力負(fù)荷，中厚板的高強(qiáng)度和剛度使其成為風(fēng)電塔制造的理想選擇。重型機(jī)械廠利用切割工藝或者成形工藝將中厚板加工成所需的尺寸和形狀，或再進(jìn)行彎曲、沖孔、滾圓等操作，最后通過焊接或組裝成為各大重型機(jī)械設(shè)備的腹板或架構(gòu)等主要受力支撐部位。中厚板外邊成形主要利用火焰切割、激光切割和水切割等，由于金屬特性和切割工藝控制等原因，在邊緣切割時(shí)通常會(huì)存在一定的毛刺或者熔渣。而且，大多數(shù)中厚板成形后會(huì)在倉(cāng)庫(kù)中存放相對(duì)較長(zhǎng)的時(shí)間，在需要用料時(shí)才從倉(cāng)庫(kù)中取出，此時(shí)原始邊緣和成形切割自由邊都會(huì)氧化形成銹跡，為了保證下一步板材焊接或噴漆的工藝質(zhì)量，必須鏟除工件上氧化皮和毛刺，因此需要進(jìn)行表面或者邊緣打磨。大跨度中厚打磨工藝相對(duì)比較簡(jiǎn)單，但是由于板材邊緣極長(zhǎng)或表面面積大導(dǎo)致工作量極大，因此使用機(jī)器人打磨可以節(jié)省大量人力和提高打磨質(zhì)量。但由于中厚板用途不一，其尺寸、厚度、或形狀不一致，如圖1 所示，而且由于重量大、重復(fù)定位難，傳統(tǒng)機(jī)器人示教打磨難以實(shí)現(xiàn)。因此，視覺引導(dǎo)機(jī)器人打磨或?qū)O大提高當(dāng)前應(yīng)用場(chǎng)景的安全性[2]、靈活性和效率[3]，視覺傳感器能夠獲取金屬板材圖像信息，經(jīng)過軟件算法提取后，將特征信息點(diǎn)位和工藝數(shù)據(jù)發(fā)送到機(jī)器人控制系統(tǒng)，從而自動(dòng)調(diào)整機(jī)器人的位置、姿態(tài)和速度，更準(zhǔn)確地控制加工深度和拋光打磨的位置和方向，從而獲得更高的加工精度和表面質(zhì)量。機(jī)器人通過視覺引導(dǎo)進(jìn)行拋光打磨可以適應(yīng)不同形狀和尺寸的物體，即使是復(fù)雜的幾何形狀也可以完成加工，從而提高了應(yīng)用范圍。

圖1 多規(guī)板材實(shí)物

圖2 引導(dǎo)打磨流程

視覺引導(dǎo)機(jī)器人進(jìn)行中厚板邊緣打磨，邊緣檢測(cè)識(shí)別是基礎(chǔ)。傳統(tǒng)的基于圖像灰度梯度提取的Canny 或Sobel[4-5]算子對(duì)圖像邊緣進(jìn)行簡(jiǎn)單高效提取，但是過多的細(xì)節(jié)紋理和邊緣特征同時(shí)被提取出來。如何更好地提取目標(biāo)的整體邊緣輪廓信息并弱化不明顯的局部干擾紋理，許多學(xué)者在深度學(xué)習(xí)模型的邊緣輪廓特征提取算法進(jìn)行了研究。Xie 等[6]提出通過堆疊多個(gè)卷積層和池化層來實(shí)現(xiàn)邊緣特征的提取。Bertasius 等[7]提出DeepEdge，利用全卷積神經(jīng)網(wǎng)絡(luò)（FCN）進(jìn)行端到端的邊緣檢測(cè)，并通過訓(xùn)練數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)邊緣特征。Liu 等[8]提出CASENet，旨在通過利用上下文信息和全局感知機(jī)制來提高邊緣檢測(cè)的準(zhǔn)確性。He 等[9]提出BDCN 算法構(gòu)建輕量型多尺度特征融合的邊緣檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)模型。在大跨度工件打磨方面，丹麥Eltronic 和Vestas[10]兩公司分別通過AGV 和行走龍門實(shí)現(xiàn)打磨機(jī)器人示教或模型數(shù)據(jù)引導(dǎo)的風(fēng)力葉片的自動(dòng)化打磨。方偉等[11]針對(duì)大型港機(jī)構(gòu)建使用RRT*算法研究驗(yàn)證機(jī)器人打磨避障技術(shù)并后續(xù)展開視覺引導(dǎo)缺陷焊縫識(shí)別打磨。文獻(xiàn)[12-15]結(jié)合視覺完成了機(jī)器人打磨工作中涉及的定位、路徑規(guī)劃等問題。Bedaka等[16]通過離線編程OLP和3D視覺結(jié)合，實(shí)現(xiàn)機(jī)器人離線打磨軌跡準(zhǔn)確性的提高。此外對(duì)于視覺引導(dǎo)的打磨，目前多為對(duì)工件圖像進(jìn)行局部灰度或幾何特征進(jìn)行模板匹配定位[17-18]，然后對(duì)示教打磨路徑進(jìn)行平面空間映射轉(zhuǎn)換，或直接使用設(shè)計(jì)的模型圖紙進(jìn)行引導(dǎo)，這對(duì)批量的同款且一致性好的工件能很好地提高效率，但對(duì)多樣異形的大型工件，示教工作將是巨量的，另外局部特征的定位誤差會(huì)在大跨度工件中放大，導(dǎo)致引導(dǎo)偏離打磨出錯(cuò)。過程中若不能很好地獲取局部實(shí)時(shí)高度和特征如異物和凸塊等，同樣會(huì)對(duì)磨具造成極大的損傷。

本文基于中厚板邊緣打磨視覺引導(dǎo)需求，主要結(jié)合深度學(xué)習(xí)模型HED 算法架構(gòu)和傳統(tǒng)梯度邊緣點(diǎn)集提取算法，進(jìn)行多類型多形狀多尺寸中厚金屬板材邊緣輪廓的快速穩(wěn)定識(shí)別和全局定位引導(dǎo)與局部打磨工藝的探索研究。

1 中厚板邊緣打磨視覺引導(dǎo)研究

大跨度中厚板視覺引導(dǎo)打磨過程設(shè)計(jì)：首先將隨機(jī)尺寸形狀板材放置于打磨承載臺(tái)上，控制直線導(dǎo)軌利用機(jī)械臂上相機(jī)進(jìn)行待打磨板材進(jìn)行大視野遠(yuǎn)視場(chǎng)全局圖像采集，整體采集的時(shí)候，機(jī)械臂位姿不變，相當(dāng)于相機(jī)固定架，只有機(jī)器人導(dǎo)軌進(jìn)行運(yùn)動(dòng)。全局圖定義：一是分段區(qū)域高機(jī)位遠(yuǎn)視場(chǎng)采集的區(qū)段全局圖像，二是所有區(qū)段全局圖像拼接而成的工件整體全局圖像。對(duì)產(chǎn)量多的邊緣簡(jiǎn)單穩(wěn)定的工件，可以建立示教路徑模板庫(kù)，對(duì)拼接得到的工件整體全局圖像進(jìn)行邊緣提取后通過外形尺寸特征進(jìn)行型號(hào)判定，調(diào)用對(duì)應(yīng)示教模板路徑，利用示教軌跡映射轉(zhuǎn)換后的點(diǎn)位進(jìn)行局部點(diǎn)云采集進(jìn)行定位規(guī)劃。對(duì)異樣且不存在模板的工件，進(jìn)行分段全局圖像邊緣提取，進(jìn)行當(dāng)前區(qū)域的全局邊緣等間距引導(dǎo)進(jìn)行近視場(chǎng)的點(diǎn)云采集定位。進(jìn)行局部高精度邊緣點(diǎn)云圖像采集時(shí)，實(shí)時(shí)提取邊緣點(diǎn)進(jìn)行尖端打磨工具的定位以及位姿調(diào)整，實(shí)現(xiàn)高精度實(shí)時(shí)定位打磨。

1.1 基于HED的遠(yuǎn)視場(chǎng)全局邊緣提取

1.1.1 多樣異形板材全局邊緣提取分析

板材本身存在金屬色澤差異，同時(shí)因?yàn)榇娣艜r(shí)間或環(huán)境不完全一致，表面氧化導(dǎo)致的銹跡面積和色澤不一致，剖切口邊緣因?yàn)楣に嚨纫蛩匾彩浅识鄻踊?，這些都造成板材自身在圖像上的特異性。另外因?yàn)閳D像采集環(huán)境的搭建也存在不同，通常會(huì)造成背景與目標(biāo)差異最大化的采集環(huán)境，但也會(huì)因?yàn)槟承┛陀^因素使得物體跟背景不能很好地區(qū)分。上述原因造成了圖像上提取板材邊緣的困擾，通用的二值化閾值邊緣提取如Canny 算子或Sobel等，在光學(xué)環(huán)境和圖像素材不能穩(wěn)定的情況下根本行不通，多數(shù)常用深度學(xué)習(xí)模型也難以穩(wěn)定提取。在大跨度異形板材邊緣打磨中，2D 圖像采集和邊緣特征提取效率高，大視野的3D圖像采集或者點(diǎn)云處理效率相對(duì)較低，為此若能保證在2D 圖像中進(jìn)行板材邊緣特征提取，將能很好地提高效能并降低成本。

1.1.2 基于HED全局邊緣融合提取

大跨度板材決定了打磨臺(tái)的跨度，對(duì)幾米甚至十幾米長(zhǎng)的厚板，長(zhǎng)度方向可采用的方法有兩種：分區(qū)采集分段打磨和分區(qū)采集整體打磨。分區(qū)采集分段打磨，就是將打磨臺(tái)分成多個(gè)區(qū)間，各區(qū)間獨(dú)立，采集圖像后直接處理進(jìn)行邊緣特征提取并引導(dǎo)機(jī)器人進(jìn)行局部邊緣打磨。分區(qū)采集整體打磨，就是首先將打磨臺(tái)上大跨度板材進(jìn)行分區(qū)圖像采集，然后進(jìn)行圖像拼接，在對(duì)整體工件圖像進(jìn)行邊緣特征提取后定位引導(dǎo)打磨。2D 圖像邊緣提取，采用高機(jī)位大視野圖像采集，視野寬度大于載物臺(tái)寬度，如圖3所示。

HED （Holistically-nested edge detection） 是基于獨(dú)立網(wǎng)絡(luò)的整體嵌套邊緣檢測(cè)算法，具有整體圖像訓(xùn)練預(yù)測(cè)和多尺度多層特征學(xué)習(xí)的特點(diǎn)，利用全卷積網(wǎng)絡(luò)，在卷積層側(cè)插輸出層并加以監(jiān)督，引導(dǎo)輸出融合層邊緣預(yù)測(cè)。金屬板材邊緣識(shí)別的骨干網(wǎng)絡(luò)如圖4 所示。HED 以VGG-16[19]為骨干網(wǎng)絡(luò)，對(duì)于光度不均金屬板材復(fù)雜表面或者復(fù)雜背景的原圖輸入，首先產(chǎn)生側(cè)輸出層的5 個(gè)不同分支然后才進(jìn)行最大池化層的降采樣，融合層由側(cè)輸出層進(jìn)行連接融合產(chǎn)生，結(jié)構(gòu)中5 個(gè)側(cè)向?qū)雍鸵粋€(gè)融合層經(jīng)過激活函數(shù)后共同作為網(wǎng)絡(luò)輸出，模型輸出尺寸和輸入圖像一致。測(cè)試模型可以表示為，給定板材金屬原圖輸入X，網(wǎng)絡(luò)中所有參數(shù)為W，HED 預(yù)測(cè)5 個(gè)側(cè)輸出層（1）和1個(gè)融合層（2），即

圖4 HED板材邊緣提取網(wǎng)絡(luò)結(jié)構(gòu)

基于VGG-16 的好處是在經(jīng)過多次池化降采樣縮小輸入圖的尺寸，這對(duì)于大視野大尺寸金屬板材原圖或者拼接圖輸入照片的處理效率有著極好的提升，多次池化獲得多層深度模型構(gòu)架，也保持多層次維度特征的提取能力。HED 模型可以通過端到端的方式進(jìn)行訓(xùn)練，這意味著整個(gè)模型可以一次性地訓(xùn)練，而無需使用多個(gè)階段或級(jí)聯(lián)的步驟，簡(jiǎn)化了算法的實(shí)現(xiàn)和使用，并提高了訓(xùn)練的效率。HED 網(wǎng)絡(luò)在提取金屬板材邊緣方面能夠處理5 個(gè)尺度的圖像，并在不同尺度上檢測(cè)邊緣；傳統(tǒng)的邊緣檢測(cè)算法中，往往只考慮了局部信息，而沒有利用全局的上下文信息，HED 算子通過在網(wǎng)絡(luò)中引入全局上下文信息的機(jī)制，融合淺層細(xì)節(jié)信息和深層豐富語義[20]，能夠更好地理解圖像的語義和結(jié)構(gòu)，從而提高了邊緣檢測(cè)的準(zhǔn)確性和連續(xù)性。

如圖5 所示，對(duì)于前景背景差異大、光學(xué)亮度不均、金屬材質(zhì)光澤以及厚度不一的輸入圖像，經(jīng)過HED 邊緣提取，可明顯地將目標(biāo)與背景區(qū)分開來。對(duì)于不同的金屬表面，可以調(diào)節(jié)圖像預(yù)處理分辨率進(jìn)行降噪，去掉很多不需要的干擾信息，保留明顯的邊緣特征信息。

圖5 HED全局邊緣融合提取

HED 的厚板邊緣提取明顯存在邊緣特征過渡區(qū)域，不管直線、直角或圓弧邊緣都有十分明顯的過度帶，利用這個(gè)明顯的特征，將邊緣區(qū)域作為連通域提取出來，如圖5第3列紅色所示，可以直接或間接進(jìn)一步提取邊緣線，進(jìn)而獲取邊緣線定位點(diǎn)。基于連通邊緣域得到邊緣線集，采用優(yōu)化的Steger 法與形態(tài)學(xué)的拓?fù)浼?xì)化法結(jié)合方法進(jìn)行中心線提取，有效剔除邊緣存在的短細(xì)分叉干擾，以確保獲得主要邊緣主骨干線集，如圖5第4列為所提取的邊緣中心線?；贖ED 的邊緣特征融合提取，在復(fù)雜背景或者多樣背景中的金屬邊緣提取具有極強(qiáng)的適用性和魯棒性再結(jié)合Canny 算法以及邊緣特征圖像物理特性，能極好且穩(wěn)定地提取金屬板材的邊緣。

1.2 局部實(shí)時(shí)打磨邊緣的識(shí)別與打磨引導(dǎo)

1.2.1 厚板邊緣點(diǎn)云途徑提取

如圖6 所示，借助HED 厚板的全局邊緣提取，可以得到整體輪廓路徑的引導(dǎo)，但是因?yàn)檫吘壌蚰ゴ嬖诟呔纫螅踔凉に囈?，高機(jī)位大視野的2D圖像并不能滿足。因此，打磨過程需要近距離局部視野高精度的3D 相機(jī)進(jìn)行點(diǎn)云采集并根據(jù)工藝進(jìn)行機(jī)器人打磨末端位置和姿態(tài)引導(dǎo)。

圖6 分區(qū)全局圖像與局部點(diǎn)云采集

對(duì)于全局邊緣單線路徑，進(jìn)行點(diǎn)集最優(yōu)排序，根據(jù)局部視野大小，對(duì)全局邊緣軌跡進(jìn)行步距規(guī)劃拆分，如圖7 所示，單線路徑采集按順時(shí)針原則進(jìn)行等視野大小間距分區(qū)采集輪廓點(diǎn)云打磨。若存在多個(gè)邊緣特征，如圖5 第2 組存在邊緣區(qū)域組合，將所有連續(xù)邊緣組成線集，以此對(duì)每個(gè)獨(dú)立邊緣進(jìn)行排序規(guī)劃，直至線集所有子邊緣引導(dǎo)實(shí)時(shí)采集圖像并引導(dǎo)打磨完畢。

圖7 全局邊緣引導(dǎo)局部近場(chǎng)采集路徑

對(duì)于局部3D 點(diǎn)云圖像采集，結(jié)構(gòu)光基于激光深度測(cè)量特性，可以避免邊緣區(qū)域剖切面剖切工藝或者金屬材質(zhì)光照等引起的光學(xué)圖像干擾，穩(wěn)定輸出點(diǎn)云圖像，近視場(chǎng)拍照采集可以保證點(diǎn)云采集精度，保留足夠邊緣細(xì)節(jié)。如圖8 所示，首先獲得局部高精度點(diǎn)云數(shù)據(jù)集，基于點(diǎn)云3D圖像，進(jìn)行邊緣局部異常檢測(cè)，判斷是否存在過大的金屬凸塊或者異物，確保打磨工序過程刀具安全。通常不存在邊緣異物時(shí)，將點(diǎn)云進(jìn)行Z方向的深度映射，將深度信息轉(zhuǎn)換成圖像的灰度值，大大提高圖像處理速度。

圖8 深度映射的近場(chǎng)局部點(diǎn)云邊緣提取

1.2.2 邊緣路徑規(guī)劃與末端引導(dǎo)

在大跨度中厚板邊緣打磨過程中，通常只需要進(jìn)行邊緣剖切面金屬氧化物去除，以保證后續(xù)焊接工藝等的質(zhì)量，但是也在彎曲或者轉(zhuǎn)角區(qū)域需要保證機(jī)器人打磨末端刀具與工件之間的相對(duì)角度等工藝變量的變換。在平面方向上，采取全局不變邊緣法向優(yōu)先原則，先保證刀具與工件邊緣在XY方向垂直，再根據(jù)工藝需求，比如倒角工藝或者所選刀具型號(hào)所需，進(jìn)行末端傾角變換。所以存在兩個(gè)姿態(tài)變量變化，一個(gè)是由圖像邊緣決定的法向角度，另一個(gè)是由工藝或者刀具決定的打磨角度。基于邊緣點(diǎn)集等步距引導(dǎo)規(guī)劃且順時(shí)針原則，相鄰兩點(diǎn)之間的的法向角度直接獲取兩點(diǎn)連線與圖像X軸夾角為基準(zhǔn)，再根據(jù)路徑方向和“外刀路徑”或“內(nèi)刀路徑”進(jìn)行規(guī)劃即可?！巴獾堵窂健奔垂ぜw外部包絡(luò)邊緣路徑，“內(nèi)刀路徑”即存在的內(nèi)部所需打磨的內(nèi)包空洞，在全部邊緣識(shí)別時(shí)就要注意區(qū)分提取，通常中厚板自動(dòng)化打磨不進(jìn)行內(nèi)部空洞打磨。兩點(diǎn)P0(x0,y0)和P1(x1,y1)，若y0=y1，基于順時(shí)針規(guī)劃原則，當(dāng)x1＞x0，邊緣法向角?= 0°，否則?= 180°。若x1=x0，當(dāng)y1＞y0，邊緣法向角?= 90°，否則?= 270°。設(shè)兩點(diǎn)之間在深度映射圖像中與X軸夾角為：，以12點(diǎn)方向朝下為0°，分類枚舉如表1所示。

表1 各象限法向角度枚舉列表

基于工藝的末端姿態(tài)控制，設(shè)工藝控制傾角為θ，末端姿態(tài)旋轉(zhuǎn)矩陣Ri為：

2 測(cè)試驗(yàn)證分析

基于HED 的全局邊緣融合提取方法可以對(duì)多種類型金屬多種邊緣類型或者背景進(jìn)行有效提取進(jìn)行全局引導(dǎo)。為測(cè)試邊緣數(shù)據(jù)引導(dǎo)機(jī)器人自動(dòng)化打磨，采用RVC-X 3D 工業(yè)相機(jī)進(jìn)行局部點(diǎn)云圖像采集，近視場(chǎng)FOV 為334 mm×237 mm，機(jī)器人為ABB IRB 6700-200/2.60，負(fù)載200 kg，導(dǎo)軌直線移動(dòng)進(jìn)行大跨度中厚板分區(qū)打磨，相機(jī)安裝方式為眼在手上，工作站布局如圖9（a）所示，載物臺(tái)寬度2 m，長(zhǎng)度為8 m。分別對(duì)不同表面色澤、不同厚度以及不同形狀的3種板材進(jìn)行正反面共6次試驗(yàn)，應(yīng)用上文的分段全局圖像提取和分區(qū)局部邊緣點(diǎn)云引導(dǎo)方法，設(shè)定打磨面寬度為10 mm，磨削深度為0.5 mm，采用3 M 圓盤砂輪進(jìn)行剖切自由邊進(jìn)行打磨試驗(yàn)，對(duì)外側(cè)邊緣磨面的寬度磨削深度進(jìn)行誤差測(cè)試。

圖9 布局示意圖與邊緣引導(dǎo)打磨效果

如表2 所示，6 組實(shí)驗(yàn)中邊緣打磨寬度最大誤差為13 mm，打磨深度誤差最大為1.1 mm；且一般誤差最大的打磨位置位于工件表面銹跡極其嚴(yán)重或者拐角磨具干涉造成。正常情況下均能達(dá)到打磨要求，局部的點(diǎn)云檢測(cè)還可以有效進(jìn)行邊緣異物實(shí)時(shí)檢測(cè)，避打設(shè)備異常損壞。

表2 多種規(guī)格類型的視覺引導(dǎo)打磨誤差測(cè)試mm

另外如圖9所示，在全局定位HED邊緣識(shí)別引導(dǎo)和局部3D點(diǎn)云深度邊緣路徑引導(dǎo)打磨并結(jié)合機(jī)器人末端姿態(tài)工藝參數(shù)調(diào)整，可以根據(jù)參數(shù)在直邊或者轉(zhuǎn)角處實(shí)現(xiàn)倒角打磨工藝處理，并且基于局部點(diǎn)云映射的深度信息，可以方便地設(shè)定打磨工具在工件表面的去除量，適配所需工藝需求，如圖9（c）所示為磨輪與邊緣面傾角5°時(shí)打磨效果。

3 結(jié)束語

本文研究了大跨度中厚板邊緣打磨中視覺邊緣提取規(guī)劃和機(jī)器人末端引導(dǎo)相關(guān)內(nèi)容，引入基于深度學(xué)習(xí)模型的HED 大鈑金金屬邊緣提取算法，結(jié)合邊緣區(qū)域點(diǎn)集提取規(guī)劃，有效穩(wěn)定地在復(fù)雜背景和異形多樣工件中識(shí)別金屬邊緣，進(jìn)行全局路徑引導(dǎo)。通過局部點(diǎn)云模型進(jìn)行異物檢測(cè)并提取深度映射邊緣進(jìn)行邊緣打磨引導(dǎo)，基于工藝或刀具模型，適配修改用戶工藝角度參數(shù)，有效適配多種工件或工藝場(chǎng)景。實(shí)驗(yàn)驗(yàn)證了研究?jī)?nèi)容在大跨度中厚板打磨中的有效性和穩(wěn)定性，實(shí)現(xiàn)長(zhǎng)跨度大工件的視覺引導(dǎo)打磨，實(shí)現(xiàn)自動(dòng)化和智能化，減少人力投入和人為干預(yù)，確保剖切邊拋磨效果的一致性。