基于機(jī)器視覺的運(yùn)載火箭支架自動(dòng)裝配方法研究

摘 要：為解決運(yùn)載火箭內(nèi)部支架人工裝配所面臨的工作環(huán)境嘈雜和勞動(dòng)強(qiáng)度大等問題，設(shè)計(jì)了基于協(xié)作機(jī)器人的輔助自動(dòng)裝配系統(tǒng)，并對(duì)其裝配路徑進(jìn)行規(guī)劃。協(xié)作機(jī)器人在抓取支架實(shí)現(xiàn)自動(dòng)裝配過程中，受限于支架自身誤差、特征尺寸及位置姿態(tài)的隨機(jī)等特點(diǎn)，抓取和定位極為困難。為解決支架自動(dòng)裝配過程中的難點(diǎn)，首先規(guī)劃了支架自動(dòng)裝配的工藝流程，設(shè)計(jì)了支架抓取機(jī)構(gòu)、自動(dòng)裝配機(jī)構(gòu)，并配合對(duì)應(yīng)的視覺算法完成支架的抓取、自動(dòng)裝配；其次，結(jié)合YOLOv5深度學(xué)習(xí)算法對(duì)定位目標(biāo)進(jìn)行識(shí)別，和裝配孔位進(jìn)行位置補(bǔ)償，實(shí)現(xiàn)對(duì)裝配孔找正；最后，通過實(shí)驗(yàn)驗(yàn)證該自動(dòng)裝配系統(tǒng)中抓取機(jī)構(gòu)、自動(dòng)裝配機(jī)構(gòu)的穩(wěn)定性，視覺定位算法的有效性及精度，實(shí)驗(yàn)結(jié)果表明，裝配孔定位精度小于0.06 mm。

關(guān)鍵詞：火箭支架；自動(dòng)裝配；YOLOv5；目標(biāo)識(shí)別；位置補(bǔ)償

中圖分類號(hào)：TP29? ? 文獻(xiàn)標(biāo)志碼：A? ? 文章編號(hào)：1671-0797（2023）13-0001-06

DOI：10.19514/j.cnki.cn32-1628/tm.2023.13.001

0? ? 引言

運(yùn)載火箭鉚接艙體內(nèi)支架型號(hào)種類多，幾何尺寸和特征差距大，支架安裝到箭體艙體內(nèi)部時(shí)，需要與托板螺母提前鉚接。目前的生產(chǎn)方式是手工錘鉚，工作環(huán)境噪聲達(dá)110 dB，勞動(dòng)強(qiáng)度大。支架類零件實(shí)現(xiàn)自動(dòng)裝配的難點(diǎn)有三個(gè)：1）支架種類較多，無法采用機(jī)器人示教的方式完成支架的抓取；2）托板螺母與支架連接孔精度在±0.1 mm，以往手眼標(biāo)定方法不能解決支架裝配問題[1]；3）支架屬于鈑金類零件，夾持變形大，與理論模型無法適配。

國(guó)內(nèi)外的定位技術(shù)主要有三類：基于灰度模板匹配的識(shí)別定位技術(shù)[2]、基于特征目標(biāo)匹配的識(shí)別定位技術(shù)以及基于深度學(xué)習(xí)的識(shí)別定位技術(shù)[3]。利用上述三種方法，田清廉等人[4]提出了散亂點(diǎn)云的鉚釘孔自動(dòng)識(shí)別方法，該方法僅限提取鉚釘孔位置，并處理局部特征，針對(duì)全局特征會(huì)造成點(diǎn)云質(zhì)量差而方法失效；浙江大學(xué)劉華[5]針對(duì)飛機(jī)壁板裝配過程中的插鉚釘問題設(shè)計(jì)了自適應(yīng)滑?？刂破?，結(jié)合視覺系統(tǒng)解決了自動(dòng)插釘中末端執(zhí)行器法向位姿的調(diào)整精確控制問題，主要面向曲面類需調(diào)整法向的零件；針對(duì)運(yùn)載火箭支架（圖1）裝配問題，目前僅有方舟等人[6]搭建了雙目視覺系統(tǒng)，實(shí)現(xiàn)視覺引導(dǎo)抓取和位姿調(diào)整及基于邊緣特征對(duì)支架位姿的估計(jì)，僅限于對(duì)支架的抓取，沒有結(jié)合抓取和定位裝配孔識(shí)別，不能解決支架自動(dòng)裝配的全流程問題。

綜上，目前針對(duì)火箭支架自動(dòng)裝配問題，大多采用模板匹配的抓取方法，并未針對(duì)運(yùn)載火箭支架自動(dòng)裝配流程中的難點(diǎn)開展工作。本文針對(duì)尚需解決的問題，重新規(guī)劃了支架實(shí)現(xiàn)自動(dòng)裝配的工藝流程，搭建了一套自動(dòng)裝配系統(tǒng)。針對(duì)自動(dòng)裝配過程中的三個(gè)難點(diǎn)，設(shè)計(jì)了兩套視覺系統(tǒng)分別解決問題：1）結(jié)構(gòu)光相機(jī)用于支架識(shí)別和抓取，采用支架位姿估計(jì)與夾爪位姿調(diào)整的方法，降低支架自身誤差和夾持變形對(duì)位姿估計(jì)的影響，試驗(yàn)表明該方法抓取支架的平均誤差小于0.8 mm；2）利用協(xié)作機(jī)器人重復(fù)定位精度小的特點(diǎn)，將單目視覺相機(jī)用于引導(dǎo)連接孔定位的視覺系統(tǒng)，采用YOLOv5深度學(xué)習(xí)算法對(duì)裝配孔進(jìn)行目標(biāo)檢測(cè)，結(jié)合卡尺工具檢測(cè)裝配目標(biāo)孔邊緣特征。最后，通過實(shí)驗(yàn)驗(yàn)證了該方法識(shí)別裝配孔與調(diào)整位姿的可行性。

1? ? 支架零件的抓取與定位

1.1? ? 支架自動(dòng)裝配工藝流程

為實(shí)現(xiàn)支架的自動(dòng)裝配，將原有手工操作工藝流程重新規(guī)劃成適合自動(dòng)裝配的自動(dòng)化工藝流程：人工放置支架至傳送帶→結(jié)構(gòu)光相機(jī)掃描支架獲取點(diǎn)云匹配支架的外形及圖號(hào)→協(xié)作機(jī)器人根據(jù)識(shí)別結(jié)果調(diào)整姿態(tài)抓取支架→視覺識(shí)別托板螺母在料盤中的位置→協(xié)作機(jī)器人抓取托板螺母并將其放入對(duì)應(yīng)的工裝→視覺引導(dǎo)機(jī)器人抓取的支架與托板螺母中心對(duì)齊→自動(dòng)擰緊槍送施工螺釘并擰緊，實(shí)現(xiàn)托板螺母與支架的連接→協(xié)作機(jī)器人將支架送到鉆孔工位→視覺引導(dǎo)協(xié)作機(jī)器人實(shí)現(xiàn)托板螺母的鉚釘孔與主軸對(duì)齊→制孔→協(xié)作機(jī)器人運(yùn)送支架至插釘工位→視覺引導(dǎo)鉚釘孔與插釘機(jī)構(gòu)對(duì)齊→插入鉚釘→協(xié)作機(jī)器人運(yùn)送支架至鉚接工位鉚接→返回人工操作臺(tái)檢查并拆除施工螺釘。

為實(shí)現(xiàn)上述裝配過程，在自動(dòng)裝配系統(tǒng)中需要精確定位的關(guān)鍵工步上設(shè)置了不同的視覺相機(jī)（圖2）：支架抓取識(shí)別視覺相機(jī)、裝配孔對(duì)準(zhǔn)視覺相機(jī)和鉚釘孔對(duì)準(zhǔn)視覺相機(jī)。

1.2? ? 支架抓取視覺識(shí)別

支架放置在物料傳輸模塊上，將零件自動(dòng)傳輸?shù)竭m合機(jī)器人抓取的區(qū)域（圖3），在抓取區(qū)域上方設(shè)計(jì)結(jié)構(gòu)光相機(jī)用于檢測(cè)支架和引導(dǎo)機(jī)器人抓取。

工件最大尺寸是400 mm×400 mm，視場(chǎng)范圍要大于400 mm，在抓取識(shí)別上選用Mech-Eye-PRO-M結(jié)構(gòu)光相機(jī)，其參數(shù)如表1所示。

支架抓取涵蓋支架的邊緣識(shí)別、模板匹配與定位、協(xié)作機(jī)器人末端抓取機(jī)構(gòu)的初始位置估計(jì)和抓取位置估計(jì)，支架抓取的工藝流程圖如圖4所示。

支架位置估算中，利用結(jié)構(gòu)光相機(jī)得到的點(diǎn)云進(jìn)行平面擬合，分割出支架點(diǎn)云，再提取支架邊緣，在夾爪末端設(shè)置4個(gè)視覺標(biāo)記點(diǎn)（圖5），用結(jié)構(gòu)光相機(jī)獲得4個(gè)標(biāo)記點(diǎn)在相機(jī)坐標(biāo)系下的位置，根據(jù)標(biāo)記點(diǎn)的相對(duì)位置關(guān)系計(jì)算出夾爪在相機(jī)坐標(biāo)系下的位姿，最終可以求出夾爪末端位姿在基座坐標(biāo)系中的位置，控制協(xié)作機(jī)器人移動(dòng)至目標(biāo)點(diǎn)位。

支架零件采用視覺引導(dǎo)抓取的方式，在夾爪上設(shè)置標(biāo)記點(diǎn)，夾爪位姿反饋機(jī)器人調(diào)姿，該方法不用對(duì)協(xié)作機(jī)器人和視覺系統(tǒng)標(biāo)定，對(duì)精確抓取工件有 一定柔性。

1.3? ? 裝配孔對(duì)準(zhǔn)和鉚釘孔對(duì)準(zhǔn)

在托板螺母擰緊工位、制孔工位、插鉚釘工位需要檢測(cè)支架上預(yù)制孔的位置[7]，且孔銷配合精度為0.1 mm，需要檢測(cè)精度約在0.03 mm，因此需要小視場(chǎng)高精度的相機(jī)，由于功能近似，均選用?？低昅V-CE060-11GC單目相機(jī)+?？低昅VL-MT-2-

110C-MY23相機(jī)。小視場(chǎng)的相機(jī)檢測(cè)精度高，但是會(huì)放大識(shí)別圖像里的噪點(diǎn)，為滿足使用要求，采用YOLOv5深度學(xué)習(xí)[8]的目標(biāo)算法對(duì)預(yù)制孔第一次定位，根據(jù)結(jié)果再采用卡尺工具擬合精確定位的方法。MV-CE060-

11GC單目相機(jī)參數(shù)如表2所示。

采用SiLU作為激活函數(shù)：

式中：B為訓(xùn)練的標(biāo)準(zhǔn)邊界；Bgt為檢測(cè)輪廓邊界；C為B和Bgt邊界交集的最小輪廓邊界；β為衡量縱橫比重疊面積損失的平衡因子；v為長(zhǎng)寬邊界比一致性參數(shù)；d為計(jì)算中心點(diǎn)的距離。

對(duì)于托板螺母的裝配孔，采用各種拍攝位置、不同光照、不同規(guī)格的托板螺母等手工拍攝圖像，采用labelme工具進(jìn)行標(biāo)注，得到數(shù)據(jù)集共計(jì)350張。

使用上述數(shù)據(jù)集訓(xùn)練YOLOv5模型，初始學(xué)習(xí)率為0.01，訓(xùn)練批次（batch）設(shè)置為4，圖像尺寸設(shè)置為600×600，其他使用預(yù)設(shè)值。訓(xùn)練結(jié)果如圖6所示。

使用訓(xùn)練完成的YOLOv5模型對(duì)運(yùn)行中采集的圖片進(jìn)行檢測(cè)（圖7），支架安裝孔的目標(biāo)檢測(cè)區(qū)域能滿足使用需求。

檢測(cè)目標(biāo)孔位置后，對(duì)目標(biāo)進(jìn)行定位，需要檢測(cè)出圓的邊緣，然后對(duì)圓擬合，使用卡尺工具進(jìn)行邊緣提取，卡尺邊緣提取涉及圖像投影處理、高通濾波計(jì)算、邊緣閾值處理和邊緣像素處理。

圖像投影處理為沿著目標(biāo)檢測(cè)的邊緣垂直掃描圖像，獲得離散投影線的強(qiáng)度值，用于均化目標(biāo)檢測(cè)區(qū)域的噪點(diǎn)，提高檢測(cè)成功率，經(jīng)過投影處理后可得到離散點(diǎn)的數(shù)組。

使用高通濾波器對(duì)圖像投影的數(shù)據(jù)進(jìn)行濾波處理，使目標(biāo)檢測(cè)邊緣突出，增強(qiáng)圖像對(duì)比度，使用Prewitt算子對(duì)圖像兩個(gè)方向模板與圖像進(jìn)行鄰域卷積，用于抑制噪聲和均化。

在濾波輸出中設(shè)置閾值，可以排除噪聲點(diǎn)，超過設(shè)置閾值認(rèn)為是真實(shí)邊界。對(duì)于提取出真實(shí)邊界幾個(gè)鄰近的像素點(diǎn)進(jìn)行插值計(jì)算擬合，可獲得目標(biāo)檢測(cè)的精確位置。

利用YOLOv5模型生成目標(biāo)孔位置圓心位置，使用一組卡尺工具檢測(cè)出邊緣點(diǎn)，圓心位置坐標(biāo)直接用最小二乘法對(duì)目標(biāo)孔邊緣圓擬合（圖8）。

使用卷積神經(jīng)網(wǎng)絡(luò)YOLOv5模型生成目標(biāo)孔區(qū)域，后使用卡尺工具擬合目標(biāo)孔邊緣，最后根據(jù)孔邊緣擬合出圓心。

2? ? 實(shí)驗(yàn)驗(yàn)證

通過對(duì)運(yùn)載火箭上實(shí)物支架進(jìn)行全流程工藝驗(yàn)證測(cè)試，包含支架運(yùn)輸、支架抓取、托板螺母抓取、支架與托板螺母擰緊、支架托板螺母鉆孔、鉚釘插釘，來驗(yàn)證支架自動(dòng)裝配的全流程應(yīng)用工況。

基于實(shí)際運(yùn)行流程，驗(yàn)證分為支架識(shí)別和抓取、支架與托板螺母擰緊、制孔劃窩和插釘鉚接三個(gè)部分。

2.1? ? 支架識(shí)別和抓取

支架型號(hào)的識(shí)別是后續(xù)所有工序的基礎(chǔ)，對(duì)應(yīng)型號(hào)在工藝數(shù)據(jù)庫(kù)里面有對(duì)應(yīng)的自動(dòng)加工程序。識(shí)別支架型號(hào)，先使用支架種類數(shù)據(jù)集對(duì)YOLOv5模型進(jìn)行訓(xùn)練，然后使用訓(xùn)練過的模型檢測(cè)支架目標(biāo)，設(shè)置0.8為識(shí)別閾值，測(cè)試其中10種支架檢測(cè)結(jié)果，如表3、圖9所示。

支架型號(hào)識(shí)別完成后對(duì)支架進(jìn)行抓取（圖10），支架的穩(wěn)定抓取是后續(xù)支架自動(dòng)裝配的基礎(chǔ)。在抓取過程中采用結(jié)構(gòu)光相機(jī)拍攝四次：第一次拍攝預(yù)估工件位置，記作初始偏差；第二次拍攝預(yù)估工件與協(xié)作機(jī)器人末端位置，記作粗調(diào)偏差，并引導(dǎo)機(jī)器人到靠近工件位置；第三次拍攝為精定位，記作精調(diào)偏差，引導(dǎo)機(jī)器人抓取工件；第四次拍攝為抓取后拍攝，測(cè)試裝配孔與夾具標(biāo)記點(diǎn)偏差，用于后續(xù)自動(dòng)裝配定位。

統(tǒng)計(jì)支架3的20次抓取數(shù)據(jù)，人工隨機(jī)將支架3放置在輸送帶上。從表4可見，支架抓取的粗調(diào)定位偏差較大，平均定位誤差為2.24 mm。機(jī)器人絕對(duì)定位精度和標(biāo)定誤差導(dǎo)致初次支架抓取定位有較大誤差，粗調(diào)定位可以認(rèn)為是一次開環(huán)定位，定位精度難以控制。利用支架視覺引導(dǎo)抓取再次測(cè)量并調(diào)整定位夾爪，精調(diào)平均偏差為0.67 mm，遠(yuǎn)低于粗調(diào)定位偏差，滿足支架抓取的精度要求。經(jīng)過一次視覺伺服補(bǔ)償后，抓取定位偏差降低了1.57 mm，驗(yàn)證了支架視覺伺服抓取策略可以有效提高支架抓取精度。

2.2? ? 支架與托板螺母擰緊

首先設(shè)定支架裝配孔目標(biāo)點(diǎn)的像素坐標(biāo)為（1 536，1 024），此為M4托板螺母裝配孔中心位置，控制協(xié)作機(jī)器人使支架裝配孔在視場(chǎng)范圍內(nèi)，使用卷積神經(jīng)網(wǎng)絡(luò)YOLOv5模型對(duì)托板螺母上的裝配螺紋孔進(jìn)行目標(biāo)檢測(cè)（圖11），并使用孔定位誤差測(cè)量與補(bǔ)償算法實(shí)時(shí)引導(dǎo)機(jī)器人調(diào)整支架姿態(tài)，實(shí)現(xiàn)支架裝配孔與托板螺母螺紋孔對(duì)中。

從表5數(shù)據(jù)可以看出，通過視覺引導(dǎo)可將裝配孔從具有9 mm誤差的位置引導(dǎo)至目標(biāo)點(diǎn)，定位誤差為0.061 mm，遠(yuǎn)低于擰緊裝配要求的0.2 mm精度，滿足擰緊裝配使用要求。

2.3? ? 制孔劃窩和插釘鉚接

在支架與托板螺母擰緊后，需對(duì)支架托板螺母的鉚接孔位置完成支架表面的鉆孔和锪孔，并在鉚接孔插入鉚釘，此過程均需視覺引導(dǎo)（圖12）。

實(shí)驗(yàn)完成的支架零件如圖13所示。圖13（a）展示了支架零件施工螺釘擰緊與鉆锪孔效果；圖13（b）（c）展示了鉚接孔加工質(zhì)量滿足要求，驗(yàn)證了支架托板螺母鉚釘孔定位誤差測(cè)量與補(bǔ)償技術(shù)的可實(shí)施性，且滿足鉆孔±0.1 mm的精度要求。

3? ? 結(jié)論

本文通過研究運(yùn)載火箭支架零件自動(dòng)裝配技術(shù)，研制出一套利用協(xié)作機(jī)器人對(duì)運(yùn)載火箭支架進(jìn)行自動(dòng)抓取和裝配的可實(shí)施工藝和設(shè)備，在自動(dòng)識(shí)別抓取的環(huán)節(jié)采用卷積神經(jīng)網(wǎng)絡(luò)、支架位姿估計(jì)和夾具位姿估計(jì)的方法，最終抓取精度小于0.7 mm；在自動(dòng)擰緊、制孔劃窩、自動(dòng)插釘環(huán)節(jié)，通過視覺引導(dǎo)裝配孔定位誤差檢測(cè)和補(bǔ)償，精度可達(dá)0.061 mm，突破了支架自動(dòng)裝配中的難點(diǎn)；采用實(shí)物加工驗(yàn)證了支架自動(dòng)裝配的可行性和可靠性，解決了支架零件手工操作產(chǎn)品質(zhì)量不可靠、生產(chǎn)效率低、勞動(dòng)環(huán)境差及強(qiáng)度大等問題，為運(yùn)載火箭中支架類多品種、小批量零件的自動(dòng)化裝配應(yīng)用奠定了一定的基礎(chǔ)。

[參考文獻(xiàn)]

[1] 鄭健紅.面向機(jī)器人精確拾取的散亂金屬零件識(shí)別與定位方法研究[D].杭州：浙江工業(yè)大學(xué)，2020.

[2] 方舟，程筱勝，崔海華，等.基于GAPSO-SVM的鈑金零件圖像識(shí)別方法[J].機(jī)械制造與自動(dòng)化，2020，49（5）：116-118.

[3] 范荻，金守峰，陳蓉，等.面向裝配機(jī)器人的零件視覺識(shí)別與定位方法[J].西安工程大學(xué)學(xué)報(bào)，2018，32（1）：114-120.

[4] 田清廉，熊天辰，黃翔，等.一種基于散亂點(diǎn)云的鉚釘孔孔位提取方法[J].航空制造技術(shù)，2022，65（7）：83-89.

[5] 劉華.視覺定位關(guān)鍵技術(shù)及其在飛機(jī)裝配中的應(yīng)用研究[D].杭州：浙江大學(xué)，2019.

[6] 方舟.面向機(jī)器人裝配的機(jī)器視覺工件識(shí)別與定位技術(shù)研究[D].南京：南京航空航天大學(xué)，2020.

[7] LU C S，XIA S Y，SHAO M，et al.Arc-support line segments revisited：an efficient high-quality ellipse detection[J].IEEE Transactions on Image Processing，2019，29：768-781.

[8] WANG C，ZHANG Y C，ZHOU Y F，et al.Automatic detection of indoor occupancy based on improved YOLOv5 model[J].Neural Computing and Applications，2022，35（3）：2575-2599.

收稿日期：2023-03-01

作者簡(jiǎn)介：馬慶豐（1983—），男，河南安陽(yáng)人，工程師，研究方向：航天自動(dòng)鉆鉚及非標(biāo)自動(dòng)化產(chǎn)品開發(fā)。