基于機(jī)器視覺與深度學(xué)習(xí)的孔質(zhì)量檢測

何 流，王志共，夏 飛，李炳伯

（1．江西昌河航空工業(yè)有限公司，江西 景德鎮(zhèn) 333002；2．海軍裝備部駐武漢地區(qū)軍事代表局駐南昌地區(qū)軍事代表室，江西 南昌 330000）

1 引言

20世紀(jì)90年代以來，飛機(jī)裝配領(lǐng)域，數(shù)字化、自動化的制孔技術(shù)得到了應(yīng)用和推廣[1]。EI公司、KUKA系統(tǒng)公司及Aritex等公司已成功研發(fā)出機(jī)器人自動制孔設(shè)備，在波音和空客等飛機(jī)制造企業(yè)中發(fā)揮了重要作用。國內(nèi)，北京航空航天大學(xué)、浙江大學(xué)、南京航空航天大學(xué)、西北工業(yè)大學(xué)、上海拓璞數(shù)控科技股份有限公司、大連四達(dá)高技術(shù)發(fā)展有限公司等也與主機(jī)廠開展了課題研究，北京神工科技有限公司研制的機(jī)器人智能制孔系統(tǒng)在主機(jī)廠成功得到應(yīng)用和推廣，大大提升了制孔的質(zhì)量和效率。

飛機(jī)裝配工藝要求在制完孔后需要對孔的質(zhì)量進(jìn)行檢驗(yàn)，對部分不合格的孔要進(jìn)行補(bǔ)救，對無法處理的不合格工件進(jìn)行報(bào)廢處理，滿足質(zhì)量要求才可以進(jìn)行緊固件安裝。目前，孔質(zhì)量檢驗(yàn)采用的是傳統(tǒng)的人工檢驗(yàn)方式，難以跟上自動化、數(shù)字化生產(chǎn)的節(jié)奏，主要表現(xiàn)在：

1）精度低：機(jī)器人制孔的孔徑精度高，傳統(tǒng)的人工測量已經(jīng)難以滿足要求。人工用卡尺、塞規(guī)等進(jìn)行測量，誤差大，且測量精度受人工操作影響較大。

2）效率低：人工對孔逐個(gè)進(jìn)行測量，效率低，且需要一直占用工裝。因?yàn)榭椎臄?shù)量巨大，所以耗時(shí)長，在“制孔-檢驗(yàn)”過程中所需時(shí)間占比高。為了保證產(chǎn)能，往往采用抽檢或目視，為裝配質(zhì)量埋下了隱患。

3）難以將制孔和檢驗(yàn)形成閉環(huán)，不適應(yīng)質(zhì)量信息管理和數(shù)字化裝配的要求。

所以，迫切需要研究和開發(fā)與機(jī)器人制孔相適應(yīng)的高效率、高精度的智能化在線檢測手段，提升質(zhì)量控制和管理水平。

飛機(jī)裝配孔質(zhì)量檢驗(yàn)時(shí)，工件一般保持在工裝上的夾持狀態(tài)，屬于原位測量，具有產(chǎn)品結(jié)構(gòu)復(fù)雜、待測范圍廣、待測信息種類較多及測量精度要求高等特點(diǎn)。飛機(jī)裝配孔質(zhì)量檢驗(yàn)從技術(shù)原理上分類，主要有接觸式測量和非接觸式測量兩類。

接觸式測量主要采用的是探針測量方案[2,3]，如EI公司、KUKA系統(tǒng)公司及Aritex公司等，他們將測量模塊集成到機(jī)器人制孔/鉆鉚系統(tǒng)的末端執(zhí)行器上。探針沿孔的軸線進(jìn)給，可以在線檢測孔徑、窩深和工件厚度，其主要缺點(diǎn)是制孔和檢驗(yàn)完全串行，效率低，切屑和潤滑油的堆積會影響測量精度，探頭磨損也會導(dǎo)致精度退化，也使得制孔末端執(zhí)行器結(jié)構(gòu)更加復(fù)雜，體積更加龐大，可達(dá)性降低。

非接觸式測量方面，EI公司研究采用激光輪廓儀掃描的方法來測量窩深[4]。但該方案測量精度有限，還不能進(jìn)行孔徑測量，也尚未應(yīng)用到產(chǎn)品中。國內(nèi)的機(jī)器人制孔系統(tǒng)在線檢測技術(shù)目前應(yīng)用較少，還以科研為主。非接觸式測量具有不改變被測對象狀態(tài)、測量效率高等優(yōu)點(diǎn)，是測量的主要發(fā)展方向。機(jī)器視覺測量技術(shù)利用工業(yè)級相機(jī)采集目標(biāo)圖像信號，經(jīng)軟件處理數(shù)據(jù)信息，識別被測對象，輸出測量結(jié)果，是一類典型的非接觸式測量方法。視覺測量包括2D視覺測量、3D掃描測量等方法[5，6]，已廣泛應(yīng)用于涂膠檢測、連接器測量、零件尺寸測量等領(lǐng)域。

機(jī)器視覺測量技術(shù)的研究與應(yīng)用興起于國外，Marr D[7]提出計(jì)算機(jī)視覺理論后，視覺測量技術(shù)才得到真正意義上的發(fā)展，如今在制造業(yè)的廣泛應(yīng)用已成大勢所趨。我國也出現(xiàn)諸多研究成果與應(yīng)用實(shí)例，許楠楠[8]等利用最小二乘線性回歸邊緣檢測與線邊緣定位等方法，實(shí)現(xiàn)了對光學(xué)元件外徑的快速精準(zhǔn)測量。畢運(yùn)波[9]等通過牛頓法求解透視幾何原理修正計(jì)算模型并分析模型計(jì)算精度與窩深和物距間的關(guān)系，實(shí)現(xiàn)飛機(jī)裝配中的自動化視覺測量沉頭孔垂直度的視覺測量，測量誤差可達(dá)0.03°。

本文針對飛機(jī)裝配制孔的檢驗(yàn)問題，提出了基于機(jī)器視覺的機(jī)器人測量方案，實(shí)現(xiàn)對孔邊距、孔間距和孔徑的自動化、高精度測量，試驗(yàn)和應(yīng)用驗(yàn)證了系統(tǒng)的有效性。

2 需求分析

對機(jī)器人制孔系統(tǒng)的主要加工對象壁板類、翼面類工件而言，孔質(zhì)量檢驗(yàn)項(xiàng)目主要包括孔位（邊距和間距）、孔徑等。

2.1 孔位

典型的長桁上孔位示意如圖1所示，孔位包括孔邊距、間距s（或節(jié)距）和排距。其中，邊距包括孔中心距長桁上（下）邊沿的距離a和兩端孔中心距左（右）邊沿的距離b。

圖1 典型的長桁上孔位示意圖

機(jī)器人制孔系統(tǒng)的典型孔位誤差為±0.5mm，要求檢驗(yàn)系統(tǒng)的測量精度為0.15mm。根據(jù)產(chǎn)品實(shí)際尺寸，設(shè)定孔間距和孔邊距測量的最大范圍為24mm。

2.2 孔徑

機(jī)器人制孔系統(tǒng)的典型孔徑精度為H9，按測量孔徑范圍φ3mm~φ6mm計(jì)量，對應(yīng)公差范圍為0~0.030mm，要求檢驗(yàn)系統(tǒng)的孔徑測量精度為0.01mm。

2.3 其他要求

以典型的壁板類工件為例，每個(gè)工件上機(jī)器人制孔1 000個(gè)?？紤]檢驗(yàn)系統(tǒng)的節(jié)拍或效率，要求一次檢驗(yàn)完成孔位和孔徑的測量，檢驗(yàn)時(shí)間小于25min。

3 基于機(jī)器視覺測量的孔質(zhì)量檢驗(yàn)方案

在裝配生產(chǎn)線上，設(shè)置獨(dú)立的孔質(zhì)量檢驗(yàn)工位，機(jī)器人制孔完成的工件和工裝整體流轉(zhuǎn)到檢驗(yàn)工位。這樣機(jī)器人制孔和檢驗(yàn)可同步進(jìn)行，不影響機(jī)器人制孔的節(jié)拍。孔質(zhì)量檢驗(yàn)工位采用機(jī)器人帶測量末端執(zhí)行器沿編程路徑對孔質(zhì)量進(jìn)行檢驗(yàn)的總體方案。

為了滿足測量的范圍和精度，采用將孔位和孔徑分開檢驗(yàn)的方案：

1）孔位。針對測量范圍大、精度要對相對低的特點(diǎn)，采用普通2D工業(yè)相機(jī)+鏡頭+光源的方案。

2）孔徑。針對測量精度要求高、范圍小的特點(diǎn)，采用普通2D工業(yè)相機(jī)+遠(yuǎn)心鏡頭+光源的方案。

孔質(zhì)量檢驗(yàn)系統(tǒng)包括機(jī)器人、測量末端執(zhí)行器和計(jì)算處理單元。其中，測量末端執(zhí)行器及孔質(zhì)量檢測系統(tǒng)如圖2所示，包括工業(yè)相機(jī)、遠(yuǎn)心鏡頭、定焦鏡頭、光源和結(jié)構(gòu)件等；計(jì)算處理單元包括控制箱和軟件（包括控制和通信模塊、檢測軟件模塊等）組成。控制和通信軟件用于采集相機(jī)的圖片數(shù)據(jù)，與其他設(shè)備進(jìn)行數(shù)據(jù)交換等。檢測軟件模塊用于實(shí)現(xiàn)對二維數(shù)據(jù)的重構(gòu)、預(yù)處理，被測對象特征的提取和測量等。

圖2 測量末端執(zhí)行器及孔質(zhì)量檢測系統(tǒng)

典型的檢測工藝流程為

1）檢測準(zhǔn)備：將測量末端執(zhí)行器安裝到機(jī)器人末端法蘭上，建立機(jī)器人工具坐標(biāo)系和測量（工件）坐標(biāo)系。

2）基于被檢驗(yàn)工件（含工裝）的數(shù)模，機(jī)器人和工件的相位位姿，對機(jī)器人進(jìn)行離線編程。

3）機(jī)器人帶著測量末端執(zhí)行器按設(shè)定的路徑對孔質(zhì)量依次進(jìn)行檢測，同步顯示檢測結(jié)果。

4）生成孔質(zhì)量檢測報(bào)告。

測量末端執(zhí)行器視覺模塊的選型見表1。

表1 視覺模塊選型

孔徑測量：工業(yè)相機(jī)CH120-10GM搭配高放大倍率遠(yuǎn)心鏡頭610052。CH120-10GM的像素尺寸為3.45μm，610052的放大倍率為0.75X，可以計(jì)算出圖像分辨率為3.45μm/0.75 =4.6μm。經(jīng)算法處理后圖像精度可達(dá)3μm，單張圖像視野可達(dá)18.8mm×13.8mm。

孔位測量：工業(yè)相機(jī)CA050-10GM搭配MF1628M-8MP鏡頭，綜合算法，精度可達(dá)30μm，單張圖像視野可達(dá)48mm×40mm。

綜合考慮拍照效果和安裝空間要求，采用雙條光為兩個(gè)相機(jī)補(bǔ)光。

4 孔位和孔徑測量

4.1 測量原理

孔徑測量對精度要求非常高，而且實(shí)際制出的孔在微觀下不規(guī)則，測量性能會受到多種因素（如毛刺、缺陷及變形等）的影響。

本文算法采用內(nèi)接圓，橢圓擬合和外接圓三種測量相結(jié)合的方式，如圖3所示，圖中黑白邊緣部分是一個(gè)典型的孔邊緣，三條線為三種測量方式分別得到的邊緣。其中紅線為內(nèi)接圓算法，綠線為橢圓擬合算法，黃線為外接圓算法對應(yīng)邊緣。

圖3 孔邊緣及三種算法的結(jié)果

本方法可以最大程度減小各類因素對孔徑測量的影響，極大提高算法精度。此外，本算法最大化的收集到了和孔徑有關(guān)的信息，對實(shí)際的不規(guī)則孔的孔徑測量有很大幫助。

采用與孔徑測量類似的方法獲得每個(gè)孔的圓心，并通過邊緣檢測獲得被測物體的邊緣。最終計(jì)算得出兩點(diǎn)間距離/點(diǎn)到線距離得到孔間距和孔邊距信息。

4.2 測量算法

1）預(yù)處理：高斯濾波，并根據(jù)需要使用二值化算法。

2）邊緣檢測：Canny邊緣檢測。

3）識別孔：先找出的所有邊緣中的閉合形狀，然后判斷這些形狀是否是待測孔。

找到每個(gè)形狀的中心（x，y）：

式中，n為形狀內(nèi)點(diǎn)的個(gè)數(shù)，P為形狀內(nèi)所有的點(diǎn)的集合。

計(jì)算形狀上每個(gè)點(diǎn)到中心的距離的集合d：

式中，C為形狀上所有點(diǎn)的集合。

計(jì)算點(diǎn)到中心距離集合的平均值mean和標(biāo)準(zhǔn)差std：

得到圓度結(jié)果

若圓度結(jié)果大于閾值，則可認(rèn)為檢測到了孔。閾值越大，則越不規(guī)則的圓會被檢測到。

4）根據(jù)找到的孔的輪廓形狀，分別找出擬合圓的圓心和直徑Fx，F(xiàn)y，F(xiàn)d，最大內(nèi)切圓的圓心和直徑Ix，Iy，Id和最小外接圓的圓心和直徑Zx，Zy，Zd。①擬合圓：將圓心和直徑作為變量，通過最小二乘法擬合出結(jié)果。②最大內(nèi)切圓：遍歷輪廓內(nèi)部的所有點(diǎn)，并計(jì)算這些點(diǎn)到輪廓的距離。內(nèi)部距離輪廓最遠(yuǎn)的點(diǎn)即為圓心，其對應(yīng)的距離即為半徑，以此找出最大內(nèi)切圓。③最小外接圓：找出輪廓上下左右邊緣的四個(gè)點(diǎn)并計(jì)算出其外接圓，如果輪廓中有點(diǎn)在這個(gè)外接圓外，則將輪廓中最遠(yuǎn)的點(diǎn)引入并計(jì)算出其外接圓。不斷遍歷直到輪廓中所有點(diǎn)都在計(jì)算出的圓內(nèi)，即得到了最小外接圓。

5）將以上結(jié)果儲存，并和待測孔的真實(shí)孔徑一起作為訓(xùn)練集，使用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并得到權(quán)重參數(shù)模型w。

6）進(jìn)行足夠多的訓(xùn)練后，即可得出圓心和孔徑：

軟件開發(fā)使用Python+OpenCV的方式進(jìn)行算法開發(fā)和調(diào)試。整套系統(tǒng)以Python為基礎(chǔ)架構(gòu)，OpenCV構(gòu)建核心算法，tkinter提供UI支持。兩組相機(jī)的數(shù)據(jù)采用同時(shí)傳輸、同時(shí)處理、同時(shí)計(jì)算、同時(shí)顯示結(jié)果的方式，以最高的效率完成測量任務(wù)。

5 試驗(yàn)驗(yàn)證

5.1 精度試驗(yàn)及評估

定制專用檢具來對孔質(zhì)量測量系統(tǒng)進(jìn)行精度評估。檢具一共四件，每件基本形狀如圖4所示，每個(gè)孔的孔徑不一樣。

圖4 標(biāo)準(zhǔn)檢具示意圖

循環(huán)測量10次，計(jì)算孔位、孔徑和孔距的不確定度，以孔邊距為例進(jìn)行說明?？孜患纯走吘?，包括上邊距、下邊距、左邊距、右邊距。如圖1，孔位置檢具上共有8個(gè)孔邊距，包括孔1的孔邊距3個(gè)（上、下、左），孔2的孔邊距2個(gè)（上、下），孔3的孔邊距3個(gè)（上、下、右）。

對孔邊距i（i=1，…，8），進(jìn)行n次測量，測量值為所以孔邊距的最佳估計(jì)值：

采用A類評定方法，計(jì)算孔邊距的標(biāo)準(zhǔn)不確定度：

計(jì)算孔邊距的合并樣本標(biāo)準(zhǔn)偏差（4個(gè)標(biāo)準(zhǔn)件，對應(yīng)8×4=32個(gè)獨(dú)立測量值）：

孔邊距測量結(jié)果最佳估計(jì)值的A類標(biāo)準(zhǔn)不確定度為

計(jì)算擴(kuò)展不確定度：

式中，k=2。

式中，xi為孔間距（孔邊距）的“真值”。

評估結(jié)果：孔位共有32個(gè)樣本，孔徑共有12個(gè)樣本，孔距共有8個(gè)樣本，對應(yīng)的不確定度和評估結(jié)論見表2。

5.2 機(jī)器人制孔的測量與評估

將孔質(zhì)量檢驗(yàn)系統(tǒng)應(yīng)用到某直升機(jī)機(jī)器人制孔生產(chǎn)線上，對壁板件和平臺板等進(jìn)行孔質(zhì)量檢驗(yàn)，輸出結(jié)果和傳統(tǒng)的游標(biāo)卡尺、孔徑千分表（或塞規(guī)）測量方法進(jìn)行對比。測量和評估結(jié)果見表2。結(jié)果表明：孔質(zhì)量檢驗(yàn)系統(tǒng)測量數(shù)據(jù)準(zhǔn)確，效率高。

表2 測量和評估結(jié)果

（續(xù)）

6 結(jié)論

基于機(jī)器視覺和深度學(xué)習(xí)的測量方法可實(shí)現(xiàn)對孔位和孔徑的高精度測量?；谠摷夹g(shù)開發(fā)的孔質(zhì)量檢驗(yàn)系統(tǒng)，具有測量精度高、效率高、智能化程度高和可拓展性強(qiáng)等特點(diǎn)，滿足機(jī)器人制孔的非接觸式檢驗(yàn)要求，具有良好的推廣應(yīng)用前景。