增強現(xiàn)實眼鏡輔助的線纜連接器裝配狀態(tài)智能檢錯方法

李樹飛，鄭聯(lián)語，劉新玉，王天睿

(北京航空航天大學(xué) 機(jī)械工程及自動化學(xué)院,北京 100191)

0 引言

線纜連接器裝配指將線纜線束中的導(dǎo)線安裝到連接器上指定的孔位中，為保證航空產(chǎn)品的可靠性與穩(wěn)定性，線纜連接器裝配完成后需要對其安裝狀態(tài)進(jìn)行檢錯，防止連接器上存在錯裝導(dǎo)線或者漏裝導(dǎo)線的孔位。其中，錯裝導(dǎo)線的孔位表明在連接器裝配過程中操作人員誤將導(dǎo)線安裝到了不允許安裝導(dǎo)線的孔位，而漏裝導(dǎo)線的孔位表明操作人員忘記將對應(yīng)導(dǎo)線安裝到需要安裝導(dǎo)線的孔位。為有效識別這兩種錯誤操作導(dǎo)致的不匹配孔位，本文提出使用增強現(xiàn)實(Augmented Reality, AR)眼鏡(HiAR G200)智能檢錯線纜連接器的裝配狀態(tài)，該檢錯方法可高效準(zhǔn)確地判別連接器上的漏裝導(dǎo)線或者錯裝導(dǎo)線的孔位，進(jìn)而代替低效費時的手工檢錯操作。

目前AR輔助的智能裝配技術(shù)深入融合生產(chǎn)過程中，以提高裝配效率和質(zhì)量，降低裝配人員自身技能和經(jīng)驗對手工裝配[1]的影響。在AR輔助裝配與檢錯研究中，波音公司前瞻性地應(yīng)用谷歌眼鏡協(xié)助操作人員組裝機(jī)身內(nèi)部的線束，并應(yīng)用AR技術(shù)提供移動端輔助手段對Boeing 737發(fā)動機(jī)的排氣系統(tǒng)進(jìn)行故障排除[2]。為解決機(jī)艙空間的狹小和結(jié)構(gòu)復(fù)雜性給裝配過程帶來的挑戰(zhàn)，LIU等[3]引入了基于計算機(jī)視覺的輔助系統(tǒng)，以集成裝配計劃、裝配訓(xùn)練和指導(dǎo)、裝配狀態(tài)檢查和裝配質(zhì)量評估功能。針對線纜裝配中線束布局優(yōu)化難題，劉佳順等[4]提出一種基于運動仿真的活動線纜虛擬布局設(shè)計方法，進(jìn)而實現(xiàn)活動線纜由經(jīng)驗性的手工布局設(shè)計向基于建模仿真的虛擬布局設(shè)計的轉(zhuǎn)變。針對航天產(chǎn)品艙體模型的連接器組裝及檢驗過程，YIN等[5]提出基于目標(biāo)檢測技術(shù)的AR裝配引導(dǎo)方案，對無該產(chǎn)品裝配經(jīng)驗的操作人員實時進(jìn)行虛實融合的裝配情景引導(dǎo);王發(fā)麟等[6]提出面向復(fù)雜機(jī)電產(chǎn)品的線纜虛實融合裝配方法，給出了AR/虛擬現(xiàn)實(Virtual Reality, VR)融合裝配的體系框架和系統(tǒng)的運行流程，以輔助布線工藝人員制定表格化指導(dǎo)文件來完成布線任務(wù);李旺等[7]從裝配作業(yè)常用工藝出發(fā)，開發(fā)了增強現(xiàn)實的裝配工藝編輯系統(tǒng)解決了工藝信息內(nèi)容編輯問題;ZHENG等[8]引入可穿戴增強現(xiàn)實設(shè)備，并訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型識別航空產(chǎn)品中線纜上字符編號與支架零件，輔助完成飛機(jī)艙體中的線纜裝配任務(wù)。目前，對航空產(chǎn)品中線纜連接器裝配狀態(tài)的檢測任務(wù)包括引腳與孔位的位置偏差檢查和導(dǎo)線與孔位不匹配檢錯兩方面。前者主要是在公頭和母頭連接器的配對過程中診斷引腳和孔位的位置偏差[9]。借助力傳感器信號，機(jī)器人系統(tǒng)被應(yīng)用于檢測此類位置偏差[10]，如ZHAO等[11]引入3D視覺測量平臺來檢測連接器引腳的異常分布與位置。后者的目的是確保線纜連接器裝配正確，因為并非所有連接器的孔位都可以連接導(dǎo)線，尤其是在航空產(chǎn)品中。AR/VR輔助裝配技術(shù)為線纜連接器裝配狀態(tài)的檢測提供了良好的可視化解決途徑，但是針對線纜裝配中導(dǎo)線與連接器孔位的不匹配裝配狀態(tài)檢錯任務(wù)，AR眼鏡輔助的自動化和智能化檢測算法及其性能分析還缺乏深入研究。

為判定線纜連接器的裝配狀態(tài)，使用目標(biāo)檢測技術(shù)從圖像中定位連接器區(qū)域，并檢測連接器孔位為檢錯過程的基礎(chǔ)環(huán)節(jié)。常用的經(jīng)典目標(biāo)檢測算法主要包括模板匹配[12]和局部特征檢測，前者直接利用像素灰度匹配，對圖像的幾何形變適應(yīng)性差，后者主要利用圖像局部信息構(gòu)造具有幾何不變性的特征描述子，如角點檢測[13]和SIFT特征點匹配[14]等，其對復(fù)雜場景圖像也難以表現(xiàn)良好的性能。近年來，深度卷積網(wǎng)絡(luò)目標(biāo)檢測器在ImageNet[15]、Pascal VOC[16]和MS COCO[17]等大規(guī)模圖像數(shù)據(jù)庫上表現(xiàn)出了絕對的優(yōu)勢。REN等[18]提出了以Faster R-CNN為代表的雙階段目標(biāo)檢測模型，由RPN(region proposal networks)網(wǎng)絡(luò)提取候選目標(biāo)，再經(jīng)分類損失判斷目標(biāo)類型;LIN等[19]提出了FPN(feature pyramid networks)網(wǎng)絡(luò)模型，融合多層次的特征圖以有效檢測圖像中不同尺度的目標(biāo);REDMON等[20]首次提出單階段的目標(biāo)檢測網(wǎng)絡(luò)YOLO以滿足場景中實時性目標(biāo)檢測的需要，其將完整輸入圖像劃分為多個柵格以在輸出層回歸目標(biāo)位置與類別。但是這種設(shè)計模式相對降低了準(zhǔn)確率，故隨后提出了YOLO v2[21]和YOLO v3[22]版本，在保證速度的同時大幅提高了準(zhǔn)確率。LIU等[23]提出SSD(single shot multi-box detector)目標(biāo)檢測模型，采用多尺度特征圖并借鑒了Faster R-CNN中錨(anchor)的概念，提高了對小目標(biāo)的檢測性能;LIN等[24]在單階段目標(biāo)檢測模型RetinaNet中深入討論了類別不均衡問題，調(diào)整損失函數(shù)的參數(shù)讓模型在訓(xùn)練過程中重點關(guān)注與目標(biāo)難區(qū)分的樣本，使得單階段目標(biāo)檢測的性能與雙階段的模型旗鼓相當(dāng)。

航空產(chǎn)品的線纜連接器上多數(shù)分布一系列孔位，應(yīng)用目標(biāo)檢測技術(shù)可以定位圖像中這些孔位的坐標(biāo)并識別其安裝狀態(tài)?；跈z測到的孔位，進(jìn)一步判定漏裝導(dǎo)線或者錯裝導(dǎo)線的孔位，一般有兩種解決途徑：①根據(jù)孔位坐標(biāo)值對這一系列雜亂無序的孔位進(jìn)行分布排序，進(jìn)而確定每一個孔位對應(yīng)的唯一編號，以便與連接器的理想裝配結(jié)果進(jìn)行對比判定。連接器上的孔位為多層環(huán)形排列，對于每一層環(huán)形分布的離散點(即孔位)，當(dāng)其分布位置與圓或橢圓等二次曲線的坐標(biāo)偏差為正態(tài)分布時，最小二乘法[25]可有效擬合其形狀，但若存在較大誤差的樣本點時，該方法不能滿足使用要求。②根據(jù)目標(biāo)檢測模型定位的連接器孔位分布圖與正確安裝的連接器孔位圖像進(jìn)行匹配比對，以便直接判別線纜連接器上漏裝導(dǎo)線或者錯裝導(dǎo)線的孔位。針對兩幅圖像的匹配比對問題，MORDOHAI等[26]采用張量投票機(jī)制有效可靠地解決了在存在離群點以及缺失紋理信息情況下圖像的特征點匹配難題;LIN等[27]進(jìn)一步提出一種平面張量投票機(jī)制來推斷并恢復(fù)特征曲線上的缺失點，以獲取構(gòu)成幾何圖形的本真離散點完成目標(biāo)物體間的匹配，并以平面上孔洞填充實驗為案例驗證了算法的有效性和準(zhǔn)確性?？紤]到張量投票機(jī)制在孔位數(shù)量較少時難以表現(xiàn)優(yōu)越的性能，根據(jù)孔位的分布規(guī)律進(jìn)行孔位編號，可作為有效的線纜連接器裝配狀態(tài)檢錯手段。

綜上考慮，針對線纜連接器安裝狀態(tài)的檢錯問題，本文提出一種AR眼鏡輔助的線纜連接器裝配狀態(tài)智能檢錯方法來替代手工檢錯操作并進(jìn)一步可視化裝配結(jié)果。采用基于深度神經(jīng)網(wǎng)絡(luò)的零件檢測模型識別圖像中的連接器及其孔位，進(jìn)而基于扇區(qū)劃分和圓環(huán)聚類對檢測出的無序孔位進(jìn)行分布排序以獲得其對應(yīng)的唯一編號。比對連接器的理想裝配結(jié)果判定連接器在實際組裝線纜線束的過程中是否漏裝或者錯裝導(dǎo)線，將這些錯裝或者漏裝的孔位顯示在AR眼鏡的屏幕上警示操作人員。通過應(yīng)用證明，本文提出的孔位檢測模型精度足以令人信服，該連接器裝配狀態(tài)檢錯方法顯著提高了航空產(chǎn)品中線纜連接器的安裝效率與裝配過程的可控性。

1 線纜連接器裝配信息與圖像數(shù)據(jù)集

1.1 線纜連接器裝配語義信息

線纜連接器的裝配語義信息可使用二元組[C,O]表示，C和O分別為某一連接器的連接器類型和裝配指令標(biāo)識。連接類型C映射至連接器屬性集合{f,l}，其中f表示該連接器上是否有中心孔位，l表示該連接器的孔位層數(shù)；裝配指令O映射至連接器的裝配結(jié)果{P1,P2,…,Pn}，其中Pi表示該連接器的第i個孔位中是否需要安裝導(dǎo)線，其取值為Y(安裝)或N(不安裝)。如圖1所示，左側(cè)為不同類型的連接器攜帶的裝配語義信息，右側(cè)為兩種不同類型的連接器分別對應(yīng)的理想裝配結(jié)果。值得注意的是，并非所有連接器孔位都需要安裝線纜中的導(dǎo)線，理想的裝配結(jié)果給出了需要安裝導(dǎo)線的孔位以及不能安裝導(dǎo)線的孔位，這也說明了連接器裝配狀態(tài)檢錯環(huán)節(jié)在線纜連接器組裝操作中的必要性與重要程度。大多數(shù)連接器上分布有1個主定位銷和4個副定位銷，并且主定位銷指明了連接器孔位的起始編號位置。以線纜連接器裝配語義信息中的理想裝配結(jié)果作為檢測基準(zhǔn)，在裝配操作完成后順序?qū)Ρ让總€編號孔位的實際裝配狀態(tài)，進(jìn)而判斷連接器上是否存在漏裝導(dǎo)線或者錯裝導(dǎo)線的孔位。

1.2 復(fù)雜裝配場景下的連接器圖像集

航空產(chǎn)品裝配中使用的連接器數(shù)量和種類繁多，為了訓(xùn)練可以有效檢測連接器及其孔位的神經(jīng)網(wǎng)絡(luò)模型，制作對應(yīng)的圖像數(shù)據(jù)集至關(guān)重要。本文使用AR眼鏡手持端的高清數(shù)字相機(jī)配合相機(jī)上的光源在裝配現(xiàn)場捕獲連接器的圖像，在采集圖像數(shù)據(jù)集的過程中，需要控制相機(jī)以不同的角度來拍攝連接器以提高數(shù)據(jù)集的普適性，即捕捉60度傾角范圍內(nèi)的連接器圖像(如圖2a)，同時在圖像中盡可能表現(xiàn)出現(xiàn)場背景的繁雜、光照強度的變化和運動模糊對圖像質(zhì)量的影響，從而獲得包含各種現(xiàn)場工況的數(shù)據(jù)集。實驗獲取了1 724張連接器圖像制作連接器圖像數(shù)據(jù)集，該數(shù)據(jù)集中的圖像包含從上午8點到下午6點光照強度的變化導(dǎo)致的不同成像效果，以及晚上燈光作用對連接器成像的影響。圖2b展示了不同拍攝角度以及不同裝配場景下的連接器圖像。

連接器圖像數(shù)據(jù)集中包含航空產(chǎn)品中常用的11種不同類型的連接器。由于圖像中的連接器孔位尺寸過小且特征不明顯，難以直接在含有復(fù)雜裝配背景的連接器圖像中識別連接器孔位，圖像中的連接器孔位檢測分為兩個階段：第一階段在連接器圖像中找到連接器并識別其類型，將連接器區(qū)域從圖像中裁剪下來作為單獨的圖像以便進(jìn)行后續(xù)處理;第二階段在裁剪的連接器區(qū)域圖像上進(jìn)行孔位檢測并識別其孔位中是否安裝了導(dǎo)線。如圖3上半部分所示為從連接器圖像上裁剪下來的連接器區(qū)域，在此基礎(chǔ)上進(jìn)行檢測從而識別每類連接器上的孔位以及孔位周圍的定位銷，這些定位銷與連接器的孔位編號存在空間上的對應(yīng)關(guān)系，其中主定位銷的面積最大，也是連接器的第一個孔位位置。如圖3下半部分所示：J1和J2分別表示連接器母頭上未安裝導(dǎo)線和安裝導(dǎo)線的孔位;P1和P2分別表示連接器公頭上未安裝導(dǎo)線和安裝導(dǎo)線的孔位;DP1和DP2分別表示連接器母頭上的主定位銷與副定位銷，DP1在幾何尺寸方面也是連接器母頭上面積最大的定位銷;DH1和DH2分別表示連接器公頭上的主定位銷和副定位銷，且DH1是連接器公頭上幾何尺寸最大的定位銷。

以圖3中的幾種連接器為例進(jìn)行分析，定位銷由于相機(jī)拍攝角度和光照情況的變化會表現(xiàn)出不同的特征，如顏色及幾何形狀的改變，DP1和DP2以及DH1和DH2之間的區(qū)分度低易混淆，這些無疑增大了檢測的難度；連接器母頭上的孔位特征少，尤其是未安裝導(dǎo)線的連接器孔位特征十分不明顯，而連接器公頭上的孔位尺寸極小。因此，訓(xùn)練孔位檢測模型以便檢測識別這些樣式多、特征區(qū)分度低以及尺寸變化大的孔位與定位銷是一項很有挑戰(zhàn)性的工作。

1.3 連接器圖像數(shù)據(jù)集分析與統(tǒng)計

本文統(tǒng)計了這11類連接器上孔位和定位銷的數(shù)量以進(jìn)一步分析連接器圖像數(shù)據(jù)集。如圖4所示，每一類連接器上存在唯一的面積最大的定位銷，其周圍分布4個輔助定位銷；采集的圖像數(shù)據(jù)中第3類連接器上分布多達(dá)41個孔位，而有些連接器上僅分布有6個孔位，連接器裝配狀態(tài)檢錯的基礎(chǔ)是完全準(zhǔn)確無誤地檢測識別不同類型連接器上數(shù)量差距明顯的孔位。

將從連接器圖像上裁剪下來的連接器區(qū)域的圖像統(tǒng)一縮放至1 024×1 024像素，分析連接器公頭和母頭上每一個孔位和定位銷的幾何長度數(shù)值，統(tǒng)計數(shù)據(jù)中的孔位長度指的是標(biāo)簽中孔位標(biāo)注矩形框的長度。圖5統(tǒng)計了不同長度的孔位與定位銷在數(shù)據(jù)集中所占的數(shù)量，以連接器母頭上的孔位J1和J2為例，在1 024×1 024像素的圖像中，J1和J2的孔位長度分布范圍為20像素～90像素，其中孔位長度為30像素和50像素的孔位占最大比例。另一方面，連接器公頭上的孔位(P1和P2)和母頭上的主定位銷(DH1)之間尺寸變化范圍很大，連接器公頭上最小的孔位長度僅為16像素，而其上最大的主定位銷的長度為140像素。這要求孔位檢測模型擁有不同的感受野來檢測到不同尺度的圖像特征，進(jìn)而檢測識別這些孔位與定位銷。

2 線纜連接器裝配狀態(tài)檢錯流程與方法

2.1 線纜連接器裝配狀態(tài)檢錯整體流程

線纜連接器裝配狀態(tài)的可視化檢錯在AR眼鏡平臺上自動化完成，其整體流程如圖6所示，具體主要步驟如下：

步驟1連接器圖像采集。啟用AR眼鏡手持端的高清1 600萬像素的相機(jī)在線纜連接器組裝完成后從裝配現(xiàn)場捕獲連接器圖像，并預(yù)先輸入存儲不同類型的線纜連接器裝配語義信息。

步驟2連接器孔位檢測。對連接器圖像進(jìn)行歸一化預(yù)處理，將連接器圖像縮放至1 067×800像素，通過連接器檢測模型預(yù)測，輸出縮放圖像中連接器區(qū)域的坐標(biāo)與連接器類型，根據(jù)坐標(biāo)從原始1 600萬像素的圖像中裁剪連接器區(qū)域作為單獨的圖像，并將圖像縮放至1 024×1 024像素。通過融合FPN架構(gòu)與BiLSTM[28]結(jié)構(gòu)的孔位檢測模型，在裁剪的連接器區(qū)域中識別圖像中的定位銷與孔位，包含連接器公頭或者母頭上安裝線纜導(dǎo)線及未安裝導(dǎo)線的孔位。連接器的孔位檢測模型是本文的核心貢獻(xiàn)之一，其原理及詳細(xì)設(shè)計見2.2節(jié)。

步驟3連接器孔位編號。根據(jù)孔位檢測模型輸出的孔位預(yù)測框的頂點坐標(biāo)計算每個孔位的中心點坐標(biāo)，所有孔位表示為其中心點坐標(biāo)處的離散點。計算所有離散點的中心位置，按照每個離散點與中心位置的角度將其劃分到不同的扇區(qū)，根據(jù)每個離散點與中心位置的距離，將每個扇區(qū)中的孔位分離到不同層次的圓環(huán)上，以面積最大的定位銷(即主定位銷)為基準(zhǔn)，從外向內(nèi)對不同層次的圓環(huán)上的離散點逆時針分布排序。詳細(xì)算法設(shè)計見2.3節(jié)。

步驟4裝配狀態(tài)判定。更新連接器上所有孔位的檢測結(jié)果與編號，順序遍歷所有編號的孔位，對比航空線纜裝配語義信息中理想的裝配結(jié)果和實際裝配狀態(tài)，判定該連接器上漏裝導(dǎo)線與錯裝導(dǎo)線的孔位，通過型譜圖將這些孔位高亮顯示在AR眼鏡的屏幕上，完成線纜連接器裝配狀態(tài)的智能檢錯操作。

2.2 連接器及孔位檢測網(wǎng)絡(luò)模型

本文采用深度目標(biāo)檢測器RetinaNet從包含裝配現(xiàn)場復(fù)雜背景的圖像中定位連接器，輸出連接器在圖像中的坐標(biāo)并識別其類型，根據(jù)輸出坐標(biāo)將連接器從圖像中裁剪下來作為單獨的圖像，用于后續(xù)檢測孔位與定位銷。

為實現(xiàn)高精度檢測圖像中不同尺度的孔位與定位銷，神經(jīng)網(wǎng)絡(luò)在進(jìn)行特征提取時需要同時關(guān)注尺度較大的特征和尺度極小的特征。淺層網(wǎng)絡(luò)的視野范圍小，不能充分提取圖像中的特征信息，因此借鑒FPN特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)在淺層網(wǎng)絡(luò)的小視野下充分融合深層圖像特征來檢測圖像中不同尺度的孔位與定位銷。此外，由于這些孔位規(guī)律分布在連接器上，在深層網(wǎng)絡(luò)上使用BiLSTM代替卷積操作來提取圖像中孔位之間的空間關(guān)聯(lián)特征以提高網(wǎng)絡(luò)對孔位的特征提取性能，從而使得網(wǎng)絡(luò)一方面關(guān)注圖像中不同尺度的邊緣與圖形特征，另一方面搜尋提取特征在空間分布上的關(guān)聯(lián)性。本文提出孔位檢測網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖7所示，將裁剪后的1 024×1 024像素的連接器區(qū)域圖像輸入孔位檢測網(wǎng)絡(luò)模型，輸出孔位在圖像坐標(biāo)系中的坐標(biāo)與孔位類型，該孔位檢測網(wǎng)絡(luò)模型主要包括以ResNet50[29]網(wǎng)絡(luò)結(jié)構(gòu)為主干的特征提取分支、特征金字塔分支和輸出層分支，在特征金字塔分支中，逐漸融合不同層次的特征：

(1)

(2)

其中：con1×1(fi)表示對fi特征圖進(jìn)行1×1的卷積滑窗操作;upsamble(bi)表示對bi特征圖進(jìn)行上采樣擴(kuò)充2倍操作;add(bi,gi)表示對特征圖bi和gi進(jìn)行疊加操作;B_C提取層采用BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)在深層特征圖中提取搜尋特征的空間聯(lián)系性，其結(jié)構(gòu)如圖8所示。該提取層首先對輸入特征圖進(jìn)行維度擴(kuò)充，進(jìn)一步增加其對孔位空間結(jié)構(gòu)關(guān)系的特征提取能力，實現(xiàn)方式為在特征圖的窗口以3×3滑動窗口將每個像素及周圍8個點的像素值串行輸出疊加至最后通道，這樣特征圖由(B,H,W,C)的維度映射為(B,H,W,3×3×C)的維度。這個操作中沒有引入新的訓(xùn)練參數(shù)，僅是對特征信息的重組與維度調(diào)整，為了適應(yīng)BiLSTM對輸入數(shù)據(jù)的維度要求，對進(jìn)行特征信息擴(kuò)充后的特征圖再次進(jìn)行維度調(diào)整，調(diào)整后的維度為(B×H,W,3×3×C)。將該圖像序列數(shù)據(jù)送入鏈?zhǔn)紹iLSTM網(wǎng)絡(luò)，輸出(B×H,W,C)維度的特征圖，此特征圖提取了孔位的位置關(guān)聯(lián)特性，最后將輸出的特征圖的維度恢復(fù)至(B,H,W,C)，以傳遞到之后的網(wǎng)絡(luò)層次。

本文僅在ResNet50網(wǎng)絡(luò)的輸出層Res5c_relu和Res4f_relu后使用該B_C提取層，因為淺層特征圖不足以提取圖像中的本質(zhì)特征信息，且淺層特征圖的尺寸大通道少，導(dǎo)致輸入BiLSTM網(wǎng)絡(luò)的數(shù)據(jù)序列相對較短，而鏈?zhǔn)紹iLSTM網(wǎng)絡(luò)中基本單元數(shù)量偏多，致使網(wǎng)絡(luò)的訓(xùn)練難度提高甚至可能損壞網(wǎng)絡(luò)的精度，所以在淺層特征圖上并不引入該B_C提取層。

為提高對連接器公頭上尺寸極小的孔位的檢測能力，在特征金字塔分支的前兩層分別添加分類子分支和回歸子分支作為輸出層分支，其結(jié)構(gòu)與RetinaNet網(wǎng)絡(luò)中的分類子分支和回歸子分支結(jié)構(gòu)相似。其中，這兩個子分支中最底層的特征圖上每點像素對應(yīng)一個錨，這兩層特征圖的每點像素上的錨分別對應(yīng)輸入圖像中162和322的像素面積，以及4和8的滑動步長，同時為保證對圖像中尺寸偏大的定位銷的檢測能力，擴(kuò)充這兩層特征圖上的錨的數(shù)量，每個錨的面積分別乘以[20,21/3,1+22/3]3種倍數(shù)進(jìn)行面積擴(kuò)充，再將其長寬比調(diào)整為[20,21/3,1+22/3]3種型號，從而特征圖上每點像素對應(yīng)9種錨，他們的幾何長度對應(yīng)輸入圖像上16～82像素的變化范圍。

由于連接器公頭和母頭上的孔位與定位銷共有8種類別，分類子分支預(yù)測特征圖上每點像素上的9個錨表示該點屬于這8種類別的可能性。而回歸子分支預(yù)測檢測的潛在目標(biāo)距離此錨的4個相對坐標(biāo)偏移值v，進(jìn)而得出預(yù)測框表明檢測的孔位或定位銷的位置：

vw=log(w-wa),vh=log(h-ha)。

(3)

(4)

式中λre超參數(shù)權(quán)衡兩種損失函數(shù)的優(yōu)化迭代對模型訓(xùn)練過程的影響，本文模型訓(xùn)練中λre=1。

(5)

(6)

式中：RC為最小包圍框BC的面積，最小包圍框BC的坐標(biāo)與面積由式(7)和式(8)計算得出：

(7)

(8)

2.3 無序孔位的分布排序編號與比對檢錯

(1)離散點映射與重組 根據(jù)連接器定位模型與孔位檢測模型的結(jié)果，得知該連接器的類型ti，所有識別的孔位與定位銷根據(jù)其中心坐標(biāo)映射為離散點。首先將定位銷對應(yīng)的離散點劃分至集合dset，此集合中面積最大的定位銷(標(biāo)記為Od)作為孔位排序的基準(zhǔn)；其次所有孔位對應(yīng)的離散點重組到集合Pset，計算此集合中所有離散點的中心Pc。

(3)離散點排序編號 針對集合Pset以Pc為極點，PcOd為極軸建立極坐標(biāo)系，如圖9c～圖9d所示。從外向內(nèi)遍歷集合中不同層次的圓環(huán)，每層圓環(huán)上的離散點根據(jù)其極角γi逆時針方向進(jìn)行排序編號。

算法1連接器孔位(離散點)劃分與聚類。

輸出：不同層次圓環(huán)上的離散點集合SC1,SC2,…,SCli。

1:function CLUSTERING (fc,li,S)

3. if fcthen //中心孔位劃分至單獨的集合

4. Pe←PiPi為距離Pc最近的點

5. S←S-{Pe}

6. li←li-1

7. SCli+1←SCli+1∪{Pe}

8. end if

9. nequ=?(|S|-2*li)/(2*li)?+1 //扇區(qū)的數(shù)量

10. nres=(|S|-2*li)%(2*li)+2*li//最后一個扇區(qū)中離散點的數(shù)量

11. 集合S中的點根據(jù)其在以Pc點為極點的極坐標(biāo)系下的極角從小到大排序并更新S

12. 集合S中的后nres個點映射到扇區(qū)集合Snequ,其余點順序平均劃分至nequ-1個扇區(qū)集合S1,S2,…,Snequ-1

13. S1,S2,…,Snequ-1,Snequ中的點按照其與Pc點的距離從小到大排序并更新

14. for Si∈S1,S2,…,Snequ-1,Snequdo

15. for Pj∈Sido //計算每個扇區(qū)中的相鄰離散點的距離變化值

16. drj←‖Pj+1,Pc‖-‖Pj,Pc‖

17. Sdri←Sdri∪{drj}

18. end for

19. end for

20. for Si∈S1,S2,…,Snequ-1,Snequdo //搜尋每個扇區(qū)中的離散點的距離突變點

21. ID←{id1,id2,…,idli-1} ID為Sdri中最大的前l(fā)i-1個值的索引

22. for idj∈ID do //每個扇區(qū)中的離散點聚類到不同的圓環(huán)

23. SCj←SCj∪{Si[:idj]}

24. Si←Si-Si[:idj]

25. end for

26. SCli←SCli∪{Si}

27. end for

28. if fcthen //返回不同層次圓環(huán)上聚類的離散點集合

29. return {SC1,SC2,…,SCli}

30. else

31. return {SC1,SC2,…,SCli,SCli+1}

32. end if

33. end function

為保證每個扇區(qū)中包含來自所有圓環(huán)層次上的離散點，每個扇區(qū)上離散點的數(shù)目最少為孔位層數(shù)li的2倍，如圖10中#9所示，對應(yīng)算法1的第9步。該離散點劃分與聚類算法在進(jìn)行扇區(qū)劃分時首先確定最后一個扇區(qū)上離散點的數(shù)量，然后將剩余的離散點平分到每個扇區(qū)，進(jìn)而確保每個扇區(qū)內(nèi)包含所有層次的圓環(huán)上的離散點，如圖10中#12所示，對應(yīng)算法1的第12步。所有孔位的離散點聚類劃分至不同的扇區(qū)后，每個扇區(qū)上的孔位離散點根據(jù)其至Pc的距離進(jìn)行排序，距離突變點表明相鄰離散點間的距離存在突變，即此對相鄰離散點屬于連接器上不同的圓環(huán)層次，每個扇區(qū)上的孔位離散點在算法1的第16步驟根據(jù)距離突變點聚類至不同層次的圓環(huán)上，如圖10中#16所示。

連接器上的孔位分布排序完成后，順序遍歷所有編號的連接器孔位，逐個比對連接器上孔位的真實裝配狀態(tài)與裝配指令中的理想裝配結(jié)果。以連接器公頭為示例(如圖11)，P2為連接器上安裝導(dǎo)線的孔位，P1為未安裝導(dǎo)線的孔位，理想裝配結(jié)果表明左側(cè)矩形線框?qū)?yīng)的4號孔位不能安裝導(dǎo)線，但是檢測結(jié)果發(fā)現(xiàn)該孔位在真實情景中安裝了導(dǎo)線，故該孔位存在錯裝導(dǎo)線操作，同理右側(cè)鉅形線框?qū)?yīng)的6號孔位漏裝了導(dǎo)線。

3 性能分析與檢錯案例

3.1 連接器及其孔位檢測性能分析

本文將連接器圖像數(shù)據(jù)集中的1 346張圖像作為訓(xùn)練集，剩余的378張圖像作為測試集。將訓(xùn)練集中的圖像送入RetinaNet網(wǎng)絡(luò)訓(xùn)練連接器檢測器，采用Pascal VOC數(shù)據(jù)集中的平均精度均值(mean Average Precision, mAP)作為評價指標(biāo)，交并比(IoU)閾值設(shè)置為0.5，即候選框與標(biāo)簽中的注釋框的交并比閾值高于0.5時可作為正樣本，使用訓(xùn)練完成的連接器檢測器預(yù)測測試集圖像中連接器的種類并回歸其在圖像坐標(biāo)系下的坐標(biāo)，如表1所示為本文訓(xùn)練的連接器檢測器對11種不同類型的連接器的檢測識別性能。

表1 連接器檢測性能分析

分別從連接器數(shù)據(jù)集中的訓(xùn)練集和測試集中將連接器區(qū)域裁剪下來作為單獨的圖像，同時剔除一些質(zhì)量過差的圖像樣例，最終得到1 009張圖像作為孔位圖像訓(xùn)練集，360張圖像作為孔位圖像測試集。本文沒有應(yīng)用任何數(shù)據(jù)增廣手段，僅使用訓(xùn)練集中的孔位圖像以隨機(jī)梯度下降優(yōu)化器在2塊GPU(RTX 2 080)上來訓(xùn)練孔位檢測模型，批尺寸(batch)設(shè)置為2，即每塊GPU負(fù)責(zé)1張1 024×1 024像素的孔位圖像，初始學(xué)習(xí)率設(shè)置為0.01，經(jīng)過40×103次迭代后學(xué)習(xí)率縮小10倍，60×103次迭代后再次縮小10倍，進(jìn)行80×103次迭代訓(xùn)練，同時在參數(shù)更新中設(shè)置動量值為0.9，訓(xùn)練過程中使用權(quán)值衰減策略并設(shè)置其值為0.000 1。此外，筆者甚至嘗試過僅使用1塊GPU來訓(xùn)練本文的模型，也能夠取得相當(dāng)有競爭力的性能。

為驗證本文提出的孔位檢測網(wǎng)絡(luò)的有效性，將其與目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN、SSD、YOLO v2、RetinaNet和YOLO v3在孔位圖像測試集下的精度進(jìn)行比較，這些目標(biāo)檢測器在當(dāng)前最流行的公開目標(biāo)檢測數(shù)據(jù)集如PASCAL VOC和MS-COCO上取得了相當(dāng)有說服力的非凡結(jié)果。如圖12所示為本文所提孔位檢測模型對一些連接器樣例的檢測識別結(jié)果，表2列出了本文所提孔位檢測模型與一些目標(biāo)檢測網(wǎng)絡(luò)的性能對比。

表2 孔位檢測性能分析

YOLO v3網(wǎng)絡(luò)往往對圖像中的小目標(biāo)表現(xiàn)出顯著的性能，本文提出的網(wǎng)絡(luò)和YOLO v3相比，在連接器孔位(J1、J2、P1和P2)上的檢測性能提升比較明顯，表明孔位檢測網(wǎng)絡(luò)中的BiLSTM結(jié)構(gòu)能夠提取這些孔位之間的空間關(guān)聯(lián)性。此外，本文孔位檢測模型對J2類型孔位的檢測性能提升最為顯著，表明了網(wǎng)絡(luò)的損失函數(shù)(focal loss)的有效性，因為J2孔位正是孔位圖像數(shù)據(jù)集中數(shù)量較少的樣例且和J1的相似性大，容易混淆。這也表明本文提出的孔位檢測模型在訓(xùn)練過程中關(guān)注到了此類樣本。

為了進(jìn)一步說明本文提出的孔位檢測模型的有效性，借鑒MS COCO數(shù)據(jù)集上的評價指標(biāo)，計算候選框與標(biāo)簽中的注釋框的交并比在不同閾值下的mAP值，如圖13所示。其中，橫軸AP50～AP80表示交并比閾值由0.5提升到0.8，隨著交并閾值的提高，YOLO v3和本文提出的孔位檢測模型之間的mAP值差距愈加明顯，本文提出的孔位檢測模型對交并比的波動表現(xiàn)出了更強的魯棒性，即使在設(shè)置較大的交并比閾值時，依然能夠保持較為理想的精度。

3.2 孔位排序編號結(jié)果與檢錯案例

以連接器圖像數(shù)據(jù)集中的類型3連接器為例，圖14可視化了該連接器孔位編號的流程。使用RetinaNet網(wǎng)絡(luò)定位出圖像中的連接器后，孔位檢測器識別該連接器上所有孔位與定位銷，之后示意了該連接器的孔位在孔位扇區(qū)劃分、孔位層次聚類和離散點排序編號操作下的效果。

在對連接器的孔位進(jìn)行扇區(qū)劃分時，需要保證每個扇區(qū)能夠覆蓋到每層圓環(huán)上的離散點，以便后續(xù)將每個扇區(qū)上的離散點根據(jù)距離聚類到不同的圓環(huán)上，圖15進(jìn)一步顯示了孔位扇區(qū)劃分操作對于不同類型的連接器孔位的劃分效果。對于幾種圓環(huán)層數(shù)不同的孔位集合，該方法劃分的每個扇區(qū)中都包含了各層圓環(huán)上的離散點，并能夠?qū)⒆詈笈判虻闹行碾x散點分離出來。

即便由于拍攝角度的問題導(dǎo)致連接器圖像存在形變，檢測的孔位并非分布在規(guī)整的多層圓環(huán)上，該孔位分布排序算法能夠?qū)@些混亂的孔位離散點進(jìn)行分布排序以獲得其編號，如圖16所示。實驗結(jié)果表明，對于相機(jī)拍攝角度存在45度傾斜造成的孔位坐標(biāo)偏差，該算法表現(xiàn)了很強的適應(yīng)性，能夠準(zhǔn)確獲得這些孔位的編號。在使用AR眼鏡手持端拍攝連接器圖像進(jìn)行線纜連接器裝配狀態(tài)檢錯時，一般不會存在大于30度的傾斜拍攝角度，故該算法可有效編號連接器的孔位。

經(jīng)過孔位編號排序算法后可以得到每個孔位對應(yīng)的編號，結(jié)合其識別孔位的真實裝配狀態(tài)，對比存儲在航空線纜裝配語義信息中的理想裝配結(jié)果，便可知曉哪些孔位漏裝了導(dǎo)線，哪些孔位錯轉(zhuǎn)了導(dǎo)線，進(jìn)而將錯裝或者漏裝導(dǎo)線的孔位展示在型譜圖上。本文使用的AR眼鏡CPU為高通驍龍820，計算機(jī)端CPU為i7 9700k，GPU使用一塊RTX 2 080，AR眼鏡和計算機(jī)端使用WiFi通信。離線訓(xùn)練完成連接器及孔位檢測模型后，以連接器圖像數(shù)據(jù)集中的類型5連接器為樣例，AR眼鏡將手持端拍攝的圖像發(fā)送至計算機(jī)端，如圖17所示。通過計算機(jī)端在線檢測圖像中連接器與孔位，經(jīng)過孔位排序算法，AR眼鏡拍攝的連接器圖像上的孔位得到其編號與真實裝配狀態(tài)，進(jìn)而對比線纜連接器裝配語義信息中的理想裝配結(jié)果，判定了該連接器上4號孔位錯裝了導(dǎo)線，而6號孔位漏裝了導(dǎo)線，最后將判定信息返回至AR眼鏡，高亮該連接器型譜圖上的孔位警示操作人員。在從現(xiàn)場實時采集連接器圖像及判定信息返回至AR眼鏡以可視化結(jié)果的總循環(huán)過程中，時間消耗包括圖像數(shù)據(jù)傳輸、檢測模型運算和判定信息返回，其中連接器檢測模型可以在160 ms內(nèi)快速得到檢測結(jié)果，孔位檢測模型可以在400 ms內(nèi)獲取檢測結(jié)果，加上圖像數(shù)據(jù)傳輸和判定信息返回的時間消耗，AR眼鏡可以在1 s內(nèi)進(jìn)行線纜連接器裝配狀態(tài)自動化檢錯，完全可以滿足裝配現(xiàn)場作業(yè)實時性要求，顯著提高了線纜連接器的工業(yè)檢錯效率。

4 結(jié)束語

航空產(chǎn)品中線纜連接器的裝配過程依靠手工完成，為保證裝配操作正確性，連接器安裝線纜中的導(dǎo)線后需要手工對其裝配狀態(tài)進(jìn)行檢錯。針對此耗時的裝配狀態(tài)人工檢錯任務(wù)，面向孔位檢測和分布排序以及可視化孔位匹配環(huán)節(jié)，本文提出了AR眼鏡輔助的線纜連接器裝配狀態(tài)智能檢錯方法，使用AR眼鏡手持端在裝配現(xiàn)場拍攝連接器圖像，進(jìn)而檢測圖像中的連接器及其孔位，連接器孔位經(jīng)過排序編號后順序?qū)Ρ壤硐氲难b配結(jié)果以判定漏裝或錯裝導(dǎo)線的孔位，最后在AR眼鏡上可視化型譜圖以提示操作人員自動化完成連接器裝配狀態(tài)檢錯任務(wù)。該方法中，針對連接器孔位的小目標(biāo)檢測問題，本文提出一種融合FPN網(wǎng)絡(luò)結(jié)構(gòu)與BiLSTM網(wǎng)絡(luò)單元的孔位檢測模型，一方面可以有效提取不同尺度的孔位特征信息，另一方面可以有力尋找孔位特征之間的空間關(guān)聯(lián)性。針對無序孔位的分布編號問題，本文提出了孔位的扇區(qū)劃分策略與孔位的多層次圓環(huán)聚類方法，該算法可以抵抗由于拍攝角度變換引起的連接器圖像形變問題。以連接器圖像數(shù)據(jù)集中的11類連接器為案例進(jìn)行了充分實驗驗證，數(shù)據(jù)表明孔位檢測模型有效解決了孔位小目標(biāo)的檢測識別問題，孔位分布排序算法能夠正確編號不同類型的連接器孔位，并且能較好地適應(yīng)AR輔助工人裝配操作時從不同角度拍攝的連接器圖像。本文提出的檢錯方法可有效應(yīng)用于航空產(chǎn)品的連接器裝配操作中，達(dá)到智能化檢測連接器上漏裝導(dǎo)線或者錯裝導(dǎo)線的孔位的目標(biāo)。

在后續(xù)的研究工作中，在智能算法方面，將考慮圖像中連接器及其孔位的同步檢測問題，以進(jìn)一步簡化裝配狀態(tài)檢錯的流程，同時進(jìn)一步改進(jìn)孔位分布排序算法，以應(yīng)對連接器圖像的極端形變情況，保證檢錯的準(zhǔn)確性和可靠性；另一方面，雖然該智能化檢錯方法在AR眼鏡上取得了良好的可視化展示效果，但進(jìn)一步針對連接器的動態(tài)和靜態(tài)虛實注冊實驗，降低AR應(yīng)用系統(tǒng)中的虛實注冊誤差，也是我們即將開展的研究工作。