面向AR輔助引導(dǎo)的線纜敷設(shè)質(zhì)量一致性視覺檢測方法

劉 睿，尹旭悅，范秀敏,2+，王 磊，何其昌

(1.上海交通大學(xué) 機械與動力工程學(xué)院智能制造與信息工程研究所，上海 200240；2.上海市網(wǎng)絡(luò)化制造與企業(yè)信息化重點實驗室，上海 200030；3.上海航天精密機械研究所，上海 201600)

0 引言

線纜在工業(yè)領(lǐng)域作為產(chǎn)品能量和信號傳輸?shù)妮d體，地位至關(guān)重要。航天精密產(chǎn)品由很多控制元器件組成，這些元器件涉及線纜和電連接器。在航天精密產(chǎn)品制造過程中，線纜敷設(shè)質(zhì)量一致性影響了產(chǎn)品的整機性能。但在線纜實際手工敷設(shè)時，由于產(chǎn)品的硬件結(jié)構(gòu)(體積小、結(jié)構(gòu)緊密等)和線纜敷設(shè)人員技能程度，線纜的敷設(shè)彎曲程度、彎曲方向等敷設(shè)質(zhì)量因人而異，這給質(zhì)量一致性保障帶來了挑戰(zhàn)。

隨著信息技術(shù)的發(fā)展，增強現(xiàn)實(Augumented Reality, AR)技術(shù)在游戲娛樂、教育、軍工、醫(yī)療等領(lǐng)域均有實際的應(yīng)用。最早將AR技術(shù)引入工業(yè)產(chǎn)品裝配的是波音公司90年代的飛機線纜布置項目，其開發(fā)了移動客戶端Boeing 737引擎裝配及故障檢修系統(tǒng)應(yīng)用[1]，將裝配效率提升了將近20%，正確率提高了24%。Servan等[2]開發(fā)了WI(work instruction)智能指導(dǎo)裝配系統(tǒng)，解決了復(fù)雜裝配過程中步驟繁瑣難記、普通裝配指導(dǎo)手冊難以統(tǒng)一更新、纜線裝配無整體概念等問題，使得裝配作業(yè)時間縮短了50%;Rice等[3-4]利用飛機設(shè)計的CAD模型及特征信息作為產(chǎn)品增強現(xiàn)實提示內(nèi)容，通過語音交互方式，將線纜裝配過程所需要的信息直接利用AR技術(shù)融合到工作現(xiàn)場，提高線纜的布線效率；Metaio公司[5]在處理汽車線纜故障時，提出線纜AR解決方案，操作工人利用iPad拍攝故障區(qū)域，iPad上會直接顯示正確的操作。

國內(nèi)外學(xué)者在增強現(xiàn)實輔助裝配研究上也取得了不少成果。芬蘭國家技術(shù)研究院的Mizell等[6]開發(fā)了面向工業(yè)產(chǎn)品裝配指導(dǎo)的AR輔助系統(tǒng)，使操作工人裝配作業(yè)時間平均縮短了16%，但對于工具提示和零件位置定位等裝配作業(yè)內(nèi)容指導(dǎo)上與紙質(zhì)操作說明書存在一定的偏差;趙陽[7]基于深度體感設(shè)備Kinect進行手勢識別和交互操作研究，開發(fā)增強現(xiàn)實裝配環(huán)境，用于汽車發(fā)動機裝配訓(xùn)練。在移動增強現(xiàn)實應(yīng)用場景中，楊慶等[8]提出一種多marker標(biāo)志物注冊方法，采用語音和手勢實時交互技術(shù)，開發(fā)一套AR裝配平臺，有力地支持某航空發(fā)動機設(shè)備裝配過程操作與訓(xùn)練。

上述文獻在進行AR輔助裝配引導(dǎo)研究時，引導(dǎo)信息推送方式是被動的，一般通過手勢、語音和力反饋等方式觸發(fā)。并沒有考慮到分析產(chǎn)品的裝配質(zhì)量，通過產(chǎn)品裝配狀態(tài)，自主判斷是否需要及時推送增強現(xiàn)實引導(dǎo)內(nèi)容。

對于線纜敷設(shè)過程質(zhì)量檢測，首先要從線纜敷設(shè)圖像中提取線纜目標(biāo)圖像，即感興趣區(qū)域(Region of Interest，ROI)。航天線纜扎成束狀，線纜敷設(shè)時拍攝出的圖像包括多段線纜(已敷設(shè)、正在敷設(shè)和未敷設(shè)狀態(tài)3種)，而處于正在敷設(shè)的線纜只是其中一小段，需要從圖像的多段線纜中分割出正敷設(shè)的線纜目標(biāo)區(qū)域。經(jīng)過多年的探索，目標(biāo)圖像分割研究已取得很大的進展。在分割彩色圖像目標(biāo)區(qū)域時，可以根據(jù)色彩特征進行閾值分割[9-11],也可以利用分類器[12-15]進行ROI區(qū)域提取。Parmar[16]進行線纜檢測時，用RGB(red, green and blue)顏色空間進行閾值分割，同時利用高斯濾波平滑算法分割某一色彩線纜；Sun等[17]結(jié)合二維最大類間方差法和模擬退火遺傳算法分割覆雪的線纜圖像，既提升算法速度，又保證線纜分割效果。但是，文獻[16-17]均從圖像中分割同一顏色閾值的全部線纜區(qū)域。其次，在對線纜敷設(shè)的彎曲程度等質(zhì)量進行評估時，需要利用線纜圖像的骨架信息。目前，利用骨架信息提取特征參數(shù)的研究主要集中在農(nóng)業(yè)領(lǐng)域，而且集中在測量距離這方面。宗澤等[18]等從玉米圖形中提取玉米的骨架圖像特征點，結(jié)合圖像深度信息，計算玉米的株高、莖粗、葉傾角參數(shù)；Nakarmi等[19]為測量農(nóng)作物之間的生長間距，通過采集農(nóng)作物的深度圖像，分割農(nóng)作物莖稈區(qū)域并利用莖稈骨架的三維點信息，實現(xiàn)農(nóng)作物間距測量。對于航天線纜圖像，如何提取、分析骨架信息值得探討。

因此，本文結(jié)合手工裝配特點，利用計算機視覺圖像分割方法完成裝配過程中航天線纜目標(biāo)圖像分割，然后提取航天線纜特征，分析其敷設(shè)質(zhì)量，同時結(jié)合增強現(xiàn)實輔助裝配技術(shù)，在航天線纜敷設(shè)質(zhì)量評估不合格時，及時推送預(yù)警信息和線纜敷設(shè)方法正確提示，保證航天線纜的敷設(shè)質(zhì)量一致性要求。

1 線纜目標(biāo)圖像分割

對于手工裝配的航天線纜圖像，由于航天線纜結(jié)構(gòu)捆扎成樹狀，裝配過程中，圖像中可能出現(xiàn)多段線纜。為了獲取航天線纜目標(biāo)圖像，在傳統(tǒng)閾值分割方法基礎(chǔ)上，本章實現(xiàn)線纜的快速分割和精確檢測。通過分割裝配圖像中雙手區(qū)域，提取手部拇指特征，然后判斷精確檢測的線纜區(qū)域與拇指信息的位置關(guān)系，準(zhǔn)確定位出線纜目標(biāo)區(qū)域，得到線纜目標(biāo)區(qū)域包圍盒。最后根據(jù)線纜目標(biāo)區(qū)域包圍盒，對圖像進行掩模處理，得到線纜目標(biāo)圖像。如圖1所示為方法流程圖。

1.1 線纜檢測

針對線纜敷設(shè)圖像，利用中值濾波算法對線纜敷設(shè)原圖預(yù)處理，平滑圖像質(zhì)量。利用色調(diào)，飽和度，明度(Hue, Saturation, Value, HSV)顏色空間實現(xiàn)圖像中線纜區(qū)域的快速分割，即疑似線纜目標(biāo)區(qū)域，閾值分割效果圖如圖2所示。

由圖2的線纜HSV分割圖可知，得到的疑似線纜目標(biāo)區(qū)域出現(xiàn)孔或者小洞，這是由于圖像反光造成的。同時由于圖像中存在與線纜區(qū)域顏色特征相似的干擾區(qū)域，造成圖像閾值分割后出現(xiàn)一些小面積區(qū)塊。為保證實現(xiàn)線纜區(qū)域精確檢測，需要填充圖像中的孔或者小洞并去除干擾產(chǎn)生的小面積區(qū)塊。

根據(jù)閾值分割得到的二值圖，計算所有連通區(qū)域的輪廓，將輪廓內(nèi)像素值為0的像素(即圖像中的黑點)全部填充成像素值為1的白點。完成該操作后，計算填充孔或者小洞后的連通區(qū)域面積，設(shè)定雙邊面積閾值[TS1,TS2]，略去面積過大或者過小的區(qū)域，保留真實的線纜連通區(qū)域。最后，統(tǒng)計精確檢測的線纜區(qū)域并通過連通區(qū)域輪廓信息計算所有疑似線纜目標(biāo)圖像區(qū)域的最小矩形，記作集合B={b1,…,bj,…,bn}，其中bj代表第j個疑似線纜目標(biāo)圖像區(qū)域的最小矩形包圍盒，n為所有的疑似線纜目標(biāo)圖像區(qū)域的個數(shù)。

利用上述方法，對線纜進行精確檢測。如圖3所示為線纜精確檢測的結(jié)果，其中圖3a表示填充后連通區(qū)域圖，圖3b中矩形框表示線纜連通區(qū)域包圍盒。

1.2 線纜目標(biāo)圖像檢測

1.2.1 拇指信息提取

根據(jù)線纜敷設(shè)人員的操作特征，選擇YCbCr色彩空間下各顏色通道的閾值范圍，從線纜敷設(shè)圖像中分割手部區(qū)域，其中YCbCr色彩空間的三通道信息為Y、Cb、Cr，即亮度分量、藍色色度分量和紅色色度分量，得到的手區(qū)域二值圖如圖4a所示。利用雙手輪廓信息計算手區(qū)域的兩個質(zhì)心c1,c2,有

(1)

式中：(x,y)表示手區(qū)域的圖像像素點坐標(biāo)，I(x,y)表示該點的圖像像素值。質(zhì)心結(jié)果如圖4b中的c1,c2點所示。

同時，根據(jù)手區(qū)域輪廓采取曲率分析法檢測“類拇指點”。對于輪廓上任一點p，沿輪廓順時針方向，取點p的前面第5個點r和后繼第5個點q，定義向量pq和向量pr的點積Dp=pq·pr和叉積Cp=pq×pr。設(shè)定點積雙邊閾值[TS3,TS4]，根據(jù)曲率分析法可知，當(dāng)輪廓上點p滿足TS3≤Dp≤TS4和Cp符號為正兩個條件時，則將該p點當(dāng)作類拇指點(如圖5a)。

此時，將距離手區(qū)域質(zhì)心最遠的類拇指點當(dāng)作真實的拇指點，記為集合F={f1,f2}，其中，f1和f2分別代表雙手的拇指點，最后拇指點提取結(jié)果如圖5b所示。其中，圖5b中兩直線表示手區(qū)域質(zhì)心與拇指點的連線。

1.2.2 線纜目標(biāo)包圍盒獲取

利用第1.1節(jié)中檢測的所有線纜區(qū)域矩形包圍盒和1.2.1節(jié)提取的拇指點信息，通過判定拇指點是否在矩形包圍盒內(nèi)或附近，得到線纜目標(biāo)包圍盒。

對于任意給定的矩形包圍盒B和任一點P，其中矩形包圍盒的4個頂點按順時針依次記為P1,P2,P3,P4。以矩形包圍盒B相鄰2條正交邊(如邊P1P2和邊P1P4)分別作為投影軸S和T，從而得到矩形包圍盒在軸S和軸T上投影范圍[S1,S2]、[T1,T2]，點P在軸S和軸T上投影點Ps、Pt。若投影點Ps，Pt均分別位于投影范圍[S1,S2]、[T1,T2]內(nèi)，則該點P在矩形包圍盒內(nèi)，如圖6a所示；否則，定義點P到矩形包圍盒最近端點距離D，如果D小于設(shè)定的長度閾值，認(rèn)為點P在包圍盒附近，如圖6b所示，反之認(rèn)為點P不在包圍盒附近。

根據(jù)上述方法確定線纜區(qū)域目標(biāo)包圍盒，即拇指點均在線纜區(qū)域包圍盒內(nèi)或附近，算法流程如圖7。

利用線纜目標(biāo)包圍盒分割結(jié)果，確定線纜目標(biāo)圖像邊緣輪廓，最后通過掩模處理原線纜敷設(shè)現(xiàn)場圖像，得到線纜區(qū)目標(biāo)圖像，如圖8所示。

2 線纜敷設(shè)質(zhì)量特征提取與一致性匹配

2.1 線纜敷設(shè)彎曲曲率特征參數(shù)提取

2.1.1 線纜圖像彎曲骨架分割

根據(jù)第1章獲得的線纜目標(biāo)圖像，對線纜的敷設(shè)彎曲曲率進行質(zhì)量分析。首先，利用細化算法處理線纜目標(biāo)圖像，得到線纜敷設(shè)彎曲骨架。該細化過程通過對二值化后的線纜目標(biāo)圖像輪廓點進行一層一層地剝離，得到線纜骨架。但是，因為存在圖像輪廓邊緣變化，線纜骨架信息中可能會產(chǎn)生一些細小分支(即毛刺)，所以有必要對該骨架進行操作，去除這些毛刺信息。

這里，定義骨架的端點和節(jié)點兩個概念，如圖9所示。骨架端點(如圖9a)滿足以下2個條件：

(1)N(P)≤2;

(2)R(P)≤2;

其中：N(P)為骨架點P的8-鄰域點中像素值非0的點數(shù)目;R(P)為以P0,P1,P2,P3,P4,P5,P6,P7為序時這些點像素值從0變化至1和從1變化至0的次數(shù)。同理，骨架節(jié)點(如圖9b)滿足以下2個條件：

(1)N(P)≥3;

(2)R(P)≥6;

從骨架端點處開始進行骨架跟蹤，骨架端點設(shè)為初始跟蹤種子點，在骨架跟蹤沒到骨架節(jié)點之前，將每一次追蹤到的骨架點設(shè)為下一次骨架跟蹤的種子點，循環(huán)進行骨架跟蹤，直至到達某一節(jié)點，統(tǒng)計該骨架段端點到節(jié)點的長度T，比較長度T與設(shè)定的長度閾值Tm的大小關(guān)系。若T

2.1.2 線纜圖像彎曲曲率計算

基于2.1.1節(jié)提取的線纜敷設(shè)彎曲骨架信息后，結(jié)合圖像的深度信息，通過攝像頭模型，將圖像的二維骨架點轉(zhuǎn)換成三維空間坐標(biāo)信息，轉(zhuǎn)換過程如式(2)所示。

(2)

式中：Mint為攝像頭內(nèi)參;Mext為攝像頭外參；Zc為骨架點深度信息;(u,v)為二維骨架點坐標(biāo)；(Xw,Yw,Zw)為骨架點三維空間坐標(biāo)。本文采用RealSense D435深度攝像頭，直接獲取攝像頭的內(nèi)參矩陣和圖像像素點的Zc值。

得到骨架三維空間信息后，采用直接測量法計算線纜骨架彎曲曲率，其原理是：給定任意點p1(x1,y1,z1)和點p1(x1,y1,z1)前后的兩個點p2(x2,y2,z2)、p3(x3,y3,z3)，根據(jù)這3個點確定一個以p(x,y,z)為圓心的圓，將該圓的半徑R作為點p1(x1,y1,z1)在此處的曲率半徑，曲率半徑倒數(shù)即為曲率。

為了驗證上述線纜彎曲曲率計算結(jié)果的有效性，以4段線纜敷設(shè)圖像實例分析，如圖11所示。計算線纜的最小彎曲半徑和最大彎曲曲率，評估線纜的彎曲程度，該實驗圖像尺寸為640×480。表1所示為這4例線纜目標(biāo)圖像的最大彎曲曲率、最小彎曲半徑。

表1 4例線纜目標(biāo)圖像的彎曲程度對比

同時，通過描點法描繪線纜的實際彎曲形狀，然后取線纜形狀上的關(guān)鍵點估算線纜的最小彎曲半徑，并記該方法估算的線纜最小彎曲半徑為測量值，結(jié)果如表2所示。由表2可知，計算值與測量值差值在2 mm～3 mm之間。

表2 4例線纜目標(biāo)圖像的彎曲半徑測量值

表3 4例線纜彎曲程度評估結(jié)果重合度

2.2 線纜敷設(shè)彎曲方向特征匹配

在評估線纜敷設(shè)的彎曲方向是否符合要求時，通過利用線纜敷設(shè)圖像的SURF特征進行圖像特征匹配來實現(xiàn)。首先，使用線纜模板圖像和線纜模板視頻文件進行離線訓(xùn)練，線纜模板圖像即線纜敷設(shè)的樣本圖像，線纜模板視頻文件即線纜敷設(shè)過程錄制的樣本視頻。統(tǒng)計模板圖像與模板視頻匹配過程中在線纜目標(biāo)區(qū)域內(nèi)的匹配點對總數(shù)，并按式(3)計算線纜模板特征點數(shù)目。

(3)

式中：num為線纜模板特征點數(shù)目;totalnums為匹配過程中在線纜目標(biāo)區(qū)域內(nèi)的匹配點對總數(shù);frames為線纜模板視頻的總幀數(shù)。

將線纜敷設(shè)圖像提取的局部加速穩(wěn)健特征(Speeded Up Robust Features, SURF)特征點與線纜敷設(shè)模板圖像的特征點進行比對，統(tǒng)計在線纜模板圖像的目標(biāo)區(qū)域內(nèi)的匹配點對總數(shù)，判斷匹配點對數(shù)目是否大于線纜模板特征點數(shù)目，同時累計大于線纜模板特征點數(shù)的匹配線纜敷設(shè)圖像幀數(shù)，當(dāng)符合要求的圖像幀數(shù)達到數(shù)目T′時，表明線纜敷設(shè)彎曲方向合格，否則說明線纜敷設(shè)彎曲方向不合格。線纜敷設(shè)圖像特征匹配效果如圖12所示。

3 線纜產(chǎn)品信息建模

為了實現(xiàn)線纜敷設(shè)過程中的增強現(xiàn)實輔助裝配，需要針對產(chǎn)品進行線纜敷設(shè)過程信息建模，該產(chǎn)品模型信息由3類信息組成：①線纜敷設(shè)引導(dǎo)信息，包括線纜敷設(shè)工藝信息和線纜段信息，用于線纜敷設(shè)過程中引導(dǎo)內(nèi)容的完整檢索；②線纜敷設(shè)質(zhì)量檢測信息，包括線纜敷設(shè)走向模板信息和線纜敷設(shè)彎曲程度模板信息，用以為線纜敷設(shè)過程中的質(zhì)量診斷與評估提供相應(yīng)的模板信息；③線纜上的零件信息，用來智能化確定線纜敷設(shè)工序中的線纜段的ID號以及該段線纜是否需要進行質(zhì)量檢測。線纜產(chǎn)品信息模型如圖13所示。

4 原型系統(tǒng)開發(fā)及案例驗證

4.1 原型系統(tǒng)開發(fā)

根據(jù)上述研究目的，搭建實驗平臺如圖14所示。Intel Realsense D435深度攝像頭是線纜質(zhì)量檢測的圖像輸入設(shè)備，Logitech C270攝像頭是線纜上零件識別檢測的圖像輸入設(shè)備；Vuzix的STAR 1200XLD光學(xué)透視AR眼鏡用于增強現(xiàn)實顯示。

同時，在Windows 10操作系統(tǒng)下，以Visual Studio 2017作為開發(fā)平臺，基于標(biāo)準(zhǔn)的C++語言，結(jié)合Oracle 10g、OpenCV 2.4.8計算機視覺庫、ARToolKit、OSG(open scene graph)等，開發(fā)線纜敷設(shè)信息規(guī)劃、線纜敷設(shè)視覺檢測與AR引導(dǎo)輔助系統(tǒng)。

線纜敷設(shè)信息規(guī)劃系統(tǒng)，利用線纜的產(chǎn)品模型信息，制作線纜引導(dǎo)仿真文件和生成線纜目標(biāo)圖像模板文件，用于支持線纜敷設(shè)過程的敷設(shè)質(zhì)量分析和信息引導(dǎo)。線纜敷設(shè)智能引導(dǎo)輔助系統(tǒng)，整合線纜上零件識別模塊、線纜敷設(shè)目標(biāo)圖像分割模塊、線纜敷設(shè)質(zhì)量評估模塊等。通過衡量線纜敷設(shè)質(zhì)量，判斷是否需要進行線纜敷設(shè)過程智能引導(dǎo)提示，從而確保線纜敷設(shè)質(zhì)量一致性。該系統(tǒng)的具體實現(xiàn)流程如圖15所示。

4.2 案例驗證

根據(jù)圓筒狀航天產(chǎn)品的線纜敷設(shè)質(zhì)量要求，線纜的最小彎曲半徑應(yīng)大于線纜直徑的3倍(即線纜敷設(shè)彎曲程度系數(shù)為3)，線纜的彎曲方向應(yīng)保持一致，即彎曲方向應(yīng)與模板線纜彎曲方向一致。通過4.1中設(shè)計的實驗平臺進行系統(tǒng)驗證。

線纜敷設(shè)智能引導(dǎo)輔助系統(tǒng)界面如圖16所示，該系統(tǒng)里有4個主窗口，左上窗口表示線纜敷設(shè)彎曲方向匹配窗口，當(dāng)特征匹配點數(shù)達到一定閾值時，顯示“Matched”字樣，否則顯示“UnMatched”字樣；左下窗口表示線纜敷設(shè)彎曲曲率分析窗口，若線纜彎曲程度符合標(biāo)準(zhǔn)時，顯示“Pass”字樣，否則顯示“Failed”字樣；中間的窗口表示場景增強現(xiàn)實引導(dǎo)窗口，當(dāng)線纜敷設(shè)質(zhì)量不合格時，該窗口將出現(xiàn)線纜敷設(shè)正確狀態(tài)的引導(dǎo)仿真內(nèi)容，提示裝配工人進行正確的操作；右邊窗口是線纜上電連接器的識別窗口，只有識別到對應(yīng)線纜敷設(shè)工序上的電連接器時，才能進行線纜敷設(shè)過程智能引導(dǎo)。

下面以2段線纜實際敷設(shè)過程驗證該系統(tǒng)的性能。在線纜敷設(shè)過程中，采用基于支持向量機的零件智能分類方法[20]識別線纜末端處的電連接器，從而明確正在敷設(shè)的線纜段ID，然后對該段線纜敷設(shè)質(zhì)量實施評估，從而進行線纜敷設(shè)過程智能化引導(dǎo)。如表4所示為這2段線纜敷設(shè)的基本工藝信息。

表4 線纜敷設(shè)基本工藝信息

線纜段1敷設(shè)過程分為3個步驟，包括零件識別、線纜彎曲方向匹配和線纜曲率分析。

(1)零件識別 當(dāng)識別到正確零件時，場景增強現(xiàn)實引導(dǎo)窗口右下處提示零件被識別標(biāo)識，如圖17a所示。

(2)線纜彎曲方向匹配 通過4.1節(jié)的內(nèi)容可知，線纜段1敷設(shè)模板圖像目標(biāo)區(qū)域特征點數(shù)目為6。當(dāng)線纜敷設(shè)彎曲方向與模板不一致時(如圖17b)，即目標(biāo)區(qū)域圖像匹配特征點數(shù)(線纜彎曲方向匹配窗口左側(cè)圖中匹配特征點數(shù)目)小于6，彎曲方向匹配窗口出現(xiàn)“UnMatched”字樣，同時場景增強現(xiàn)實引導(dǎo)窗口出現(xiàn)增強現(xiàn)實引導(dǎo)內(nèi)容，輔助線纜敷設(shè)；只有當(dāng)線纜敷設(shè)彎曲方向與模板相同時，彎曲方向匹配窗口出現(xiàn)“Matched”字樣后才會對線纜敷設(shè)曲率進行分析，如圖17c所示。

(3)線纜曲率分析 經(jīng)測定，線纜段1直徑為8 mm。如圖17d所示，計算的線纜最小彎曲半徑為29.196 mm，此時線纜的最小彎曲半徑大于線纜直徑的3倍，評估線纜曲率合格，線纜曲率分析窗口出現(xiàn)“Pass”字樣，然后進入下一段線纜敷設(shè)過程質(zhì)量分析與預(yù)警提示。

同樣地，針對線纜段2敷設(shè)過程，也包括零件識別、線纜彎曲方向匹配和線纜曲率分析3個步驟。

(1)零件識別 如圖18a所示，識別到正確零件。

(2)線纜彎曲方向匹配 通過4.1節(jié)的內(nèi)容可知，線纜段2敷設(shè)模板圖像目標(biāo)區(qū)域特征點數(shù)目為4(如圖18b)，當(dāng)線纜敷設(shè)彎曲方向與模板相同時，即目標(biāo)區(qū)域圖像匹配特征點數(shù)(線纜彎曲方向匹配窗口左側(cè)圖中匹配特征點數(shù)目)大于等于4，彎曲方向匹配窗口出現(xiàn)“Matched”字樣后，之后進行線纜敷設(shè)曲率分析。

(3)線纜曲率分析 經(jīng)測定，線纜段2直徑為5 mm。如圖18c所示，計算的線纜最小彎曲半徑為9.957 mm，此時線纜的最小彎曲半徑小于線纜直徑的3倍，評估線纜曲率不合格，線纜曲率分析窗口出現(xiàn)“Failed”字樣，此時場景增強現(xiàn)實引導(dǎo)窗口出現(xiàn)增強現(xiàn)實引導(dǎo)內(nèi)容，輔助線纜敷設(shè)，如圖18d所示。調(diào)整線纜姿態(tài)后，如圖18e所示，計算的線纜最小彎曲半徑為21.138 mm，線纜的最小彎曲半徑大于線纜直徑的3倍，線纜敷設(shè)曲率滿足要求，線纜曲率分析窗口出現(xiàn)“Pass”字樣，之后進入下一段線纜質(zhì)量檢測過程。

5 結(jié)束語

作為航天精密產(chǎn)品信號和能量傳輸?shù)募~帶，航天線纜敷設(shè)質(zhì)量直接影響產(chǎn)品的整機性能。本文提出一種線纜敷設(shè)質(zhì)量視覺檢測方法，基于AR輔助技術(shù)進行防錯，在檢測到線纜敷設(shè)有質(zhì)量問題時，主動推送線纜敷設(shè)的正確信息來保障線纜敷設(shè)質(zhì)量一致性。首先，利用面向手工裝配的線纜目標(biāo)圖像分割算法，在復(fù)雜背景圖像中，從多段線纜區(qū)域中檢測到處于裝配狀態(tài)的線纜；然后，基于線纜目標(biāo)圖像的二維骨架及其圖像深度信息，計算線纜最小彎曲半徑，評估線纜彎曲程度；同時，根據(jù)線纜敷設(shè)現(xiàn)場圖像SURF局部特征點，與線纜敷設(shè)模板圖像特征點進行匹配并統(tǒng)計匹配幀數(shù)，以此度量線纜敷設(shè)走向的一致性；建立線纜敷設(shè)過程檢測與引導(dǎo)的產(chǎn)品信息模型，用于線纜增強現(xiàn)實輔助裝配；最后，開發(fā)基于增強現(xiàn)實技術(shù)的線纜敷設(shè)引導(dǎo)信息規(guī)劃系統(tǒng)和線纜敷設(shè)智能引導(dǎo)輔助系統(tǒng)，在線纜敷設(shè)質(zhì)量不合格時進行預(yù)警提示。通過實驗表明，該方法能有效地為線纜敷設(shè)過程提供質(zhì)量檢測保障。為進一步提高AR輔助裝配技術(shù)在線纜敷設(shè)工業(yè)應(yīng)用的效率，下一步將考慮結(jié)合神經(jīng)網(wǎng)絡(luò)算法對線纜敷設(shè)走向進行識別，增強算法的魯棒性。