基于邊緣提取與多項(xiàng)式擬合的三維位姿解算方法

朱 騰，郭曉瑩，閻漢生2,，梁劍斌，舒 彬

（1.廣東工貿(mào)職業(yè)技術(shù)學(xué)院測繪遙感信息學(xué)院，廣州 510550；2.廣東工貿(mào)職業(yè)技術(shù)學(xué)院測繪地理信息技術(shù)虛擬仿真實(shí)訓(xùn)基地，廣州 510510；3.廣東工貿(mào)職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院，廣州 510510；4.廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州 510039）

0 引言

現(xiàn)代的工業(yè)體系愈發(fā)復(fù)雜化、精細(xì)化，在產(chǎn)品裝配、電路板布線等操作要求復(fù)雜的生產(chǎn)需求中，由于操作工藝自由度大，邏輯要求較高，難以實(shí)現(xiàn)全自動化生產(chǎn)，必須引入人工操作，這就對生產(chǎn)裝配的指引系統(tǒng)提出了更高的要求。

增強(qiáng)現(xiàn)實(shí)（AR）是一種利用計(jì)算機(jī)和相關(guān)顯示設(shè)備將虛擬信息疊加到用戶視覺中來增強(qiáng)真實(shí)場景信息的技術(shù)。與早期的文本信息疊加相比，目前AR的研究主要集中在如何準(zhǔn)確、穩(wěn)定地將三維虛擬模型“放置”在真實(shí)世界中。要想獲得目標(biāo)在虛擬場景中的位置信息，就必須計(jì)算出目標(biāo)在虛擬場景中的位置，從而將二維投影無偏差地顯示出來，然后將三維虛擬對象無縫地添加到真實(shí)環(huán)境中。

目前，目標(biāo)姿態(tài)檢測是計(jì)算機(jī)視覺領(lǐng)域的一個研究熱點(diǎn)。在硬件系統(tǒng)上，主要有兩種方法：基于雙目視覺結(jié)合深度信息的目標(biāo)重建與匹配，以及基于單目攝像機(jī)與圖像邊緣、紋理或特征點(diǎn)的特征匹配。其中，雙目視覺方法能有效地恢復(fù)深度信息，但需要的計(jì)算量大，難以滿足實(shí)時跟蹤需要。而實(shí)際生產(chǎn)環(huán)境對實(shí)時性和經(jīng)濟(jì)性的要求使得單目視覺方法成為了更受關(guān)注的研究方向。

針對經(jīng)典實(shí)驗(yàn)算法與應(yīng)用要求不匹配的問題，本文提出了一種基于直線特征和多項(xiàng)式擬合的平板目標(biāo)三維位置和方向解算方法。實(shí)驗(yàn)表明，該算法能克服實(shí)際生產(chǎn)環(huán)境下的光照不穩(wěn)定、自然特性易被遮擋、金屬表面材料等問題。

1 理論基礎(chǔ)

1.1 研究場景

本文研究對象為大型基站天線板布線過程中的AR輔助系統(tǒng)。其主體架構(gòu)包括AR眼鏡、圖形處理終端、場景監(jiān)控?cái)z像頭、工作臺及目標(biāo)工件。其中，出于成本控制及實(shí)際工作需要，在天線板、工作臺等監(jiān)測場景中均不允許出現(xiàn)人工標(biāo)記，同時場景監(jiān)控采用一個普通光學(xué)攝像頭，如圖1所示。

圖1 實(shí)驗(yàn)工作場景（a）與系統(tǒng)架構(gòu)（b）

在該研究環(huán)境下，頭頂攝像機(jī)是主要的信息采集設(shè)備，它利用全局監(jiān)控的攝像設(shè)備獲取目標(biāo)天線板的位置和姿態(tài)變換信息，并控制AR場景中的虛擬模型完成相應(yīng)的運(yùn)動。

1.2 單目位姿跟蹤原理

單目視覺監(jiān)測雖然難以獲得深度信息，但具有成本低、計(jì)算速度快、精度適中等綜合優(yōu)勢。單眼透視成像模型如圖2所示，它定義了世界坐標(biāo)系-xyz和相機(jī)坐標(biāo)系-xyz。

圖2 單目視覺位姿檢測模型

其中表示成像矩陣，包括相機(jī)內(nèi)參、畸變系數(shù)等參數(shù)，可通過棋盤標(biāo)定法求解，在固定系統(tǒng)中為定值。姿態(tài)矩陣和位置向量共同構(gòu)成外參矩陣，及世界坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣，為求解和，至少需要4對同名點(diǎn)帶入式（1）。其中，姿態(tài)矩陣又可以分解為繞、、三個方向的旋轉(zhuǎn)角，由于基站天線板呈長條狀，其軸翻轉(zhuǎn)角度可限制在（-20 °，20 °）之間，而本文算法即研究單目攝像頭下天線板二維圖像與其姿態(tài)角、位移量的解算關(guān)系，如圖3所示。

圖3 天線板三個方向的旋轉(zhuǎn)及位移示意圖

2 基于線特征的三維天線板位姿檢測

2.1 基于神經(jīng)網(wǎng)絡(luò)的邊緣直線提取

天線板表面零件及布線情況將隨著工序的進(jìn)展而不斷變化，故本文主要采用天線板邊緣直線作為匹配特征，邊緣線段的提取方法則借用Mask-RCNN神經(jīng)網(wǎng)絡(luò)出色的目標(biāo)識別及分割能力來完成。邊緣提取的流程包括訓(xùn)練集選取、特征提取、SVM分類、參數(shù)訓(xùn)練、神經(jīng)網(wǎng)絡(luò)分割、邊緣擬合，如圖4所示。

圖4 Mask-RCNN邊緣提取過程

2.2 基于多項(xiàng)式的翻轉(zhuǎn)角擬合方法

提取得到天線板邊緣的三根直線后，即可模擬天線板位姿與邊緣直線的對應(yīng)關(guān)系。其中位移向量，平面旋轉(zhuǎn)角均可通過邊緣直線快速求得，而對于軸翻轉(zhuǎn)角度，本文提出使用多項(xiàng)式擬合方法求解：

記一組天線板邊緣直線的夾角和與之對應(yīng)的翻轉(zhuǎn)角度滿足多項(xiàng)式（3）：

則可以得到懲罰函數(shù)：

由上述兩式即可根據(jù)給定步長擬合翻轉(zhuǎn)角與邊緣夾角在任意角度的對應(yīng)關(guān)系。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)部分主要測試算法在實(shí)際生產(chǎn)環(huán)境下的魯棒性，同時與Holcon的局域模板匹配方法對比了擬合精度與解算速度。在本文研究的智能生產(chǎn)案例中，采樣選取了［-15 °，15 °］間共7組采樣數(shù)據(jù)作為多項(xiàng)式擬合參考，如表1所示。

表1 采樣數(shù)據(jù)表

帶入懲罰函數(shù)式（4）后，解得擬合次數(shù)最優(yōu)值為3。位姿解算方法測試部分主要測試了遮擋、光照、翻轉(zhuǎn)三種干擾因素下的魯棒性，結(jié)果如圖5所示。

圖5 不同工作環(huán)境下的形狀匹配結(jié)果

從圖5可以看到，本文采用的神經(jīng)網(wǎng)絡(luò)邊緣提取與多項(xiàng)式擬合位姿求解算法對于不同的光照和遮擋干擾都有較好的適應(yīng)能力。同時，為驗(yàn)證本文算法在位姿跟蹤過程中的精度，根據(jù)［-15°，15°］間的7組采樣數(shù)據(jù)進(jìn)行了擬合結(jié)果與真實(shí)值的對比分析，結(jié)果如圖6所示。

圖6 位姿變化量實(shí)驗(yàn)數(shù)據(jù)與真實(shí)數(shù)據(jù)對比

其中為樣本真實(shí)值，為Holcon局部輪廓模板匹配方法解算出的翻轉(zhuǎn)角，為基于邊緣直線與多項(xiàng)式擬合求解出來的結(jié)果。對比結(jié)果表明，本文的位姿求解方法在方向的誤差不超過5個像素，方向不超過2個像素，旋轉(zhuǎn)角擬合精度可達(dá)1°，翻轉(zhuǎn)角度可達(dá)2°，且與真實(shí)值誤差均小于Holcon局部輪廓模板匹配方法。對于位姿解算速度，局部輪廓模板匹配方法平均耗時864 ms，邊緣直線多項(xiàng)式擬合方法平均耗時643 ms，效率提高25%以上。

圖7展示了AR布線輔助系統(tǒng)視角下的虛實(shí)融合場景。從圖7可以看到，由于目標(biāo)板材屬于大型目標(biāo)，多項(xiàng)式擬合算法的誤差對人眼產(chǎn)生的視覺上的影響難以察覺，完全不影響操作人員進(jìn)行布線操作。

圖7 AR眼鏡端場景展示

4 結(jié)語

本文主要利用天線板的邊緣直線進(jìn)行目標(biāo)工件的三維位姿解算，結(jié)合實(shí)際生產(chǎn)環(huán)境下的位姿變化量分析，通過降維、減小搜索空間方法提高位姿解算速度，利用Mask-RCNN神經(jīng)網(wǎng)絡(luò)的抗干擾性完成天線板邊緣的快速魯棒提取，最后通過多項(xiàng)式擬合的方法求出目標(biāo)的位姿變化量，并用于天線板AR布線輔助系統(tǒng)的虛實(shí)融合指引。實(shí)驗(yàn)結(jié)果表明，結(jié)合直線特征與多項(xiàng)式擬合的位姿解算方法精度可達(dá)2～5像素，旋轉(zhuǎn)角擬合精度小于1°，均超過商業(yè)軟件Holcon的局部模板匹配算法，關(guān)鍵幀重定位效率提高25%以上。

基于結(jié)線特征與多項(xiàng)式擬合的位姿解算方法最終應(yīng)用于大型天線板智能生產(chǎn)試驗(yàn)線路，生產(chǎn)實(shí)測結(jié)果表明，經(jīng)過解空間優(yōu)化后的單目三維注冊方法在實(shí)時性、準(zhǔn)確性、魯棒性等方面均能夠滿足實(shí)際生產(chǎn)需求。在后續(xù)研究中，本團(tuán)隊(duì)將繼續(xù)結(jié)合企業(yè)一線生產(chǎn)需求，從經(jīng)濟(jì)性、便攜性、魯棒性等方面進(jìn)一步優(yōu)化面向智能生產(chǎn)的AR裝配指引系統(tǒng)。