基于邊緣提取與多項式擬合的三維位姿解算方法

朱 騰，郭曉瑩，閻漢生2,，梁劍斌，舒 彬

（1.廣東工貿(mào)職業(yè)技術(shù)學院測繪遙感信息學院，廣州 510550；2.廣東工貿(mào)職業(yè)技術(shù)學院測繪地理信息技術(shù)虛擬仿真實訓基地，廣州 510510；3.廣東工貿(mào)職業(yè)技術(shù)學院機電工程學院，廣州 510510；4.廣東工業(yè)大學機電工程學院，廣州 510039）

0 引言

現(xiàn)代的工業(yè)體系愈發(fā)復雜化、精細化，在產(chǎn)品裝配、電路板布線等操作要求復雜的生產(chǎn)需求中，由于操作工藝自由度大，邏輯要求較高，難以實現(xiàn)全自動化生產(chǎn)，必須引入人工操作，這就對生產(chǎn)裝配的指引系統(tǒng)提出了更高的要求。

增強現(xiàn)實（AR）是一種利用計算機和相關(guān)顯示設(shè)備將虛擬信息疊加到用戶視覺中來增強真實場景信息的技術(shù)。與早期的文本信息疊加相比，目前AR的研究主要集中在如何準確、穩(wěn)定地將三維虛擬模型“放置”在真實世界中。要想獲得目標在虛擬場景中的位置信息，就必須計算出目標在虛擬場景中的位置，從而將二維投影無偏差地顯示出來，然后將三維虛擬對象無縫地添加到真實環(huán)境中。

目前，目標姿態(tài)檢測是計算機視覺領(lǐng)域的一個研究熱點。在硬件系統(tǒng)上，主要有兩種方法：基于雙目視覺結(jié)合深度信息的目標重建與匹配，以及基于單目攝像機與圖像邊緣、紋理或特征點的特征匹配。其中，雙目視覺方法能有效地恢復深度信息，但需要的計算量大，難以滿足實時跟蹤需要。而實際生產(chǎn)環(huán)境對實時性和經(jīng)濟性的要求使得單目視覺方法成為了更受關(guān)注的研究方向。

針對經(jīng)典實驗算法與應(yīng)用要求不匹配的問題，本文提出了一種基于直線特征和多項式擬合的平板目標三維位置和方向解算方法。實驗表明，該算法能克服實際生產(chǎn)環(huán)境下的光照不穩(wěn)定、自然特性易被遮擋、金屬表面材料等問題。

1 理論基礎(chǔ)

1.1 研究場景

本文研究對象為大型基站天線板布線過程中的AR輔助系統(tǒng)。其主體架構(gòu)包括AR眼鏡、圖形處理終端、場景監(jiān)控攝像頭、工作臺及目標工件。其中，出于成本控制及實際工作需要，在天線板、工作臺等監(jiān)測場景中均不允許出現(xiàn)人工標記，同時場景監(jiān)控采用一個普通光學攝像頭，如圖1所示。

圖1 實驗工作場景（a）與系統(tǒng)架構(gòu)（b）

在該研究環(huán)境下，頭頂攝像機是主要的信息采集設(shè)備，它利用全局監(jiān)控的攝像設(shè)備獲取目標天線板的位置和姿態(tài)變換信息，并控制AR場景中的虛擬模型完成相應(yīng)的運動。

1.2 單目位姿跟蹤原理

單目視覺監(jiān)測雖然難以獲得深度信息，但具有成本低、計算速度快、精度適中等綜合優(yōu)勢。單眼透視成像模型如圖2所示，它定義了世界坐標系-xyz和相機坐標系-xyz。

圖2 單目視覺位姿檢測模型

其中表示成像矩陣，包括相機內(nèi)參、畸變系數(shù)等參數(shù)，可通過棋盤標定法求解，在固定系統(tǒng)中為定值。姿態(tài)矩陣和位置向量共同構(gòu)成外參矩陣，及世界坐標系到相機坐標系的變換矩陣，為求解和，至少需要4對同名點帶入式（1）。其中，姿態(tài)矩陣又可以分解為繞、、三個方向的旋轉(zhuǎn)角，由于基站天線板呈長條狀，其軸翻轉(zhuǎn)角度可限制在（-20 °，20 °）之間，而本文算法即研究單目攝像頭下天線板二維圖像與其姿態(tài)角、位移量的解算關(guān)系，如圖3所示。

圖3 天線板三個方向的旋轉(zhuǎn)及位移示意圖

2 基于線特征的三維天線板位姿檢測

2.1 基于神經(jīng)網(wǎng)絡(luò)的邊緣直線提取

天線板表面零件及布線情況將隨著工序的進展而不斷變化，故本文主要采用天線板邊緣直線作為匹配特征，邊緣線段的提取方法則借用Mask-RCNN神經(jīng)網(wǎng)絡(luò)出色的目標識別及分割能力來完成。邊緣提取的流程包括訓練集選取、特征提取、SVM分類、參數(shù)訓練、神經(jīng)網(wǎng)絡(luò)分割、邊緣擬合，如圖4所示。

圖4 Mask-RCNN邊緣提取過程

2.2 基于多項式的翻轉(zhuǎn)角擬合方法

提取得到天線板邊緣的三根直線后，即可模擬天線板位姿與邊緣直線的對應(yīng)關(guān)系。其中位移向量，平面旋轉(zhuǎn)角均可通過邊緣直線快速求得，而對于軸翻轉(zhuǎn)角度，本文提出使用多項式擬合方法求解：

記一組天線板邊緣直線的夾角和與之對應(yīng)的翻轉(zhuǎn)角度滿足多項式（3）：

則可以得到懲罰函數(shù)：

由上述兩式即可根據(jù)給定步長擬合翻轉(zhuǎn)角與邊緣夾角在任意角度的對應(yīng)關(guān)系。

3 實驗結(jié)果

實驗部分主要測試算法在實際生產(chǎn)環(huán)境下的魯棒性，同時與Holcon的局域模板匹配方法對比了擬合精度與解算速度。在本文研究的智能生產(chǎn)案例中，采樣選取了［-15 °，15 °］間共7組采樣數(shù)據(jù)作為多項式擬合參考，如表1所示。

表1 采樣數(shù)據(jù)表

帶入懲罰函數(shù)式（4）后，解得擬合次數(shù)最優(yōu)值為3。位姿解算方法測試部分主要測試了遮擋、光照、翻轉(zhuǎn)三種干擾因素下的魯棒性，結(jié)果如圖5所示。

圖5 不同工作環(huán)境下的形狀匹配結(jié)果

從圖5可以看到，本文采用的神經(jīng)網(wǎng)絡(luò)邊緣提取與多項式擬合位姿求解算法對于不同的光照和遮擋干擾都有較好的適應(yīng)能力。同時，為驗證本文算法在位姿跟蹤過程中的精度，根據(jù)［-15°，15°］間的7組采樣數(shù)據(jù)進行了擬合結(jié)果與真實值的對比分析，結(jié)果如圖6所示。

圖6 位姿變化量實驗數(shù)據(jù)與真實數(shù)據(jù)對比

其中為樣本真實值，為Holcon局部輪廓模板匹配方法解算出的翻轉(zhuǎn)角，為基于邊緣直線與多項式擬合求解出來的結(jié)果。對比結(jié)果表明，本文的位姿求解方法在方向的誤差不超過5個像素，方向不超過2個像素，旋轉(zhuǎn)角擬合精度可達1°，翻轉(zhuǎn)角度可達2°，且與真實值誤差均小于Holcon局部輪廓模板匹配方法。對于位姿解算速度，局部輪廓模板匹配方法平均耗時864 ms，邊緣直線多項式擬合方法平均耗時643 ms，效率提高25%以上。

圖7展示了AR布線輔助系統(tǒng)視角下的虛實融合場景。從圖7可以看到，由于目標板材屬于大型目標，多項式擬合算法的誤差對人眼產(chǎn)生的視覺上的影響難以察覺，完全不影響操作人員進行布線操作。

圖7 AR眼鏡端場景展示

4 結(jié)語

本文主要利用天線板的邊緣直線進行目標工件的三維位姿解算，結(jié)合實際生產(chǎn)環(huán)境下的位姿變化量分析，通過降維、減小搜索空間方法提高位姿解算速度，利用Mask-RCNN神經(jīng)網(wǎng)絡(luò)的抗干擾性完成天線板邊緣的快速魯棒提取，最后通過多項式擬合的方法求出目標的位姿變化量，并用于天線板AR布線輔助系統(tǒng)的虛實融合指引。實驗結(jié)果表明，結(jié)合直線特征與多項式擬合的位姿解算方法精度可達2～5像素，旋轉(zhuǎn)角擬合精度小于1°，均超過商業(yè)軟件Holcon的局部模板匹配算法，關(guān)鍵幀重定位效率提高25%以上。

基于結(jié)線特征與多項式擬合的位姿解算方法最終應(yīng)用于大型天線板智能生產(chǎn)試驗線路，生產(chǎn)實測結(jié)果表明，經(jīng)過解空間優(yōu)化后的單目三維注冊方法在實時性、準確性、魯棒性等方面均能夠滿足實際生產(chǎn)需求。在后續(xù)研究中，本團隊將繼續(xù)結(jié)合企業(yè)一線生產(chǎn)需求，從經(jīng)濟性、便攜性、魯棒性等方面進一步優(yōu)化面向智能生產(chǎn)的AR裝配指引系統(tǒng)。