6D姿態(tài)實(shí)時(shí)估計(jì)的輕量型YOLO網(wǎng)絡(luò)*

鐘志強(qiáng)，陳新度，吳 磊,刁世普

(廣東工業(yè)大學(xué) a.廣東省計(jì)算機(jī)集成制造重點(diǎn)實(shí)驗(yàn)室;b.省部共建精密電子制造技術(shù)與裝備國家重點(diǎn)實(shí)驗(yàn)室，廣州 510006)

0 引言

6D目標(biāo)姿態(tài)估計(jì)一直是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要問題，過去已經(jīng)有大量的研究致力于此。深度神經(jīng)網(wǎng)絡(luò)(DNN)在實(shí)時(shí)姿態(tài)估計(jì)領(lǐng)域表現(xiàn)出卓越性能，但是，為了使DNN網(wǎng)絡(luò)具有更好的泛化能力，現(xiàn)有網(wǎng)絡(luò)本身的結(jié)構(gòu)都是非常龐大且復(fù)雜的，從而導(dǎo)致它的計(jì)算效率低，實(shí)時(shí)性不夠好，并且需要在有很強(qiáng)的計(jì)算能力和足夠內(nèi)存的計(jì)算機(jī)上才可以運(yùn)行，這對一些計(jì)算能力不強(qiáng)和僅需要對單一目標(biāo)姿態(tài)估計(jì)的場合非常不友好。

實(shí)時(shí)目標(biāo)檢測和6D姿態(tài)估計(jì)對于醫(yī)學(xué)診斷、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和機(jī)器人技術(shù)至關(guān)重要[1]。6D目標(biāo)姿態(tài)估計(jì)不僅需要對單幅RGB圖像中的目標(biāo)進(jìn)行定位，還需要檢測目標(biāo)在三維空間中的旋轉(zhuǎn)角度。總結(jié)大部分前人的工作來看，姿態(tài)估計(jì)方法主要分為三類：基于RGB-D的方法[2]、基于模板匹配的方法[3]和基于卷積神經(jīng)網(wǎng)絡(luò)的方法[4]。最近幾年的研究中表明，基于深度學(xué)習(xí)的方法在RGB圖像中的檢測和6D姿態(tài)估計(jì)可以獲得具有代表性的結(jié)果。SSD6D擴(kuò)展了2D物體檢測器的思想，基于離散視點(diǎn)分類而不是用直接回歸法的6D姿態(tài)估計(jì)，以這種方式預(yù)測的結(jié)果是非常不準(zhǔn)確的，因?yàn)樗鼈兪钦鎸?shí)位置的近似離散，需要后期的優(yōu)化提升精度[5]。BB8使用多階段方法，在前兩個(gè)階段中，執(zhí)行了從整體到精細(xì)的分割，其結(jié)果是對象邊界框點(diǎn)的第三個(gè)或兩個(gè)投影之間的交集，但這是一種多階段的方法，從而導(dǎo)致計(jì)算的速度非常慢[6]。PVNet采用了回歸指向關(guān)鍵點(diǎn)的像素單位向量的方法，并對這些向量使用RANSAC對關(guān)鍵點(diǎn)位置進(jìn)行投票[7]，這種表示提供了關(guān)鍵點(diǎn)位置的不確定性。PNP解算器又可以進(jìn)一步利用這些不確定性[8]?；赟SD網(wǎng)絡(luò)提出了Tiny SSD網(wǎng)絡(luò)[9]，該網(wǎng)絡(luò)基于SSD改進(jìn)而來，比SSD更輕量，占用的資源更少，但是精確度卻和原網(wǎng)絡(luò)一樣優(yōu)異。

受此啟發(fā)，在單一目標(biāo)物的6D姿態(tài)識別時(shí)，不需要網(wǎng)絡(luò)有很好的泛化能力，但是對網(wǎng)絡(luò)的識別速度有很高的要求，需要很強(qiáng)的實(shí)時(shí)性。針對以上問題，本文提出了一種基于YOLO6D[10]網(wǎng)絡(luò)的端到端訓(xùn)練的單階段網(wǎng)絡(luò)結(jié)構(gòu)，它可以直接檢測三維邊界框頂點(diǎn)的二維投影，不需要額外的后處理等細(xì)化步驟，比原網(wǎng)絡(luò)更加輕量化，模型參數(shù)更少，占用的資源更少，從而運(yùn)算的速度更快，可以做到很好的實(shí)時(shí)性。

1 YOLO網(wǎng)絡(luò)結(jié)構(gòu)

1.1 YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)

YOLO6D網(wǎng)絡(luò)主體框架是在YOLOv2主體框架上經(jīng)過優(yōu)化得到的，YOLOv2是單階段檢測網(wǎng)絡(luò)，且無需優(yōu)先生成預(yù)選區(qū)域，可以直接在整個(gè)輸入圖像中做目標(biāo)回歸預(yù)測，這樣不僅訓(xùn)練過程中能夠?qū)崿F(xiàn)端到端的優(yōu)化,而且檢測效率高,能夠滿足實(shí)時(shí)處理需求。YOLOv2 相較于YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)簡單，并且在受限制的環(huán)境下有較好的實(shí)時(shí)性。

1.2 YOLO6D網(wǎng)絡(luò)結(jié)構(gòu)

YOLO6D網(wǎng)絡(luò)框架是在YOLOv2網(wǎng)絡(luò)框架上經(jīng)過修改得到的。如表1所示，YOLO V2網(wǎng)絡(luò)結(jié)構(gòu)總共有31層，第0～22層是Darknet-19網(wǎng)絡(luò)，其中卷積層數(shù)量為19個(gè)，最大池化層數(shù)量為5個(gè)。YOLOv2的最后一個(gè)卷積層的輸出通道數(shù)為5(anchor數(shù)量)*[4(center_x,center_y,width,height)+ 1(confidence)+ num_classes。其中anchor表示錨框，center_x,center_y,width,height分別表示錨框的中心點(diǎn)坐標(biāo)和寬高，confidence表示置信度，num_classes表示目標(biāo)種類。YOLO6D將網(wǎng)絡(luò)的輸出改為5(anchor數(shù)量)*[18(9個(gè)頂點(diǎn)在像素坐標(biāo)系下的坐標(biāo))+ 1(置信度)+ num_classes。

表1 YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)

1.3 改進(jìn)的YOLO6D網(wǎng)絡(luò)結(jié)構(gòu)

在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的作用是提取更深層次的特征信息，卷積層數(shù)量越多就意味著提取到的特征越細(xì)小，每增加一個(gè)卷積層，對應(yīng)神經(jīng)元的數(shù)量，網(wǎng)絡(luò)的參數(shù)也都隨之增加，從而模型就變得更加復(fù)雜，越復(fù)雜的模型計(jì)算量就越大，而且更容易出現(xiàn)過擬合現(xiàn)象。

池化層的主要作用：第一是去掉冗余信息，節(jié)約計(jì)算資源，第二是保留檢測物體的特征信息，第三是降低參數(shù)量，提高模型性能，防止過擬合。特征提取的誤差主要來自兩個(gè)方面：①鄰域大小受限造成的估計(jì)值方差增大；②卷積層參數(shù)誤差造成估計(jì)均值的偏移。平均池化能減小第一種誤差，更多地保留圖像的背景信息，最大池化和平均池化都是對數(shù)據(jù)做了下采樣，但是最大池化偏向于減小第二種誤差，更多地保留紋理信息，選出分類辨識度更好的特征，提供了非線性。平均池化強(qiáng)調(diào)對整體特征信息進(jìn)行下采樣，偏向于減少參數(shù)數(shù)量，在減少維度的同時(shí)，更有利信息傳遞到下一個(gè)模塊進(jìn)行特征提取。

基于我們當(dāng)前使用場景下姿態(tài)估計(jì)對象的單一性，我們的網(wǎng)絡(luò)不需要很強(qiáng)的泛化能力，也不需要對小目標(biāo)有很強(qiáng)的識別能力。綜上所述，受文獻(xiàn)[1,9]改進(jìn)方法的啟發(fā)，對原YOLO6D網(wǎng)絡(luò)進(jìn)行改進(jìn)。將原網(wǎng)絡(luò)的第5層去掉1個(gè)1×1和1個(gè)3×3的卷積層，將第6層去掉2個(gè)3×3的卷積層，并將原網(wǎng)絡(luò)的5個(gè)最大池化層修改為4個(gè)最大池化層加上1個(gè)全局平均池化層，從而減少原網(wǎng)絡(luò)中深層卷積層，減少參數(shù)，提升網(wǎng)絡(luò)速度。

如圖1為改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖，網(wǎng)絡(luò)輸入一張2D的彩色圖片，輸出一S×S×(9×2+1+C)的3D 張量。網(wǎng)絡(luò)輸入圖片劃分成S×S個(gè)網(wǎng)格，物體的中心點(diǎn)所在的網(wǎng)格負(fù)責(zé)預(yù)測該物體的9個(gè)坐標(biāo)點(diǎn)(9×2)，置信度1(confidence)以及類別(C)。

圖1 改進(jìn)的YOLO6D網(wǎng)絡(luò)結(jié)構(gòu)圖

為了增加網(wǎng)絡(luò)深度同時(shí)壓縮特征，在3×3的卷積核之間加入1×1 的卷積核，每次最大池化操作后通道數(shù)會(huì)翻倍。在每一層網(wǎng)絡(luò)前先對輸入的圖像數(shù)據(jù)進(jìn)行批量歸一化操作，可以有效提高準(zhǔn)確率(mAP)以及顯著改善收斂性，防止過擬合。

2 實(shí)現(xiàn)原理

2.1 目標(biāo)定位

3D目標(biāo)檢測和2D目標(biāo)檢測一樣，空間中存在一個(gè)可以將目標(biāo)物包圍住的3D邊界框，我們的目標(biāo)是檢測出3D邊界框并將其分類。3D邊界框可以表示一個(gè)物體的姿態(tài)，其中包含物體在3D空間中的位置xyz，以及物體繞x軸，y軸和z軸的旋轉(zhuǎn)角度等信息，即6個(gè)自由度，只要我們知道空間中任意物體的這6個(gè)自由度就可以確定唯一的物體姿態(tài)。在預(yù)測6D姿態(tài)之前，首先要預(yù)測3D邊界框在2D圖像上投影的1個(gè)中心點(diǎn)和8個(gè)角點(diǎn)，我們定義這9個(gè)控制點(diǎn)是3D對象模型的中心點(diǎn)和邊界框角點(diǎn)。通過這9個(gè)點(diǎn)由PnP算法計(jì)算得到6D姿態(tài)。這樣我們就可以把預(yù)測物體6D姿態(tài)的問題轉(zhuǎn)化為預(yù)測9個(gè)坐標(biāo)點(diǎn)的問題。

模型將一幅RGB圖像作為輸入，用圖1所示的全卷積結(jié)構(gòu)對其進(jìn)行32倍降采樣處理，輸出的特征尺寸為13×13，將圖像分割成一個(gè)包含S×S個(gè)網(wǎng)格的2D規(guī)則網(wǎng)格，輸出3D張量中的每個(gè)網(wǎng)格位置將與一個(gè)多維向量相關(guān)聯(lián)，該多維向量包括預(yù)測的9個(gè)控制點(diǎn)在2D圖像上的位置、對象的類別概率和總體置信度值。

訓(xùn)練好的網(wǎng)絡(luò)不僅能夠預(yù)測精確的2D位置，而且能夠預(yù)測物體存在區(qū)域的高置信度值和不存在區(qū)域的低置信度值。2D物體檢測時(shí)，一般使用圖像中預(yù)測的錨框和真實(shí)的2D矩形相關(guān)聯(lián)的交集(IoU)分?jǐn)?shù)作為其置信度值。而我們的對象是3D的，為了計(jì)算兩個(gè)任意長方體的等效IoU分?jǐn)?shù)，我們需要計(jì)算對應(yīng)于它們交點(diǎn)的3D區(qū)域。這個(gè)計(jì)算是復(fù)雜的，并且會(huì)減慢訓(xùn)練速度。因此，這里采取了不同的方法。使用圖2所示的置信度函數(shù)對預(yù)測的置信值進(jìn)行建模。置信函數(shù)c(x)基于預(yù)測的2D點(diǎn)與實(shí)際目標(biāo)2D點(diǎn)的距離，返回由x表示的預(yù)測點(diǎn)的置信值。函數(shù)公式如下[10]:

圖2 置信度函數(shù)[10]

(1)

其中，DT(x)被定義為圖像空間中的2D歐幾里德距離，是一個(gè)具有截止值的尖銳指數(shù)函數(shù)，而不是單調(diào)遞減的線性函數(shù)，因此可以實(shí)現(xiàn)精確定位。指數(shù)函數(shù)的銳度由參數(shù)α定義。在實(shí)踐中，我們將置信函數(shù)應(yīng)用于所有控制點(diǎn)，計(jì)算平均值并將其指定為置信度。

該方法還計(jì)算了預(yù)測的3D邊界框與真實(shí)邊界框的交并比得分，從而可以保證低置信度表示沒有目標(biāo)的區(qū)域，高置信度區(qū)域存在目標(biāo)。為了提高對不同尺寸物體的魯棒性，當(dāng)網(wǎng)絡(luò)按32的下采樣因子對圖像進(jìn)行下采樣時(shí)，我們將輸入分辨率更改為從集合{320，352，…，608 }中隨機(jī)選擇的32的倍數(shù)。

2.2 姿態(tài)估計(jì)

在6D物體姿態(tài)估計(jì)的時(shí)候只需要調(diào)用一次網(wǎng)絡(luò)，從而保證了網(wǎng)絡(luò)快速運(yùn)行。每個(gè)網(wǎng)格都可以預(yù)測該網(wǎng)格內(nèi)物體的姿態(tài)，并且通過調(diào)整置信度閾值來刪除具有低置信度的預(yù)測單元。對于尺寸較大的目標(biāo)和位于兩個(gè)網(wǎng)格相交處的投影對象，多個(gè)網(wǎng)格很可能都會(huì)預(yù)測出較高的置信度。為了獲得更魯棒的姿態(tài)估計(jì)，找出置信度得分最高的3×3鄰域的單元，把相關(guān)單元的置信度得分當(dāng)作權(quán)重，通過計(jì)算各個(gè)檢測的加權(quán)平均值來組合這些相鄰單元的各個(gè)角的預(yù)測。

網(wǎng)絡(luò)給出目標(biāo)質(zhì)心的2D投影與其3D邊界框的角以及對象標(biāo)識。我們使用PnP姿態(tài)估計(jì)方法根據(jù)2D點(diǎn)和3D點(diǎn)之間的對應(yīng)關(guān)系來估計(jì)6D姿態(tài)。PnP算法使用9個(gè)已知物體在相機(jī)坐標(biāo)中的旋轉(zhuǎn)矩陣和平移矩陣對應(yīng)的點(diǎn)，包括8個(gè)角點(diǎn)和一個(gè)中心點(diǎn)。中心點(diǎn)和角點(diǎn)的預(yù)測不一樣，因?yàn)橹行狞c(diǎn)落在某個(gè)網(wǎng)格，相應(yīng)的網(wǎng)格就負(fù)責(zé)預(yù)測這個(gè)物體，所以中心點(diǎn)的偏移一定會(huì)落在網(wǎng)格之內(nèi)，因此通過sigmoid激活函數(shù)將網(wǎng)絡(luò)的輸出壓縮到0～1之間，但對于其他8個(gè)角點(diǎn)，有可能落在網(wǎng)格之外，所以8個(gè)角點(diǎn)的坐標(biāo)偏移可以表示為[10]：

gx=f(x)+cx

(2)

gx=f(y)+cy

(3)

其中，cx，cy表示cell的坐標(biāo)。對于中心點(diǎn)而言，f(·)表示sigmoid函數(shù)，對于角點(diǎn)而言，f(·)表示恒等函數(shù)。通過最小化公式(4)[10]來找到目標(biāo)的近似位置，然后再細(xì)化到頂點(diǎn)位置。

L=λptLpt+λconfLconf+λidLid

(4)

其中，Lpt為坐標(biāo)損失;Lconf為置信度損失;Lid為分類損失。坐標(biāo)損失和置信度損失用均方誤差函數(shù)來表示，分類損失用交叉熵函數(shù)來表示。為了提高模型的穩(wěn)定性，將不包含目標(biāo)的權(quán)重設(shè)置為0.1，包含目標(biāo)的權(quán)重設(shè)置為5，分類損失函數(shù)和坐標(biāo)損失函數(shù)的權(quán)重都設(shè)為1。

2.3 評估指標(biāo)

模型的6D姿態(tài)精度評估用3個(gè)標(biāo)準(zhǔn)來度量，即2D重投影誤差、5 cm5°標(biāo)準(zhǔn)和算法運(yùn)行時(shí)間對比。2D重投影誤差表示的是物體3D網(wǎng)格頂點(diǎn)的2D投影和物體真實(shí)姿態(tài)之間的平均距離，當(dāng)該誤差小于5個(gè)像素的時(shí)候認(rèn)為姿態(tài)估計(jì)是準(zhǔn)確的。2D重投影誤差公式如下[11]：

(5)

其中，Pi是像素i的位置；μ是像素分布的混合權(quán)重最大的平均值；H是估計(jì)的對象姿態(tài)；C是相機(jī)矩陣。

5 cm5°標(biāo)準(zhǔn)是指如果平移誤差和旋轉(zhuǎn)誤差分別低于5 cm和5°則表示估計(jì)是正確的。公式如下[12]：

(6)

ekE=arccos[(Tr(RR′-1)-1)/2]

(7)

其中，t和t′分別是預(yù)測的平移矩陣和真實(shí)的平移矩陣；R和R′分別是預(yù)測的旋轉(zhuǎn)矩陣和真實(shí)的旋轉(zhuǎn)矩陣，由旋轉(zhuǎn)的軸角的角度來表示誤差ekE。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺搭建

本文實(shí)驗(yàn)平臺如圖3所示，硬件配置為：SHANSU IRC100底盤，HUASHU CO602六軸機(jī)械臂，Intel D435i相機(jī)，因時(shí)機(jī)器人EG2-4B1電動(dòng)夾爪，Intel(R)Core(TM)i7-9750H CPU @ 2.60 GHz 2.59 GHz，32 GB內(nèi)存,GPU為：NVIDIA GeForce RTX 2060。軟件環(huán)境為：ubuntu16.04,anaconda3，python3.6，pytorch0.4.1,cuda10.0,cudnn7.5。

圖3 實(shí)驗(yàn)平臺

3.2 實(shí)驗(yàn)數(shù)據(jù)集制作與實(shí)現(xiàn)細(xì)節(jié)

3.2.1 實(shí)驗(yàn)數(shù)據(jù)集制作

傳統(tǒng)LineMod格式的數(shù)據(jù)集制作非常麻煩，首先要制作三維模型然后才可以得到目標(biāo)的三維信息，對于不規(guī)則的目標(biāo)物體，其三維模型制作非常復(fù)雜且存在精度不高的問題。本文利用二維碼信息識別的方法生成三維信息數(shù)據(jù)集，該方法通過目標(biāo)物體最小外接矩形的尺寸獲得目標(biāo)物體的三維坐標(biāo)信息，從而規(guī)避了三維模型的制作過程。

數(shù)據(jù)集采集平臺包含Kinect2.0相機(jī)、轉(zhuǎn)盤、碼盤、目標(biāo)物體、三腳架等。數(shù)據(jù)采集的流程如圖4所示，首先利用打印好的棋盤格對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的內(nèi)外參數(shù)。然后利用Aruco庫生成并打印包括至少一個(gè)二維碼的碼盤，并將目標(biāo)物擺放在碼盤平面正中間位置。啟動(dòng)轉(zhuǎn)盤，設(shè)定轉(zhuǎn)速大約在60 s/圈，在轉(zhuǎn)盤轉(zhuǎn)動(dòng)的過程中，用相機(jī)對碼盤上的物體進(jìn)行實(shí)時(shí)視頻采集，在這個(gè)過程中要調(diào)整相機(jī)的采集角度，從而可以獲得物體的各個(gè)角度的數(shù)據(jù)。

圖4 數(shù)據(jù)集制作流程圖

采集的過程中碼盤上的二維碼至少有一個(gè)不被遮擋，如果有多個(gè)二維碼都沒有被遮擋，可以選擇其中一個(gè)二維碼的中心點(diǎn)為原點(diǎn)設(shè)立世界坐標(biāo)系，計(jì)算出世界坐標(biāo)系相對相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矩陣。測量目標(biāo)物體的外形尺寸和二維碼之間的距離，從而計(jì)算出目標(biāo)物體最小外接矩形的8個(gè)頂點(diǎn)的世界坐標(biāo)。結(jié)合8個(gè)頂點(diǎn)的世界坐標(biāo)和相機(jī)的內(nèi)外參數(shù)，利用Opencv中的Projectpoint函數(shù)計(jì)算出8個(gè)頂點(diǎn)的像素坐標(biāo)。將8個(gè)頂點(diǎn)連接成6個(gè)面，對面內(nèi)外不同區(qū)域設(shè)置不同像素值從而得到相應(yīng)的掩碼mask文件和mask-show文件。通過查看mask-show文件，判斷8個(gè)頂點(diǎn)的像素坐標(biāo)是否精確，對于誤差過大的圖片可以手動(dòng)刪除。剔除不好的數(shù)據(jù)后，由掩碼mask、目標(biāo)物體、像素坐標(biāo)生成LineMod格式數(shù)據(jù)集。

本文采取大約1000張目標(biāo)對象各個(gè)角度的圖片，其中70%用來當(dāng)作訓(xùn)練集，30%用來當(dāng)作測試集。

3.2.2 實(shí)現(xiàn)細(xì)節(jié)

為了提高網(wǎng)絡(luò)模型的魯棒性，避免過擬合，實(shí)驗(yàn)時(shí)對圖像進(jìn)行數(shù)據(jù)增強(qiáng)。每次從訓(xùn)練集讀取圖片之后，都對圖像進(jìn)行一次隨機(jī)的翻轉(zhuǎn)、旋轉(zhuǎn)、抖動(dòng)、或?qū)D像的飽和度和亮度按照1.5倍的指數(shù)改變、或隨機(jī)縮放和平移圖像使其達(dá)到圖像大小的20%。同時(shí)將置信度α設(shè)置為2，距離閾值設(shè)置為30 pix，設(shè)置學(xué)習(xí)率從0.001開始，每100個(gè)周期將學(xué)習(xí)率變?yōu)樵瓉淼氖种弧?/p>

3.3 單目標(biāo)姿態(tài)估計(jì)

我們基于3.2節(jié)的數(shù)據(jù)集進(jìn)行了單目標(biāo)姿態(tài)估計(jì)的測試。該數(shù)據(jù)集不涉及深度圖像信息，僅僅包含RGB圖像。如圖5所示，我們的目標(biāo)對象包含不同顏色和形狀，對這些目標(biāo)從俯視，平視，側(cè)視等不同的角度進(jìn)行測試。圖5的第一、二、三列分別展示同一目標(biāo)物在不同的光照條件下從不同的角度進(jìn)行姿態(tài)估計(jì)的結(jié)果，維他奶盒的尺寸為：長0.063 m、寬0.041 m、高0.105 m；可樂罐的尺寸為：半徑0.033 m、高0.115 m；旺仔牛奶盒的尺寸為：長0.048 m、寬0.032 m、高0.087 m。第四列目標(biāo)物材質(zhì)分別是黃銅和紅銅的圓柱體，半徑為0.01 m，高為0.034 m，維他奶盒的體積是其25倍多。因此同時(shí)展示了對于同一種材質(zhì)不同顏色的目標(biāo)物進(jìn)行姿態(tài)估計(jì)的結(jié)果也展示了改進(jìn)后的算法對小尺寸目標(biāo)位姿估計(jì)的效果。第五列展示了塑料的積木塊和銅柱的姿態(tài)估計(jì)結(jié)果，并在銅柱上顯示出坐標(biāo)姿態(tài)。結(jié)果顯示目標(biāo)對象的最小外接矩形可以完整地把目標(biāo)對象包圍住，最終的姿態(tài)估計(jì)結(jié)果和真實(shí)的姿態(tài)非常接近，尤其是數(shù)據(jù)集中存在光照導(dǎo)致的亮度不同和模糊不清的數(shù)據(jù)時(shí)，算法依然能很好地計(jì)算出目標(biāo)的姿態(tài)。

圖5 姿態(tài)估計(jì)效果圖

3.4 結(jié)果與分析

基于3.2節(jié)的數(shù)據(jù)集，對比了幾種目前使用較廣泛的算法。在本數(shù)據(jù)集中，Rcu和Ycu分別表示紅色銅柱和黃色銅柱，半徑為0.01 m，高為0.034 m，體積很小，維他奶盒是其體積的25倍多。由表2～表4結(jié)果可知，基于改進(jìn)的姿態(tài)估計(jì)算法和當(dāng)前主流的算法進(jìn)行對比，對2D重投影誤差和5 cm5°度量的結(jié)果而言，改進(jìn)后的網(wǎng)絡(luò)對于維他奶和可樂罐這種尺寸相對大，紋理相對豐富的目標(biāo)物的識別準(zhǔn)確率和原網(wǎng)絡(luò)一樣優(yōu)異，比BB8精度高。對于Rcu和Ycu這樣的小目標(biāo)物位姿估計(jì)準(zhǔn)確率稍低于原網(wǎng)絡(luò)，但在運(yùn)行速度方面本文的方法遠(yuǎn)遠(yuǎn)高于其它算法，運(yùn)行速度是BB8算法的近12倍，是Brachmann算法運(yùn)行速度的17倍多，可以達(dá)到35 FPS，適用于實(shí)時(shí)處理。

表2 重投影誤差準(zhǔn)確率 (%)

表3 5 cm5°準(zhǔn)確率 (%)

表4 處理速度對比結(jié)果 (FPS)

因?yàn)楦倪M(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)簡單，所以對于Rcu和Ycu這樣的小目標(biāo)物位姿估計(jì)準(zhǔn)確率稍低于原網(wǎng)絡(luò)。也正是因?yàn)楦倪M(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)簡單，在運(yùn)行速度方面我們的方法遠(yuǎn)遠(yuǎn)高于其它算法，適用于目標(biāo)對象單一，對運(yùn)行速度有要求的場合。

4 結(jié)束語

現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的位姿估計(jì)算法都需要增加后處理步驟來提升姿態(tài)估計(jì)精度，并且需要精確的三維模型，這會(huì)使程序的運(yùn)行速度大大減慢。針對目前主流的三維位姿估計(jì)算法實(shí)時(shí)性不高的問題，提出了基于Yolo6D改進(jìn)的位姿估計(jì)算法。改進(jìn)后的算法通過輸入圖像和與之對應(yīng)的三維模型之間的多組2D-3D對應(yīng)關(guān)系，利用PnP和RANSAC方法計(jì)算6自由度姿態(tài)，是單階段處理算法，且不需要精確的三維模型。相較于改進(jìn)前的算法，改進(jìn)后的算法在保留深度卷積神經(jīng)網(wǎng)絡(luò)特征提取能力的基礎(chǔ)上，通過改變卷積層和池化層結(jié)構(gòu)，減少特征圖和模型參數(shù)等方法，使網(wǎng)絡(luò)檢測速度有了明顯的提升。改進(jìn)后的算法對小目標(biāo)的兼顧還不是很好，在接下來的研究中，可以在此網(wǎng)絡(luò)的基礎(chǔ)上增加殘差網(wǎng)絡(luò)或者更換激活函數(shù)來提升對小尺寸目標(biāo)的檢測精度。