基于立體視覺的無(wú)人機(jī)位姿測(cè)量方法

閻峰 劉震

摘 要：現(xiàn)有的無(wú)人機(jī)位姿視覺測(cè)量方法大多基于諸如關(guān)鍵點(diǎn)等幾何尺寸在圖像和模型間的對(duì)應(yīng)關(guān)系完成位姿計(jì)算；然而，在復(fù)雜情況下易出現(xiàn)關(guān)鍵點(diǎn)圖像坐標(biāo)定位失效的問(wèn)題，而針對(duì)特定機(jī)型的算法設(shè)計(jì)泛化性不佳。針對(duì)這一問(wèn)題，本文提出了一種基于立體視覺的固定翼無(wú)人機(jī)位姿測(cè)量方法，通過(guò)立體視覺重建目標(biāo)無(wú)人機(jī)三維點(diǎn)云，基于無(wú)人機(jī)組件三維點(diǎn)云擬合魯棒地完成位姿測(cè)量。首先，使用一種二維、三維數(shù)據(jù)結(jié)合的方式，利用卷積神經(jīng)網(wǎng)絡(luò)完成組件的分割。其次，分別利用機(jī)翼和機(jī)身點(diǎn)云擬合無(wú)人機(jī)坐標(biāo)系的z軸和x軸，進(jìn)而完成目標(biāo)無(wú)人機(jī)位姿的計(jì)算。整個(gè)計(jì)算過(guò)程無(wú)需已知具體機(jī)型或尺寸。經(jīng)試驗(yàn)驗(yàn)證，本文方法在10m的范圍內(nèi)達(dá)到了1.57°和0.07m的位姿測(cè)量精度，具有較高的精度和魯棒性。

關(guān)鍵詞：機(jī)器視覺； 位姿測(cè)量； 立體視覺； 無(wú)人機(jī)； 點(diǎn)云

中圖分類號(hào)：V249 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.19452/j.issn1007-5453.2023.04.010

基金項(xiàng)目： 航空科學(xué)基金（201946051001）

無(wú)人機(jī)技術(shù)具有覆蓋范圍大、靈活性高及可代替人工執(zhí)行危險(xiǎn)工作等優(yōu)點(diǎn)，在各行業(yè)、各領(lǐng)域內(nèi)發(fā)揮著日益重要的作用。無(wú)人機(jī)功能[1-2]的實(shí)現(xiàn)主要依靠編隊(duì)工作的方式，而編隊(duì)功能的有效實(shí)現(xiàn)，依賴于無(wú)人機(jī)間相對(duì)位姿的準(zhǔn)確測(cè)量。因此，實(shí)現(xiàn)無(wú)人機(jī)位姿的精準(zhǔn)測(cè)量具有重要意義。

視覺測(cè)量具有非接觸、精度高和靈活性好等優(yōu)勢(shì)，近年來(lái)在位姿測(cè)量領(lǐng)域得到了較為廣泛的研究和應(yīng)用。相比通過(guò)慣性器件測(cè)量位姿的方式[3]，視覺測(cè)量不存在累計(jì)誤差，且不依賴于無(wú)人機(jī)之間的通信，具有更強(qiáng)的靈活性和自主性。因此，研究一種無(wú)人機(jī)位姿測(cè)量的視覺方案對(duì)該領(lǐng)域的發(fā)展具有重要推動(dòng)作用。

目前，無(wú)人機(jī)位姿的視覺測(cè)量方案大多需要已知精確的幾何尺寸作為先驗(yàn)信息，如需要明確具體的機(jī)型、在模型坐標(biāo)系下關(guān)鍵點(diǎn)的三維坐標(biāo)等，按照模型的使用方式不同，大致可將現(xiàn)有算法分為三類：第一類是PnP類算法，PnP是Perspective-n-Point的簡(jiǎn)寫，這類算法需定義多個(gè)關(guān)鍵點(diǎn)，基于提取得到的關(guān)鍵點(diǎn)二維圖像坐標(biāo)和其先驗(yàn)的三維世界坐標(biāo)的對(duì)應(yīng)關(guān)系，完成無(wú)人機(jī)位姿的計(jì)算。這類算法靈活、快速，最早由M. A. Fischler[4]提出，后續(xù)涌現(xiàn)了大量的改進(jìn)算法。其中較為經(jīng)典的為EPnP算法[5]，通過(guò)設(shè)置4個(gè)虛擬控制點(diǎn)，可高效求解目標(biāo)位姿。除了關(guān)鍵特征點(diǎn)，特征邊緣也可用于這類計(jì)算。Ji Bing[6]使用角點(diǎn)和邊緣等多個(gè)特征，共同計(jì)算飛機(jī)位姿，以解決特征點(diǎn)易被自身遮擋的問(wèn)題。盡管如此，這類算法由于使用的都是稀疏特征，在復(fù)雜條件下，如目標(biāo)較遠(yuǎn)或成像質(zhì)量較差等情況下，這類特征易被噪聲淹沒，以至于難以準(zhǔn)確甚至無(wú)法完成圖像特征的提取，進(jìn)而導(dǎo)致算法失效。第二類是模板匹配算法[7]，這類算法需要實(shí)現(xiàn)根據(jù)所需測(cè)量的模型制作包含大量不同位姿的模板庫(kù)，然后將提取得到的目標(biāo)圖像與模板庫(kù)進(jìn)行匹配，找到對(duì)應(yīng)的位姿。這類方法只能針對(duì)特定的某一機(jī)型完成測(cè)量，且模板庫(kù)的制作過(guò)程煩瑣，算法的泛用性較差。第三類是機(jī)器學(xué)習(xí)與深度學(xué)習(xí)方法，這類算法是指首先使用待測(cè)目標(biāo)的數(shù)據(jù)集訓(xùn)練分類器或者神經(jīng)網(wǎng)絡(luò)，完成訓(xùn)練后，使用得到的權(quán)重進(jìn)行位姿的回歸計(jì)算。J. Liebelt[8]提出了一種SVM分類器與RANSAC算法結(jié)合的方法，實(shí)現(xiàn)對(duì)三維目標(biāo)的位姿測(cè)量。李想[9]使用RGB圖像并利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法完成對(duì)目標(biāo)位姿的測(cè)量。此方法計(jì)算直接，且通常具有較高精度；但是與模板匹配方法類似，也需要事先針對(duì)所處理機(jī)型制作大量數(shù)據(jù)集，較為繁瑣。另外，使用深度學(xué)習(xí)方法直接進(jìn)行位姿計(jì)算，網(wǎng)絡(luò)規(guī)模通常較大，需要大量計(jì)算資源，不適合在機(jī)載環(huán)境中使用。

綜上所述，現(xiàn)有的無(wú)人機(jī)位姿視覺測(cè)量算法大多需要先驗(yàn)的精確幾何尺寸，關(guān)鍵點(diǎn)或邊緣雖然精準(zhǔn)，但是由于其較為稀疏，所以易被噪聲淹沒。另外，固定翼無(wú)人機(jī)多采用大展弦比柔性機(jī)翼，飛行時(shí)機(jī)翼易變形，導(dǎo)致特征點(diǎn)位置發(fā)生移動(dòng)，進(jìn)而導(dǎo)致算法失效；使用特定機(jī)型作為模型則使用了較多的個(gè)性特征，這將導(dǎo)致算法不魯棒或泛用性較差?；谏鲜龇治?，如能使用稠密數(shù)據(jù)，基于共性結(jié)構(gòu)完成無(wú)人機(jī)位姿的計(jì)算，將大大緩解現(xiàn)有算法存在的問(wèn)題，提升算法的魯棒性和泛用性。

基于這一想法，本文提出了一種基于立體視覺的無(wú)人機(jī)位姿視覺測(cè)量算法，使用立體視覺重建目標(biāo)無(wú)人機(jī)三維點(diǎn)云，通過(guò)擬合無(wú)人機(jī)機(jī)身、機(jī)翼等組件的三維點(diǎn)云數(shù)據(jù)，完成位姿的測(cè)量。三維點(diǎn)云屬于稠密數(shù)據(jù)，在復(fù)雜條件下仍能為算法提供大量的信息源，且局部發(fā)生變形時(shí)，整體仍能保持相對(duì)穩(wěn)定，具有較強(qiáng)的魯棒性；而固定翼無(wú)人機(jī)基本都是由機(jī)身、機(jī)翼以及垂尾等組件組成，算法不依賴于某一具體機(jī)型，具有較強(qiáng)的泛用性，可以解決現(xiàn)有算法存在的問(wèn)題。

1 二維、三維數(shù)據(jù)獲取方法

本文采用雙目立體視覺傳感器實(shí)現(xiàn)二維數(shù)據(jù)和三維數(shù)據(jù)的采集，其中，二維數(shù)據(jù)是指視覺傳感器拍攝得到的圖像數(shù)據(jù)，三維數(shù)據(jù)是指通過(guò)立體匹配算法得到的視差圖、深度圖和三維點(diǎn)云數(shù)據(jù)。具體的數(shù)據(jù)獲取算法如下。

1.1 雙目立體視覺傳感器測(cè)量模型及標(biāo)定

標(biāo)定是測(cè)量的前提，只有已知上述提及的內(nèi)部參數(shù)和結(jié)構(gòu)參數(shù)，才可基于圖像特征完成三維信息的解算。本文采用張正友方法[10]完成雙目立體視覺傳感器內(nèi)部參數(shù)和結(jié)構(gòu)參數(shù)的標(biāo)定。

1.2 視差匹配與三維重建

由于是由二維圖像數(shù)據(jù)匹配得到，使用雙目立體視覺傳感器重建得到的三維點(diǎn)云數(shù)據(jù)具有與二維數(shù)據(jù)的同源性，即點(diǎn)云中的每一個(gè)元素都與二維圖像中的像素一一對(duì)應(yīng)。這為后續(xù)點(diǎn)云分割提供了較為便利的條件。

2 無(wú)人機(jī)位姿視覺測(cè)量算法

本文所提出的無(wú)人機(jī)位姿測(cè)量算法無(wú)需已知幾何尺寸，使用機(jī)身、機(jī)翼等固定翼無(wú)人機(jī)通用組件點(diǎn)云擬合完成位姿計(jì)算?；陔p目立體視覺傳感器獲得的二維、三維數(shù)據(jù)，首先完成無(wú)人機(jī)組件點(diǎn)云的分割；然后基于分割結(jié)果，使用無(wú)人機(jī)組件點(diǎn)云擬合坐標(biāo)系，完成無(wú)人機(jī)位姿的計(jì)算。具體算法介紹如下。

2.1 無(wú)人機(jī)組件點(diǎn)云擬合

無(wú)人機(jī)機(jī)體坐標(biāo)系op-xpypzp的常見的定義方式如圖2所示，取機(jī)身縱軸為x軸，指向前方；y軸垂直于對(duì)稱面指向右方；z軸在對(duì)稱面內(nèi)垂直于縱軸并指向下方。本文中，將機(jī)體坐標(biāo)系的原點(diǎn)定義在機(jī)身中心位置。根據(jù)坐標(biāo)系定義，機(jī)身中軸方向?yàn)闊o(wú)人機(jī)坐標(biāo)系的x軸方向，機(jī)翼法線方向?yàn)闊o(wú)人機(jī)坐標(biāo)系的z軸方向?；谶@一思想，可首先完成點(diǎn)云分割，然后使用點(diǎn)云擬合的方式完成無(wú)人機(jī)坐標(biāo)系的計(jì)算。

本文采用深度學(xué)習(xí)的方式完成點(diǎn)云分割。由于直接分割三維點(diǎn)云計(jì)算量過(guò)大、計(jì)算速度慢，因此，本文利用雙目立體視覺傳感器獲取二維、三維數(shù)據(jù)的同源性，首先完成二維圖像的分割，然后映射至點(diǎn)云空間，完成無(wú)人機(jī)組件的三維點(diǎn)云分割。具體而言，本文采用了一種如圖3所示的編解碼結(jié)構(gòu)的RGB-D卷積神經(jīng)網(wǎng)絡(luò)，綜合RGB圖像的紋理信息和深度圖像的空間信息，深度圖像可通過(guò)匹配獲得。在編碼階段分為RGB圖和深度圖兩個(gè)通道，首先通過(guò)殘差卷積單元（RCU）模塊[12]分別提取圖像特征，然后使用空洞空間金字塔池化（ASPP）模塊[13]實(shí)現(xiàn)多尺度目標(biāo)的感知，最后使用殘差卷積融合（RCF）模塊將RGB通道特征和深度圖特征進(jìn)行融合。在解碼階段，使用殘差語(yǔ)義引導(dǎo)融合（RSGF）模塊在低層特征的指導(dǎo)下逐層恢復(fù)空間信息，完成二維圖像的分割。其中，RCF和RSGF模塊都是本文提出的網(wǎng)絡(luò)模塊，其結(jié)構(gòu)如圖4所示。網(wǎng)絡(luò)設(shè)計(jì)中使用了大量的殘差連接，提升了網(wǎng)絡(luò)的恒等性，加速網(wǎng)絡(luò)收斂，提升網(wǎng)絡(luò)性能。完成圖像分割后，將分割結(jié)果映射至點(diǎn)云空間，完成組件的點(diǎn)云分割。

獲得各組件點(diǎn)云后，可分別對(duì)機(jī)翼和機(jī)身點(diǎn)云進(jìn)行擬合，獲得無(wú)人機(jī)坐標(biāo)系各軸矢量。

2.2 無(wú)人機(jī)位姿求解

一般認(rèn)為機(jī)翼的中軸線穿過(guò)機(jī)身中心，因此，可取機(jī)翼中軸線與機(jī)身xp軸交點(diǎn)作為無(wú)人機(jī)坐標(biāo)系的原點(diǎn)，該點(diǎn)坐標(biāo)即為無(wú)人機(jī)的位置參數(shù)。

3 試驗(yàn)驗(yàn)證

本文采用數(shù)字仿真的方式對(duì)算法的有效性進(jìn)行分析驗(yàn)證。本文使用一款視景仿真軟件，生成機(jī)載條件下的雙目立體視覺傳感器成像。在試驗(yàn)過(guò)程中，所測(cè)量的無(wú)人機(jī)機(jī)型為Predator型無(wú)人機(jī)。在試驗(yàn)過(guò)程中，傳感器參數(shù)見表1。試驗(yàn)過(guò)程中，數(shù)據(jù)處理流程如下：首先使用SGBM算法完成左右圖像的匹配，得到深度圖像和三維點(diǎn)云數(shù)據(jù)。在試驗(yàn)前，使用1978張無(wú)人機(jī)圖像組成數(shù)據(jù)集，完成了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；訓(xùn)練過(guò)程中使用的無(wú)人機(jī)圖像為本文制作完成，包含不同位置和姿態(tài)的Predator型無(wú)人機(jī)圖像，并通過(guò)手工標(biāo)注完成組件分割真值的獲取，數(shù)據(jù)集部分圖像如圖5所示。數(shù)據(jù)集中不同圖像中的無(wú)人機(jī)分別處于視場(chǎng)中的不同位置和深度，呈現(xiàn)出不同的視角；分別以不同的角度進(jìn)行飛行，呈現(xiàn)出不同的姿態(tài)。訓(xùn)練后，分割網(wǎng)絡(luò)達(dá)到了82.11%的平均交并比[12]，達(dá)到了較高精度。在試驗(yàn)過(guò)程中，使用RGB圖像和深度圖像并使用網(wǎng)絡(luò)完成對(duì)目標(biāo)無(wú)人機(jī)機(jī)身、機(jī)翼等組件的分割，分割完成后將其映射至點(diǎn)云空間，完成對(duì)三維點(diǎn)云的分割。最后，使用分割得到的點(diǎn)云組件進(jìn)行坐標(biāo)系的擬合，計(jì)算目標(biāo)無(wú)人機(jī)位姿。本文共使用了40張圖像進(jìn)行測(cè)試，根據(jù)飛行階段的不同，將其劃分為5個(gè)組別。圖6展示了部分測(cè)試圖像及其分割結(jié)果，可以發(fā)現(xiàn)，分割達(dá)到了較高精度，能夠準(zhǔn)確識(shí)別無(wú)人機(jī)的各個(gè)組件。

試驗(yàn)主要從兩個(gè)方面展開分析：（1）本文算法精度分析；（2）不同特征形式在機(jī)載復(fù)雜條件下的魯棒性對(duì)比分析。

3.1 本文方法精度分析

本節(jié)首先通過(guò)本文算法計(jì)算結(jié)果同真值進(jìn)行對(duì)比，通過(guò)計(jì)算各軸分量均方根誤差（RMSE）測(cè)試分析本文算法的精度。

用于測(cè)試無(wú)人機(jī)數(shù)據(jù)根據(jù)飛行位置不同可以分為5個(gè)階段，本節(jié)使用本文方法分別計(jì)算所有測(cè)試圖像的位姿數(shù)據(jù)，通過(guò)將其與真值對(duì)比并統(tǒng)計(jì)各階段以及總體的RMSE對(duì)算法的精度進(jìn)行評(píng)價(jià)。

試驗(yàn)結(jié)果分別如圖7、圖8所示。其中，圖7展示了各階段中具有代表性的4個(gè)位置的三維稠密點(diǎn)云重建結(jié)果，從圖中可以看出，本文算法能夠較高精度地完成無(wú)人機(jī)稠密點(diǎn)云的重建，并能夠準(zhǔn)確地計(jì)算位姿。圖中藍(lán)色、紅色以及綠色分別代表無(wú)人機(jī)坐標(biāo)系的x軸、 y軸及z軸。

圖8展示了各階段位姿計(jì)算結(jié)果的RMSE值，并將其繪制成曲線。從圖中可以看出，本文方法姿態(tài)測(cè)量誤差基本小于3°，其中x軸姿態(tài)測(cè)量誤差基本小于1°；本文方法位置測(cè)量誤差基本小于0.12m；不同階段的測(cè)量結(jié)果表現(xiàn)較為穩(wěn)定。經(jīng)統(tǒng)計(jì)，在10m范圍內(nèi)，本文方法姿態(tài)測(cè)量總均方根誤差為1.57°，位置測(cè)量總均方根誤差為0.07m，達(dá)到了較高精度。

3.2 本文算法與經(jīng)典算法的對(duì)比分析

PnP算法使用單目相機(jī)獲取的多對(duì)二維圖像特征點(diǎn)與對(duì)應(yīng)三維坐標(biāo)求解目標(biāo)位姿，是較為經(jīng)典的位姿測(cè)量方法。因此在分析本文算法精度的基礎(chǔ)上，本節(jié)將本文算法同PnP及其改進(jìn)算法EPnP進(jìn)行對(duì)比，分析位姿測(cè)量的魯棒性。

本文選取機(jī)翼及垂尾處較為顯著的7個(gè)角點(diǎn)作為關(guān)鍵點(diǎn)，使用PnP及EPnP算法計(jì)算位姿。統(tǒng)計(jì)40張測(cè)試圖片的位姿測(cè)量RMSE可得，在10m的范圍內(nèi)，EPnP的姿態(tài)測(cè)量精度為5.07°，位置測(cè)量精度為0.07m；PnP的姿態(tài)測(cè)量精度為2.38°，位置測(cè)量精度為1.47m；本文算法的姿態(tài)測(cè)量精度為1.57°，位置測(cè)量精度為0.07m。圖9展示了不同方法的位姿測(cè)量結(jié)果。

如圖9所示，圖中紅色坐標(biāo)系為本文方法計(jì)算結(jié)果、藍(lán)色坐標(biāo)系為EPnP方法計(jì)算結(jié)果、綠色坐標(biāo)系為PnP方法計(jì)算結(jié)果，其中由于PnP算法在機(jī)載復(fù)雜條件下位姿計(jì)算精度一般，其坐標(biāo)系在投影后未出現(xiàn)在視場(chǎng)中。從圖中可以發(fā)現(xiàn)，本文方法在不同位置姿態(tài)下各參數(shù)計(jì)算精度均較高，而EPnP算法雖然可以較為準(zhǔn)確地估計(jì)無(wú)人機(jī)的位置，但是其姿態(tài)解算精度一般。這說(shuō)明PnP及EPnP算法易受特征點(diǎn)數(shù)量及分布影響，位姿測(cè)量精度一般；而本文算法所基于的空間幾何特征是由稠密三維點(diǎn)云擬合得到的，在不同位置、不同姿態(tài)情況下均能魯棒提取，基于該特征可以精確地計(jì)算位姿參數(shù)，證明了本文算法的魯棒性。

4 結(jié)論

本文提出了一種基于立體視覺的無(wú)人機(jī)位姿視覺測(cè)量算法，通過(guò)立體視覺重建目標(biāo)無(wú)人機(jī)三維點(diǎn)云，使用固定翼無(wú)人機(jī)共有的機(jī)身和機(jī)翼點(diǎn)云擬合無(wú)人機(jī)坐標(biāo)系，完成位姿計(jì)算。算法無(wú)須已知精確的幾何尺寸，是面向固定翼無(wú)人機(jī)的通用算法，具有較強(qiáng)的泛用性；同時(shí)，位姿測(cè)量使用的是點(diǎn)云擬合的方式，數(shù)據(jù)來(lái)源廣、精度高、魯棒性強(qiáng)。經(jīng)試驗(yàn)測(cè)試，本文算法達(dá)到了10m內(nèi)1.57°的姿態(tài)精度和0.07m的位置精度，在復(fù)雜條件下仍能穩(wěn)定測(cè)量，具有較高精度和魯棒性，可實(shí)現(xiàn)在中近距離下空中飛行或地面?？繝顟B(tài)下無(wú)人機(jī)位姿的精準(zhǔn)測(cè)量。

參考文獻(xiàn)

[1]賈漢博，馬琳，張忠旺.基于POA算法的無(wú)人機(jī)航跡規(guī)劃優(yōu)化方法[J].航空科學(xué)技術(shù)，2022，33（10）：96-102. Jia Hanbo， Ma Lin， Zhang Zhongwang. Optimization method of unmanned aerial vehicle path planning using POA[J]. Aeronautical Science & Technology， 2022， 33（10）： 96-102.（in Chinese）

[2]張炯，牛歡，陳雪.基于多傳感器融合的無(wú)人機(jī)應(yīng)急著陸功能研究[J].航空科學(xué)技術(shù)，2022，33（11）：11-20. Zhang Jiong， Niu Huan， Chen Xue. Research on UAV emergency landing function based on multi-sensor fusion [J]. Aeronautical Science & Technology， 2022， 33（11）： 11-20. （in Chinese）

[3]Oh T J， Chung M J. Global pose estimation with adaptive GPS/ IMU fusion[C]//Intelligent Autonomous Systems 12th. Poland： Springer， 2013：613-620.

[4]Fischler M A， Bolles R C. Random sample consensus： A paradigm for model fitting with applications to image analysis and automated cartography[J]. Readings in Computer Vision， 1987，15：726-740.

[5]Lepetit V， Moreno-Noguer F， Fua P. EPnP： An accurate solution to the PnP problem[J]. International Journal of Computer Vision， 2009， 81（2）：155-166.

[6]Ji Bing， Shan Ganlin， Zhou Yunfeng， et al. Aircraft pose estimation based on integrated feature matching[C]// IEEE Conference on Industrial Electronics & Applications. IEEE， 2009： 226-229.

[7]趙正川. 基于高速視頻的目標(biāo)狀態(tài)識(shí)別技術(shù)研究[D]. 西安：西安工業(yè)大學(xué)，2016. Zhao Zhengchuan. The research of target state recognition technology based on high-speed video [D]. Xi’an： Xi’an Technological University， 2016.（in Chinese）

[8]Liebelt J， Schmid C， Schertler K. Viewpoint-independent object class detection using 3D feature maps [C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， IEEE， 2008： 2118-2125.

[9]李想. 基于深度學(xué)習(xí)的空間非合作目標(biāo)姿態(tài)估計(jì)算法設(shè)計(jì)[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2018. Li Xiang. Design of attitude estimation algorithm for space non-cooperative targets based on deep learning [D]. Harbin： Harbin Institute of Technology， 2018.（in Chinese）

[10]Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Trans. Pattern Analysis and Machine Intelligence， 2000， 22（11）， 1330-1334.

[11]Hirschmuller H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transaction. Pattern Analysis and Machine Intelligence， 2007， 30（2）： 328-341.

[12]Lin Guosheng， Milan A， Shen Chunhua， et al. RefineNet： Multi-path refinement networks for high-resolution semantic segmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2017： 1925-1934.

[13]Chen L C， Papandreou G， Schroff F， et al. Rethinking atrous convolution for semantic image segmentation [EB/OL].（2017-12-05）. https：//arxiv.org/abs/1706.05587.

[14]Torr P H S， Zisserman A. MLESAC： A new robust estimator with application to estimating image geometry [J]. Computer Vision and Image Understanding， 2000， 18（1）：138-156.

UAV Pose Measurement Method Based on Stereo Vision

Yan Feng， Liu Zhen

Key Laboratory of Precision Opto-mechatronics Technology， Ministry of Education，Beihang University， Beijing 100191， China

Abstract： Most of the existing UAV pose visual measurement methods are based on the corresponding relationship between the image and the model of geometric size such as key points. However， the problem of detection failure of key point image coordinate is easy to occur in complex cases， and the algorithm designed for specific models has poor generalization. To solve this problem， this paper proposes a pose measurement method of fixed wing UAV based on stereo vision. 3D point cloud of target UAV is reconstructed through stereo vision， and the pose measurement is completed robustly based on the 3D point cloud fitting of UAV components. Firstly， the components are segmented by a convolutional neural network in a 2D and 3D data combination fashion， and then the wing and fuselage point cloud are used to fit the z axis and x axis of the UAV coordinate system， and then the pose of the target UAV is calculated. The whole calculation process does not need to know the specific model or size. The experimental results show that the proposed method can reach the accuracy of 1.57° and 0.07m in the range of 10m， which shows high accuracy and robustness.

Key Words： machine vision； pose measurement； stereo vision； UAV； point cloud