基于旋翼飛行器的雙目視覺定位實(shí)驗(yàn)設(shè)計(jì)

張玲 熊智 劉建業(yè) 張苗

摘要為了打破傳統(tǒng)的“灌輸-驗(yàn)證式”教學(xué)模式，滿足自動(dòng)化專業(yè)的實(shí)驗(yàn)與實(shí)踐教學(xué)要求，結(jié)合旋翼無(wú)人機(jī)的運(yùn)動(dòng)特性，本文設(shè)計(jì)了基于旋翼飛行器的雙目視覺定位綜合實(shí)驗(yàn)。首先，基于雙目視覺里程計(jì)原理建立了雙目視覺里程計(jì)誤差模型，開發(fā)了基于雙目視覺里程計(jì)的三維構(gòu)圖技術(shù)。在此基礎(chǔ)上，通過(guò)大疆公司的旋翼無(wú)人機(jī)平臺(tái)，搭載雙目相機(jī)，采集旋翼無(wú)人機(jī)的運(yùn)動(dòng)位姿信息，并利用Ubuntu系統(tǒng)中的ROS環(huán)境解算獲得旋翼無(wú)人機(jī)的位姿結(jié)果。該實(shí)驗(yàn)融合了導(dǎo)航定位、傳感器檢測(cè)等多門理論課程知識(shí)，采用“思考-創(chuàng)新式”教學(xué)方式，具有良好的開放性和廣泛的應(yīng)用性，有利于檢驗(yàn)和激發(fā)學(xué)生對(duì)所學(xué)專業(yè)知識(shí)靈活運(yùn)用的工程實(shí)踐和創(chuàng)新能力。

關(guān)鍵詞 旋翼飛行器 雙目視覺 導(dǎo)航定位

中圖分類號(hào)：V249.1文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.16400/j.cnki.kjdk.2021.28.018

Experimental Design of Binocular Vision Positioning Based on Rotorcraft

ZHANG Ling[1][2]， XIONG Zhi[1]， LIU Jianye[1]， ZHANG Miao[1]

（[1]CollegeofAutomationEngineering，NanjingUniversityofAeronauticsandAstronautics，Nanjing，Jiangsu211106；

[2]CenterofFacultyDevelopmentandTeachingEvaluation/InstituteofHigherEducation，NanjingUniversityof AeronauticsandAstronautics，Nanjing，Jiangsu211106）

AbstractIn order to break the traditional "indoctrination verification" teaching mode and meet the experimental and practical teachingrequirementsofautomationspecialty，combinedwiththemotioncharacteristicsofrotorcraft，thispaperdesignsabinocular visionpositioning comprehensiveexperiment based on rotorcraft. Firstly， basedon the principle of binocularvision odometer，the errormodelofbinocularvisionodometerisestablished，andthe3Dcompositiontechnologybasedonbinocularvisionodometeris developed. On this basis， through Dajiang company’s rotor UAV platform， equipped with binocular camera， the motion pose informationoftherotorUAViscollected，andtheposeresultsoftherotorUAVareobtainedbyusingtheROSenvironmentinthe Ubuntu system. The experiment integrates the knowledge of navigation and positioning， sensor detection and other theoretical courses， adopts the "thinking innovation" teaching method，has good openness andwideapplication， and is conduciveto test and stimulatestudents’engineeringpracticeandinnovationabilityofflexibleuseofprofessionalknowledge.

Keywordsrotorcraft； binocular vision； navigation and positioning

隨著現(xiàn)代化社會(huì)的發(fā)展，各類行業(yè)對(duì)智能感知也提出了越來(lái)越迫切的需求，民用無(wú)人機(jī)得到了較大的發(fā)展，以大疆科技為代表的企業(yè)以代表了國(guó)際無(wú)人機(jī)行業(yè)的最高水平。視覺傳感器成本的降低和機(jī)載運(yùn)算單元實(shí)時(shí)處理能力的提升，在室內(nèi)、建筑群等北斗衛(wèi)星信號(hào)無(wú)法正常接收的應(yīng)用環(huán)境中，以視覺里程計(jì)為代表的視覺導(dǎo)航技術(shù)逐漸發(fā)揮出其在載體位姿估計(jì)中的優(yōu)勢(shì)，近年來(lái)成為國(guó)內(nèi)外無(wú)人機(jī)、無(wú)人車等行業(yè)的研究熱點(diǎn)。

因此，針對(duì)自動(dòng)化專業(yè)導(dǎo)航方向的學(xué)科研究背景，擬開展基于旋翼無(wú)人機(jī)“智能感知導(dǎo)航”混合式教學(xué)的研究與實(shí)踐，開發(fā)基于雙目視覺相機(jī)的多旋翼飛行器定位實(shí)驗(yàn)平臺(tái)，設(shè)計(jì)了基于雙目視覺里程計(jì)的定位綜合實(shí)驗(yàn)內(nèi)容，綜合了“定位與導(dǎo)航”“測(cè)試信號(hào)處理”等相關(guān)專業(yè)基礎(chǔ)課程知識(shí)，鼓勵(lì)學(xué)生全方位、多維度的掌握和運(yùn)用學(xué)習(xí)的專業(yè)知識(shí)，有利于引導(dǎo)學(xué)生積極主動(dòng)的思考與創(chuàng)新，最終培養(yǎng)具有航空航天和國(guó)防特色的專業(yè)人才。

1雙目視覺里程計(jì)基本原理

目前在視覺里程計(jì)中廣泛使用的圖像處理方法主要有兩種：直接法，以圖像的像素灰度變化為依據(jù)來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)，雖然計(jì)算速度快，但由于環(huán)境干擾，精度不高；特征點(diǎn)法，標(biāo)記圖像中灰度變化明顯的點(diǎn)為特征點(diǎn)，以不同圖像中同一特征點(diǎn)之間的關(guān)系進(jìn)行運(yùn)動(dòng)估計(jì)，具有較強(qiáng)的魯棒性。使用成熟的張友正標(biāo)定算法對(duì)雙目ZED相機(jī)進(jìn)行內(nèi)參矩陣標(biāo)定，圖3選取了標(biāo)定實(shí)驗(yàn)所采集圖像中的其中一幀，識(shí)別標(biāo)定板中的角點(diǎn)并利用投影關(guān)系構(gòu)造約束方程，解算出相機(jī)的內(nèi)參矩陣。

使用張友正標(biāo)定工具箱對(duì)圖像進(jìn)行角點(diǎn)提取后，建立立體模型。

2雙目視覺里程計(jì)誤差模型

3實(shí)驗(yàn)平臺(tái)系統(tǒng)設(shè)計(jì)與硬件構(gòu)成

試驗(yàn)所用小型飛行器為大疆（DJI）公司生產(chǎn)的經(jīng)緯600 PRO（簡(jiǎn)稱M600）六旋翼飛行器，六旋翼實(shí)驗(yàn)平臺(tái)采用V型機(jī)架結(jié)構(gòu)，飛控計(jì)算機(jī)分為上下兩層，綜合利用機(jī)載導(dǎo)航傳感器實(shí)現(xiàn)精準(zhǔn)的飛行器姿態(tài)控制；選用妙算處理板，完成飛行動(dòng)作。

雙目相機(jī)固連于飛行器前向支架，機(jī)載計(jì)算機(jī)位于小型飛行器的上部，機(jī)載計(jì)算機(jī)與雙目相機(jī)間通過(guò)USB接口連接，通過(guò)接口將雙目相機(jī)獲取的數(shù)據(jù)傳入到機(jī)載計(jì)算機(jī)中，機(jī)載處理器使用圖像信息進(jìn)行位姿估計(jì)及三維建圖。地面測(cè)控站用于監(jiān)視飛行實(shí)驗(yàn)平臺(tái)的實(shí)時(shí)飛行狀態(tài)，實(shí)現(xiàn)無(wú)人旋翼飛行器自動(dòng)飛行控制，也作為異常情況下的人工干預(yù)系統(tǒng)。

實(shí)驗(yàn)為讀取并解算雙目相機(jī)的模型參數(shù)和安裝誤差，在地面測(cè)控站上構(gòu)建了基于Ubuntu和ROS的實(shí)驗(yàn)環(huán)境，同時(shí)進(jìn)行旋翼飛行器、傳感器與定位數(shù)據(jù)和雙目相機(jī)圖像采集的工作。通過(guò)飛行、圖像等實(shí)驗(yàn)數(shù)據(jù)的采集，檢驗(yàn)學(xué)生掌握視覺定位、慣性/視覺導(dǎo)航原理和ROS操作的學(xué)習(xí)情況，從實(shí)踐環(huán)節(jié)加強(qiáng)對(duì)學(xué)生硬件架構(gòu)、軟件編程、實(shí)踐操作等能力的鍛煉。

4實(shí)驗(yàn)與結(jié)果分析

基于上述構(gòu)建的基于雙目視覺的旋翼無(wú)人機(jī)實(shí)驗(yàn)平臺(tái)，可安排學(xué)生在實(shí)驗(yàn)環(huán)境（比如操場(chǎng)等）下采集旋翼無(wú)人機(jī)的位姿數(shù)據(jù)，并與差分GPS結(jié)果進(jìn)行分析。旋翼無(wú)人機(jī)機(jī)載傳感器的輸出信息按照“北東地”坐標(biāo)系輸出信息，定義原點(diǎn)為起始時(shí)刻左像機(jī)光心，X軸為左光心指向右光心，Z軸為左光軸反方向，Y軸為垂直于XZ平面向下構(gòu)建的光軸。

分別對(duì)東向和北向進(jìn)行分析，計(jì)算解得東向誤差為0.8834米，北向誤差為1.4489米，綜合誤差為1.697米。其估計(jì)誤差分布如圖4、圖5所示。

誤差曲線

通過(guò)誤差對(duì)比和繪制曲線，檢驗(yàn)學(xué)生對(duì)雙目視覺圖像采集處理與定位算法的掌握與完成情況。

5結(jié)語(yǔ)

本文設(shè)計(jì)了基于雙目視覺的旋翼無(wú)人機(jī)實(shí)驗(yàn)平臺(tái)和定位綜合實(shí)驗(yàn)?；陔p目視覺里程計(jì)原理建立了雙目視覺里程計(jì)誤差模型，開發(fā)了基于雙目視覺里程計(jì)的三維構(gòu)圖技術(shù)。在此基礎(chǔ)上，通過(guò)大疆公司的旋翼無(wú)人機(jī)平臺(tái)，搭載雙目相機(jī)，采集旋翼無(wú)人機(jī)的運(yùn)動(dòng)位姿信息，并利用Ubuntu系統(tǒng)中的ROS環(huán)境解算獲得旋翼無(wú)人機(jī)的位姿結(jié)果。實(shí)驗(yàn)結(jié)果對(duì)比表明，本文研究的方法、搭建的平臺(tái)，可以有效獲得載體的運(yùn)動(dòng)位姿信息，具有良好的可操作性和實(shí)際使用價(jià)值?；陔p目視覺的旋翼無(wú)人機(jī)定位綜合實(shí)驗(yàn)作為控制學(xué)科導(dǎo)航方向課程類、綜合性設(shè)計(jì)實(shí)驗(yàn)，充分結(jié)合了傳感器與檢測(cè)技術(shù)、現(xiàn)代導(dǎo)航原理等專業(yè)理論知識(shí)和實(shí)驗(yàn)實(shí)踐類課程，有效促進(jìn)并檢驗(yàn)學(xué)生掌握專業(yè)知識(shí)，拓展實(shí)踐與創(chuàng)新思維的能力。

基金項(xiàng)目：南京航空航天大學(xué)教育科學(xué)與改革專項(xiàng)課題“2020JYKX-13”

參考文獻(xiàn)

[1]權(quán)美香，樸松昊，李國(guó).視覺SLAM綜述[J].智能系統(tǒng)學(xué)報(bào)，2016，11（06）：768-776.

[2]劉浩敏，章國(guó)鋒，鮑虎軍.基于單目視覺的同時(shí)定位與地圖構(gòu)建方法綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（06）：855-868.

[3]翁一楨.基于視覺里程計(jì)與慣導(dǎo)融合技術(shù)的四旋翼位姿估計(jì)[D].浙江大學(xué)，2018.

[4]郝寧.基于視覺慣性組合的運(yùn)動(dòng)與結(jié)構(gòu)估計(jì)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱工業(yè)大學(xué)，2018.

[5]羅桂娥.雙目立體視覺深度感知與三維重建若干問題研究[D].中南大學(xué)，2012.

[6]施陳博.快速圖像配準(zhǔn)和高精度立體匹配算法研究[D].清華大學(xué)， 2011.

[7]李一博.微小型飛行器視覺感知與自主導(dǎo)航關(guān)鍵技術(shù)研究[D].南京航空航天大學(xué)，2019.

[8]王云舒.特殊視覺應(yīng)用環(huán)境下微小型飛行器視覺/慣性組合導(dǎo)航關(guān)鍵技術(shù)[D].南京航空航天大學(xué)，2018.

[9]張誠(chéng).基于視覺和慣性信息融合的語(yǔ)義SLAM研究[D].長(zhǎng)春理工大學(xué)，2020.