旋翼無人機單目視覺障礙物徑向光流檢測法

張小東，郝向陽，孫國鵬，徐亞麗

1. 西安測繪總站，陜西 西安 710000； 2. 信息工程大學導航與空天目標工程學院，河南 鄭州 450000

張小東，郝向陽，孫國鵬，等.旋翼無人機單目視覺障礙物徑向光流檢測法[J].測繪學報，2017,46(9)：1107-1115.

10.11947/j.AGCS.2017.20160510.

ZHANG Xiaodong,HAO Xiangyang,SUN Guopeng,et al.Monocular Vision Obstacle Detection Method Based on Radial Optical Flow for Rotor UAV[J]. Acta Geodaetica et Cartographica Sinica,2017,46(9):1107-1115. DOI:10.11947/j.AGCS.2017.20160510.

旋翼無人機單目視覺障礙物徑向光流檢測法

張小東1,2，郝向陽2，孫國鵬2，徐亞麗2

1. 西安測繪總站，陜西 西安 710000； 2. 信息工程大學導航與空天目標工程學院，河南 鄭州 450000

針對旋翼無人機在室外復雜環(huán)境下傳統(tǒng)金字塔LK光流法檢測障礙物準確性不高，適應性差的問題，提出了一種基于徑向光流的單目視覺自主實時障礙物檢測方法。該方法通過融合金字塔LK光流與切向光流求解徑向光流，并基于徑向光流設計了一種新的障礙物判定策略檢測障礙物。試驗表明，與傳統(tǒng)金字塔LK光流法相比，在不增加算法復雜度的情況下，該方法具有更高的準確性和更強的適應性，可滿足工程實踐中無人機自主避障要求。

旋翼無人機;單目視覺;障礙物檢測;徑向光流;金字塔LK光流;切向光流

目前旋翼無人機的應用越來越廣泛，實現(xiàn)智能化是無人機發(fā)展的必然趨勢，其中自主避障是無人機實現(xiàn)智能化的一個亟需解決的問題。視覺傳感器具有隱蔽性好、信息豐富、目標完整等優(yōu)點，是實現(xiàn)自主導航與避障的一種較為優(yōu)良的環(huán)境感知系統(tǒng)。目前，國內(nèi)外許多高校和研究機構(gòu)都開展了無人機視覺導航與避障技術(shù)研究。文獻[1—2]采用立體視覺實現(xiàn)了旋翼無人機室內(nèi)避障飛行；文獻[3]采用深度相機獲得室內(nèi)環(huán)境的位置信息，實現(xiàn)了室內(nèi)自主避障飛行，但他們的方法只適用于室內(nèi)已知環(huán)境，不能滿足室外復雜環(huán)境的避障需求。文獻[4]采用光流法與運動補償，實現(xiàn)了障礙物檢測；文獻[5]采用人工識別與光流法，實現(xiàn)了無人機的自主著陸和室外避障飛行；文獻[6]采用SLAM與光流法，實現(xiàn)了固定翼無人機的自主避障；文獻[7]采用光流法實現(xiàn)了旋翼無人機室外避障飛行；文獻[8]采用二值模板匹配與光流法，實現(xiàn)了無人機自主著陸與室外避障；文獻[9]采用光流融合方法實現(xiàn)了旋翼無人機室外避障。他們都采用光流法檢測障礙物從而實現(xiàn)無人機避障，但是這些方法都要求無人機必須向正前方飛行，否則會降低障礙物檢測的準確性與可靠性?，F(xiàn)有的視覺避障研究大部分都基于圖像分割，圖像深度提取，以及眾多的光流算法[10-12]。圖像分割方法計算效率高，但精度比較低[13]。深度提取方法需構(gòu)建3D地圖，難以滿足無人機實時避障的要求[14-15]。光流法能兼顧實時性與準確性，是一種較為優(yōu)良的障礙物檢測算法，但傳統(tǒng)光流算法只適用于沿正前方的理想飛行，當飛行偏離理想軌跡時，其準確性與適應性不能滿足避障要求。

針對傳統(tǒng)光流算法在室外復雜環(huán)境下障礙物檢測準確性不高的問題，本文提出一種基于徑向光流的旋翼無人機單目視覺自主實時障礙物檢測方法。該方法用金字塔LK光流與切向光流求差得到徑向光流，可消除切向光流帶來的誤差，提高了算法的準確性，能夠滿足無人機的室外避障飛行。

1 徑向光流原理及計算

根據(jù)環(huán)境條件或作業(yè)需求，無人機在飛行過程中不僅有正前方向的移動，還有上下左右的移動，可將無人機正前方向的移動稱為徑向移動，垂直于正前方向的移動稱為切向移動。由無人機徑向移動產(chǎn)生的光流稱為徑向光流，切向移動產(chǎn)生的光流稱為切向光流，求解金字塔LK光流和切向光流的矢量差可得到徑向光流。徑向光流是檢測障礙物的重要依據(jù)，本節(jié)重點介紹徑向光流的基本原理與計算方法。

1.1 金字塔LK光流

光流法是一種能根據(jù)相對較小變化產(chǎn)生流動向量的圖像運動表達方式[16]。光流含有豐富的運動信息，反映了運動載體拍攝到圖像的變化[17-18]，因此可以用來確定載體與目標的相對運動。常見的光流法中LK光流法具有較好的穩(wěn)健性，因此本文采用LK光流求解圖像的光流。

LK光流算法基于以下3個假設，相鄰兩幅影像之間滿足：①亮度恒定；②運動是“小運動”；③空間一致，臨近點有相似運動，保持相鄰[19]。

由假設(1)亮度恒定可以得到一個約束方程

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)

(1)

式中，I(x,y,t)是t時刻圖像中點(x,y)的亮度；Δx與Δy分別為x與y在Δt時間內(nèi)的增量。

由假設②可知像素的移動足夠小，對圖像約束方程使用泰勒公式，并舍去高次項，可得

(2)

將式(2)代入式(1)可得

(3)

對式(3)兩邊同時除以Δt，即可得到光流約束方程

Ixvx+Iyvy+It=0

(4)

將式(4)寫成矩陣形式

(5)

將式(5)記為：Av=b。由于光流偏差與各點光流與中心點的距離相關(guān)，距離越大，光流偏差也越大，給予靠近中心的像素更多的權(quán)重會更有利。因此，取一個從中心向四周遞減的W函數(shù)作為權(quán)值函數(shù)，從而加強控制領(lǐng)域中心部分的光流偏差。采用最小二乘法求解式(5)可得LK光流v為

(6)

LK方法要求必須滿足小運動，亮度不變以及區(qū)域一致，但無人機運動較快使圖像中近距離物體產(chǎn)生的光流變化較大，不能滿足假設條件，導致最終求得的光流值有較大的偏差，因此本文采用圖像金字塔對光流進行從粗到精的估計，如圖1所示。在圖像金字塔的最高層計算光流，用得到的運動估計結(jié)果作為下一層金字塔的起始點，重復這個過程至金字塔最底層，這樣就能將不滿足運動假設的可能性降到最低[20]。

圖1 金字塔LK光流原理Fig.1 Principle of Pyramid LK optical flow

1.2 切向光流

切向光流是無人機切向移動產(chǎn)生的光流，表示了前一幀圖像到后一幀圖像的整體移動量。本文根據(jù)連續(xù)兩幀圖像的單應矩陣H求解切向光流。

單應矩陣可以表示空間中同一平面的任意兩幅圖像的對應關(guān)系[21]，而本文所用的影像并非來自同一平面。為解決這一問題，本文使用RANSAC算法對所有的特征點進行篩選，取盡可能多的點在同一平面，將這個平面稱為最優(yōu)障礙物平面。用最優(yōu)障礙物平面上的點計算單應矩陣H，可降低計算誤差。

(7)

vqi=(xk+1,yk+1)i-(xk,yk)i

(8)

切向光流表示兩幀圖像之間整體的移動量，在圖像上均勻選取n×n個點，分別求解切向光流，然后求均值可得這兩幀圖像的切向光流vq

(9)

1.3 光流融合計算徑向光流

金字塔LK光流是由于無人機的實際運動產(chǎn)生的光流，無人機的運動可分解為徑向移動與切向移動，因此金字塔LK光流可分解為徑向光流與切向光流。如圖3所示，左上圖為金字塔LK光流，左下圖為切向光流，二者求矢量差可得到右圖的徑向光流。徑向光流公式如下

vj=v-vq

(10)

圖3 光流示意圖Fig.3 Diagram of the optical flow

2 徑向光流檢測障礙物

光流可以表示連續(xù)兩幀圖像上像素點的運動量[22]，徑向光流的大小能夠表示前方物體的距離遠近。本節(jié)通過分析攝像機成像得到徑向光流與運動的關(guān)系，并基于此設定檢測閾值，比較檢測閾值與徑向光流的大小進行障礙物檢測。

2.1 光流的原理與分析

分析攝像機成像原理可得影響徑向光流的基本因素。本文采用針孔攝像機模型[23-24]。如圖4所示，空間一點對一張平面進行中心投影，令投影中心位于一個歐氏坐標系的原點，平面Z=f被稱為圖像平面。在針孔攝像機模型下，物點M被映射到圖像平面上的一點，該點是連接物點M與投影中心的直線與圖像平面的交點，稱為像點m。圖中，投影中心C為攝像機中心，攝像機中心到圖像平面的垂線稱為攝像機的主軸，而主軸與圖像平面的交點P為圖像中點，過物點M平行于圖像平面的平面稱為物平面。

圖4 針孔攝像機幾何模型Fig.4 Geometric model of pinhole camera

連續(xù)拍攝兩幀圖像，其成像模型如圖5所示，C1、C2為攝像機中心；P1、P2為兩幀圖像的中點；D為基線長度；d1、d2為物距，即攝像機中心到物平面的距離；H為物點M到主軸的距離；h1、h2為像點m1、m2到主軸的距離。在圖像坐標系內(nèi)，像點m1到m2的矢量即為兩幀圖像上物點M產(chǎn)生的光流。

圖5 兩幀圖像的成像模型Fig.5 The imaging model of two-frame image

根據(jù)相似三角形原理，可知

(11)

飛行過程中保持焦距不變，故f1=f2，由圖5可知D=d1-d2，代入式(11)可得光流的表達式為

|v|=h1D/d2

(12)

由式(12)可知，光流與特征點到圖像中點的距離h1成正比，與基線長度D成正比，與物距d2成反比?；€長度D是無人機的飛行速度V與拍攝時間間隔t的乘積，因此光流與速度V和拍攝間隔t成正比。

2.2 障礙物檢測

利用運動視差可以判斷場景物體與觀察者的相對距離[25-26]。將攝像頭看作運動的觀察者，由于觀察者觀察位置的遠近不同，前方物體出現(xiàn)的視角變化也不同，即產(chǎn)生的光流存在差異。距離攝像頭近的物體視角變化較大，產(chǎn)生光流較大，距離攝像頭遠的物體，視角變化較小，產(chǎn)生光流較小，距離為無窮遠時，光流為零[27]。利用這一原理來估計障礙物到無人機的距離。

如圖6所示，L為危險距離，到無人機的距離大于L的區(qū)域為安全區(qū)域，小于L的區(qū)域為危險區(qū)域。若目標物體進入無人機危險區(qū)域，則會影響到無人機飛行，判定其為障礙物，需要采取避障行為；若未進入危險區(qū)域，則判定為非障礙物，則飛行路線不變。如圖6中所示，檢測到前方有3個物體，其中物體Ⅰ進入了危險區(qū)域，物體Ⅱ、Ⅲ未進入危險區(qū)域，因此物體Ⅰ為障礙物，物體Ⅱ、Ⅲ不是障礙物。

圖6 障礙物檢測模型Fig.6 Obstacle detection model

由2.1節(jié)內(nèi)容知，徑向光流與特征點到圖像中點的距離h1成正比，與基線長度D成正比，與物距d2成反比，當物距d2大于危險距離L時無人機處于安全狀態(tài)，取d2=L處的光流值作為核心閾值WL。核心閾值可以表示為

WL=h1D/L

(13)

試驗發(fā)現(xiàn)，越靠近圖像中點的系統(tǒng)誤差越大，圖像中點的理論光流為0，但真值往往不為0，會引起障礙物的誤檢。為避免這一現(xiàn)象，給閾值增加一個較小的基本閾值W0，通?；鹃撝礧0的取值范圍為0.1～0.3。檢測障礙物所用的檢測閾值W為核心閾值與基礎(chǔ)閾值之和，公式如下

W=h1D/L+W0

(14)

比較徑向光流與檢測閾值的大小，若徑向光流大于檢測閾值，則物距d2小于危險距離L，檢測到前方有障礙物，若徑向光流小于檢測閾值，則前方物體未進入無人機危險區(qū)域，檢測到無障礙物。

徑向光流檢測障礙物算法的實現(xiàn)流程如下：

(1) 通過金字塔LK光流法求解兩幀圖像上同名點的光流向量集合

Ja={(as0，ae0)，(as1,ae1)…，(asn，aen)}

(15)

式中，n為同名點個數(shù)；n∈N；Ja為光流向量集合；(asi,aei)為每個光流的起點與終點。

(2) 計算兩幀圖像的切向光流vq。

(3) 求解金字塔LK光流與切向光流的矢量差，得到徑向光流的向量集合

Jb={(bs0，be0)，…，(bsn，ben)}

(16)

式中，(bsi,bei)=(asi,aei-vq)。

(4) 計算每個徑向光流的大小

(17)

(5) 計算前一幀圖像上的特征點到圖像中心點的距離

(18)

式中，(Ox,Oy)是圖像中點的坐標。

(6) 將徑向光流中|vji|>0.3h1i的奇異點從向量集合中剔除。

(7) 根據(jù)已知的危險距離L、基線長度D設定檢測閾值W

W=h1D/L+W0

(19)

(8) 比較徑向光流與檢測閾值，當|vji|>Wi時，認為障礙物進入無人機的危險區(qū)域。

3 試 驗

本節(jié)設計了兩組試驗對徑向光流檢測障礙物算法的性能進行驗證，采用高精度視覺導航工控平臺模擬無人機飛行進行半實物仿真試驗，采用四旋翼無人機進行實際飛行試驗。

3.1 半實物仿真試驗

半實物仿真試驗以高精度視覺導航工控平臺為試驗平臺，如圖7所示。該平臺可以控制攝像機上下、左右、前后運動，誤差為0.01 mm，攝像機像素為640×480像素。試驗用沙盤模擬障礙物，用攝像機的移動模擬無人機飛行，攝像機方向始終豎直向下，攝像機的上下移動為徑向移動，攝像機的前后左右移動為切向移動。由于該設備的精度高，誤差小，因此試驗結(jié)果具有較高的可靠性。

圖7 高精度視覺導航工控平臺Fig.7 High-precision visual navigation industrial control platform

試驗1：分別用傳統(tǒng)金字塔LK光流與徑向光流檢測障礙物

攝像機在高為1.9 m處拍攝第1幀圖像，向下移0.1 m又向右移0.05 m后拍攝第2幀圖像。由于沙盤有0.2 m的起伏高度，所以物距d2的取值范圍為1.6～1.8 m，攝像機的切向移動產(chǎn)生了切向光流。分別用金字塔LK光流與徑向光流對障礙物(有光流的區(qū)域)進行檢測。

圖8為金字塔LK光流的障礙物檢測結(jié)果。圖8(a)為金字塔LK光流。根據(jù)危險距離L設定閾值，當L為1.8 m、1.7 m、1.6 m時對應的閾值為W1、W2、W3。比較金字塔LK光流與檢測閾值檢測障礙物，其理想結(jié)果為：L=1.8 m時，整個沙盤進入危險區(qū)域，全區(qū)域都有光流；L=1.7 m時，只有沙盤凸起處進入危險區(qū)域，部分區(qū)域有光流；L=1.6 m時，全區(qū)域未進入危險區(qū)域，無光流。實際檢測結(jié)果如圖8(b)、(c)、(d)所示，左側(cè)較小的光流被剔除，右側(cè)較大的光流未被剔除，與理想結(jié)果完全不符合。因此，當存在切向光流時，傳統(tǒng)金字塔LK光流不能準確檢測到障礙物。

圖9為徑向光流的障礙物檢測結(jié)果。圖9(a)為金字塔LK光流，圖9(b)為切向光流，圖9(c)為徑向光流。比較徑向光流與檢測閾值的大小檢測障礙物，圖9(d)為L=1.8 m時閾值W1的檢測結(jié)果，全區(qū)域都有光流；圖9(e)為L=1.7 m時閾值W2的檢測結(jié)果，只有沙盤凸起區(qū)域有光流；圖9(f)為L=1.6 m時閾值W3的檢測結(jié)果，全區(qū)域無光流，檢測結(jié)果與理想結(jié)果完全符合。因此，徑向光流可以規(guī)避切向光流的影響，準確檢測到障礙物。

圖8 金字塔LK光流檢測障礙物Fig.8 Pyramid LK optical flow detect obstacle

圖9 徑向光流檢測障礙物Fig.9 Radial optical flow detect obstacle

試驗2：在不同物距、不同閾值條件下用徑向光流檢測障礙物

攝像機在高為1.9 m、1.8 m、1.7 m處各拍攝一幀圖像，且在拍攝過程中除了徑向移動，還有切向移動。第1、2幀圖像的物距d2的范圍為1.6～1.8 m，第2、3幀圖像的物距d2的范圍為1.5～1.7 m，危險距離L=1.7 m對應閾值W1，L=1.6 m對應閾值W2。若物距d2小于危險距離L，則這一區(qū)域進入危險區(qū)域，可判定其為障礙物。比較徑向光流與檢測閾值檢測障礙物，結(jié)果如圖10所示。

圖10 障礙物檢測結(jié)果Fig.10 Obstacle detection results

當物距d2=1.6～1.8 m，L=1.7 m，閾值為W1時，檢測結(jié)果如圖10(a)所示，沙盤上只有凸起部分為障礙物；當物距d2=1.5～1.7 m，L=1.7 m，閾值為W1時，如圖10(b)所示，整個沙盤都是障礙物；當物距d2=1.6～1.8 m，L=1.6 m，閾值為W2時，如圖10(c)所示，全區(qū)域無障礙物；當物距d2=1.5～1.7 m，L=1.6 m，閾值為W2時，如圖10(d)所示，沙盤上凸起區(qū)域為障礙物。從試驗結(jié)果可以看出，當物體進入危險區(qū)域時徑向光流可以準確檢測到障礙物。

半實物仿真試驗結(jié)果表明，徑向光流可以規(guī)避切向光流引入的誤差，檢測效果遠高于傳統(tǒng)的金字塔LK光流法，當障礙物進入預設的危險區(qū)域時，用徑向光流可以準確的檢測到障礙物。

3.2 無人機實際飛行試驗

采用四旋翼無人機進行室外實際飛行試驗對本文提出的障礙物檢測算法的性能進行驗證。旋翼無人機主要參數(shù)如下：最大時速為20 km/h；最長飛行時間為25 min；CCD攝像機像素為480×270像素。用無人機采集圖像，然后用PC平臺進行數(shù)據(jù)處理，最后用算法進行障礙物檢測。

試驗1：室外環(huán)境下分別用傳統(tǒng)金字塔LK光流與徑向光流檢測障礙物。

本試驗以距離無人機較近的樹冠為目標障礙物，其他物體作為背景，無人機以1 m/s的速度向前飛行，在風的作用下有向左的切向移動。每隔0.5 s采集一幀圖像，采用距離目標障礙物約為5 m和4.5 m的兩幀圖像進行試驗。由此可知物距d2=4.5 m，基線長度D=0.5 m，當危險距離L為4.5 m、3.5 m時，對應的閾值W1、W2。分別用金字塔LK光流和徑向光流檢測障礙物，結(jié)果如圖11所示。

圖11 障礙物檢測結(jié)果Fig.11 Obstacle detection results

圖11(a)為金字塔LK光流，圖11(b)為徑向光流。圖11(c)、(d)為金字塔LK光流法的檢測結(jié)果，當L=4.5 m，閾值為W1時，如圖11(c)所示，左側(cè)黑色線框中不該被剔除的光流被剔除，存在漏檢，右下角黑色線框中該被剔除的光流未被剔除，存在誤檢；當L=3.5 m，閾值為W2時，如圖11(d)所示，左側(cè)漏檢區(qū)域變得更大。圖11(e)、(f)為徑向光流法的檢測結(jié)果，當L=4.5 m，閾值為W1時，如圖11(e)所示，可準確檢測到障礙物；當L=3.5 m，閾值為W2時，如圖11(f)所示，檢測到無障礙物。從試驗結(jié)果可以看出，當存在切向光流時，傳統(tǒng)金字塔LK光流法會有漏檢或錯檢，而徑向光流可以準確檢測到障礙物。

試驗2：在不同物距、不同閾值條件下用徑向光流檢測障礙物。

無人機飛行環(huán)境不變，采用距離目標障礙物分別約為5.5 m、5 m和4.5 m的3幀圖像進行試驗?；€長度D=0.5 m，第1、2幀圖像的對應物距d2=5 m，第2、3幀圖像的對應物距d2=4.5 m。取危險距離L為5 m、4.5 m時對應的閾值為W1、W2。用徑向光流檢測障礙物，結(jié)果如圖12所示。

圖12(a)為d2=5 m，閾值為W1時的障礙物檢測結(jié)果，可檢測到目標障礙物；圖12(b)為d2=5 m，閾值為W2時的檢測結(jié)果，檢測到無障礙物，此時目標障礙物未進入危險區(qū)域；圖12(c)為d2為4.5 m，閾值為W2時的檢測結(jié)果，可檢測到目標障礙物。從試驗結(jié)果看出，若障礙物進入無人機的危險區(qū)域，二者之間的距離小于危險距離，則用徑向光流可以檢測到障礙物，若障礙物未進入危險區(qū)域，二者之間的距離大于危險距離，則檢測結(jié)果為無障礙物。

無人機實際飛行試驗的結(jié)果表明：徑向光流檢測障礙物的方法能夠規(guī)避無人機切向運動引入的誤差，對障礙物的檢測效果良好，可以滿足無人機室外環(huán)境下的自主避障需求。

4 結(jié) 論

旋翼無人機在室外環(huán)境下運動狀態(tài)多變，傳統(tǒng)光流法不能在同時有徑向運動和切向運動的情況下準確檢測到障礙物，針對這一問題，本文提出了一種徑向光流檢測障礙物的方法。旋翼無人機的實際運動可以分解為徑向運動和切向運動，用金字塔LK光流求解得到無人機實際運動產(chǎn)生的光流，通過單應矩陣求解得到切向移動產(chǎn)生的切向光流，二者求矢量差可得無人機徑向移動產(chǎn)生的徑向光流。徑向光流與被檢測物體的物距成反比，設無人機在危險距離處的徑向光流為檢測閾值，比較被檢測物體產(chǎn)生的徑向光流與檢測閾值的大小可以判定被檢測物體是否進入危險區(qū)域，從而檢測出障礙物的位置。半實物仿真試驗與實際飛行試驗結(jié)果表明：

(1) 徑向光流檢測障礙物的準確性較高，當被檢測物體進入無人機危險區(qū)域時可以準確檢測到障礙物。

(2) 徑向光流能夠規(guī)避無人機切向移動引入的誤差，可用于室外環(huán)境下旋翼無人機自主避障。

本文提出的障礙物檢測方法為無人機自主避障提供了一種新的思路。需要指出的是，本文只是在視覺避障領(lǐng)域進行了初步的探究，還存在許多不足之處需要在后續(xù)工作中繼續(xù)完善。

[1] REINEMAN B D, LENAIN L, STATOM N M, et al. Development and Testing of Instrumentation for UAV-based Flux Measurements within Terrestrial and Marine Atmospheric Boundary Layers[J]. Journal of Atmospheric and Oceanic Technology, 2013, 30(7): 1295-2954.

[2] 馬源. 基于雙目立體視覺的深度感知技術(shù)研究[D]. 北京: 北京理工大學, 2015.

MA Yuan. Research on Depth Perception Based on the Binocular Stereo Vision[D]. Beijing: Beijing Institute of Technology, 2015.

[3] CHAO Haiyang, CAO Yongcan, CHEN Yangquan. Autopilots for Small Unmanned Aerial Vehicles: A Survey[J]. International Journal of Control, Automation and Systems, 2010, 8(1): 36-44.

[4] ZINGG S, SCARAMUZZA D, WEISS S, et al. MAV Navigation through Indoor Corridors Using Optical Flow[C]∥Proceedings of the 2010 IEEE International Conference on Robotics and Automation (ICRA). Anchorage, AK: IEEE, 2010: 3361-3368.

[5] LIYANAGE D K, PERERA M U S. Optical Flow Based Obstacle Avoidance for the Visually Impaired[C]∥Proceedings of the 2012 IEEE Business Engineering and Industrial Applications Colloquium (BEIAC). Kuala Lumpur: IEEE, 2012: 284-289.

[6] LIAU Y S, ZHANG Qun, LI Yanan, et al. Non-metric Navigation for Mobile Robot Using Optical Flow[C]∥Proceedings of the 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vilamoura: IEEE, 2012: 4953-4958.

[7] SRINIVASAN M V, MOORE R J D, THURROWGOOD S, et al. From Biology to Engineering: Insect Vision and Applications to Robotics[M]∥BARTH F G, HUMPHREY J A C, SRINIVASAN M V. Frontiers in Sensing. Vienna: Springer, 2012: 19-39.

[8] 徐偉杰. 基于視覺的微小型無人直升機位姿估計與目標跟蹤研究[D]. 杭州: 浙江大學, 2012.

XU Weijie. Research on Vision-based Pose Estimation and Object Tracking for Miniature Unmanned Helicopter[D]. Hangzhou: Zhejiang University, 2012.

[9] 趙海, 陳星池, 王家亮, 等. 基于四軸飛行器的單目視覺避障算法[J]. 光學 精密工程, 2014, 22(8): 2232-2241.

ZHAO Hai, CHEN Xingchi, WANG Jialiang, et al. Obstacle Avoidance Algorithm Based on Monocular Vision for Quad-rotor Helicopter[J]. Optics and Precision Engineering, 2014, 22(8): 2232-2241.

[11] 易禮智. 基于機器視覺的避障智能小車系統(tǒng)研究[D]. 長沙: 中南大學, 2012.

YI Lizhi. Research on Obstacle Avoidance Smart Car System Based on Machine Vision[D]. Changsha: Central South University, 2012.

[12] 鄭海華. 基于視覺的平地探測機器人避障研究[D]. 長沙: 中南大學, 2014.

ZHENG Haihua. Research on Obstacle Avoidance of Flat Detection Robot Based on Vision[D]. Changsha: Central South University, 2014.

[13] 劉正東, 高鵬, 楊靜宇. 一種用于道路避障的雙目視覺圖像分割方法[J]. 計算機應用研究, 2005, 22(4): 249-251.

LIU Zhengdong, GAO Peng, YANG Jingyu. Binocular Image Segmentation Algorithm for Obstacles Avoidance[J]. Application Research of Computers, 2005, 22(4): 249-251.

[14] KENDOUL F, FANTONI A, NONAM A. Optic Flow-based Vision System for Autonomous 3D Localization and Control of Small Aerial Vehicles[J]. Robotics and Autonomous Systems, 2009, 57(6-7): 591-602.

[15] GRIGORESCU S M, MACESANU G, COCIAS T T, et al. Robust Camera Pose and Scene Structure Analysis for Service Robotics[J]. Robotics and Autonomous Systems, 2011, 59(11): 889-909.

[16] VO V, LY N. An Effective Approach for Human Actions Recognition Based on Optical Flow and Edge Features[C]∥Proceedings of the 2012 International Conference on Control, Automation and Information Sciences (ICCAIS). Ho Chi Minh City: IEEE, 2012: 24-29.

[17] CHATTERJEE A, RAKSHIT A, SINGH N N. 基于視覺的自主機器人導航[M]. 連曉峰, 譯. 北京: 機械工業(yè)出版社, 2014.

CHATTERJEE A, RAKSHIT A, SINGH N N. Vision Based Autonomous Robot Navigation[M]. LIAN Xiaofeng, trans. Beijing: Machinery Industry Press, 2014.

[18] 張正鵬, 江萬壽, 張靖. 自適應運動結(jié)構(gòu)特征的車載全景序列影像匹配方法[J]. 測繪學報, 2015, 44(10): 1132-1141. DOI: 10.11947/j.AGCS.2015.20140622.

ZHANG Zhengpeng, JIANG Wanshou, ZHANG Jing. An Matching Method for Vehicle-borne Panoramic Image Sequence Based on Adaptive Structure from Motion Feature[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(10): 1132-1141. DOI: 10.11947/j.AGCS.2015.20140622.

[19] BRADSKI G, KAEHLER A. 學習OpenCV[M]. 于仕琪, 劉瑞禎, 譯. 北京: 清華大學出版社, 2009: 358-366.

BRADSKI G, KAEHLER A. Learning OpenCV[M]. YU Shiqi, LIU Ruizhen, trans. Beijing: Tsinghua University Press, 2009: 358-366.

[20] 李佳田, 李顯凱, 李應蕓, 等. 航空圖像光流場的逆向金字塔計算方法[J]. 測繪學報, 2016, 45(9): 1059-1064. DOI: 10.11947/j.AGCS.2016.20150367.

LI Jiatian, LI Xiankai, LI Yingyun, et al. A Backward Pyramid Oriented Optical Flow Field Computing Method for Aerial Image[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(9): 1059-1064. DOI: 10.11947/j.AGCS.2016.20150367.

[21] HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. Cambridge: Cambridge University Press, 2004.

[22] EBERLI D, SCARAMUZZA D, WEISS S, et al. Vision Based Position Control for MAVs Using One Single Circular Landmark[J]. Journal of Intelligent & Robotic System, 2011, 61(1-4): 495-512.

[23] HARTLEY R, ZISSERMAN A. 計算機視覺中的多視圖幾何[M]. 韋穗, 楊尚駿, 章權(quán)兵, 譯. 合肥: 安徽大學出版社, 2002.

HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. WEI Hui, YANG Shangjun, ZHANG Quanbing, trans. Hefei: Anhui University Press,

2002.

[24] 崔燕茹. 基于雙目視覺的障礙物識別與重建[D]. 南昌: 南昌航空大學, 2012.

CUI Yanru. Obstacle Recognition and Reconstruction Based on Binocular Vision[D]. Nanchang: Nanchang Hangkong University, 2012.

[25] STEFANOSKI N, WANG O, LANG M, et al. Automatic View Synthesis by Image-domain-warping[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3329-3341.

[26] 夏軍營, 徐小泉, 熊九龍. 利用平行透視投影模型的位姿迭代估計[J]. 光學 精密工程, 2012, 20(6): 1342-1349.

XIA Junying, XU Xiaoquan, XIONG Jiulong. Iterative Pose Estimation Using Paraperspective Camera Model[J]. Optics and Precision Engineering, 2012, 20(6): 1342-1349.

[27] 戴碧霞. 基于光流的微小型飛行器室內(nèi)避障方法研究[D]. 成都: 電子科技大學, 2015.

DAI Bixia. Research on Obstacle Avoidance Method of MAV in Indoor Environment Based on Optical Flow[D]. Chengdu: University of Electronic Science and Technology of China, 2015.

Monocular Vision Obstacle Detection Method Based on Radial Optical Flow for Rotor UAV

ZHANG Xiaodong1,2,HAO Xiangyang2,SUN Guopeng2,XU Yali2

1. Xi’an Division of Surveying and Mapping,Xi’an 710000,China； 2. Information Engineering University, School of Navigation and Aerospace Engineering, Zhengzhou 450000, China

To solve the problem of traditional Pyramid LK optical flow algorithm’s poor accuracy and adaptability for rotor UAV to detect obstacle in complex outdoor environment, a monocular autonomous real-time obstacle detection method based on radial optical flow is proposed. In the optical flow, the radial optical flow is computed by fusing Pyramid LK optical flow with tangential optical flow, and a new obstacles decision strategy to detect obstacles based on the radial optical flow is put forward. Experimental results show that without increasing the complexity of algorithm, the proposed method can get a higher accuracy and better adaptability than traditional Pyramid LK algorithm, which can meet the requirements of UAV autonomous obstacle avoidance.

rotor UAV; monocular vision; obstacle detection; radial optical flow; Pyramid LK optical flow; tangential optical flow

Information Engineering University “2110 Project” Construction Project (No. 510087)

ZHANG Xiaodong(1991—)，male, master, majors in visual navigation and visual inspection.

HAO Xiangyang

P235

A

1001-1595(2017)09-1107-09

信息工程大學“2110工程”建設項目(510087)

(責任編輯：張艷玲)

2016-10-24

修回日期： 2017-05-31

張小東(1991—)，男，碩士，研究方向為視覺導航與視覺檢測。

E-mail： 1228024443@qq.com

郝向陽