基于四旋翼飛行器的光流法動(dòng)態(tài)目標(biāo)檢測(cè)

王 卉，李麗霞，劉慧潔，侯欣明，年佳琪

(沈陽工程學(xué)院 a.新能源學(xué)院；b.自動(dòng)化學(xué)院，遼寧 沈陽110136)

基于四旋翼飛行器的光流法動(dòng)態(tài)目標(biāo)檢測(cè)

王 卉a，李麗霞b，劉慧潔b，侯欣明b，年佳琪b

(沈陽工程學(xué)院 a.新能源學(xué)院；b.自動(dòng)化學(xué)院，遼寧 沈陽110136)

針對(duì)四旋翼飛行器避障算法中對(duì)于運(yùn)動(dòng)的目標(biāo)檢測(cè)完整性不夠，準(zhǔn)確性及魯棒性不高的問題，提出了一種基于金字塔Lucas Kanade光流的單目視覺避障算法，提高了光流檢測(cè)到的運(yùn)動(dòng)目標(biāo)的完整性和魯棒性。通過引入圖像動(dòng)態(tài)模型建立光流約束條件，克服了因?yàn)榱炼雀淖円鸬募s束方程不成立問題。實(shí)驗(yàn)結(jié)果表明算法在飛行器低速飛行且遮擋和亮度變化條件下的跟蹤效果良好，并且顯著減少了匹配搜索的時(shí)間，節(jié)省了飛行器的飛行時(shí)間。

四旋翼飛行器；動(dòng)態(tài)背景補(bǔ)償；目標(biāo)檢測(cè)；Lucas Kanade光流

四旋翼飛行器具有體積小、輕便、效率高、功能多樣化等優(yōu)點(diǎn)，被廣泛的應(yīng)用在軍事、農(nóng)業(yè)、勘探、測(cè)量、生活等多個(gè)研究領(lǐng)域。針對(duì)四旋翼飛行器避障算法中運(yùn)動(dòng)目標(biāo)檢測(cè)的結(jié)果完整性不夠，魯棒性及準(zhǔn)確性不高的問題提出了一種基于金字塔LK光流法避障算法。光流法不但可以得到目標(biāo)的位置信息，而且可以檢測(cè)到被檢測(cè)目標(biāo)的運(yùn)動(dòng)方向等信息。通過獲得運(yùn)動(dòng)目標(biāo)的位置、速度、運(yùn)動(dòng)軌跡的信息，可以預(yù)估計(jì)出目標(biāo)的運(yùn)動(dòng)軌跡。再通過計(jì)算飛行器的運(yùn)動(dòng)速度以及軌跡，估算出能否規(guī)避障礙目標(biāo)。

1 四旋翼飛行器結(jié)構(gòu)及工作原理

1.1 四旋翼飛行器結(jié)構(gòu)

四旋翼飛行器的動(dòng)力學(xué)模型如圖1所示。

圖1 四旋翼飛行器的動(dòng)力學(xué)模型

四旋翼飛行器以機(jī)架為主干，4個(gè)旋翼分別固定在勻稱分布的4個(gè)懸臂上，各個(gè)螺旋槳通過動(dòng)態(tài)平衡調(diào)整處理，降低飛行器起飛后螺旋槳因高速旋轉(zhuǎn)所導(dǎo)致的震動(dòng)對(duì)主控制板上的姿態(tài)傳感器的影響。四翼飛行器中4個(gè)旋翼的同時(shí)作用共同產(chǎn)生起飛、降落、懸停、俯仰、橫滾和偏航等各種飛行動(dòng)作。

1.2 四旋翼飛行器避障工作原理

飛行器安裝的超聲波測(cè)距模塊，將捕捉到的距離信息，傳輸給飛行器的控制模塊，通過計(jì)算后得出相應(yīng)的控制量，以保證飛行器能夠合理避開障礙物。

由于超聲波在傳播過程中會(huì)產(chǎn)生回波竄繞現(xiàn)象,溫度對(duì)超聲波在空氣中傳播速率也有較大的影響,并且超聲波在傳播過程中存在衰減等現(xiàn)象，這些干擾因素導(dǎo)致超聲波在測(cè)量運(yùn)動(dòng)目標(biāo)中存在一定的誤差。因此，這里采用一種基于金字塔LK改進(jìn)的單目視覺避障方法，并列出了數(shù)學(xué)推導(dǎo)過程。

2 金字塔LK光流法

基于光流算法的最大優(yōu)點(diǎn)是能夠適用于光流攝像機(jī)移動(dòng)的場(chǎng)合，并且可以很好的處理運(yùn)動(dòng)中物體的重疊、互相遮蔽的情況。同時(shí)，光流算法不需要提前對(duì)圖像進(jìn)行處理或抽取部分特征，而是直接對(duì)圖像本身進(jìn)行處理，即可以從圖像序列中得到光流。當(dāng)微小型四旋冀飛行機(jī)器人在空中進(jìn)行飛行動(dòng)作時(shí)，其光流攝像頭獲得的圖像會(huì)在整體上體現(xiàn)出相應(yīng)的運(yùn)動(dòng)趨勢(shì)，圖像中的每一個(gè)像素點(diǎn)都會(huì)存在一定的運(yùn)動(dòng)規(guī)律。

E(x,y,t)=E(x+Δx,y+Δy,t+Δt)

(1)

當(dāng)該點(diǎn)的光流亮度發(fā)生變化時(shí)，將移動(dòng)后的像素點(diǎn)的亮度用Taylor級(jí)數(shù)展開，可得：

(2)

忽略其二階導(dǎo)數(shù)無窮小，當(dāng)Δt→0時(shí)，有：

(3)

式中,w=(u,v),上式即為基本的光流約束條件方程，其幾何解釋如圖2所示。并且令

(4)

式(4)表示圖像中的像素點(diǎn)灰度沿x，y，t方向上各自的梯度，可將上式改寫成：

Exu+Eyv+Et=0

(5)

因式中有u和v兩個(gè)未知量，卻只有一個(gè)約束方程，因此僅用一個(gè)像素點(diǎn)是不能夠確定光流的。這種不確定性的問題就是常說的孔徑問題，如圖3所示。針對(duì)式(5)中u與v的線性關(guān)系，即u-v構(gòu)成了一個(gè)二維空間，所以滿足(Ex,Ey)g(u,v)=-Et的點(diǎn)p(u,v)都在該u-v直線上，同時(shí)u-v直線還與圖像的梯度(Ex,Ey)相垂直，即可定義灰度輪廓的法向方向分量為vm=sn，其中n與s分別定義為法向分量的方向和模：

圖2 光流約束方程的幾何解釋

圖3 孔徑問題

(6)

運(yùn)用LK算法的前提是假設(shè)在像素點(diǎn)附近的領(lǐng)域內(nèi)圖像的光照亮度為不變，并通過最小二乘法來計(jì)算出像素點(diǎn)在附近鄰域內(nèi)的光流方程。結(jié)合附近其它像素提供的光流信息，LK算法可以解決光流方程的不確定性。由于算法只需要像素點(diǎn)附近小范圍的光流信息，因此對(duì)于噪聲的影響對(duì)其不是特別明顯。LK算法假設(shè)圖像的運(yùn)動(dòng)很小，以一個(gè)像素點(diǎn)為中心，周圍附近的圖像的光照是連續(xù)的。這樣光流方程即在像素點(diǎn)附近的窗口內(nèi)成立。將圖像在x，y方向上的圖像光流運(yùn)動(dòng)速度定為(Vx,Vy)，并且必須滿足以下方程組

Ix(q1)Vx+Iy(q1)=-It(q1)

Ix(q2)Vx+Iy(q2)=-It(q2)

?

Ix(qn)Vx+Iy(qn)=-It(qn)

(7)

式中，q1,q2，…,qn是在窗口內(nèi)的像素點(diǎn)；Ix(qi),Iy(qi),It(qi)是圖像中的像點(diǎn)在x,y方向和時(shí)間上的偏導(dǎo)數(shù)。方程組可以寫成矩陣的形式，Av=b，其中

(8)

(9)

(10)

LK用最小二乘原理求方程組的解，

ATAv=ATb或者v=(ATA)ATb可以求解出光流方程：

(11)

(12)

(13)

(14)

(15)

從匹配誤差的式子中可以得出，當(dāng)匹配誤差相對(duì)很小的時(shí)候，窗口變化的大小對(duì)于特征點(diǎn)的追蹤是可行的。假設(shè)在這一層上的光流dL和變換矩陣AL已經(jīng)得到計(jì)算結(jié)果，將所得結(jié)果傳遞給下一層，計(jì)算得出下一層的假設(shè)初值：

gL-1=2(gL+GLdL)
GL-1=GLAL

(16)

將式(16)中的{gL-1,GL-1}作為初始值，并且重新循環(huán)上邊的步驟，一直到第一層，計(jì)算得出光流和仿射映射矩陣{d,A}。設(shè)頂層時(shí)的初始值為：

(17)

(18)

根據(jù)以上，計(jì)算出空間梯度矩陣：

光流覆蓋v←2v，計(jì)算后一幀圖像中對(duì)應(yīng)像素點(diǎn)的灰度J(x)=JL(Ax+v)，并計(jì)算出兩幀圖像間相同位置的灰度值之差ΔI(x)=I(x)-J(x)，再推導(dǎo)兩幀圖像間的誤差向量：

(20)

最后針對(duì)仿射LK光流并覆蓋跟蹤結(jié)果

(21)

(22)

圖4 分層分解圖像分析

融合光流的避障算法由障礙物判斷和危險(xiǎn)區(qū)域判斷兩部分組成。通過計(jì)算檢測(cè)區(qū)域內(nèi)的融合光流，判斷前方是否有障礙物。然后，根據(jù)金字塔LK光流計(jì)算得出的長(zhǎng)度平均值與前期采樣的閾值進(jìn)行對(duì)比，來以此判斷飛行器是否已經(jīng)邁入危險(xiǎn)區(qū)域，是否需要避障。如果已經(jīng)邁入危險(xiǎn)區(qū)域，則輸出一個(gè)控制信號(hào)，作為PID控制的輸入?yún)?shù)，從而調(diào)整飛行器使飛行器做出相應(yīng)的規(guī)避動(dòng)作。

融合光流的基本原理：假設(shè)場(chǎng)景中含有運(yùn)動(dòng)的物體，將左上部分的真實(shí)光流與左下部分的平移光流疊加到同一圖像上，即形成融合光流，如圖5所示。

圖5 光流融合

3 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證光流避障算法的可行性和有效性，在現(xiàn)實(shí)場(chǎng)景中對(duì)算法進(jìn)行檢測(cè)并對(duì)算法的實(shí)時(shí)性和準(zhǔn)確性進(jìn)行分析。四旋翼飛行器的基本參數(shù)如表1所示。

表1 飛行器的基本參數(shù)

令飛行器按照不同的飛行速度對(duì)運(yùn)動(dòng)障礙物進(jìn)行避障判斷，并對(duì)其進(jìn)行多次重復(fù)實(shí)驗(yàn)，其避障準(zhǔn)確性與四旋翼飛行器的飛行速度之間的關(guān)系如圖6所示。

圖6 避障準(zhǔn)確率與飛行速度的關(guān)系

由實(shí)驗(yàn)結(jié)果可知，當(dāng)飛行器沒有運(yùn)動(dòng)時(shí)，成功率為0，當(dāng)隨著飛行器飛行速度的增加，飛行器避障準(zhǔn)確性越來越低。

在光線充足的室內(nèi)對(duì)飛行器進(jìn)行測(cè)試，測(cè)試現(xiàn)場(chǎng)飛行器以0.5 m/s的速度向行動(dòng)目標(biāo)飛行。前方無障礙時(shí)檢測(cè)畫面如圖7中a所示。前方檢測(cè)到障礙物，但仍然沒有進(jìn)入到危險(xiǎn)區(qū)，其檢測(cè)畫面如圖7中b所示。前方檢測(cè)到障礙物并且進(jìn)入到了危險(xiǎn)區(qū)范圍內(nèi)，已經(jīng)需要采取避障動(dòng)作，其檢測(cè)到的畫面如圖7中c所示。前方障礙物已經(jīng)檢測(cè)到，并且采取避障動(dòng)作避障之后的檢測(cè)畫面如圖7中d所示。

圖7 避障算法的實(shí)現(xiàn)

4 結(jié) 論

四旋翼飛行器的設(shè)計(jì)方案采用改進(jìn)金字塔LK光流法進(jìn)行避障，是針對(duì)在四旋翼飛行器運(yùn)動(dòng)目標(biāo)檢測(cè)的完整性不夠，魯棒性及準(zhǔn)確性不高的問

題，進(jìn)行的改進(jìn)。在使用單目低分辨率攝像頭的前提下，四旋翼飛行器能夠快速辨別出障礙物，并在低速飛行時(shí)能夠準(zhǔn)確做出實(shí)時(shí)避障動(dòng)作，實(shí)時(shí)性較好。所設(shè)計(jì)的方案為將來四旋翼飛行器的避障發(fā)展提出了簡(jiǎn)便實(shí)用的解決辦法。

[1]王 鋒,吳 江,周國(guó)慶,等.多旋翼飛行器發(fā)展概況研究[J].科技視界,2015(13):5-7.

[2]趙 海,陳星池,王家亮,等.基于四軸飛行器的單目視覺避障算法[J].光學(xué)精密工程,2014,22 (8):32-41.

[3]鄭 馳.基于光流法的單目視覺里程計(jì)研究[D].杭州:浙江大學(xué),2013.

[4]吳振杰.基于改進(jìn)光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)[D].鄭州:鄭州大學(xué),2012.

[5]安 博.動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)的研究[D].天津:天津理工大學(xué),2008.

[6]萬方靜.基于光流的圖像目標(biāo)跟蹤方法研究[D].西安:西北工業(yè)大學(xué)，2006.

(責(zé)任編輯 魏靜敏 校對(duì) 張 凱)

Dynamic Target Detection Based on Optical Flow Method of Four-rotor Aircraft

WANG Huia,LI Li-xiab,LIU Hui-jieb,HOU Xin-mingb,NIAN Jia-qib

(a.School of Renewable Energy;b.School of Automation Engineering,Shenyang Institute of Engineering,Shenyang 110136,Liaoning Province)

Against the imperfect and instability for testing moving target in four-rotor aircraft obstacle avoiding algorithm,one kind of obstacle avoiding algorithm was put forward based on pyramid Lucas Kanade optical flow which had improved the optical flow obstacle avoiding detecting moving object into integrity and accuracy.Through referencing image non-stationary model and constructing optical flow constraint,it had overcome the problem that changing brightness led to invalid construction.The experimental results showed that our algorithm worked quite effectively when four-rotor aircraft flying with low speed flight and changing brightness.It also could reduce the matching and searching time significantly,saved the aircraft flight time,and reduced the energy consumption.

Four-rotor aircraft; Dynamic Background Compensation; Object Detection; Lucas Kanade Optical Flow

2016-11-24

沈陽工程學(xué)院學(xué)生科技創(chuàng)新項(xiàng)目(LG XS-1601)

王 卉(1996-)，女，遼寧沈陽人。

李麗霞(1979-)，女，遼寧燈塔人，副教授，博士研究生。

10.13888/j.cnki.jsie(ns).2017.01.014

TP391.41

A

1673-1603(2017)01-0076-06