融合視覺(jué)的智能車組合導(dǎo)航技術(shù)分析

曾慶喜，馮玉朋，杜金枝，方 嘯，李中兵

(1.南京航空航天大學(xué) 無(wú)人駕駛車輛研究中心，南京 210016；2.奇瑞汽車股份有限公司 前瞻技術(shù)研究院，安徽 蕪湖 241009；3.汽車仿真與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春 130012)

?

融合視覺(jué)的智能車組合導(dǎo)航技術(shù)分析

曾慶喜1,2,3，馮玉朋1,3，杜金枝2，方 嘯2，李中兵2

(1.南京航空航天大學(xué) 無(wú)人駕駛車輛研究中心，南京 210016；2.奇瑞汽車股份有限公司 前瞻技術(shù)研究院，安徽 蕪湖 241009；3.汽車仿真與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春 130012)

為了進(jìn)一步研究無(wú)人駕駛智能車輛的導(dǎo)航定位技術(shù)，對(duì)視覺(jué)里程計(jì)技術(shù)在車載組合導(dǎo)航系統(tǒng)中的應(yīng)用進(jìn)行綜述：首先對(duì)視覺(jué)里程計(jì)的原理進(jìn)行概述；然后較為完整地分析了融合視覺(jué)里程計(jì)的車載組合導(dǎo)航系統(tǒng)的3個(gè)主要研究方向：視覺(jué)里程計(jì)與慣導(dǎo)系統(tǒng)組合、視覺(jué)里程計(jì)與衛(wèi)星導(dǎo)航系統(tǒng)組合，以及融合視覺(jué)里程計(jì)的多傳感器組合導(dǎo)航系統(tǒng)；最后對(duì)視覺(jué)里程計(jì)技術(shù)在智能車組合導(dǎo)航系統(tǒng)中的發(fā)展進(jìn)行展望。

視覺(jué)里程計(jì)；組合導(dǎo)航；衛(wèi)星導(dǎo)航；慣性導(dǎo)航；智能車

0 引言

組合導(dǎo)航是近代導(dǎo)航理論和技術(shù)發(fā)展的結(jié)果。通過(guò)將不同的導(dǎo)航方式組合在一起可以獲得比單獨(dú)使用任一系統(tǒng)時(shí)更高的導(dǎo)航性能，也因此組合導(dǎo)航系統(tǒng)得到了越來(lái)越廣泛的研究和應(yīng)用。對(duì)于無(wú)人駕駛智能車的導(dǎo)航來(lái)說(shuō)，車輛在運(yùn)動(dòng)過(guò)程中的自主定位能力非常重要，是保障智能車完成自主行為的前提。傳統(tǒng)的定位方法一般采用全球衛(wèi)星導(dǎo)航系統(tǒng)(global navigation satellite system, GNSS)、慣性導(dǎo)航系統(tǒng)(inertial navigation system, INS)以及里程計(jì)等方法獲得智能車的位置信息;然而各種定位技術(shù)都有不同的優(yōu)缺點(diǎn)，在某些特殊環(huán)境下(如隧道、輪胎打滑等)會(huì)出現(xiàn)失誤，不能確保得到精確的車輛位姿估計(jì)[1]。

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，視覺(jué)傳感器越來(lái)越多地被用于進(jìn)行車輛的定位和運(yùn)動(dòng)估計(jì)。視覺(jué)傳感器相對(duì)于其他傳感器來(lái)說(shuō)具有成本低、體積小等優(yōu)點(diǎn)，且視覺(jué)傳感器可以提供豐富的感知信息，既可以滿足車輛的自定位要求，又能夠同時(shí)為其他重要的任務(wù)提供信息，如目標(biāo)檢測(cè)、避障等[2]。此外，視覺(jué)傳感器具有較好的隱蔽性和抗干擾能力。融合視覺(jué)里程計(jì)的組合導(dǎo)航系統(tǒng)成為最近幾年導(dǎo)航領(lǐng)域的一個(gè)新的研究熱點(diǎn)。

1 視覺(jué)里程計(jì)概述

視覺(jué)里程計(jì)(visual odometry,VO)是以單個(gè)或多個(gè)攝像機(jī)在運(yùn)動(dòng)過(guò)程中釆集的圖像為輸入信息來(lái)估計(jì)攝像機(jī)旋轉(zhuǎn)和平移運(yùn)動(dòng)的定位方法[3]。視覺(jué)里程計(jì)的作用與傳統(tǒng)的輪式里程計(jì)類似，用以增量式地估計(jì)載體的運(yùn)動(dòng)參數(shù)。文獻(xiàn)[4]最早運(yùn)用視覺(jué)導(dǎo)航的方法，利用一個(gè)可滑動(dòng)相機(jī)獲取視覺(jué)信息作為輸入項(xiàng)，完成了機(jī)器人室內(nèi)導(dǎo)航。文獻(xiàn)[5]提出了視覺(jué)里程計(jì)的概念，基本步驟包括特征提取、特征匹配、坐標(biāo)變換和運(yùn)動(dòng)估計(jì)，當(dāng)前大多數(shù)視覺(jué)里程計(jì)仍然基于此框架[6]。文獻(xiàn)[7]于2004年提出一種基于雙目立體視覺(jué)的里程計(jì)估計(jì)方法，它第一次實(shí)現(xiàn)了魯棒地去除外點(diǎn)的實(shí)時(shí)視覺(jué)里程計(jì)系統(tǒng)，并進(jìn)行了長(zhǎng)距離的測(cè)試；同時(shí)也對(duì)單目視覺(jué)和雙目視覺(jué)進(jìn)行了比較，指出雙目相機(jī)在尺度估計(jì)方面的優(yōu)勢(shì)，將視覺(jué)里程計(jì)的發(fā)展推到一個(gè)新的階段。之后視覺(jué)里程計(jì)的研究主要圍繞單目視覺(jué)和立體視覺(jué)各自進(jìn)行，其中立體視覺(jué)里程計(jì)絕大多數(shù)指的是雙目視覺(jué)。單目與立體視覺(jué)里程計(jì)系統(tǒng)各有優(yōu)缺點(diǎn)；但大部分情況下立體視覺(jué)系統(tǒng)的效果要優(yōu)于單目系統(tǒng)，最主要原因在于:使用單目視覺(jué)會(huì)碰到的尺度歧義問(wèn)題，采用立體視覺(jué)便不復(fù)存在[8-11]。隨著RGB-D攝像機(jī)的問(wèn)世，特別是微軟Kinect的發(fā)布，單目的深度信息得到補(bǔ)充，使得單目視覺(jué)得到更廣泛的應(yīng)用[12-13]。

經(jīng)典的視覺(jué)里程計(jì)系統(tǒng)大多是基于2幀計(jì)算框架[2]，其工作流程一般包括特征的選擇與關(guān)聯(lián)，以及基于所獲得的特征關(guān)聯(lián)集合進(jìn)行幀間位姿估計(jì)。以單目視覺(jué)為例，單目視覺(jué)相機(jī)安裝在智能車平臺(tái)上，以時(shí)間間隔k拍攝圖像序列，記相機(jī)圖像為I0:k={I0,…,Ik}。則在2個(gè)相鄰時(shí)刻k-1和k，相機(jī)的位姿變化量可以通過(guò)剛體變換Tk-1,k∈R4×4關(guān)聯(lián)，表示為

(1)

式中：Rk-1,k為3×3的旋轉(zhuǎn)矩陣，代表姿態(tài)變化量； tk-1,k為3×1的平移向量，代表位置變化量。集合T0，…,M={T0,1,…,TM-1,M}包含了所有的總幀數(shù)為M的序列運(yùn)動(dòng)。最終，相機(jī)位姿的集合C0,…,M={C0,1,…,CM-1,M}包含了相機(jī)相對(duì)于初始時(shí)刻k=0時(shí)的變換。當(dāng)前位姿CM可以通過(guò)累計(jì)所有的變換Tk-1,k(k=1,…,M)得到

(2)

并且C0是相機(jī)在k=0時(shí)的位姿。

計(jì)算幀間位姿變換的Tk-1,k主要有2種方法：基于表面的方法，需要利用所輸入2幀圖像所有像素的灰度信息；基于特征的方法，只利用所提取的顯著和可重復(fù)的特征?；谔卣鞯姆椒ū缺砻娣椒ǜ煲哺鼫?zhǔn)確，絕大部分的視覺(jué)里程計(jì)都是基于特征的[2]。基于特征的視覺(jué)里程計(jì)系統(tǒng)的詳細(xì)流程如圖1所示。

視覺(jué)里程計(jì)技術(shù)發(fā)展至今已經(jīng)逐漸成熟，具備直接在實(shí)時(shí)系統(tǒng)中應(yīng)用的可能；但是單純依靠視覺(jué)的智能車輛定位與導(dǎo)航技術(shù)還不夠成熟。視覺(jué)里程計(jì)技術(shù)目前仍然有許多問(wèn)題存在，如特征檢測(cè)與跟蹤算法效率與精度的權(quán)衡、遞歸算法的累計(jì)誤差缺陷，以及難以處理的復(fù)雜動(dòng)態(tài)環(huán)境等?；诖?，視覺(jué)里程計(jì)的研究一方面可以從算法的各個(gè)模塊技術(shù)出發(fā)，以期改善整體系統(tǒng)性能；另一方面，可以通過(guò)融合其他傳感器的方式來(lái)彌補(bǔ)視覺(jué)里程計(jì)的缺陷。下文對(duì)有望應(yīng)用于無(wú)人駕駛車輛且融合了視覺(jué)里程計(jì)的組合導(dǎo)航系統(tǒng)進(jìn)行介紹。

2 融合視覺(jué)的組合導(dǎo)航系統(tǒng)研究現(xiàn)狀

組合導(dǎo)航是指將2種或2種以上的導(dǎo)航系統(tǒng)組合起來(lái)的導(dǎo)航方式[1]。相對(duì)于單獨(dú)使用的導(dǎo)航系統(tǒng)，組合導(dǎo)航系統(tǒng)具有定位精度高、可靠性好，成本低等優(yōu)點(diǎn)。近年來(lái)，基于視覺(jué)的組合導(dǎo)航系統(tǒng)的研究已經(jīng)取得許多進(jìn)展。下文從系統(tǒng)構(gòu)成的角度對(duì)視覺(jué)里程計(jì)與慣導(dǎo)組合系統(tǒng)、視覺(jué)里程計(jì)與衛(wèi)星組合導(dǎo)航系統(tǒng)，及多傳感器組合導(dǎo)航系統(tǒng)進(jìn)行分析，并介紹現(xiàn)有融合視覺(jué)的組合導(dǎo)航系統(tǒng)的研究進(jìn)展。

2.1 視覺(jué)與慣導(dǎo)組合系統(tǒng)

自文獻(xiàn)[14-15]提出視覺(jué)與慣性系統(tǒng)組合的方法后，視覺(jué)/慣性組合系統(tǒng)開(kāi)始受到廣泛關(guān)注。視覺(jué)/慣導(dǎo)組合導(dǎo)航系統(tǒng)雖然在精度上不及目前普遍使用的GNSS/INS組合導(dǎo)航，但其自主性更強(qiáng)，尤其是在衛(wèi)星信號(hào)中斷、被屏蔽或低置信度的隧道以及城市建筑物密集區(qū)域[16]。VO/INS系統(tǒng)框架如圖2所示，根據(jù)組合系統(tǒng)中攝像機(jī)數(shù)量的不同，可以將組合系統(tǒng)主要分為單目視覺(jué)系統(tǒng)和雙目視覺(jué)系統(tǒng)。

在單目視覺(jué)里程計(jì)與慣導(dǎo)組合導(dǎo)航系統(tǒng)中，由于單目視覺(jué)里程計(jì)只有方向信息是可恢復(fù)的，而平移的絕對(duì)尺度無(wú)法恢復(fù)[16]；因此，一般算法都借助慣導(dǎo)的信息來(lái)實(shí)現(xiàn)絕對(duì)尺度的位姿估計(jì)。文獻(xiàn)[17]提出了用于無(wú)人機(jī)控制的基于視覺(jué)和慣性組合的導(dǎo)航方法，利用攝像機(jī)從已知位姿信息的目標(biāo)飛行器獲得的導(dǎo)航參數(shù)與慣性傳感器測(cè)量的導(dǎo)航參數(shù)融合，得到修正的導(dǎo)航參數(shù)。文獻(xiàn)[18]提出了把慣性速率測(cè)量和基于一個(gè)特征信息的單目視覺(jué)測(cè)量相融合的算法，用于測(cè)量載體的相對(duì)運(yùn)動(dòng)。文獻(xiàn)[19]提出基于多位置極點(diǎn)約束單目視覺(jué)/慣性組合導(dǎo)航算法，將多位置觀測(cè)的攝像機(jī)位姿擴(kuò)展為狀態(tài)量，通過(guò)左零空間投影得到線性觀測(cè)方程。為了克服單純由視覺(jué)估計(jì)攝像機(jī)姿態(tài)精度低造成的長(zhǎng)距離導(dǎo)航誤差大的問(wèn)題，文獻(xiàn)[20]提出了一種基于單目視覺(jué)里程計(jì)/慣性組合導(dǎo)航定位算法，通過(guò)配準(zhǔn)和時(shí)間同步，用INS解算的速度和視覺(jué)計(jì)算的速度之差作為組合導(dǎo)航的觀測(cè)量，利用卡爾曼濾波修正導(dǎo)航信息。大部分單目視覺(jué)里程計(jì)與慣導(dǎo)組合系統(tǒng)都是緊組合系統(tǒng)，將視覺(jué)和慣導(dǎo)的的原始數(shù)據(jù)融合在一個(gè)優(yōu)化的濾波器中，因此不同傳感器間的耦合關(guān)系被考慮了;不足之處在于算法的實(shí)時(shí)性不夠好，且不利于處理外部較大躍變的校正信息。松組合則相對(duì)比較容易實(shí)現(xiàn)，使用獨(dú)立的視覺(jué)和慣導(dǎo)模塊，這2個(gè)模塊以不同的數(shù)據(jù)速率運(yùn)算，然后再將它們的運(yùn)算結(jié)果融合。如：文獻(xiàn)[21]將單目視覺(jué)和慣導(dǎo)當(dāng)成獨(dú)立模塊，然后用擴(kuò)展卡爾曼濾波器估計(jì)位移的尺度，減少位置估計(jì)誤差；文獻(xiàn)[22]通過(guò)視覺(jué)里程計(jì)和慣導(dǎo)估計(jì)的速度差來(lái)計(jì)算系統(tǒng)位移尺度和重力加速度方向，使用間接濾波方法對(duì)誤差進(jìn)行最優(yōu)估計(jì)，并利用誤差估計(jì)，值對(duì)里程計(jì)系統(tǒng)進(jìn)行校正，以提高系統(tǒng)的定位性能。

與單目視覺(jué)里程計(jì)的情況相反，雙目視覺(jué)里程計(jì)能夠?qū)崿F(xiàn)高精度絕對(duì)尺度的六自由度位姿解算，松組合不會(huì)破壞它的模塊特性且易于對(duì)其進(jìn)行單獨(dú)優(yōu)化，所以雙目視覺(jué)里程計(jì)與慣導(dǎo)組合系統(tǒng)多采用松組合方式。文獻(xiàn)[23]使用一個(gè)濾波器來(lái)融合視覺(jué)與慣導(dǎo)的位姿信息，用慣導(dǎo)的位移、速度、姿態(tài)航向、陀螺儀零漂、加速度計(jì)零漂、重力加速度的模組成的狀態(tài)矢量，研究用于無(wú)人機(jī)的視覺(jué)慣導(dǎo)融合定位算法。文獻(xiàn)[24]用線性卡爾曼濾波器融合慣導(dǎo)的陀螺儀和加速度計(jì)來(lái)無(wú)漂移地估計(jì)慣導(dǎo)的姿態(tài)，然后用擴(kuò)展卡爾曼濾波(extendedKalmanfilter,EKF)融合視覺(jué)與慣導(dǎo)的姿態(tài)航向信息，以姿態(tài)航向的單位四元數(shù)作為EKF的狀態(tài)矢量，以視覺(jué)里程計(jì)的旋轉(zhuǎn)運(yùn)動(dòng)估計(jì)做濾波器預(yù)測(cè)，以慣導(dǎo)的姿態(tài)方位估計(jì)做濾波器觀測(cè)，沒(méi)有考慮位移信息的融合，通過(guò)將視覺(jué)與一個(gè)高精度的導(dǎo)航級(jí)慣導(dǎo)融合，實(shí)現(xiàn)了數(shù)千米的高精度定位。文獻(xiàn)[25]用一個(gè)濾波器將視覺(jué)里程計(jì)與慣導(dǎo)估計(jì)的姿態(tài)及高度計(jì)估計(jì)的高度進(jìn)行融合，用于在GPS失效時(shí)對(duì)飛行器的位姿進(jìn)行估計(jì)，其中視覺(jué)里程計(jì)有別于一般的從運(yùn)動(dòng)信息中恢復(fù)三維場(chǎng)景結(jié)構(gòu)的視覺(jué)里程計(jì)，并非是基于特征的檢測(cè)與匹配來(lái)實(shí)現(xiàn)位姿估計(jì)，而是基于對(duì)平面運(yùn)動(dòng)的若干假設(shè)來(lái)運(yùn)算的。文獻(xiàn)[26]將視覺(jué)里程計(jì)與慣導(dǎo)及多普勒計(jì)程儀進(jìn)行融合，用于水下機(jī)器人的定位，其融合方式是用慣導(dǎo)和計(jì)程儀估計(jì)的運(yùn)動(dòng)來(lái)減小圖像匹配的搜索區(qū)域，以提高算法的實(shí)時(shí)性。文獻(xiàn)[27]使用一種“Delayed”卡爾曼濾波器融合視覺(jué)里程計(jì)與慣導(dǎo)，“Delayed”指的是將上一時(shí)刻的濾波結(jié)果加入到當(dāng)前濾波器狀態(tài)矢量中，這種濾波器方程略復(fù)雜，非線性程度高。慣導(dǎo)和視覺(jué)融合的里程計(jì)研究中，主要以開(kāi)環(huán)的方式進(jìn)行慣導(dǎo)和視覺(jué)的融合，缺乏一定的反饋控制，當(dāng)遇到載體運(yùn)動(dòng)較為激烈時(shí)，慣導(dǎo)和視覺(jué)定位的不確定度增大后可能遇到無(wú)法收斂而導(dǎo)致姿態(tài)估計(jì)偏離，進(jìn)而影響定位精度。因此對(duì)于智能車而言，利用更多的控制信息，并融合一定的先驗(yàn)控制參數(shù)，能夠有效地對(duì)運(yùn)動(dòng)估計(jì)進(jìn)行指導(dǎo)，從而使系統(tǒng)估計(jì)更加魯棒。

2.2 視覺(jué)與衛(wèi)星導(dǎo)航組合系統(tǒng)

在VO/GNSS組合導(dǎo)航系統(tǒng)中，鑒于視覺(jué)導(dǎo)航系統(tǒng)具有自主性好、信息全面、短期精度高等優(yōu)點(diǎn)，一般以視覺(jué)導(dǎo)航作為組合導(dǎo)航系統(tǒng)的關(guān)鍵子系統(tǒng)，而利用GNSS長(zhǎng)期穩(wěn)定的輸出修正視覺(jué)導(dǎo)航系統(tǒng)的誤差。VO/GNSS組合系統(tǒng)的組合方式與經(jīng)典的GPS/INS松組合系統(tǒng)具有一定的相似性；目前對(duì)于VO/GNSS的研究主要集中在松組合階段。文獻(xiàn)[28]借鑒GNSS/INS組合導(dǎo)航系統(tǒng)模型，提出一種類似于GPS/INS松組合的GPS/VO組合導(dǎo)航系統(tǒng)，利用卡爾曼濾波器對(duì)載體姿態(tài)進(jìn)行可觀測(cè)性分析，并通過(guò)MATLAB仿真實(shí)驗(yàn)驗(yàn)證系統(tǒng)的可行性。隨后，其又在原有的基礎(chǔ)上對(duì)比例因子是未知的單目視覺(jué)里程計(jì)系統(tǒng)進(jìn)行了擴(kuò)展研究；通過(guò)小型飛機(jī)采集的真實(shí)數(shù)據(jù)驗(yàn)證了系統(tǒng)誤差可觀測(cè)性分析的可靠性[29]。文獻(xiàn)[30]采用松組合方式，結(jié)合基于載波相位差分技術(shù)的高精度GNSS和基于特征提取的視覺(jué)里程計(jì)，利用GNSS精準(zhǔn)定位結(jié)果對(duì)視覺(jué)里程計(jì)初始化定位，降低系統(tǒng)的初始誤差；當(dāng)車輛處于GNSS信號(hào)受影響區(qū)域而只能接收到2～3顆衛(wèi)星信號(hào)時(shí)，依舊可以有效地抑制視覺(jué)里程計(jì)的漂移誤差。

與單目視覺(jué)里程計(jì)不同的是，雙目視覺(jué)里程計(jì)與GNSS融合不僅可以抑制視覺(jué)里程計(jì)的漂移，而且可以有效降低導(dǎo)航角誤差。文獻(xiàn)[31]融合雙目VO與GPS以平滑GPS的多路徑誤差，提高了導(dǎo)航角精度。文獻(xiàn)[32]利用車道線與智能車的局部位置信息提高視覺(jué)里程計(jì)的精度，隨后使用卡爾曼濾波器對(duì)GNSS的定位精度進(jìn)行矯正。此外，雙目視覺(jué)系統(tǒng)可以有效地避免單目視覺(jué)定位漂移的缺陷。文獻(xiàn)[33]利用城市環(huán)境中路標(biāo)的地理位置信息，通過(guò)雙目視覺(jué)系統(tǒng)對(duì)車輛進(jìn)行局部定位，實(shí)現(xiàn)每隔一段時(shí)間都能對(duì)GNSS定位誤差進(jìn)行校正；實(shí)驗(yàn)表明在路標(biāo)可見(jiàn)范圍內(nèi)對(duì)GNSS定位精度有明顯改善。相對(duì)于VO/GNSS松組合系統(tǒng)，緊組合系統(tǒng)是在原先GNSS輔助VO的基礎(chǔ)上，利用VO數(shù)據(jù)對(duì)GNSS接收機(jī)進(jìn)行輔助，即一方面利用GNSS和VO的導(dǎo)航數(shù)據(jù)進(jìn)行組合濾波；另一方面，VO利用自身測(cè)得的載體位置和速度信息對(duì)GNSS載波跟蹤環(huán)路進(jìn)行輔助，從外部剔除由于載體和接收機(jī)之間相對(duì)運(yùn)動(dòng)引起的動(dòng)態(tài)誤差，使GNSS接收機(jī)在高動(dòng)態(tài)環(huán)境下可以穩(wěn)定工作，并可進(jìn)一步壓縮接收機(jī)載波跟蹤環(huán)路帶寬，抑制噪聲，提高系統(tǒng)的抗干擾性能。緊組合系統(tǒng)是VO/GNSS組合系統(tǒng)的重要發(fā)展方向[28]。

2.3 多傳感器組合系統(tǒng)

多傳感器組合系統(tǒng)的設(shè)計(jì)原則需兼顧導(dǎo)航精度與魯棒性最大、復(fù)雜性最小以及處理效率最優(yōu)，且必須考慮不同導(dǎo)航技術(shù)的特點(diǎn)。如利用視覺(jué)里程計(jì)系統(tǒng)彌補(bǔ)GNSS/INS系統(tǒng)在GNSS受影響區(qū)域系統(tǒng)誤差隨時(shí)間積累的問(wèn)題，傳統(tǒng)的衛(wèi)星/慣性/視覺(jué)組合導(dǎo)航信息融合框架和處理流程如圖3所示。

文獻(xiàn)[34]使用擴(kuò)展卡爾曼濾波器融合視覺(jué)/IMU/GNSS以提高地面車輛在GNSS受影響區(qū)域的定位性能，并通過(guò)動(dòng)態(tài)交通環(huán)境下采集的數(shù)據(jù)對(duì)多傳感器系統(tǒng)進(jìn)行了檢測(cè)，實(shí)驗(yàn)結(jié)果顯示該系統(tǒng)的性能優(yōu)于GNSS/IMU緊組合導(dǎo)航系統(tǒng)。文獻(xiàn)[35]基于慣導(dǎo)/GPS/視覺(jué)組合系統(tǒng)，采用層次化分散融合結(jié)構(gòu)融合相對(duì)導(dǎo)航傳感器數(shù)據(jù)，提高了相對(duì)導(dǎo)航精度、可靠性和容錯(cuò)性能。文獻(xiàn)[36]實(shí)現(xiàn)了無(wú)人飛行器的GPS/INS/視覺(jué)組合導(dǎo)航，并給出了GPS失鎖90s的組合導(dǎo)航結(jié)果，表明帶有視覺(jué)導(dǎo)航輔助的導(dǎo)航系統(tǒng)具有良好的穩(wěn)定性。除傳統(tǒng)的衛(wèi)星與慣性導(dǎo)航系統(tǒng)外，雷達(dá)導(dǎo)航系統(tǒng)也可以與視覺(jué)里程計(jì)系統(tǒng)組合。文獻(xiàn)[37]針對(duì)星際探測(cè)器軟著陸的進(jìn)入下降和著陸段的組合導(dǎo)航問(wèn)題，提出了一種多傳感器融合及多推理系統(tǒng)決策融合算法，該算法將雷達(dá)、激光雷達(dá)和CCD相機(jī)所獲得的地面信息進(jìn)行智能融合，根據(jù)傳感器信息對(duì)模糊集、貝葉斯概率和Dempster-Shafer置信3個(gè)子決策系統(tǒng)分別給出決策，通過(guò)分層融合選擇算法獲得最終決策，使星際探測(cè)器具備自主選擇軟著陸安全區(qū)域的能力。導(dǎo)航信息融合算法是組合導(dǎo)航系統(tǒng)的關(guān)鍵技術(shù)。文獻(xiàn)[38]提出了一種改進(jìn)的EKF算法，該算法針對(duì)非線性位置姿態(tài)觀測(cè)方程，融合了慣導(dǎo)速率觀測(cè)量和視覺(jué)觀測(cè)量，通過(guò)觀測(cè)已知坐標(biāo)的特征目標(biāo)物，來(lái)確定移動(dòng)載體的位姿信息。文獻(xiàn)[39]使用卡爾曼濾波將GPS數(shù)據(jù)與視覺(jué)特征跟蹤算法進(jìn)行融合，該算法利用彩色閾值分割等方法進(jìn)行圖像預(yù)處理，將方形區(qū)域的窗戶特征作為提取目標(biāo)，并通過(guò)持續(xù)跟蹤該目標(biāo)來(lái)實(shí)現(xiàn)城市內(nèi)導(dǎo)航，算法具有較高實(shí)時(shí)性，在實(shí)測(cè)實(shí)驗(yàn)中獲得了15幀/秒的視頻圖像處理速度。隨著信息融合技術(shù)的發(fā)展，利用多傳感器組合導(dǎo)航技術(shù)進(jìn)行信息融合逐步成為國(guó)內(nèi)外導(dǎo)航領(lǐng)域的重要發(fā)展方向[40]。

3 研究展望

融合視覺(jué)里程計(jì)的組合導(dǎo)航系統(tǒng)已經(jīng)取得了較多研究進(jìn)展；但是目前的研究仍然處于實(shí)驗(yàn)階段，此項(xiàng)技術(shù)仍然存在一些問(wèn)題亟待解決，如下研究方向或可作為下一步研究的重點(diǎn):

1)更高效率、更高精度的特征檢測(cè)與匹配算法。當(dāng)前的研究中，魯棒的特征提取與匹配本身計(jì)算量大，而快速的特征檢測(cè)又會(huì)造成特征集噪聲過(guò)大，使檢測(cè)數(shù)據(jù)的計(jì)算量加大，這些都影響了系統(tǒng)的實(shí)時(shí)性；所以設(shè)計(jì)更魯棒更快速的特征提取與匹配算法非常重要。

2)緊組合導(dǎo)航系統(tǒng)濾波算法研究。在緊組合系統(tǒng)中，需要直接融合傳感器的原始數(shù)據(jù)，由于不同觀測(cè)條件下的觀測(cè)數(shù)據(jù)質(zhì)量有所差異，針對(duì)不同的觀測(cè)條件如何選擇相應(yīng)的濾波算法和配置相應(yīng)的算法參數(shù)需要進(jìn)一步研究。

3)低成本的組合導(dǎo)航信息融合技術(shù)。目前所提出的算法大多適用于高精度的儀器設(shè)備，相應(yīng)的算例中的儀器設(shè)備精度也較高;而目前小型化和低成本是組合導(dǎo)航的一個(gè)重要發(fā)展趨勢(shì)，低精度的慣導(dǎo)和相機(jī)在誤差特性方面會(huì)有所區(qū)別，針對(duì)低成本組合導(dǎo)航信息融合還需要進(jìn)一步深入研究。

4)加快組合系統(tǒng)的軟件和硬件實(shí)現(xiàn)并進(jìn)行工程應(yīng)用。國(guó)內(nèi)對(duì)于融合視覺(jué)的組合導(dǎo)航系統(tǒng)的研究大多處于仿真驗(yàn)證階段，目前還沒(méi)有松組合和緊組合方面較成熟的軟件系統(tǒng)及硬件實(shí)現(xiàn)。

4 結(jié)束語(yǔ)

在當(dāng)前智能車的車載計(jì)算機(jī)的運(yùn)算能力和存儲(chǔ)空間有限的情況下，是通過(guò)復(fù)雜的算法增加魯棒性，還是通過(guò)降低復(fù)雜度提高實(shí)時(shí)性，抑或增加多種傳感器提高精確度，融合視覺(jué)的組合導(dǎo)航系統(tǒng)在實(shí)現(xiàn)過(guò)程中往往面臨著實(shí)時(shí)性、可靠性與魯棒性等性能指標(biāo)的取舍兼顧。在設(shè)計(jì)組合導(dǎo)航系統(tǒng)的過(guò)程中，需要根據(jù)不同的應(yīng)用環(huán)境和需求選擇合適的傳感器，權(quán)衡多個(gè)性能指標(biāo)，并根據(jù)需要進(jìn)行改進(jìn)。我國(guó)現(xiàn)有的無(wú)人駕駛車輛導(dǎo)航與環(huán)境感知技術(shù)水平距離世界前沿的關(guān)鍵技術(shù)還有一定的差距，還需要不斷地改進(jìn)和完善現(xiàn)有的傳感器性能和信號(hào)融合技術(shù)，才能加快組合導(dǎo)航系統(tǒng)在無(wú)人駕駛車輛中實(shí)際應(yīng)用的步伐。

[1] 秦永元,張洪錢,汪叔華.卡爾曼濾波與組合導(dǎo)航原理[M].3版.西安:西北工業(yè)大學(xué)出版社,2014:227-236.

[2] 江燕華,熊光明,姜巖.智能車輛視覺(jué)里程計(jì)算法研究進(jìn)展[J].兵工學(xué)報(bào),2012,33(2):215-219.

[3]SCARAMUZZAD,FRAUNDORFERF.Visualodometry(Part1:thefirst30yearsandfundamentals)[J].IEEERobotics&AutomationMagazine,2011,18(4):80-92.

[4]MORAVECH.Obstacleavoidanceandnavigationintherealworldbyaseeingrobotrover[D].Stanford:Univ.ofStanford,1980.

[5]MATTHIESL,SHAFERSA.Errormodelinginstereonavigation[J].IEEERoboticsandAutomation,1987,RA-3(3):239-250.

[6] 彭勃,周文暉,劉濟(jì)林.基于Harris角點(diǎn)檢測(cè)的立體視覺(jué)里程計(jì)[J].兵工學(xué)報(bào),2007,28(12):1498-1502．

[7]NISTERD,NARODITSKYO,BERGENJ.Visualodometry[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe2004IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington:IEEE,2004: 652-659．

[8]BADINOH.Arobustapproachforego-motionusingamobilestereoplatform[J].IEEELectureNotesinComputerScience,2007,3417:198-208.

[9]AQELM,MARBABANM,SARIPANM,etal.Adaptive-searchtemplatematchingtechniquebasedonvehicleaccelerationformonocularvisualodometrysystem[J].IEEEElectricalandElectronicEngineering,2016,11(6):739-752.

[10]BERANL,CHMELARP,REJFEKL.Navigationofroboticsplatformusingmonocularvisualodometry[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe25thInternationalConferenceonRadioelectronica.Pardubice:IEEE,2015:213-216.

[11]GARCIA-GARCIAR,SOTELOM,PARRAI,etal.3Dvisualodometryforroadvehicles[J].IEEEIntelligent&RoboticSystems,2008,51(1):113-134．

[12]FUH,MAH,XIAOH.Real-timeaccuratecrowdcountingbasedonRGB-Dinformation[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe19thInternationalConferenceonImageProcessing.LakeBuenaVista:IEEE,2012:2685-2688.

[13]MINGY,RUANQ.ActivityrecognitionfromRGB-Dcamerawith3Dlocalspatio-temporalfeatures[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe19thInternationalConferenceonMultimediaandExpo.Melbourne,Australia:2012:344-349.

[14]DISSANAYAKEMWMG,NEWMANP,CLARKS,etal.Asolutiontothesimultaneouslocalizationandmapbuilding(SLAM)problem[J].IEEERoboticsandAutomation,2001, 17(3):229-241.

[15]KIMJ,SUKKARIEHS.6DoFSLAMaidedGNSS/INSnavigationinGNSSdeniedandunknownenvironments[J].IEEEGlobalPositioningSystems,2005,4 (1): 120-128.

[16]黃鴻.雙目立體視覺(jué)與慣導(dǎo)融合里程估計(jì)方法[D].杭州：浙江大學(xué),2013:2-15.

[17]ALLEND,JOHNSONN,ALISONA.Vision-aidedinertialnavigationforflightcontrol[J].IEEEAerospaceComputing,2005 (2): 348-360.

[18]HUSTERA,ROCKSM.Relativepositionsensingbyfusingmonocularvisionandinertialratesensors[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe11thInternationalConferenceonAdvancedRobotics.Coimbra.Portugal:IEEE,2003.

[19]MOURIKISA,ROUMELIOTISS.Amulti-stateconstraintKalmanfilterforvision-aidedinertialnavigation[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2007InternationalConferenceonRoboticsandAutomation.Roma,Italy:IEEE,2007.

[20]馮國(guó)虎,吳文啟,曹聚亮,等.Algorithmformonocularvisualodometry/SINSintegratednavigation[J].中國(guó)慣性技術(shù)學(xué)報(bào),2011,19 (3): 210-215.

[21]WEISSS,SIEGWARTR.Real-timemetricstateestimationformodularvision-inertialsystems[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof20011InternationalConferenceonRoboticsandAutomation.Shanghai,China:IEEE,2011:4531-4537.

[22]KNEIPL,WEISSS,SIEGWARTR.Deterministicinitializationofmetricstateestimationfiltersforloosely-coupledmonocularvision-inertialsystems[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2011InternationalConferenceonIntelligentRobotsandsystems(IROS).SanFrancisco:IEEE,2011:2235-2241.

[23]KELLYJ,SARIPALIS,SUKHATMEGS.Combinedvisualandinertialnavigationforanunmannedaerialvehicle[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe6thInternationalConferenceonFieldandServiceRobotics.Chamonix,France:IEEE,2008:255-264.

[24]KONOLIGEK,AGRAWALM.Large-scalevisualodometryforroughterrain[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsofthe13thInternationalConferenceonRoboticsResearch.Hiroshima,Japan:IEEE,2011:201-212.

[25]READBB,TAYLORCN.InertiallyaidedvisualodometryforminiatureairvehiclesinGPS-deniedenvironments[J].JournalofIntelligentandRoboticSystems,2009,55(2-3):203-221.

[26]HILDEBRANDTM,KIRCHNERF.IMU-aidedstereovisualodometryforground-trackingAUVapplications[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2010InternationalConferenceonOceans.Sydney,Australia:IEEE,2010:1-8.

[27]TARDIFJ,GEORGEM,LAVEMEM,etal.Anewapproachtovision-aidedinertialnavigation[C]//TheInstituteofElectricalandElectronicEngineers(IEEE).Proceedingsof2010InternationalConferenceonIntelligentRobotsandSystems.Taipei:IEEE,2010:4161-4168.

[28]DUSHA D.Attitude observability of a loosely-coupled GPS/visual odometry integrated navigation filter[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of 2010 International Conference on Robotics and Automation. Australia:IEEE, 2010.

[29]DUSHA D,MEJIAS L.Error analysis and attitude observability of a monocular GPS/visual odometry integrated navigation filter[J].IEEE Robotics Research,2012,31(6):714-737.

[30]ANDREY S.Integration of GPS and vision measurements for navigation in GPS challenged environments[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of 2010 International Conference on Position Location and Navigation Symposium.Palm Springs:IEEE,2010 :826-833.

[31]WEI L, CAPPELLE C,RUICHEK Y,et al.GPS and stereovision-based visual odometry: application to urban scene mapping and intelligent vehicle localization[EB/OL].(2010-11-15)[2016-10-21].https://www.hindawi.com/journals/ijvt/2011/439074/.

[32]周莉.基于GNSS與視覺(jué)的道路監(jiān)測(cè)與避障技術(shù)[D].成都：電子科技大學(xué),2015:24-30.

[33]張奕然,郭承軍,牛瑞朝.智能車雙目視覺(jué)輔助GNSS定位方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(17):192-197.

[34]CHU T,GUO N,BACKEN S,et al.Monocular camera/IMU/GNSS integration for ground vehicle navigation in challenging GNSS environments[J].IEEE Sensors,2012,12(3):3162-3185.

[35]曲法義,王小剛,崔乃剛.基于慣導(dǎo)/GPS/視覺(jué)的無(wú)人機(jī)容錯(cuò)相對(duì)導(dǎo)航方法[J].中國(guó)慣性技術(shù)學(xué)報(bào),2013,21(6):782-785.

[36]WANG J,GARRATT M,LAMBERT A,et al.Integration of GPS/INS/vision sensors to navigate unmanned aerial vehicle[J].Remote Sensing and Spatial Information Science,2008.

[37]SERAJI H,SERRANO N.A multisensor decision fusion system for terrain safety assessment[J]. IEEE Robotics,2009,25(1):99-108.

[38]HUSTER A,ROCK S M.Relative position sensing by fusing monocular vision and inertial rate sensors[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 11th International Conference on Advanced Robotics.Coimbra,Portugal:IEEE, 2003:1562-1567.

[39]SARIPALLI S,SUKHATME G,MEJIAS L,et al.Detection and tracking of external features in an urban environment using an autonomous helicopter[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of 2010 International Conference on Robotics and Automation.Barcelona. Spain:IEEE, 2005: 3972-3977.

[40]董明.衛(wèi)星/慣性/視覺(jué)組合導(dǎo)航信息融合關(guān)鍵技術(shù)研究[D].鄭州：信息工程大學(xué),2014:10-15.

Analysis on integrated navigation technology for intelligent vehicles by integrating vision

ZENGQingxi1,2,3，F(xiàn)ENGYupeng1,3，DUJinzhi2，F(xiàn)ANGXiao2，LIZhongbing2

(1.Self-driving Vehicle Research Center, Nanjing University of Aeronautics and Astronautics，Nanjing 210016, China;2.Prospective Technology Research Institute of Chery Automobile Co., Ltd., Wuhu, Anhui 241009, China;3.State Key Laboratory of Automotive Simulation and Control, Changchun 130012, China)

In order to further study on the navigation and positioning technology for self-driving intelligent vehicles, the paper analyzed the application of the visual odometry in vehicle integrated navigation system: the principle of the visual odometry was introduced; and the three main research directions of the vehicle integrated navigation system based on the visual odometry were expounded, as INS/VO, GNSS/VO and multi-sensor system; finally the development of the visual odometry in the intelligent vehicle integrated navigation system was prospected

visual odometry; integrated navigation; GNSS; INS; intelligent vehicle

2016-12-18

中國(guó)博士后科學(xué)基金資助項(xiàng)目(171980)；國(guó)家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(2016YFB0501805)；南京航空航天大學(xué)研究生創(chuàng)新基地(實(shí)驗(yàn)室)開(kāi)放基金資助項(xiàng)目(kfjj20160216)。

曾慶喜(1980—)，江蘇南京人，博士，講師，研究方向?yàn)闊o(wú)人駕駛車輛多傳感器組合導(dǎo)航方法。

馮玉朋(1992—)，安徽滁州人，碩士碩士生，研究方向?yàn)闊o(wú)人駕駛車輛視覺(jué)與衛(wèi)星組合導(dǎo)航系統(tǒng)。

曾慶喜，馮玉朋，杜金枝，等.融合視覺(jué)的智能車組合導(dǎo)航技術(shù)分析[J].導(dǎo)航定位學(xué)報(bào)，2017，5(2)：1-6,13.(ZENG Qingxi，F(xiàn)ENG Yupeng，DU Jinzhi，et al.Analysis on integrated navigation technology for intelligent vehicles by integrating vision[J].Journal of Navigation and Positioning，2017，5(2)：1-6,13.)

10.16547/j.cnki.10-1096.20170201.

P228

A

2095-4999(2017)02-0001-07