基于視覺的車載組合導(dǎo)航系統(tǒng)

智凱旋　王峰　揭云飛　熊超偉　李學(xué)易

摘要：本文對(duì)基于視覺的車載組合導(dǎo)航系統(tǒng)進(jìn)行了綜述。首先闡述了融合視覺之前的車載組合導(dǎo)航系統(tǒng)的研究背景以及該研究方向，然后分析了融合視覺的三種組合導(dǎo)航的發(fā)展過(guò)程及研究現(xiàn)狀。最后總結(jié)全文，并展望了隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展基于視覺的車載組合導(dǎo)航系統(tǒng)的研究方向。

關(guān)鍵詞：自動(dòng)駕駛；視覺導(dǎo)航；慣性導(dǎo)航；衛(wèi)星導(dǎo)航；組合導(dǎo)航；濾波優(yōu)化

中圖分類號(hào)：：v249.32+8 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）19-0229-03

1 引言

隨著科學(xué)技術(shù)的發(fā)展，車載導(dǎo)航已成為人們生活出行的必需品，尤其全球定位系統(tǒng)和慣性導(dǎo)航系統(tǒng)的組合具有較高的導(dǎo)航性能，得到了廣泛的應(yīng)用。但傳統(tǒng)的組合導(dǎo)航系統(tǒng)仍然存在著不足之處，導(dǎo)致定位精度的降低，尤其是在特殊環(huán)境下，比如在GPS信號(hào)不佳時(shí)會(huì)產(chǎn)生定位誤差。

近幾年來(lái)計(jì)算機(jī)視覺技術(shù)迅速發(fā)展，計(jì)算機(jī)視覺應(yīng)用的領(lǐng)域越來(lái)越廣泛，越來(lái)越多的組合導(dǎo)航系統(tǒng)也開始使用計(jì)算機(jī)視覺進(jìn)行輔助。這極大地提高了組合導(dǎo)航的定位精度，并且在衛(wèi)星信號(hào)中斷等不利條件下保持組合導(dǎo)航的定位精確性。計(jì)算機(jī)視覺在組合導(dǎo)航的應(yīng)用及大地促進(jìn)了自動(dòng)駕駛技術(shù)的發(fā)展，如谷歌、特斯拉等公司都已成功進(jìn)行無(wú)人自動(dòng)駕駛的試驗(yàn)，而計(jì)算機(jī)視覺在其中發(fā)揮關(guān)鍵性作用。

2 背景

GPS定位系統(tǒng)是當(dāng)前定位系統(tǒng)不可或缺的技術(shù)，最初用于軍事行動(dòng)，慢慢發(fā)展到民用，可迅速定位用戶的位置及海拔高度。其主要由三部分組成，地面控制部分、空間部分以及用戶裝置部分。GPS定位系統(tǒng)定位相對(duì)而言精度高，但其更新頻率低，不能實(shí)時(shí)進(jìn)行更新，且遇到多徑干擾時(shí)則會(huì)增加定位誤差。慣性導(dǎo)航系統(tǒng)通過(guò)檢測(cè)物體運(yùn)動(dòng)的加速度和旋轉(zhuǎn)運(yùn)動(dòng)而進(jìn)行導(dǎo)航，其最大的特點(diǎn)是自主式導(dǎo)航，不依賴外部信息，也不向外界輻射信息。慣性導(dǎo)航在短時(shí)間內(nèi)可以提供穩(wěn)定的實(shí)時(shí)位置更新，但由于它的自主性，導(dǎo)致慣性導(dǎo)航的定位誤差隨時(shí)間的增長(zhǎng)而逐漸增大。而GPS/INS組合導(dǎo)航則融合了各自導(dǎo)航系統(tǒng)的優(yōu)勢(shì)，彌補(bǔ)了各自導(dǎo)航定位的劣勢(shì)。擴(kuò)展卡爾曼濾波是最典型的用于進(jìn)行GPS/INS組合導(dǎo)航的方法。而在組合導(dǎo)航系統(tǒng)加入計(jì)算機(jī)視覺可以進(jìn)一步提高導(dǎo)航的精確性，同時(shí)視覺傳感器還能在其他傳感器發(fā)生故障時(shí)保持組合導(dǎo)航系統(tǒng)的穩(wěn)定性。

3 視覺融合組合導(dǎo)航

相比較于其他傳感器，視覺傳感器成本較低，同樣可以滿足例如激光雷達(dá)等傳感器的感知要求，隨著近年來(lái)計(jì)算機(jī)處理能力的不斷提高，基于視覺傳感器的輔助導(dǎo)航更具有吸引力。

3.1 視覺/GPS組合導(dǎo)航系統(tǒng)

單獨(dú)使用GPS導(dǎo)航時(shí)會(huì)出現(xiàn)導(dǎo)航基準(zhǔn)線的誤差，所以融合了視覺的GPS導(dǎo)航可以通過(guò)提取當(dāng)前的特征信息，提高導(dǎo)航定位的精度。Francisco等人研究了一種使用視覺傳感器和GPS傳感器在稠密城市環(huán)境下進(jìn)行車輛定位的方法，其中視覺系統(tǒng)用于捕獲視頻流，進(jìn)而恢復(fù)環(huán)境，并通過(guò)來(lái)自每個(gè)圖像對(duì)的特征檢測(cè)，匹配與三角測(cè)量來(lái)進(jìn)行車輛運(yùn)動(dòng)狀態(tài)的估計(jì)，同時(shí)GPS接收器周期性地獲得車輛方向和位置以調(diào)整視覺系統(tǒng)所估計(jì)的方向和位置[1]。Toulminet等研究的導(dǎo)航系統(tǒng)融合了單目相機(jī)、低成本的GPS和地圖數(shù)據(jù)來(lái)實(shí)現(xiàn)厘米級(jí)的定位精度，基于視覺的車道檢測(cè)模塊提供高精度定位的橫向空間信息，而基于視覺的交通標(biāo)志檢測(cè)模塊則可同時(shí)提供高精度定位的縱向和橫向空間信息[7]。陳艷等人構(gòu)建了一個(gè)基于GPS和視覺的組合導(dǎo)航定位系統(tǒng)，首先用GPS獲取車輛的位置信息、航向角與速度，而視覺系統(tǒng)則通過(guò)圖像處理獲得導(dǎo)航基準(zhǔn)線，然后通過(guò)無(wú)跡卡爾曼濾波器進(jìn)行濾波，得到車輛更新的位置信息[2]。

3.2 視覺/慣性導(dǎo)航組合導(dǎo)航系統(tǒng)

視覺與慣性導(dǎo)航的組合導(dǎo)航具有很高的精確性，近些年來(lái)取得很大的進(jìn)展，視覺可以為慣性導(dǎo)航系統(tǒng)的誤差補(bǔ)償信息，而慣性導(dǎo)航系統(tǒng)則彌補(bǔ)了視覺的實(shí)時(shí)性缺點(diǎn)。F.Mirzaei等人提出了一個(gè)擴(kuò)展卡爾曼濾波器，用于精確確定攝像機(jī)與IMU之間的變換，明確說(shuō)明了IMU測(cè)量的時(shí)間相關(guān)性，同時(shí)還為估算的轉(zhuǎn)換提供了品質(zhì)因數(shù)即協(xié)方差，該方法不需要除了校準(zhǔn)目標(biāo)（3D激光掃描儀等）之外的所有特殊硬件[3]。由于大部分的視覺單目方法都缺乏公制尺度，Weiss等人研究通過(guò)添加配備三軸加速度計(jì)和陀螺儀的慣性傳感器來(lái)解決這個(gè)問(wèn)題，該方法獨(dú)立于估算相機(jī)姿態(tài)的基礎(chǔ)視覺算法，講慣性導(dǎo)航模塊和單目視覺分別作為獨(dú)立的模塊，再利用擴(kuò)展卡爾曼濾波進(jìn)行位置估計(jì)[4]。L.Kneip等人的研究將視覺利用濾波器融合到慣性導(dǎo)航上用于機(jī)器人在室外崎嶇地形的實(shí)時(shí)定位[5]。

3.3 視覺/慣性導(dǎo)航/GPS組合導(dǎo)航系統(tǒng)

當(dāng)前研究的更多的還是融合視覺、GPS和慣性導(dǎo)航的組合導(dǎo)航系統(tǒng)，該類導(dǎo)航系統(tǒng)進(jìn)一步提高了定位的精度，各模塊間優(yōu)勢(shì)互補(bǔ)，彌補(bǔ)了單個(gè)導(dǎo)航模塊或兩個(gè)導(dǎo)航模塊的不足，適用于多種不利環(huán)境條件。MILLE等人的研究采用了PosteriorPose算法[16]，這本質(zhì)上是一種可以用于增強(qiáng)GPS和慣性導(dǎo)航解決方案的貝葉斯粒子濾波方法，該方法基于視覺測(cè)量附近的車道以及停靠線進(jìn)而測(cè)量已知地圖的環(huán)境特征，測(cè)量研究結(jié)合了謹(jǐn)慎假設(shè)測(cè)試和誤差建模，以解決由基于視覺的檢測(cè)算法導(dǎo)致的非高斯錯(cuò)誤[6]。G. Conte等人提出了用無(wú)源攝像機(jī)增強(qiáng)無(wú)人機(jī)（UAV）導(dǎo)航系統(tǒng)的可能性，為視覺應(yīng)用于組合導(dǎo)航系統(tǒng)提供了借鑒，此方法是一種基于視覺的組合導(dǎo)航，該組合將慣性傳感器，視覺測(cè)距和車載視頻融合到地球參考系的航拍圖像，能夠在無(wú)GPS的情況下為無(wú)人機(jī)自主導(dǎo)航提供高速率和無(wú)漂移狀態(tài)估計(jì)[8]。C.Cappelle等人提出了GPS/視覺輔助INS，其通過(guò)對(duì)位置、速度、航向和加速度的偏差估計(jì)用于二維運(yùn)動(dòng)模型，并通過(guò)圖像處理來(lái)獲得車輛的絕對(duì)位置和姿態(tài)矢量以校正INS的測(cè)量值[9]。L.Bai等人提出了一種基于視頻導(dǎo)航的傳感器融合框架，該類型的導(dǎo)航使車道線直接疊加到道路場(chǎng)景的視頻上，而不是像傳統(tǒng)導(dǎo)航系統(tǒng)那樣疊加在二維地圖上，然后用戶可以根據(jù)視頻中的標(biāo)志行進(jìn)。此方法還使用GPS和地理信息系統(tǒng)（GIS）來(lái)提供關(guān)于視覺模塊道路的先驗(yàn)信息，而視覺模塊則反過(guò)來(lái)校正GPS[10]。Wei等人使用立體視覺系統(tǒng)與GPS傳感器在密集城市環(huán)境中進(jìn)行車輛定位，其中立體視覺系統(tǒng)用于捕獲視頻，并通過(guò)對(duì)每個(gè)圖像對(duì)的特征檢測(cè)、匹配以及三角測(cè)量來(lái)估計(jì)車輛的行進(jìn)情況，并驗(yàn)證了基于立體視覺的運(yùn)動(dòng)估計(jì)能在多徑等情況引起的GPS信號(hào)缺失情況下的位置估計(jì)校正[11]。周莉等人使用雙目視覺傳感器與GNSS定位系統(tǒng)來(lái)進(jìn)行車輛的定位、車道線檢測(cè)以及規(guī)避障礙物的路徑規(guī)劃，接著利用卡爾曼濾波器融合了車輛的視覺定位坐標(biāo)系與GPS定位坐標(biāo)以進(jìn)行矯正[12]。T. Chu等人研究了基于擴(kuò)展卡爾曼濾波器的視覺/ IMU / GNSS組合導(dǎo)航系統(tǒng)，此組合導(dǎo)航使用在車輛在行進(jìn)交通環(huán)境下收集的實(shí)時(shí)數(shù)據(jù)集來(lái)進(jìn)行定位檢測(cè)，研究結(jié)果表明此組合導(dǎo)航在某些不利環(huán)境條件下于緊密耦合的GNSS / IMU組合導(dǎo)航系統(tǒng)[13]。A. Vu等人提出一種傳感器融合技術(shù)，使用計(jì)算機(jī)視覺和差分偽距全球定位系統(tǒng)進(jìn)行測(cè)量，同時(shí)在不利環(huán)境下GPS信號(hào)不穩(wěn)定時(shí)輔以慣性導(dǎo)航系統(tǒng)。該技術(shù)利用先驗(yàn)觀測(cè)的已知特征數(shù)據(jù)和衛(wèi)星的可觀測(cè)數(shù)據(jù)來(lái)校正使用擴(kuò)展卡爾曼濾波器的慣性導(dǎo)航模塊[14]。Christopher Rose等人開發(fā)的導(dǎo)航系統(tǒng)利用基于視覺的特征測(cè)量值與基于航路點(diǎn)的地圖來(lái)輔助GPS/慣性導(dǎo)航組合導(dǎo)航系統(tǒng)，分析了各種不利環(huán)境對(duì)此導(dǎo)航系統(tǒng)的影響，證明了此導(dǎo)航系統(tǒng)的穩(wěn)定性[17]。T. Oskiper等人研究了了可以在室內(nèi)和室外操作的增強(qiáng)現(xiàn)實(shí)應(yīng)用的攝像機(jī)跟蹤系統(tǒng)，該系統(tǒng)用誤差狀態(tài)擴(kuò)展卡爾曼濾波器（EKF）以緊密耦合的方式融合慣性導(dǎo)航系統(tǒng)和相機(jī)，使得每個(gè)視覺跟蹤特征都成為特征向量的一部分[15]。

4總結(jié)與展望

本文綜合概述了基于視覺的車載組合導(dǎo)航系統(tǒng)的應(yīng)用，該類組合系統(tǒng)是目前研究的前沿，由于基于激光雷達(dá)等傳感器的成本太高，基于視覺的傳感器模塊將逐漸取代激光雷達(dá)的功能。在理想條件下基于視覺的車載組合導(dǎo)航系統(tǒng)具有很好的實(shí)時(shí)性，穩(wěn)定性與魯棒性。在一些不利環(huán)境條件下依然可以維持導(dǎo)航定位的精度，但是在特殊情況下，例如樹木繁雜的地帶、雨天等惡劣天氣條件，定位精度會(huì)出現(xiàn)不同程度的偏差。并且視覺模塊對(duì)光的敏感度非常高，在夜晚等光照不利的情況下也會(huì)影響整個(gè)組合導(dǎo)航系統(tǒng)的穩(wěn)定性。綜合來(lái)看，隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，基于視覺的車載組合導(dǎo)航系統(tǒng)具有很高的應(yīng)用前景，未來(lái)會(huì)成為導(dǎo)航系統(tǒng)發(fā)展的主流，廣泛應(yīng)用于市場(chǎng)。

參考文獻(xiàn)：

[1] Francisco Rovira-Mas， Shufeng Han， Jiantao Wei. Fuzzy logic model for sensor fusion of machine vision and gps in autonomous navigation[C]//ASABE paper number051156， 2005.

[2] 陳艷，張漫，馬文強(qiáng)，等. 基于 GPS 和機(jī)器視覺的組合導(dǎo)航定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（3）：126-130.

[3] F. Mirzaei， S. Roumeliotis. A Kalman filter-based algorithm for IMU-camera calibration[C]. Proceedings of the 2007 IEEE/RSJ International conference on Intelligent Robots and Systems， San Diego ， Ca ，USA， 2007：2427-2435.

[4] Weiss S， Siegwart R. Real-time metric state estimation for modular vision-inertial systems[C]// The Institute of Electrical and Electronic Engineers （IEEE）.Proceedings of 2011 International conference on Robotics and Automation. Shanghai， China ：IEEE，2011： 4531-4537.

[5] Kneip L， Weiss S， Siegwart R. Deterministic initialization of metric state estimation filters for loosely-couple monocular vison-inertial systems[C]//The Institute of Electrical and Engineers （IEEE）.Proceedings of 2011 International conference on Intelligent Robots and systems（IROS）. San Francisco ：IEEE，2011： 2235-2241.

[6] Miller I，Campbell M.Particle filtering for map-aided localization in sparse GPSenvironments[C].IEEE International Conference on Robotics and Automation.Pasadena， CA， USA， 2008：1834-1841.

[7] Li H， Nashashibi F， and Toulminet G. Localization for intelligent vehicle by fusingmono- camera， low-cost GPS and map data[C]// IEEE.Proceedings of International IEEE Annual Conference on Intelligent Transportation System. Funchal ：IEEE，2010： 1657-1662.

[8] Conte G， Doherty P. Vision-based unmanned aerial vehicle navigation using geo-referenced information[J]. EURASIP Journal on Advances in Signal Processing，2009， 1（1）：1-18.

[9] Cappelle C， Naijar M， and Pomorski D. Localization in urban environment using GPS and INS aided by monocular vision system and 3D geographical model[C]. IEEE. Proceedings of the 2007 IEEE Intelligent Vehicles Symposium Istanbul， Turkey， 2007： 811–816.

[10] Bai L and Wang Y. A sensor fusion framework using multiple particle filters for video-based navigation. IEEE.Transactions on Intelligent Transportation Systems，2010： 348-358.

[11] Wei Lijun，Cappelle C and Ruichek Y.GPS and stereovision-based visual odometry：application to urban scene mapping and intelligent vehicle localization[J].InternationalJournal of Vehicular Technology，2011.

[12] 周莉.基于GNSS與視覺的道路監(jiān)測(cè)與避障技術(shù)[D].成都：電子科技大學(xué)，2015：24-30.

[13] Chu T， Guo N，and Backen S.Monocular camera/IMU/GNSS integration for ground vehicle navigation in challenging GNSS environments[J].IEEE Senors，2012，12（3）：3162-3185.

[14] Vu A， Ramanandan A and Chen A.Real-time computer vision/DGPS-aided inertial navigation system for lane-level vehicle navigation[J].Intelligent Transportation Systems，IEEE，2012，13（2）：899-913.

[15] Oskiper T， Samarasekera S and Kumar R. Multi-sensor navigation algorithm using monocular camera， IMU and GPS for large scale augmented reality[C]//IEEE. IEEE International Symposium on Mixed and Augmented Reality（ISMAR）. Atlanta，USA，2012：71-80.

[16] Y. Bar-Shalom， X. Rong Li， and T. Kirubarajan， Estimation with Applications to Tracking and Navigation： Theory， Algorithms and Software[M] .New York： John Wiley & Sons， Inc.， 2001.

[17] Rose C， Britt J， and Allen J. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS[J]. IEEE Transaction on Intelligent Transportation Systems，2014，15（6）：2615-2629.