無(wú)人機(jī)視覺(jué)導(dǎo)航發(fā)展現(xiàn)狀

鐘春來(lái) 楊洋 王喆 曹立佳

無(wú)人機(jī)已被廣泛應(yīng)用于民用領(lǐng)域，如空中監(jiān)視、包裹遞送、精準(zhǔn)農(nóng)業(yè)、智能交通、搜救行動(dòng)、災(zāi)后行動(dòng)、火災(zāi)檢測(cè)、遙感、交通監(jiān)控等。近年來(lái)，無(wú)人機(jī)的應(yīng)用領(lǐng)域因其成本效益、快速機(jī)動(dòng)性和易于部署而顯著增加。

無(wú)人機(jī)導(dǎo)航可以看作是無(wú)人機(jī)根據(jù)當(dāng)前環(huán)境和位置制定如何安全、快速到達(dá)目標(biāo)位置的計(jì)劃過(guò)程。為了順利完成預(yù)定的任務(wù)，無(wú)人機(jī)必須充分了解自身的狀態(tài)，包括位置、導(dǎo)航速度、航向以及起點(diǎn)和目標(biāo)位置。迄今為止，已經(jīng)提出了各種導(dǎo)航方法，主要可分為三類：慣性導(dǎo)航、衛(wèi)星導(dǎo)航和視覺(jué)導(dǎo)航。然而，這些方法都不是完美的。因此，根據(jù)具體任務(wù)采用合適的無(wú)人機(jī)導(dǎo)航至關(guān)重要。隨著計(jì)算機(jī)視覺(jué)的快速發(fā)展，視覺(jué)導(dǎo)航已被證明是自主導(dǎo)航領(lǐng)域的一個(gè)重要且具有前景的研究方向之一。首先，視覺(jué)傳感器可以提供豐富的周?chē)h(huán)境在線信息；其次，視覺(jué)傳感器具有顯著的抗干擾能力，非常適合動(dòng)態(tài)環(huán)境的感知。第三，大多數(shù)視覺(jué)傳感器都是無(wú)源傳感器，這也導(dǎo)致傳感系統(tǒng)無(wú)法被檢測(cè)到?；谝曈X(jué)的無(wú)人機(jī)導(dǎo)航系統(tǒng)的示意圖如圖1所示，系統(tǒng)以來(lái)自外界感知和自身感知傳感器的輸入，在經(jīng)過(guò)內(nèi)部定位、地圖構(gòu)建、障礙物避讓和路徑規(guī)劃等處理后，導(dǎo)航系統(tǒng)最終會(huì)輸出連續(xù)的控制信號(hào)，以引導(dǎo)無(wú)人機(jī)飛向目標(biāo)位置。

視覺(jué)傳感器

一般來(lái)說(shuō)，視覺(jué)導(dǎo)航使用的視覺(jué)傳感器包括單目、雙目、三原色加距離（RGB-D）和魚(yú)眼相機(jī)。單目相機(jī)因其價(jià)格低和靈活性高成為了應(yīng)用的首選。然而，它們只能捕捉到彩色圖像，無(wú)法直接獲得深度信息。雙目攝像機(jī)是單目攝像機(jī)的擴(kuò)展版本，可以在沒(méi)有紅外傳感器的情況下通過(guò)比較兩個(gè)攝像頭捕捉到的圖像，利用視差原理來(lái)估計(jì)物體的深度信息。RGB-D相機(jī)結(jié)合了彩色圖像和深度圖像的優(yōu)勢(shì)，通常通過(guò)使用紅外傳感器來(lái)獲取深度信息。RGB-D相機(jī)最適合室內(nèi)環(huán)境，因?yàn)樗饔玫膮^(qū)域范圍有限。魚(yú)眼相機(jī)可以為遠(yuǎn)距離區(qū)域提供寬視角，這對(duì)于復(fù)雜環(huán)境中的避障具有吸引力，但存在嚴(yán)重的圖像畸變。

基于地圖的視覺(jué)導(dǎo)航系統(tǒng)

基于地圖的視覺(jué)導(dǎo)航系統(tǒng)使得無(wú)人機(jī)能夠根據(jù)預(yù)定義的地圖和環(huán)境布局進(jìn)行導(dǎo)航，具備避障和路徑規(guī)劃能力。這些地圖的詳細(xì)程度各不相同，可以是涵蓋整個(gè)環(huán)境的三維模型，也可以僅僅是環(huán)境元素之間相互連接的示意圖?；诘貓D的導(dǎo)航系統(tǒng)可以分為三種主要類型：獨(dú)立于地圖的導(dǎo)航系統(tǒng)、依賴于地圖的導(dǎo)航系統(tǒng)和基于地圖構(gòu)建的導(dǎo)航系統(tǒng)。

獨(dú)立于地圖的導(dǎo)航系統(tǒng)

獨(dú)立于地圖的導(dǎo)航系統(tǒng)在沒(méi)有已知地圖的情況下運(yùn)行，而無(wú)人機(jī)只能通過(guò)觀察和提取周?chē)h(huán)境的獨(dú)特特征來(lái)進(jìn)行導(dǎo)航。目前，光流和特征跟蹤方法是與地圖無(wú)關(guān)的導(dǎo)航系統(tǒng)中最常用的方法。

基于光流的檢測(cè)方法利用圖像中每個(gè)像素的灰度隨時(shí)間的變化和相關(guān)性分析來(lái)推斷像素的運(yùn)動(dòng)速度，從而檢測(cè)目標(biāo)物體的運(yùn)動(dòng)。光流方法可以分為兩種主要類型：全局光流和局部光流。全局光流方法主要考慮相鄰像素之間的平滑運(yùn)動(dòng)，而局部光流方法則采用差分法，假設(shè)光流在圖像的所有像素點(diǎn)上都是恒定的。曾幼涵等人提出了一種基于光流的導(dǎo)航算法，實(shí)現(xiàn)了無(wú)人機(jī)在無(wú)GPS情況下的速度與位置控制。然而，在復(fù)雜環(huán)境中存在一些限制，例如存在快速移動(dòng)的物體、障礙物遮擋或不斷變化的照明條件，這些因素可能使光流方法的應(yīng)用受到限制。

基于特征跟蹤的導(dǎo)航系統(tǒng)是一類依靠跟蹤環(huán)境中獨(dú)特的視覺(jué)特征或關(guān)鍵點(diǎn)來(lái)實(shí)現(xiàn)導(dǎo)航和控制的導(dǎo)航方法?；谔卣鞲櫟南到y(tǒng)首先檢測(cè)環(huán)境中的關(guān)鍵視覺(jué)特征或地標(biāo)，這些特征可以是點(diǎn)、邊緣、角點(diǎn)（Harris、SIFT、SURF和ORB等）或其他可以在圖像中可識(shí)別的獨(dú)特圖案。當(dāng)在初始幀中檢測(cè)到特征，系統(tǒng)會(huì)跟蹤它們?cè)谶B續(xù)幀中的移動(dòng)，此跟蹤過(guò)程涉及從當(dāng)前幀到下一幀的特征匹配，通常使用特征匹配和特征跟蹤技術(shù)；通過(guò)跟蹤特征隨時(shí)間的運(yùn)動(dòng)，系統(tǒng)可以估計(jì)無(wú)人機(jī)與環(huán)境之間的相對(duì)運(yùn)動(dòng)。這些信息對(duì)于了解無(wú)人機(jī)如何移動(dòng)以及如何調(diào)整其軌跡至關(guān)重要。

依賴地圖的導(dǎo)航系統(tǒng)

基于地圖的導(dǎo)航系統(tǒng)依賴于已知環(huán)境的空間結(jié)構(gòu)，以實(shí)現(xiàn)無(wú)人機(jī)的導(dǎo)航、避障和路徑規(guī)劃。在這些方法中，通常使用兩種不同類型的地圖：八叉樹(shù)地圖和柵格地圖。這些地圖包含了豐富的信息，其使用二維地圖表示環(huán)境的三維模型以及顯示環(huán)境元素之間連接關(guān)系的地圖。此外，當(dāng)三維數(shù)據(jù)直接儲(chǔ)存在二維地圖中時(shí)，它適用于如辦公區(qū)域、寬敞的走廊或平坦的戶外區(qū)域等高度信息不太重要的環(huán)境。然而，在更復(fù)雜的環(huán)境中，如傳統(tǒng)的城市區(qū)域，障礙物的形狀不規(guī)則，這使得使用二維模型更具挑戰(zhàn)性。因此，必須采用三維占用模型，其中高度的概率分布得到更新，而不僅僅是一個(gè)維度的數(shù)值?？梢灾匦乱?guī)劃那些具有非標(biāo)準(zhǔn)輪廓的障礙物，如隧道、樹(shù)木、建筑物墻壁以及以獨(dú)特方式排列的物體。

基于地圖構(gòu)建的導(dǎo)航系統(tǒng)

由于周?chē)匦螐?fù)雜且崎嶇，對(duì)于無(wú)人機(jī)來(lái)說(shuō)，很難使用預(yù)先存在的準(zhǔn)確環(huán)境地圖進(jìn)行導(dǎo)航。此外，由于風(fēng)暴或大雨等自然災(zāi)害，無(wú)人機(jī)無(wú)法輕易識(shí)別目標(biāo)區(qū)域。因此，在復(fù)雜環(huán)境中導(dǎo)航時(shí)生成地圖是一種有效的解決方案。一般來(lái)說(shuō)，地圖構(gòu)建方法廣泛應(yīng)用于自主和半自主領(lǐng)域，并且由于同步視覺(jué)定位和建圖技術(shù)的快速發(fā)展而被廣泛接受和流行。根據(jù)其視覺(jué)傳感器圖像處理方式可以分為間接法和直接法。

間接方法不直接使用圖像，而是首先從圖像中檢測(cè)和提取特征，然后將他們用作運(yùn)動(dòng)估計(jì)和定位方法的輸入。特征通常是旋轉(zhuǎn)和透視不變的，并且對(duì)運(yùn)動(dòng)模糊和噪聲具有魯棒性。然而，大多數(shù)間接方法僅從圖像中提取不同的特征點(diǎn)，這最多只能重建一組特定的點(diǎn)，我們將這種方法稱為稀疏間接方法，它只能重建稀疏的場(chǎng)景圖。

盡管間接法在普通環(huán)境中表現(xiàn)良好，但很容易陷入無(wú)紋理的世界。因此，直接方法在過(guò)去十年中變得流行。與間接技術(shù)相比，直接方法通過(guò)利用所有圖像的強(qiáng)度信息來(lái)優(yōu)化幾何參數(shù)，從而提高了對(duì)光度和幾何像差的抵抗力。此外，直接技術(shù)更有可能識(shí)別密集對(duì)應(yīng)關(guān)系，從而使它們能夠以更高的計(jì)算成本重建密集地圖。

障礙物檢測(cè)和避障

避障是自主導(dǎo)航的關(guān)鍵組成部分之一，因?yàn)樗梢宰R(shí)別和傳輸有關(guān)周?chē)系K物的關(guān)鍵信息，從而降低碰撞和飛行員失誤的風(fēng)險(xiǎn)。因此，它有可能顯著提高無(wú)人機(jī)的自主性。避障基于檢測(cè)障礙物并計(jì)算無(wú)人機(jī)與障礙物之間的距離。當(dāng)障礙物接近時(shí)，無(wú)人機(jī)根據(jù)避障模塊的指令進(jìn)行躲避或掉頭。一種方法使用測(cè)距儀（如雷達(dá)、超聲波和紅外線）來(lái)估計(jì)距離。此外，它們的視野和測(cè)量范圍狹窄，使得它們無(wú)法在復(fù)雜的環(huán)境中收集足夠的信息。與該方法相比，視覺(jué)傳感器可以收集大量的視覺(jué)數(shù)據(jù)，這些數(shù)據(jù)可以被處理并用于避開(kāi)障礙物。避障方法分為三類：基于外觀的方法、基于運(yùn)動(dòng)的方法和基于深度的方法。

基于外觀的方法是障礙物視為統(tǒng)一背景（即地面或天空）的前景對(duì)象。它們的工作基于來(lái)自相關(guān)背景的一些先驗(yàn)知識(shí)，以邊緣、顏色、紋理或形狀特征的形式。使用安裝在無(wú)人機(jī)上的相機(jī)對(duì)連續(xù)拍攝的單張圖像進(jìn)行障礙物檢測(cè)。檢查獲取的圖像是否符合天空或地面特征；如果沒(méi)有，則被視為障礙像素。對(duì)圖像中的每個(gè)像素執(zhí)行此過(guò)程。結(jié)果是一個(gè)二值圖像，其中障礙物以白色像素呈現(xiàn)，其余像素以黑色像素呈現(xiàn)。對(duì)于無(wú)人機(jī)，大多數(shù)研究都在尋找一種將天空與地面分開(kāi)的方法。例如，Huh等人使用地平線將天空與地面分開(kāi)，然后使用粒子過(guò)濾器算法確定移動(dòng)障礙物。Mashaly等人提出在復(fù)雜的環(huán)境中進(jìn)行有效分割天空的方法。在另一項(xiàng)研究中提出一種利用單個(gè)廣角相機(jī)的實(shí)時(shí)障礙物檢測(cè)系統(tǒng)，該系統(tǒng)使用基于局部對(duì)象的背景減法來(lái)獲取靜態(tài)/移動(dòng)對(duì)象的輪廓。

在基于運(yùn)動(dòng)的方法中，假設(shè)附近的物體具有可以使用圖像中的運(yùn)動(dòng)矢量檢測(cè)到的劇烈運(yùn)動(dòng)。該過(guò)程涉及在很短的時(shí)間內(nèi)拍攝兩個(gè)連續(xù)的圖像或幀。首先，在兩幀上提取幾個(gè)匹配點(diǎn)。然后，計(jì)算匹配點(diǎn)的位移矢量。由于距離相機(jī)較近的物體具有較大的位移，因此任何位移值超過(guò)特定閾值的點(diǎn)都被視為障礙物像素?；谶\(yùn)動(dòng)的障礙物檢測(cè)主要依賴于匹配點(diǎn)的質(zhì)量。因此，如果不匹配特征的數(shù)量較多，其質(zhì)量可能會(huì)下降。此外，如果使用光流進(jìn)行運(yùn)動(dòng)估計(jì)，必須注意靠近中心的圖像點(diǎn)。這是因?yàn)?，在光流中，運(yùn)動(dòng)矢量的數(shù)量并不多。事實(shí)上，使用光流檢測(cè)無(wú)人機(jī)前面的障礙物仍然具有挑戰(zhàn)性。

與基于運(yùn)動(dòng)的方法一樣，基于深度的方法從單個(gè)相機(jī)拍攝的圖像中獲取深度信息。有兩種方法可以實(shí)現(xiàn)這一目標(biāo)，第一種是運(yùn)動(dòng)立體，第二種是深度學(xué)習(xí)。前者是者的機(jī)器人兩側(cè)放置了兩個(gè)攝像頭，并捕獲一對(duì)連續(xù)的圖像。盡管這些圖像僅使用單個(gè)相機(jī)拍攝，但它們可以被視為一對(duì)立體圖像，從中可以估計(jì)物點(diǎn)的深度。為此，在圖像中搜索匹配點(diǎn)。然后，使用標(biāo)準(zhǔn)深度估計(jì)計(jì)算，計(jì)算對(duì)象點(diǎn)的深度。深度小于閾值的像素被視為障礙物。后者是使用適當(dāng)?shù)臄?shù)據(jù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，從單個(gè)圖像生成深度圖。Mern等人提出了一種小型無(wú)人機(jī)避障系統(tǒng)，其中使用視覺(jué)算法計(jì)算深度。

路徑規(guī)劃

路徑規(guī)劃是無(wú)人機(jī)導(dǎo)航中的一項(xiàng)必要活動(dòng)，需要根據(jù)一組性能特征（例如最低的工作成本、最短的飛行時(shí)間和最短的路線）確定從起點(diǎn)到目的地點(diǎn)的最有效路徑。無(wú)人機(jī)在整個(gè)過(guò)程中還必須避開(kāi)障礙物，如圖2所示。根據(jù)用于計(jì)算理想路徑的環(huán)境信息的類型，該問(wèn)題可以分為全局路徑規(guī)劃和局部路徑規(guī)劃。全局路徑規(guī)劃旨在根據(jù)全局地圖上確定最佳可能路徑。然而，它不足以實(shí)時(shí)控制無(wú)人機(jī)，特別是當(dāng)其他活動(dòng)必須快速完成或在飛行過(guò)程中出現(xiàn)意外障礙時(shí)。因此，局部路徑規(guī)劃必須不斷接收來(lái)自周?chē)h(huán)境的傳感器數(shù)據(jù)并實(shí)時(shí)計(jì)算無(wú)碰撞路徑。

無(wú)人機(jī)路徑規(guī)劃涉及多個(gè)目標(biāo)，包括尋找最短路徑、最低成本路徑以及保持持久安全路徑等。解決這些問(wèn)題的開(kāi)放性挑戰(zhàn)促使研究人員探索各種方法和技術(shù)，其中包括基于網(wǎng)絡(luò)的技術(shù)、基于采樣的方法和基于人工智能的方法，具體分類如圖3所示。

基于網(wǎng)格的方法是在構(gòu)型空間（無(wú)人機(jī)可能達(dá)到的位置空間）上覆蓋網(wǎng)格，并假設(shè)每個(gè)構(gòu)型都有一個(gè)網(wǎng)格點(diǎn)。機(jī)器人可以從一個(gè)點(diǎn)移動(dòng)到相鄰的點(diǎn)，只要這個(gè)點(diǎn)在自由空間內(nèi)。這些方法支持在內(nèi)存中表示環(huán)境，從而實(shí)現(xiàn)路徑規(guī)劃和機(jī)器人定位。基于網(wǎng)格的路徑規(guī)劃，包括A*，D*，MEA*和Dijkstra等?；诓蓸拥乃惴ㄓ貌蓸优渲玫穆肪€圖來(lái)表示配置空間?；舅惴▽?duì)空間中的配置進(jìn)行采樣，并保留自由空間中的配置作為里程碑，以尋找連接起點(diǎn)和目標(biāo)的路徑。這些算法更適用于三維空間，包括粒子群優(yōu)化算法（Particle swarm optimization，PSO）、勢(shì)場(chǎng)法（Potential Field Method，PFM）、快速探索隨機(jī)樹(shù)法 （Rapidly exploring Random Tree，RRT）、RRT*和泰森多邊形法（Voronoi Diagram，VD）。

人工智能算法在無(wú)人機(jī)路徑規(guī)劃中的應(yīng)用是至關(guān)重要的，它可以幫助無(wú)人機(jī)在復(fù)雜環(huán)境中更有效地規(guī)劃路徑，基于人工智能的路徑規(guī)劃方法包括蟻群算法、人工神經(jīng)網(wǎng)絡(luò) （Artificial Neural Network，ANN）、暴力搜索、遺傳算法（Genetic Algorithm，GA）和可變鄰域搜索法（Variable Neighbourhood Search，VNS）等。無(wú)人機(jī)必須確保在有限的電池儲(chǔ)能容量下高效執(zhí)行任務(wù)，因此機(jī)器學(xué)習(xí)算法在感知、規(guī)劃和控制方面發(fā)揮著關(guān)鍵作用。深度強(qiáng)化學(xué)習(xí)是近年來(lái)新出的一種方法，它通過(guò)智能體與環(huán)境的互動(dòng)來(lái)學(xué)習(xí)如何選擇行動(dòng)以尋找最佳路徑，常用算法有Q-learning、DQN、DDPG、DDQN、CPP等。深度強(qiáng)化學(xué)習(xí)算法可以幫助無(wú)人機(jī)學(xué)習(xí)在復(fù)雜和未知的環(huán)境中尋找最佳路徑，以最大程度地提高任務(wù)執(zhí)行效率。具體算法的選擇通常取決于問(wèn)題的性質(zhì)、狀態(tài)空間的維度和可用的訓(xùn)練數(shù)據(jù)。深度強(qiáng)化學(xué)習(xí)在無(wú)人機(jī)領(lǐng)域的應(yīng)用前景廣闊，有望進(jìn)一步提高無(wú)人機(jī)的自主性和效率。

總結(jié)

隨著計(jì)算機(jī)視覺(jué)的快速發(fā)展和無(wú)人機(jī)的日益普及，它們的結(jié)合已成為學(xué)術(shù)界和工業(yè)界重點(diǎn)關(guān)注的研究領(lǐng)域。本文主要從定位與建圖、避障和路徑規(guī)劃三個(gè)方面介紹無(wú)人機(jī)視覺(jué)導(dǎo)航。定位和建圖是自主導(dǎo)航的關(guān)鍵，也為無(wú)人機(jī)提供位置和環(huán)境信息。避障和路徑規(guī)劃對(duì)于無(wú)人機(jī)安全、快速地到達(dá)目標(biāo)位置且不發(fā)生碰撞至關(guān)重要。

與傳統(tǒng)機(jī)器人相比，無(wú)人機(jī)不能在狀態(tài)估計(jì)存在相當(dāng)大誤差的情況下立刻停止運(yùn)行，導(dǎo)致飛行器的控制命令不連貫甚至墜毀，無(wú)人機(jī)可以為計(jì)算機(jī)視覺(jué)應(yīng)用提供具有挑戰(zhàn)性的測(cè)試平臺(tái)。通常，飛機(jī)的尺寸比移動(dòng)機(jī)器人的尺寸大。因此，圖像處理算法必須能夠魯棒地實(shí)時(shí)提供視覺(jué)信息，并具有補(bǔ)償圖像序列粗糙變化和三維信息變化的能力。其次無(wú)人機(jī)自身計(jì)算能力和能量的限制，其中大部分算法都不能直接應(yīng)用于無(wú)人機(jī)。雖然目前無(wú)人機(jī)視覺(jué)導(dǎo)航領(lǐng)域面臨諸多挑戰(zhàn)，但同時(shí)也為計(jì)算機(jī)視覺(jué)應(yīng)用提供了重要的實(shí)驗(yàn)平臺(tái)，這有望推動(dòng)該領(lǐng)域不斷發(fā)展。