基于人工智能的無(wú)人機(jī)區(qū)域偵察方法研究現(xiàn)狀與發(fā)展

吳兆香 歐陽(yáng)權(quán) 王志勝 馬瑞 叢玉華

摘要：區(qū)域偵察是無(wú)人機(jī)研究領(lǐng)域的一個(gè)重要分支。由于實(shí)際任務(wù)和環(huán)境十分復(fù)雜，區(qū)域偵察控制方法必須具備較快的計(jì)算速度、較強(qiáng)的自主性和智能性。人工智能因具有學(xué)習(xí)能力強(qiáng)、效率高、融合度高等特性被應(yīng)用于區(qū)域偵察任務(wù)中。本文系統(tǒng)介紹了區(qū)域偵察問(wèn)題的背景并綜述了基于人工智能解決該問(wèn)題的方法，主要分為構(gòu)造并優(yōu)化目標(biāo)函數(shù)的啟發(fā)式算法和求解最優(yōu)價(jià)值或策略的深度強(qiáng)化學(xué)習(xí)方法這兩類。通過(guò)對(duì)上述方法的全方位比較，發(fā)現(xiàn)深度強(qiáng)化學(xué)習(xí)因具有自學(xué)習(xí)和在線學(xué)習(xí)的性能，能很好地適應(yīng)復(fù)雜、未知環(huán)境進(jìn)而能快速、準(zhǔn)確解決區(qū)域偵察問(wèn)題。此外，本文還探討了無(wú)人機(jī)區(qū)域偵察技術(shù)的發(fā)展趨勢(shì)及深度強(qiáng)化學(xué)習(xí)面臨的挑戰(zhàn)。

關(guān)鍵詞：人工智能；區(qū)域偵察；深度強(qiáng)化學(xué)習(xí)；啟發(fā)式算法；自主智能

中圖分類號(hào)：TP18文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.19452/j.issn1007-5453.2020.10.010

基金項(xiàng)目：江蘇省高校自然科學(xué)研究面上項(xiàng)目（18KJB520023）；南京理工大學(xué)紫金學(xué)院校科研項(xiàng)目（2019ZRKX0401006）

無(wú)人機(jī)因具有機(jī)動(dòng)性高、隱蔽性好、生存能力強(qiáng)、成本低等特點(diǎn)，被廣泛應(yīng)用于救災(zāi)搶險(xiǎn)、環(huán)境監(jiān)測(cè)、監(jiān)控搜尋、航空記錄等領(lǐng)域，無(wú)人機(jī)區(qū)域偵察是其中一項(xiàng)重要的任務(wù)。隨著環(huán)境和任務(wù)的日漸復(fù)雜，單個(gè)無(wú)人機(jī)因完成任務(wù)載荷低、計(jì)算能力弱、感知范圍小已不能滿足人們的需求。因而，無(wú)人機(jī)“集群”概念隨即產(chǎn)生，越來(lái)越智能化和體系化，無(wú)人機(jī)群協(xié)同偵察也成為當(dāng)下的一個(gè)研究熱點(diǎn)[1-2]。

無(wú)人機(jī)區(qū)域偵察的核心任務(wù)是獲取一個(gè)或多個(gè)目標(biāo)位置信息，可分為目標(biāo)位置信息已知和目標(biāo)位置信息未知兩種情形。早期的研究[3-5]多是針對(duì)目標(biāo)信息已知的情況，此時(shí)無(wú)人機(jī)需要規(guī)劃航路抵達(dá)目標(biāo)所在位置，從而獲取更詳細(xì)的信息或者監(jiān)視跟蹤它。V. K. Shetty等[3]基于優(yōu)先級(jí)將目標(biāo)分配給無(wú)人機(jī)，用禁忌搜索啟發(fā)式算法協(xié)調(diào)分解問(wèn)題，用歐幾里得（Euclid）公式計(jì)算距離代價(jià)函數(shù)，從而完成多無(wú)人機(jī)的路徑規(guī)劃。但隨著任務(wù)環(huán)境日趨復(fù)雜化，無(wú)人機(jī)無(wú)法獲得目標(biāo)的具體信息[6-8]。因此，需要研究無(wú)人機(jī)在目標(biāo)位置信息未知的情況下執(zhí)行區(qū)域偵察任務(wù)，即通過(guò)算法規(guī)劃出無(wú)人機(jī)航路使其偵察覆蓋率最大，從而能大范圍、快速搜索到目標(biāo)以獲取信息。J. Tisdale等[6]設(shè)計(jì)了一個(gè)基于視覺(jué)的傳感系統(tǒng)，該系統(tǒng)允許在同一個(gè)框架中進(jìn)行目標(biāo)搜索和定位，無(wú)人機(jī)之間傳遞似然函數(shù)，協(xié)同搜索目標(biāo)。

值得注意的是，現(xiàn)實(shí)場(chǎng)景和任務(wù)會(huì)遇到通信存在干擾甚至通信拒止的情況。這種情況下，無(wú)人機(jī)無(wú)法實(shí)時(shí)接收到系統(tǒng)發(fā)出的控制指令，需要無(wú)人機(jī)具備自主控制的能力從而獨(dú)立或者協(xié)同完成目標(biāo)搜索任務(wù)。沈延航等[9]基于搜索域上的“回報(bào)率”狀態(tài)圖，研究了多無(wú)人機(jī)協(xié)同搜索規(guī)劃方法并將其與隨機(jī)搜索進(jìn)行比較，協(xié)同搜索方法明顯更優(yōu)。楊少環(huán)等[10]根據(jù)無(wú)人機(jī)和目標(biāo)的行為建立了博弈模型，以掃描方式規(guī)范路徑，實(shí)現(xiàn)待搜索區(qū)域的完全覆蓋。

目前，用來(lái)求解目標(biāo)搜索問(wèn)題的方法種類繁多，如何判斷這些算法的優(yōu)劣也成為一個(gè)問(wèn)題。一般而言，評(píng)價(jià)指標(biāo)有完成區(qū)域偵察所需時(shí)間、區(qū)域覆蓋率、無(wú)人機(jī)數(shù)量、航路長(zhǎng)短、能量損耗等。參考文獻(xiàn)[11]采用多無(wú)人機(jī)斜線編隊(duì)的方式對(duì)任務(wù)區(qū)域進(jìn)行偵察，以覆蓋率為指標(biāo)函數(shù)，避免無(wú)人機(jī)并行造成的面積重疊問(wèn)題并提高了搜索效率。參考文獻(xiàn)[12]將區(qū)域遍歷搜索問(wèn)題轉(zhuǎn)化為最優(yōu)問(wèn)題，即使最后完成任務(wù)的無(wú)人機(jī)花費(fèi)的時(shí)間最小化，并結(jié)合一些約束條件，最終達(dá)成無(wú)人機(jī)數(shù)量最少、路徑最短、時(shí)間最短的搜索目的。實(shí)質(zhì)上，這些評(píng)價(jià)指標(biāo)都是基于算法的偵察代價(jià)函數(shù)而言的，函數(shù)考慮的因素越多，約束越復(fù)雜，實(shí)現(xiàn)后的效果越優(yōu)越。

總之，在無(wú)人機(jī)區(qū)域偵察領(lǐng)域，主要研究有單/多無(wú)人機(jī)、靜態(tài)/動(dòng)態(tài)目標(biāo)[13]、無(wú)人機(jī)自主/協(xié)同控制、性能指標(biāo)優(yōu)化、航跡規(guī)劃等，研究寬泛而復(fù)雜，對(duì)方法要求越來(lái)越高。近年來(lái)，由于人工智能[14-17]能夠模仿人的思維進(jìn)行思考，甚至是做出決策，在某些方面超過(guò)人的智能，所以學(xué)者們對(duì)其展開(kāi)大量理論研究和實(shí)際應(yīng)用，使其發(fā)展迅速并逐漸深入人們的生活，在現(xiàn)代科技領(lǐng)域有著廣泛的應(yīng)用和廣闊的前景。用人工智能方法求解無(wú)人機(jī)區(qū)域偵察問(wèn)題確實(shí)能使無(wú)人機(jī)自主協(xié)同、高效率、低成本地完成任務(wù)，具有極高的研究意義。

本文分類整理了人工智能在無(wú)人機(jī)區(qū)域偵察上的應(yīng)用，比較了各方法的性能優(yōu)劣，以便研究者們能夠快速掌握無(wú)人機(jī)區(qū)域偵察的研究現(xiàn)狀，從而進(jìn)一步展開(kāi)深層次的研究。

1問(wèn)題概述

無(wú)人機(jī)被任意部署在特定任務(wù)區(qū)域周圍，并對(duì)這個(gè)區(qū)域進(jìn)行偵察，在滿足無(wú)人機(jī)控制的基礎(chǔ)上實(shí)現(xiàn)短時(shí)間內(nèi)區(qū)域覆蓋最大、目標(biāo)確認(rèn)最多的目的，并計(jì)算完成任務(wù)區(qū)域完全覆蓋、目標(biāo)全部確認(rèn)的總時(shí)間。無(wú)人機(jī)區(qū)域偵察任務(wù)環(huán)境示意圖如圖1所示。

任務(wù)區(qū)域可能是布滿高樓大廈的陸地，或者是廣闊遼遠(yuǎn)的海面；區(qū)域內(nèi)沒(méi)有障礙物或者障礙物是隱性的等，這都是由現(xiàn)實(shí)情況所定的。現(xiàn)實(shí)環(huán)境隨機(jī)變化的復(fù)雜性要求算法有一定的智能性、自主性，能夠識(shí)別環(huán)境特征、躲避障礙物，實(shí)現(xiàn)區(qū)域偵察、快速覆蓋。

此外，無(wú)人機(jī)進(jìn)行區(qū)域偵察的終極目的是找到任務(wù)區(qū)域內(nèi)的目標(biāo)，并將其位置、動(dòng)態(tài)信息反饋給控制中心以便分配下一任務(wù)。而目標(biāo)在區(qū)域內(nèi)的位置也是任意的，包括已知或未知、靜止或動(dòng)態(tài)、普通或高級(jí)等情況。這就導(dǎo)致算法需要具備更高的性能才能快速、高效、準(zhǔn)確地搜索到目標(biāo)。

人工智能因具有搜索技術(shù)、知識(shí)庫(kù)技術(shù)、歸納技術(shù)等基本技術(shù)在求解區(qū)域偵察問(wèn)題上具有一定的優(yōu)越性。所以，本文致力于研究人工智能求解無(wú)人機(jī)區(qū)域偵察問(wèn)題，具體框架圖如圖2所示。將基于人工智能處理區(qū)域偵察問(wèn)題的方法分成兩類：一類是構(gòu)造目標(biāo)函數(shù)并進(jìn)行優(yōu)化的啟發(fā)式算法；另一類是求解最優(yōu)價(jià)值或策略并實(shí)施在線獎(jiǎng)懲的深度強(qiáng)化學(xué)習(xí)方法。

2傳統(tǒng)方法

在人工智能方法還未普及之前，學(xué)者們把區(qū)域當(dāng)作研究突破點(diǎn)，即將區(qū)域劃分成小塊分配給每個(gè)無(wú)人機(jī)。那么問(wèn)題就轉(zhuǎn)化為單無(wú)人機(jī)規(guī)劃問(wèn)題：每架無(wú)人機(jī)在各自領(lǐng)域內(nèi)進(jìn)行航跡規(guī)劃，搜索所在區(qū)域的目標(biāo)，降低了問(wèn)題的復(fù)雜性。

為了追求均衡，一般是將任務(wù)區(qū)域等面積劃分。每個(gè)無(wú)人機(jī)分得相同面積的區(qū)域，然后規(guī)劃如何在該區(qū)域內(nèi)快速找到目標(biāo)。高春慶等[18]先將任務(wù)區(qū)域劃分為小網(wǎng)格，每4個(gè)小網(wǎng)格匯聚成一個(gè)方格，基于方格劃分區(qū)域進(jìn)而優(yōu)化每個(gè)無(wú)人機(jī)的偵察路徑。但是方格數(shù)量不一定會(huì)使每個(gè)無(wú)人機(jī)分配到的搜索面積完全相等，存在近似情況?；诿娣e均衡原則，戴健等[19]研究了凸多邊形和非凸多邊形的區(qū)域劃分。依據(jù)無(wú)人機(jī)來(lái)向，將凸多邊形區(qū)域劃分為n等份（n為無(wú)人機(jī)數(shù)量）；利用區(qū)域分割線平行于某一邊界的原則[20]在區(qū)域凹口處進(jìn)行凸分解，再進(jìn)行凸等分。

上述文獻(xiàn)區(qū)域內(nèi)沒(méi)有禁飛區(qū)或者障礙且沒(méi)有考慮到無(wú)人機(jī)的初始位置；將無(wú)人機(jī)任務(wù)區(qū)域固定沒(méi)有充分考慮區(qū)域形狀對(duì)無(wú)人機(jī)轉(zhuǎn)彎的影響，導(dǎo)致無(wú)人機(jī)執(zhí)行時(shí)會(huì)有難度。參考文獻(xiàn)[21]依據(jù)無(wú)人機(jī)初始位置進(jìn)行Voronoi圖[22]（V圖）劃分，每走完一步就進(jìn)行V圖更新。每個(gè)無(wú)人機(jī)在各自的V圖區(qū)域內(nèi)進(jìn)行偵察搜索。隨著搜索的進(jìn)行，任務(wù)區(qū)域的不確定度就會(huì)不斷降低。

上述方法雖然各有優(yōu)點(diǎn)，但也存在相應(yīng)問(wèn)題：未考慮無(wú)人機(jī)轉(zhuǎn)彎數(shù)從而增加執(zhí)行難度；最優(yōu)解難以求得，計(jì)算復(fù)雜，而且還存在區(qū)域重復(fù)偵察的情況。最主要的問(wèn)題是無(wú)人機(jī)只負(fù)責(zé)各自分得的區(qū)域獨(dú)立完成任務(wù)，相互之間沒(méi)有信息交流、協(xié)同合作。然而，每個(gè)區(qū)域內(nèi)的目標(biāo)數(shù)量是不一樣的、復(fù)雜度也不統(tǒng)一，易出現(xiàn)無(wú)人機(jī)先完成目標(biāo)搜索然后在此區(qū)域內(nèi)重復(fù)搜索的情況，導(dǎo)致資源利用不合理、不充分而大量浪費(fèi)，經(jīng)濟(jì)效益不高。所以，需要研究更智能的算法：不需要區(qū)域劃分，無(wú)人機(jī)直接偵察區(qū)域；無(wú)人機(jī)能夠根據(jù)具體情況實(shí)時(shí)、自主采取措施；無(wú)人機(jī)之間相互配合協(xié)同工作，更合理、更智能、更快速地實(shí)現(xiàn)區(qū)域偵察任務(wù)。

3人工智能方法

人工智能作為計(jì)算機(jī)科學(xué)的一部分，研究如何表示、獲得、運(yùn)用知識(shí)，通過(guò)模擬人的思維方式并將其應(yīng)用到機(jī)器中，使機(jī)器具有智能性。無(wú)人機(jī)在執(zhí)行區(qū)域偵察任務(wù)時(shí)，由于環(huán)境復(fù)雜多變很可能發(fā)生無(wú)人機(jī)無(wú)法做出及時(shí)、準(zhǔn)確的判斷而導(dǎo)致任務(wù)失敗的情況。因此，需要深入研究如何讓無(wú)人機(jī)具備一定的自主性。這與人工智能方法的特點(diǎn)是相呼應(yīng)的，所以將人工智能應(yīng)用在無(wú)人機(jī)區(qū)域偵察問(wèn)題上具有極高的現(xiàn)實(shí)、實(shí)用意義。

3.1目標(biāo)函數(shù)優(yōu)化——啟發(fā)式算法

20世紀(jì)80年代，啟發(fā)式算法一出現(xiàn)就成為一個(gè)新興領(lǐng)域，成為人工智能以及經(jīng)濟(jì)、社會(huì)、生物等交叉學(xué)科的研究熱點(diǎn)。在沒(méi)有集中控制和全局模型的前提下，自然界中簡(jiǎn)單的個(gè)體通過(guò)組織和相互協(xié)作做出群體智能行為，具有天然的自組織特征，為解決復(fù)雜問(wèn)題提供新的求解思路。啟

發(fā)式算法主要有蟻群算法[23-24]（ACO）、粒子群算法[25-26]（PSO）、遺傳算法[27-28]（GA）等，通過(guò)構(gòu)造無(wú)人機(jī)區(qū)域偵察問(wèn)題的目標(biāo)函數(shù)，用啟發(fā)式算法的智能性來(lái)求解，有一定的研究意義。

3.1.1基于蟻群算法求解區(qū)域偵察

螞蟻是自然界中的一種微小、弱勢(shì)的群體，單獨(dú)的螞蟻沒(méi)有太多智能行為，但當(dāng)多個(gè)螞蟻一起工作時(shí)，它們可以沿著最優(yōu)的路徑尋找、搬運(yùn)食物，具有良好的協(xié)同性、智能性。具體蟻群尋找最優(yōu)路徑的過(guò)程如圖3所示。圖3（a）表示蟻群遇到一個(gè)分叉路口，需要做出選擇；圖3（b）表示上下兩條路徑長(zhǎng)度是不等的，螞蟻隨機(jī)選擇一條；圖3（c）表示選擇下面這條路的螞蟻先到達(dá)目的地，沿原路返回并釋放更多的信息素；圖3（d）表示下面路徑積累的信息素比上面路徑更多，螞蟻傾向于選擇下面這條路，也就是信息素多的路徑（圖3中的虛線表示信息素）。

同樣，將蟻群尋找最優(yōu)路徑的想法應(yīng)用到無(wú)人機(jī)區(qū)域偵察上面，能優(yōu)化各個(gè)無(wú)人機(jī)的路徑，減少能量損失。

參考文獻(xiàn)[29]將任務(wù)區(qū)域分為8個(gè)子區(qū)域，采用蟻群算法使得每個(gè)區(qū)域的飛行路線最優(yōu)，從而求得最佳偵察方案；參考文獻(xiàn)[30]提出多群體蟻群算法來(lái)優(yōu)化多無(wú)人機(jī)協(xié)同目標(biāo)搜索算法。不再局限于一個(gè)蟻群群體，而是拓展至多個(gè)蟻群群體，與多無(wú)人機(jī)的編隊(duì)相呼應(yīng)，比較適用于多無(wú)人機(jī)編隊(duì)執(zhí)行區(qū)域偵察任務(wù)。

多群體蟻群算法求解多無(wú)人機(jī)區(qū)域偵察問(wèn)題的思路如下：增加蟻群群體，多群體蟻群共同解決更復(fù)雜的多無(wú)人機(jī)區(qū)域偵察問(wèn)題；處于不同群體具有相同編號(hào)的螞蟻之間信息素相互排斥，增加負(fù)反饋機(jī)制；螞蟻之間的組合方式多樣，增加系統(tǒng)的穩(wěn)定性；確定下一步動(dòng)作時(shí)使用輪盤(pán)賭選擇法；每次迭代結(jié)束后只更新全局最優(yōu)的路徑，加快算法的收斂速度；根據(jù)代價(jià)函數(shù)及時(shí)計(jì)算已搜索目標(biāo)的收益，減少重復(fù)率。

此外，該算法還考慮了無(wú)人機(jī)的禁飛區(qū)：通過(guò)探測(cè)是否到達(dá)禁飛區(qū)并判斷哪個(gè)方向是不會(huì)進(jìn)入禁飛區(qū)的。因此，在含有禁飛區(qū)的任務(wù)區(qū)域內(nèi)，該算法使無(wú)人機(jī)能夠自主避開(kāi)所有禁飛區(qū)，最終得到無(wú)人機(jī)數(shù)量少、時(shí)間短、路線優(yōu)的區(qū)域偵察方案。

蟻群算法因其多元性、整體性、相關(guān)性、分布式計(jì)算、自組織、正反饋等特征而被廣泛應(yīng)用于組合優(yōu)化問(wèn)題上，可以用來(lái)求解區(qū)域偵察無(wú)人機(jī)航跡規(guī)劃問(wèn)題。

3.1.2基于粒子群算法求解區(qū)域偵察

PSO算法流程如下：（1）粒子群初始化：包括種群規(guī)模、權(quán)重系數(shù)、速度位置信息等；（2）計(jì)算每個(gè)粒子的適應(yīng)度值，找出個(gè)體最優(yōu)值和全局最優(yōu)值；（3）判斷是否是最優(yōu)解：若是最優(yōu)解或者達(dá)到迭代次數(shù)，則輸出該解。否則根據(jù)式（2）更新粒子的速度和位置信息；（4）更新速度和位置并返回第（2）步，進(jìn)行新一輪的迭代。

上述流程可以看出，PSO算法簡(jiǎn)單易實(shí)現(xiàn)，并且不需要調(diào)整太多的參數(shù)，計(jì)算量小，收斂速度快，特別適合求解優(yōu)化問(wèn)題。

許友平[31]用粒子群算法求解目標(biāo)搜索階段的航路規(guī)劃問(wèn)題，使無(wú)人機(jī)在較短的時(shí)間內(nèi)遍歷任務(wù)區(qū)域，從而偵察到更多的目標(biāo)，降低區(qū)域信息的不確定度。參考文獻(xiàn)[32]用粒子群算法為每架無(wú)人機(jī)規(guī)劃航路，在求解過(guò)程中，將其他無(wú)人機(jī)考慮進(jìn)目標(biāo)函數(shù)，從而實(shí)現(xiàn)多無(wú)人機(jī)的協(xié)同搜索，如圖4所示。

3.1.3基于遺傳算法求解區(qū)域偵察

遺傳算法[33]是一種模擬自然界生物進(jìn)化的迭代進(jìn)化算法，依據(jù)“優(yōu)勝劣汰，適者生存”的原則對(duì)種群進(jìn)行篩選，經(jīng)過(guò)選擇、交叉、變異操作，不斷接近最優(yōu)解直至求得最優(yōu)解[34]。圖5解釋了遺傳算法的主要過(guò)程。主要思想是：將可能解看作種群中的個(gè)體，并對(duì)其編碼；基于適應(yīng)度函數(shù)對(duì)個(gè)體進(jìn)行評(píng)價(jià)；接著選擇、復(fù)制優(yōu)良個(gè)體（適應(yīng)度函數(shù)值較高的個(gè)體）；交叉、變異產(chǎn)生新的個(gè)體，更新種群。重復(fù)以上操作，直至滿足終止條件，從而求得最優(yōu)解，具有良好的全局搜索能力。

參考文獻(xiàn)[35]采用經(jīng)典的遺傳算法求解多無(wú)人機(jī)進(jìn)行區(qū)域監(jiān)視的航路規(guī)劃問(wèn)題，具體步驟如下：

（1）基因編碼[36]：對(duì)無(wú)人機(jī)的轉(zhuǎn)彎角進(jìn)行編碼而不是直接對(duì)無(wú)人機(jī)的位置進(jìn)行編碼，一方面是更新后的位置可能違背無(wú)人機(jī)的飛行約束條件；另一方面在計(jì)算量上有明顯的優(yōu)勢(shì)。

（2）初始化種群：種群用矩陣表示，矩陣大小是s×N，種群個(gè)體為s，即無(wú)人機(jī)群的協(xié)同飛行方式；N是無(wú)人機(jī)數(shù)量。

（3）適應(yīng)度函數(shù)[37]：無(wú)人機(jī)群在下一時(shí)刻的區(qū)域面積覆蓋率，用無(wú)人機(jī)的偵察面積除以任務(wù)區(qū)域的總面積。

（4）選擇：采用輪盤(pán)賭選擇法[38]，適應(yīng)度值越大的個(gè)體被選擇的概率就大。

（5）交叉與變異[39-40]：基于交叉概率兩兩配對(duì)進(jìn)行轉(zhuǎn)彎角互換；基于變異概率隨機(jī)對(duì)某個(gè)轉(zhuǎn)彎角變異。

（6）判斷是否滿足最大迭代次數(shù)，若滿足則輸出整個(gè)過(guò)程中適應(yīng)度值最大的個(gè)體；若不滿足則轉(zhuǎn)到（4）繼續(xù)。

經(jīng)過(guò)以上遺傳操作，依次得到無(wú)人機(jī)接下來(lái)每一步的轉(zhuǎn)彎角，再將其轉(zhuǎn)換為無(wú)人機(jī)的位置和航向信息，一個(gè)個(gè)節(jié)點(diǎn)連接起來(lái)便形成各架無(wú)人機(jī)的航跡。從而實(shí)現(xiàn)滿足任務(wù)區(qū)域覆蓋最大的航跡規(guī)劃。

參考文獻(xiàn)[41]針對(duì)傳統(tǒng)遺傳算法耗時(shí)長(zhǎng)、易陷入局部最優(yōu)解的缺點(diǎn)，在傳統(tǒng)的遺傳算法上做了改進(jìn)，加入了反向思想[42]，提高種群的多樣性并提高解的質(zhì)量。

除了以上三種啟發(fā)式算法，還有很多算法被用來(lái)求解區(qū)域偵察問(wèn)題，如參考文獻(xiàn)[43]采用離散布谷鳥(niǎo)搜索算法[44-45]來(lái)求解如何使得遍歷全部偵察區(qū)域的航程最短、時(shí)間最少、偵察收益最大，并通過(guò)仿真驗(yàn)證其有效性和可行性。

上述啟發(fā)式算法求解無(wú)人機(jī)區(qū)域偵察問(wèn)題的出發(fā)點(diǎn)是建立無(wú)人機(jī)偵察過(guò)程中的目標(biāo)函數(shù)，將問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題，然后用這些算法來(lái)求解目標(biāo)函數(shù)，即求得最優(yōu)解，再實(shí)現(xiàn)無(wú)人機(jī)的航跡規(guī)劃。但如果這些目標(biāo)函數(shù)考慮的全面而復(fù)雜、無(wú)人機(jī)數(shù)量較多時(shí)，維數(shù)增加，計(jì)算量會(huì)很龐大；約束條件增多，求解困難甚至可能求不出解。所以，還需研究更智能、更強(qiáng)大的算法來(lái)解決這些問(wèn)題。

3.2策略優(yōu)化——深度強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)[46-47]是機(jī)器學(xué)習(xí)的一種，其本質(zhì)是描述智能體不斷與環(huán)境交互進(jìn)行策略學(xué)習(xí)，解決如何使環(huán)境回報(bào)值最大或?qū)崿F(xiàn)特定目標(biāo)的問(wèn)題。具體的模型如圖6所示。

智能體在當(dāng)前狀態(tài)執(zhí)行動(dòng)作a，環(huán)境接受該動(dòng)作后賦予智能體新的狀態(tài)s并反饋一個(gè)回報(bào)r給智能體，智能體根據(jù)回報(bào)r調(diào)整策略并重復(fù)學(xué)習(xí)，不斷得到狀態(tài)-動(dòng)作值關(guān)系對(duì)，直至任務(wù)完成并產(chǎn)生一個(gè)最優(yōu)的策略。

強(qiáng)化學(xué)習(xí)由于其試錯(cuò)搜索、延遲獎(jiǎng)賞的特點(diǎn)，被用來(lái)訓(xùn)練無(wú)人機(jī)的自主性，能使無(wú)人機(jī)完成一些復(fù)雜決策的任務(wù)。但在面對(duì)復(fù)雜高維環(huán)境時(shí)，狀態(tài)矩陣的維度會(huì)非常大，無(wú)法找到最佳的狀態(tài)-動(dòng)作關(guān)系，導(dǎo)致智能體不能做出正確的動(dòng)作。而深度學(xué)習(xí)[48-49]模仿人腦對(duì)數(shù)據(jù)進(jìn)行處理，給出解釋，自主性更強(qiáng)。用函數(shù)擬合問(wèn)題替代強(qiáng)化學(xué)習(xí)中的狀態(tài)-動(dòng)作值函數(shù)矩陣更新問(wèn)題，狀態(tài)相近輸出也相近，進(jìn)而解決復(fù)雜環(huán)境下的決策問(wèn)題。

因此，將深度神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)融合起來(lái)構(gòu)成深度強(qiáng)化學(xué)習(xí)[50]，汲取兩者的優(yōu)勢(shì)、補(bǔ)足相應(yīng)的不足，在計(jì)算機(jī)視覺(jué)、游戲、機(jī)器人等領(lǐng)域取得較大的突破，正逐步成為機(jī)器學(xué)習(xí)、人工智能領(lǐng)域最火熱的應(yīng)用方向，具有極高的研究?jī)r(jià)值。當(dāng)然，深度強(qiáng)化學(xué)習(xí)在無(wú)人機(jī)方面的技術(shù)也越來(lái)越成熟，關(guān)于區(qū)域偵察任務(wù)也有所涉及。

3.2.1基于深度Q網(wǎng)絡(luò)求解區(qū)域偵察

深度Q網(wǎng)絡(luò)[51]（deep Q-network，DQN）將深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）與強(qiáng)化學(xué)習(xí)中的Q-Learning結(jié)合在一起。利用CNN處理大規(guī)模輸入數(shù)據(jù)，輸出提取到的特征，并發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律；然后用Q-Learning通過(guò)馬爾可夫決策建立模型，不斷更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，從而實(shí)現(xiàn)對(duì)Q表的擬合。具體算法原理如圖7所示。

DQN強(qiáng)大的兩個(gè)因素是經(jīng)驗(yàn)回放和兩個(gè)神經(jīng)網(wǎng)絡(luò)。從經(jīng)驗(yàn)池里隨機(jī)抽取數(shù)據(jù)進(jìn)行估計(jì)網(wǎng)絡(luò)，減少數(shù)據(jù)間的關(guān)聯(lián)性[52]；估計(jì)值網(wǎng)絡(luò)訓(xùn)練出值函數(shù)的估計(jì)值，目標(biāo)值網(wǎng)絡(luò)訓(xùn)練出值函數(shù)的期望值，計(jì)算兩者的差值再利用隨機(jī)梯度下降更新估計(jì)值網(wǎng)絡(luò)的參數(shù)，進(jìn)行新一輪的訓(xùn)練。估計(jì)值網(wǎng)絡(luò)和目標(biāo)值網(wǎng)絡(luò)是兩個(gè)完全一樣的網(wǎng)絡(luò)，只是網(wǎng)絡(luò)參數(shù)更新步調(diào)不一致，相差一個(gè)步長(zhǎng)。這種延遲更新參數(shù)的方式也減少了相關(guān)性。

李艷慶[35]用DQN解決多無(wú)人機(jī)協(xié)同區(qū)域監(jiān)視的航路規(guī)劃問(wèn)題，在一定程度上解決多無(wú)人機(jī)對(duì)任務(wù)區(qū)域的覆蓋問(wèn)題，主要關(guān)鍵點(diǎn)如下。

（1）確定無(wú)人機(jī)狀態(tài)和動(dòng)作

每架無(wú)人機(jī)的狀態(tài)包括三個(gè)元素：位置橫坐標(biāo)、位置縱坐標(biāo)、速度方向；在小于最大轉(zhuǎn)彎角的前提下對(duì)可到達(dá)位置圓弧進(jìn)行均分，確定可選擇的動(dòng)作。

（2）確定獎(jiǎng)賞函數(shù)

針對(duì)多無(wú)人機(jī)區(qū)域偵察問(wèn)題，將無(wú)人機(jī)群的監(jiān)視面積覆蓋率作為獎(jiǎng)勵(lì)函數(shù)。

（3）訓(xùn)練網(wǎng)絡(luò)

通過(guò)以上步驟對(duì)估計(jì)值網(wǎng)絡(luò)和目標(biāo)值網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用梯度下降方法不斷逼近目標(biāo)值、更新網(wǎng)絡(luò)參數(shù)，使得各個(gè)無(wú)人機(jī)執(zhí)行訓(xùn)練得到的動(dòng)作，進(jìn)而形成航路來(lái)進(jìn)行區(qū)域偵察任務(wù)。

3.2.2基于近端策略優(yōu)化算法求解區(qū)域偵察

近端策略優(yōu)化算法[53]（proximal policy optimization，PPO）也是深度強(qiáng)化學(xué)習(xí)的一種，是基于策略梯度的異策略學(xué)習(xí)算法。它不同于DQN，因?yàn)镈QN是通過(guò)估計(jì)最優(yōu)價(jià)值函數(shù)來(lái)求得最優(yōu)策略；而PPO試圖用含參函數(shù)近似最優(yōu)策略，通過(guò)迭代更新參數(shù)值。簡(jiǎn)言之，DQN是一種最優(yōu)價(jià)值算法，PPO是一種策略梯度算法。

PPO算法本質(zhì)上是Actor-Critic算法，Actor網(wǎng)絡(luò)輸入是智能體的狀態(tài)，輸出是智能體采取行為的概率分布；Critic網(wǎng)絡(luò)輸入是Actor網(wǎng)絡(luò)選擇動(dòng)作后的下一狀態(tài)，輸出是狀態(tài)的價(jià)值。Critic計(jì)算下一狀態(tài)的價(jià)值加上環(huán)境給的回報(bào)與當(dāng)前狀態(tài)的價(jià)值的差值，即時(shí)間差分（temporal-difference error，TD-error），如果下一狀態(tài)值大于當(dāng)前狀態(tài)值，則critic會(huì)告訴actor當(dāng)前狀態(tài)下的動(dòng)作選擇的概率應(yīng)該增加，否則減小，并且概率變化的幅度由TD-error決定。具體原理圖如圖8所示。

參考文獻(xiàn)[54]用PPO算法來(lái)解決室內(nèi)無(wú)人機(jī)隨機(jī)搜索目標(biāo)問(wèn)題，提出一種基于位置標(biāo)注的好奇心驅(qū)動(dòng)的PPO算法，提高了算法的搜索效率和準(zhǔn)確度，縮小訓(xùn)練周期。

無(wú)人機(jī)的動(dòng)作有前進(jìn)、后退、左移、右移、左轉(zhuǎn)、右轉(zhuǎn)、上升、下降和無(wú)動(dòng)作共9種。獎(jiǎng)勵(lì)規(guī)則[54]見(jiàn)表1。

將PPO算法和基于空間位置標(biāo)注好奇心探索的算法結(jié)合起來(lái)，展示一個(gè)無(wú)人機(jī)如何在室內(nèi)以較快速度進(jìn)行目標(biāo)搜索的過(guò)程，并獲得了在陌生區(qū)域隨機(jī)搜索目標(biāo)、躲避障礙物和實(shí)時(shí)調(diào)整高度的技能，很好地解決了無(wú)人機(jī)在搜索過(guò)程中陷入局部區(qū)域出不來(lái)的問(wèn)題，具有高準(zhǔn)確性、短訓(xùn)練周期、高智能水平等特點(diǎn)。

將深度學(xué)習(xí)的擬合函數(shù)、神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)的試錯(cuò)搜索、延遲獎(jiǎng)賞結(jié)合起來(lái)形成深度強(qiáng)化學(xué)習(xí)，并將其應(yīng)用在無(wú)人機(jī)區(qū)域偵察問(wèn)題上有助于訓(xùn)練無(wú)人機(jī)的自主性，使其自主決策完成復(fù)雜任務(wù)[55]。然而，現(xiàn)有的深度強(qiáng)化學(xué)習(xí)算法大多數(shù)采用無(wú)模型的結(jié)構(gòu)，雖然簡(jiǎn)化了算法的復(fù)雜度，但需要大量的樣本數(shù)據(jù)和較長(zhǎng)的訓(xùn)練時(shí)間。此外，獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)比較困難，稀疏的獎(jiǎng)勵(lì)使得學(xué)習(xí)經(jīng)驗(yàn)難以穩(wěn)固，訓(xùn)練困難，難以收斂而積極地獎(jiǎng)勵(lì)，智能體容易鉆空子，產(chǎn)生預(yù)期外的結(jié)果。目前深度強(qiáng)化學(xué)習(xí)還很不穩(wěn)定，超參數(shù)的設(shè)置直接影響訓(xùn)練結(jié)果，調(diào)參困難，延展性不好，適用性不強(qiáng)。通過(guò)研究基于模型的深度強(qiáng)化學(xué)習(xí)方法[56]不僅能夠解決訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題，還能提高數(shù)據(jù)利用效率、增強(qiáng)網(wǎng)絡(luò)的泛化性，使其有效應(yīng)用在現(xiàn)實(shí)任務(wù)場(chǎng)景中。

4比較和展望

4.1比較

對(duì)上面介紹的主要技術(shù)進(jìn)行了各方面的比較，結(jié)果見(jiàn)表2。算法的差異主要體現(xiàn)在離線/在線、評(píng)價(jià)指標(biāo)、經(jīng)濟(jì)性和自主性上面。

傳統(tǒng)方法和啟發(fā)式算法都是離線規(guī)劃無(wú)人機(jī)的航路的，而深度強(qiáng)化學(xué)習(xí)方法能夠?qū)崿F(xiàn)在線規(guī)劃、實(shí)時(shí)調(diào)整無(wú)人機(jī)航路，具有較優(yōu)的性能。隨著研究的深入，無(wú)人機(jī)執(zhí)行任務(wù)過(guò)程中考慮的因素越來(lái)越多，約束條件和目標(biāo)函數(shù)越來(lái)越復(fù)雜，算法性能也就越來(lái)越好。相較于傳統(tǒng)方法，人工智能方法的經(jīng)濟(jì)性更高、評(píng)價(jià)指標(biāo)更豐富、更全面。啟發(fā)式算法在面對(duì)解空間變大問(wèn)題時(shí)只能擴(kuò)大算法的搜索空間再將其離散化尋找最優(yōu)解，因而導(dǎo)致算法計(jì)算時(shí)間變長(zhǎng)甚至是找不到全局最優(yōu)解，陷入局部最優(yōu)解。而基于策略梯度的深度強(qiáng)化學(xué)習(xí)能適應(yīng)連續(xù)的動(dòng)作空間，可選擇的動(dòng)作數(shù)不勝數(shù)但能輸出最優(yōu)的那個(gè)動(dòng)作值，在這方面是優(yōu)于啟發(fā)式算法。此外，在無(wú)人機(jī)自主性這方面，目前只有深度強(qiáng)化學(xué)習(xí)方法涉及，其他方法還不能實(shí)現(xiàn)無(wú)人機(jī)自主完成任務(wù)的目的。

綜上，人工智能算法在無(wú)人機(jī)區(qū)域偵察問(wèn)題上的研究越來(lái)越深入，尤其是深度強(qiáng)化學(xué)習(xí)方法。不僅在已有方法的基礎(chǔ)上從單/多無(wú)人機(jī)、區(qū)域內(nèi)有/無(wú)障礙物、離線/在線規(guī)劃航路、評(píng)價(jià)指標(biāo)約束多少、經(jīng)濟(jì)性等方面不斷提高算法性能，還開(kāi)始研究無(wú)人機(jī)的自主性，促使研究更全面、性能更優(yōu)、效率更高、更智能。

4.2展望

隨著無(wú)人機(jī)的應(yīng)用需求不斷擴(kuò)大，人工智能技術(shù)不斷革新，人工智能在無(wú)人機(jī)各領(lǐng)域的應(yīng)用將日趨增加。而無(wú)人機(jī)在區(qū)域偵察方面的技術(shù)由于無(wú)人機(jī)自身飛行約束條件頗多、任務(wù)環(huán)境越來(lái)越復(fù)雜等因素還需進(jìn)一步發(fā)展，未來(lái)發(fā)展趨勢(shì)[57]如圖9所示，主要包括以下4個(gè)方面：

（1）高效率是未來(lái)區(qū)域偵察技術(shù)發(fā)展的重要方向：快速、高效的計(jì)算能力使得無(wú)人機(jī)在執(zhí)行區(qū)域偵察任務(wù)時(shí)能更精準(zhǔn)地找到區(qū)域內(nèi)的目標(biāo)，從而反饋信息給控制中心，方便控制中心及時(shí)做出判斷，發(fā)布下一任務(wù)。

（2）多智能體是未來(lái)區(qū)域偵察技術(shù)發(fā)展的必要方向：隨著任務(wù)區(qū)域的擴(kuò)大化，單架無(wú)人機(jī)已不能滿足偵察需求，需要多架無(wú)人機(jī)一起協(xié)同搜索區(qū)域。

（3）動(dòng)態(tài)實(shí)時(shí)性是未來(lái)區(qū)域偵察技術(shù)發(fā)展的生存保證：由于任務(wù)區(qū)域內(nèi)的目標(biāo)信息越來(lái)越不可預(yù)知，目標(biāo)具有一定的反抗攻擊能力也是有可能的。這時(shí)就需要無(wú)人機(jī)在飛行過(guò)程中能夠?qū)崟r(shí)改變航向，躲避障礙物。此外，在線規(guī)劃比離線規(guī)劃更符合未來(lái)發(fā)展需求。

（4）自主性、智能性是未來(lái)區(qū)域偵察技術(shù)發(fā)展的最終目標(biāo)：在通信不暢甚至阻斷的環(huán)境中，無(wú)人機(jī)接收不到控制中心發(fā)出的指令，需要無(wú)人機(jī)針對(duì)現(xiàn)場(chǎng)環(huán)境自主控制，做出如何飛行的判斷從而自主完成偵察任務(wù)。

目前，學(xué)者們針對(duì)無(wú)人機(jī)偵察效率、多無(wú)人機(jī)協(xié)同完成任務(wù)已經(jīng)做了大量研究，研究成果較多；但是無(wú)人機(jī)動(dòng)態(tài)實(shí)時(shí)規(guī)劃航路和自主完成任務(wù)這兩個(gè)方面的研究還是淺層次的。因?yàn)榛趩l(fā)式算法的人工智能技術(shù)已趨于飽和而基于深度強(qiáng)化學(xué)習(xí)的人工智能技術(shù)才剛剛開(kāi)始，不夠深入，具體的研究難點(diǎn)有：（1）將深度強(qiáng)化學(xué)習(xí)對(duì)應(yīng)到人腦機(jī)理的生理學(xué)基礎(chǔ)；（2）將知識(shí)遷移技術(shù)運(yùn)用到深度強(qiáng)化學(xué)習(xí)中；（3）將更多的深度學(xué)習(xí)模型運(yùn)用到深度強(qiáng)化學(xué)習(xí)中。

由此可見(jiàn)，無(wú)人機(jī)區(qū)域偵察和深度強(qiáng)化學(xué)習(xí)相結(jié)合是未來(lái)研究趨勢(shì)，著重攻破上述深度強(qiáng)化學(xué)習(xí)存在的難點(diǎn)并將其應(yīng)用在區(qū)域偵察上，實(shí)現(xiàn)實(shí)時(shí)規(guī)劃、調(diào)整無(wú)人機(jī)的航路及無(wú)人機(jī)智能控制、自主完成任務(wù)的最終目標(biāo)。

5結(jié)束語(yǔ)

本文針對(duì)無(wú)人機(jī)區(qū)域偵察任務(wù)進(jìn)行了相關(guān)研究，介紹了求解該問(wèn)題的主要方法包括傳統(tǒng)算法和人工智能算法并詳細(xì)闡述各種算法是如何應(yīng)用在區(qū)域偵察問(wèn)題上的。此外，還概括以上算法的特性和優(yōu)缺點(diǎn)，對(duì)比算法的優(yōu)劣性。結(jié)果表明人工智能方法相比于傳統(tǒng)方法更智能，無(wú)人機(jī)不再是獨(dú)立完成各自的任務(wù)而是產(chǎn)生信息交互，能夠協(xié)同完成任務(wù)；深度強(qiáng)化學(xué)習(xí)算法比啟發(fā)式算法更自主，深度強(qiáng)化學(xué)習(xí)訓(xùn)練得到的策略具有在線規(guī)劃特性，能夠根據(jù)現(xiàn)實(shí)場(chǎng)景實(shí)時(shí)改變航向，更符合現(xiàn)實(shí)任務(wù)要求。最后，對(duì)未來(lái)區(qū)域偵察技術(shù)發(fā)展做了幾點(diǎn)延伸并闡明深度強(qiáng)化學(xué)習(xí)存在的應(yīng)用難點(diǎn)，可供研究者們開(kāi)展更為深入的研究。

參考文獻(xiàn)

[1]Sonia T. UAV cooperative decision and control：challenges and practical approaches[J]. IEEE Control Systems Magazine，2010，30（2）：104-107.

[2]Ren W，Beard R W. Distributed consensus in multi-vehicle cooperative[M]. London：Springer，2008.

[3]Shetty V K，Sudit M，Nagi R，et al. Priority-based assignment and routing of a fleet of unmanned combat aerial vehicle[J]. Computers & Operations Research，2008，35（6）：1813-1828.

[4]Koopman B O. The theory of search，II. target dection[J]. Operations Research，1956，4（5）：503-531.

[5]Koopman B O. The theory of search：optimum distribution of searching effort[J]. Operations Research，1957，5（5）：613-626.

[6]Tisdale J，Kim Z，Hedrick J，et al. Autonomous UAV path planning and estimation[J]. IEEE Robotics & Automation Magazine，2009，16（2）：35-42.

[7]Bertuccelli L F，How J P. Search for dynamic targets with uncertain probability maps[C]//In proceeding of the American Control Conference，2006.

[8]Bourgault F，F(xiàn)urukawa T，Durrant-Whyte H F. Decentralized bayesian negotiation for cooperative search[C]//Proceeding of the International Conferenc on Intelligent Robots and Systems，2004.

[9]沈延航，周洲，祝小平.基于搜索理論的多無(wú)人機(jī)協(xié)同控制方法研究[J].西北工業(yè)大學(xué)學(xué)報(bào)， 2006（3）： 367-370. Shen Yanhang， Zhou Zhou， Zhu Xiaoping. Research on cooperative control method of multiple UAVs based on search theory[J]. Journal of Northwestern Polytechnical University， 2006（3）：367-370.（in Chinese）

[10]楊少環(huán)，高曉光，符小衛(wèi).基于博弈論的無(wú)人機(jī)搜索路徑規(guī)劃[J].系統(tǒng)工程與電子技術(shù)，2011，33（10）：2254-2257. Yang Shaohuan， Gao Xiaoguang， Fu Xiaowei. UAV search path planning based on game theory[J]. Systems Engineering and Electronics， 2011，33（10）： 2254-2257.（in Chinese）

[11]王勛，姚佩陽(yáng)，梅權(quán).多無(wú)人機(jī)協(xié)同運(yùn)動(dòng)目標(biāo)搜索問(wèn)題研究[J].電光與控制， 2016， 23（8）： 18-22. Wang Xun， Yao Peiyang， Mei Quan. Research on multi-UAV cooperative moving target search[J]. Electronics Optics and Control， 2016， 23（8）： 18-22.（in Chinese）

[12]Brown S S. Optimal search for a moving target in discrete time and space[J]. Operations Research，1980，28（6）：1275-1289.

[13]Washburn A R. Search for a moving target：the FAB algorithm[J]. Operations Research，1983，31（4）：739-751.

[14]王文杰.人工智能原理與應(yīng)用[M].北京：人民郵電出版社， 2004. Wang Wenjie. Principles and applications of artificial intelligence[M]. Beijing： Posts and Telecom Press， 2004.（in Chinese）

[15]王萬(wàn)良.人工智能及其應(yīng)用[M].北京：高等教育出版社， 2005. Wang Wanliang. Artificial intelligence and its applications[M]. Beijing： Higher Education Press， 2005.（in Chinese）

[16]馬騁乾，謝偉，孫偉杰.強(qiáng)化學(xué)習(xí)研究綜述[J].指揮控制與仿真， 2018（6）： 68-72. Ma Pinqian， Xie Wei， Sun Weijie. A review on reinforcement learning[J]. Command Control and Simulation， 2018（6）： 68-72.（in Chinese）

[17]王宇樓.人工智能的現(xiàn)狀及今后的發(fā)展趨勢(shì)展望[J].科技展望， 2016， 26（22）： 299. Wang Yulou. The current situation of artificial intelligence and its development trend in the future[J]. Technology Outlook， 2016，26（22）： 299.（in Chinese）

[18]高春慶，寇英信，李戰(zhàn)武，等.小型無(wú)人機(jī)協(xié)同覆蓋偵察路徑規(guī)劃[J].系統(tǒng)工程與電子技術(shù)， 2019，41（6）： 1294-1299. Gao Chunqing， Kou Yingxin， Li Zhanwu， et al. Cooperative coverage reconnaissance path planning for small UAVs[J]. Systems Engineering and Electronics， 2019， 41（6）： 1294-1299.（in Chinese）

[19]戴健，許菲，陳琪鋒.多無(wú)人機(jī)協(xié)同搜索區(qū)域劃分與路徑規(guī)劃研究[J].航空學(xué)報(bào)， 2020， 41（S1）：723770. Dai Jian， Xu Fei， Chen Qifeng. Study on multi-UAV cooperative search on region division and path planning [J]. ActaAeronautica et Astronautica Sinica， 2020， 41（S1）： 723770.（in Chinese）

[20]Yan Li，Hai Chen，Meng J E，et al. Coverage path planning for UAVs based on enhanced exact cellular decomposition method[J]. Mechatronics，2011（21）：876-885.

[21]朱利，符小衛(wèi).基于Voronoi圖質(zhì)心的多無(wú)人機(jī)協(xié)同區(qū)域搜索算法[J].無(wú)人系統(tǒng)技術(shù)，2019（2）：39-51. Zhu Li， Fu Xiaowei. Multi-UAV cooperative area search algorithm based on Voronoi diagram center of mass[J]. Unmanned System Technology， 2019（2）： 39-51.（in Chinese）

[22]Breitenmoser A，Schwager M，Metzger J C，et al. Voronoi coverage of non-convex environments with a group of network robots[C]//2010 IEEE International Conference on Robotics andAutomation，2010：4982-4989.

[23]Dorigo M，Gambardella L M. Ant colony system：a cooperative learning approach to the traveling salesman problem[J]. IEEE Transactions on Evolutionary Computation，1997（1）：53-66.

[24]Wu H，Li H，Xiao R，et al. Modeling and simulation of dynamic ant colonys labor division for task allocation of UAV swarm[J]. Physica A：Statistical Mechanics and its Applications，2018，491：127-141.

[25]Kennedy J，Everhart R. A new optimizer using particle swarm theory[C]//Proceedings of the sixth International Symposium on Micro Machine and Human Science，1995：39-43.

[26]James K，Russell E. Particle swarm optimization[C]//1995 IEEE International Conference on Neural Networks，1995：1942-1948.

[27]雷德明，嚴(yán)新平.多目標(biāo)智能優(yōu)化算法及其應(yīng)用[M].北京：科學(xué)出版社，2009. LeiDeming，YanXinping.Multi-objectiveintelligent optimization algorithm and its application[M]. Beijing： Science Press， 2009.（in Chinese）

[28]張瑩瑩，周德云，夏歡.不確定環(huán)境下多無(wú)人機(jī)協(xié)同搜索算法研究[J].電光與控制， 2012， 19（2）： 5-8. Zhang Yingying， Zhou Deyun， Xia Huan. Research on multiUAV cooperative search algorithm in uncertain environment[J]. Electronics Optics and Control， 2012， 19（2）： 5-8. （in Chinese）

[29]孫純嶺，李影，任磊磊，等.無(wú)人機(jī)災(zāi)情巡查區(qū)域搜索的建模與求解[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2018，48（15）：83-93. Sun Chunling， Li Ying， Ren Leilei， et al. Modeling and solving of UAV disaster patrol area search[J]. Mathematics in Practice and Theory， 2018， 48（15）： 83-93.（in Chinese）

[30]薛政鋼.基于多群體蟻群算法的多無(wú)人機(jī)協(xié)同搜索方法研究[D].開(kāi)封：河南大學(xué)，2018. Xue Zhengang. Research on multi-UAV cooperative search method based on multi-colony ant colony algorithm[D]. Kaifeng： Henan University， 2018.（in Chinese）

[31]許友平.無(wú)人機(jī)對(duì)地偵察/攻擊航路規(guī)劃軟件系統(tǒng)的研制與開(kāi)發(fā)[D].南京：南京航空航天大學(xué)，2013. Xu Youping. The research and development of the software system of UAV reconnaissance/attack route planning[D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2013.（in Chinese）

[32]鄭宏捷.無(wú)人機(jī)區(qū)域偵察航路規(guī)劃研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2011. Zheng Hongjie. Research on regional reconnaissance route planning of UAV[D]. Changsha： National University of Defense Technology， 2011.（in Chinese）

[33]Taylor C E. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control，and artificial intelligence. complex adaptive systems[J]. The Quarterly Review of Biology，1994，69（1）：88-89.

[34]李敏強(qiáng)，寇紀(jì)淞，林丹，等.遺傳算法的基本理論與應(yīng)用[M].北京：科學(xué)出版社， 2002. Li Minqiang， Kou Jisong， Lin Dan， et al. The basic theory and application of genetic algorithm[M]. Beijing：Science Press，2002.（in Chinese）

[35]李艷慶.基于遺傳算法和深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)協(xié)同區(qū)域監(jiān)視的航路規(guī)劃[D].西安：西安電子科技大學(xué)，2018. Li Yanqing. Route planning of multi-UAV cooperative regional surveillancebasedongeneticalgorithmanddeep reinforcement learning[D]. Xian： Xidian University， 2018.（in Chinese）

[36]朱春媚，莫鴻強(qiáng).一類適應(yīng)度函數(shù)的遺傳算法編碼[J].計(jì)算機(jī)應(yīng)用， 2017（7）： 1972-1976. Zhu Chunmei， Mo Hongqiang. Genetic algorithm coding of fitness function[J]. Journal of Computer Applications， 2017（7）： 1972-1976.（in Chinese）

[37]常佳佳，郭百巍，王星德.基于遺傳算法的模型辨識(shí)[J].計(jì)算機(jī)仿真， 2015（2）： 102-105. Chang Jiajia， Guo Baiwei， Wang Xingde. Model identification based on genetic algorithm[J]. Computer Simulation， 2015（2）： 102-105. （in Chinese）

[38]Goldberg D. Genetic algorithms in search，optimization and learning[M].Addison-Weseley，1989.

[39]李翠翠.混合自進(jìn)化遺傳算法的矢量場(chǎng)校正研究[D].哈爾濱：哈爾濱工程大學(xué)， 2016. Li Cuicui. Vector field correction based on hybrid selfevolutionary genetic algorithm[D]. Harbin： Harbin Engineering University， 2016.（in Chinese）

[40]Larra A P，Kuijpers C M H，Murga R H，et al. Genetic algorithms for the travelling salesman problem：a review of representations and operators[J]. Artificial Intelligence Review，1999，13（2）：129-170.

[41]溫永祿.不同信息條件下的多無(wú)人機(jī)協(xié)同區(qū)域搜索航跡規(guī)劃研究[D].北京：北京理工大學(xué)， 2016. Wen Yonglu. Research on cooperative regional search track planningofmultipleUAVunderdifferentinformation conditions[D]. Beijing： Beijing Institute of Technology， 2016.（in Chinese）

[42]Rahnamayan S，Tizhoosh H R，Salama M M A. Oppositionbaseddifferentialevolution[J].IEEETransactionson Evolutionary Computation，2008，12（1）：64-79.

[43]張耀中，陳嵐，張蕾，等.一種改進(jìn)CSA算法的UAV多任務(wù)區(qū)偵察決策問(wèn)題研究[J].電光與控制， 2018， 25（5）： 1-6. Zhang Yaozhong， Chen Lan， Zhang Lei， et al. An improved CSA algorithm for UAV reconnaissance decision in multiple mission area[J]. Electronics Optics and Control， 2018， 25（5）： 1-6.（in Chinese）

[44]Yang X S，Deb S. Engineering optimization by cuckoo search[J]. International Journal of Mathematical Modelling and Numerical Optimization，2010，1（4）：330-343.

[45]Yang X S，Deb S. Cuckoo search：recent advances and applications[J]. Neural Computing and Applications，2014，24（1）：169-174.

[46]譚民，王碩，曹志強(qiáng).多機(jī)器人系統(tǒng)[M].北京：清華大學(xué)出版社， 2005. Tan Min， Wang Shuo， Cao Zhiqiang. Multiple robotic systems[M]. Beijing： Tsinghua University Press， 2005.（in Chinese）

[47]David S. Smooth UCT search incomputer poker[C]// Proceedings of International Joint Conference on Artificial Intelligence，2015：554-560.

[48]Bengio Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning，2009，2（1）：1-12.

[49]Hinton G E，Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313（5786）：504-507.

[50]Mnih V，Kavukcuoglu K，Silver D，et al. Playing Atari with deep reinforcement learning[C]//Proceedings of fine NIPS Workshop on Deep Learning，2013.

[51]褚偉，茹琦，任明侖.結(jié)合先驗(yàn)知識(shí)的深度Q神經(jīng)網(wǎng)絡(luò)算法研究[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2019， 42（7）： 901-905. Chu Wei， Ru Qi， Ren Minglun. Research on deep Q network algorithm based on prior knowledge[J]. Journal of Hefei university of technology （Natural Science）， 2019， 42（7）： 901-905.（in Chinese）

[52]Lin L J. Reinforcement learning for robots using neural works[D]. Pittsburgh：Carnegie Mellon University，1993.

[53]Schulman J，Wolski F，Dhariwal P，et al. Proximal policy optimization algorithms[D]. New York：Cornell University，2017.

[54]賴俊，饒瑞.深度強(qiáng)化學(xué)習(xí)在室內(nèi)無(wú)人機(jī)目標(biāo)搜索中的應(yīng)用[EB/OL]. （2020-05-25）.Http：//kns. cnki. net/kcms/detail/11. 2127.TP.20191113.1528.014.html. Lai Jun， Rao Rui. Application of deep reinforcement learning in indoor UAV target search[EB/OL]. （2020-05-25）. Http：//kns. cnki. net/kcms/detail/11.2127. TP. 20191113.1528.014. html. （in Chinese）

[55]李文正.無(wú)人機(jī)發(fā)展芻議[J].航空科學(xué)技術(shù)， 2012（4）：11-13. Li Wenzheng. Discussion on UAV development[J]. Aeronautical Science & Technology， 2012（4）： 11-13.（ in Chinese）

[56]Doll B B，Simon D A，Daw N D. The ubiquity of model-based reinforcement learning[J]. Current Opinion in Neurobiology，2012，22（6）：1075-1081.

[57]蔣浩，高鑫.人因工程在無(wú)人機(jī)中的應(yīng)用及展望[J].航空科學(xué)技術(shù)，2019，30（5）：9-13. Jiang Hao， Gao Xing. Application and prospect of human cause engineering in UAV[J]. Aeronautical Science & Technology， 2019， 30（5）： 9-13.（ in Chinese）（責(zé)任編輯王為）

作者簡(jiǎn)介

吳兆香（1995-）女，碩士研究生。主要研究方向：無(wú)人機(jī)集群控制。

Tel：18851172812E-mail：wuzhaoxiang@nuaa.edu.cn

歐陽(yáng)權(quán)（1991-）男，博士，講師。主要研究方向：無(wú)人機(jī)飛行控制、電池管理等。

Tel：15968118392E-mail：ouyangquan@nuaa.edu.cn

王志勝（1970-）男，博士，教授。主要研究方向：信息融合，無(wú)人機(jī)蜂群控制、計(jì)算機(jī)視覺(jué)等。

Tel：13813019305E-mail：wangzhisheng@nuaa.edu.cn馬瑞（1997-）男，碩士研究生。主要研究方向：深度強(qiáng)化學(xué)習(xí)。

Tel：17806258833

E-mail：maruinuaa@nuaa.edu.cn

叢玉華（1981-）女，博士研究生，講師。主要研究方向：跨域協(xié)同、無(wú)人機(jī)飛行控制等。

Tel：13913981289

E-mail：28989116@qq.com

Status and Development of Regional Reconnaissance Methods of UAV Based on Artificial Intelligence

Wu Zhaoxiang1，Ouyang Quan1，*，Wang Zhisheng1，Ma Rui1，Cong Yuhua1，2

1. Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China

2. Nanjing University of Science and Technology，Nanjing 210023，China

Abstract： Regional reconnaissance is an important branch of unmanned aerial vehicle（UAV） research. Due to the complexity of the actual mission and environment， the control method of regional reconnaissance must be provided with fast calculation speed， strong autonomy and intelligence. Artificial intelligence has been used in regional reconnaissance because of its strong learning ability， high efficiency， and high degree of integration. This paper systematically introduces the background of the regional reconnaissance problem and summarizes the methods based on artificial intelligence to solve this problem， which are mainly divided into two categories： heuristic algorithms for constructing and optimizing the objective function and deep reinforcement learning methods for solving the optimal value or strategy. Given by a comprehensive comparison of the above methods， it is found that deep reinforcement learning performs self-learning and online learning well， which can adapt to complex and unknown environments，and further it can quickly and accurately solve regional reconnaissance problems. In addition， this paper also discusses the development trend of regional reconnaissance technology and the challenges faced by deep reinforcement learning.

Key Words：artificial intelligence； regional reconnaissance； deep reinforcement learning； heuristic algorithm； autonomous intelligence