彭衛(wèi)東,蘇子欽
(中國民用航空飛行學(xué)院,四川廣漢 618307)
隨著人工智能技術(shù)的快速發(fā)展,各種各樣的智能機(jī)器人已得到了廣泛應(yīng)用,用于飛機(jī)自動駕駛的智能機(jī)器人也在研發(fā)中。一般來說客機(jī)、運(yùn)輸機(jī)、轟炸機(jī)等通常都配備至少兩名駕駛員,如果飛機(jī)自動駕駛機(jī)器人研發(fā)成功將會取代傳統(tǒng)的人類副駕駛,實(shí)現(xiàn)單人制機(jī)組。飛機(jī)自動駕駛機(jī)器人不同于飛機(jī)自動駕駛系統(tǒng),其主要通過視覺系統(tǒng)非侵入式地獲取飛機(jī)的運(yùn)行參數(shù)和狀態(tài)消息,模仿人類的操作方式使用機(jī)械臂駕駛飛機(jī),無需對現(xiàn)有飛機(jī)進(jìn)行太多的改裝,也能適應(yīng)不同機(jī)型,具有不會疲勞、可以隨時保持專注、不受個人情緒影響、面對大量繁瑣的重復(fù)性工作出錯率極低等人類駕駛員不具備的優(yōu)點(diǎn),極強(qiáng)的環(huán)境適應(yīng)能力使其在機(jī)艙失壓、供氧系統(tǒng)發(fā)生故障等極端條件下仍然能夠安全地駕駛飛機(jī),在機(jī)長失去駕駛能力的時候也能迅速接替并采取相應(yīng)措施,例如因人為操作失誤使客艙增壓系統(tǒng)不能自動加壓最終造成的太陽神航空522號班機(jī)空難,如果該班機(jī)配備了飛機(jī)自動駕駛機(jī)器人作為副駕駛則完全可以避免此類空難的發(fā)生。還能夠大大降低飛機(jī)飛行過程中駕駛員的工作負(fù)擔(dān),并有效緩解當(dāng)前我國航空公司面臨的飛行員緊缺問題[1],戰(zhàn)時也能有效減少人員傷亡。由于飛機(jī)自動駕駛機(jī)器人是一個非常前沿的研究方向,相關(guān)方面的研究與文獻(xiàn)資料在全世界范圍尤其是國內(nèi)都并不多,尤其缺少綜述性的文獻(xiàn),因此本文將著重于在整體層面上研究飛機(jī)自動駕駛機(jī)器人的原理、系統(tǒng)組成結(jié)構(gòu)以及技術(shù)難點(diǎn)等,并提出未來可能的發(fā)展方向與趨勢,能給未來的相關(guān)研究提供參考與新的研究方向。
2016年網(wǎng)絡(luò)上曾曝光美國國防部高級研究計劃(DARPA)的機(jī)組工作駕駛艙內(nèi)自動化系統(tǒng)(Alias)項(xiàng)目正在研發(fā)由機(jī)械臂和基于平板電腦的控制系統(tǒng)組成的飛機(jī)自動駕駛機(jī)器人,極光(Aurora)和西科斯基(Sikorsky)兩家公司參與了該項(xiàng)目[2]。
圖1 Alias飛機(jī)自動駕駛機(jī)器人
目前,極光的機(jī)器人已經(jīng)完成了“鉆石”DA42、塞斯納208“大篷車”、UH-1“易洛魁”、DHC-2“河貍”等型號飛機(jī)的駕駛,也在波音737-800NG型客機(jī)的模擬機(jī)上成功完成了飛行和著陸的演示[3],西科斯基的機(jī)器人完成了在西科斯基S-76型直升機(jī)、UH-60A“黑鷹”直升機(jī)和塞斯納208“大篷車”型飛機(jī)上的自動駕駛測試工作[4]。
目前國內(nèi)在飛機(jī)自動駕駛機(jī)器人方面的研究還非常少,已知中國民用航空飛行學(xué)院人工智能飛行副駕駛團(tuán)隊(duì)正在進(jìn)行相關(guān)技術(shù)的研究[1],目前取得了一定的成果,包括已經(jīng)完成了針對飛機(jī)指針式儀表的自動識別與讀數(shù)[5]、飛機(jī)駕駛艙頭頂板字符識別[6]、機(jī)艙內(nèi)環(huán)境感知[7]、語音識別[8]與標(biāo)準(zhǔn)喊話語音庫的建立[9]、機(jī)械臂控制方面的研究,并且后續(xù)的研究還在繼續(xù)進(jìn)行中。
飛機(jī)自動駕駛機(jī)器人是一種從工業(yè)機(jī)器人發(fā)展而來,基于機(jī)械臂、傳感器、處理器和人工智能技術(shù)的智能控制系統(tǒng),由感知系統(tǒng)、動作系統(tǒng)、控制處理系統(tǒng)和交互系統(tǒng)組成,具體工作原理如圖2所示。
圖2 飛機(jī)自動駕駛機(jī)器人工作原理
感知系統(tǒng)包含了視覺感知系統(tǒng)和壓力傳感系統(tǒng),其中以視覺感知為主,通過視覺感知系統(tǒng)從飛機(jī)的儀表、指示器中讀取飛機(jī)的運(yùn)行參數(shù)、姿態(tài)、位置,通過視覺定位的方式對各開關(guān)的位置進(jìn)行準(zhǔn)確定位,也能透過駕駛艙風(fēng)擋對飛機(jī)外部環(huán)境進(jìn)行觀察以及感知機(jī)艙內(nèi)部的環(huán)境,在泊機(jī)的時候需要能夠正確識別地勤人員的指揮動作。
視覺系統(tǒng)需要具備三維空間視覺的能力,目前常用的立體機(jī)器視覺方式有雙目視覺和深度視覺兩種,其中深度視覺又可分為ToF(Time of Flight)深度視覺和結(jié)構(gòu)光深度視覺。
雙目視覺因?yàn)榫哂薪嚯x測量精度高、分辨率高、硬件成本低、不受駕駛艙內(nèi)部玻璃器件反光影響、可以長時間連續(xù)工作的優(yōu)點(diǎn)[10],所以視覺感知系統(tǒng)更適合選用雙目視覺的方式。
動作執(zhí)行系統(tǒng)的作用是直接操作飛機(jī)的具體設(shè)備,由多個機(jī)械臂組成。首先需要在副駕駛位置上安裝一個用來操作各開關(guān)的主機(jī)械臂,左右方向舵的腳蹬都各需要配備一個特殊機(jī)械臂(機(jī)械足),對于雙發(fā)和多發(fā)飛機(jī)而言,每個節(jié)流閥控制手柄都必須獨(dú)立配備一個可以完成推拉操作的機(jī)械臂,飛機(jī)的操縱桿或操縱盤也必須單獨(dú)配備一個控制機(jī)械臂,并且該機(jī)械臂也必須具備操作操縱桿或操縱盤上面按鈕的能力。
其中最為復(fù)雜的是主機(jī)械臂,需要對各操作面板上的不同開關(guān)以及部分控制桿(如襟翼控制桿)準(zhǔn)確地執(zhí)行操作。飛機(jī)駕駛艙開關(guān)的種類包括按鈕開關(guān)、旋鈕開關(guān)、撥動開關(guān)以及按動開關(guān)等,因此主機(jī)械臂需要能夠完成抓取、按壓、旋轉(zhuǎn)和撥動的動作,而要具備完成這些動作的能力則必須配備爪形末端,并且機(jī)械爪也需要具備防滑的能力,爪的末端直徑也不能太大以避免出現(xiàn)誤觸現(xiàn)象。機(jī)械臂的抖振抑制也是必須要重點(diǎn)考慮的問題,抖振會嚴(yán)重影響機(jī)械臂操作的精度和可靠性。
控制處理系統(tǒng)的功能是對視覺感知系統(tǒng)捕獲的視頻圖像進(jìn)行圖像增強(qiáng)、圖像分割、目標(biāo)識別與定位等圖像處理工作;對交互系統(tǒng)接收到的語音信號進(jìn)行識別;根據(jù)飛行計劃和機(jī)長發(fā)出的指令規(guī)劃機(jī)械臂的運(yùn)動路徑,指揮機(jī)械臂完成相應(yīng)的操作動作;同時根據(jù)壓力傳感器反饋的壓力值、視覺感知系統(tǒng)讀取到的飛機(jī)姿態(tài)、位置、內(nèi)外環(huán)境和飛行參數(shù),以及操作后開關(guān)的狀態(tài)或者操縱桿的位置修正機(jī)械臂的動作以及執(zhí)行下一步的操作。
飛機(jī)自動駕駛機(jī)器人對實(shí)時性有很高的要求,必須快速完成以上流程,同時視覺感知系統(tǒng)也需要具有很高的分辨率和幀率,這也就決定了其控制處理系統(tǒng)必須具備很強(qiáng)的運(yùn)算能力和圖形數(shù)據(jù)處理能力,以及良好的多任務(wù)處理能力。因此控制處理系統(tǒng)需要使用多核CPU作為處理器以保證系統(tǒng)運(yùn)算處理能力能夠達(dá)到要求。當(dāng)然,盡管CPU具有運(yùn)算能力強(qiáng)大、性能全面、可以兼顧數(shù)值與指令運(yùn)算的特點(diǎn),但是卻并不適合處理并行的大規(guī)模數(shù)據(jù),而GPU則與CPU不同,擁有更多并行處理的算術(shù)邏輯單元,具有很強(qiáng)的并行處理能力,尤其適合并行的浮點(diǎn)運(yùn)算,在計算機(jī)視覺領(lǐng)域有明顯優(yōu)勢,也能用于通用計算,但是卻不擅長處理邏輯指令[11-12]。因此,將CPU與GPU結(jié)合起來,程序的串行部分主要在CPU上運(yùn)行,當(dāng)遇到運(yùn)算量龐大的并行數(shù)值運(yùn)算時使用GPU進(jìn)行加速,這樣可以使CPU與GPU形成互補(bǔ)的關(guān)系,有效結(jié)合了兩者的優(yōu)點(diǎn)、克服了各自的缺點(diǎn),這種互補(bǔ)結(jié)構(gòu)目前已成為了現(xiàn)代計算機(jī)的發(fā)展趨勢[11],飛機(jī)自動駕駛機(jī)器人的控制處理系統(tǒng)也非常適合采用這種結(jié)構(gòu)。
目前Alias機(jī)器人使用平板電腦與工程師進(jìn)行交互,同時也具有一定的語音識別能力。飛機(jī)自動駕駛機(jī)器人必須要能夠正確識別塔臺的語音指令并給予語音回復(fù),也可以將機(jī)器人的語音交互系統(tǒng)進(jìn)行擴(kuò)展,使機(jī)長能夠選擇平板電腦和語言兩種方式與機(jī)器人進(jìn)行交流,能極大提升人機(jī)交互的效率。還可以對視覺感知系統(tǒng)進(jìn)行擴(kuò)展,使機(jī)長能夠通過一定的手勢與機(jī)器人交流,機(jī)器人也能夠監(jiān)測機(jī)長的狀態(tài),并在機(jī)長出現(xiàn)過度疲勞、突發(fā)疾病、缺氧等不適合繼續(xù)駕駛飛機(jī)的狀態(tài)時發(fā)出提示信號和采取相應(yīng)的措施。
首先運(yùn)行中的飛機(jī)本身就是一個強(qiáng)振動的環(huán)境,在這樣快速抖動的環(huán)境下視覺感知系統(tǒng)捕獲的圖像很容易發(fā)生畸變,從而降低識別與定位的精度。相機(jī)防抖的方法可分為:光學(xué)防抖、電子防抖、模式防抖和多重防抖[13]。光學(xué)防抖主要是利用硬件設(shè)備來進(jìn)行防抖,防抖的目標(biāo)對象是鏡頭和傳感器[14];當(dāng)然,也可以將相機(jī)安裝在機(jī)械云臺上來實(shí)現(xiàn)防抖處理。電子防抖是一種基于數(shù)字圖像處理的防抖技術(shù),工作原理可以用圖3所示的流程圖來表示[15]。模式防抖則是通過調(diào)整拍攝參數(shù)來減輕抖動造成的影響[13]。多重防抖是以上幾種防抖方式的綜合應(yīng)用。此外,提升相機(jī)的幀率也能有效降低抖動造成的影響,當(dāng)然幀率越高也就意味著信息的傳輸量越大,對硬件設(shè)備要求越高。
圖3 電子防抖的工作流程
除了抖動外,光照也是一個重要的影響因素。飛機(jī)駕駛艙屬于弱光照環(huán)境,同時在飛行過程中不可避免地要面臨逆光的問題,尤其是在早晨和傍晚時迎著太陽飛行。弱光照會導(dǎo)致目標(biāo)紋理不夠清晰從而降低圖像分割、特征點(diǎn)的匹配、字符識別等環(huán)節(jié)的準(zhǔn)確度,逆光則會使操作區(qū)域等非逆光區(qū)域亮度不足,如果只是簡單地提升該區(qū)域亮度則會出現(xiàn)圖像虛化、噪點(diǎn)增多等圖像退化的問題。針對弱光照問題可以考慮采取直方圖均衡化處理、使用人工智能進(jìn)行增強(qiáng)[16]、使用牛頓迭代算法增強(qiáng)紋理[17]等方式。針對逆光的問題可以使用卷積神經(jīng)網(wǎng)絡(luò)[18]的方式對目標(biāo)區(qū)域進(jìn)行增強(qiáng),也可以使用閾值分割[19]的方式實(shí)現(xiàn)增強(qiáng)。
飛機(jī)自動駕駛機(jī)器人的實(shí)時性取決于硬件設(shè)備、算法和數(shù)據(jù)傳輸3個方面。首先,高性能的處理器可以提供更好的運(yùn)算能力,從而減少完成圖像處理、目標(biāo)識別與定位、數(shù)據(jù)分析與決策、機(jī)械臂路徑規(guī)劃等方面運(yùn)算所需要的時間,即相當(dāng)于減少反應(yīng)的時間;另外,好的機(jī)械臂舵機(jī)可以使機(jī)械臂運(yùn)動更穩(wěn)定、運(yùn)動速度更快,從而減少運(yùn)動過程中消耗的時間。在算法方面,可以根據(jù)飛機(jī)駕駛艙內(nèi)環(huán)境的特點(diǎn)選擇適合的語音識別、目標(biāo)識別、圖像處理以及機(jī)械臂軌跡規(guī)劃等算法并加以改進(jìn)優(yōu)化,在不影響效果的前提下簡化其中的運(yùn)算步驟,降低完成相關(guān)運(yùn)算所需的時間,例如李兵等[20]就提出了一種強(qiáng)實(shí)時性和魯棒性的圖像匹配算法,可以很好地適應(yīng)飛機(jī)自動駕駛這種對實(shí)時性和魯棒性要求都很高的應(yīng)用場景;同時,將機(jī)械臂的運(yùn)動軌跡進(jìn)行優(yōu)化后也可以明顯地減少機(jī)械臂運(yùn)動過程中消耗的時間。在傳輸方面,對于視覺感知系統(tǒng)這樣數(shù)據(jù)傳輸速率大的模塊,則可以采用并口通信的方式傳輸數(shù)據(jù)。
主機(jī)械臂的運(yùn)動軌跡如果經(jīng)過了良好的規(guī)劃,那么可以大大節(jié)約運(yùn)行的時間,提升機(jī)器人的操作效率;使軌跡相對平滑,避免速度和加速度出現(xiàn)抖動;同時還能合理地進(jìn)行避障,避免因路徑規(guī)劃不合理造成的誤觸的現(xiàn)象,提升機(jī)器人操作的可靠性。機(jī)械臂的軌跡規(guī)劃需要對機(jī)械臂進(jìn)行正逆運(yùn)動學(xué)求解,求解的難度隨著機(jī)械臂自由度的提升而增大?,F(xiàn)有的優(yōu)化算法也比較多,例如使用遺傳算法、快速隨機(jī)搜索算法(RRT)、蟻群算法等都能夠有效實(shí)現(xiàn)軌跡優(yōu)化及避障[21]。為了讓主機(jī)械臂能快速、精確、可靠地完成相應(yīng)的操作動作,還需要為其選擇一種合適的控制方法來從控制方法方面達(dá)到優(yōu)化的目的,現(xiàn)有的機(jī)械臂控制方法有:PID控制、自適應(yīng)控制、滑??刂?、魯棒控制、分散控制等[22],但是每種控制方法都有其固有的優(yōu)缺點(diǎn),PID控制法具有參數(shù)簡單、實(shí)現(xiàn)難度低的優(yōu)點(diǎn),但是這種控制方式忽略了非線性因素,也存在速度和控制精度都不高、穩(wěn)定性差、不能滿足復(fù)雜軌跡跟蹤需求的缺點(diǎn),將傳統(tǒng)的PID控制與神經(jīng)網(wǎng)絡(luò)相結(jié)合組成智能PID控制則可以有效利用智能控制方法的優(yōu)點(diǎn)來彌補(bǔ)PID控制的缺點(diǎn),當(dāng)然也對計算機(jī)性能有更高的要求[23];自適應(yīng)控制能夠很好地適應(yīng)系統(tǒng)參數(shù)的變化,但是需要進(jìn)行復(fù)雜的動力學(xué)性能分析[24];滑??刂凭哂许憫?yīng)速度快、魯棒性強(qiáng)、結(jié)構(gòu)簡單易實(shí)現(xiàn)、不受系統(tǒng)模型不確定性干擾的優(yōu)點(diǎn),但是也存在抖振問題嚴(yán)重的缺點(diǎn)[25];魯棒控制的控制結(jié)構(gòu)和參數(shù)都不隨被控量或其他因素而改變[26],因而具有很強(qiáng)的抗干擾能力,但是線性控制的本質(zhì)也注定了其無法滿足機(jī)器人這類非線性系統(tǒng)的控制需求[25];分散控制因?yàn)榫哂羞\(yùn)算簡單、對硬件配置要求低的優(yōu)點(diǎn)而被現(xiàn)代機(jī)器人廣泛使用,但是也存在控制器之間通信滯后、應(yīng)對隨機(jī)干擾的能力不強(qiáng)等缺點(diǎn),自適應(yīng)分散控制可以使跟蹤誤差漸進(jìn)收斂,但是需要提前估計增益,這會給實(shí)際應(yīng)用帶來不便,而完全自適應(yīng)控制則無需任何先驗(yàn)數(shù)據(jù)[27]。因此針對控制方法的優(yōu)化也是一個研究的重點(diǎn)。
應(yīng)變能力差是所有機(jī)器人都難以克服的缺點(diǎn),例如曾有人在實(shí)驗(yàn)中將一輛全自動駕駛的“特斯拉”汽車“困”在了正常道路上不可能出現(xiàn)的環(huán)形雙實(shí)線里面,而人類駕駛員則能夠很好地應(yīng)變。在程序設(shè)定內(nèi)的情況下機(jī)器人具有比人類更好的工作效率和準(zhǔn)確度,尤其是對于長時間的重復(fù)性工作,而一旦出現(xiàn)了程序設(shè)定外的情況,機(jī)器人則無法做到像人類一樣靈活應(yīng)變。因此,要想解決飛機(jī)自動駕駛機(jī)器人的應(yīng)變能力問題,除了需要在開發(fā)的時候充分考慮飛行過程中可能會出現(xiàn)的各種狀況及處理流程,以及后期針對新發(fā)現(xiàn)的問題及時更新機(jī)器人的程序,更重要的是與機(jī)長緊密配合,取長補(bǔ)短。
目前美國的Alias機(jī)器人是針對在現(xiàn)有的舊式飛機(jī)而開發(fā)的飛機(jī)自動駕駛機(jī)器人,這類飛機(jī)在設(shè)計的時候并未考慮使用人工智能系統(tǒng)對飛機(jī)進(jìn)行自動駕駛,因此Alias機(jī)器人是基于人類飛行員的駕駛方式而設(shè)計的,這種非侵入式的設(shè)計具有一定的局限性,例如對外界環(huán)境的感知只依靠視覺會使視覺感知系統(tǒng)任務(wù)繁重,還必須要保證很強(qiáng)的實(shí)時性,導(dǎo)致這樣的機(jī)器人對控制處理系統(tǒng)的硬件要求非常高,機(jī)器人也無法通過激光雷達(dá)這樣精度更高、有效探測距離更遠(yuǎn)、探測范圍更大、抗干擾能力更強(qiáng)的方式[28]感知外界環(huán)境,存在一定的觀察死角。
在飛機(jī)人工智能駕駛技術(shù)成熟之后,新式飛機(jī)在設(shè)計的時候安裝人工智能駕駛系統(tǒng)的問題就會被充分考慮到,因而整個機(jī)器人系統(tǒng)都將會被設(shè)置在電子艙或其他不占用機(jī)艙空間的位置,相關(guān)組件將直接與航電系統(tǒng)相融合而不是非侵入式的設(shè)計,從而能夠直接讀取飛行參數(shù)和操縱飛機(jī),視覺感知系統(tǒng)將只用于監(jiān)控機(jī)外環(huán)境和機(jī)長的狀態(tài)而無需監(jiān)控飛行參數(shù)的變化和電門的情況,從而加快處理和操縱的速度,使其可以在更短的時間內(nèi)完成復(fù)雜的操縱,也能降低硬件的成本。飛機(jī)自動駕駛機(jī)器人系統(tǒng)的環(huán)境感知方式也將不再局限于視覺感知,激光雷達(dá)、毫米波雷達(dá)等相對于視覺系統(tǒng)更加可靠的感知系統(tǒng)[29]將會被廣泛使用,這對飛機(jī)地面和低空運(yùn)行的安全性有極大的提高,同時機(jī)器人系統(tǒng)也將能直接使用機(jī)載的GPS、IMU等系統(tǒng)用于定位,低能見度的氣象條件下也能使用紅外光電傳感器對機(jī)外環(huán)境進(jìn)行觀察。
這樣的未來發(fā)展趨勢已經(jīng)在美國西科斯基公司的Matrix技術(shù)上得到了部分體現(xiàn),其控制處理系統(tǒng)被安裝在原副駕駛位置上,使用機(jī)電作動器來操控飛機(jī)而不是機(jī)械臂,能使用激光雷達(dá)和紅外傳感器,各組件遍布機(jī)體,當(dāng)然改裝難度也更大[30]。目前全世界自動駕駛技術(shù)正處于由3級(有條件自動化)向4級(完全自動化)發(fā)展的階段[31],各種具備自動駕駛能力的無人機(jī)得到了廣泛應(yīng)用,未來也會有更多非載人的大型飛機(jī)采用無人駕駛的方式,但因?yàn)榍拔乃龅姆N種原因以及安全問題、公眾接受度的問題,未來很長的時間內(nèi)載人飛機(jī)都無法徹底實(shí)現(xiàn)無人駕駛。盡管未來的自動駕駛機(jī)器人可以完全替代人類副駕駛,人類機(jī)長大多數(shù)時候只是監(jiān)視自動駕駛機(jī)器人,但是人類機(jī)長仍將掌握對整架飛機(jī)的最高控制權(quán)和決策權(quán),必要的時候還是會參與駕駛。
本文參照Alias機(jī)器人的特點(diǎn),根據(jù)現(xiàn)有的文獻(xiàn)資料和研究成果結(jié)合作者自己的研究提出了飛機(jī)自動駕駛機(jī)器人的系統(tǒng)組成結(jié)構(gòu),從工作環(huán)境、實(shí)時性問題、動作路徑規(guī)劃、應(yīng)變能力四個方面總結(jié)出了在研發(fā)過程中將會遇到的技術(shù)難點(diǎn),針對這些難點(diǎn)列舉了目前可以采用的解決方法,對于機(jī)械臂控制方法這一重點(diǎn)研究內(nèi)容還對比分析了現(xiàn)有控制方法及部分基于這些控制方法的改進(jìn)型控制方法的優(yōu)缺點(diǎn),最后提出了對飛機(jī)自動駕駛機(jī)器人未來發(fā)展方向和趨勢的展望。飛機(jī)自動駕駛機(jī)器人的設(shè)計初衷并不是徹底取代人類駕駛員,而是與人類機(jī)長配合,各自發(fā)揮優(yōu)勢形成良好的互補(bǔ)關(guān)系,也能夠有效彌補(bǔ)各自的缺點(diǎn)。飛機(jī)自動駕駛機(jī)器人具有一定的戰(zhàn)略意義,但是實(shí)現(xiàn)這樣的機(jī)器人也具有很高的技術(shù)難度,研發(fā)的過程中需要付出大量的資金和努力。