增強(qiáng)現(xiàn)實(shí)技術(shù)用于無人機(jī)維修保障的優(yōu)勢(shì)

張群亮 籍家亮 蘆海利 褚超 張然

隨著無人機(jī)技術(shù)的不斷創(chuàng)新與人工智能技術(shù)的迅速發(fā)展，無人機(jī)航程更遠(yuǎn)、飛行高度更高，可執(zhí)行多樣化任務(wù)。但是，無人機(jī)分系統(tǒng)愈發(fā)復(fù)雜，對(duì)無人機(jī)維修保障提出了更高要求。對(duì)此，技術(shù)人員正在研究增強(qiáng)現(xiàn)實(shí)技術(shù)如何輔助無人機(jī)維修，以滿足維修保障的需求。

增強(qiáng)現(xiàn)實(shí)技術(shù)的概念

國(guó)際上一般將介于真實(shí)環(huán)境和虛擬環(huán)境之間的部分看成是一個(gè)虛擬連續(xù)體（見圖1），即真實(shí)環(huán)境和虛擬環(huán)境分別處于虛擬連續(xù)體的兩端。隨著機(jī)器視覺技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)在游戲娛樂、地圖導(dǎo)航等領(lǐng)域廣泛應(yīng)用。增強(qiáng)現(xiàn)實(shí)技術(shù)是一種能把虛擬世界的信息和真實(shí)世界的信息進(jìn)行無縫連接的新技術(shù)，其最終目標(biāo)是將虛擬世界與現(xiàn)實(shí)世界在屏幕上進(jìn)行疊加，實(shí)現(xiàn)虛擬與現(xiàn)實(shí)之間的互動(dòng)。

虛擬現(xiàn)實(shí)技術(shù)的概念

虛擬現(xiàn)實(shí)（VR）技術(shù)是一種包含計(jì)算機(jī)、電子信息、仿真等技術(shù)在內(nèi)的全新實(shí)用技術(shù)。在虛擬連續(xù)體的虛擬環(huán)境端，虛擬現(xiàn)實(shí)技術(shù)在沉浸式游戲中廣泛運(yùn)用，通過計(jì)算機(jī)技術(shù)對(duì)虛擬環(huán)境進(jìn)行模擬，帶給人們一種沉浸式環(huán)境感受。

AR和VR技術(shù)在醫(yī)療、軍事、娛樂、教育等領(lǐng)域廣泛應(yīng)用，極大豐富了人們的生活，同時(shí)也深刻影響著生活。

無人機(jī)維修保障的機(jī)制

近年來，大中型無人機(jī)已廣泛應(yīng)用于軍事與民用領(lǐng)域。傳統(tǒng)無人機(jī)維修保障過度依賴于技術(shù)手冊(cè)、維護(hù)說明書等紙質(zhì)資料、維修人員的經(jīng)驗(yàn)。大中型無人機(jī)是一種技術(shù)含量高、組成復(fù)雜的新裝備，較高的維修成本和維修差錯(cuò)之間的不可逆性要求維修工作必須達(dá)到錯(cuò)誤零容忍。機(jī)載設(shè)備的電氣線路錯(cuò)綜復(fù)雜、信息化程度極高，其維修僅依靠紙質(zhì)資料、人員經(jīng)驗(yàn)，維修效率、效果難以得到保障。

目前，國(guó)內(nèi)外無人機(jī)主要采用二級(jí)維修制，即基層級(jí)維修和基地級(jí)維修。其中，基層級(jí)維修負(fù)責(zé)日常維護(hù)性檢查任務(wù)，以確保無人機(jī)隨時(shí)處于能正常起飛的完好狀態(tài)。當(dāng)無人機(jī)出現(xiàn)故障時(shí)，維修人員通過排查對(duì)故障進(jìn)行定位，確定故障部件，排除故障的方法主要以換件為主。

當(dāng)基層級(jí)維修出現(xiàn)相關(guān)維修設(shè)備缺乏或人員維修能力不足時(shí)，無人機(jī)須要進(jìn)行基地級(jí)維修。相較于基層級(jí)維修，基地級(jí)維修對(duì)維修人員的能力和素質(zhì)提出了更高要求，維修人員應(yīng)借助更加專業(yè)的設(shè)備進(jìn)行精準(zhǔn)維修。

在維修過程中，為防止人為差錯(cuò)，基層級(jí)維修和基地級(jí)維修須要對(duì)故障問題進(jìn)行精確定位，并對(duì)維修過程進(jìn)行精準(zhǔn)監(jiān)控和實(shí)時(shí)監(jiān)督，這就要求維修人員必須持證上崗，相關(guān)單位應(yīng)建立統(tǒng)一的維修標(biāo)準(zhǔn)。

國(guó)外增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展現(xiàn)狀

隨著智能化裝備、機(jī)器視覺技術(shù)的迅速發(fā)展，AR技術(shù)已能把計(jì)算機(jī)生成的虛擬圖像與真實(shí)環(huán)境進(jìn)行完美疊加，同時(shí)用戶在疊加的虛擬對(duì)象基礎(chǔ)上可繼續(xù)實(shí)現(xiàn)疊加。AR技術(shù)采用了虛實(shí)結(jié)合、實(shí)時(shí)交互和三維注冊(cè)三大核心技術(shù)。當(dāng)前，基于增強(qiáng)現(xiàn)實(shí)技術(shù)的方案主要有兩種，一是視頻透視式手持設(shè)備；二是可將數(shù)字圖像生成于半透明鏡片上的光學(xué)透視式智能眼鏡。圖2和圖3分別展示了視頻透視式增強(qiáng)現(xiàn)實(shí)技術(shù)和光學(xué)透視式增強(qiáng)現(xiàn)實(shí)技術(shù)。

兩種方案各有優(yōu)缺點(diǎn)?；谝曨l透視式增強(qiáng)現(xiàn)實(shí)技術(shù)的圖像匹配準(zhǔn)確、同步程度高，但計(jì)算量大，實(shí)現(xiàn)難度大；光學(xué)透視式眼鏡顯示更真實(shí)的影像雖不須要二次成像，但受信息采集輸入過程中人為晃動(dòng)因素的影響，特征點(diǎn)重復(fù)采集、計(jì)算量因此會(huì)激增。近年來，市場(chǎng)出現(xiàn)了諸多封裝，這些封裝集成了計(jì)算機(jī)視覺、圖像處理、人機(jī)交互等關(guān)鍵技術(shù)，以及優(yōu)秀算法工具包、開源代碼，為增強(qiáng)現(xiàn)實(shí)產(chǎn)品開發(fā)節(jié)約了時(shí)間、人力等成本，拓寬了增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域和封裝的運(yùn)用范圍。目前，較為實(shí)用且常用的軟件主要有日本于1999年發(fā)布的增強(qiáng)現(xiàn)實(shí)應(yīng)用軟件庫(kù)ARTooKit、國(guó)內(nèi)自主研發(fā)的EasyAR軟件，以及專門用于美國(guó)蘋果公司IOS平臺(tái)框架的ARKit軟件等。

增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于無人機(jī)維修保障的優(yōu)勢(shì)

質(zhì)輕、體小、使用靈活

無人機(jī)機(jī)體及機(jī)載設(shè)備從設(shè)計(jì)、研發(fā)、制造到出廠的整個(gè)過程將產(chǎn)生數(shù)量龐大的技術(shù)資料以及信息量巨大的維修規(guī)程，這些技術(shù)資料和維修規(guī)程分散于少則幾十、多則成百上千的手冊(cè)中。如何全面準(zhǔn)確整合各種零散信息，給傳統(tǒng)無人機(jī)維修任務(wù)帶來了巨大挑戰(zhàn)。圖紙不能完全直觀呈現(xiàn)形象，對(duì)維修人員的空間想象能力提出了更高要求。而增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于無人機(jī)維修保障領(lǐng)域，能全面整合諸多資料和數(shù)據(jù)，包括但不限于交互式電子技術(shù)出版物（IETM）、三維影像、安裝拆卸注意事項(xiàng)等技術(shù)資料，以及維修引導(dǎo)圖像、文字等數(shù)據(jù)信息?；谠鰪?qiáng)現(xiàn)實(shí)技術(shù)的輔助維修系統(tǒng)將諸多資料數(shù)據(jù)整合至一個(gè)移動(dòng)式便攜設(shè)備中，不僅解決了繁重紙質(zhì)資料不易攜帶和保存的問題，而且有效防止了因內(nèi)容繁多導(dǎo)致的遺忘或丟失等情況。

標(biāo)準(zhǔn)統(tǒng)一，成本低

隨著無人機(jī)應(yīng)用領(lǐng)域的不斷拓展，大中型無人機(jī)的維修保障工作量日益增加，這須要更多的維修人員來保障無人機(jī)時(shí)刻處于良好的技術(shù)狀態(tài)。培訓(xùn)人員數(shù)量不斷增大，可能造成人員技能參差不齊。由于維修人員的技能有高低之分，無人機(jī)的維修工作會(huì)出現(xiàn)不一致的維修效果。但是，增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于無人機(jī)維修導(dǎo)引后，不僅能大幅縮短維修人員的培訓(xùn)周期，還能提升人員的裝備維修經(jīng)驗(yàn)，最大限度節(jié)約維修成本，在技術(shù)層面，可避免人為維修差錯(cuò)導(dǎo)致的資源浪費(fèi)和經(jīng)濟(jì)損失。在維修保障系統(tǒng)建立初期，規(guī)范化維修標(biāo)準(zhǔn)就應(yīng)存儲(chǔ)到系統(tǒng)中。維修人員在維修過程中可實(shí)時(shí)調(diào)取數(shù)據(jù)，保證按照統(tǒng)一標(biāo)準(zhǔn)進(jìn)行維修引導(dǎo)。由于維修過程被實(shí)時(shí)記錄，工作人員完成工作后進(jìn)行復(fù)查時(shí)，可以做前后對(duì)比，檢查工作更加高效便捷，確保無遺漏發(fā)生。

交互靈活、協(xié)作便捷

傳統(tǒng)交互須借助人體與實(shí)物的接觸或鼠標(biāo)、鍵盤等輸入設(shè)備來實(shí)現(xiàn)信息采集與輸入。隨著增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展，交互方式趨于多樣化。手勢(shì)和體感交互不再須要傳統(tǒng)意義上的操作設(shè)備，解放了雙手，語音交互融合大幅提升并豐富了用戶的使用體驗(yàn)。如果語音交互也能融入無人機(jī)維修保障，維修人員完成任務(wù)所需時(shí)間將大幅縮短，效率更高效。

在運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)時(shí)，當(dāng)多個(gè)用戶同時(shí)使用集成了社交交互、共享交互等功能的三維可視化系統(tǒng)共享同一個(gè)場(chǎng)景時(shí)，由于每個(gè)用戶擅長(zhǎng)的知識(shí)領(lǐng)域不同，多個(gè)用戶可協(xié)同交互來交流相關(guān)知識(shí)，此時(shí)便捷式協(xié)作交互功將成為提升研究和分析效率的助推器。

技術(shù)難點(diǎn)

為更好地保證維修系統(tǒng)的穩(wěn)定性和最大限度發(fā)揮維修引導(dǎo)作用，基于增強(qiáng)現(xiàn)實(shí)技術(shù)的維修系統(tǒng)應(yīng)包括但不限于圖像采集、圖像處理、虛實(shí)配準(zhǔn)、消息處理、虛實(shí)圖像融合顯示等子系統(tǒng)，其中涉及的三維跟蹤注冊(cè)技術(shù)、真實(shí)感繪制技術(shù)、交互和顯示技術(shù)三種增強(qiáng)現(xiàn)實(shí)技術(shù)與交互式電子技術(shù)出版物以及故障輔助推理等技術(shù)相互影響、相互支撐。這些技術(shù)如何應(yīng)用于快速識(shí)別、精準(zhǔn)匹配、智能輸出，是業(yè)界重點(diǎn)研究的方向之一。然而，計(jì)算機(jī)視覺畢竟不是人眼，機(jī)器缺少人類大腦具有的快速聯(lián)想、思考、隨機(jī)應(yīng)變能力。若要實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)與無人機(jī)維修保障的無縫連接，我們應(yīng)對(duì)三維注冊(cè)跟蹤、真實(shí)感繪制以及交互等技術(shù)展開更加深入而廣泛的研究。

三維跟蹤注冊(cè)技術(shù)

三維跟蹤注冊(cè)技術(shù)是指計(jì)算機(jī)系統(tǒng)產(chǎn)生的虛擬圖像與用戶所處的真實(shí)世界進(jìn)行精準(zhǔn)匹配和完美疊加，可分為硬件注冊(cè)、計(jì)算機(jī)視覺注冊(cè)和混合注冊(cè)三類技術(shù)。在無人機(jī)維修保障中，增強(qiáng)現(xiàn)實(shí)技術(shù)如果為操作人員提供無縫銜接的工作便利，采集設(shè)備必須具有事先精確采集和處理特征點(diǎn)的能力。根據(jù)注冊(cè)場(chǎng)景有無標(biāo)志物，計(jì)算機(jī)視覺注冊(cè)技術(shù)可分為基于平面標(biāo)識(shí)物的跟蹤定位注冊(cè)和基于圖像自然特征的跟蹤定位注冊(cè)兩類?？焖夙憫?yīng)碼牌（Quick Response Code，QR）即二維碼是一種基于標(biāo)識(shí)物的注冊(cè)方法（見圖4）。操作人員掃描二維碼，便能調(diào)用與二維碼相對(duì)應(yīng)的算法，算法可生成子裝配體和零部件的虛擬圖像，虛擬圖像再疊加到現(xiàn)實(shí)環(huán)境中，從而幫助操作人員完成復(fù)雜的裝配任務(wù)。

基于圖像自然特征的注冊(cè)方法也稱無標(biāo)識(shí)注冊(cè)法，如圖5所示。這種跟蹤定位注冊(cè)方法可對(duì)圖像采集設(shè)備所采集的二維影像進(jìn)行處理，對(duì)二維影像的特征點(diǎn)、線、面以及紋理等自然特征進(jìn)行匹配，從而實(shí)現(xiàn)三維跟蹤定位?；趫D像自然特征的注冊(cè)方法拋棄了專用硬件的支撐，破除了使用環(huán)境的限制，但是特征點(diǎn)提取過程中的準(zhǔn)確性以及匹配魯棒性提升是增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用道路上的一大難題。

真實(shí)感繪制技術(shù)

真實(shí)感繪制技術(shù)主要研究如何將計(jì)算機(jī)定義的幾何模型生成具有真實(shí)感的可視化圖形，是計(jì)算機(jī)圖形學(xué)不可或缺的組成部分，該技術(shù)在提升增強(qiáng)現(xiàn)實(shí)中的虛擬信息表現(xiàn)力方面發(fā)揮著重要作用。疊加到真實(shí)環(huán)境中的虛擬圖像若獲得真實(shí)感，關(guān)鍵要充分全面考慮顏色、亮度等因素對(duì)物體所呈現(xiàn)圖像的影響。因此，光照模型、虛擬圖像繪制方程、繪制算法構(gòu)建須考慮物體尺寸、顏色、光照、實(shí)時(shí)性等因素。由于產(chǎn)品使用場(chǎng)景受所處環(huán)境的影響較大，虛擬圖像繪制受光照條件的影響明顯，所以操作人員在戶內(nèi)外使用基于增強(qiáng)現(xiàn)實(shí)技術(shù)的無人機(jī)輔助維修產(chǎn)品時(shí)，成像效果存在顯著差異。光照模型和深度融合模型等技術(shù)研究有待進(jìn)一步加強(qiáng)。

同時(shí)，虛擬物體疊加須處理好虛實(shí)遮擋關(guān)系。因?yàn)樗L圖像呈現(xiàn)的真實(shí)感是衡量真實(shí)感繪制技術(shù)水平高低的一個(gè)重要指標(biāo)，而虛實(shí)物體之間的正確遮擋效果是實(shí)現(xiàn)真實(shí)感融合的另一重要指標(biāo)。因此，技術(shù)人員須要解決遮擋物大小計(jì)算、虛實(shí)相對(duì)位置關(guān)系確定、虛擬物體遮擋部分呈現(xiàn)等技術(shù)難題，這些問題的解決方案須要算法和代碼不斷改進(jìn)和升級(jí)。

人機(jī)交互技術(shù)

除了三維跟蹤注冊(cè)技術(shù)和真實(shí)感圖形繪制技術(shù)，人機(jī)交互技術(shù)是另一個(gè)尤為關(guān)鍵的技術(shù)。目前，人機(jī)交互式桌面設(shè)備一般通過鼠標(biāo)點(diǎn)擊或鍵盤熱鍵輸入信息，便攜式移動(dòng)設(shè)備終端則采用手指觸摸點(diǎn)擊或滑動(dòng)等交互手勢(shì)來實(shí)現(xiàn)信息輸入和終端控制。當(dāng)增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于維修工作時(shí)，維修人員須隨時(shí)攜帶大量輸入設(shè)備或器材。增強(qiáng)現(xiàn)實(shí)技術(shù)輔助無人機(jī)維修，隨時(shí)隨地為維修人員提供幫助，復(fù)雜的程序輸入、繁瑣復(fù)雜的信息錄入等不再是提高維修人員工作效率等方面的“攔路虎”。為使用戶的操作更加方便，人機(jī)交互技術(shù)須不斷更新，集手勢(shì)交互、語音交互以及眼球追蹤等交互方式于一體的新型多樣化人機(jī)交互方案將是未來增強(qiáng)現(xiàn)實(shí)產(chǎn)品的選擇。具有更強(qiáng)人機(jī)交互能力的增強(qiáng)現(xiàn)實(shí)系統(tǒng)追求以人為本的理念，將增強(qiáng)人的思考或人的感知能力，為新的人-機(jī)-環(huán)關(guān)系創(chuàng)建指明發(fā)展方向。

未來展望

目前，AR系統(tǒng)仍處于實(shí)驗(yàn)室研究階段，基于AR技術(shù)的無人機(jī)輔助維修研究剛剛起步，未來還有很長(zhǎng)的路要走。但作為智能化與便捷化技術(shù)相結(jié)合的產(chǎn)物，人工智能、機(jī)器視覺等諸多領(lǐng)域的研究成果都將成為增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展的助推器。未來，我們須深入研究系統(tǒng)開發(fā)框架、人機(jī)交互、基于網(wǎng)絡(luò)的多用戶協(xié)同增強(qiáng)現(xiàn)實(shí)等技術(shù)，不斷完善系統(tǒng)功能，使系統(tǒng)具有更良好的適用性，相信AR技術(shù)應(yīng)用于軍事維修領(lǐng)域是必然趨勢(shì)。 ■