AR技術(shù)在飛機(jī)維修領(lǐng)域中的應(yīng)用與開發(fā)

劉 超 劉高勝

廣州民航職業(yè)技術(shù)學(xué)院飛機(jī)維修工程學(xué)院 廣東廣州 510403

AR技術(shù)最初是由航空領(lǐng)域的波音公司研究員托馬斯·考德爾(Thomas Caudell)于1990年提出的[1]。增強(qiáng)現(xiàn)實(shí)技術(shù)首先需利用計(jì)算機(jī)生成包含有圖像、視頻、音頻、3D模型等信息的虛擬物體，然后將其與現(xiàn)實(shí)的場景深度融合，兩者進(jìn)行信息的共存、補(bǔ)充和疊加，形成虛實(shí)結(jié)合的空間，也便于使用者實(shí)時(shí)互動，更直觀與清晰地學(xué)習(xí)[2]。增強(qiáng)現(xiàn)實(shí)技術(shù)是不同于虛擬現(xiàn)實(shí)(Virtual Reality，VR)的。VR技術(shù)是利用計(jì)算機(jī)技術(shù)把真實(shí)世界仿真出一個(gè)虛擬世界或完全開發(fā)出一個(gè)虛擬世界。學(xué)習(xí)者通過佩戴相關(guān)設(shè)備可完全融入這樣一個(gè)有立體感的視覺、聽覺、觸覺、嗅覺的虛擬世界，幫助學(xué)生快速學(xué)習(xí)或掌握一些看不見、摸不著、進(jìn)不了的物體或空間[3]。所以說，AR技術(shù)其實(shí)是VR技術(shù)的延伸，其優(yōu)勢是既營造了虛擬世界信息，又不破壞真實(shí)場景，將虛擬信息與真實(shí)場景融合，達(dá)到虛實(shí)的交互與增強(qiáng)目的。簡單地說，AR技術(shù)是將一個(gè)虛擬的世界投射到真實(shí)世界中，而VR技術(shù)是在真實(shí)的世界中營造一個(gè)虛擬的世界，見圖1。未來幾年，隨著智能手機(jī)與平板電腦的普及和其技術(shù)的發(fā)展，AR技術(shù)可輕松在移動端操作，從而逐步實(shí)現(xiàn)了在軍事、醫(yī)療可視化、教育、工程機(jī)械、圖書設(shè)計(jì)等諸多領(lǐng)域的深度應(yīng)用。而AR技術(shù)在航空領(lǐng)域也會有很大的應(yīng)用價(jià)值。

圖1 AR與VR技術(shù)的區(qū)別與聯(lián)系

民航維修是一個(gè)高技術(shù)、高復(fù)雜、高成本的行業(yè)。飛機(jī)屬于大型的復(fù)雜的機(jī)電液系統(tǒng)，涵蓋了氣動、機(jī)械、電子電氣等大量技術(shù)，其內(nèi)部結(jié)構(gòu)十分復(fù)雜，特別是航空發(fā)動機(jī)，部件多、難接近，在進(jìn)行維護(hù)、拆裝與排故時(shí)十分麻煩，這就要求工程技術(shù)人員具有極高的綜合能力。而在實(shí)際運(yùn)營中，有時(shí)由于地理位置限制、經(jīng)濟(jì)條件約束導(dǎo)致不能配備足夠的工程技術(shù)人員，就會出現(xiàn)維修裝配錯(cuò)誤率高，維修效率低下問題。而采用AR技術(shù)的可視化技術(shù)可以將維修部件原理、維修指導(dǎo)意見、維修工卡等形成虛擬的影像與現(xiàn)實(shí)中的物體進(jìn)行無縫對接，清晰的說明、指導(dǎo)和演示可指導(dǎo)維修人員快速維修與排除故障，保障航班的安全運(yùn)行。本文介紹了AR技術(shù)在飛機(jī)裝配制造、飛機(jī)維修手冊、飛機(jī)維修工作、民航專業(yè)培訓(xùn)、民航專業(yè)教育等方面的應(yīng)用，同時(shí)分析出AR技術(shù)用于飛機(jī)維修教學(xué)資源的設(shè)計(jì)與開發(fā)的思路，為民航行業(yè)人員提供參考。

一、AR技術(shù)在飛機(jī)維修領(lǐng)域的不同方向應(yīng)用

(一)AR技術(shù)在飛機(jī)智能裝配中的應(yīng)用

國外的GE公司將最新研發(fā)的智能扭矩扳手和增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用到航空發(fā)動裝配中。航空發(fā)動機(jī)是高精端的機(jī)器，在制造與裝配中有稍微的誤差都會導(dǎo)致設(shè)備效率降低或出現(xiàn)故障，因此，裝配中的精度一定要嚴(yán)格控制。GE公司開發(fā)了一款增強(qiáng)現(xiàn)實(shí)軟件——Skylight軟件。裝配工程師在安裝緊固件時(shí)，只需佩戴谷歌智能眼鏡，即可看到此款A(yù)R軟件呈現(xiàn)出的擰緊力矩，以實(shí)時(shí)指導(dǎo)和提醒工程師，避免力矩過松或過緊的誤差，嚴(yán)格達(dá)到手冊的要求。經(jīng)實(shí)踐檢驗(yàn)，此款A(yù)R軟件效果非常好，工程師的錯(cuò)誤率明顯下降，平均生產(chǎn)效率也提高了8%～12%[4]。

空客公司在A350和A380飛機(jī)的裝配質(zhì)量檢查環(huán)節(jié)使用基于AR技術(shù)的智能增強(qiáng)現(xiàn)實(shí)工具(SART)。裝配師將某款飛機(jī)的管線定位托架的操作和安裝結(jié)果導(dǎo)入SART中，此軟件即會將數(shù)據(jù)與原始數(shù)據(jù)進(jìn)行對比，自動生成報(bào)告確定安裝是否有缺失，錯(cuò)誤定位或托架損壞。裝配師根據(jù)報(bào)告結(jié)果進(jìn)行再次替換或修理，大大縮短了幾萬個(gè)托架的檢測時(shí)間[4]。

波音公司則開發(fā)了基于Skylight軟件的機(jī)艙布線流程。該技術(shù)成功地簡化了布線工作流程與時(shí)間，并將錯(cuò)誤率降至零。同時(shí)該系統(tǒng)可根據(jù)布線計(jì)劃實(shí)時(shí)制作三維圖紙，使用者佩戴相關(guān)設(shè)備后直觀看到設(shè)計(jì)圖，并與飛機(jī)視圖相吻合[5]。

國內(nèi)的上海航空工業(yè)有限公司針對飛機(jī)電氣線路互聯(lián)系統(tǒng)(Electrical Wiring Interconnection System，簡稱EWIS系統(tǒng))的裝配過程中，連接器的安裝孔位多、易混淆、操作煩瑣等困境，設(shè)計(jì)了智能算法用于AR眼鏡中快速識別出圖像中的連接器，并與數(shù)據(jù)庫中的連接器型號匹配，指導(dǎo)裝配，提高裝配的效率和準(zhǔn)確性。國產(chǎn)C919飛機(jī)也引用了此項(xiàng)技術(shù)[6]。

(二)AR技術(shù)在飛機(jī)維修手冊中的應(yīng)用

隨著電子技術(shù)的發(fā)展，逐漸出現(xiàn)了一種新型的飛機(jī)電子手冊，稱為交互式電子技術(shù)手冊(Interactive Electronic Technical Manual，IETM)。該手冊集成了飛機(jī)裝備基本原理、操作使用和維修保障的文字，并整合了圖形、表格、音頻和視頻等多種形式，最重要的是實(shí)現(xiàn)了人機(jī)交互。中國航空綜合技術(shù)研究所正在研究在基于S1000D規(guī)范的手冊中引入增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)技術(shù)。此種手冊的研究基本原理是需將手冊內(nèi)容與工業(yè)設(shè)計(jì)的三維模型進(jìn)行數(shù)據(jù)融合，在使用時(shí)AR終端設(shè)備呈現(xiàn)此三維模型，實(shí)現(xiàn)虛實(shí)結(jié)合，并提供人機(jī)交互，指導(dǎo)操作人員進(jìn)行工作，提升工作效率，降低維護(hù)成本[7]。

(三)AR技術(shù)在飛機(jī)維修中的應(yīng)用

為了保證飛機(jī)的正常飛機(jī)，需在航前、短停和航后對飛機(jī)進(jìn)行詳細(xì)的檢測與維護(hù)，如發(fā)現(xiàn)問題，應(yīng)及時(shí)地進(jìn)行維修與排故。日本航空公司最初在檀香山機(jī)場的維護(hù)工作上利用了AR技術(shù)。工程師在對某部件進(jìn)行維修時(shí)佩戴谷歌眼鏡，即可識別此部件的狀態(tài)和參數(shù)，實(shí)時(shí)地為維修工提出指導(dǎo)意見，對出現(xiàn)操作失誤的現(xiàn)象會立馬進(jìn)行報(bào)警，及時(shí)糾正。

另外，在飛機(jī)短停檢查中如發(fā)現(xiàn)問題，現(xiàn)場無資深專家時(shí)，可利用AR技術(shù)進(jìn)行飛機(jī)遠(yuǎn)程維修與排故指導(dǎo)。國內(nèi)的南方航空公司與中國電信聯(lián)合研發(fā)了“5G+AR遠(yuǎn)程技術(shù)支持平臺”。該平臺已覆蓋全國13個(gè)飛機(jī)站點(diǎn)，并已成功與廣州機(jī)務(wù)維修中心實(shí)現(xiàn)遠(yuǎn)程連線和專家會診。此種模式需要現(xiàn)場維修人員佩戴AR智能眼鏡實(shí)時(shí)分享飛機(jī)的停機(jī)位，并對準(zhǔn)故障部件反饋現(xiàn)場情況。廣州機(jī)務(wù)維修中心工程師使用AR軟件中的三角標(biāo)記、文件傳輸?shù)裙δ軒椭F(xiàn)場維修人員確認(rèn)故障點(diǎn)，并提出排故方案。除此之外，中國南方航空公司還開發(fā)了基于AR技術(shù)的發(fā)動機(jī)遠(yuǎn)程孔探軟件、基于AR技術(shù)的航線工卡檢查軟件、基于AR技術(shù)的航材智能送修軟件等[8]。

(四)AR技術(shù)應(yīng)用民航專業(yè)培訓(xùn)

國外的法荷航維修工程公司利用AR技術(shù)進(jìn)行航空維修的專業(yè)培訓(xùn)。該公司已開發(fā)了一款對波音787飛機(jī)技術(shù)培訓(xùn)的AR系統(tǒng)，使用該系統(tǒng)進(jìn)行培訓(xùn)時(shí)，受訓(xùn)者只需要5天時(shí)間便可完成全部培訓(xùn)課程。普惠已經(jīng)開始將GTF發(fā)動機(jī)VR模擬器用于員工和客戶培訓(xùn)[4]。

中國民航科學(xué)技術(shù)研究院利用增強(qiáng)現(xiàn)實(shí)技術(shù)初步實(shí)現(xiàn)了渦噴—6型發(fā)動機(jī)的培訓(xùn)應(yīng)用場景。參訓(xùn)學(xué)員只需在手機(jī)上打開軟件，即可完成渦噴—6型發(fā)動機(jī)的整機(jī)漫游、部件增強(qiáng)識別、部件三維爆炸圖和部件裝配的控制與操作。此種模式實(shí)現(xiàn)了一人一手機(jī)一發(fā)動機(jī)，有效解決了培訓(xùn)機(jī)構(gòu)的發(fā)動機(jī)臺數(shù)不足、拆裝受限的窘境，縮短了培訓(xùn)時(shí)間，提升了培訓(xùn)效率[9]。

(五)AR技術(shù)在民航專業(yè)教育中的應(yīng)用

中國航空博物館將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用在展品和兒童游園中，采用虛擬與現(xiàn)實(shí)融合的方式，將傳統(tǒng)的單一化、被動式的枯燥參觀形式轉(zhuǎn)變成多樣化、互動式的多感官參觀。這種既有趣味性又帶娛樂性、參與感強(qiáng)的形式，更加有效地傳播了民航科普教育，充分提升了博物館的社會育人效果[10]。

在航空類的高校也掀起了將AR技術(shù)應(yīng)用于航空教學(xué)的研究。南京航空航天大學(xué)的研究團(tuán)隊(duì)在航空宇航制造工程專業(yè)課程教學(xué)實(shí)踐中引入增強(qiáng)現(xiàn)實(shí)技術(shù)，利用智能可穿戴裝配原型系統(tǒng)模擬飛機(jī)裝配場景，顯示正確的裝配路徑和方法，指導(dǎo)學(xué)生進(jìn)行飛機(jī)結(jié)構(gòu)件或線纜裝配。中國民航大學(xué)基于Hololens設(shè)備，開發(fā)了一套數(shù)字化飛機(jī)增強(qiáng)現(xiàn)實(shí)教學(xué)平臺，該平臺可360度展示飛機(jī)結(jié)構(gòu)，教師可根據(jù)教學(xué)內(nèi)容自主創(chuàng)建三維教學(xué)資源，供學(xué)生自主學(xué)習(xí)。中國民航大學(xué)的張青團(tuán)隊(duì)利用移動增強(qiáng)現(xiàn)實(shí)技術(shù)，開發(fā)智能化的民航發(fā)動機(jī)增強(qiáng)現(xiàn)實(shí)移動端實(shí)驗(yàn)系統(tǒng)，將手機(jī)攝像頭對準(zhǔn)發(fā)動機(jī)模型實(shí)物識別，若成功就會在眼前呈現(xiàn)攜帶發(fā)動機(jī)部件功能與作用、檢查方法及維護(hù)拆裝步驟等信息的發(fā)動機(jī)實(shí)物模型。這種虛實(shí)結(jié)合的增強(qiáng)信息，可讓學(xué)生隨時(shí)隨地感知發(fā)動機(jī)，認(rèn)識發(fā)動機(jī)復(fù)雜部件的原理和結(jié)構(gòu)，為民航相關(guān)專業(yè)的實(shí)驗(yàn)教學(xué)提供便利。中國民航大學(xué)也自主開發(fā)了航線維修增強(qiáng)現(xiàn)實(shí)引導(dǎo)原型系統(tǒng)和增強(qiáng)現(xiàn)實(shí)誘導(dǎo)飛機(jī)維修系統(tǒng)，營造了真實(shí)的飛機(jī)維修場景，在實(shí)際教學(xué)中提升了學(xué)生操作技能。

二、AR技術(shù)在民航維修教育資源設(shè)計(jì)與開發(fā)思路

民航維修專業(yè)教學(xué)中長期存在因飛機(jī)結(jié)構(gòu)復(fù)雜、購置設(shè)備成本高而“看不到內(nèi)部結(jié)構(gòu)、進(jìn)不去內(nèi)部操作、動不了設(shè)備”的教學(xué)痛點(diǎn)，通過開發(fā)基于AR技術(shù)的教學(xué)資源便能較好地解決此問題。而目前開發(fā)大型AR仿真系統(tǒng)成本比較高，對于普通教師常因經(jīng)費(fèi)問題無力開發(fā)，因此可采取開發(fā)小型的教學(xué)資源。課堂上，學(xué)生只需掃描二維靜態(tài)圖片，即可觀看到此部件的詳細(xì)結(jié)構(gòu)?；谶@樣一個(gè)思路，結(jié)合AR技術(shù)特點(diǎn)，總結(jié)出AR技術(shù)設(shè)計(jì)與開發(fā)教學(xué)資源的思路如圖2所示。

圖2 AR技術(shù)設(shè)計(jì)與開發(fā)教學(xué)資源的思路

(一)確定軟件開發(fā)的需求

功能性需求包括圖片識別、爆炸展示、原理動畫、部件拆裝等；穩(wěn)定性需求包括可靠性、可維護(hù)性、安全性等；開發(fā)性能需求是指軟件的優(yōu)化程度，例如提升軟件啟動速度和加載速度，能夠保證高效開發(fā)而不產(chǎn)生數(shù)據(jù)阻塞等。

(二)軟件UI設(shè)計(jì)

主要是設(shè)計(jì)軟件的人機(jī)交互形式與方式、軟件操作邏輯、軟件的封面及內(nèi)容的美觀性。

(三)數(shù)字模型制作

通過模型制作軟件，以實(shí)物圖片或圖紙為參考進(jìn)行1∶1地制作3D MAX模型，并確保場景尺寸、單位，模型歸類塌陷、命名、節(jié)點(diǎn)編輯，紋理、紋理尺寸、紋理格式、材質(zhì)球等符合制作規(guī)范。

(四)軟件開發(fā)與優(yōu)化

根據(jù)需求說明以及UI邏輯，利用Unity3D進(jìn)行開發(fā)編輯，在Unity3D通過C#編寫腳本以達(dá)成各需求的實(shí)現(xiàn)；測試軟件各功能，根據(jù)測試結(jié)果優(yōu)化代碼和模型，測試通過后完成測試報(bào)告。

(五)軟件發(fā)布與反饋優(yōu)化

軟件進(jìn)行試運(yùn)行，穩(wěn)定后發(fā)布，根據(jù)使用者的功能需求、操作體驗(yàn)反饋意見進(jìn)一步優(yōu)化完善軟件。

總體而言，AR技術(shù)這種全新的現(xiàn)代技術(shù)在航空維修中得到了廣泛的應(yīng)用，其良好的交互性、可視化的特點(diǎn)受到用戶的肯定。隨著5G技術(shù)的發(fā)展、云計(jì)算以及便攜式顯示設(shè)備等技術(shù)的發(fā)展，AR技術(shù)在未來的民航智慧維修及民航專業(yè)教學(xué)中大有所為。