劉 遠 孟少華 陳暢宇 樊啟帆
(1.北京衛(wèi)星環(huán)境工程研究所 北京 100094)(2.北京市航天產(chǎn)品智能裝配技術(shù)與裝備工程研究中心 北京 100094)
增強現(xiàn)實(Augmented Reality,AR)是將數(shù)字虛擬信息與真實世界環(huán)境巧妙融合的技術(shù)。它廣泛地應(yīng)用了多媒體、三維建模、實時跟蹤、智能交互和傳感器等技術(shù)手段,將計算機生成的圖像、文字、三維模型和音視頻等虛擬信息模擬仿真后再疊加到真實世界中,虛實信息互為補充,進而實現(xiàn)對真實世界的增強[1]。
工業(yè)領(lǐng)域上的工業(yè)真實世界與數(shù)字信息文件之間的差距,使得工業(yè)用戶在理解、認(rèn)知、執(zhí)行、監(jiān)控和優(yōu)化流程上,變得困難重重并阻礙了整體的生產(chǎn)力。而基于AR技術(shù)的解決方案可以消除這些差距。利用各種移動式的增強現(xiàn)實軟硬件系統(tǒng),可以將現(xiàn)場數(shù)字?jǐn)?shù)據(jù)和三維數(shù)字文件的數(shù)據(jù)進行精確地融合比對。大幅縮短了數(shù)字世界和現(xiàn)場實際世界之間的認(rèn)知距離,創(chuàng)造了強大的協(xié)同作用,并提高了效率。因此有望在工業(yè)領(lǐng)域獲得廣泛應(yīng)用[2~3]。
為了降低工業(yè)企業(yè)的生產(chǎn)成本、加強產(chǎn)品性能、提高生產(chǎn)效率,本文對AR技術(shù)的最新研究趨勢進行綜述,并調(diào)研AR 技術(shù)在國內(nèi)外航空航天領(lǐng)域的應(yīng)用,為我國在相關(guān)領(lǐng)域開展工作提供參考。
如圖1 所示,AR 技術(shù)實現(xiàn)原理主要分為輸入、虛實融合和輸出三部分。首先,通過對真實世界的圖像數(shù)據(jù)進行采集并結(jié)合人機交互技術(shù)發(fā)布指令到增強現(xiàn)實終端完成輸入。然后,通過虛實融合技術(shù)使場景具有良好的虛實融合渲染效果。最后,通過顯示技術(shù)輸出可視化結(jié)果到設(shè)備終端。
圖1 增強現(xiàn)實技術(shù)原理
如圖1 所示,增強現(xiàn)實技術(shù)實現(xiàn)流程主要分為輸入、虛實融合和輸出三部分。1)輸入:增強現(xiàn)實終端用戶采用語音、手勢和體感等人機交互技術(shù)控制增強現(xiàn)實終端通過采集真實世界場景信息,并將真實信息輸入虛實融合處理;2)虛實融合:分別采用計算機視覺技術(shù)處理采集到的真實圖像信息和計算機圖形學(xué)技術(shù)渲染出虛擬信息,最終在3D 環(huán)境中完成虛實信息的疊加;3)輸出:可采用3D立體技術(shù)、全息顯示技術(shù)和光場顯示技術(shù)顯示輸出虛實融合信息。因此,增強現(xiàn)實技術(shù)的關(guān)鍵是如何將虛實信息無縫融合,根據(jù)Ronald Azuma[4]對增強現(xiàn)實技術(shù)的定義,為了確保真實世界和虛擬對象的無縫融合必須要解決好三大關(guān)鍵問題和三項關(guān)鍵技術(shù)。
其中三大關(guān)鍵問題是如何解決虛實信息在幾何、光照和時間方面的一致性問題。1)幾何一致性:所謂的幾何一致表示虛實信息在空間中保持一致,需重點關(guān)注遮擋處理策略。正確的遮擋關(guān)系可以增強觀察者在視覺體驗上場景真實感,比如在增強裝配場景中,不同的裝配零件存在著前后遮擋關(guān)系,因此,正確反映虛實零件間的遮擋關(guān)系,對增強裝配系統(tǒng)的實際工程應(yīng)用具有重要意義。一般遮擋處理策略主要有基于深度信息的虛實遮擋[5]和基于模型的虛實遮擋[6~7]兩大類。2)光照一致性:繪制具備真實感的虛實融合場景需解決光照一致性問題。3)時間一致性:實現(xiàn)實時人機交互則需解決時間一致性問題。三大問題中,幾何、時間一致性是光照一致性的基礎(chǔ),實時、高效地還原真實幾何場景后才可以進一步實現(xiàn)形象逼真的光照渲染。
AR實現(xiàn)需要用到的三項關(guān)鍵技術(shù)分別是虛實融合技術(shù)、人機交互技術(shù)以及顯示輸出技術(shù)[8]。
1)虛實融合技術(shù)
虛實融合技術(shù)實現(xiàn)的關(guān)鍵是跟蹤注冊精度,跟蹤注冊方法分類如表1 所示。最初,主要采用二維碼人工標(biāo)識物的方法實現(xiàn)目標(biāo)定位跟蹤[9],但是該方法成功使用需滿足如下條件:1)標(biāo)識物避免被遮擋,應(yīng)出現(xiàn)在圖像采集裝置視野內(nèi),否則會導(dǎo)致跟蹤失??;2)避免受強光照射,導(dǎo)致無法辨識;3)選擇適合放置標(biāo)識物的工程環(huán)境。上述條件限制了有標(biāo)識物的定位跟蹤方法進一步發(fā)展,隨著計算機計算能力的提升,學(xué)者們將研究重心轉(zhuǎn)移至無標(biāo)識物的定位跟蹤方法,主要分為基于模型[10]、基于圖像自然特征[11]和基于機器學(xué)習(xí)[12]等方法。
表1 跟蹤注冊方法分類與對比
增強裝配作為裝配工藝可視化手段,采用穩(wěn)定的虛實融合技術(shù),根據(jù)采集裝置實時感知真實裝配操作空間環(huán)境信息,將文字、標(biāo)識、模型等虛擬工藝信息精準(zhǔn)地疊加在真實環(huán)境中,通過生成虛實融合的工藝引導(dǎo)視圖,指導(dǎo)裝配操作人員完成零件安裝[13~14]。
2)人機交互技術(shù)
隨著AR 時代的來臨,采用新型的人機交互方式將成為主流。因此,模仿人類本能的人機交互技術(shù)成為AR技術(shù)的重要基礎(chǔ)。人機交互技術(shù)實現(xiàn)用戶和物理環(huán)境中虛擬對象之間更自然的交互,主要包含動捕、眼動追蹤、語音交互、觸覺交互和腦機交互等,圖2 列舉了典型的面向AR 的人機交互技術(shù)方式[15]。
圖2 人機交互技術(shù)
3)顯示技術(shù)
顯示技術(shù)以人眼的立體視覺原理為依據(jù)。因此,研究人眼的立體視覺機制、掌握立體視覺的規(guī)律,對設(shè)計立體顯示系統(tǒng)是十分必要的。如果想在虛擬世界看到立體的效果,就需要知道人眼立體視覺產(chǎn)生的原理,然后再用一定的技術(shù)通過顯示設(shè)備還原立體效果。主要包括頭戴顯示技術(shù)、全系投影技術(shù)和光場成像技術(shù)。
目前,AR 產(chǎn)業(yè)正處于市場啟動期到高速發(fā)展期的過渡階段,產(chǎn)業(yè)發(fā)展主要由技術(shù)創(chuàng)新和應(yīng)用拓展驅(qū)動,未來有望吸引更多廠商進入AR 市場。隨著技術(shù)體系的成熟、產(chǎn)業(yè)鏈構(gòu)建的完善以及產(chǎn)品形態(tài)和內(nèi)容平臺的豐富,AR 有望在更多場景實現(xiàn)落地。未來AR 產(chǎn)業(yè)有望發(fā)展成為一個軟硬結(jié)合,且匯集大量優(yōu)質(zhì)內(nèi)容的平臺,屆時也將迎來真正的高速增長期。
AR 產(chǎn)業(yè)鏈上游硬件部分主要包括光學(xué)設(shè)備、顯示設(shè)備、芯片、傳感器等,軟件部分包括數(shù)據(jù)采集(環(huán)境渲染、視頻捕獲、SLAM)、數(shù)據(jù)處理(3D 渲染、渲染引擎等)和系統(tǒng)平臺(操作系統(tǒng)、SDK)。中游的硬件部分包括3D Sensing、處理器模組、顯示模組等,軟件部分包括動作捕捉、眼動追蹤和語音處理等功能的開發(fā);下游則主要是各種AR 終端產(chǎn)品以及各種AR 技術(shù)應(yīng)用的服務(wù)。IT 巨頭在AR 領(lǐng)域積極布局,在軟硬件技術(shù)和應(yīng)用生態(tài)方面均有所建樹。海外廠商憑借著技術(shù)先發(fā)優(yōu)勢和平臺優(yōu)勢,切入了AR 底層技術(shù)研發(fā)、終端產(chǎn)品制造和垂直領(lǐng)域應(yīng)用等全產(chǎn)業(yè)環(huán)節(jié),逐步建立起完善的產(chǎn)業(yè)生產(chǎn),競爭優(yōu)勢顯著。
1)谷歌
2013年的Google Glass,是AR 的另一款里程碑式的產(chǎn)品,它也是第一款消費級別的AR 產(chǎn)品。用戶佩戴谷歌眼鏡在路途中查詢地圖導(dǎo)航、拍照,并與朋友通訊的場景讓大眾印象深刻。在過去數(shù)年的應(yīng)用和沉淀中,不少企業(yè)已經(jīng)借助Google Glass提升工作效率,比如DHL 快遞的員工會通過Google Glass 頭顯提升揀貨速度;農(nóng)機制造商AG?CO、機械制造商GE通過頭顯操作指南提高裝配效率(圖3)。
圖3 谷歌眼鏡應(yīng)用
2)Magic Leap
Magic Leap[16]于2011 年在美國成立,采用技術(shù)難度極大的光場技術(shù)研發(fā)新一代增強現(xiàn)實產(chǎn)品,并于2017 年推出Magic Leap 1,該產(chǎn)品作為谷歌眼鏡與Oculus Rift[17]的結(jié)合體,在眼鏡與真實世界中疊加一個虛擬的數(shù)字圖像層,進而實現(xiàn)虛擬信息與真實世界的融合,包含了輕質(zhì)頭顯裝置、內(nèi)置處理器的輕質(zhì)攜帶裝置以及6自由度遙控裝置。
3)微軟
HoloLens 1 是微軟公司于2015 年發(fā)布的首款全息眼鏡,不同于頂級虛擬現(xiàn)實設(shè)備Oculus Rift 和HTC Vive[18],其本身就是一臺搭載Windows 10的獨立運行的全息計算機設(shè)備。該裝備基于LCoS投影顯示技術(shù),內(nèi)置CPU、GPU和HPU(全息處理器),集成慣性傳感器、環(huán)境光傳感器、混合現(xiàn)實捕捉傳感器等,并采用即時定位與地圖構(gòu)建(Simultaneous lo?calization and mapping,SLAM)技術(shù)。HoloLens 1 內(nèi)含六個攝像頭,分別是一個深度信息采集裝置、四個環(huán)境灰度信息采集裝置以及一個高像素的攝像頭。其中深度信息采集裝置采用紅外線測距技術(shù)進行深度信息采集;四個環(huán)境感知攝像頭用于環(huán)境地圖構(gòu)建;高像素攝像頭用于拍攝圖片以及錄制視頻。
4)Meta
Meta[19]采用獨特的技術(shù),可以使用戶通過雙手控制3D 內(nèi)容,將自身構(gòu)建成比Macintosh 容易使用100 倍的操作系統(tǒng)。其目標(biāo)是讓用戶和虛擬物體之間的互動成為真實世界體驗的一個無縫擴展。
5)蘋果
蘋果公司[20]在AR 領(lǐng)域積極展開布局,自2010年起收購了多家AR 技術(shù)相關(guān)領(lǐng)域公司,分別是位于瑞典的人臉識別技術(shù)公司PolarRose;位于以色列的人體3D 實時動捕公司PrimeSense;人臉識別公司FaceShift;位于德國的增強現(xiàn)實技術(shù)公司Me?taio以及初創(chuàng)企業(yè)FlybyMedia。
航空航天領(lǐng)域產(chǎn)品存在著系統(tǒng)設(shè)計復(fù)雜、安裝精度要求高、裝配質(zhì)量無差錯等特點,給裝配操作人員帶來了極大得挑戰(zhàn)。隨著AR技術(shù)的在裝配領(lǐng)域推廣,增強裝配新技術(shù)成為了新的引擎,助力實現(xiàn)更高效率、更直觀以及更安全的操作,進而被應(yīng)用于國內(nèi)外航空航天企業(yè)。
1)波音公司
如圖4(a)所示,AR技術(shù)最早于20世紀(jì)90年代初被波音公司提出,并被擴展開發(fā)為AR 輔助鋪線系統(tǒng)[21~22]。該系統(tǒng)采用了視頻透視式顯示裝置,將虛擬的鋪線路徑以及接線點的位置信息疊加到真實的安裝環(huán)境中,引導(dǎo)操作人員高效率完成鋪線操作,并大大降低了安裝錯誤率。隨后,針對飛機電纜裝配場景,波音公司開發(fā)了“Skylight”AR 裝配工藝引導(dǎo)系統(tǒng),引導(dǎo)海量電纜裝配。操作人員通過該系統(tǒng)不僅能夠在真實裝配場景中看到電連接器位置信息,還能夠看到虛擬的裝配工藝指令等提示信息,進而快速準(zhǔn)確地完成電纜安裝操作,如圖4(b)。波音公司已經(jīng)在生產(chǎn)線上大規(guī)模使用AR 眼鏡以輔助線纜的裝配,如圖4(c),該系統(tǒng)能夠為技術(shù)人員提供實時在線、交互式的三維接線圖。數(shù)據(jù)統(tǒng)計,波音公司采用AR技術(shù)后,將線束的錯漏裝比率降低了近50%,效率提升了25%。
圖4 波音公司采用增強現(xiàn)實技術(shù)指導(dǎo)裝配作業(yè)
2)空客軍用飛機公司
空客軍用飛機公司(AIRBUS Military)[23]將AR技術(shù)應(yīng)用在飛機車間裝配指令中以替代傳統(tǒng)的紙質(zhì)工藝文件。最早在A400M 飛機鋪線中通過研發(fā)的“月亮”AR 裝配輔助系統(tǒng),以智能平板電腦為虛實信息展示平臺,顯示電纜走向、電連接器代號等工藝提示信息,進而引導(dǎo)操作人員高效、精準(zhǔn)地完成數(shù)百千米的電纜和電連接器的安裝任務(wù),并進行安裝質(zhì)量的快速檢驗。進一步,空客公司還通過“智能增強現(xiàn)實工具”系統(tǒng)開發(fā)了設(shè)計驗證模塊、裝配引導(dǎo)模塊和裝配質(zhì)量檢測模塊[24]。其中裝配質(zhì)量檢測模塊為A350等機型的管路支架的安裝正確性提供輔助檢驗功能,通過比對原始三維設(shè)計模型數(shù)據(jù)和實際裝配結(jié)果采集圖片數(shù)據(jù),進而實現(xiàn)管路支架的錯漏裝檢驗,將檢驗時間縮減了近85%,如圖5。
圖5 空客公司基于增強現(xiàn)實的“MiRA”系統(tǒng)應(yīng)用
3)歐空局
歐空局(ESA)[25]早期開發(fā)的增強現(xiàn)實應(yīng)用系統(tǒng)為國際空間站宇航員提供“精準(zhǔn)”的裝配操作信息。ESA 通過EdcAR 項目定義了AR 的通用體系結(jié)構(gòu)和工作流程(從空間工程數(shù)據(jù)到最終AR 應(yīng)用),以便將其應(yīng)用到空間領(lǐng)域,最終為增強現(xiàn)實的概念驗證實施了三個具有代表性的用例:1)有效載荷同軸電纜組件的組裝[26],2)國際空間站集中式機艙過濾器的更換[27],3)國際空間站維護工作的遠程支持。
4)國家航空航天局
國家航空航天局(NASA)[28~29]早在2016 年的Sidekick 項目中已在國際空間站測試了微軟的Ho?lolens 設(shè)備,旨在更加有效地維護和保養(yǎng)空間站上的設(shè)備。宇航員Scott Kelly借助HoloLens增強現(xiàn)實眼鏡的實時過程指導(dǎo)對國際空間站進行了操作和維修[30]。
5)Diota
Diota 公司成立于2009 年,作為一家致力于增強現(xiàn)實解決方案行業(yè)的歐洲領(lǐng)先供應(yīng)商。研制了多種基于AR 技術(shù)的產(chǎn)品,如投影系統(tǒng)(圖6(a))、平版電腦系統(tǒng)(圖6(b))、手柄相機(圖6(c))和檢驗相機(圖6(d))[31]。
圖6 Diota公司研制基于增強現(xiàn)實技術(shù)的產(chǎn)品
其中投影系統(tǒng)適合在寬大的表面上對復(fù)雜、精細的作業(yè)流程信息進行可視化。通過AR增強現(xiàn)實技術(shù),在現(xiàn)實作業(yè)區(qū)實時疊加顯示逐步式數(shù)字作業(yè)指令,并與步驟中的任務(wù)、零件、工具設(shè)置的指令進行交互,可有效降低任務(wù)復(fù)雜度,幫助工人減少錯誤,降低作業(yè)錯誤風(fēng)險。同時,能夠解放工人的雙手,支持多個工人同時作業(yè),可以大幅減少作業(yè)時間。
平版電腦系統(tǒng)適用于與信息系統(tǒng)頻繁交互的生產(chǎn)作業(yè)或需要高質(zhì)量圖形渲染的操作工況,對于由不同性質(zhì)的零部件(機械、液壓、化學(xué)、電子)組成的復(fù)雜系統(tǒng),通過參考標(biāo)準(zhǔn)的數(shù)字模型定位控制點檢測不合格品。另外,可在現(xiàn)場拍攝待集成系統(tǒng)的照片,設(shè)計師收到圖片后,可以通過檢測系統(tǒng)配置如固定裝置、支架和配件的位置、高度和方向,進而驗證各種設(shè)備(儲罐、增壓器、料倉等)的設(shè)計合格性。
檢驗相機可以搭載在機械臂上,通過基于模型的檢驗路徑規(guī)劃方法,實現(xiàn)對產(chǎn)品裝配質(zhì)量的自動化檢驗,如圖7。
圖7 基于增強現(xiàn)實的檢驗相機系統(tǒng)應(yīng)用
具體場景與檢驗方法主要分為以下方面:
1)基于三維模型,檢測線纜兩端、螺絲切齊區(qū)、托架邊緣、鏡蓋位置等判斷其是否存在;
2)基于顏色過濾器,判斷紅夾、蓋子、便帽、平滑帽、藍帽、藍色墊圈等是否存在;
3)通過對線束三維重構(gòu),按線束線序近似,判斷線束是否交錯混裝;通過三維模型與點云測量數(shù)據(jù)之間的三維點云對準(zhǔn)判斷線束是否在束線夾內(nèi);
4)其它:基于形狀檢測油表油位;基于高梯度和高亮度區(qū)域檢測白色螺旋頂端是否存在。
隨著發(fā)展前景認(rèn)識的不斷加強,國內(nèi)的各高校和科研機構(gòu)相繼展開了對增強可視化技術(shù)的研究。
華中科技大學(xué)的李世其[32]等針對飛機座艙裝配空間狹小、設(shè)計復(fù)雜度高、裝配過程繁瑣且安裝精度要求高等特點,將AR 技術(shù)應(yīng)用到了座艙裝配操作中;北京郵電大學(xué)孫桂川等[33]設(shè)計并開發(fā)了網(wǎng)絡(luò)環(huán)境下基于特征的AR裝配原型系統(tǒng);同樣,北京郵電大學(xué)宋荊洲等[34]提出一種將層次著色Petri 網(wǎng)與圖靈機模型相結(jié)合的方法,建立了基于AR 技術(shù)的增強裝配系統(tǒng)。
進一步,為提升AR 系統(tǒng)的三維跟蹤注冊的精確度和魯棒性,西北工業(yè)大學(xué)王月等[35]基于點云和機器視覺特征結(jié)合的方法,研制具備虛實融合計算處理能力的增強裝配工藝引導(dǎo)原型系統(tǒng)(CPILab-AAPS,Cyber-Physical Interaction Lab-Assembly As?sistance Prototype System),并在無人機發(fā)動機上進行系統(tǒng)測試驗證。深圳增強現(xiàn)實技術(shù)有限公司0glass 設(shè)計的裝配輔助系統(tǒng)PSS(Performance Sup?port & Training System)[36],內(nèi)置了實時指導(dǎo)、透明管理、個人教練、知識沉淀四大模塊。早在2017年,中國空間技術(shù)研究院北京衛(wèi)星環(huán)境工程研究所基于三維渲染引擎Unity3D,構(gòu)建基于增強現(xiàn)實的電纜裝配引導(dǎo)系統(tǒng),給出了系統(tǒng)總體技術(shù)框架,闡述了虛實跟蹤注冊模塊、智能交互模塊、三維工藝導(dǎo)引信息可視化方法及虛實一致性控制方法等內(nèi)容的技術(shù)流程、實現(xiàn)方法及實驗結(jié)果。并將原型系統(tǒng)應(yīng)用于實際航天器電纜裝配場景,對系統(tǒng)功能和各技術(shù)方法進行了驗證,證明基于增強現(xiàn)實的電纜工藝可視化方法對手工作業(yè)效率的提升達40%以上。該技術(shù)應(yīng)用于我國航天器產(chǎn)品總裝[37]的成功案例獲得了行業(yè)內(nèi)廣泛關(guān)注,并被央視報道,如圖8。
圖8 增強現(xiàn)實輔助航天器總裝
除此之外,國內(nèi)北京理工大學(xué)、南京航天航空大學(xué)等都在增強現(xiàn)實與裝配引導(dǎo)的結(jié)合上做了很多優(yōu)秀的研究及嘗試,不斷充實了未來增強現(xiàn)實充分落地工業(yè)復(fù)雜裝配場景的理論及應(yīng)用基礎(chǔ)。
從應(yīng)用行業(yè)來看,航空制造領(lǐng)域?qū)υ鰪娍梢暬夹g(shù)的關(guān)注度與嘗試比其他制造子行業(yè)更多,這一方面是由飛機制造的復(fù)雜性直接決定的,另一方面也與需要大量人工操作有密切關(guān)系。因此,這對具有相同特點的航天器總裝研制具有良好的借鑒意義。
從應(yīng)用水平來看,國內(nèi)外增強可視化技術(shù)在制造各個子領(lǐng)域的應(yīng)用均不成熟,大部分公開報道的增強可視化系統(tǒng)以關(guān)鍵技術(shù)研究、應(yīng)用模式研究、演示教育等為主要目的。在市場尚未成熟的當(dāng)前時期進行相關(guān)技術(shù)布局,有利于及早獲得核心競爭力。
從應(yīng)用模式來看,增強可視化技術(shù)主要在有實物對象的現(xiàn)場進行應(yīng)用,主要類型有以下三種:1)對現(xiàn)有產(chǎn)品、設(shè)施、場地等進行改進設(shè)計,可以不破壞環(huán)境,并現(xiàn)場快速出圖;2)引導(dǎo)操作者進行復(fù)雜系統(tǒng)的裝配與維修,替代厚重難懂的技術(shù)文件;3)對非專業(yè)人士進行快速培訓(xùn),使用真實場景取代傳統(tǒng)紙質(zhì)資料。這些也是航天器研制中出現(xiàn)頻率最多的場景,因此,增強可視化技術(shù)在航天器裝配過程中具有巨大應(yīng)用價值。
我國正處于工業(yè)轉(zhuǎn)型升級的關(guān)鍵時期,AR 技術(shù)的發(fā)展,既是重大機遇,又是挑戰(zhàn)。加快推進AR技術(shù)研發(fā)及產(chǎn)業(yè)化,對于提升我國制造業(yè)的整體創(chuàng)新能力,取得在數(shù)字化制造、智能制造方面發(fā)展的主動權(quán),搶占先進制造業(yè)發(fā)展制高點,加快工業(yè)轉(zhuǎn)型升級和經(jīng)濟發(fā)展方式轉(zhuǎn)變具有重要意義。因此,相關(guān)技術(shù)的研究、應(yīng)用將會是一項長期而持續(xù)的工作。本文通過調(diào)研國內(nèi)外AR 技術(shù)的應(yīng)用現(xiàn)狀,可為我國在相關(guān)領(lǐng)域開展工作提供參考。