王升安,楊海龍,王鳳彬,張名毅,梁小峰,丁 勤,李 帥
(航天東方紅衛(wèi)星有限公司,北京 100094)
增強(qiáng)現(xiàn)實(shí)技術(shù)(augmented reality,AR)由虛擬現(xiàn)實(shí)技術(shù)發(fā)展而來[1],旨在利用佩戴式顯示器及位置跟蹤器,實(shí)現(xiàn)虛擬場(chǎng)景與實(shí)際場(chǎng)景的融合,營(yíng)造出用戶直接與虛擬場(chǎng)景對(duì)象進(jìn)行交互活動(dòng)的效果。
它的目的是通過計(jì)算機(jī)圖形和圖像處理技術(shù)實(shí)現(xiàn)真實(shí)場(chǎng)景與計(jì)算機(jī)生成的虛擬環(huán)境或虛擬物體的合成,通過設(shè)備顯示給用戶一個(gè)虛實(shí)結(jié)合的新環(huán)境,用戶沉浸于一個(gè)虛擬環(huán)境和真實(shí)環(huán)境融合的世界,增強(qiáng)了對(duì)目標(biāo)環(huán)境的感知和交互。
航天領(lǐng)域的衛(wèi)星具有多品種小批量的特點(diǎn),線纜組件在衛(wèi)星產(chǎn)品中占有很大的比例,隨著衛(wèi)星型號(hào)的發(fā)展,精密化、輕量化等要求提高,線纜在星上的應(yīng)用將更加廣泛。線纜在星上的作用是傳輸電流和型號(hào),是保證星上設(shè)備正常連接和工作的關(guān)鍵部件,線纜同時(shí)還嚴(yán)重影響產(chǎn)品的研制周期和裝配質(zhì)量,是衛(wèi)星非常關(guān)鍵的部件之一。
衛(wèi)星內(nèi)部結(jié)構(gòu)復(fù)雜、布線空間狹窄、零部件數(shù)目多,星上線纜具有數(shù)量多、結(jié)構(gòu)復(fù)雜、柔性裝配等特點(diǎn),使得目前線纜設(shè)計(jì)復(fù)雜、線纜設(shè)計(jì)冗余長(zhǎng)度過長(zhǎng)導(dǎo)致資源和空間浪費(fèi)等問題,衛(wèi)星線纜布局如圖1所示。另外目前星上布線裝配工藝多為手工作業(yè),操作步驟繁復(fù),裝配過程質(zhì)量需嚴(yán)格管控,通常要求“雙人單崗”在現(xiàn)場(chǎng)進(jìn)行裝配作業(yè),作業(yè)質(zhì)量與操作人員的工藝熟練程度和技藝水平密切關(guān)聯(lián),為產(chǎn)品質(zhì)量管控帶來巨大挑戰(zhàn),影響了衛(wèi)星總裝的裝配效率。目前,大部分線纜布線工藝說明以紙質(zhì)文件為主,可視化程度不高,可理解性、指導(dǎo)性有待增強(qiáng),不利于經(jīng)驗(yàn)知識(shí)的傳承;同時(shí),在生產(chǎn)過程中,對(duì)布線工藝執(zhí)行、檢驗(yàn)信息記錄及數(shù)據(jù)管理仍以文件記錄為主,容易造成疏漏,信息難以檢索,數(shù)據(jù)可追溯性差。針對(duì)上述問題,在衛(wèi)星線纜設(shè)計(jì)和裝配作業(yè)以及檢測(cè)過程中,需要引入比現(xiàn)有線纜設(shè)計(jì)、裝配工藝、操作和檢驗(yàn)更有效的AR技術(shù),提高線纜設(shè)計(jì)的有效性、裝配工藝的指導(dǎo)性、裝配過程的可控性、裝配質(zhì)量的可追溯性,縮短裝配技術(shù)人員上崗時(shí)間,減少錯(cuò)誤裝配行為的產(chǎn)生,提高并保障產(chǎn)品質(zhì)量。
如圖1所示為衛(wèi)星線纜布局的透視三維圖。當(dāng)前星上線纜鋪設(shè)、裝配等過程均以人工方式實(shí)現(xiàn),操作步驟復(fù)雜,通常以一人操作,一人輔助的形式進(jìn)行,對(duì)執(zhí)行人員的操作熟練程度有著較高的要求,容錯(cuò)率較低,且差錯(cuò)出現(xiàn)后的返工效率極低,以上問題為星上線纜裝配質(zhì)量保證帶來了巨大挑戰(zhàn)。目前星上線纜安裝的工藝指導(dǎo)文件以紙質(zhì)文件為主要載體,相對(duì)于三維顯示,二維的圖紙存在著可視化程度低、不直觀的缺點(diǎn),容易造成歧義,且對(duì)操作人員的圖紙閱讀能力要求較高,同時(shí)存在著數(shù)據(jù)檢索效率低、數(shù)據(jù)保存與可追溯性差等缺點(diǎn)。為解決以上問題,本文引入了AR技術(shù)輔助現(xiàn)場(chǎng)線纜裝配過程,包括線纜設(shè)計(jì)、裝配工藝設(shè)計(jì)、操作及檢驗(yàn),解決工藝指導(dǎo)文件的可讀性差、數(shù)據(jù)索引效率低等問題,提高線纜裝配的整體效率,降低誤操作率及返工率,實(shí)現(xiàn)產(chǎn)品質(zhì)量的提升。
圖1 衛(wèi)星線纜
國(guó)外企業(yè)、高校對(duì)AR技術(shù)的理論及應(yīng)用展開了大量研究,AR技術(shù)在現(xiàn)代化制造業(yè)中得到了眾多應(yīng)用。
20 世紀(jì)末波音公司首先在飛機(jī)制造中應(yīng)用了 AR 技術(shù),用于艙體線纜安裝,結(jié)合GoogleAR眼睛可以將線纜的路徑走向與文字注釋信息顯示在現(xiàn)場(chǎng)操作人員視野中,實(shí)現(xiàn)了虛擬信息(待裝部件信息)與現(xiàn)實(shí)世界(待裝環(huán)境)的結(jié)合。此外,該公司后續(xù)又開發(fā)了基于AR的波音737引擎裝配及故障檢修系統(tǒng),提高裝配效率約20%,提高一次裝配正確率約24%[3]。日本信息通訊企業(yè)富士通將 AR 技術(shù)應(yīng)用于設(shè)備的檢查和維修,將輸入文本提供給維修檢測(cè)工人,實(shí)現(xiàn)了高效信息共享,工人可以輕松地判斷設(shè)備工作正常與否??湛凸緦R技術(shù)運(yùn)用在A400M軍用運(yùn)輸機(jī)的裝配過程中,基于CAD模型開發(fā)了AR智能裝配引導(dǎo)系統(tǒng)MOON,用于電氣線路輔助裝配,縮短裝配制造周期約50%,MOON系統(tǒng)的結(jié)構(gòu)如圖2 所示。
圖2 MOON系統(tǒng)結(jié)構(gòu)圖
圖3 MOON系統(tǒng)驗(yàn)證
國(guó)內(nèi)對(duì)于AR技術(shù)在工業(yè)領(lǐng)域中的應(yīng)用研究起步較晚。華中科技大學(xué)王峻峰等人以增強(qiáng)現(xiàn)實(shí)環(huán)境下引導(dǎo)產(chǎn)品裝配為目標(biāo),建立了面向增強(qiáng)裝配過程的統(tǒng)一信息模型,采用基于標(biāo)識(shí)物的視覺跟蹤技術(shù)實(shí)現(xiàn)虛擬零件和視頻中真實(shí)零件的注冊(cè)定位。哈爾濱工業(yè)大學(xué)郝秀峰設(shè)計(jì)了基于AR眼鏡的衛(wèi)星裝配增強(qiáng)誘導(dǎo)原理驗(yàn)證系統(tǒng),開發(fā)了虛擬模型數(shù)據(jù)庫、標(biāo)識(shí)物定位和三維注冊(cè)算法、虛實(shí)模型融合等功能。南京航空航天大學(xué)王發(fā)麟等人提出了基于AR的復(fù)雜機(jī)電產(chǎn)品線纜虛實(shí)融合裝配方法,給出了線纜虛實(shí)融合裝配的體系框架和系統(tǒng)運(yùn)行流程,對(duì)線纜三維注冊(cè)技術(shù)、線纜虛實(shí)遮擋技術(shù)以及相機(jī)標(biāo)定與跟蹤技術(shù)等關(guān)鍵技術(shù)進(jìn)行了闡述。廣東工業(yè)大學(xué)詹松濤設(shè)計(jì)了基于頭戴式增強(qiáng)現(xiàn)實(shí)眼鏡的輔助布線系統(tǒng),研究了基于視覺跟蹤算法的三維注冊(cè)、基于SLAM技術(shù)的無標(biāo)識(shí)跟蹤和線束裝配虛實(shí)場(chǎng)景中的交互設(shè)計(jì)技術(shù)。
本文總結(jié)提出衛(wèi)星線纜裝配過程面臨的問題和虛擬增強(qiáng)技術(shù)應(yīng)用與線纜裝配的需求,剖析了開展AR技術(shù)應(yīng)用于線纜裝配的關(guān)鍵技術(shù),為逐步建立衛(wèi)星虛擬現(xiàn)實(shí)中心,實(shí)現(xiàn)AR技術(shù)在衛(wèi)星線纜設(shè)計(jì)、裝配和檢驗(yàn)中的全面應(yīng)用,進(jìn)行了有效的技術(shù)探索。
衛(wèi)星衛(wèi)星的線纜在設(shè)計(jì)、裝配等研制過程中涉及線纜的設(shè)計(jì)、仿真、線纜鋪設(shè)裝配、檢驗(yàn)、數(shù)據(jù)追溯等多個(gè)環(huán)節(jié),其中多項(xiàng)工作面臨由于線纜的柔性導(dǎo)致的未知性,以及裝配時(shí)序問題導(dǎo)致的無法開展物理驗(yàn)證的環(huán)節(jié)以及不可逆操作環(huán)節(jié),需要借助AR技術(shù)可視化、虛實(shí)融合的特點(diǎn),完善線纜的設(shè)計(jì)方案,加強(qiáng)驗(yàn)證分析能力、增強(qiáng)線纜裝配能力和裝配質(zhì)量、培訓(xùn)操作人員的操作能力等任務(wù)。具體需求如下:
1)衛(wèi)星線纜的虛擬設(shè)計(jì)及驗(yàn)證。
傳統(tǒng)的衛(wèi)星線纜在設(shè)計(jì)環(huán)節(jié),缺乏詳細(xì)設(shè)計(jì)環(huán)境和方法,線纜的路徑無法完全確定,僅有大致走向,另外由于缺乏詳細(xì)設(shè)計(jì),而且由于生產(chǎn)進(jìn)度原因,線纜的安裝通常在衛(wèi)星大量單機(jī)設(shè)備安裝之前,所以線纜無法在真實(shí)環(huán)境下試裝,為了避免后續(xù)安裝問題,線纜通常留有較大余量,導(dǎo)致資源和空間的浪費(fèi),且線纜的布局、固定結(jié)構(gòu)等設(shè)計(jì)不合理。
通過引入AR輔助衛(wèi)星線纜的設(shè)計(jì)可以解決上述問題,使用AR將真實(shí)衛(wèi)星和虛擬的單機(jī)設(shè)備融合為一個(gè)可視化、可操作的虛擬樣機(jī),設(shè)計(jì)師可在虛擬樣機(jī)上開展線纜設(shè)計(jì)、調(diào)試、優(yōu)化,校核等工作,可直觀了解線纜及固定件等零部件的設(shè)計(jì)缺陷和不足,減少不必要的設(shè)計(jì)余量,降低研制周期和成本,
通過沉浸式AR技術(shù)可不受衛(wèi)星其它單機(jī)研制周期的影響,即使衛(wèi)星設(shè)備未交付安裝,通過AR技術(shù),可將數(shù)字化三維模型與真實(shí)衛(wèi)星本體融合為觀察環(huán)境,通過虛擬線纜的布局可觀察線纜是否布局合理,是否與大量單機(jī)設(shè)備發(fā)生干涉,線纜在衛(wèi)星上的布局直觀、立體,便于設(shè)計(jì)人員對(duì)線纜進(jìn)行規(guī)劃,提高了設(shè)計(jì)和驗(yàn)證效率,避免了后期的更改和資源成本浪費(fèi),使得星上線纜設(shè)計(jì)和布局優(yōu)化,提高衛(wèi)星質(zhì)量。
2)衛(wèi)星線纜的虛擬裝配。
隨著衛(wèi)星承擔(dān)的功能與任務(wù)日趨復(fù)雜,星上機(jī)電設(shè)備一體化程度不斷提高,電纜的走向與安裝任務(wù)也隨之難度提高。星上的有限空間對(duì)線纜走向的合理程度提出了更高的要求,因此,衛(wèi)星線纜裝配時(shí)一項(xiàng)尤其重要的工作。
衛(wèi)星線纜結(jié)構(gòu)復(fù)雜、分支多,在鋪設(shè)安裝過程中,操作人員在線纜鋪設(shè)安裝前需要瀏覽衛(wèi)星線纜走向三維模型確定線纜的走向及綁扎固定點(diǎn),再將線纜鋪設(shè)到衛(wèi)星真實(shí)結(jié)構(gòu)上,整個(gè)鋪設(shè)安裝過程需要多次比對(duì)線纜鋪設(shè)安裝是否與衛(wèi)星線纜走向三維模型一致,整個(gè)操作過程需要操作人員有豐富線纜鋪設(shè)經(jīng)驗(yàn)和視圖能力。同時(shí)衛(wèi)星線纜走向三維模型無法精確的反應(yīng)線纜的直徑和彎曲半徑等特征值,依照衛(wèi)星線纜走向三維模型鋪設(shè)安裝線纜時(shí)可能會(huì)發(fā)生線纜與衛(wèi)星單機(jī)設(shè)備或零部件發(fā)生干涉、安全安裝距離過小、線纜電連接器與設(shè)備電連接器插接拔離空間不足、線纜鋪設(shè)路徑被遮擋等問題。
國(guó)外企業(yè)在現(xiàn)代化制造業(yè)中已廣泛應(yīng)用了AR技術(shù),并有效的解決了上述線纜鋪設(shè)安裝的問題。將計(jì)算機(jī)產(chǎn)生的虛擬信息通過AR技術(shù)和真實(shí)的衛(wèi)星結(jié)構(gòu)無縫融合,創(chuàng)建衛(wèi)星線纜增強(qiáng)現(xiàn)實(shí)模型,在增強(qiáng)現(xiàn)實(shí)環(huán)境中設(shè)置衛(wèi)星線纜布線引導(dǎo)信息,實(shí)現(xiàn)對(duì)衛(wèi)星線纜布線操作的精準(zhǔn)引導(dǎo),提高衛(wèi)星線纜的布線效率,避免線纜布線過程中出現(xiàn)的布線不符合要求的現(xiàn)象。同時(shí)在衛(wèi)星線纜設(shè)計(jì)初期可以在虛擬的布線過程中對(duì)線纜布線設(shè)計(jì)的合理性進(jìn)行驗(yàn)證,對(duì)布線過程進(jìn)行模擬驗(yàn)證,提前暴露布線過程中存在的問題,減少布線操作過程中的風(fēng)險(xiǎn),縮短衛(wèi)星的研制周期,提高衛(wèi)星線纜布線效率。
3)衛(wèi)星線纜的裝配檢驗(yàn)。
由于衛(wèi)星線纜非常多,走向復(fù)雜,插拔接口多,傳統(tǒng)的衛(wèi)星線纜檢驗(yàn)環(huán)節(jié)復(fù)雜,檢驗(yàn)周期長(zhǎng)、效率低,另外在生產(chǎn)過程中,對(duì)布線工藝執(zhí)行、檢驗(yàn)信息記錄及數(shù)據(jù)管理仍以文件記錄為主,容易造成疏漏,信息難以檢索,數(shù)據(jù)可追溯性差等問題。
通過使用AR技術(shù),搭建裝配質(zhì)量檢驗(yàn)系統(tǒng)硬件平臺(tái),設(shè)定人機(jī)交互邏輯,通過打印實(shí)體測(cè)試模型進(jìn)行攝像機(jī)位姿參數(shù)標(biāo)定,基于計(jì)算機(jī)視覺技術(shù),對(duì)實(shí)時(shí)采集的裝配現(xiàn)場(chǎng)圖像進(jìn)行預(yù)處理和檢測(cè)特征處理,將待檢測(cè)的圖形特征描述輸入識(shí)別模塊,獲得檢測(cè)結(jié)果,實(shí)現(xiàn)電連接器插拔完整性檢測(cè)、設(shè)備安裝方向檢測(cè)、設(shè)備安裝完整性檢測(cè)等功能,能夠檢驗(yàn)判斷單機(jī)設(shè)備安裝、電纜鋪設(shè)、電連接器插接的正確性和有效性。當(dāng)單機(jī)設(shè)備安裝錯(cuò)誤時(shí),能夠提示錯(cuò)誤位置及原因,指導(dǎo)修改,提高線纜裝配的檢驗(yàn)效率和正確性。
4)衛(wèi)星線纜裝配的過程記錄和追溯。
傳統(tǒng)的衛(wèi)星線纜通常在實(shí)物上進(jìn)行布線和調(diào)整,大部分電纜布線工藝說明以紙質(zhì)文件為主,可視化程度不高,可理解性、指導(dǎo)性有待增強(qiáng),不利于經(jīng)驗(yàn)知識(shí)的傳承。
通過AR技術(shù),可對(duì)交互過程記錄及源頭進(jìn)行追溯,AR技術(shù)的視頻及圖像記錄功能自動(dòng)隨工序記錄操作影像并存儲(chǔ)。考慮外部讀取視頻的直觀性,可修改拍照記錄內(nèi)容為文字+圖像模式, 以文件形式保留的裝配過程和結(jié)果追溯性強(qiáng),查看方便直接,設(shè)計(jì)和布局經(jīng)驗(yàn)也可積累傳承。
5)交互式虛擬培訓(xùn)和維修。
AR技術(shù)將虛擬與現(xiàn)實(shí)場(chǎng)景進(jìn)行融合,充分發(fā)揮了三維空間的可視化優(yōu)勢(shì),將該技術(shù)應(yīng)用在操作人員培訓(xùn)及演練中,可為被培訓(xùn)人員提供一種直觀效果,提高信息傳遞的效率與準(zhǔn)確性,最大程度的避免操作失誤的發(fā)生。另外,AR技術(shù)還可應(yīng)用于衛(wèi)星線纜維修中,避免直接操作對(duì)設(shè)備和線纜造成損害縮短維修成本和周期。
AR 技術(shù)利用計(jì)算機(jī)視覺技術(shù)、計(jì)算機(jī)圖形學(xué)技術(shù)、人機(jī)交互技術(shù)等一系列先進(jìn)的技術(shù)將計(jì)算機(jī)產(chǎn)生的虛擬信息與真實(shí)的物理環(huán)境實(shí)時(shí)精準(zhǔn)疊加,疊加融合過程如圖4所示。用戶可以通過人機(jī)交互系統(tǒng)與增強(qiáng)現(xiàn)實(shí)模型進(jìn)行交互,從而完成衛(wèi)星線纜的布線設(shè)計(jì)驗(yàn)證、布線操作及布線結(jié)果的檢驗(yàn)。增強(qiáng)現(xiàn)實(shí)輔助布線系統(tǒng)如圖5所示。AR技術(shù)應(yīng)用于衛(wèi)星線纜設(shè)計(jì)、裝配和檢驗(yàn)包括以下幾個(gè)關(guān)鍵技術(shù)。
圖4 物理世界和虛擬對(duì)象匹配和融合
圖5 增強(qiáng)現(xiàn)實(shí)輔助布線系統(tǒng)
1)多數(shù)據(jù)源疊加顯示的虛擬場(chǎng)景快速構(gòu)建技術(shù):
采用結(jié)構(gòu)化工藝設(shè)計(jì)方法,將電纜布線工藝過程設(shè)計(jì)的工藝數(shù)據(jù)、物料數(shù)據(jù)、三維模型數(shù)據(jù)、操作過程動(dòng)畫數(shù)據(jù)、檢驗(yàn)點(diǎn)圖像數(shù)據(jù)等各類信息按類匯總,按照相應(yīng)標(biāo)準(zhǔn)和企業(yè)需求建立結(jié)構(gòu)化裝配工藝數(shù)據(jù)庫。通過模型優(yōu)化工具和二次開發(fā)轉(zhuǎn)化PTC/Creo設(shè)計(jì)模型,并進(jìn)行面數(shù)優(yōu)化、調(diào)整UV及材質(zhì)動(dòng)畫,參照實(shí)物構(gòu)建虛擬場(chǎng)景,并進(jìn)一步地針對(duì)裝配步驟、結(jié)構(gòu)進(jìn)行還原。在近距離操作位置充分發(fā)揮頭戴式設(shè)備的優(yōu)勢(shì),輔助疊加顯示內(nèi)容,將待安裝模塊影像、線纜及指令信息增強(qiáng)投射到衛(wèi)星基座本身,并與環(huán)境空間相混合,增加交互沉浸感。
2)線纜鋪設(shè)和裝配仿真模擬技術(shù):
利用視覺采集系統(tǒng)識(shí)別衛(wèi)星裝配現(xiàn)場(chǎng)的多元裝配狀態(tài)信息,生成可視化內(nèi)容的控制信號(hào)。根據(jù)零部件對(duì)象識(shí)別結(jié)果定位工藝操作序列,調(diào)用結(jié)構(gòu)化工藝信息模型中當(dāng)前操作步驟的工藝引導(dǎo)文字信息內(nèi)容、圖紙信息、三維模型,采用人工標(biāo)識(shí)物和自然特征標(biāo)定裝配工作空間的方法進(jìn)行三維注冊(cè),渲染生成虛實(shí)融合的可視化線纜增強(qiáng)現(xiàn)實(shí)引導(dǎo)信息模型。在實(shí)體衛(wèi)星和設(shè)備本身播放增強(qiáng)現(xiàn)實(shí)動(dòng)畫,通過安裝工具+零件+線路的混合仿真動(dòng)畫疊加方式,將虛擬安裝過程及安裝后的狀態(tài)與實(shí)體進(jìn)行精準(zhǔn)融合,并伴隨著1:1的裝配動(dòng)作實(shí)際操作,實(shí)現(xiàn)線纜鋪設(shè)和裝配仿真模擬,指導(dǎo)操作人員將衛(wèi)星線纜裝配到目標(biāo)位置。
3)線纜裝配質(zhì)量檢驗(yàn)系統(tǒng)平臺(tái)的構(gòu)建:
采用手持式設(shè)備+大屏的交互形式,設(shè)定觸屏交互邏輯,通過打印實(shí)體測(cè)試模型進(jìn)行攝像機(jī)位姿參數(shù)標(biāo)定,基于計(jì)算機(jī)視覺技術(shù),對(duì)實(shí)時(shí)采集的裝配現(xiàn)場(chǎng)圖像進(jìn)行預(yù)處理和檢測(cè)特征處理,將待檢測(cè)的圖形特征描述輸入識(shí)別模塊,獲得檢測(cè)結(jié)果,實(shí)現(xiàn)電連接器插拔完整性檢測(cè)、設(shè)備安裝方向檢測(cè)、設(shè)備安裝完整性檢測(cè)等功能。
AR技術(shù)已經(jīng)廣泛應(yīng)用于大型復(fù)雜產(chǎn)品的研制過程,在國(guó)內(nèi)外大型科研生產(chǎn)類企業(yè)取得了顯著的應(yīng)用成效。面對(duì)衛(wèi)星線纜設(shè)計(jì)和裝配的應(yīng)用需求,還需要同步開展工程實(shí)踐研究工作,突破AR應(yīng)用于線纜設(shè)計(jì)、鋪設(shè)、檢驗(yàn)等工作的關(guān)鍵技術(shù),為設(shè)計(jì)、工藝和操作人員提供虛擬操作和驗(yàn)證的工作環(huán)境,有效的優(yōu)化線纜設(shè)計(jì)及裝配,提升衛(wèi)星產(chǎn)品質(zhì)量,縮短研制周期,節(jié)約研制成本。本文對(duì)AR技術(shù)在衛(wèi)星線纜的設(shè)計(jì)、裝配和檢驗(yàn)中的應(yīng)用需求進(jìn)行了分析,總結(jié)了AR技術(shù)應(yīng)用于衛(wèi)星線 纜的關(guān)鍵技術(shù),對(duì)AR技術(shù)在衛(wèi)星線纜領(lǐng)域的應(yīng)用具有一定指導(dǎo)意義。