增強(qiáng)現(xiàn)實環(huán)境下的產(chǎn)品裝配引導(dǎo)技術(shù)

王峻峰， 徐 遲， 李世其

（華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院工業(yè)與制造系統(tǒng)工程系，湖北 武漢 430074）

增強(qiáng)現(xiàn)實環(huán)境下的產(chǎn)品裝配引導(dǎo)技術(shù)

王峻峰， 徐 遲， 李世其

（華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院工業(yè)與制造系統(tǒng)工程系，湖北 武漢 430074）

以增強(qiáng)現(xiàn)實環(huán)境下引導(dǎo)產(chǎn)品裝配為目標(biāo)，建立了面向增強(qiáng)裝配過程的統(tǒng)一信息模型，管理文字、幾何和產(chǎn)品裝配特征等可視化引導(dǎo)信息。采用基于標(biāo)志物的視覺跟蹤技術(shù)實現(xiàn)虛擬零件和視頻中真實零件的注冊定位，通過建立虛擬和真實裝配場景的深度圖處理增強(qiáng)裝配場景中虛實物體的遮擋關(guān)系。利用虛實零件的注冊位置把裝配引導(dǎo)信息疊加到裝配視頻場景中。并開發(fā)了演示系統(tǒng)，分析和說明了增強(qiáng)現(xiàn)實環(huán)境下引導(dǎo)產(chǎn)品進(jìn)行裝配的過程。

計算機(jī)應(yīng)用；增強(qiáng)現(xiàn)實；裝配引導(dǎo)；標(biāo)志物注冊；信息疊加

現(xiàn)代機(jī)電產(chǎn)品具有系統(tǒng)組成復(fù)雜、技術(shù)復(fù)雜、制造過程復(fù)雜的特點。在進(jìn)行實際生產(chǎn)裝配時，零件裝配規(guī)模大，蘊(yùn)含大量復(fù)雜多樣、形式靈活的行業(yè)知識。另外，產(chǎn)品在研制、設(shè)計、生產(chǎn)、使用和保障工作中會產(chǎn)生許多技術(shù)信息數(shù)據(jù)，這是支持產(chǎn)品裝配、使用和維修保障的資源。但資料手冊繁多，管理和使用不便，大大降低了工作的效率。虛擬裝配技術(shù)[1]將人“沉浸”在計算機(jī)中去操作完全虛擬的產(chǎn)品模型，對開發(fā)前期的設(shè)計、裝配、驗證有重要作用，但對開發(fā)后期實際裝配過程的支持有限。增強(qiáng)現(xiàn)實技術(shù) 通過將計算機(jī)產(chǎn)生的圖形、文字注釋等虛擬信息有機(jī)的融合到使用者所看到的真實世界景象中，對人的視覺系統(tǒng)進(jìn)行影像增強(qiáng)或擴(kuò)張，達(dá)到支持人獲得豐富信息、輔助工作的目的。增強(qiáng)現(xiàn)實在產(chǎn)品裝配和維修方面的研究得到廣泛關(guān)注并有了成功的案例。

Pang等[3]借助增強(qiáng)現(xiàn)實技術(shù)研究集成產(chǎn)品裝配設(shè)計和規(guī)劃活動，將設(shè)計中的虛擬零件和已經(jīng)存在的真實零件結(jié)合起來，融入增強(qiáng)裝配空間，對兩者進(jìn)行比較、操作、修改，有效進(jìn)行虛擬零件的裝配特征設(shè)計。增強(qiáng)現(xiàn)實環(huán)境下的裝配序列檢查和評價能夠協(xié)助裝配人員識別不可行的裝配序列，選擇最優(yōu)的裝配序列[4-5]。90年代初期波音公司的電纜導(dǎo)線裝配是增強(qiáng)現(xiàn)實在工業(yè)裝配領(lǐng)域中的典型案例[6]。德國教育研究部資助的 ARVIKA項目主要針對飛機(jī)、汽車的裝配維修[7]。歐洲共同體發(fā)起的STARMATE項目的主要功能是幫助用戶完成復(fù)雜機(jī)械產(chǎn)品的組裝維修以及新用戶培訓(xùn)[8]。芬蘭VTT技術(shù)研究中心增強(qiáng)裝配（Augmented Assembly）利用虛擬零件、虛擬裝配工具和增強(qiáng)裝配提示信息指導(dǎo)用戶實際裝配操作[9]。南京航空航天大學(xué)[10]以航空發(fā)動機(jī)外場典型維修工作為例，開發(fā)了一種以維修人員為中心的人性化、智能化的增強(qiáng)現(xiàn)實維修輔助系統(tǒng)。

實現(xiàn)增強(qiáng)現(xiàn)實環(huán)境下的裝配和維護(hù)，需要綜合利用計算機(jī)視覺、圖像分析、計算機(jī)輔助設(shè)計CAD和產(chǎn)品裝配等技術(shù)[11-12]。本文以產(chǎn)品裝配為對象，通過建立增強(qiáng)裝配的信息模型，對增強(qiáng)裝配引導(dǎo)信息進(jìn)行統(tǒng)一管理；利用基于標(biāo)志物的注冊方法進(jìn)行虛實裝配零件定位，并對裝配引導(dǎo)信息進(jìn)行疊加。

1 增強(qiáng)裝配信息建模

在增強(qiáng)現(xiàn)實環(huán)境下的裝配引導(dǎo)需要大量信息，如裝配步驟、裝配特征和裝配位置等。裝配操作的對象仍然是零件和裝配體，但零件包含虛擬和真實兩種。為有效引導(dǎo)用戶進(jìn)行零件裝配，本文按照裝配引導(dǎo)信息的類別建立增強(qiáng)裝配信息模型，如圖1所示。

圖1 增強(qiáng)裝配信息分類

1.1 文字信息

文字信息是產(chǎn)品裝配過程中指導(dǎo)用戶裝配的重要媒介，包括各個零部件的名稱、代碼/號、裝配步驟說明、使用的裝配工具名稱等。傳統(tǒng)裝配過程中，用戶是通過裝配手冊來熟悉并掌握這些信息的。增強(qiáng)裝配過程中，這些信息需要實時顯示在用戶視野中，引導(dǎo)用戶進(jìn)行正確的裝配工作。

1.2 幾何信息

對裝配位置的指示和真實、虛擬零件的外形進(jìn)行增強(qiáng)需要幾何信息。增強(qiáng)裝配的虛實零件幾何模型都采用三角面片模型，對于虛實零件采用不同的渲染處理方式，因此兩種模型的組成元素不同。虛擬零件幾何模型包含點、邊、面、法向量、紋理5種信息。虛擬零件在現(xiàn)實中是不存在的，增強(qiáng)裝配系統(tǒng)將虛擬零件用計算機(jī)圖形學(xué)的方法繪制出來，并疊加到真實裝配場景圖像中。真實零件幾何模型只包含點、邊、面3種信息，用于線框模式的真實零件位置、幾何形狀信息的增強(qiáng)引導(dǎo)。

空間位姿信息記錄了零件相對于父節(jié)點坐標(biāo)系的空間變換關(guān)系，由旋轉(zhuǎn)矩陣與平移矩陣組成?？臻g位姿矩陣是動態(tài)的，通過用戶操作板能實時改變零件的位姿矩陣；裝配路徑規(guī)劃系統(tǒng)能生成動態(tài)空間位姿信息，使零件沿預(yù)定路徑運(yùn)動。

1.3 裝配特征信息

裝配特征是指有裝配關(guān)系的兩個零件的幾何特征，例如平面、柱面和軸線等，作為可視的裝配約束信息，用戶往往通過零件的裝配特征來判斷零件之間的裝配配合關(guān)系。用戶進(jìn)行裝配操作過程中，系統(tǒng)將實時顯示這些裝配特征幫助用戶識別場景中的裝配約束，引導(dǎo)用戶將零件裝配到目標(biāo)位置。本文主要考慮軸線和平面兩類裝配特征。

從裝配模型的構(gòu)建層次角度來看，本文的增強(qiáng)裝配模型主要包括零件幾何模型、裝配約束模型和裝配層次模型。零件幾何模型由CAD軟件建模并輸出為增強(qiáng)裝配系統(tǒng)所需三角面片模型格式。裝配約束模型定義了零件間約束關(guān)系，通過約束關(guān)系得到裝配特征并確定零件在裝配體中的空間位姿矩陣。裝配層次模型以樹結(jié)構(gòu)對裝配體中的虛實零件進(jìn)行統(tǒng)一管理。

2 虛實裝配場景注冊定位

虛實裝配場景注冊定位是指通過計算機(jī)視覺系統(tǒng)實時檢測出攝像機(jī)的相對位置和方向，確定計算機(jī)產(chǎn)生的虛擬零件和增強(qiáng)信息在真實空間坐標(biāo)中的映射位置，并把它們實時顯示在真實裝配視頻場景的正確位置中。

虛實注冊的實現(xiàn)依賴于攝像機(jī)坐標(biāo)系、虛擬場景坐標(biāo)系和真實場景坐標(biāo)系以及2D成像平面坐標(biāo)系的轉(zhuǎn)換，總體過程為3個方面[12]：首先計算真實場景到攝像機(jī)的坐標(biāo)系變化，或者說是攝像機(jī)相對于真實場景的方位參數(shù)；然后結(jié)合攝像機(jī)內(nèi)部參數(shù)（焦距和像元的高寬比等），根據(jù)攝像機(jī)針孔透視成像原理確定 3D 場景到 2D 成像平面的坐標(biāo)系變換；最后確定虛擬物體在真實場景三維歐式空間里的位置和方向，完成虛擬零件到真實裝配場景圖像的坐標(biāo)系變換。通過上述步驟，就可以得到各個坐標(biāo)系之間的變換關(guān)系，實現(xiàn)虛擬零件在真實裝配視頻場景中的繪制和融合。

2.1 基于標(biāo)志物的零件注冊

本文采用基于標(biāo)志物的視覺跟蹤注冊方法，所使用的標(biāo)志物長、寬分別為60mm，4個角點的坐標(biāo)分別為(30，30，0)(-30，30，0)(-30，-30，0)(30，-30，0)，如圖2所示。系統(tǒng)從輸入的視頻中識別出二維的標(biāo)志物，計算出相對于標(biāo)志物的攝像頭位置、方向等外部參數(shù)信息。為了簡化場景的相對運(yùn)動，以攝像頭坐標(biāo)系為基準(zhǔn)坐標(biāo)系，當(dāng)用戶對真實零件進(jìn)行操作或移動攝像頭從不同角度觀察裝配場景時，裝配場景的變動可以統(tǒng)一為真實零件相對于攝像頭坐標(biāo)系的運(yùn)動。

圖2 標(biāo)志物圖案

為實現(xiàn)標(biāo)志物的識別，本文采用基于子圖像均值的統(tǒng)計式適應(yīng)性閾值算法進(jìn)行備選區(qū)域檢測；為提取可能的連接區(qū)域的邊緣，簡化邊緣曲線，使用 Douglas-Peucker算法曲線簡化算法。得到標(biāo)志物備選區(qū)域后，要判斷這些區(qū)域是否是標(biāo)志物在圖像坐標(biāo)系中對應(yīng)的成像區(qū)域，本文使用最小二乘法對四邊形的4條邊重新定位，并把4條邊的交點重新賦值給四邊形輪廓的 4個頂點。

裝配空間中真實零件（取裝配基礎(chǔ)件）與相應(yīng)的標(biāo)志物是固聯(lián)的，通過識別視頻中的標(biāo)志物來確定當(dāng)前真實零件的位置。虛擬零件與真實零件間具有一定的裝配約束關(guān)系，因此虛擬零件的空間位置可以通過真實零件的空間位置確定。設(shè)真實零件A與虛擬零件B之間存在裝配約束關(guān)系，則可以得到一個變換關(guān)系其中BAR表示A到B的旋轉(zhuǎn)矩陣，t表示平移矩陣。如果知道零件A在攝像頭坐標(biāo)系中的空間位置CAT，則可通過變換矩陣ABT計算零件B的空間位置為：完成虛擬零件B的注冊定位工作。

2.2 虛實遮擋處理

在虛實融合的增強(qiáng)裝配場景中既包含虛擬零件也包含真實零件，傳統(tǒng)的虛實疊加方法中，虛擬零件影像總是疊加在真實零件影像之上，對圖像進(jìn)行融合時會出現(xiàn)虛實遮擋問題。本文采用基于深度圖（即Z buffer）的疊加方法，通過提取真實零件與虛擬零件在攝像頭空間內(nèi)的空間位置信息來判斷它們的前后疊加關(guān)系。

1） 虛擬裝配場景的深度圖

虛擬裝配場景的深度圖記錄了渲染區(qū)域內(nèi)與可見的虛擬零件表面經(jīng)柵格化后對應(yīng)像素的深度值，該深度圖很容易從渲染引擎獲得。當(dāng)渲染模塊對虛擬場景中零件進(jìn)行繪制時，也同步生成了相應(yīng)的虛擬場景深度圖。該深度圖記錄了虛擬場景中每個像素點對應(yīng)的虛擬零件的表面到觀察點的距離。

2） 真實裝配場景的深度圖

真實裝配場景的深度圖記錄了攝像頭拍攝到的真實場景原始視頻中每個像素點相對觀察點的深度信息，該深度圖可通過多種方法獲得。針對裝配應(yīng)用，事先可以獲取真實裝配場景中包含的零件幾何模型，因此本文選擇了基于真實零件幾何模型的深度圖獲取方法。該方法運(yùn)算量小，實時性強(qiáng)，能精確反映真實場景深度值。

為獲得真實場景深度圖，首先將真實場景中的零件注冊到攝像頭成像坐標(biāo)系中。系統(tǒng)從CAD接口提取真實零件相關(guān)幾何模型，通過旋轉(zhuǎn)平移變換到攝像頭坐標(biāo)系中，然后透視投影變換到成像平面，使該模型表面面片的投影區(qū)域與攝像頭原始視頻中相應(yīng)真實零件影像區(qū)域重合。渲染引擎對注冊后的真實零件幾何模型進(jìn)行渲染，提取深度信息。對于模型表面上任一點Pm(xm, ym, zm)投影成像并柵格化后的像素點為Pn(U, V)，該模型表面點 Pm在攝像頭原始視頻中相應(yīng)像素 P'n(U, V )，Pn與P'n是重合的。因此可以用真實零件幾何模型渲染場景的Z buffer中Pn點的深度值代替攝像頭原始視頻中對應(yīng)像素 P'n的深度值，構(gòu)造真實場景深度圖，作為增強(qiáng)場景虛實疊加的深度判別索引。

需要指出的是基于模型深度圖的方法并非完全重構(gòu)了真實裝配場景。實際上大部分背景區(qū)域是處于默認(rèn)疊加狀態(tài)的，系統(tǒng)僅為真實場景中關(guān)鍵零件建立深度索引。之所以不為真實場景背景區(qū)域建立深度索引，主要出于兩個原因：一方面，裝配場景的背景往往非常復(fù)雜，為其精確建模將消耗大量系統(tǒng)資源；另一方面，這一區(qū)域是背景區(qū)域，深度較大，不會與虛擬零件間發(fā)生遮擋關(guān)系。系統(tǒng)對無深度索引區(qū)域采取默認(rèn)疊加處理方式：逐點處理該區(qū)域內(nèi)真實場景與虛擬場景的每個像素，如果虛擬場景中相應(yīng)像素被渲染，則虛擬場景覆蓋真實場景；如果虛擬場景相應(yīng)像素未被渲染，則保持真實場景?；谏疃葓D的虛實疊加流程如圖3所示。

本文采用產(chǎn)品設(shè)計階段產(chǎn)生的CAD裝配模型作為提取深度圖的來源。即無論真實零件還是虛擬零件，都有對應(yīng)的CAD模型，真實零件的CAD幾何模型與場景中的真實零件疊加并隨真實場景位置、方向的變化而變化。深度圖信息在增強(qiáng)裝配過程中隨著場景變化進(jìn)行實時提取。深度圖方法的優(yōu)點在于對于復(fù)雜的裝配場景，零件數(shù)量較多而渲染處理的時間基本保持不變，在處理過程中，渲染時間取決于融合視頻的分辨率。

圖3 基于深度圖的虛實疊加流程

3 裝配引導(dǎo)信息疊加

3.1 零件幾何模型疊加

虛擬零件幾何模型疊加需要虛擬零件三角面片模型和零件注冊信息，通過零件注冊信息將零件三角面片模型投影變換到二維的攝像頭成像平面中，使虛擬零件融合到真實場景中。

虛擬零件幾何模型疊加有線框和投影兩種風(fēng)格。線框風(fēng)格主要用于增強(qiáng)裝配中的目標(biāo)位置指示，將虛擬零件的線框渲染結(jié)構(gòu)疊加在零件待裝配位置，使用戶明白裝配步驟及零件安裝完成后的狀態(tài)。線框風(fēng)格有很好的透視效果，為用戶提供虛擬零件增強(qiáng)顯示的同時不會遮擋真實場景中的其他重要信息。投影風(fēng)格主要用于繪制虛擬裝配場景，通過對虛擬場景的注冊將虛擬物體疊加到真實場景中，得到虛實融合的裝配效果。

虛實融合的增強(qiáng)裝配場景中真實零件影像直接從攝像頭的視頻中獲得，不需要進(jìn)行額外渲染繪制，但在增強(qiáng)裝配中有時需要對虛擬零件進(jìn)行渲染達(dá)到增強(qiáng)效果。比如真實裝配環(huán)境復(fù)雜或者環(huán)境昏暗，使用真實零件疊加可以幫助裝配人員快速發(fā)現(xiàn)裝配目標(biāo)。

真實零件幾何模型以線框風(fēng)格疊加，不包含投影風(fēng)格。真實零件幾何模型的線框渲染有很好的透視性，將零件的線框圖疊加到真實場景中，用戶在獲得攝像頭拍攝到的真實零件影像的同時還獲得了零件線框輪廓信息，增強(qiáng)了真實場景的信息量。如果使用投影風(fēng)格則會因為遮擋了真實零件影像而干擾用戶對場景的感知，影響系統(tǒng)的使用安全。

3.2 文字信息疊加

在疊加過程中，文字信息被轉(zhuǎn)換為位圖，逐點覆蓋到虛實混合場景中。

文字信息在虛實疊加的混合三維場景中的位置是由與其相關(guān)的三維坐標(biāo)點確定的，當(dāng)零件位置發(fā)生變換，文字信息將跟隨零件同步運(yùn)動。例如，文字信息“注冊真實零件Box”與Box零件的幾何模型某個棱邊中點MidPoint固聯(lián)。當(dāng)零件運(yùn)動時，MidPoint在三維世界坐標(biāo)系中的位置(X, Y, Z)改變?yōu)?X', Y', Z' )，投影到圖像坐標(biāo)系中二維坐標(biāo)由(U, V)改變?yōu)?U', V' )。文字標(biāo)簽的位置也隨MidPoint發(fā)生相應(yīng)變化。每當(dāng)零件的位置發(fā)生變換，系統(tǒng)將實時確定并更新文字信息在圖像坐標(biāo)系中新的位置。

本文的文字信息疊加風(fēng)格分為普通標(biāo)簽風(fēng)格和背景透明風(fēng)格。普通標(biāo)簽風(fēng)格直接將包含信息的位圖逐點拷貝到場景圖像中實現(xiàn)信息疊加。背景透明風(fēng)格中，文字含透明背景區(qū)域，不直接覆蓋場景圖像，透明區(qū)域由信息圖像的alpha通道確定。

3.3 裝配特征信息疊加

在增強(qiáng)裝配系統(tǒng)中適當(dāng)顯示零件的裝配特征將對用戶的裝配活動起到有效的指導(dǎo)作用。裝配特征信息與零件幾何模型固聯(lián)，使用相同的模型局部坐標(biāo)系，當(dāng)零件幾何模型發(fā)生改變，裝配特征模型也隨之改變。本文主要考慮線特征和面特征。線裝配特征主要用于表示軸線、孔等零件裝配特征。繪制方法與虛擬零件的線框風(fēng)格相似。按照裝配特征的邊索引列表在場景中依次繪制裝配特征定義的每一條邊來得到疊加效果。面裝配特征主要用于表示面匹配等零件裝配特征。繪制方法與虛擬零件的面片風(fēng)格相似。按照裝配特征的面索引列表在場景中依次繪制特征模型的每一個面片來得到疊加效果。面裝配特征采用半透明狀態(tài)，透過裝配特征仍然可以看到真實零件或虛擬零件的幾何影像，不會產(chǎn)生遮擋現(xiàn)象。

4 初步實驗

本文初步開發(fā)一個裝配引導(dǎo)演示系統(tǒng)。零件幾何模型從ProE導(dǎo)出，以標(biāo)準(zhǔn)wrl文件格式保存。使用OpenInventor對裝配場景進(jìn)行管理、渲染操作。采用一個普通桌面USB攝像頭TOPSPEED USB PC Camera (ZC0301PLH)，分辨率為320*240與640*480兩種，基于Directshow采集攝像頭視頻，基本圖像處理工作使用OpenCV函數(shù)庫完成，以便今后注冊方法有更大的擴(kuò)展性。計算機(jī)處理器為Intel Pentium 4 CPU 2.4G；顯卡GeForce MX 440 with AGP8x 64MB；內(nèi)存500MB；普通桌面顯示器，分辨率 1024*768；Microsoft Windows XP操作系統(tǒng)。系統(tǒng)流程如圖4所示。首先從CAD接口讀入虛實零件的幾何模型，并人工輸入相關(guān)文字信息構(gòu)建增強(qiáng)裝配引導(dǎo)信息模型；然后從 USB接口捕捉攝像頭拍攝到的真實裝配場景視頻輸入虛實注冊模塊（裝配基礎(chǔ)件事先和標(biāo)志物固聯(lián)），利用視頻中的標(biāo)志物信息將虛擬零件和真實零件幾何模型注冊到增強(qiáng)裝配空間；最后渲染生成虛擬場景視頻，以深度圖為線索與原始視頻進(jìn)行疊加，獲得虛實融合的增強(qiáng)裝配視頻并輸出到顯示設(shè)備。

圖4 系統(tǒng)流程

4.1 真實零件的裝配

首先顯示與真實零件相映射的幾何模型，并用文本標(biāo)簽指示該零件的名稱（圖5(a)）。用戶通過零件幾何模型和名稱可以知道當(dāng)前裝配步驟是對哪個零件進(jìn)行操作，并從桌面上找到相應(yīng)的真實零件。系統(tǒng)按照預(yù)先設(shè)定的裝配路徑、同時顯示裝配特征（圖5(b)），將真實零件幾何模型裝配到目標(biāo)位置。零件幾何模型裝配到位后，渲染風(fēng)格變成線框風(fēng)格，系統(tǒng)提示用戶將真實零件裝配到線框指示的目標(biāo)位置（圖5(c)）。用戶對真實零件進(jìn)行實際裝配操作并裝配到位（圖5(d)）。

圖5 引導(dǎo)用戶裝配真實零件

4.2 基于深度圖的虛實裝配場景融合

系統(tǒng)可以選擇開啟深度檢測、關(guān)閉深度檢測、顯示深度圖和隱藏深度圖。圖6中，裝配基礎(chǔ)件上離鏡頭近的圓柱和螺釘為真實零件，離鏡頭遠(yuǎn)的圓柱和螺釘為虛擬零件。如果關(guān)閉深度檢測功能，系統(tǒng)以傳統(tǒng)虛實疊加方式進(jìn)行融合，存在虛實遮擋關(guān)系不正確問題（圖6(a)）；開啟深度檢測，以深度圖為索引進(jìn)行虛實疊加，顯示了正確的虛實遮擋關(guān)系（圖6(b)）。

圖6 虛實遮擋處理與融合

增強(qiáng)裝配系統(tǒng)的虛實融合過程中，計算量較大的函數(shù)模塊分別是視頻圖像采集處理、標(biāo)志物識別注冊、虛實場景疊加。其中虛實場景疊加過程消耗大量處理時間，不同分辨率下系統(tǒng)執(zhí)行效率統(tǒng)計數(shù)據(jù)如表1所示。

表1 增強(qiáng)裝配系統(tǒng)處理時間統(tǒng)計表

5 結(jié) 論

本文以產(chǎn)品裝配工作為對象，研究增強(qiáng)現(xiàn)實環(huán)境下的產(chǎn)品裝配引導(dǎo)技術(shù)。針對裝配過程中需要的信息，建立了面向增強(qiáng)裝配過程的信息模型，統(tǒng)一管理文字、幾何和產(chǎn)品裝配特征等可視化引導(dǎo)信息。采用基于標(biāo)志物的視覺跟蹤技術(shù)實現(xiàn)虛擬零件和視頻中真實零件的注冊定位。通過獲取虛擬和真實裝配場景幾何模型的深度圖來處理增強(qiáng)裝配場景中的虛實零件遮擋關(guān)系。利用虛實零件的注冊位置把裝配引導(dǎo)信息疊加到裝配視頻場景中，為輔助用戶裝配工作提供支持。使用開發(fā)的原型系統(tǒng)驗證了技術(shù)路線的可行性，并分析了系統(tǒng)的性能。

在實際裝配工作中，標(biāo)志物的制作和使用將限制該項技術(shù)的應(yīng)用，而基于裝配體自然特征的注冊跟蹤方法能夠為大范圍和大規(guī)模的產(chǎn)品裝配引導(dǎo)提供支持，這將是今后的主要工作之一；另外，誤差作為增強(qiáng)現(xiàn)實系統(tǒng)的主要指標(biāo)，如何從衡量視覺效果到確定誤差范圍從而得到系統(tǒng)性能和系統(tǒng)精度的平衡也是采用增強(qiáng)現(xiàn)實技術(shù)引導(dǎo)產(chǎn)品裝配的研究重點，這也是另一個今后的主要工作。

[1] Jayaram S, Lyons K W. VADE: a virtual assembly design environment [J]. IEEE Computer Graphics and Applications, 1999, 19(6): 44-50.

[2] Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[3] Pang Yan, Andrew Y C, Soh K O. Assembly feature design in an augmented reality environment [J]. Assembly Automation, 2006, 26(1): 34-43.

[4] Liverani A, Amat G, Caligiana G. A CAD-augmented reality integrated environment for assembly sequence check and interactive validation [J]. Concurrent Engineering: Research and Applications, 2004, 12(1): 67-77.

[5] Raghavan V, Molineros J, Sharma R. Interactive evaluation of assembly sequences using augmented reality [J]. IEEE Transactions on Robotics and Automation, 1999, 15(3): 435-449.

[6] Caudell T P, Mizell D W. Augmented reality: an application of head-ups display technology to manual manufacturing processes [C]//Proceedings of International Conference on System Sciences, Hawaii, 1992: 659-669.

[7] Friedrich W, Siemens A G. ARVIKA-augmented reality for development, production and service [C]// Proceedings of International Symposium on Mixed and Augmented Reality, 2002: 3-4.

[8] Schwald B, Laval B. An augmented reality system for training and assistance to maintenance in the industrial context [J]. Journal of WSCG , 2001, 11(3): 425-432.

[9] Salonen T, S??ski J, Hakkarainen M, et al. Demonstration of assembly work using augmented reality [C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam, 2007: 124-126.

[10] 趙新燦, 左洪福, 徐興民. 增強(qiáng)現(xiàn)實維修誘導(dǎo)系統(tǒng)關(guān)鍵技術(shù)研究[J]. 中國機(jī)械工程, 2008, 19(6): 678-682.

[11] 施 琦, 王涌天, 陳 靖. 一種基于視覺的增強(qiáng)現(xiàn)實三維注冊算法[J]. 中國圖象圖形學(xué)報, 2002, 7(7): 679-683.

[12] 朱淼良, 姚 遠(yuǎn), 蔣云良. 增強(qiáng)現(xiàn)實綜述[J]. 中國圖象圖形學(xué)報, 2004, 9(7): 767-774.

Product assembly guidance based on augmented reality

Wang Junfeng, Xu Chi, Li Shiqi
( Department of Industrial and Manufacturing System Engineering, School of Mechanical Science and Engineering, Huazhong University of Science and Technology, Wuhan Hubei 430074, China )

Aiming at the assembly guidance in augmented reality environment, an uniform augmented-assembly-oriented information model is build to manage visual text, geometric and feature information during assembly process in augmented reality environment. A marker-based tracking is adopted to realize the registration and localization of virtual and physical product part. The depth images of both virtual and physical scenes are used to handle occlusion between virtual and real objects in assembly process. The assembly guidance information is superimposed on the real time assembly video by using registration information of parts. A demonstration system is developed and the assembly guidance process is analyzed and described in augmented reality environment.

computer application; augmented reality; assembly guidance; marker based registration; information superimposition

TP 391

A

2095-302X (2012)04-0114-07

2010-12-22

“十二五”基礎(chǔ)科研資助項目

王峻峰（1970-），男，河南汝州人，副教授，博士，主要研究方向為產(chǎn)品裝配設(shè)計、系統(tǒng)建模與仿真等。