增強現(xiàn)實裝配和維修系統(tǒng)的技術(shù)研究＊

趙 敏，劉秉琦，武東升

（軍械工程學院 光學與電子工程系，河北 石家莊 050003）

引 言

增強現(xiàn)實（augmented reality，AR）技術(shù)是在虛擬現(xiàn)實（virtual reality，VR）技術(shù)上發(fā)展起來的一門新興技術(shù)，由于其廣泛的應(yīng)用背景，因此吸引了國內(nèi)外眾多科研人員加入研究，成為近年來的一個研究熱點。增強現(xiàn)實技術(shù)涉及到仿真技術(shù)、計算機圖形技術(shù)（computer graphics，CG）、圖像處理技術(shù)、交互技術(shù)及傳感器技術(shù)等領(lǐng)域，是一項綜合性十分強的研究領(lǐng)域［1］。與虛擬現(xiàn)實技術(shù)將用戶隔離在真實世界之外不同的是，當用戶在真實世界中的位置發(fā)生變化時，虛擬信息也隨之相應(yīng)變化，虛擬信息與真實環(huán)境完美結(jié)合，既避免了構(gòu)建復雜真實環(huán)境的大量繁瑣工作，又可對真實環(huán)境進行變動，具有很強的實時可控性，達到了亦真亦幻的效果。正是由于增強現(xiàn)實與真實環(huán)境緊密聯(lián)系的特性，使得增強現(xiàn)實技術(shù)在精密儀器制造、醫(yī)療研究、市政規(guī)劃、文物保護、影視娛樂、軍事訓練、裝備維修等領(lǐng)域得到了廣泛的應(yīng)用。

在研究工作中搭建了一套基于增強現(xiàn)實的維修系統(tǒng)，利用增強現(xiàn)實良好的虛實場景結(jié)合以及人機交互功能，通過計算機視覺技術(shù)、圖像識別技術(shù)以及建模仿真等技術(shù)，使該系統(tǒng)能夠完成圖像采集、立體實時顯示、三維注冊以及虛實融合等功能，改善了傳統(tǒng)意義上的人工維修帶來的培訓成本高、效率低下等問題，較之虛擬維修也更為真實可靠。表1為增強現(xiàn)實維修與虛擬維修的比較表。下面將詳細介紹該系統(tǒng)的開發(fā)環(huán)境和實現(xiàn)過程。

表1 增強現(xiàn)實維修與虛擬維修的比較表Tab.1 Comparison between AR and VR maintenance

1 系統(tǒng)工作原理

系統(tǒng)為使維修過程更為真實，采用雙目立體視覺技術(shù)，即由兩臺不同位置的CCD相機拍攝同一場景，計算視點在兩幅圖像中的視差，從而幫助完成注冊，見圖1。對于目標物體任意一點P，如果從攝像機C1觀察，那么它在圖像上的顯示點為P1，但無法由此得到P點的三維位置，因為直線O1P1上任意一點P′在C1平面上的投影均為P1。如果從C2同時觀察P點，能得到另一圖像點P2，那么P點的空間位置就為直線O1P1和O2P2的交點。

圖1 雙攝像機確定空間點位置原理圖Fig.1 Schematic diagram of dual cameras in determining the spatial position

假定攝像機C1和C2已標定，ZC1和ZC2分別是攝像機C1和C2在圖像平面的Z軸上的齊次坐標，P1和P2的投影矩陣分別為M1和M2（均為3×4矩陣），則有

其中，（u1，v1，1）與（u2，v2，1）分別為P1和P2在各自圖像中的圖像齊次坐標；（X，Y，Z，1）為P點在世界坐標系下的齊次坐標。

將式（1）、式（2）式展開

可以得到X，Y，Z的齊次方程組，利用最小二乘法可求解，由此得到P點的空間坐標［2－4］。

為了不使人的雙手受到限制，增強現(xiàn)實維修系統(tǒng)的人機交互采用了空間點觸發(fā)虛擬按鈕的交互方式［5，6］。具體方法為：在顯示視場內(nèi)設(shè)立兩個不同的標識，一個為靜態(tài)標識，一個為動態(tài)標識。靜態(tài)標識用于維修模型、交互按鈕的顯示；動態(tài)標識捆綁在人的手背上，并跟隨手在空間移動。計算機接收到攝像頭采集的圖像后，首先對圖像進行預處理，然后分別提取動態(tài)和靜態(tài)兩個標識物的輪廓，在對標識區(qū)進行二值化的基礎(chǔ)上，可以對動態(tài)和靜態(tài)兩個標識進行識別，根據(jù)攝像機的外部參數(shù)標定方法，可獲取動態(tài)和靜態(tài)兩個標識在世界坐標系的空間位置和姿態(tài)，從而也就獲得了虛擬空間、攝像機坐標系、世界坐標系的轉(zhuǎn)換關(guān)系，將靜態(tài)標識所定位的虛擬空間向世界坐標系轉(zhuǎn)換，相應(yīng)地可得到虛擬按鈕在世界坐標系中的空間位置。由于動態(tài)標識已經(jīng)在世界坐標系中定位了空間位置，所以根據(jù)距離公式，可計算動態(tài)標識中心點與虛擬按鈕之間的距離，設(shè)定閾值，當動態(tài)標識與空間交互按鈕接近程度到達閾值后，觸發(fā)新的虛擬場景，從而完成交互操作［7，8］，圖2為人機交互流程圖。

圖2 人機交互流程圖Fig.2 Computer－h(huán)uman interaction flow chart

2 系統(tǒng)的搭建

2.1 系統(tǒng)硬件環(huán)境

系統(tǒng)的硬件系統(tǒng)構(gòu)成如下：一臺筆記本電腦、兩個CCD攝像頭、圖像采集卡。

筆記本電腦參數(shù)如下：

（1）CPU：Intel Core i5 2.27GHz

（2）內(nèi)存：2GB

（3）顯卡：ATI Mobility Radeon HD 5430

CCD攝像頭參數(shù)如下：

（1）分辨力：752×480

（2）最高幀率：60fps

（3）動態(tài)范圍：81～100dB

（4）像元尺寸：6.0μm×6.0μm

（5）采集方式：連續(xù)采集，異步復位

（6）快門速度：30μs～16ms

2.2 系統(tǒng)軟件環(huán)境

系統(tǒng)在WIN 7環(huán)境下使用Visual C＋＋2005作為開發(fā)工具，C＋＋語言為開發(fā)語言。使用三維動畫制作和渲染工具3DS MAX進行虛擬物體的建模繪制、維修動畫演示等工作，使用ARToolKit工具包完成視頻圖像的采集、攝像機標定等工作，輸出增強后的顯示效果［9］。軟件整體以ARToolKit為基礎(chǔ)，將3DS MAX建立的虛擬模型轉(zhuǎn)換為VRML97格式，利用OpenVRML開源代碼調(diào)用VRML模型，通過標識識別計算獲得各種轉(zhuǎn)換矩陣，最后通過變換實現(xiàn)虛實的無縫融合［10］。軟件框架見圖3。

圖3 系統(tǒng)軟件架構(gòu)圖Fig.3 Software system construction

3 實驗結(jié)果

以某型電源箱作為維修目標，利用3DS MAX完成其建模工作，目標整體架構(gòu)見圖4，各零部件模型見圖5。模型經(jīng)過VRML97編譯，再轉(zhuǎn)為OpenVRML，在OpenVRML瀏覽器中顯示結(jié)果見圖6。圖7展示了最終效果的維修引導初始畫面，圖中右側(cè)放置的為靜態(tài)標識，用來確定虛擬電源箱的疊加位置；左側(cè)放置的為動態(tài)標識，維修人員可手動控制動態(tài)標識，根據(jù)提示信息移動動態(tài)標識以選擇感興趣的內(nèi)容，進而由電子數(shù)據(jù)庫引導用戶一步步按指示完成維修工作。

4 結(jié) 論

利用雙目視覺技術(shù)、增強現(xiàn)實技術(shù)搭建了一個增強現(xiàn)實維修系統(tǒng)。在以ARToolKit等軟件為工具的基礎(chǔ)上，根據(jù)增強現(xiàn)實維修的特點和硬件系統(tǒng)的要求，相對其他單目攝像機增強現(xiàn)實系統(tǒng)做了如下改進工作：

（1）將原一路攝像機采集景物圖像、圖像識別、三維注冊、虛實配準等增強現(xiàn)實過程變?yōu)榱藘陕妨Ⅲw景物圖像采集及相應(yīng)增強現(xiàn)實過程。方法是利用雙線程控制雙攝像機完成圖像采集和相應(yīng)的增強現(xiàn)實過程，并將虛實融合的圖像按照一定格式，分別存在緩存的不同地址，最后顯示立體圖像。

（2）ARToolKit模型調(diào)用支持VRML97語言描述的虛擬場景機模型，通過試驗，找到了通過3DS MAX構(gòu)建虛擬維修模型，并將其轉(zhuǎn)換為VRML97格式虛擬模型的方法。所以虛擬維修電子數(shù)據(jù)庫的建立是通過3DS MAX來完成的，包括虛擬物體的零部件的模型、貼圖、動畫等。

由于增強現(xiàn)實的虛實結(jié)合的獨特性，在維修裝配等領(lǐng)域具有很大的發(fā)展?jié)摿蛻?yīng)用前景。而其它技術(shù)領(lǐng)域如計算機圖形學、多媒體、人工智能等的不斷發(fā)展和完善，也為增強現(xiàn)實技術(shù)提供了新的應(yīng)用領(lǐng)域和發(fā)展空間。

［1］ AZUMA R，BAILLOT Y，BEHRINGER R.Recent advances in augmented reality［J］.IEEEComputerGraphicsandApplications，2001，21（6）：34－47.

［2］ 馬頌德，張正友.計算機視覺——計算理論與算法基礎(chǔ)［M］.北京：科學出版社，1998.

［3］ 隋 婧，金偉其.雙目立體視覺技術(shù)的實現(xiàn)及其進展［J］.電子技術(shù)應(yīng)用，2004（10）：4－6.

［4］ 段欣濤，汪岳峰，周 斌.一種數(shù)碼相機幾何畸變的檢測方法［J］.光學儀器，2011，33（1）：15－18.

［5］ PASMAN W，WOODWARD C.Implementation of an augmented reality system on a PDA［C］∥The Second IEEE and ACM International Symposium on Mixed and Augmented Reality，New York：IEEE，2003：276－277.

［6］ MILGRAM P，KISHINO F.A taxonomy of mixed reality visual display［J］.IEICETransactionsonInformationSystems，1994，E77－D（12）：1321－1329.

［7］ 張德豐，周 靈.VRML虛擬顯示應(yīng)用技術(shù)［M］.北京：電子工業(yè)出版社，2010.

［8］ 莊春華，王 普.虛擬現(xiàn)實技術(shù)及其應(yīng)用［M］.北京：電子工業(yè)出版社，2010.

［9］ 王涌天，劉 越，胡曉明.戶外增強現(xiàn)實系統(tǒng)關(guān)鍵技術(shù)及其應(yīng)用的研究［J］.系統(tǒng)仿真學報，2003，15（3）：329－333.

［10］ 石祥濱，田蘇昕，王 越.一種基于感知的大規(guī)模場景粒子系統(tǒng)繪制方法［J］.沈陽航空工業(yè)學報，2009，26（3）：49－53.