基于Unity3D的增強(qiáng)現(xiàn)實(shí)技術(shù)研究

馬紅芝

摘要：增強(qiáng)現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)，通過虛擬信息與真實(shí)環(huán)境的融合，以自然的人機(jī)交互方式，增強(qiáng)用戶的體驗(yàn)。本文闡述了增強(qiáng)現(xiàn)實(shí)的應(yīng)用現(xiàn)狀，分析了其實(shí)現(xiàn)條件，闡明了基于Unity3D進(jìn)行AR開發(fā)的關(guān)鍵技術(shù)。

關(guān)鍵詞：Unity3D;增強(qiáng)現(xiàn)實(shí);虛實(shí)交互

引言

增強(qiáng)現(xiàn)實(shí)，也就是近幾年來興起的AR技術(shù)，簡單來說是指將計(jì)算機(jī)智能產(chǎn)生的虛擬物體與現(xiàn)實(shí)場景進(jìn)行疊加的技術(shù)。該技術(shù)可以讓用戶通過人機(jī)交互的形式沉浸在計(jì)算機(jī)所搭建的虛擬場景中，享受感官的真實(shí)體驗(yàn)。AR技術(shù)的興起和使用不僅僅向用戶展示了一些接觸不到的真實(shí)世界，還將虛擬的信息加入進(jìn)來，現(xiàn)實(shí)與虛擬通過計(jì)算機(jī)語言的方式進(jìn)行科學(xué)結(jié)合，實(shí)現(xiàn)互補(bǔ)和疊加的效果。該項(xiàng)技術(shù)已經(jīng)成為了現(xiàn)代新型科學(xué)研究的一項(xiàng)熱點(diǎn)。

信息時(shí)代的到來，手機(jī)等移動(dòng)設(shè)備大范圍普及的背景下，AR技術(shù)在移動(dòng)終端上的使用具有巨大的潛在發(fā)展價(jià)值，各行各業(yè)的投機(jī)巨頭都把目光聚集到這一產(chǎn)業(yè)發(fā)展中。自2009年蘋果公司首次在智能手機(jī)的設(shè)計(jì)中加入AR技術(shù)起，Google公司也相繼推動(dòng)了AR研發(fā)。

紙質(zhì)和固有的多媒體形式，顯著的缺陷是缺乏互動(dòng)性。例如，現(xiàn)在紙質(zhì)刊物上通常只能看到商品及報(bào)價(jià)信息等，而有了AR技術(shù)之后，借助相應(yīng)的APP則可以使用諸如3D試穿等功能。AR技術(shù)投入使用之后，還可以解決查找信息步驟繁瑣的問題。能夠讓用戶在操作簡單的情況下，直接獲取到眼前物品的具體信息，甚至還能與書中的角色、人物等進(jìn)行交流互動(dòng)。

目前，AR技術(shù)在國內(nèi)的發(fā)展前景是較為廣闊的，產(chǎn)業(yè)化進(jìn)程也在加快，但相關(guān)的移動(dòng)業(yè)務(wù)要更進(jìn)一步，還需要克服許多技術(shù)上的難題。

本文將從增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用出發(fā)，分析其框架和具體應(yīng)用形式，并對該項(xiàng)技術(shù)的應(yīng)用前景進(jìn)行展望。

1.AR技術(shù)的應(yīng)用

根據(jù)筆者前文的說明，增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)可以將虛擬構(gòu)建的場景與現(xiàn)實(shí)背景實(shí)時(shí)結(jié)合起來，具有十分廣闊的應(yīng)用前景。當(dāng)前，AR的應(yīng)用領(lǐng)域已擴(kuò)展到工業(yè)制造、醫(yī)療、教育、軍事、旅游、影視娛樂等多個(gè)領(lǐng)域。

1.1醫(yī)療行業(yè)AR技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)在醫(yī)療系統(tǒng)已有較為成熟的應(yīng)用。醫(yī)生在進(jìn)行難度較大的手術(shù)的時(shí)候，可以將增強(qiáng)現(xiàn)實(shí)技術(shù)作為輔助技術(shù)來應(yīng)用，利用AR技術(shù)生成的圖像可以作為外科醫(yī)生手術(shù)的指引。

在進(jìn)行診斷等前期工作的時(shí)候，利用外部傳感器——電腦CT斷層掃描、核磁共振機(jī)器成像等方式，將病人體內(nèi)的肉眼不可見的構(gòu)造通過3D影像進(jìn)行顯示，從而給醫(yī)生診斷提供科學(xué)依據(jù)。

與此同時(shí)，AR手術(shù)輔助系統(tǒng)能夠把成像的歷史數(shù)據(jù)與病人實(shí)際的情況結(jié)合、比較，并反饋出實(shí)時(shí)的結(jié)果，相當(dāng)于在外科手術(shù)進(jìn)行的時(shí)候給醫(yī)生安裝了透視眼鏡，由于有了這些設(shè)備，醫(yī)生能夠通過病人實(shí)時(shí)的情況變化快速置頂合理的治療、手術(shù)方案，減小手術(shù)進(jìn)行的風(fēng)險(xiǎn)。目前該類醫(yī)療輔助系統(tǒng)在創(chuàng)傷型小型外科手術(shù)中應(yīng)用最為廣泛。

AR技術(shù)在新冠肺炎的診治中，也發(fā)揮了重要作用。例如，昆明某醫(yī)院在診治新冠肺炎病例時(shí)，運(yùn)用AR/5G互聯(lián)網(wǎng)三維數(shù)字新冠病毒遠(yuǎn)程會(huì)診系統(tǒng)，兩地專家佩戴AR眼鏡，實(shí)時(shí)溝通協(xié)作，實(shí)現(xiàn)了遠(yuǎn)程會(huì)診。

1.2軍事方面的AR技術(shù)

隨著科技的發(fā)展，軍隊(duì)的技術(shù)應(yīng)用也在與時(shí)俱進(jìn)。軍隊(duì)通常會(huì)利用增強(qiáng)現(xiàn)實(shí)技術(shù)來作為軍事演習(xí)、訓(xùn)練等活動(dòng)的輔助，甚至進(jìn)行實(shí)戰(zhàn)場景的模擬。

例如，在新興的武器要投入使用之前，軍隊(duì)的士兵會(huì)通過AR系統(tǒng)來進(jìn)行新興武器的模擬使用，了解該武器的使用方式和注意事項(xiàng)?？梢源蟠蠼档驮谖淦髡酵度胧褂弥笫褂貌划?dāng)造成的損失乃至人員傷亡。

1.3商業(yè)方面的AR技術(shù)

信息時(shí)代，AR技術(shù)投入商用已經(jīng)不再稀奇，在一些商業(yè)場合中，可以通過使用AR技術(shù)讓客戶獲得更加沉浸式的體驗(yàn)。例如，企業(yè)在進(jìn)行商業(yè)廣告宣傳時(shí)，傳統(tǒng)形式的廣告宣傳只是零交互的多媒體形式，例如圖片展示等，不能保證用戶在觀看過程中的體驗(yàn)感。一旦使用增強(qiáng)現(xiàn)實(shí)技術(shù)，能夠讓用戶親身體驗(yàn)到產(chǎn)品的功能性，甚至與實(shí)物相差無幾，用戶能夠獲得比肉眼觀看廣告更多的產(chǎn)品信息，從而對產(chǎn)品有更全面的了解，增強(qiáng)宣傳效果。

1.4旅游方面的AR技術(shù)

借助AR技術(shù)的虛擬場景（或物體）與現(xiàn)實(shí)環(huán)境融合，可以給游客營造“在場感”。運(yùn)用AR技術(shù)和移動(dòng)互聯(lián)網(wǎng)，游客可以與景區(qū)實(shí)時(shí)互動(dòng)，更方便的獲取游覽信息，更人性化的安排游程。目前，AR旅游最常見的是導(dǎo)覽、導(dǎo)航、導(dǎo)游、導(dǎo)購等應(yīng)用場景。

2.增強(qiáng)現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)條件

增強(qiáng)現(xiàn)實(shí)的實(shí)現(xiàn)，應(yīng)當(dāng)滿足硬件及軟件兩方面的要求。就前者而言，需要利用計(jì)算機(jī)、顯示器、傳感器以及網(wǎng)絡(luò)的設(shè)置，并需要有相應(yīng)的感應(yīng)物體，該物體要求是現(xiàn)實(shí)存在的真實(shí)物體，以便設(shè)備傳感器能夠及時(shí)捕捉到物體的實(shí)時(shí)位置。隨后根據(jù)客戶對AR實(shí)現(xiàn)效果的要求，如清晰程度和真實(shí)程度，選擇實(shí)現(xiàn)該技術(shù)的設(shè)備——移動(dòng)終端或PC端，其中移動(dòng)終端不僅包括手機(jī)，還包括平板電腦、AR眼鏡以及集成式GPS等。我們可以通過多種渠道和方式實(shí)現(xiàn)AR技術(shù)，但最為普遍的就是手機(jī)作為載體的實(shí)現(xiàn)方式。作為現(xiàn)代人最熟悉也最普及的移動(dòng)設(shè)備，手機(jī)的普及度和接受度都是最高的。

對于軟件方面的要求，一般需要專業(yè)的3D渲染引擎和增強(qiáng)現(xiàn)實(shí)開發(fā)工具包。市面上比較成熟的有Unreal Engine、Cry Engine和Unity3D。其中使用較為廣泛、適合開發(fā)移動(dòng)端應(yīng)用程序的是Unity3D平臺(tái)。Unity是一項(xiàng)集成多平臺(tái)使用的綜合性能的游戲開發(fā)工具，能夠讓游戲玩家輕松構(gòu)建3D視頻游戲，實(shí)現(xiàn)建筑可視化以及3D動(dòng)畫，屬于互動(dòng)型實(shí)用工具。因其功能強(qiáng)大，易于上手，支持跨平臺(tái)開發(fā)，Unity受到了廣大開發(fā)者的青睞。Unity公司提供了用戶共享服務(wù)，通過社區(qū)的建立，使Unity3D用戶能夠跨區(qū)域交流。此外，Unity還提供免費(fèi)的開發(fā)方案和教程等，非常適合剛接觸的工作者。綜上所述，筆者認(rèn)為Unity3D作為開發(fā)工具，是進(jìn)行AR技術(shù)開發(fā)的首選。

3.基于Unity3D的AR關(guān)鍵技術(shù)

AR技術(shù)，其本質(zhì)就是將虛擬的影音、圖像、3D形象等通過硬件軟件結(jié)合的技術(shù)處理，與真實(shí)世界存在的物體相結(jié)合，進(jìn)行融合疊加，向用戶展現(xiàn)疊加之后的效果，將虛擬世界搬進(jìn)現(xiàn)實(shí)。在進(jìn)行虛實(shí)結(jié)合展現(xiàn)的過程中，AR技術(shù)的關(guān)鍵是將構(gòu)建出來的虛擬形象與現(xiàn)實(shí)相同步。其原理如下圖所示：

3.1獲取攝像頭圖像

借助終端設(shè)備上的攝像頭獲取識(shí)別對象的圖像，通過所識(shí)別物體的真實(shí)圖像，記錄對象的特征和關(guān)鍵點(diǎn)，將這些特征與系統(tǒng)中存在的識(shí)別圖進(jìn)行一對一匹配，并達(dá)到虛實(shí)結(jié)合的效果。想要實(shí)現(xiàn)這一功能，可以使用Vuforia SDK。這是一款由美國高通公司針對AR技術(shù)移動(dòng)終端的軟件開發(fā)應(yīng)用而研究的工具包，支持對物體的本地儲(chǔ)存識(shí)別和網(wǎng)絡(luò)云識(shí)別兩種物體識(shí)別方式。該工具包是通過對終端設(shè)備攝像頭的調(diào)用，應(yīng)用視覺技術(shù)對可識(shí)別物體進(jìn)行實(shí)時(shí)識(shí)別和捕捉，從而控制虛擬物體的位置與識(shí)別物體的位置達(dá)到一致。

3.2圖像檢測和匹配

圖一中Marker所指的是識(shí)別圖，對于計(jì)算機(jī)來說，其本質(zhì)是二維矩陣形式，該方式經(jīng)常被使用于影像識(shí)別技術(shù)之中。計(jì)算機(jī)通過內(nèi)部設(shè)置的算法，對圖像進(jìn)行識(shí)別后，讀取二維矩陣的構(gòu)成信息。通常的運(yùn)作流程是，計(jì)算機(jī)對捕捉到的識(shí)別圖進(jìn)行儲(chǔ)存，然后進(jìn)行數(shù)據(jù)計(jì)算，再讀取攝像頭影像的虛擬物體的坐標(biāo)，并通過圖像處理技術(shù)在現(xiàn)實(shí)物體的坐標(biāo)處進(jìn)行虛擬物體的成像。最終使二者達(dá)到融合的效果。

針對不同特征的識(shí)別圖，應(yīng)當(dāng)使用指定的AR技術(shù)，其對應(yīng)關(guān)系已經(jīng)在國內(nèi)外得到了較多的研究成果。

3.3實(shí)現(xiàn)虛實(shí)相結(jié)合

在進(jìn)行完以上兩個(gè)步驟之后，計(jì)算機(jī)中已經(jīng)生成并儲(chǔ)存了虛擬物體的三維坐標(biāo)，緊接著需要進(jìn)行最關(guān)鍵的部分——虛實(shí)結(jié)合。這個(gè)部分的具體操作一般分為三個(gè)模塊進(jìn)行，三維注冊，物體形態(tài)位置以及光照條紋調(diào)節(jié)。只有控制三者的數(shù)據(jù)達(dá)到協(xié)調(diào)統(tǒng)一，設(shè)備所呈現(xiàn)的虛擬影像才更加真實(shí)化。當(dāng)所構(gòu)建的虛擬場景面臨失真的情況時(shí)，三維注冊會(huì)對虛擬、現(xiàn)實(shí)的物體進(jìn)行重新實(shí)時(shí)跟蹤，確定位置并根據(jù)變化調(diào)整設(shè)備設(shè)定值，從而具備自動(dòng)糾錯(cuò)的功能。

虛實(shí)相結(jié)合的操作有時(shí)也會(huì)受到環(huán)境因素的干擾，例如外接光照的變化，可能會(huì)影響成像的效果。因此一般對于設(shè)備開發(fā)商來說，會(huì)在穩(wěn)定的室內(nèi)環(huán)境中對設(shè)備進(jìn)行功能測試，性能達(dá)到穩(wěn)定值之后再進(jìn)行室外實(shí)驗(yàn)。

3.4三維模型渲染

AR系統(tǒng)需要具備十分強(qiáng)大的成像功能，因而三維模型渲染是非常重要的部分。Unity3D的渲染系統(tǒng)非常強(qiáng)大，具有高度優(yōu)化的圖像渲染管道，和實(shí)時(shí)高效的物理引擎，可實(shí)現(xiàn)逼真的效果和豐富的交互。在Unity里導(dǎo)入事先處理好的素材，創(chuàng)建場景并在其中設(shè)置好ARCamera，在Scene面板中調(diào)整好標(biāo)識(shí)物和模型的位置。通過虛擬相機(jī)將虛擬物體和真實(shí)場景疊加起來，并根據(jù)需要適當(dāng)?shù)剡M(jìn)行調(diào)整，然后編寫功能代碼，反復(fù)測試和改進(jìn)，最后發(fā)布成應(yīng)用程序。

4.結(jié)束語

一般認(rèn)為，增強(qiáng)現(xiàn)實(shí)技術(shù)是一項(xiàng)在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上發(fā)展起來的技術(shù)，它將虛擬成像與真實(shí)場景進(jìn)行結(jié)合，兩種場景形成一種互利互補(bǔ)的關(guān)系，最終增強(qiáng)用戶的體驗(yàn)。

開發(fā)者可以利用Unity3D強(qiáng)大的渲染和交互功能，方便快捷的操作，進(jìn)行快速高效的AR開發(fā)。相信在信息時(shí)代的大背景之下，尤其是5G時(shí)代的到來，增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域?qū)?huì)更為廣闊，形式將會(huì)更為多樣。

參考文獻(xiàn)：

[1]梁磊，李英杰，趙新偉，等.基于Unity3D移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的景觀智慧旅游導(dǎo)覽探討[J].計(jì)算機(jī)產(chǎn)品與流通，2020（5）：2.

[2]李金玲，趙志強(qiáng).基于Unity3D移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的景觀智慧旅游導(dǎo)覽研究[J].軟件導(dǎo)刊.教育技術(shù)，2017，16（1）：3.

[3]張煦暉.基于Unity3d的增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）的應(yīng)用與研究[J].大科技，2019（27）：215-216.

[4]李東陽，程曉榮.一種基于unity3D的增強(qiáng)現(xiàn)實(shí)方案[J].中國科技信息，2018（13）：55-56.

[5]Michel Artiles尹天樂.基于Unity3D的安徽師范大學(xué)增強(qiáng)現(xiàn)實(shí)瀏覽器[D].安徽師范大學(xué)，2018.

[6]高文銘.基于Unity3D的虛擬校史館的研究與開發(fā)[J].科技資訊，2020（35）：41-43.

[7]顧嘉偉，張艷鵬，曹大元，等.基于Unity3D與AR技術(shù)的虛擬實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)與仿真[J].2014.

課題信息：永州市2016年度指導(dǎo)性科技計(jì)劃項(xiàng)目《基于Unity3D的增強(qiáng)現(xiàn)實(shí)交互App開發(fā)》（永科發(fā)[2016]27號(hào)）。