虛實(shí)交互技術(shù)在元宇宙中的應(yīng)用研究

吳瀟偉

（中國電子科技集團(tuán)第二十八研究所，江蘇 南京 210007）

元宇宙作為一個(gè)新興崛起的概念，近來受到了各大資本的追捧，也引起了業(yè)界和社會公眾的廣泛關(guān)注，國內(nèi)外眾多公司紛紛在“元宇宙”領(lǐng)域布局。究竟何為元宇宙，各家企業(yè)眾說紛紜，仍未形成相對統(tǒng)一的界定，但公認(rèn)的一點(diǎn)是，元宇宙能夠鏈接虛擬與現(xiàn)實(shí)，豐富人的感知，提升人的各類體驗(yàn)，并延伸人的創(chuàng)造力。所以，虛實(shí)交互技術(shù)是構(gòu)成元宇宙的基石，可以說，沒有虛實(shí)交互就沒有元宇宙。本文總結(jié)了近年來虛實(shí)交互技術(shù)的發(fā)展情況，并對虛實(shí)交互技術(shù)在元宇宙領(lǐng)域中的應(yīng)用進(jìn)行了總結(jié)與展望。

1 元宇宙的起源發(fā)展

元宇宙，實(shí)質(zhì)上就是廣義網(wǎng)絡(luò)空間，在涵蓋現(xiàn)實(shí)物理空間、虛擬賽博空間以及社會和思維空間的基礎(chǔ)上，融合多種數(shù)字技術(shù)，用網(wǎng)絡(luò)、軟硬件設(shè)備將用戶聚合在一個(gè)虛擬現(xiàn)實(shí)系統(tǒng)中，形成一個(gè)相對獨(dú)立又能與現(xiàn)實(shí)世界相互映射的虛擬世界[1]。

早在1981 年出版的小說《True Names》中，作者VERNOR 教授就曾描述過一個(gè)通過腦機(jī)接口技術(shù)進(jìn)入并獲得真實(shí)感官體驗(yàn)的虛擬世界[2]；1992 年，美國著名作家NEAL 在他的科幻小說《Snow Crash》中，第一次將這個(gè)虛擬世界命名為元宇宙（Metaverse），他如是描述：“戴上耳機(jī)和目鏡，找到連接終端，就能夠以虛擬分身的方式進(jìn)入由計(jì)算機(jī)模擬、與真實(shí)世界平行的虛擬空間”[3]。

1996 年，通過虛擬現(xiàn)實(shí)建模語言（VRML）構(gòu)建的Cybertown，是“元宇宙”重要的里程碑。1999 年，以《黑客帝國》《異次元駭客》為代表的一系列影視作品，探討了基于互聯(lián)網(wǎng)構(gòu)建高度虛擬社會的一系列倫理問題，引起了全人類社會的討論熱潮[4]。2003 年林登實(shí)驗(yàn)室推出了基于Open3D 技術(shù)的虛擬世界游戲“第二人生”。2006 年，美國游戲公司羅布樂思，發(fā)布了沙盒世界游戲Roblox，集虛擬世界、休閑游戲和用戶自建內(nèi)容于一體，是游戲元宇宙化的一個(gè)標(biāo)識事件。2018年上映的科幻電影《頭號玩家》中，導(dǎo)演斯皮爾伯格則把元宇宙描述為一個(gè)與與現(xiàn)實(shí)世界本質(zhì)趨同的虛擬世界，每個(gè)玩家都擁有自己的身份，可以在虛擬世界中還原社交、生活等場景[5]。在2020 年新冠疫情大流行的背景下，居家辦公、在線教育、線上娛樂等方式進(jìn)一步深化了元宇宙的發(fā)展。2021 年10 月，F(xiàn)acebook正式宣布將品牌更名為“Mate”，并計(jì)劃在5 年內(nèi)轉(zhuǎn)型為元宇宙公司，以此為契機(jī)，元宇宙成為了互聯(lián)網(wǎng)業(yè)界數(shù)值整個(gè)社會的關(guān)注熱點(diǎn)，因此2021 年被成為“元宇宙元年”。

現(xiàn)階段的元宇宙尚處于快速導(dǎo)入期，其涵義還在不斷演變和發(fā)展，尤其是伴隨著科技的發(fā)展，各種前沿技術(shù)以更高級的形態(tài)融合重組，技術(shù)更迭以及各行各業(yè)的參與者都會不斷豐富和深化元宇宙的內(nèi)涵。

2 虛實(shí)交互在元宇宙中的重要性

元宇宙被視為互聯(lián)網(wǎng)的3.0 形態(tài)，它能夠模擬并復(fù)制現(xiàn)實(shí)世界，在網(wǎng)絡(luò)空間中構(gòu)建一個(gè)沉浸式的虛擬世界，它不僅是現(xiàn)實(shí)世界的延伸，還可以反過來影響現(xiàn)實(shí)世界，最終將現(xiàn)實(shí)世界與虛擬世界緊密聯(lián)系起來，模糊虛實(shí)的界限?；ヂ?lián)網(wǎng)也不再只是傳統(tǒng)屏幕中平面的、與用戶主體割裂的抽象空間，而是上升為立體、可交互、與主體融合的沉浸式空間。

沉浸式的網(wǎng)絡(luò)體驗(yàn)是元宇宙最重要的一大特點(diǎn)。所謂沉浸式體驗(yàn)，從感受形式可大致分為以下4 個(gè)層次：①心理沉浸，即傳統(tǒng)意義上可以不借助外部科技就能獲得的沉浸體驗(yàn)，如閱讀、觀影等形式；②外置技術(shù)沉浸，通過依靠VR（虛擬現(xiàn)實(shí)）、AR（增強(qiáng)現(xiàn)實(shí)）等虛實(shí)交互技術(shù)獲得的沉浸體驗(yàn)；③內(nèi)置技術(shù)沉浸，當(dāng)技術(shù)足夠成熟，為了滿足便利性需求，外置設(shè)備終會向內(nèi)置化方向發(fā)展，此時(shí)的虛實(shí)交互設(shè)備會被植入人體來為用戶提供沉浸體驗(yàn)；④意識沉浸，如電影《黑客帝國》中描述的一樣，當(dāng)腦機(jī)接口技術(shù)成熟到一定程度之后，直接通過腦電刺激，獲得沉浸感受。

正是有諸如VR、AR、體感、腦機(jī)接口等種種虛實(shí)交互技術(shù)的加持，才使得網(wǎng)絡(luò)與現(xiàn)實(shí)的體驗(yàn)不斷拉近，元宇宙也不再遙不可及，極大地豐富了人類的感官，使網(wǎng)絡(luò)覺與虛擬覺成為除視、聽、味、嗅、觸等天然五感之外的人類新知覺，并以此提升人的各類體驗(yàn)，延伸人的創(chuàng)造力。所以，虛實(shí)交互技術(shù)是構(gòu)成元宇宙的基石，可以說沒有虛實(shí)交互就沒有元宇宙。

3 虛實(shí)交互技術(shù)發(fā)展與現(xiàn)狀

20 世紀(jì)90 年代以來，隨著信息化技術(shù)的普及，網(wǎng)絡(luò)用戶處理信息的數(shù)量呈指數(shù)級增長，因此，有學(xué)者提出了更加關(guān)注于用戶交互的Post-WIMP 界面概念，尤其是以三維界面、VR、AR、MR（混合現(xiàn)實(shí)）、多通道信息界面等為代表，迅速成為國內(nèi)外研究的熱點(diǎn)。2008 年ACMCHI 會議發(fā)起者JACOB，在研究各種不同的交互技術(shù)的基礎(chǔ)上，提出了RBI（Risk Based Inspection）交互框架，將人的感知?dú)w納為物理感知、身體意識、環(huán)境感知、社會感知4 個(gè)層次，如圖1 所示，為如何在虛擬世界中將交互操作與現(xiàn)實(shí)隱喻聯(lián)系起來提供了指南。

圖1 RBI 交互框架

為了使元宇宙的的沉浸感更加真實(shí)，勢必需要突破傳統(tǒng)網(wǎng)絡(luò)信息交互通道過窄的局限，讓虛實(shí)交互的過程更為自然真實(shí)，最終在虛擬世界中模擬出類似真實(shí)世界的物理學(xué)感知、本體感知、環(huán)境感知與社會學(xué)感知。因此，元宇宙對虛實(shí)交互技術(shù)提出了更高的要求?，F(xiàn)階段，虛實(shí)交互方式大致可以分為以下5 種方式。

3.1 三維交互

為了更加貼近現(xiàn)實(shí)世界，模擬真實(shí)世界的交互體驗(yàn)，首先在虛擬空間中構(gòu)建一個(gè)擬真的三維世界。因此，脫胎于物理世界體驗(yàn)的三維交互便成為了最基礎(chǔ)、最重要的一種虛實(shí)交互方式。相較于傳統(tǒng)以書面或屏幕為載體的二維交互方式，三維交互在操作上擁有更高的自由度，全景視野也提供了更大的設(shè)計(jì)空間，能夠幫助完成更加復(fù)雜的交互任務(wù)。

時(shí)至今日，各種三維交互技術(shù)已經(jīng)初露鋒芒，并在游戲、視頻、新媒體藝術(shù)等領(lǐng)域得到應(yīng)用，但是軟硬件技術(shù)短板所帶來的交互體驗(yàn)感割裂，以及現(xiàn)有交互隱喻不能滿足虛擬環(huán)境下復(fù)雜、交叉任務(wù)的缺陷已成為三維交互技術(shù)在元宇宙領(lǐng)域進(jìn)一步發(fā)展的瓶頸。

3.2 手勢交互

就像人與人之間通過手勢溝通交流一樣，手勢交互也是虛實(shí)交互的重要組成部分，是一種自然仿真、理想的交互方式。在元宇宙的虛擬空間中，用戶通過軀干和肢體的動作輸出特定指令，再通過傳感器和機(jī)器視覺等技術(shù)，跟蹤識別人體相關(guān)部位，將物理世界中的運(yùn)動姿態(tài)作為虛實(shí)交互的輸入，這也是當(dāng)前應(yīng)用相對廣泛的一種虛實(shí)交互方式。

雖然體感操控、手勢交互等技術(shù)在一些簡單交互場景中的應(yīng)用較為成熟，如手勢瀏覽、虛擬雕刻、體感游戲等。但是想要真正達(dá)到元宇宙虛實(shí)共生的目標(biāo)，仍然面臨以下問題丞待解決：系統(tǒng)不能在連續(xù)的動作中篩選出有效手勢，或者判別有效手勢的開始和結(jié)束；用戶需要在完成相對完整的特定動作軌跡后，動作才會被系統(tǒng)識別；在不同的應(yīng)用場景下，用戶需要學(xué)習(xí)和記憶不同的動作手勢，認(rèn)知成本高。

3.3 語音交互

語音交互是一種理想的虛實(shí)交互方式，具有以下特點(diǎn)：相較于傳統(tǒng)鍵鼠輸入，語音交互使用的是聲音通道，能夠解放用戶的雙手；語音交互支持大量文本的高效、精確傳遞；最重要的是，語音交互是自然交互方式的一種，是用戶最習(xí)以為常的一種交互方式。

在虛實(shí)空間的交互中，語音交互可以傳遞大部分非圖形化的操控指令和文本信息。但是由于語音交互通常不具備可視化的圖形界面，所以對用戶來說是不可見的，這就需要采用語義句法過濾等識別技術(shù)實(shí)現(xiàn)糾錯(cuò)，或采用形式化的對話模式來獲取用戶的真事意圖。

語音識別引擎是語音交互的核心，如今，諸如微軟、科大訊飛等科技公司都推出了自己的語音識別軟件，并且實(shí)現(xiàn)了非常好的性能，隨著元宇宙概念的興起，還需要更加強(qiáng)大的語音識別技術(shù)來支撐前臺應(yīng)用。

3.4 力/觸覺交互

在虛擬與現(xiàn)實(shí)的交互過程中，除了視聽覺的感官刺激，觸覺交互也有著不可替代的作用，它能夠讓虛擬現(xiàn)實(shí)中的交互體驗(yàn)更具沉浸感，是虛實(shí)融合必不可少的一環(huán)，也是未來虛實(shí)交互的重要發(fā)展方向和研究重點(diǎn)。

在當(dāng)前信息人機(jī)交互過程中，力/觸覺交互既是一種輸出方式，如安卓手機(jī)的通用觸覺反饋效果、Immersion 公司的TouchSense 觸覺反饋技術(shù)等，同時(shí)也可以作為一種特殊的輸入方法，如蘋果的3D Touch技術(shù)等。

3.5 多通道交互

多通道交互能夠融合多個(gè)信息通道，充分利用人的感覺器官，使信息的傳遞更加高效；并且，就像在物理世界中認(rèn)知事物一樣，人總是需要通過視、聽、觸、嗅、味等多種信息通道才能對它形成完整的認(rèn)知，所以，運(yùn)用多通道交互技術(shù)可以讓虛擬世界中的交互更加自然寫實(shí)，真正實(shí)現(xiàn)體驗(yàn)上的虛實(shí)共生、虛實(shí)相融。

在多通道交互過程中，用戶能夠像在現(xiàn)實(shí)物理世界中一樣通過語音、手勢、動作等方式，與虛擬系統(tǒng)或其他用戶的虛擬角色進(jìn)行交互，人機(jī)交互和人人交互都向著真實(shí)世界靠攏，傳統(tǒng)虛實(shí)交互的體驗(yàn)割裂感得到彌補(bǔ)，這必將是虛實(shí)交互的最終形態(tài)。

多通道交互為實(shí)現(xiàn)虛實(shí)共生、虛實(shí)相融的交互體驗(yàn)提供了一條有效途徑，多通道交互相關(guān)技術(shù)也已成為虛實(shí)交互研究的重點(diǎn)方向之一。但是，在現(xiàn)有技術(shù)條件下，還有多通道的任務(wù)建模、多通道信息交互支撐技術(shù)、多通道交互信息融合方法、混合交互技術(shù)、交互技術(shù)測試評估等幾個(gè)方面的問題需要解決。

4 虛實(shí)交互在元宇宙中的應(yīng)用展望

元宇宙中所包含的最初級技術(shù)和內(nèi)容機(jī)制已經(jīng)有了雛形，并且為人類世界帶來了前所未有的變化，不過目前元宇宙還處在開發(fā)初期，其應(yīng)用類型相對簡單，大多停留在視聽階段，并沒有為人類提供全方位的感官感受，虛擬體驗(yàn)單一。若想建立一個(gè)能夠滿足深度沉浸的虛擬現(xiàn)實(shí)系統(tǒng)，就目前的研究來說，還為時(shí)尚早，僅僅是入門階段的早期技術(shù)積累。當(dāng)下社會熱點(diǎn)的“人臉識別、運(yùn)動目標(biāo)分析、行為識別及視覺感知等問題”更多的還是集中在實(shí)際應(yīng)用層面上，至于如何進(jìn)行自然、有效的虛實(shí)互動的基本問題卻仍然沒有得到完全解決，這些基礎(chǔ)性問題恰恰是建設(shè)高級別“元宇宙”所關(guān)涉的最核心內(nèi)容。

從目前技術(shù)狀況來看，要完成在虛擬空間下虛實(shí)互動還存在著感知、認(rèn)知、反饋等方面的問題，具體如下：①感知，即用戶在現(xiàn)實(shí)虛擬環(huán)境中自然交互行為和對狀態(tài)認(rèn)知的問題；②認(rèn)知，即在虛擬現(xiàn)實(shí)環(huán)境中對人的交互動作和意圖理解的問題；③反饋，即通過虛實(shí)互動輸出反饋的自適應(yīng)問題。

因此，未來還需要不斷推進(jìn)虛實(shí)交互技術(shù)的研究，只有不斷增強(qiáng)技術(shù)創(chuàng)新能力，提高技術(shù)成熟度，才能補(bǔ)齊短板，切實(shí)推動元宇宙產(chǎn)業(yè)落地。

5 結(jié)束語

在新冠疫情大流行的背景下，元宇宙這一未來概念獲得了公眾的廣泛關(guān)注。但以目前的基礎(chǔ)技術(shù)，距離實(shí)現(xiàn)虛實(shí)共生的沉浸式網(wǎng)絡(luò)體驗(yàn)還有很長的路要走，這也必將是一個(gè)艱難的探索過程。但是相信，在可見的未來，成熟的虛實(shí)交互技術(shù)將帶給人們極致沉浸的超現(xiàn)實(shí)體驗(yàn)，生活、工業(yè)、社會、科技迭代將大大提升效率，元宇宙在各行各業(yè)中的應(yīng)用也將遍地開花。