虛擬現(xiàn)實與人機(jī)交互專題論壇：推動和諧自然交互

劉晶

編者按：10月21日，2019年世界VR產(chǎn)業(yè)大會云計算和大數(shù)據(jù)國家重點專項虛擬現(xiàn)實與人機(jī)交互專題分論壇在南昌舉辦，論壇由云計算和大數(shù)據(jù)國家重點專項總體專家組、北京理工大學(xué)承辦，江西省科技廳、紫光云技術(shù)有限公司協(xié)辦。來自各大研究機(jī)構(gòu)的首席科學(xué)家、研究領(lǐng)域的領(lǐng)軍學(xué)者就虛擬現(xiàn)實環(huán)境下的人機(jī)互動課題，分享了最前沿進(jìn)展。本報摘登部分精彩演講，以饗讀者。

史元春：

挖掘人機(jī)交互自然性計算原理

我所負(fù)責(zé)的人機(jī)交互自然形態(tài)的計算原理這個項目，是系統(tǒng)研究人的基本交互信息處理能力、計算機(jī)所提供的交互信道和人機(jī)交互情境三個層面上交互自然性的計算原理。它揭示和建立交互自然性的生理心理機(jī)理及計算模型、自然交互模態(tài)的信道特征與交互語義、基于情境的交互路徑優(yōu)化原理，創(chuàng)新地建立優(yōu)化目標(biāo)明確、量化的自然交互計算框架和評價體系，為穿戴設(shè)備、智能空間、VR/AR、機(jī)器人等領(lǐng)域自然交互技術(shù)的研發(fā)提供理論依據(jù)和優(yōu)化方法。

我們的預(yù)期成果包括以下方面。一是兩項新理論，即面向自然交互的用戶信息處理模型和自然交互計算框架。二是三項新原理，面向連續(xù)與不確定動作的交互輸入行為識別原理、面向海量信息呈現(xiàn)需求的視聽觸聯(lián)覺呈現(xiàn)的機(jī)制、基于可穿戴心理生理測量的自然交互認(rèn)知狀態(tài)識別原理。三是一項新方法，面向復(fù)雜情境的用戶心理建模方法。四是一項新技術(shù)，基于無線射頻技術(shù)的云端融合情境感知技術(shù)。五是兩項新裝置，支持多模態(tài)輸入的光學(xué)透射式智能顯示穿戴設(shè)備和新型穿戴式多指力觸覺交互裝置。

我們分析了自然交互中人的認(rèn)知特征，對人的感知和認(rèn)知規(guī)律進(jìn)行了研究。我們建立了超小目標(biāo)的點擊能力模型，首次提出觸摸點擊速度和精度的雙極模型，統(tǒng)一解釋閉環(huán)和開環(huán)運動控制。首次建立盲觸摸條件下的相對運動控制機(jī)制，首次提出并驗證了僅憑借肌肉記憶觸摸時的相對運動控制機(jī)制，基于此原理實現(xiàn)的盲鍵盤輸入可以達(dá)到25單詞每分鐘。

宋愛國：

探索云端融合自然交互技術(shù)

自然人機(jī)交互有多種方式，包括語音的交互、生理通道的交互、數(shù)據(jù)頭套與手勢的交互、運動捕捉和體感交互。

我們主要的的創(chuàng)新性成果是有源無源器件結(jié)合的小型可穿戴力觸覺反饋裝置，具有觸覺反饋的多通道三維書空筆式交互技術(shù)與裝置和基于肌電生理信息的手勢識別算法與裝置。

有源無源器件結(jié)合的小型可穿戴力觸覺反饋裝置，突破了有源和無源器件結(jié)合的手指力覺反饋的小型化關(guān)鍵技術(shù)，研制了系列小型力反饋執(zhí)行器;提出了多種觸感震動信號調(diào)制方式及控制算法，顯著提升了觸覺交互裝置的用戶體驗。

具有觸覺反饋的多通道三維書空筆式交互技術(shù)與裝置，突破了大空間超聲波三維高精度無線定位技術(shù)，以及筆式、觸覺、語音、手勢、姿態(tài)和觸控的多通道自然融合技術(shù)，研發(fā)了支持大空間非接觸三維書空模式的多通道筆式交互裝置。

基于肌電生理信息的手勢識別算法與裝置，在手勢識別方面，研制了基于肌電的無線穿戴式手勢獲取識別裝置，創(chuàng)新地把肌電信號轉(zhuǎn)化為肌電圖像，提出了基于深度學(xué)習(xí)的高準(zhǔn)確率手勢識別算法。傳統(tǒng)的肌電識別轉(zhuǎn)化為肌電圖像識別，我們可以識別精確的手部動作，像53個啞語動作可以準(zhǔn)確的識別，對啞語信號的識別率可以達(dá)到90%。

田豐：

實現(xiàn)智能時代人機(jī)交互

通過這幾年的共同努力，我們有幾個代表性的成果。一是穿戴式全身體感交互設(shè)備，全身動作捕捉模塊可以感知身體的行為，知道人手的精細(xì)動作，實時感知人的生理體征。我們可以支持百平米的激光定位，可以支持手指關(guān)節(jié)電阻模型的感知和理解?；谌嵝詡鞲懈兄獢?shù)據(jù)模塊，可以實時感知人的心電。整個課題是由電子科技大學(xué)牽頭。

二是大幅面高分辨觸控設(shè)備，怎么樣解決計算量上升的問題，怎么樣解決響應(yīng)速度降低的問題。我們提出了間距為6毫米的高密度并行傳感器網(wǎng)絡(luò)的設(shè)計方案，精度可以達(dá)到0.1毫米。同時在上面有些實物交互的界面，可以在教育、辦公等領(lǐng)域有很好的應(yīng)用。

三是多感知交互技術(shù)，目前可以支持表情、手勢、筆觸控、眼動、生理等幾個通道的輸入。比如表情技術(shù)可以感知人的人臉，情感交互技術(shù)目前可以做到對人幾種基本情緒，比如驚訝、大笑等做有效的理解。目前我們跟小愛機(jī)器人合作建立聯(lián)合實驗室，希望讓機(jī)器人對人的表情有基本理解。

吳楓：

以多通道感知發(fā)展綜合智能

我們的思路是希望像人一樣，人的大腦是分了幾百個區(qū)域，不同區(qū)域會接受不同的信息，然后做不同的處理，這些處理的信息又在其他的腦區(qū)進(jìn)行綜合，所以是多通道的感知，多腦區(qū)的協(xié)同。這種情感的機(jī)器人，需要把感知處理、理解決策整合起來。

人腦分了很多功能區(qū)域，包括聽覺、視覺、感知、運動和嗅覺等等，區(qū)域之間相互如何作用，目前來講還是未知的。傳統(tǒng)辦法主要是掃描區(qū)域進(jìn)行分析，我們是希望用大量的數(shù)據(jù)對規(guī)模腦區(qū)進(jìn)行分析。同時我們研究腦區(qū)相互作用，更多是研究視聽覺下腦區(qū)的活動模式，這對我們視聽覺綜合處理在人工智能這塊提供了啟發(fā)。我們在關(guān)鍵技術(shù)理論取得了突破，包括語音的識別和合成。在自然環(huán)境下，周圍有噪音，可能有多個人講話，機(jī)器這時候就會弄不清楚究竟要關(guān)注哪個人。這時候就需要在多語音的場景下，用語音分辨方法獲得最好的性能。我們提出了新的模型，性能也有很大的提高。

李遠(yuǎn)清：

以腦機(jī)交互實現(xiàn)設(shè)備控制設(shè)備

我們采集腦信號然后進(jìn)行信號處理，然后用設(shè)備來控制設(shè)備，效果反饋給用戶，用戶根據(jù)反饋效果調(diào)整策略，然后來調(diào)整性能，這是腦機(jī)交互的簡單原理。大家可以打開思維去想象，可以控制的東西有很多，包括虛擬現(xiàn)實?？刂铺摂M現(xiàn)實里面的虛擬對象，這也是很好的方向。

我們采集信號是在頭皮，用對大腦沒有傷害的方式采集信號，整體技術(shù)在逐步提高，并且提高得很快。我們把多種智能技術(shù)結(jié)合起來，把虛擬現(xiàn)實和腦機(jī)技術(shù)結(jié)合起來，還有可穿戴和臨床應(yīng)用等方向。我們主要關(guān)注兩個問題，一個是多自由度控制，另一個是檢測性能的提高，主要方法就是混合/多模態(tài)的腦機(jī)接口。

腦機(jī)交互的一種應(yīng)用是意識檢測，意識檢測主要是針對意識障礙病人，通常講就是植物人。醫(yī)生原來只能根據(jù)觀察看有什么樣的表現(xiàn)，所以誤診率非常高。我們用設(shè)備來做意識檢測，如讓病人認(rèn)照片，分辨能不能聽懂醫(yī)生的話，可以判斷他有沒有意識。

金小剛：

推動多源數(shù)據(jù)的高效場景建模

虛擬現(xiàn)實是把物理世界數(shù)字化，它可能是一項顛覆性技術(shù)，是未來互聯(lián)網(wǎng)的入口跟交互環(huán)境，發(fā)展非常迅速。

要創(chuàng)建虛擬現(xiàn)實環(huán)境，首先要建模。建模有很多軟件，繪制也有很多軟件，但是軟件存在幾個問題：數(shù)據(jù)源比較單一，建好的模型通常缺乏語音信息，建模跟繪制的云平臺也比較缺乏。我們圍繞這幾個關(guān)鍵挑戰(zhàn)研發(fā)建模軟件跟繪制平臺，我們解決建模效率低、質(zhì)量差的問題。現(xiàn)實場景我們知道這是什么事情，如果充分利用語音系統(tǒng)，可以大幅度提升虛擬現(xiàn)實建模和繪制引擎的速度。此外要實現(xiàn)云端融合，很多場景非常大，同時也要適用于手機(jī)、PAD、臺式機(jī)等各種平臺。

在場景建模方面，我們提出了復(fù)雜場景多元數(shù)據(jù)融合和優(yōu)化的方法，這種方法充分利用場景結(jié)果，有局部的結(jié)構(gòu)信息，也有整體的結(jié)構(gòu)信息，我們把局部和整體結(jié)構(gòu)信息相結(jié)合，這樣可以提高數(shù)據(jù)質(zhì)量。針對大尺度場景，比如城市場景或者搶險救災(zāi)，我們提出了大規(guī)模分布式解決方案，這個解決方案是為了城市場景快速重建的問題。目前已經(jīng)采集了天津大學(xué)城區(qū)近5平方公里的場景，構(gòu)造了大規(guī)模數(shù)據(jù)集，這方面的工作已經(jīng)獲得了《中國科學(xué)》的報道，還有相關(guān)媒體的轉(zhuǎn)播。

汪國平：

致力發(fā)展國產(chǎn)仿真引擎

仿真跟VR相關(guān)，VR跟感觀的感受相關(guān)，但是VR真正產(chǎn)業(yè)落地，必須跟仿真結(jié)合起來。而且仿真技術(shù)本身是一種重要的科學(xué)驗證手段，仿真軟件系統(tǒng)或者模塊一直以來就受到國內(nèi)外的青睞，目前我們產(chǎn)業(yè)中使用的仿真軟件基本上是國外的，國產(chǎn)的仿真軟件幾乎沒有。尤其是當(dāng)前形勢下，發(fā)展國產(chǎn)的仿真引擎尤為重要。

仿真的研究對象可以從氣體、流體、固體等各種維度做，仿真的介質(zhì)很多種，彈性體、塑性體、流體等。對于超線性的關(guān)系，用工程計算可能就算不出來。例如醫(yī)療中，血管流體算出來就很費勁;在仿真鉆井平臺中，空氣環(huán)境、海洋對鉆井平臺會有影響，這是非常復(fù)雜的仿真過程。

我們的一個成果就是研發(fā)了仿真引擎，這個引擎是開源的，開發(fā)時間已經(jīng)很長，從物理對象到仿真方法全維度進(jìn)行了全面構(gòu)建。對塑性體、彈性體、多像多態(tài)流固等等都有研究，目前針對這些介質(zhì)提供了各種各樣的仿真方法，也在很多場合得到應(yīng)用。

王黨校：

從基礎(chǔ)理論研究多模態(tài)交互

圍繞大數(shù)據(jù)增量交互的問題，我們重點研究大數(shù)據(jù)多模態(tài)增量式交互的推理和方法。圍繞多模態(tài)協(xié)同的問題從兩個方面研究，一個是計算機(jī)如何去感知用戶的交互意圖，實現(xiàn)魯棒多模態(tài)的協(xié)同感知;另一個是從計算機(jī)的信息呈現(xiàn)和反饋，研究視聽觸虛實配準(zhǔn)，強(qiáng)真實感混合呈現(xiàn)的方法。針對個性化的用途理解，實現(xiàn)時空深度融合的用戶意圖理解。

項目包括5個課題，以研究基礎(chǔ)理論來支撐課題二、三、四，從感知、呈現(xiàn)和用戶意圖理解三個方面，最終構(gòu)建人機(jī)交互虛擬現(xiàn)實示范應(yīng)用系統(tǒng)。課題二是利用多傳感器技術(shù)手段對用戶的意圖進(jìn)行協(xié)同感知，這塊取得了很多進(jìn)展。我們希望構(gòu)建幾個典型的應(yīng)用，其中之一就是虛擬購物的系統(tǒng)，用戶可以在虛擬場景觸摸和看到、聽到虛擬商品的信息，實現(xiàn)多模態(tài)的交互。

王瓊?cè)A：

面向桌面真三維顯示展開研究

顯示技術(shù)是無處不在，現(xiàn)在每個人在顯示屏前的時間據(jù)統(tǒng)計至少是5個小時。顯示技術(shù)在快速發(fā)展中也存在一些問題，比如說常規(guī)顯示都是二維的，在虛擬現(xiàn)實應(yīng)用中，因為VR用的設(shè)備是頭戴式的，很難與其他人分享。即便是做成了常規(guī)的三維顯示，也具有視疲勞問題。

基于這種問題，科技部在云計算大數(shù)據(jù)中立了一個題目：面向大數(shù)據(jù)應(yīng)用的桌面實時真三維顯示技術(shù)，有11家單位參加，我是項目負(fù)責(zé)人。項目的主要目標(biāo)是從少數(shù)人觀看的墻面顯示轉(zhuǎn)向眾多人觀看的桌面顯示，從容易產(chǎn)生視疲勞的顯示到真三維顯示，從純圖象的被動觀看到實時融合的交互顯示。

桌面真3D顯示的應(yīng)用場景很多，特有環(huán)視效果可用在醫(yī)學(xué)、教育、軍民用電子沙盤、建筑模型展覽，以及3D游戲、會議和教育系統(tǒng)等方面。桌面真三維顯示技術(shù)由幾層結(jié)構(gòu)構(gòu)成，首先有顯示圖象的2D屏，我們再加透鏡陣列實現(xiàn)空間成像，有視覺導(dǎo)向?qū)樱约氨Ｕ蠄D象連續(xù)性的擴(kuò)散光學(xué)層，通過這種方式可以把2D圖象作3D呈現(xiàn)。

潘志庚：

研發(fā)面向?qū)嶒灦嗄B(tài)人機(jī)交互技術(shù)

VR和人機(jī)交互有很多年的發(fā)展歷史，我在國內(nèi)做得比較早，從1992年就做這方面的研究，在教育方面也做了很多實驗，中學(xué)實驗中看不見、看不清或者有危險的，可以通過VR的方法來解決。為了增強(qiáng)具體實驗的體驗，實驗要使用多模態(tài)人機(jī)交互的方法讓學(xué)生有體驗，而不是簡單放在屏幕上去看看。

項目要解決的問題主要是幾個方面，包括研發(fā)面向?qū)嶒灦嗄B(tài)人機(jī)交互技術(shù)，包括中學(xué)實驗行為評價。大家知道做實驗的時候，有些地方是通過專人觀察進(jìn)行評估，主觀因素比較多。我們開發(fā)云端的智能實驗學(xué)習(xí)環(huán)境和開放平臺。

陶建華：

面向移動辦公研究智能交互關(guān)鍵技術(shù)

移動辦公市場在這幾年變化非常大，未來五年據(jù)很多人預(yù)測將上升270%。從未來發(fā)展的角度來說，我們希望構(gòu)建虛實融合的方式，把信息傳遞多樣化融入進(jìn)來，改善移動辦公的體驗。

在我們項目的支持下，我們構(gòu)建了幾個重要的研究工作，這些研究工作包括多通道信息輸入和內(nèi)容編輯的工作，主要是針對個人辦公的環(huán)境。還有多終端協(xié)同呈現(xiàn)和沉浸式顯示，這主要是面向辦公，辦公除了個人辦公環(huán)境以外還有很重要的場景就是利用移動辦公平臺構(gòu)建會議系統(tǒng)，還有多模態(tài)融合的智能終端以及智能移動的辦公重建等。

陳為：

實現(xiàn)虛擬場景中虛實結(jié)合可迅速挖掘關(guān)聯(lián)要素

我講三個趨勢，一是虛擬現(xiàn)實的應(yīng)用和產(chǎn)業(yè)大部分集中在現(xiàn)實世界的模擬和呈現(xiàn)，主要呈現(xiàn)的是真實物理世界。隨著智能制造、數(shù)據(jù)孿生的應(yīng)用，在虛擬場景中虛實融合，尤其是和大數(shù)據(jù)融合，可以把場景中的要素和關(guān)聯(lián)關(guān)系迅速挖掘出來。二是在虛擬現(xiàn)實領(lǐng)域可以和社交化結(jié)合起來，由于頭盔和其他呈現(xiàn)設(shè)備沒有達(dá)到非常好用的地步，所以在VR的游戲社交方面做得很少;在課堂里面，如果有VR頭盔，在老師和學(xué)生在虛擬世界中進(jìn)行互動，可以達(dá)到遠(yuǎn)程教育的目的。三是暢想在頭盔成為很好的呈現(xiàn)設(shè)備的時候，可以讓辦公的人戴輕便或者無感知的VR設(shè)備，接上鼠標(biāo)和鍵盤，實現(xiàn)辦公自動化。

李波：

感知是虛擬現(xiàn)實關(guān)注重點

感知方面是虛擬現(xiàn)實要重點關(guān)注的，無論是智能系統(tǒng)還是虛擬現(xiàn)實系統(tǒng)，如果信息感知沒有進(jìn)來、沒有充足的信息，后面的事都不容易做。人類有多種感知，虛擬現(xiàn)實也是如此，希望把人類多種感知的手段做起來，我覺得這是很重要的，這是輸入端。在輸出上，包括以什么樣的方式展現(xiàn)都是要多下工夫的。智能分析、智能理解在虛擬現(xiàn)實里面肯定很重要，我認(rèn)為其中的輸入和輸出是非常重要的。

沈一棟：

做到真正人機(jī)交互和協(xié)同還有很長的路

從基礎(chǔ)研究角度看，現(xiàn)在還沒有真正的人機(jī)交互。交互是雙方的，但現(xiàn)在主要是針對機(jī)器，很多產(chǎn)品、技術(shù)基本上是對計算機(jī)輸入的識別。但我們需要交互，甚至需要協(xié)同，真正做到這一步的路還很長。我在這里提個不成熟的想法，把VR和真正的人機(jī)交互協(xié)同起來做一件事情，比如能不能實現(xiàn)人機(jī)交互的繪畫，一邊是很知名的畫家在畫畫，另一邊是機(jī)器在畫畫，如果這個能夠通過評價，VR和人機(jī)交互的融合也就成了。

趙耀：

設(shè)備要向小型化無感知化方向發(fā)展

在人機(jī)交互中，和諧自然的交互方式是非常重要的研究方向。人和計算機(jī)之間的交互，也應(yīng)該像人和人之間的交互一樣的和諧和自然，所以我覺得這塊應(yīng)該是我們研究非常重要的點。作為感知的設(shè)備和展示的設(shè)備，要更多向小型化、無感知化方向發(fā)展。如果頭盔特別重、特別大，戴在頭上，我們會感覺不自然，所以我覺得從這些感知設(shè)備來講，應(yīng)該沿著小型化、無感知化方向發(fā)展。