混合與增強(qiáng)現(xiàn)實(shí)國際學(xué)術(shù)研討會(huì)江西分論壇：XR為AI研究找到突破點(diǎn)

邱江勇

編者按：10月20日上午，2019混合與增強(qiáng)現(xiàn)實(shí)國際學(xué)術(shù)研討會(huì)（ISMAR）江西分論壇召開。本次活動(dòng)由南昌市紅谷灘新區(qū)管委會(huì)、南昌虛擬現(xiàn)實(shí)檢測技術(shù)有限公司、南昌北京理工大學(xué)虛擬現(xiàn)實(shí)標(biāo)準(zhǔn)檢測與評測中心聯(lián)合承辦?；顒?dòng)旨在促進(jìn)國內(nèi)在混合現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)、人工智能領(lǐng)域的快速發(fā)展，為國際化產(chǎn)學(xué)研平臺(tái)的建設(shè)創(chuàng)造條件。本報(bào)特編發(fā)演講嘉賓的精彩觀點(diǎn)，以饗讀者。

布魯斯·托馬斯：虛擬現(xiàn)實(shí)

幫助人類找到更健康未來

我們在支持行業(yè)發(fā)展中有兩個(gè)應(yīng)用案例，一個(gè)是使用遠(yuǎn)程技術(shù)和AR技術(shù)，我們希望能夠幫助設(shè)計(jì)員設(shè)計(jì)非常復(fù)雜的系統(tǒng)。通過控制器，我們還可以幫助健康行業(yè)找到更加健康的未來。在智慧醫(yī)療和醫(yī)療器械方面，我們希望能夠利用到這些技術(shù)搭建智慧城市。其中有一個(gè)方法，就是使用我們最新的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的技術(shù)。在國防方面，我們還可以增強(qiáng)戰(zhàn)士的戰(zhàn)斗力，增強(qiáng)戰(zhàn)士的認(rèn)知能力。還可通過

“視界化”的方式，管理好現(xiàn)有的軍隊(duì)。在基礎(chǔ)設(shè)施方面，我們也做了很多研究。

我們有些研究小組正在研究自動(dòng)移動(dòng)化的增強(qiáng)現(xiàn)實(shí)。同時(shí)，我們對認(rèn)知心理學(xué)、神經(jīng)科學(xué)，以及由增強(qiáng)現(xiàn)實(shí)所激發(fā)的視覺科學(xué)也非常感興趣。同時(shí)我們還有一個(gè)大規(guī)模的視覺中心，我們可以把一些大型的東西，比如車或者家具進(jìn)行視覺化，在增強(qiáng)現(xiàn)實(shí)當(dāng)中，可以利用視覺化技術(shù)幫助大家。心理醫(yī)生也可以使用我們的技術(shù)，還可以使用這些數(shù)據(jù)進(jìn)行分析。

如何利用AR、VR來設(shè)計(jì)一些非常復(fù)雜的空間？比如我們研究了如何設(shè)計(jì)核潛艇。我們設(shè)計(jì)了在核潛艇中睡覺的休息艙，我們正在打造下一代核潛艇，希望通過VR、AR技術(shù)設(shè)計(jì)得更好，然后在現(xiàn)實(shí)中進(jìn)一步進(jìn)行修改。我們請了一些專家?guī)椭M(jìn)行評估，整個(gè)過程大概花了一個(gè)星期。我們還要花半年到一年的時(shí)間，把原型機(jī)做出來。在做原型機(jī)上花的時(shí)間，比我們做電腦要多得多。另外我們也可以幫助醫(yī)院搭建他們的手術(shù)室，這些都是非常好的例子。不同領(lǐng)域的專家通過使用我們的技術(shù)，都可以形成非常好的解決方案。

紀(jì)堯姆·莫羅：沉浸和互動(dòng)是虛擬現(xiàn)實(shí)面臨的

兩大挑戰(zhàn)

上世紀(jì)70年代，AR、VR技術(shù)開始發(fā)展，現(xiàn)在被運(yùn)用到各種各樣的應(yīng)用中。業(yè)界有了成本非常高昂的設(shè)備應(yīng)用，還有一些不太現(xiàn)實(shí)的設(shè)備應(yīng)用。2010年以來，AR、VR的新時(shí)代開始了，出現(xiàn)了一些低成本的終端設(shè)備，還有一些大眾可以用的設(shè)備。

AR、VR表現(xiàn)的并不是真正現(xiàn)實(shí)的生活，在這里有兩大挑戰(zhàn)，就是沉浸和互動(dòng)。沉浸式應(yīng)用和技術(shù)方面有關(guān)系，比如比較大的像素;互動(dòng)是虛擬現(xiàn)實(shí)重要的元素，它講的是人和人機(jī)之間如何進(jìn)行交互。

AR、VR的應(yīng)用非常多，主要是視覺化方面的應(yīng)用，同時(shí)AR、VR的視覺并不是真實(shí)視覺當(dāng)中的視覺，是非常復(fù)雜的感知。沉浸是虛擬系統(tǒng)當(dāng)中非常重要的特點(diǎn)，比如視野，水平方向是200度，如果你轉(zhuǎn)動(dòng)你的頭，以比較快的VR眼鏡的轉(zhuǎn)動(dòng)速度，可達(dá)每秒600度。把人的視野、視覺和機(jī)器來進(jìn)行比較，有的時(shí)候人眼可以看到很多，但是現(xiàn)在整個(gè)虛擬現(xiàn)實(shí)沒有真正做到像人眼一樣，視力沒有得到很好的應(yīng)用。在現(xiàn)實(shí)生活當(dāng)中我們可以看到，手、眼睛可以進(jìn)行很好地配合，但是在VR當(dāng)中可能有點(diǎn)不一樣。

我們看看虛擬現(xiàn)實(shí)中城市的環(huán)境，看起來跟現(xiàn)實(shí)不太一樣。在現(xiàn)實(shí)當(dāng)中，這些樓宇是非常陳舊的。通過虛擬環(huán)境可以做出很好的效果，看到完全不一樣的情況。

杜本麟：

增強(qiáng)現(xiàn)實(shí)在實(shí)際應(yīng)用中尚處開發(fā)階段

身為一個(gè)增強(qiáng)現(xiàn)實(shí)研究者，大家常常會(huì)問我，杜教授你研究的未來的愿景是什么？我很喜歡放一部電影中的片斷，主要是未來人和電腦系統(tǒng)。未來人和電腦系統(tǒng)可能會(huì)有一種交互，你會(huì)跟虛擬的物體，在真實(shí)的空間進(jìn)行交互。它涉及的技術(shù)，除了圖形、圖像、人機(jī)交互，還有美術(shù)、藝術(shù)、光學(xué)。事實(shí)上，Gartner每年都有所謂最新科技

的預(yù)測，我們在10年前就關(guān)注了，那時(shí)候虛擬現(xiàn)實(shí)還是在上升階段。2018年之后，VR到了比較成熟的階段。增強(qiáng)現(xiàn)實(shí)在實(shí)際應(yīng)用上，還是在開發(fā)的階段。雖然我們現(xiàn)在在教育的方向上看到很多應(yīng)用，但對于更多方向，尤其是對C端來說，還有繼續(xù)努力的空間。

過去20年中，虛擬現(xiàn)實(shí)科研的議題主要在幾個(gè)方向。一個(gè)是屬于技術(shù)性的，計(jì)算機(jī)跟蹤、計(jì)算機(jī)視覺;另外一個(gè)應(yīng)用的方向比較特別，是增強(qiáng)現(xiàn)實(shí)在醫(yī)學(xué)上的應(yīng)用。其他三個(gè)方向，比如移動(dòng)端的增強(qiáng)現(xiàn)實(shí)，過去20年，隨著智能手機(jī)的普及，研究者也特別關(guān)注這個(gè)領(lǐng)域。在游戲或者學(xué)習(xí)領(lǐng)域也有比較多的應(yīng)用，還有一個(gè)方向是關(guān)于設(shè)計(jì)的方向。

從顯示端來說，頭盔早期都比較重，現(xiàn)在體積越來越小。當(dāng)然學(xué)界期望在頭盔市場有一個(gè)爆發(fā)性的成長，在未來也許能夠跟我們目前戴的眼鏡一樣重，或者一樣好看。增強(qiáng)現(xiàn)實(shí)怎么跟隱形眼鏡相結(jié)合，這是未來5-10年的研究和發(fā)展方向。

今天的醫(yī)療影像都是2D的，現(xiàn)在我們要在增強(qiáng)現(xiàn)實(shí)的環(huán)境下做呈現(xiàn)。傳統(tǒng)上來說，你看到的2D影像，我們當(dāng)然可以轉(zhuǎn)成3D的物件。在虛擬現(xiàn)實(shí)中，我相信這是非常普遍的，也比較容易做得到的事情。我們現(xiàn)在做的事情，事實(shí)上是在增強(qiáng)現(xiàn)實(shí)的環(huán)境下，直接把醫(yī)療圖像轉(zhuǎn)成3D圖像，轉(zhuǎn)成3D圖像的同時(shí)，與人工智能診斷相結(jié)合。比如一個(gè)肝癌的醫(yī)療圖像，我們轉(zhuǎn)成3D，可以通過它看到在肝里面的腫瘤，這是我們在實(shí)驗(yàn)室中為醫(yī)學(xué)應(yīng)用做的事情。

清川清：

在人工智能時(shí)代重新定義視覺

在人工智能時(shí)代如何重新定義我們的視覺？在視覺之前先看看聽覺技術(shù)的變化。助聽器很多人在用，在過去幾年中，助聽器變得越來越先進(jìn)，它可以采用數(shù)字信號(hào)處理的方式幫助聽覺。過去幾年我的聽覺下降很大，用了一種最新型的助聽器之后，我發(fā)現(xiàn)我的聽覺有了很大的改進(jìn)。因?yàn)楝F(xiàn)在新型傳感器是非常不一樣的，通過數(shù)字信號(hào)處理的方式，它變得越來越智能，讓我們獲得很好的感覺，比如降噪。

頭戴顯示器可以被稱為第二代的助聽器，或者叫做第二種助聽器。它有很大的優(yōu)勢，未來會(huì)變得非常舒服。盡管現(xiàn)在的尺寸還是太大，但未來頭盔顯示器的尺寸會(huì)進(jìn)一步變小，我們用起來會(huì)越來越舒服。視覺感知包括很多問題，有一些典型的視覺感知問題，比如視野、視力，還有動(dòng)態(tài)范圍等。

還有非典型視覺感知的問題，比如有些人患有斜視，有些人患有黃斑，還有人有超感官的感知等。我們可以隨心所欲地對視網(wǎng)膜圖像進(jìn)行操作，可以設(shè)計(jì)一個(gè)非常完美的視覺頭盔，但這還不夠。OST頭戴顯示器是影視原生的頭戴顯示器，它有超廣闊的視野、非常低的時(shí)延，還有非常好的其他一些功能，在非常強(qiáng)烈的光線照射下也可以使用。還有更多的技術(shù)，比如有角膜成像的校正技術(shù)。

下一步將會(huì)怎樣？去年我們做了一個(gè)項(xiàng)目，包括典型、非典型的視力。對非典型人體眼球帶來的問題，我們可以通過非典型的原理，再加上新型技術(shù)，能夠?qū)θ说囊曈X進(jìn)行很好的矯正。這樣能夠解決任何人所碰到的視覺問題。還有一個(gè)例子，在現(xiàn)實(shí)中的燒餅、一般的普通面條，在你戴上眼鏡之后，面條不但樣子看起來好看，還能夠操縱你的大腦感覺到味道，認(rèn)為這個(gè)拉面吃起來味道會(huì)更好。

溫曉君：

虛擬現(xiàn)實(shí)行業(yè)目前面臨三大瓶頸

隨著虛擬現(xiàn)實(shí)產(chǎn)業(yè)的迅速發(fā)展，越來越多的虛擬現(xiàn)實(shí)產(chǎn)品涌入市場，各行業(yè)消費(fèi)者對虛擬現(xiàn)實(shí)產(chǎn)品性能的要求也逐步提高。

為什么要對虛擬現(xiàn)實(shí)終端進(jìn)行檢測？一是標(biāo)準(zhǔn)化的終端檢測技術(shù)規(guī)范與測量手段可以對快速普及的產(chǎn)品進(jìn)行描述與約束;二是精確、快速的檢測技術(shù)是確保虛擬環(huán)境真實(shí)性和強(qiáng)烈沉浸感的基石;三是利于不同企業(yè)VR設(shè)備規(guī)范化，促進(jìn)形成VR行業(yè)規(guī)范;四是引領(lǐng)技術(shù)創(chuàng)新，促進(jìn)VR行業(yè)的進(jìn)一步發(fā)展。

那么檢測什么？包括VR設(shè)備清晰度性能關(guān)鍵指標(biāo)，比如有效像素比、顯示分辨率、角分辨率;VR設(shè)備沉浸感性能關(guān)鍵指標(biāo)，包括視場角、屏幕刷新率、跟蹤模式、動(dòng)顯延遲、傳輸速度;VR設(shè)備功耗與續(xù)航時(shí)間，包括功耗、續(xù)航時(shí)間;VR設(shè)備其他性能指標(biāo)，如光學(xué)/顯示/成像指標(biāo)，包括瞳距范圍、出瞳距離、出瞳直徑、畸變、色散、視度、亮度對比度、虛像距離等;定位追蹤指標(biāo)，如移動(dòng)跟蹤范圍、角度漂移、位置采樣頻率、轉(zhuǎn)/移動(dòng)跟蹤誤差、轉(zhuǎn)/移動(dòng)靈敏度等。

誰來檢測？目前來看，專業(yè)的VR檢測單位偏小。北京理工大學(xué)在南昌設(shè)了一個(gè)點(diǎn)，是南昌虛擬現(xiàn)實(shí)標(biāo)準(zhǔn)檢測和評測中心，日本和芬蘭有一些檢測機(jī)構(gòu)，目前都在做專業(yè)的VR檢測。不管是工信系統(tǒng)還是在ICT領(lǐng)域做檢測的機(jī)構(gòu)，未來也可以在VR業(yè)務(wù)上適當(dāng)進(jìn)行拓展，然后聯(lián)合辦VR檢測。我們希望專業(yè)的VR檢測認(rèn)證機(jī)構(gòu)越來越多，為產(chǎn)業(yè)提供更多的公共服務(wù)。

虛擬現(xiàn)實(shí)行業(yè)目前面臨三大瓶頸，一是標(biāo)準(zhǔn)缺失、規(guī)范缺乏，終端硬件設(shè)備、音視頻、人機(jī)交互、場景建模、信息安全、人體健康適用性等方面相關(guān)標(biāo)準(zhǔn)研究方面尚處于起步階段。二是虛擬現(xiàn)實(shí)技術(shù)以及檢測人才緊缺，中國VR專業(yè)化技術(shù)人才數(shù)量僅占全球2%，遠(yuǎn)低美（40%）英（8%）;終端檢測涵蓋硬件、軟件平臺(tái)以及VR內(nèi)容分級等多方面專業(yè)知識(shí)，復(fù)合型人才缺失;傳統(tǒng)計(jì)量檢測技術(shù)人才缺乏專業(yè)的VR終端檢測知識(shí)儲(chǔ)備。三是檢測認(rèn)證平臺(tái)發(fā)展滯后，VR技術(shù)、產(chǎn)品、行業(yè)應(yīng)用等多方面嚴(yán)重缺少專業(yè)的第三方檢測與評估機(jī)構(gòu)。

克里斯·桑德爾：高質(zhì)量增強(qiáng)現(xiàn)實(shí)

一定是跨學(xué)科的

過去20年，我最自豪或者最感興趣的是開發(fā)了一個(gè)系統(tǒng)：一團(tuán)火隨著手的移動(dòng)而移動(dòng)，現(xiàn)在看起來有點(diǎn)像魔術(shù)一樣，并且可以通過3D來模擬，2017年這個(gè)系統(tǒng)逐漸形成。我們有自己開發(fā)的3D軟件，可以做出模型，并加強(qiáng)顏色，還可以通過立體相機(jī)展示出來手的運(yùn)動(dòng)，不但能夠展示深度，還能展示移動(dòng)和流動(dòng)，這樣幫助我們建立一個(gè)了3D的手。你可以看到在模擬的過程中，火的密度、溫度都實(shí)時(shí)變化，而且這種變化都是在30毫秒內(nèi)完成的。

2017年，我發(fā)表了一篇關(guān)于增強(qiáng)現(xiàn)實(shí)的論文。通過技術(shù)你可以看到自己，然后看自己學(xué)習(xí)的狀況。年輕的醫(yī)學(xué)院學(xué)生很喜歡這一套系統(tǒng)，他們自己表現(xiàn)得特別好。可是對年長一些的醫(yī)生或者學(xué)生，這個(gè)系統(tǒng)不太好用。

現(xiàn)在高質(zhì)量的增強(qiáng)現(xiàn)實(shí)，一定是跨學(xué)科的，而且不止一個(gè)學(xué)科。實(shí)際上我自己感興趣的，比如說光學(xué)、計(jì)算機(jī)視覺、計(jì)算機(jī)神經(jīng)等，所有這些一定是跨越學(xué)科的。就好像谷歌眼鏡，大家覺得很好，但從視覺角度來看，卻完全是一個(gè)失敗案例。

迪特爾·施馬爾斯蒂格：虛擬現(xiàn)實(shí)

讓我們對數(shù)據(jù)了解得更好

虛擬現(xiàn)實(shí)如何幫助人們處理各種各樣的數(shù)據(jù)？很重要的一點(diǎn)是實(shí)現(xiàn)可視化?？梢暬^程講的是如何產(chǎn)生數(shù)據(jù)，如何讓數(shù)據(jù)能夠被我們理解。信息技術(shù)人員每天都和很多數(shù)據(jù)打交道，重點(diǎn)是如何讓這些數(shù)據(jù)變成一種很好的、能夠有說服力的數(shù)字。有了虛擬現(xiàn)實(shí)之后，我們能夠讓數(shù)據(jù)使用者在非常好的沉浸式環(huán)境中，對數(shù)據(jù)進(jìn)一步使用。利用增強(qiáng)現(xiàn)實(shí)，能夠通過可視化技術(shù)讓手機(jī)用戶獲得更好的用戶體驗(yàn)。當(dāng)我們把可視化和AR、VR結(jié)合起來，就產(chǎn)生了非常好的效果，這就是我們今天做的工作。

現(xiàn)在可以肯定的是虛擬現(xiàn)實(shí)就是在朝這些方向發(fā)展，當(dāng)然，其中并不僅僅是為了理解這些數(shù)據(jù)。VR如果用得好，能讓我們的游戲變得更加生動(dòng)。比如空間注冊或者叫空間注冊的視覺化，可以使用人體上的一些傳感器來做到。在可視化的同時(shí)，還必須把可視化和增強(qiáng)現(xiàn)實(shí)結(jié)合起來，進(jìn)行更加深度的觀測。在現(xiàn)實(shí)中，用戶是如何看待一些參照物的？如果工程師要對它進(jìn)行修理，或者要了解某一個(gè)零件的情況，通過VR、AR的方式，工程師就可以了解到某一個(gè)需要修理的零件到底是在哪一個(gè)位置，它處于一種什么樣的情況，這樣就可以

獲得一個(gè)空間注冊。增強(qiáng)現(xiàn)實(shí)一個(gè)非常重要的應(yīng)用，是X光視

覺。增強(qiáng)現(xiàn)實(shí)給我們這樣一個(gè)能力，就是找到問題所在，以便對機(jī)器里損壞的部件進(jìn)行修理。同時(shí)也能夠讓我們了解到，這臺(tái)機(jī)器所有部件的位置。

章國鋒：

借助三維視覺定位未知環(huán)境移動(dòng)設(shè)備

增強(qiáng)現(xiàn)實(shí)、機(jī)器人是當(dāng)前信息技術(shù)領(lǐng)域的前沿研究方向，他們都需要解決移動(dòng)設(shè)備在復(fù)雜未知環(huán)境中的定位和三維感知問題，我的研究就是借助于三維視覺技術(shù)來解決這兩個(gè)關(guān)鍵問題。

室內(nèi)機(jī)器人、無人機(jī)、增強(qiáng)現(xiàn)實(shí)等應(yīng)用需要實(shí)時(shí)定位設(shè)備在環(huán)境中的方位。多數(shù)定位方案存在局限性。比如，GPS無法在遮擋嚴(yán)重的環(huán)境中使用且精度較低;高精度慣導(dǎo)系統(tǒng)成本太高且難以民用。視覺SLAM技術(shù)有硬件成本低廉、小場景范圍內(nèi)精度較高、無需預(yù)先布置場景等優(yōu)勢。目前，SLAM的應(yīng)用領(lǐng)域主要有機(jī)器人、無人車、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等。

在一個(gè)非常復(fù)雜的城市大場景中，空中有無人機(jī)在飛，地上有無人車在開，人們可能會(huì)戴著AR、VR頭盔在看。你會(huì)發(fā)現(xiàn)這里面都需要對自身的位置進(jìn)行恢復(fù)和對環(huán)境的三維結(jié)構(gòu)進(jìn)行實(shí)時(shí)的重建，這就需要用到SLAM技術(shù)。在SLAM系統(tǒng)中，首先輸入傳感器信息，可以包括RGB圖像、深度圖、IMU測量數(shù)據(jù)等。前臺(tái)線程根據(jù)傳感器數(shù)據(jù)進(jìn)行跟蹤求解，恢復(fù)每個(gè)時(shí)刻設(shè)備的位姿。后臺(tái)線程對恢復(fù)的關(guān)鍵幀的位姿和場景三維點(diǎn)云進(jìn)行局部或全局的優(yōu)化，減少誤差累積;另外，檢測回路，并進(jìn)行回路閉合。

基于視覺的三維定位和感知主要有兩大挑戰(zhàn)：由于場景是動(dòng)態(tài)變化的，存在大量的缺乏特征或特征相似的區(qū)域，導(dǎo)致特征匹配不準(zhǔn)，高維度優(yōu)化容易陷入局部最優(yōu)，從而導(dǎo)致計(jì)算的精度和穩(wěn)定性不高。另外，由于場景規(guī)模大、計(jì)算維度高，導(dǎo)致需要巨大的計(jì)算量，難以在低計(jì)算能力的移動(dòng)平臺(tái)上實(shí)現(xiàn)實(shí)時(shí)的計(jì)算。

王莉莉：

用多試點(diǎn)繪制提高VR產(chǎn)業(yè)漫游效率

繪制實(shí)際上是計(jì)算機(jī)圖形學(xué)的重要研究內(nèi)容，同時(shí)繪制也是虛擬現(xiàn)實(shí)中的重要研究內(nèi)容之一。因?yàn)槿说母兄?0%以上來自于通道，繪制為虛擬現(xiàn)實(shí)提供了視覺的反饋。繪制與虛擬現(xiàn)實(shí)相碰撞的時(shí)候，會(huì)有哪些與傳統(tǒng)圖形學(xué)不同呢？

我們做了多試點(diǎn)繪制方法，將它應(yīng)們用于提高VR產(chǎn)業(yè)的漫游效率。比如說，中間的場景是教堂，有很多柱子，存在遮擋，需要到柱子后面看遮擋區(qū)域。如果一個(gè)柱子后面沒有找到目標(biāo)物，要退到其他的柱子后面去看。有沒有更為高效的瀏覽方法呢？為了能夠高效去除這些遮擋，我們會(huì)遇到三個(gè)問題：第一，如何檢測到遮擋;第二，如何建模遮擋;第三，怎樣去除這些遮擋。我們在傳統(tǒng)繪制的基礎(chǔ)上，對深度圖進(jìn)行不連續(xù)性的分析，然后建立遮擋的入口。同時(shí)，我們利用非傳統(tǒng)相機(jī)模型制造圖像機(jī)，然后可視化遮擋入口，將圖像機(jī)和多試點(diǎn)透視進(jìn)行結(jié)合，自動(dòng)去除這些遮擋。

剛才這個(gè)方法可以去除一般深度不太復(fù)雜的場景遮擋。如果場景中有更復(fù)雜的遮擋，比如說有樹、人群等，遮擋環(huán)境比較復(fù)雜時(shí)，怎么辦？我們在剛才的基礎(chǔ)上，引入細(xì)粒度的策略，檢測細(xì)度，用多試點(diǎn)的方法做。我們還將這種多試點(diǎn)透視的渲染方法和其他方法進(jìn)行了對比，在復(fù)雜遮擋環(huán)境下，實(shí)驗(yàn)表明多試點(diǎn)透視方法，能夠大大提高瀏覽的效率。