深度學習與混合現(xiàn)實分論壇：VR改變時代AI創(chuàng)造未來

編者按：10月21日上午，2019世界VR產(chǎn)業(yè)大會“深度學習與混合現(xiàn)實分論壇”召開。本次活動由南昌工學院承辦，江西以太科技園有限公司、中澳增強現(xiàn)實與深度學習重點實驗室協(xié)辦。本次活動以“VR引領時代AI創(chuàng)造未來”為主題，對深度學習如何推動VR產(chǎn)業(yè)發(fā)展進行了深入的討論。全國高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟秘書長朱啟明主持論壇。本報特編發(fā)論壇主要內(nèi)容，以饗讀者。

本報記者 李佳師

康燦華：

致力加速AR/VR高校人才培養(yǎng)

南昌工學院是一所致力于培養(yǎng)為區(qū)域經(jīng)濟發(fā)展服務人才的高水平綜合高校，一直以來十分重視VR人才培養(yǎng)的投入與發(fā)展，很早就開設了VR、AI專業(yè)?；旌犀F(xiàn)實技術是虛擬現(xiàn)實技術的進一步發(fā)展，通過在虛擬世界再現(xiàn)現(xiàn)實場景信息，在虛擬世界、現(xiàn)實世界和用戶之間搭建一座相互反饋的信息，增強用戶更多體驗感，深度學習與AR、AI將在本世紀大放異彩。深度學習的引入、拓展了AR/VR的應用領域，夯實了AR/VR的參與機制。

沈春華：

利用深度學習加速像素級別預測

我今天跟大家分享的是基于深度學習的像素級別預測。這個問題是什么樣的呢？大家可能知道現(xiàn)在通過計算機視覺能夠理解和預測很多你感興趣的與圖片相關的特征、性質(zhì)。而圖像級別的預測則意味著每個像素都要做預測，具體從數(shù)據(jù)上來說，就是給出輸入的圖片，我們都需要估計一個函數(shù)，然后輸出感興趣的預測。我們最近正在做的工作是語義分割，就是改革輸入圖片，設定標定標簽，主要目標是把集成量降下來，讓深度學習嵌入到移動端。雖然深度學習正趨向于構建更深層的模型結構以提高性能，然而近來一些結果表明，考慮到其他限制，僅僅增加網(wǎng)絡層數(shù)不是最佳選擇。而新型淺層殘差網(wǎng)絡結構能夠在分類和語義分割任務上大幅優(yōu)于更深層網(wǎng)絡，在像素標定方面，基于Cityscaps數(shù)據(jù)集的方法相對于傳統(tǒng)目標提取有更大的優(yōu)越性。

何旭明：

新視角的對應關系學習實現(xiàn)有限數(shù)據(jù)更完整呈現(xiàn)

今天主要分享我們課題組正在做的“用于新視角的對應關系學習”，我們的主要目標是希望用有限的數(shù)據(jù)來產(chǎn)生一個更完整的視覺表示。其中最重要的挑戰(zhàn)，是需要在不同的視角或者不同的版本圖像之間建立一個對應關系。我們主要采用的技術是混合的技術，希望能夠把數(shù)據(jù)驅(qū)動的策略，以及基于知識的驅(qū)動策略進行融合。除了深沉浸網(wǎng)絡，我們還希望加入人類的知識。

什么叫產(chǎn)生新的視角？就是給了一個視角，比如你拍了一些照片，我們希望能換一個視角看這個場景會是怎么樣，即產(chǎn)生一個新視角圖。怎么做到？我們主要的想法是把一些場景用平面來表示，然后模擬在不同視角下的不同之處。這樣可以用一個組合的方式，相當于用兩個函數(shù)，一個函數(shù)告訴我們這個平面在哪里，另外一個函數(shù)是這個平面是怎么變化的。比如一張圖上，左邊一匹馬、右邊一匹馬，我們希望建立對立關系。這其中有很多挑戰(zhàn)的問題，包括有大的視角的變化，還有不同物體，不同背景的區(qū)別。以前的方法是每個圖像提取一個特征，然后提取相關性，相當于得到一個類似的變化。這里面的問題是你提取的特征很難包括全局的信息，容易出現(xiàn)錯誤的匹配。比如說左邊自行車的前輪匹配到右邊自行車的后輪上面。我們怎么更好的判斷對應關系，以及有時候上下關系是有用的，有時候上下關系沒有用，因此我們希望用動態(tài)的方式，混合這兩種信息，然后呈現(xiàn)最好的效果，這是我們主要的兩個思想。同時，這兩個功能也是用兩個網(wǎng)絡功能的分支來實現(xiàn)，前面的步驟是計算全局的特征，后面的步驟是計算動態(tài)的混合。這樣的方法進行匹配其結果有很大的提升。

李升雨：

利用眼動追蹤技術

加速了解用戶想法

VisualCamp公司成立于2014年，在韓國有25個專利，海外有15個專利，公司共有20人，主要研發(fā)眼動追蹤技術。通過眼動追蹤技術我們可以看到用戶在屏幕上看到了什么東西，用戶關心關注哪一個東西。這個技術的應用范圍很廣泛，世界上有30億人用手機，如果利用這個技術采集用戶視線數(shù)據(jù)，按照這些視線數(shù)據(jù)，我們就能夠了解用戶的想法，知道用戶的關注點，按照用戶的關注點企業(yè)能夠改進服務，帶來收入提升。目前在全球比如美國、歐洲等地有不少公司都在進行這方面的技術研發(fā)，臉書、谷歌、蘋果都在進行相應技術研究。

現(xiàn)在VisualCamp的算法加上AR技術，人人都可以用眼睛來控制他的手機。我們在VR眼鏡、手機、平板、PC等設備上插進一個小模塊，就可以用眼睛來操作。比如我們與韓國公司合作的項目，這是英文的內(nèi)容，如果學生關注點在屏幕上，意味著他的聽力水平很好，如果他的視線在字幕上，意味著他的聽力水平或者英語水平不夠好。所以，就可以按照他的水平推薦一些內(nèi)容。比如我們與電商合作的一個項目，當用戶瀏覽的時候我們采集他們的視線數(shù)據(jù)，就可以知道用戶關注點，是關心價格還是關注產(chǎn)品性能，電商就可以按照用戶的關注反饋推薦產(chǎn)品。我們在韓國跟現(xiàn)代汽車做過一個項目，我們也為OPPO手機提供技術。我們的商業(yè)模式是B2B，我們把我們的版權賣給合作公司或者制造商。我畢業(yè)于清華大學，現(xiàn)在負責公司銷售部門的工作。我們公司的工程師大部分畢業(yè)于首爾大學，現(xiàn)在開發(fā)算法和應用方面的技術。

王新云：

VR在工業(yè)領域有很大應用空間

材料成形控制專業(yè)是全國高校開設最多的專業(yè)之一，目前有200多個高校開設這個專業(yè)，它是一個機械和材料相結合的專業(yè)，研究材料裝備對虛擬制造技術有很大關系。材料成形及控制涉及了鑄造、鍛造、焊接、3D打印等專業(yè)，非常復雜，學生實習去工廠很難看清楚這些設備，因為設備很大也很保密，所以很難獲得很好的體驗，但利用虛擬現(xiàn)實就能夠讓學生沉浸在里面獲得更多現(xiàn)場的知識。

VR技術可以應用于分析求解材料設備成形過程中復雜的缺陷等問題。通過虛擬制造的技術，我們可以看到在封閉的模具里面的變形，我們也可以看到冷卻分析等很真實的虛擬過程。這是很復雜的前沿，各個溫度的差異都可以很清楚的反映出來。VR+CAE具有非常好的產(chǎn)業(yè)化前景的，在工業(yè)設計、虛擬工業(yè)設計、虛擬生產(chǎn)方面都有很多的應用。

羅訓：

影視制作能力的不足

虛擬現(xiàn)實的內(nèi)容現(xiàn)在呈現(xiàn)兩個趨勢，一是需求爆發(fā)式的增長;二是生產(chǎn)能力遠遠跟不上需要。以影視行業(yè)為例子，原來說到大片的時候，大家都說好萊塢的大片，但從去年到今年，中國制造的工業(yè)級大片越來越多。2017年，中國電影院放映的熒幕數(shù)已經(jīng)超過美國，未來兩到三年中國的熒幕數(shù)就會超過美國。中國還有一個特點，網(wǎng)劇的播放量比較大，《延禧攻略》播放了150億次。很火的網(wǎng)劇制作時間很短，所以大量的內(nèi)容需要靠制作來完成，這是個突出的矛盾。

我們著重研究三個領域的智能化技術：一是基于攝影測量的數(shù)字制景，從去年到今年我們支持了四部播放量超過10億級的網(wǎng)劇和電視劇的制作;二是數(shù)據(jù)驅(qū)動的城市三維建模，與滴滴、阿里巴巴等公司合作，做城市的規(guī)劃以及城市建設的優(yōu)化;三是人臉掃描和人臉建模，這個工作有助于未來千萬級，甚至上億級的國家第三代身份證的應用，因為里面的照片信息本來就是三維立體的?；跀z影測量的數(shù)字制景過程首先要有一個采集規(guī)劃，然后采集大量的照片，再然后將采集來的大量照片進行一個反算，最后形成一個非常大規(guī)模的視頻。我想說的就是：第一它的應用特別廣。第二這個應用是虛擬現(xiàn)實里面非常典型的應用，它集成了很多計算技術在里面。第三它是高效率的渲染技術。

婁巖：

利用VR/AR破解醫(yī)療教育培訓難題

5G、6G在很多領域的產(chǎn)品化工作還有很長的路要走，落地很難，但是VR/AR在今天的各行各業(yè)都可以落地了。根據(jù)醫(yī)學形態(tài)學的特點和醫(yī)學數(shù)據(jù)的精準性要求，VR在醫(yī)學領域的應用主要是培訓和教學，具體可分為兩種：一是用于實操性的VR實現(xiàn)，如手術模擬;二是用于可視化的VR實現(xiàn)，如解剖教學。醫(yī)學上的VR的實現(xiàn)與其他領域的VR的實現(xiàn)不同，有嚴格的要求，如醫(yī)學模型首先要符合真實人體器官和組織結構。其實現(xiàn)相對其它領域的VR應用更為復雜和困難。

VR應該在醫(yī)學中有許多關鍵技術需要解決，比如三維重建，醫(yī)學類的三維重建首先要根據(jù)我們自己的需求選擇數(shù)據(jù)獲取數(shù)據(jù)的方式及格式，如CT影像三維數(shù)據(jù)、高精度點云掃描數(shù)據(jù)、圖像識別成像數(shù)據(jù)等，據(jù)此選擇重建的方式和工具。比如力反饋和定位技術的實現(xiàn)，力反饋技術指用于再現(xiàn)人對環(huán)境力覺的感知。借助于力覺交互設備，人們可以真實的按照人類的肢體語言進行人機自然互動和信息交流，通過應用力反饋設備，可以獲得和觸摸實際物體時相同的運動感，從而產(chǎn)生更真實的沉浸感。比如人體器官組織柔性體的切割與破碎等問題。我們團隊組建于2013年，致力于VR人機交互內(nèi)容制作、3D虛擬仿真、VR產(chǎn)品研發(fā)，同時與全國各大醫(yī)療機構、高等院校合作，進行前沿性課題研究、學術交流以及技術轉(zhuǎn)讓等活動。

陳曉華：

5G帶來更多流量入口加速數(shù)字經(jīng)濟發(fā)展

人要致富先修路。最早的時候我們修的是公路、鐵路、高鐵、機場，進入信息時代，我們需要修信息高速公路。5G對數(shù)字經(jīng)濟的作用，我的觀點是5G將催生和推動各行各業(yè)的數(shù)字化發(fā)展，率先在交通、能源、制造、教育、醫(yī)療、消費、休閑娛樂等行業(yè)進行運用，促進傳統(tǒng)商業(yè)模式演進，帶來巨大的經(jīng)濟價值。5G不僅僅是提速，將帶來更大的商業(yè)價值和模式的轉(zhuǎn)變，沒有5G就不能大力發(fā)展數(shù)字中國。5G具備四大特點：高帶寬、低延時、靈活開放、大連接，5G將開啟萬物互聯(lián)的時代。現(xiàn)在經(jīng)濟有三個端口：一是手機;二是家里的電腦;三是平板。誰控制了入口，誰就占有了所有未來經(jīng)濟的主力。為什么現(xiàn)在的微信、美團這么厲害？因為它們把流量端口控制了。因為未來的5G發(fā)展之后，還有一個端口，就是汽車，汽車不只是汽車，將是流量的入口。VR/AR設備，也是一個大流量的入口。暢想5G有兩個關鍵點：一是整個移動通信網(wǎng)絡將需要面對數(shù)字化轉(zhuǎn)型的契機。二是因為5G商用后數(shù)據(jù)越來越多，我們需要把數(shù)據(jù)轉(zhuǎn)成數(shù)字經(jīng)濟，要數(shù)據(jù)的資產(chǎn)化。

楊恒：

CV讓虛擬變得真實

VR讓真實變得虛擬

首先談談CV（計算機視覺）和VR之間的關系。計算機視覺想解決虛擬的眼睛看待真實的世界，即通過二維的圖象來理解三維的過程。虛擬現(xiàn)實剛剛相反，是怎么讓真實的人看到虛擬的世界。這是我對CV和VR的理解。我們也做了一些基于CV與VR結合的應用，比如利用CV技術進行人臉的跟蹤。如果女生對大的品牌比較關注，可以看一下美國和歐洲香奈兒的官網(wǎng)，買太陽鏡的時候可以試戴眼鏡，不同的太陽鏡試戴的效果。在京東如果你用京東的APP選擇口紅，也可以看到你涂抹這個口紅后的效果，它里面的虛擬時裝功能可以讓你試各種口紅的色號?，F(xiàn)在大部分的女生手機里面都有了美顏軟件，我們是在2016年、2017年給美顏做了30、40個底層的技術支撐。所以說CV技術跟VR技術結合，在人們生活中有大量的直接應用。

CV可以幫助VR，VR能否反過來幫助CV？VR可以幫助我們解決一些數(shù)據(jù)問題，有了一些數(shù)據(jù)之后通過仿真的方式產(chǎn)生更多的數(shù)據(jù)。比如，我這里只有一個人臉圖片，通過VR我們可以將之恢復成3D人臉，之后就可以產(chǎn)生各個角度、各個光照、各種各樣的表情，還有戴上眼鏡、口罩各種各樣的數(shù)據(jù)，使用VR的手段，使得生成更快。未來我們是怎么樣的？我希望未來的計算機，無論是車載的系統(tǒng)還是辦公室的系統(tǒng)，都能理解你的情感，最終人和計算機是非常友好的工作，更好的交互。

李漢曦：

利用深度學習加快增強現(xiàn)實應用

我們是新浪投資的一家初創(chuàng)公司，我們探索的方向是人工智能和增強現(xiàn)實跨界整合，目前已經(jīng)做了三年時間。

增強現(xiàn)實從上世紀70年代萌發(fā)，到現(xiàn)在經(jīng)歷了三代：第一代是MarkAR，這是目前應用最廣的現(xiàn)實增強技術。第二代叫SLAMAR，這是目前最流行的AR技術。目前在這個領域做得比較好的主要是蘋果和谷歌。第三代的VR能夠針對物體進行定位，我們叫做實物AR。在2017年當時還是SLAM AR當?shù)赖臅r候，我們就已經(jīng)能夠做到自然光照下復雜背景下全天侯的實時AR。為什么我們能做到？是我們利用了深度學習，因為利用深度學習我們能夠?qū)R做到象素級的精確度。所以利用深度學習在AR上有很大的價值。進入2019年產(chǎn)業(yè)界有兩個大的變化，一個5G元年推動邊緣計算興起，把深度學習能力帶到移動芯片中。比如說蘋果的仿生芯片，還有華為的手機芯片，都開始重視深度學習的能力。在這種情況下，我們的AR技術就可以植入到移動端，這個意義是非常大。換句話說，在明年所有的手機都可以用深度學習的形式進行實物VR，那時候我們可以走向萬物VR，萬物自己解釋自己的時代。另一個變化，因為5G元年移動端到云端的距離越來越短，速度越來越快。在云端計算完全可以替代一部分移動端的工作。邊緣計算和5G集合可以把AR更加普及化。而我們做了兩個簡單的工作，一是把我們的深度學習算法，移植到蘋果iPad和iPhone中。二是用微信掃一掃AR，掃一掃小程序，就可以演示之前的實物VR。

沈復民：

安防領域有了混合現(xiàn)實能夠更智能

我們是電子科技大學19位教授一起出來做的一個公司，名字叫考拉悠然科技公司，主要做AR技術產(chǎn)業(yè)化的落地。

智能安防是一個很大的市場。2016年的中國安防報告顯示，到2022年，中國的安防產(chǎn)業(yè)會達到萬億元的市場規(guī)模，其中AI+產(chǎn)業(yè)是570億元，其中的53%，300多億元是AI+安防。到2021年AR+安防會達到2000多億元，這個增速會非?？臁槭裁催@幾年增速會非?？?？因為到2020年人工智能真正開始活起來了，從今年開始，我們已經(jīng)開始大規(guī)模落地，中國智能安防快速增長很大的原因，是因為中國是全世界擁有攝像頭最多的國家，即便如此中國的二、三線城市攝像頭的密度還遠低于歐美國家，原因是中國的這些攝像頭還是分布在一線城市，也就是說，這里有巨大的市場空間，可以讓新鋪裝的攝像頭都是AR化的攝像頭。

目前，中國鋪裝了這么多的攝像頭，大多數(shù)的功能只有三個：錄、播、囤。如果出了重大的安全事件再回去查，整個過程非常煩瑣、低效。智能安防能為安防插上智慧大門，帶來安防行業(yè)巨大的提升，而智能安防不僅依賴于人臉識別，還需要多形態(tài)識別，包括行為的分析、動作的識別、語音的識別等，才能產(chǎn)生更大的價值。這里面列舉的還只是我們視覺里面包括的相關多媒體信息。而有了AR、VR，意味著不僅為安防裝上了眼睛、裝上了大腦，還裝了視覺、觸覺、味覺、聽覺、嗅覺等，把人的所有感知因素全都融合在一起。

金寶境：

利用AR/VR加速博物館現(xiàn)代化

我們的研究背景關注千禧時代的消費者。韓國的千禧時代是指1982年到2000年出生的人，他們關注什么？他們的特點是工作和生活都相結合、不想加班，高度重視性價比。

韓國5G技術已經(jīng)非常商業(yè)化。2018年韓國開始5G使用，2019年韓國5G開通了，目前5G使用移動手機的人數(shù)已經(jīng)超過3000萬人數(shù)。在這樣的背景下，韓國的AR/VR現(xiàn)在是加速推進階段。博物館是AR/VR非常重要的應用場景，博物館也需要隨著消費者方向而推進轉(zhuǎn)型，為吸引千禧一代觀眾，博物館需要在體驗和感受上進行變化。

安東博物館是一個歷史悠久的博物館，這個博物館的遺產(chǎn)在抗日戰(zhàn)爭時期毀滅了，所以他們希望通過AR/VR來呈現(xiàn)當時的生活、當時的文物。不僅僅是安東博物館，富川地區(qū)的水石博物館、中央博物館、NEXO計算機博物館、富山電影博物館等，都在采用AR/VR來提升博物館的體驗，從這些案例我們都看到韓國AR/VR呈現(xiàn)的博物館比較活躍，發(fā)展也非?？?。