文 魏路
疊境科技之光 即將點亮未來
文 魏路
2016年5月,美國麻省理工大學(xué)博士、國際虛擬現(xiàn)實和光場技術(shù)專家虞晶怡及其團隊在上海創(chuàng)立疊境數(shù)字科技有限公司(以下簡稱“疊境”),同時在美國設(shè)立硅谷研發(fā)中心,天使輪便獲得4500萬元投資。隨之,疊境開啟了商業(yè)化探索之路。
2016年10月14日,中共中央政治局委員、上海市委書記韓正,市長楊雄等參觀了疊境光場技術(shù)的最新成果研發(fā),并體驗了最新VR技術(shù)帶來的震撼感受。
2016年11月20日,中共中央政治局委員、國務(wù)院副總理劉延?xùn)|、中共上海市委書記韓正、國家發(fā)改委副主任林念修、科技部副部長黃衛(wèi)等蒞臨參觀疊境創(chuàng)始人虞晶怡主導(dǎo)的信息學(xué)院虛擬視覺與視覺計算中心,并對其科研成果表示肯定。
2017年5月,疊境參加2017年“創(chuàng)業(yè)在上?!眹H創(chuàng)新創(chuàng)業(yè)大賽,成為創(chuàng)新資金立項企業(yè)。
陌生的光場技術(shù)、強大的創(chuàng)業(yè)團隊、4500萬元的天使輪融資、高端政府的關(guān)注度,對一個剛成立一年的科創(chuàng)企業(yè),疊境引起了記者的極大興趣,有太多“想知道”!今天,請跟隨記者,一起解碼疊境和它的光場技術(shù)。
疊境雖然成立于2016年5月,但是疊境的創(chuàng)業(yè)團隊對光場技術(shù)的研發(fā)可以追溯到十幾年前。
1998—2000年,在疊境的創(chuàng)業(yè)歷史中被稱為“追光”之旅。1998年,創(chuàng)始人虞晶怡博士進入美國加州大學(xué)開始計算機視覺的學(xué)習(xí)與研究,并于美國麻省理工讀博期間結(jié)識Jason Yang(疊境CTO),二人在此后創(chuàng)辦疊境數(shù)字科技“用技術(shù)改變世界”的理念上一拍即合。2000—2015年期間,疊境的核心成員日復(fù)一日地在實驗室里進行技術(shù)攻堅,為后來疊境的成立奠定核心技術(shù)基礎(chǔ)。
2015—2016年,美國麻省理工大學(xué)博士、美國特洛華州立大學(xué)終身正教授,上??萍即髮W(xué)教授、國際虛擬現(xiàn)實和光場技術(shù)專家虞晶怡正式成立疊境,并形成以洪煦、Jason Yang、馬毅為核心的團隊。
洪煦,疊境總經(jīng)理、聯(lián)合創(chuàng)始人,作為3D成像顯示和VR領(lǐng)域?qū)<遥瑩碛惺嗄觑@示行業(yè)研發(fā)及運營技術(shù)與商業(yè)“雙料”專家經(jīng)驗。
Jason Yang,疊境CTO、聯(lián)合創(chuàng)始人、MIT博士,AMD美國十余年任職經(jīng)歷,是一位光場成像和圖形圖像處理專家。
馬毅,著名科學(xué)家、聯(lián)合創(chuàng)始人。UC Berkeley 博士,前微軟研究院計算機視覺組主任及首席研究員、人工智能世界頂級專家。
“為什么你們的團隊研發(fā)光場技術(shù)十幾年后,在2016年成立疊境?”對此,記者感到不理解。
疊境總經(jīng)理洪煦向記者解釋道:“雖然光場技術(shù)的研究始于十幾年前,但是在此之前,我們并沒有發(fā)現(xiàn)它的商機。直到近年來AR、VR的發(fā)展,相應(yīng)的設(shè)備和應(yīng)用場景漸漸成熟?!?/p>
2016年被稱為AR、VR元年,虛擬現(xiàn)實領(lǐng)域的發(fā)展,不論是前端技術(shù)層面還是市場產(chǎn)品及應(yīng)用場景,均漸漸成熟。而這十余年,疊境的光場技術(shù)積累了豐富的經(jīng)驗,發(fā)表了百余篇光場領(lǐng)域權(quán)威文章,申請了十余項國際國內(nèi)專利,獲得了多個世界重量級科技與創(chuàng)新獎項。大眾對虛擬現(xiàn)實成像顯示的要求也越來越高,而疊境過硬的光場技術(shù),恰恰解決了虛擬現(xiàn)實成像顯示的前端技術(shù)難題。
強大的科研背景為疊境光場技術(shù)的商業(yè)化應(yīng)用與技術(shù)轉(zhuǎn)化奠定良好的基礎(chǔ),讓疊境迅速脫穎而出,獲得了4500萬元天使投資,也得到了業(yè)內(nèi)和資本的廣泛關(guān)注,成為全球虛擬現(xiàn)實領(lǐng)域國際一線領(lǐng)軍型企業(yè)。至此,疊境開啟了自己的商業(yè)化探索之旅。
光場是描述光在空間中輻射亮度的空間和方向分布,是對光線在空間傳播時的完整描述。疊境總經(jīng)理洪煦介紹,目前在光場技術(shù)領(lǐng)域的企業(yè)全球共有3家,都是做光場技術(shù)的后端產(chǎn)品,而疊境做的是光場技術(shù)的前段技術(shù)研發(fā)和應(yīng)用,國際國內(nèi)應(yīng)該是第一家。想要用AR、VR實現(xiàn)虛擬場景的最大真實化,產(chǎn)品及場景的前期的光場建模與光場渲染是最重要的技術(shù)環(huán)節(jié)。
疊境研發(fā)的光場建模是一種特殊的適用于靜、動態(tài)人與物品、動態(tài)場景光場拍攝系統(tǒng),由一維相機陣列、二維相機陣列、拱形光場掃描陣列、大型光場采集系統(tǒng)等組成,通過多相機陣列和深度相機自主結(jié)合,完整采集物品和人物的三維信息。通過光場采集系統(tǒng)采集到的三維信息,在疊境自主研發(fā)的重建系統(tǒng)中完成重建。這個系統(tǒng)包含10臺高性能工作站,并提供自主研發(fā)的高性能并行分布式重建算法,比市面上最好的商業(yè)軟件提速約10倍。提速的同時,疊境研發(fā)了最精確的三維光場重建算法,通過結(jié)合深度信息和多相機陣列,重建物體的三維點云,實現(xiàn)高效率、高質(zhì)量、高精度模型重建。
光場建模完成后,進入光場渲染。疊境利用特殊的光場渲染算法,重現(xiàn)不同視角觀看場景的效果,真正實現(xiàn)“眼見為實”。疊境的光場渲染是一種基于圖片的渲染,與傳統(tǒng)三維模型渲染相比,在實時渲染的情況下,光場渲染可以渲染出比三維模型更接近真實的效果,真實再現(xiàn)人眼所看到的視覺效果,即使最挑剔的人眼也難辨真假。光場渲染出的模型可以重現(xiàn)不同視角觀看場景的效果,任意角度皆可觀看。對于皮質(zhì)、金屬、木質(zhì)、青銅、玻璃、瓷等特殊材質(zhì)也能得到最佳渲染效果。
此外,針對市場上全景拼接絕大多數(shù)都只實現(xiàn)單目拼接,缺乏立體效果,導(dǎo)致VR沉浸感不足的問題,疊境自主開發(fā)了一套全新的360度實時雙目拼接算法,用于VR直播中真正實現(xiàn)立體效果,為其提供一整套服務(wù)流程,從視頻采集、實時處理、云服務(wù)器推流到終端顯示等技術(shù)服務(wù),是目前唯一一家實現(xiàn)立體效果的VR直播解決方案,該算法已成功申請PCT專利。而另一動態(tài)對焦與移動對焦技術(shù),則主要是解決了人類視覺上雙目視覺、動態(tài)聚焦 、移動聚焦的問題,實現(xiàn)了讓計算機“像人眼一樣看世界”的目標(biāo)。
目前,疊境已經(jīng)擁有光場建模、光場渲染、實時雙目拼接算法以及動態(tài)對焦與移動對焦等四大核心技術(shù)和數(shù)十項國際專利的完整體系,成功地將全球最頂尖的光場技術(shù)和人工智能研究成果應(yīng)用到虛擬現(xiàn)實、增強現(xiàn)實、3D成像等多個領(lǐng)域,幾乎滿足了所有虛擬現(xiàn)實的要求,代表著虛擬顯示行業(yè)的發(fā)展方向,給行業(yè)帶來了未來之光。
疊境建立的這一整套以光場采集、處理、顯示為核心解決方案,在技術(shù)向產(chǎn)品轉(zhuǎn)化的商業(yè)化探索之旅中,已經(jīng)形成“造物計劃”、“光場影視特效與VR內(nèi)容”、“360 3D VR直播”、“時間凝固”、“行業(yè)VR|AR+”五大核心業(yè)務(wù)線,在虛擬電商購物、文娛、影視等行業(yè)有了良好的應(yīng)用與實踐。
在成立的短短一年中,疊境參與國家“一帶一路”重大戰(zhàn)略,聯(lián)合中科院在泰國曼谷設(shè)立光場、VR、AR展示和應(yīng)用中心,參與阿里巴巴“造物神計劃”、中共一大會址VR全景、上海博物館虛擬博物館建設(shè)、G20 VR宣傳片拍攝、廣州醫(yī)學(xué)院VR胸肺腔手術(shù)、伊利新品VR直播發(fā)布會、騰訊“功夫世界杯”光場建模等一大批重量級項目,與阿里巴巴、騰訊、伊利、AMD、寧波GQY視訊股份有限公司、華數(shù)傳媒、上海東方傳媒等企業(yè)建立了戰(zhàn)略合作關(guān)系。
未來,疊境將建立起光場技術(shù)產(chǎn)品與應(yīng)用場景的標(biāo)準(zhǔn)化體系;同時完成B2B端向B2C端的轉(zhuǎn)化,讓光場技術(shù)產(chǎn)品惠及每個消費者;隨著智能化時代的不斷深入,建立光場技術(shù)內(nèi)容數(shù)據(jù)平臺也將在不久的一天被提上日程。