VR技術(shù)在建筑漫游中的探究與應(yīng)用

摘? ? 要： VR與無(wú)人機(jī)合作的觸角已經(jīng)伸到了各種領(lǐng)域，戴上VR眼鏡進(jìn)行無(wú)人機(jī)操作可以得到沉浸式的真實(shí)感受。本項(xiàng)目以教育研究為出發(fā)點(diǎn)，立足于《建筑模型設(shè)計(jì)與制作》課程將無(wú)人機(jī)+VR眼鏡來(lái)制作3D視頻或者用來(lái)給用戶帶來(lái)建筑全方位視角體驗(yàn)的技術(shù)可行性進(jìn)行研討。

關(guān)鍵詞：建筑漫游;VR技術(shù);沉浸式體檢

1? VR技術(shù)概述

1.1? VR技術(shù)

VR是Virtual Reality的縮寫，中文的意思是虛擬現(xiàn)實(shí)。虛擬現(xiàn)實(shí)技術(shù)是一種能夠創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真技術(shù)，它利用計(jì)算機(jī)生成一種交互式的三維動(dòng)態(tài)視景，其實(shí)體行為的仿真系統(tǒng)能夠使用戶沉浸到該環(huán)境中。今天VR技術(shù)已成為新產(chǎn)品設(shè)計(jì)開發(fā)的重要手段。其中，協(xié)同工作虛擬現(xiàn)實(shí)是VR技術(shù)新的研究和應(yīng)用的熱點(diǎn)，它要考慮多個(gè)參與者在一個(gè)共享的空間中如何相互交互，在VR環(huán)境下的進(jìn)行協(xié)同設(shè)計(jì)，團(tuán)隊(duì)成員可同步或異步地在虛擬環(huán)境中從事構(gòu)造和操作虛擬對(duì)象的活動(dòng)，并可對(duì)虛擬對(duì)象進(jìn)行評(píng)估、討論以及重新設(shè)計(jì)等活動(dòng)。

2? VR技術(shù)是如何在建筑漫游中應(yīng)用

2.1? 無(wú)人機(jī)拍攝的技術(shù)優(yōu)勢(shì)

將無(wú)人機(jī)拍攝的圖像進(jìn)行實(shí)景三維模型建模。形象點(diǎn)說(shuō)，就相當(dāng)于把自己的眼睛“安裝”在無(wú)人機(jī)上，體驗(yàn)者自己已經(jīng)化身為無(wú)人機(jī)，在虛擬的世界感受現(xiàn)實(shí)的景觀。比如天辰智創(chuàng)團(tuán)隊(duì)在西嶺雪山就曾經(jīng)呈現(xiàn)給游客一種全新的智慧旅游觀景體驗(yàn)。據(jù)項(xiàng)目創(chuàng)始人介紹，因?yàn)槊總€(gè)景區(qū)都有大量未被開發(fā)或無(wú)法被開發(fā)的絕美風(fēng)景是游人雙腳無(wú)法到達(dá)的，借助于“無(wú)人機(jī)&VR”技術(shù)，等于給了體驗(yàn)者上帝的雙眼和小鳥的翅膀，身臨其境的從人類不可能到達(dá)的角度去感受美景。

2.2? 無(wú)人機(jī)拍攝的與建筑漫游結(jié)合的難點(diǎn)

第一，硬件技術(shù)的局限。目前設(shè)備使用不便、效果不佳等問(wèn)題仍然突出，硬件的處理速度遠(yuǎn)不能滿足在虛擬世界中實(shí)時(shí)處理大量數(shù)據(jù)的需求。相關(guān)設(shè)備的價(jià)格也十分高昂，一個(gè)頭盔式顯示器加上主機(jī)的成本動(dòng)輒上萬(wàn)元。

第二，軟件可用性差。受硬件局限性的影響，虛擬現(xiàn)實(shí)軟件開發(fā)花費(fèi)巨大且效果有限，相關(guān)的算法和理論也尚不成熟。在新型傳感機(jī)理、集合與物理建模方法、高速圖形圖像處理、人工智能等領(lǐng)域，都有很多問(wèn)題亟待解決。三維建模技術(shù)也需進(jìn)一步完善。

第三，應(yīng)用領(lǐng)域有限。目前，虛擬現(xiàn)實(shí)技術(shù)主要應(yīng)用于軍事和高?？蒲?，在教育、工業(yè)領(lǐng)域應(yīng)用還遠(yuǎn)遠(yuǎn)不足，未來(lái)應(yīng)努力在民用領(lǐng)域的不同行業(yè)發(fā)揮作用。

第四，效果不夠理想。在虛擬現(xiàn)實(shí)的感知方面，有關(guān)視覺(jué)合成方面的研究較多，對(duì)聽覺(jué)、觸覺(jué)關(guān)注較少，真實(shí)性、實(shí)時(shí)性不足，基于嗅覺(jué)、味覺(jué)的設(shè)備還沒(méi)有實(shí)現(xiàn)商品化。此外，在交互效果方面，虛擬現(xiàn)實(shí)技術(shù)與人的自然交互不足，在語(yǔ)音識(shí)別、人工智能方面的效果尚不能令人滿意。

3? 對(duì)于應(yīng)用VR技術(shù)于建模漫游的思考

3.1? 前期的數(shù)據(jù)收集

我們的課題首先嘗試在深圳福田某中學(xué)開展培訓(xùn)課程，通過(guò)中學(xué)生對(duì)無(wú)人機(jī)與VR眼鏡結(jié)合建筑瀏覽課程制作出建筑三維建筑模型一個(gè)區(qū)域范圍內(nèi)的拍攝建模。我們用最常見的折線飛行。折線飛行顧名思義就是讓飛機(jī)走之字型的路徑，掃描整個(gè)要拍攝的區(qū)域，這種方式比較適合拍攝大面積的場(chǎng)景。

無(wú)人機(jī)拍攝的圖像進(jìn)行實(shí)景三維模型建模，大規(guī)模重建任務(wù)更多使用長(zhǎng)航時(shí)的固定翼無(wú)人機(jī)拍攝的海量圖像。并將其還原成三維模型不僅是對(duì)服務(wù)器硬件的一個(gè)巨大考驗(yàn)，更對(duì)三維重建算法的擴(kuò)展性有極高的要求。我們學(xué)生面對(duì)這個(gè)巨大的挑戰(zhàn)，顯得毫不畏懼，對(duì)這種大規(guī)模重建任務(wù)駕輕就熟，并能夠出色完美地完成客戶的處理要求。

3.2? 提出超視距觀察的解決思路

本課題研究以VR眼鏡使用APP軟件功能與無(wú)人機(jī)飛控系統(tǒng)相結(jié)合改造傳統(tǒng)的建筑瀏覽，擬通過(guò)這項(xiàng)幾項(xiàng)新技術(shù)結(jié)合傳統(tǒng)的建筑瀏覽課程來(lái)定制視頻制作軟件、建筑構(gòu)造改造，三維地圖設(shè)計(jì)開發(fā)等項(xiàng)目。

（1）VR眼鏡通同APP軟件匹配到無(wú)人機(jī)圖傳數(shù)據(jù)上，圖傳會(huì)傳輸實(shí)時(shí)圖像到VR眼鏡上，通過(guò)飛行技術(shù)人員來(lái)操控?zé)o人機(jī)，云臺(tái)手通過(guò)VR眼鏡從多個(gè)不同角度跟拍無(wú)人機(jī)畫面.

（2）數(shù)據(jù)測(cè)繪軟件掛載在無(wú)人機(jī)上來(lái)實(shí)現(xiàn)測(cè)繪建筑室外室內(nèi)三維數(shù)據(jù)，致力于城市三維數(shù)據(jù)地圖與軟件開發(fā)創(chuàng)新研發(fā)等項(xiàng)目。

（3）人機(jī)結(jié)合VR眼鏡來(lái)制作3D視頻或者用來(lái)給用戶帶來(lái)建筑全方位視角體驗(yàn)，再結(jié)合學(xué)生開發(fā)軟件平臺(tái)，進(jìn)而讓學(xué)生能夠自主研發(fā)創(chuàng)新更多領(lǐng)域的技術(shù)，

學(xué)生通過(guò)運(yùn)用VR可視系統(tǒng)體驗(yàn)全新四維建筑交互體驗(yàn)，從而對(duì)科技產(chǎn)業(yè)的濃厚興趣來(lái)進(jìn)行開發(fā)創(chuàng)新。

4? 針對(duì)建筑漫游與VR結(jié)合的的對(duì)策

參與三維重建的圖像也就是數(shù)據(jù)量越大，所需的處理時(shí)間自然也會(huì)變長(zhǎng)。但是究竟處理時(shí)間會(huì)變得多長(zhǎng)卻是大有文章。在計(jì)算機(jī)科學(xué)的世界里，我們會(huì)使用一個(gè)叫做 “時(shí)間復(fù)雜度” 的衡量標(biāo)準(zhǔn)來(lái)評(píng)價(jià)一個(gè)算法因應(yīng)數(shù)據(jù)量的增多，處理時(shí)間的變長(zhǎng)程度。我們舉個(gè)例子，如果有兩個(gè)三維重建系統(tǒng)他們處理 100 張圖都花了1小時(shí)。當(dāng)圖像數(shù)量變成 10 倍 1000 張圖片的時(shí)候，其中一個(gè)系統(tǒng)的處理時(shí)間只是原來(lái)的 10 倍，變成了 10 小時(shí)，這樣的系統(tǒng)，我們?cè)u(píng)價(jià)他的時(shí)間復(fù)雜度是線性的。但是另一個(gè)系統(tǒng)，卻變成了原來(lái)的 100 倍，需要處理 100 小時(shí)。

4.1? 建筑漫游的高效大規(guī)模三維重建

同類重建軟件空三處理步驟受限于圖片數(shù)量，通常需要預(yù)先對(duì)原始處理數(shù)據(jù)人為做切分處理。由于其空三步驟是分開單獨(dú)進(jìn)行處理，即使后期加入控制點(diǎn)進(jìn)行優(yōu)化，單獨(dú)重建的不同模型仍然會(huì)出現(xiàn)連接區(qū)域不一致的問(wèn)題。無(wú)人機(jī)與VR 眼鏡結(jié)合建筑瀏覽恰好能夠完美解決上述問(wèn)題。無(wú)論輸入圖片數(shù)據(jù)數(shù)量的多少，都能生成完整、連續(xù)、無(wú)切分的空三結(jié)果。加上基于整體模型的網(wǎng)格和紋理優(yōu)化，大大提升了最終紋理模型的精確性和一致性。

4.2? 高效的算法級(jí)并行處理

無(wú)人機(jī)與VR 眼鏡結(jié)合建筑漫游的高效三維重建得益于我們自行研發(fā)的先進(jìn)分布式并行處理系統(tǒng)和高度優(yōu)化的分布式并行三維重建算法。不同于同類軟件將整個(gè)模型分塊進(jìn)行并行運(yùn)算，學(xué)生之間則會(huì)通過(guò)深度學(xué)習(xí)，綜合相片的視覺(jué)信息和空間信息等各方面的要素，自動(dòng)地把每個(gè)步驟的任務(wù)分割成恰當(dāng)大小的任務(wù)在多機(jī)上并行處理，包括特征提取、空三、密集點(diǎn)云、網(wǎng)格生成、紋理貼圖。由于同類軟件空三步驟都是單機(jī)運(yùn)行，一旦空三任務(wù)失敗，使用者必須重新處理整個(gè)空三任務(wù)，經(jīng)歷漫長(zhǎng)等待。空三步驟能夠自動(dòng)進(jìn)行任務(wù)級(jí)并行，從而大幅提升了空三的效率。此外，我們很好利用了圖形運(yùn)算單元（GPU）幫助特征點(diǎn)運(yùn)算、密集點(diǎn)云和網(wǎng)格優(yōu)化，極大增強(qiáng)了整個(gè)重建任務(wù)的并行度和服務(wù)器的使用率。因此，建筑瀏覽能夠?qū)崿F(xiàn)真正大規(guī)模重建的可擴(kuò)展性，這解釋了為什么無(wú)人機(jī)與VR 眼鏡結(jié)合建筑瀏覽能夠做到處理時(shí)間和處理效率能夠隨著服務(wù)器數(shù)據(jù)的增長(zhǎng)線性增長(zhǎng)。

項(xiàng)目通過(guò)對(duì)三維建模的結(jié)合運(yùn)用到地圖以及城市規(guī)劃方面來(lái)進(jìn)行學(xué)術(shù)性研究，我們特別摸索出場(chǎng)景分解算法，在幀率和視覺(jué)效果之間尋求最佳平衡點(diǎn)。在保證順暢交互的同時(shí)，大幅增加了所能觀賞到的細(xì)節(jié)。無(wú)人機(jī)與VR眼鏡三維瀏覽引擎使用這個(gè)四兩撥千斤的方式，渲染再大規(guī)模的模型也可以舉重若輕。

5? 結(jié)語(yǔ)

現(xiàn)有的無(wú)人機(jī)與VR技術(shù)結(jié)合課程對(duì)于學(xué)校傳統(tǒng)教育方法來(lái)說(shuō)是個(gè)全新的手段，課題結(jié)合我們現(xiàn)有的技術(shù)條件來(lái)定位，無(wú)人機(jī)結(jié)合VR眼鏡來(lái)制作3D視頻或者用來(lái)給用戶帶來(lái)建筑全方位視角體驗(yàn)是非常不錯(cuò)的創(chuàng)新點(diǎn)，并提高學(xué)生的動(dòng)手能力，讓學(xué)生能夠自主研發(fā)創(chuàng)新更多領(lǐng)域提供堅(jiān)實(shí)的基礎(chǔ)與平臺(tái)。

項(xiàng)目：

基于無(wú)人機(jī)平臺(tái)的建筑VR眼鏡四維瀏覽系統(tǒng)研發(fā)與應(yīng)用（JS201705）。

作者簡(jiǎn)介：

金哲，講師，碩士，深圳信息職業(yè)技術(shù)學(xué)院 ，研究方向 ：環(huán)境藝術(shù)。