混合現(xiàn)實(shí)技術(shù)在大數(shù)據(jù)可視化中的應(yīng)用

陳林琳

基金項目：2018年度南通市級基礎(chǔ)科學(xué)研究項目：基于機(jī)器視覺的農(nóng)產(chǎn)品三維形貌重建技術(shù)研究（JC2018135）

摘要：結(jié)合微軟HoloLens，在大數(shù)據(jù)可視化中詳細(xì)介紹了混合現(xiàn)實(shí)的應(yīng)用模式，混合現(xiàn)實(shí)設(shè)備通過使用第三方透視功能，使只能出現(xiàn)在電影中的場景變成了一種新的數(shù)據(jù)顯示方式和用戶新的視覺體驗，不穿全息線的用戶也可以有同樣的光學(xué)效果。

關(guān)鍵詞：混合現(xiàn)實(shí)技術(shù);大數(shù)據(jù);可視化

中圖分類號：TP311.13;TP391.9文獻(xiàn)標(biāo)識碼：A文章編號：1672-9129（2020）14-0134-02

引言：大數(shù)據(jù)時代背景下，人們利用計算機(jī)技術(shù)處理高效舒適的數(shù)據(jù)，信息處理水平也在日益提高。但是，它在顯示結(jié)果的方式上是相對可逆的，只涉及圖形、動畫等形式;它的表達(dá)能力是有限的，不能相互作用，使得大數(shù)據(jù)的價值無法通過現(xiàn)實(shí)技術(shù)驗證來體現(xiàn)技術(shù)增強(qiáng)顯示和混合現(xiàn)實(shí)技術(shù)支持大數(shù)據(jù)顯示。

1AR簡介

在20世紀(jì)80年代末，Jaron Lanier正式使用了“虛擬現(xiàn)實(shí)”一詞，并得到廣泛認(rèn)可。定義虛擬現(xiàn)實(shí)（VR），它的意思是：一個計算機(jī)生成的三維仿真環(huán)境，混合了視覺、聽覺甚至觸覺，人們在其中進(jìn)行研究和互動。這是一個沉浸式仿真環(huán)境。除此之外，虛擬現(xiàn)實(shí)將從2000年的計算器和智能手機(jī)變得越來越強(qiáng)大，高清顯示和三維圖像功能急劇增加，虛擬現(xiàn)實(shí)得到了迅速發(fā)展。各種頭戴式顯示器相繼問世，使得虛擬現(xiàn)實(shí)技術(shù)得到了迅速發(fā)展，知名人士設(shè)備有Google Papp、三星Galaxy Gang、Oculus Rift、HTC Vive等。由于云計算的發(fā)展，近年來虛擬現(xiàn)實(shí)應(yīng)用都是基于云的。早期已知的AR設(shè)備是谷歌眼鏡，它允許用戶在自己的視野范圍內(nèi)使用地圖、電子郵件和其他服務(wù)?，F(xiàn)在有很多支持AR的移動應(yīng)用程序，通常是卡片應(yīng)用程序?；旌犀F(xiàn)實(shí)（MR）是一種基于虛擬現(xiàn)實(shí)和擴(kuò)展現(xiàn)實(shí)的數(shù)字全息成像技術(shù)。它打破了現(xiàn)實(shí)世界和數(shù)字世界的界限。在潛水技術(shù)的幫助下，她將兩者融合到一個新的環(huán)境中，包括虛擬現(xiàn)實(shí)和擴(kuò)展現(xiàn)實(shí)。先生在環(huán)境識別方面比AR更先進(jìn)。不僅是將虛擬圖像轉(zhuǎn)換為攝像機(jī)圖像，同時也將計算機(jī)生成的圖像錨定在現(xiàn)實(shí)世界的某個點(diǎn)上。可以說AR先生是，有人把AR和紳士歸為同一類。微軟是HoloLens被定位為MR，并聲稱它將只專注于其他知名產(chǎn)品，比如剛剛于2018年8月開始訂購的初創(chuàng)公司Magic Jump。隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)技術(shù)正在成為主流[1]。

與虛擬現(xiàn)實(shí)相比，AR/MR的最大優(yōu)勢在于其靈活性。如果你使用虛擬現(xiàn)實(shí)，你完全沉浸在另一個世界里，很難用真實(shí)的世界進(jìn)行互動。增強(qiáng)現(xiàn)實(shí)主要有三種顯示方式：頭盔顯示器（HMD）、投影顯示和表格顯示。頭盔顯示器是最受歡迎的。

AR-MR系統(tǒng)的組成，包括傳輸HMD、環(huán)境感知模塊、交互設(shè)備和虛擬場景制作，以Microsoft Holodenset為例，傳輸HMD負(fù)責(zé)虛擬與現(xiàn)實(shí)融合后的信號輸出;環(huán)境感知模塊負(fù)責(zé)混合現(xiàn)實(shí)的檢測和用戶感知信號的跟蹤;交互設(shè)備負(fù)責(zé)環(huán)境控制和眼睛跟蹤、手勢和語音控制;虛擬場景制作負(fù)責(zé)三維建模、渲染和管理虛擬場景[2]。有三個處理器，一個是傳統(tǒng)的CPU和GPU，另一個是專門為混合現(xiàn)實(shí)設(shè)計的HPU（全息處理單元）;IMU（慣性測量單元）用于跟蹤直升飛機(jī)的位置。

2常見應(yīng)用場景

隨著AR項目和AR初創(chuàng)公司的大量資金投入，谷歌、蘋果、微軟、高通和佳能等IT巨頭開始展示AR和MR以及他們自己的AR-MR生態(tài)系統(tǒng)第一批消費(fèi)品已經(jīng)如雨后春筍般涌現(xiàn)。

（1）工業(yè)計算機(jī)廣泛應(yīng)用于產(chǎn)品開發(fā)中，常見的系統(tǒng)有：計算機(jī)輔助設(shè)計（CAD）、計算機(jī)輔助制造（CAM）、計算機(jī)輔助裝配規(guī)劃，AR技術(shù)的應(yīng)用大大提高了CAD/CAM的處理能力。

（2）2015年任天堂出版的游戲軟件巨頭Pokemon Go將AR技術(shù)應(yīng)用到游戲領(lǐng)域，通過手機(jī)發(fā)現(xiàn)并捕捉現(xiàn)實(shí)世界中的虛擬幽靈，并以其卓越的創(chuàng)新取得了巨大成功。

（3）旅游/數(shù)字網(wǎng)站將旅游景點(diǎn)數(shù)字化，以AR的形式展現(xiàn)其魅力，如2006年北京理工大學(xué)王永田等人提出利用增強(qiáng)現(xiàn)實(shí)技術(shù)對圓明園進(jìn)行數(shù)字化，實(shí)現(xiàn)圓明園的重建，而舊式的圓明園通過原有網(wǎng)站、移動設(shè)備AR、頭盔安裝AR等多種形式，在場館方面，AR技術(shù)可以成為讀者的私人助理和館員的得力助手，提高他們的工作效率信息展示的新階段。應(yīng)用實(shí)例當(dāng)讀者使用AR設(shè)備觀察書籍、景點(diǎn)、歷史遺址和其他增強(qiáng)材料時，將提供相關(guān)信息，如書目、視聽資料。它還可以幫助讀者（管理員）找到書籍并導(dǎo)航到用戶所在的位置。

（4）在汽車領(lǐng)軍城市g(shù)tc2016開發(fā)者大會上，德國馬牌展示了AR-AR增強(qiáng)現(xiàn)實(shí)技術(shù)在汽車領(lǐng)域的新應(yīng)用。前盤顯示人機(jī)界面，計算機(jī)根據(jù)實(shí)際場景工程實(shí)時向硬盤發(fā)送信息。駕駛員所看到的速度、路線和交通狀況等信息與自然環(huán)境（如路面和建筑）有關(guān)。通過交互，駕駛體驗顯著提高。

3相關(guān)概念

數(shù)據(jù)可視化：對數(shù)據(jù)進(jìn)行可視化表示的科學(xué)技術(shù)研究;可視化表示是指將某種概括形式的數(shù)據(jù)提取為信息，并以形式、顏色、運(yùn)動和其他感官元素的形式來表示信息，以便高效、準(zhǔn)確地向交流;相應(yīng)信息的不同特征和變量之間的關(guān)系應(yīng)包括;或數(shù)據(jù)可以視圖的形式呈現(xiàn)，以尊重與圖形有關(guān)的規(guī)律和模式。

它是一個不斷演化的概念，它在不斷地拓展自己的邊界，主要解決的是更高層次的技術(shù)方法，這些技術(shù)方法通過圖形、圖像處理、計算機(jī)視圖和用戶界面，通過實(shí)體、表面、特征和動感的表達(dá)，將模型與其他特定的模型進(jìn)行比較實(shí)體和技術(shù)，包括數(shù)據(jù)視圖中的許多技術(shù)方法。

數(shù)據(jù)挖掘可視化：將數(shù)據(jù)域中的值映射到圖域編號，直到在一定程度上可以高效、準(zhǔn)確地將數(shù)據(jù)描述在圖形上，包括數(shù)據(jù)采集、數(shù)據(jù)集成、ETL（數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)映射）、分析與挖掘、接收卡、動畫效果、視覺交互等，機(jī)械模擬等。

混合現(xiàn)實(shí)：它是虛擬現(xiàn)實(shí)和擴(kuò)展的現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展。這種技術(shù)將真實(shí)的信息放在虛擬世界中，在虛擬世界、現(xiàn)實(shí)世界和用戶之間建立一個互動的信息循環(huán)，提高用戶體驗的真實(shí)性。HoloLens是微軟開發(fā)的，混合的，基于現(xiàn)實(shí)的便攜式計算機(jī)，它也是最好的混合現(xiàn)實(shí)設(shè)備。

4傳統(tǒng)數(shù)據(jù)可視化

主要采用圖形、動畫等傳統(tǒng)的方式來查看數(shù)據(jù)，提供信息顯示。在圖表中加入背景音樂和一些簡單的互動，為動畫生成提供一些簡單的交互，其缺陷在于，傳統(tǒng)的圖形顯示只能使用二維圖形，雖然可以在圖形中添加陰影使其看起來像三維圖形，但效果仍然是傳統(tǒng)動畫用于數(shù)據(jù)可視化，但它不見了交互性;此外，傳統(tǒng)的數(shù)據(jù)可視化常常存在這樣的問題：數(shù)據(jù)無法實(shí)時更新?；跀?shù)據(jù)的可視化包括：繪圖后不要用給定的數(shù)據(jù)更新圖形。實(shí)時查看數(shù)據(jù)需要復(fù)雜的功能和高工作負(fù)載來支持。目前，通用的數(shù)據(jù)實(shí)時可視化系統(tǒng)是監(jiān)控室的大型顯示系統(tǒng)。

5混合現(xiàn)實(shí)技術(shù)在大數(shù)據(jù)可視化中的應(yīng)用

5.1實(shí)現(xiàn)大數(shù)據(jù)的三維模型表示。在混合現(xiàn)實(shí)技術(shù)的幫助下，數(shù)據(jù)可視化的結(jié)果大多是多樣化的，大數(shù)據(jù)以三維模型的形式顯示，如圓柱體、開普勒、管圖、網(wǎng)格陣列、三維散射圖等。數(shù)據(jù)將顯示在人們面前。此外，這些模型可以像積木一樣堆疊起來。每個模型都可以配置自己的屬性。為了區(qū)分它們，可以填寫不同的顏色，并可以單獨(dú)設(shè)置材質(zhì)卡，使模型和平面有一定的顏色、亮度、自發(fā)光和天花板的功率顯示出來。以2018年博鰲亞洲論壇為例，以網(wǎng)格陣列的形式展示移動通信數(shù)據(jù)。業(yè)務(wù)量值的大小直接反映在立方體護(hù)套中，信號質(zhì)量直接反映在反射的顏色中。但除了實(shí)時采集數(shù)據(jù)外，采用調(diào)用接口的方式獲取JSON格式的數(shù)據(jù)，根據(jù)寬度和長度，確定網(wǎng)格數(shù)組的具體分布情況，觀眾可以直接查看詳細(xì)的網(wǎng)格數(shù)據(jù)并點(diǎn)擊網(wǎng)格，對相應(yīng)的數(shù)據(jù)進(jìn)行研究，應(yīng)用混合現(xiàn)實(shí)技術(shù)在三維模型中顯示大數(shù)據(jù)目前比較成熟，在一些大公司中運(yùn)用相關(guān)技術(shù)來顯示銷售數(shù)據(jù)，并且主持人可以根據(jù)不同的時間代表不同產(chǎn)品的三維表現(xiàn)為了展覽的目的。該模型旨在為參與者提供不同時期不同產(chǎn)品的銷售情況，以制定切實(shí)可行的銷售策略，優(yōu)化企業(yè)的經(jīng)營效率。

5.2數(shù)據(jù)顯示無空間限制。目前最好的混合現(xiàn)實(shí)技術(shù)HoloLens設(shè)備，微軟的混合現(xiàn)實(shí)耳機(jī)便攜式計算機(jī)這是一個設(shè)備可以有數(shù)據(jù)可視化功能，把數(shù)據(jù)放在任何真實(shí)的空間位置和空間抓取功能，它可以在墻上顯示數(shù)據(jù)場，把數(shù)據(jù)模型放在桌面上，還可以存儲數(shù)據(jù)桌面。根據(jù)保存的顯示級別，很容易再討論打開。受系統(tǒng)限制，只支持HoloLens的SQLite數(shù)據(jù)：庫，并且只能本地存儲光數(shù)據(jù)并操作。不過，這臺設(shè)備可以通過接口連接到數(shù)據(jù)庫服務(wù)器，到一個數(shù)據(jù)交互到ENS的主要優(yōu)點(diǎn)是它的便攜性。用戶可以訪問無空間限制的數(shù)據(jù)顯示。只要有網(wǎng)絡(luò)，就可以隨時把實(shí)時數(shù)據(jù)移到地面上看。在虛擬場景中，他們可以在三維模型下構(gòu)建和移動，對于來自不同區(qū)域的交互式數(shù)據(jù)，他們還可以根據(jù)時間軸顯示數(shù)據(jù)，這適合于觀察數(shù)據(jù)的發(fā)展規(guī)律和類型。

5.3用戶與數(shù)據(jù)的豐富交互。最原始的計算機(jī)控制是鍵盤和鼠標(biāo)，而全封閉系統(tǒng)的發(fā)展破壞了這種操作模式，使得人們通過手勢和聲音來控制計算機(jī)。在可視化過程中，人們可以通過點(diǎn)擊、旋轉(zhuǎn)、拖動、縮放等操作來使用數(shù)據(jù)模型，例如，當(dāng)你點(diǎn)擊數(shù)據(jù)模型時，會出現(xiàn)一個更詳細(xì)的數(shù)據(jù)字段或子數(shù)據(jù)模塊。只需張開嘴就可以根據(jù)自己的需要來操縱。想要關(guān)閉一個窗口，你可以關(guān)閉按鈕并說“關(guān)閉”，當(dāng)前窗口將直接關(guān)閉。隨著混合現(xiàn)實(shí)技術(shù)的發(fā)展，提高了可視化數(shù)據(jù)程序的交互功能，使數(shù)據(jù)的呈現(xiàn)更加有趣和實(shí)用。

5.4前所未有的展示效果。在對大數(shù)據(jù)進(jìn)行可視化時，HoloLens可以根據(jù)顯示要求在數(shù)據(jù)中添加3D文本、炫目色彩、粒子效果等效果，使數(shù)據(jù)模型更加有效。它生動活潑，具有較強(qiáng)的科技意識，增強(qiáng)了對虛擬世界的替代感和沉浸感。單憑這一點(diǎn)，許多大型視覺屏幕的全息電影就顯得格外突出。還有全息透鏡。數(shù)據(jù)更新速度更快，可以達(dá)到幀的精細(xì)更新速度，支持多人協(xié)作功能。不同的人在同一時間穿全息線可以看到同一個領(lǐng)域，而數(shù)據(jù)可視化的結(jié)果是一個人操作，與其他用戶同步，非常實(shí)用。利用微軟提供的遠(yuǎn)程可視化技術(shù)，可以實(shí)現(xiàn)遠(yuǎn)程可視化，并可借助微軟的遠(yuǎn)程設(shè)備輔助用戶查看數(shù)據(jù)，討論數(shù)據(jù)呈現(xiàn)問題，提出合理的解決方案，在高端會議中具有較高的應(yīng)用價值。

5.5第三方透視功能的實(shí)現(xiàn)。HoloLens是一款小巧便攜的混合現(xiàn)實(shí)技術(shù)設(shè)備，能為用戶提供獨(dú)特的視覺體驗。然而，沒有全息圖的觀眾無法看到虛擬場景。如果他們想觀看，他們只能在顯示屏和大屏幕上同步顯示內(nèi)部的HoloLens，以便在用戶之間提供信息共享。借助于HoloLens允許用戶在瀏覽器顯示中實(shí)時查看場景。這種瀏覽方法叫做第一視圖，這是非常實(shí)用的。但是，第一次觀看視頻的定義只有720p，而且有明顯的視頻間隙，只適合自己顯示，不適合外部顯示。為了解決第一視角的問題，微軟之前正式打出了第三視角的解決方案。這個解決方案需要更多的錢來制造高質(zhì)量的筆記本電腦，專業(yè)相機(jī)，購買錄像機(jī)卡和硬件，如3D打印架和HoloLens相機(jī)驅(qū)動器。同時，由于它只能支持30分鐘的視頻，因此不能長時間使用該攝像頭來提供第三方視角演示。如果受挫后，叫停了技術(shù)人員，終于找到了解決辦法，借助外置攝像頭帶USB接口的透視功能來實(shí)現(xiàn)第三方的透視功能。

6結(jié)語

數(shù)據(jù)可視化的初衷是利用更容易理解和記憶的圖形來增加數(shù)據(jù)的可讀性，使交流更簡單、更順暢，全息攝影可以像科幻小說一樣生動有趣。全息鏡頭從一開始就是一個傳奇，它的出生有各種不可能的場景讓它成真吧。不僅僅是揚(yáng)棄了傳統(tǒng)的可視化數(shù)據(jù)方式，并將在未來提供更多的行業(yè)。

參考文獻(xiàn)：

[1]張開法.混合現(xiàn)實(shí)技術(shù)在大數(shù)據(jù)可視化中的應(yīng)用[J].電腦編程技巧與維護(hù)， 2019， 000（004）：84-86.

[2]史啟民， 李東輝， 何鵬.大數(shù)據(jù)可視化技術(shù)在智能化行業(yè)中的應(yīng)用[J].電腦迷， 2017， 000（030）：48.