虛擬現(xiàn)實(shí)技術(shù)中計(jì)算機(jī)圖形學(xué)的應(yīng)用綜述

齊景仲 方帆 付昊瑩 施璐 顧依然

虛擬現(xiàn)實(shí)技術(shù)讓人們獲得了一種獨(dú)特的方法來(lái)增強(qiáng)復(fù)雜的三維物體和環(huán)境的用戶可視化。虛擬現(xiàn)實(shí)是人們通過計(jì)算機(jī)對(duì)復(fù)雜數(shù)據(jù)進(jìn)行可視化、創(chuàng)造可以操作以及實(shí)時(shí)交互的環(huán)境的重要工具。虛擬現(xiàn)實(shí)技術(shù)中計(jì)算機(jī)圖形學(xué)的應(yīng)用與傳統(tǒng)的計(jì)算機(jī)圖形學(xué)相似，但同時(shí)也有很多獨(dú)立于傳統(tǒng)模式而專門服務(wù)于虛擬現(xiàn)實(shí)技術(shù)的新技術(shù)。計(jì)算機(jī)圖形學(xué)在虛擬現(xiàn)實(shí)技術(shù)中的應(yīng)用有如下兩種：數(shù)字媒體與醫(yī)療。數(shù)字媒體中主要關(guān)注于虛擬現(xiàn)實(shí)技術(shù)中常用的建模，渲染，圖像輸出技術(shù)。而醫(yī)療也擁有其獨(dú)特的處理內(nèi)容與展現(xiàn)方法。

一、數(shù)字媒體應(yīng)用

1. CG模型的基本特征

幾何建模技術(shù)是計(jì)算機(jī)中構(gòu)造幾何形態(tài)和計(jì)算的技術(shù)。它的目的是構(gòu)建所需要的對(duì)象模型，該模型是計(jì)算機(jī)生成虛擬現(xiàn)實(shí)環(huán)境中物體的重要基礎(chǔ)。這一技術(shù)不僅是虛擬現(xiàn)實(shí)技術(shù)中的重要基礎(chǔ)，也廣泛應(yīng)用于機(jī)械設(shè)計(jì)、數(shù)控加工、建筑設(shè)計(jì)等領(lǐng)域。因此，在虛擬現(xiàn)實(shí)技術(shù)中建立一個(gè)虛擬空間時(shí)一定要建立一個(gè)幾何圖形環(huán)境，并用一定的光照模型來(lái)描述場(chǎng)景，在假想光源下計(jì)算紋理、材質(zhì)的照明效果。同時(shí)，以數(shù)字圖像的方式輸出現(xiàn)實(shí)的圖形計(jì)算結(jié)果。[1]

2. 圖像特征提取與分析

圖像特征提取與分析技術(shù)不同于傳統(tǒng)的計(jì)算機(jī)圖形學(xué)方向而更多的存在于計(jì)算機(jī)視覺方向。虛擬現(xiàn)實(shí)系統(tǒng)中主要在于應(yīng)用其圖像識(shí)別能力與多維信息的獲取能力得以更好的模擬現(xiàn)實(shí)世界的情況。當(dāng)前有如下兩種常見圖像特征提取方法。

（1）HOG特征：

方向梯度直方圖（Histogram of Oriented Gradient， HOG）特征是計(jì)算機(jī)視覺技術(shù)和計(jì)算機(jī)圖像處理中一種用來(lái)實(shí)現(xiàn)物體檢測(cè)的特征算子。通過應(yīng)用了方向梯度直方圖特征的支持向量機(jī)（SVM）分類器已經(jīng)被廣泛地應(yīng)用于了計(jì)算機(jī)圖像識(shí)別技術(shù)中.HOG+SVM進(jìn)行圖形檢測(cè)的方法是法國(guó)研究人員Dalal在2005年的CVPR上提出的，而如今雖然有很多檢測(cè)算法不斷提出，但基本都是以HOG+SVM的思路為主。[2][3]

（2） LBP特征：

LBP（Local Binary Pattern，局部二值模式）特征算子是一類用來(lái)描述圖像局部紋理特征的圖像識(shí)別算子。這一算子在圖像識(shí)別過程中具有旋轉(zhuǎn)不變性和灰度不變性的的顯著優(yōu)點(diǎn)。局部二值特征算子是首先由T. Ojala， M.Pietik？inen， 和D. Harwood 在1994年提出，用于紋理特征提取。而且，提取的特征是圖像的局部的紋理特征；[2][4]

3. 三維建模和重建

從三維模型的圖像重建是虛擬現(xiàn)實(shí)系統(tǒng)中計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺的重要研究課題。同時(shí)基于圖像的三維人臉重建也可以作為其的一個(gè)特殊的子問題研究。此技術(shù)針對(duì)如何處理獲取的的掃描圖像，分析三維空間的位置關(guān)系，并充分發(fā)揮掃描測(cè)量獲取到的全部細(xì)節(jié)信息有著關(guān)鍵作用。[5][11]針對(duì)三維模型的重建，國(guó)內(nèi)學(xué)者已經(jīng)提出了各種方法[6]。這些方法實(shí)現(xiàn)三維重建是有效可行的。但基于圖像特征的三維重建方法，并不一定能有效地解決一般三維空間位置關(guān)系問題中所包含的圖像問題，如故障點(diǎn)問題、障礙物等。

二、醫(yī)療應(yīng)用

虛擬現(xiàn)實(shí)體現(xiàn)了用戶沉浸在人工的、完全由計(jì)算機(jī)生成的環(huán)境中的技術(shù)，因此與傳統(tǒng)方法相比，虛擬現(xiàn)實(shí)系統(tǒng)在醫(yī)療領(lǐng)域的應(yīng)用能更好的還原病人的詳細(xì)信息。

近年來(lái)，虛擬現(xiàn)雖然在許多工業(yè)應(yīng)用領(lǐng)域得到了廣泛的應(yīng)用。然而，在醫(yī)學(xué)領(lǐng)域中只有少數(shù)非常專業(yè)的VR方法。盡管從磁共振（MR）、X射線（CT）或3D超聲（US）斷層掃描中獲得的醫(yī)學(xué)圖像具有三維特征，但目前還沒有支持臨床診斷和治療規(guī)劃的VR系統(tǒng)。[7]

醫(yī)學(xué)中唯一的初始對(duì)象是灰色值圖像序列。這些灰度值代表從成像設(shè)備測(cè)量或計(jì)算的值，在大多數(shù)情況下不能用于自動(dòng)對(duì)象分割和識(shí)別。因此，實(shí)時(shí)體繪制技術(shù)和選擇分割的交互方法是虛擬現(xiàn)實(shí)中診斷的需要。

另一個(gè)不同之處是虛擬物體的必要精度。醫(yī)療虛擬物體必須盡可能準(zhǔn)確地再現(xiàn)現(xiàn)實(shí)。因此，傳統(tǒng)的算法構(gòu)建的醫(yī)療對(duì)象的幾何表示有非常多的三角形。網(wǎng)格復(fù)雜性帶來(lái)的計(jì)算復(fù)雜度上升會(huì)顯著導(dǎo)致在大多數(shù)情況下無(wú)法接受的精度損失。[11]

當(dāng)前醫(yī)療領(lǐng)域使用的計(jì)算機(jī)圖形學(xué)技術(shù)有如下三種：

1. 體繪制技術(shù)

傳統(tǒng)3D紋理映射技術(shù)相比于基于CPU的體繪制技術(shù)，其主要缺點(diǎn)是缺少陰影渲染能力。而基于CPU的體繪制技術(shù)，像光線追蹤技術(shù)，則很容易產(chǎn)生陰影的圖片，例如醫(yī)療領(lǐng)域的很多身體檢查結(jié)果。這些灰度閾值表示了光能夠穿透的能力。因此只要結(jié)合表面法向量計(jì)算和生成的顏色還有依據(jù)已知的光源的位置和顏色并使用Phong照明計(jì)算模型進(jìn)行計(jì)算的結(jié)果便能生成需要的相應(yīng)圖像。這種技術(shù)需要找到合適的分割閾值并進(jìn)行體繪制才能達(dá)到作用。

2. 細(xì)分技術(shù)

細(xì)分技術(shù)為另一種常用的圖像分割技術(shù)，該策略非常適合在虛擬現(xiàn)實(shí)中使用。它包括三種不同類型的方法：1.自動(dòng)分割算法；2.灰度值控制增長(zhǎng)算法3.器官的交互定位和自動(dòng)裝配模型。

如果底層算法足夠健壯并且能夠有效地計(jì)算，那么完全自動(dòng)分割將是一種理想的技術(shù)。但這些算法只存在于一些非常特定的問題中。在虛擬現(xiàn)實(shí)中，唯一需要的交互就是從算法池中選擇相應(yīng)的方法。

3. 表面重建和渲染技術(shù)

在虛擬現(xiàn)實(shí)的應(yīng)用中，應(yīng)用表面重建與渲染技術(shù)可以通過獲取有限的圖像表面數(shù)據(jù)進(jìn)行三維圖像的重建。其優(yōu)勢(shì)主要在于以下三點(diǎn)：

●大幅減少了要渲染的多邊形數(shù)量，而不會(huì)在重要的可視截屏區(qū)域造成質(zhì)量損失；

●高效執(zhí)行基于CPU的實(shí)時(shí)可見性測(cè)試（剔除、剪切）；

●負(fù)載管理以平衡CPU和圖形子系統(tǒng)的計(jì)算壓力。

圖像表面數(shù)據(jù)是在表面簡(jiǎn)化過程中獲取的的。它可以與任何基于對(duì)表面部分的簡(jiǎn)化算法相結(jié)合生成?；靖拍钍菍?yīng)用于對(duì)象的簡(jiǎn)化步驟存儲(chǔ)在分層數(shù)據(jù)結(jié)構(gòu)中。這一知識(shí)使繪制近似繪制過程中重現(xiàn)物體細(xì)節(jié)成為可能。

參考文獻(xiàn)：

[1] Middleton， Kellie K.， et al. "Improved nondominant hand performance on a laparoscopic virtual reality simulator after playing the Nintendo Wii." Surgical endoscopy 27.11 （2013）： 4224-4231.

[2]Pengkun Wu “Analysis on the current condition of virtual reality and computer graphics and the applications on the digital media interaction” Inventive Computation Technologies （ICICT）， International Conference on

[3]Carlo Tomasi “Histograms of Oriented Gradients”

[4]Di Huang， Caifeng Shan， Mohsen Ar debilian， Yunhong Wang， and Liming Chen “Local Binary Patterns and Its Application to Facial Image Analysis： A Survey”

[5] Wang， Jingyan， et al. "Image tag completion by local learning." Advances in Neural Networks–ISNN 2015. Springer International Publishing， 2015. 232-239.

[6] Chen， Bolun， Ling Chen， and Yixin Chen. "Efficient ant colony optimization for image feature selection." Signal processing 93.6 （2013）： 1566-1576.

[7]M. Haubner ； C. Krapichler ； A. Losch ； K.-H. Englmeier ； W. Van Eimeren “Virtual reality in medicine-computer graphics and interaction techniques” IEEE Transactions on Information Technology in Biomedicine （ Volume： 1， Issue： 1， March 1997 ）

[8]wiki "https：//en.wikipedia.org/wiki/Volume_rendering"

[9]Dilpreet Kaur， Yadwinder Kaur “Various Image Segmentation Techniques： A Review”

[10]Weber， Daniel， et al. "Efficient gpu data structures and methods to solve sparse linear systems in dynamics applications." Computer Graphics Forum. Vol. 32. No. 1. Blackwell Publishing Ltd， 2013.

[11]Shubhankar Ranade； Mingshu Zhang； Mohammed Al-Sada； Jaryd Urbani； Tatsuo Nakajima “Clash tanks： An investigation of virtual and augmented reality gaming experience “2017 Tenth International Conference on Mobile Computing and Ubiquitous Network （ICMU）

北京工業(yè)大學(xué)“國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃”資助，項(xiàng)目編號(hào)：GJDC-2018-01-14