基于虛擬現(xiàn)實(shí)技術(shù)的三維影像智能顯示系統(tǒng)嵌入式設(shè)計(jì)

陳琳+李潔

摘 要： 以往的三維影像智能顯示系統(tǒng)體積大、精度差，顯示效果和同步性不能滿足用戶需求，針對(duì)這種現(xiàn)象，設(shè)計(jì)基于虛擬現(xiàn)實(shí)技術(shù)的三維影像嵌入式智能顯示系統(tǒng)。虛擬現(xiàn)實(shí)技術(shù)使用OpenGL和3ds MAX開發(fā)系統(tǒng)的數(shù)據(jù)采集與調(diào)試模塊，使用VC++ 6.0開發(fā)顯示模塊，實(shí)現(xiàn)人與自然、人與人的視覺(jué)交互。對(duì)數(shù)據(jù)采集與調(diào)試模塊的FPGA進(jìn)行嵌入式設(shè)計(jì)，通過(guò)FPGA采集三維影像進(jìn)行色彩調(diào)節(jié)，以壓縮形式傳導(dǎo)給顯示模塊的HI1257B芯片進(jìn)行解碼、去噪、畫質(zhì)增強(qiáng)和顯示。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的智能顯示系統(tǒng)擁有顯示效果逼真、同步性好的特點(diǎn)。

關(guān)鍵詞： 虛擬現(xiàn)實(shí)技術(shù)； 三維影像； 智能顯示系統(tǒng)； 嵌入式設(shè)計(jì)

中圖分類號(hào)： TN911?34； TP391.9 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）08?0100?03

Design of 3D image embedded intelligent display system based on

virtual reality technology

CHEN Lin1， LI Jie2

（1. Chengdu Agricultural College， Chengdu 611130， China； 2. Sichuan University， Chengdu 610065， China）

Abstract： The display effect and synchronization of previous 3D intelligent image display system can′t satisfy the user demand due to its large volume and poor accuracy. Therefore， a 3D image embedded intelligent display system based on virtual reality technology was designed. The virtual reality technology uses the OpenGL and 3ds MAX to develop the data acquisition and debugging module， and employs VC++ 6.0 to develop the display module， so as to realize the visual interaction of human and nature， as well as human and human. The FPGA embedded design was performed for the data acquisition and debugging module. The 3D image is acquired through FPGA for color adjustment， and transmitted to the HI1257B in the display module in the compressed form for decoding， denoising， image quality enhancement and display. The experimental result shows that the designed intelligent display system has the characteristics of vivid display effect and high synchronization.

Keywords： virtual reality technology； 3D image； intelligent display system； embedded design

伴隨著電子信息時(shí)代的來(lái)臨，影像智能顯示系統(tǒng)得到了長(zhǎng)足發(fā)展。受限于電子顯示設(shè)備體積大、建模精度差等原因，三維影像智能顯示系統(tǒng)往往無(wú)法獲取逼真的顯示效果和良好的同步性[1]。就以上問(wèn)題提出嵌入式設(shè)計(jì)方法，提升系統(tǒng)模塊之間的關(guān)聯(lián)性、縮減系統(tǒng)體積，達(dá)到優(yōu)化系統(tǒng)同步性的目的，并采用虛擬現(xiàn)實(shí)技術(shù)開發(fā)系統(tǒng)模塊功能，優(yōu)化系統(tǒng)顯示效果。

1 三維影像嵌入式智能顯示系統(tǒng)開發(fā)流程

虛擬現(xiàn)實(shí)技術(shù)是一種模擬人體對(duì)自然界視覺(jué)、觸覺(jué)、嗅覺(jué)等感知能力的計(jì)算機(jī)成像技術(shù)，其編制并調(diào)試出虛擬環(huán)境信息，給人一種切身位于特定自然環(huán)境的逼真感覺(jué)[2]。對(duì)所進(jìn)行的三維影像智能顯示系統(tǒng)嵌入式設(shè)計(jì)而言，虛擬現(xiàn)實(shí)技術(shù)的主要作用是通過(guò)模擬視覺(jué)感官為系統(tǒng)帶來(lái)逼真的顯示效果，因此，使用OpenGL、3ds MAX和VC++ 6.0進(jìn)行系統(tǒng)開發(fā)最合適不過(guò)，不僅開發(fā)難度低，而且對(duì)影像細(xì)節(jié)處理的掌控能力強(qiáng)，在系統(tǒng)的運(yùn)行和功能更新環(huán)境的開發(fā)上均存在優(yōu)勢(shì)[3]。

圖1是基于虛擬現(xiàn)實(shí)技術(shù)的系統(tǒng)開發(fā)流程，OpenGL和3ds MAX開發(fā)出數(shù)據(jù)采集與調(diào)試模塊，VC++ 6.0開發(fā)顯示模塊。接入監(jiān)控現(xiàn)場(chǎng)的實(shí)景照片和重點(diǎn)事物圖紙，通過(guò)OpenGL進(jìn)行圖形編程、著色。實(shí)景照片使用高清數(shù)碼相機(jī)拍攝，依據(jù)照片類型存儲(chǔ)在不同的文件夾中。根據(jù)系統(tǒng)顯示目標(biāo)的不同，3ds MAX對(duì)不同類型的目標(biāo)特征分別建模，對(duì)重點(diǎn)事物下達(dá)LOFT放樣指令。3ds MAX通過(guò)布爾運(yùn)算達(dá)成事物邏輯推理，構(gòu)建逼真的自然場(chǎng)景輪廓和自然場(chǎng)景的上下層位置關(guān)系。VC++ 6.0編程中，紅綠三維投影專業(yè)性不強(qiáng)，三維影像顯示效果失真率遠(yuǎn)高于雙通道三維投影，但由于不用進(jìn)行色度與亮度均衡，所以成像時(shí)間短，可供非專業(yè)人士和緊急情況下使用。

2 三維影像智能顯示系統(tǒng)嵌入式設(shè)計(jì)

根據(jù)第1節(jié)的描述，虛擬現(xiàn)實(shí)技術(shù)開發(fā)出的三維影像嵌入式智能顯示系統(tǒng)由數(shù)據(jù)采集與調(diào)試模塊以及顯示模塊組成，下面對(duì)兩個(gè)模塊的重要組成以及功能進(jìn)行設(shè)計(jì)。

2.1 數(shù)據(jù)采集與調(diào)試模塊設(shè)計(jì)

在數(shù)據(jù)采集與調(diào)試模塊中，F(xiàn)PGA是進(jìn)行三維影像數(shù)據(jù)采集與調(diào)試的功能實(shí)現(xiàn)者，采用嵌入式開發(fā)手段將FPGA燒制在基于虛擬現(xiàn)實(shí)技術(shù)的三維影像嵌入式智能顯示系統(tǒng)中[4?5]，在FPGA上進(jìn)行軟件與硬件的功能協(xié)同設(shè)計(jì)，利用虛擬現(xiàn)實(shí)技術(shù)正確控制硬件配置，達(dá)成系統(tǒng)嵌入式設(shè)計(jì)。FPGA的嵌入式結(jié)構(gòu)配置圖如圖2所示。

由圖2可知，F(xiàn)PGA在數(shù)據(jù)采集與調(diào)試模塊中安置了2個(gè)處理器組實(shí)現(xiàn)模塊與系統(tǒng)的嵌入式連接，采用150 MHz時(shí)鐘進(jìn)行三維影像數(shù)據(jù)觸發(fā)。由OpenGL開發(fā)的數(shù)據(jù)接口采用雙全工同步的高速串行外設(shè)接口（Serial Peripheral Interface，SPI）協(xié)議，其在進(jìn)行單項(xiàng)數(shù)據(jù)傳導(dǎo)時(shí)，數(shù)據(jù)位寬度為2 b，做到了簡(jiǎn)單易行的高同步通信[6]。此外，F(xiàn)PGA還擁有色彩調(diào)節(jié)器、顯示驅(qū)動(dòng)和處理器控制端等硬件。

SPI數(shù)據(jù)接口有兩種傳導(dǎo)模式，分別是主控模式C和從控模式S，兩種模式不可獨(dú)立控制數(shù)據(jù)傳導(dǎo)。從控模式S將三維影像數(shù)據(jù)的串行規(guī)格改變成8位并行規(guī)格，與主控模式C進(jìn)行數(shù)據(jù)交接。主控模式C完全依照系統(tǒng)管理者設(shè)置的控制方案進(jìn)行三維影像數(shù)據(jù)傳導(dǎo)，實(shí)施控制前需提取控制指令，并發(fā)出控制狀態(tài)流程提醒信號(hào)。FPGA時(shí)鐘頻率比SPI數(shù)據(jù)接口傳導(dǎo)頻率高出3倍，利用FPGA時(shí)鐘同步SPI數(shù)據(jù)接口頻率，將SPI協(xié)議邏輯導(dǎo)入FPGA時(shí)鐘的工作頻率中，可穩(wěn)定系統(tǒng)同步性。

圖3是FPGA從控模式S的登記轉(zhuǎn)換等級(jí)（Register Tranfster Level，RTL）視圖，從圖3可以精密地觀察從控模式S的邏輯結(jié)構(gòu)。從控模式S使用兩段式代碼編碼方式，對(duì)控制指令實(shí)施計(jì)數(shù)和搬遷，從處理器組1采集控制指令進(jìn)行計(jì)數(shù)和數(shù)據(jù)封裝，獲取色彩調(diào)節(jié)器的調(diào)節(jié)指令[7]。將指令搬遷到主控模式C中，由處理器組2進(jìn)行三維影像智能調(diào)色和壓縮，隨后驅(qū)動(dòng)顯示模塊進(jìn)行下一步工作。

2.2 顯示模塊設(shè)計(jì)

由數(shù)據(jù)采集與調(diào)試模塊中FPGA傳導(dǎo)到顯示模塊的三維影像是壓縮數(shù)據(jù)，顯示模塊的HI1257B芯片對(duì)壓縮數(shù)據(jù)進(jìn)行解碼、去噪、畫質(zhì)增強(qiáng)和顯示[8]，將三維影像智能傳導(dǎo)到顯示器上進(jìn)行高清顯示，實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)對(duì)自然界的視覺(jué)感知。

HI1257B芯片的解碼線程如圖4所示，使用的是先入先出法，通過(guò)辨別三維影像壓縮數(shù)據(jù)中的碼流，利用解碼庫(kù)進(jìn)行碼流解碼，通過(guò)VC++ 6.0為高清晰度多媒體接口設(shè)計(jì)控制指令進(jìn)行顯示。圖5是HI1257B芯片硬件結(jié)構(gòu)圖，SPI接口引進(jìn)壓縮數(shù)據(jù)進(jìn)行解碼，視覺(jué)識(shí)別器接收三維影像中的視頻數(shù)據(jù)，擁有嵌入式的內(nèi)存處理單元，可對(duì)三維影像視頻進(jìn)行降噪、光線調(diào)控、色彩度加深、模糊點(diǎn)銳化等校正。麥克風(fēng)接收三維影像中的音頻數(shù)據(jù)，模糊音色可利用喇叭額外收音，支持16路音頻收音和4路音頻輸出。麥克風(fēng)與喇叭通過(guò)集成電路內(nèi)置音頻總線在HI1257B芯片中進(jìn)行音頻嵌入式交接。兩個(gè)雙倍速率同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器分別存儲(chǔ)視頻數(shù)據(jù)和音頻數(shù)據(jù)，由無(wú)線網(wǎng)絡(luò)匯聚數(shù)據(jù)進(jìn)行統(tǒng)一編碼，傳導(dǎo)給顯示器顯示由虛擬現(xiàn)實(shí)技術(shù)采集到的三維影像。

3 實(shí)驗(yàn)分析

三維影像智能顯示系統(tǒng)的實(shí)驗(yàn)平臺(tái)需要進(jìn)行系統(tǒng)顯示效果和同步性的對(duì)比分析，對(duì)三維影像的觀察和數(shù)據(jù)處理是必要的，因此，實(shí)驗(yàn)平臺(tái)的硬件組成主要包括三維裸眼眼鏡、數(shù)據(jù)處理器、天線和雙目相機(jī)。令本文設(shè)計(jì)的基于虛擬現(xiàn)實(shí)技術(shù)的嵌入式系統(tǒng)、流媒體顯示系統(tǒng)和機(jī)器視覺(jué)系統(tǒng)，使用雙目相機(jī)在相同的目標(biāo)區(qū)域內(nèi)同時(shí)采集自然場(chǎng)景三維影像，采用數(shù)據(jù)處理器轉(zhuǎn)換三維影像，顯示在各自的顯示器上，保持三個(gè)顯示器輸出相同的影像規(guī)格。顯示效果是個(gè)抽象定義，不同的人通過(guò)三維裸眼眼鏡觀察到的顯示效果不能確保完全一致，需要將顯示效果數(shù)據(jù)化。用表示三維影像智能顯示系統(tǒng)中顯示器的響應(yīng)能力，滿足：

式中：是的校正函數(shù)；是顯示器亮度；和是顯示器的輸入和輸出邏輯值，如表1所示。

表1 顯示器輸入、輸出邏輯值

實(shí)驗(yàn)中的本文系統(tǒng)、流媒體顯示系統(tǒng)和機(jī)器視覺(jué)系統(tǒng)，為了確保顯示效果，必然會(huì)對(duì)顯示器的響應(yīng)能力進(jìn)行校正。實(shí)驗(yàn)給三個(gè)系統(tǒng)提供了相同的值，。根據(jù)以往的經(jīng)驗(yàn)，當(dāng)時(shí)，系統(tǒng)顯示屏的灰度減弱，物理明暗度適中，可得到最逼真的顯示效果[9]。表2是的校正值統(tǒng)計(jì)表，能夠看出本文系統(tǒng)所得的校正值與2.2非常貼近，顯示效果逼真。

表2 的校正值統(tǒng)計(jì)表

伽馬曲線可表現(xiàn)出顯示器的亮度調(diào)節(jié)規(guī)律，在伽馬值由1～10的變化過(guò)程中，顯示器亮度也發(fā)生改變，伽馬曲線出現(xiàn)浮動(dòng)。調(diào)節(jié)三維影像智能顯示系統(tǒng)的伽馬值，記錄系統(tǒng)顯示器伽馬曲線的浮動(dòng)持續(xù)時(shí)間。如果浮動(dòng)持續(xù)時(shí)間能夠立即對(duì)伽馬值的調(diào)節(jié)交接做出反應(yīng)，表明系統(tǒng)同步性良好。圖6是同步性對(duì)比分析曲線，能夠看出本文系統(tǒng)的浮動(dòng)持續(xù)時(shí)間曲線緊緊跟隨伽馬值調(diào)節(jié)交接曲線的變化，而做出幾乎相同的反應(yīng)，同步性良好，而流媒體顯示系統(tǒng)和機(jī)器視覺(jué)系統(tǒng)的浮動(dòng)持續(xù)時(shí)間曲線反應(yīng)混亂，同步性不好。

4 結(jié) 論

本文提出采用嵌入式方法、基于虛擬現(xiàn)實(shí)技術(shù)設(shè)計(jì)三維影像智能顯示系統(tǒng)，達(dá)到優(yōu)化系統(tǒng)顯示效果和同步性的目的。系統(tǒng)由數(shù)據(jù)采集與調(diào)試模塊和顯示模塊組成，兩個(gè)模塊的核心硬件分別是FPGA和HI1257B芯片。HI1257B芯片接收FPGA傳導(dǎo)數(shù)據(jù)進(jìn)行三維影像智能顯示。實(shí)驗(yàn)借助顯示器的響應(yīng)能力校正和伽馬曲線浮動(dòng)分析出本文系統(tǒng)的顯示效果逼真、同步性良好。

參考文獻(xiàn)

[1] 李力.基于虛擬現(xiàn)實(shí)技術(shù)的工程機(jī)械三維裝配培訓(xùn)平臺(tái)設(shè)計(jì)[J].湖南工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2016，16（1）：20?21.

[2] 隋德志，蘭磊.基于Skyline的房地產(chǎn)三維虛擬系統(tǒng)的研究[J].測(cè)繪與空間地理信息，2016，39（6）：85?87.

[3] 王莉麗，宋小芹.基于嵌入式的智能電氣節(jié)能控制研究[J].科學(xué)技術(shù)與工程，2016，16（19）：255?258.

[4] 李輝.基于虛擬雙目視覺(jué)的玉米葉片三維重建方法[J].科技通報(bào)，2016，32（5）：96?101.

[5] 宋中越，馬姣姣，甄冬，等.基于流媒體技術(shù)的風(fēng)力發(fā)電機(jī)全景監(jiān)測(cè)虛擬現(xiàn)實(shí)系統(tǒng)研究[J].計(jì)算機(jī)測(cè)量與控制，2016，24（7）：247?248.

[6] 張璐琪.基于三維虛擬視覺(jué)的產(chǎn)品交互設(shè)計(jì)平臺(tái)的開發(fā)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2016，39（8）：118?121.

[7] 畢衛(wèi)云，陳迪，李朗，等.虛擬現(xiàn)實(shí)技術(shù)在神經(jīng)外科醫(yī)師培訓(xùn)中的應(yīng)用[J].中華神經(jīng)外科疾病研究雜志，2015，14（2）：167?169.

[8] 朱維，劉永春.嵌入式智能數(shù)字機(jī)頂盒系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2016，39（14）：53?56.

[9] 唐朝飛，李晶，張利鋒，等.基于虛擬樣機(jī)的引緯機(jī)構(gòu)的結(jié)構(gòu)優(yōu)化[J].西安工程大學(xué)學(xué)報(bào)，2016，30（4）：416?420.