校園全景導(dǎo)覽互動(dòng)投影系統(tǒng)

閆廣輝，史卓，馬洋洋，蒙倩怡，安亞磊，王中帥

（桂林電子科技大學(xué)，桂林 541004）

0 引言

地面互動(dòng)投影系統(tǒng)是在地面上投射出一個(gè)特定的虛擬場(chǎng)景,給平凡無奇的地面帶來動(dòng)態(tài)的真實(shí)體驗(yàn)樂趣。當(dāng)操作者進(jìn)入該虛擬畫面內(nèi),系統(tǒng)就通過攝像頭跟蹤捕捉操作者的動(dòng)作并將數(shù)據(jù)傳輸給軟件。軟件引擎再綜合處理各種數(shù)據(jù)，同時(shí)對(duì)操作者的動(dòng)作做出反饋，給人一種新奇的交互性娛樂體驗(yàn)。這種互動(dòng)體驗(yàn)來得方便且更吸引人的眼球。系統(tǒng)保持逼真性，采用目標(biāo)與背景分離技術(shù)，基于時(shí)間序列的編碼建模算法，對(duì)每個(gè)像素或者一組像素建立時(shí)間序列模型，在每個(gè)像素點(diǎn)進(jìn)行抽樣，根據(jù)顏色、扭曲尺度和亮度邊界聚類，從而建立隨時(shí)間不斷更新的動(dòng)態(tài)背景模型。在動(dòng)態(tài)背景的基礎(chǔ)上，將紅外攝像機(jī)采集的實(shí)時(shí)數(shù)據(jù)以背景模型為掩模進(jìn)行差分處理，處理后的圖像經(jīng)過頻域?yàn)V波，通過目標(biāo)分離算法得到每個(gè)目標(biāo)的位置坐標(biāo)和輪廓信息。然后對(duì)目標(biāo)進(jìn)行跟蹤，將跟蹤的目標(biāo)的位置信息轉(zhuǎn)換成控制信號(hào)，實(shí)現(xiàn)互動(dòng)與控制。由于Flash文件具有短小精悍、設(shè)計(jì)界面友好、操作方便等特點(diǎn)，桂電導(dǎo)覽系統(tǒng)采用Flash技術(shù)開發(fā)，應(yīng)用ActionScript腳本語言來編寫程序，嵌入到地面互動(dòng)投影軟件中使用，結(jié)合Photoshop、航拍等攝影應(yīng)用知識(shí)將桂電的信息轉(zhuǎn)成圖片或視頻的信息，作為Flash開發(fā)的素材。Flash生成文件要制作成exe格式，打開Flash發(fā)布文件后要以全屏方式進(jìn)行，同時(shí)要隱藏鼠標(biāo)指針，進(jìn)行互動(dòng)投影的特效就是鼠標(biāo)滑過的特效。先是使用團(tuán)隊(duì)中無人機(jī)、單反等攝影設(shè)備去將桂電的兩個(gè)校區(qū)的大致風(fēng)景拍下來，使用PC和Photoshop等軟件處理和制作成360度全景圖。其次要去各學(xué)院查詢或網(wǎng)上收集各學(xué)院的基本信息。然后則需要按要求開發(fā)Flash程序，解決bug問題，做到最好的用戶交互體驗(yàn)。

1 系統(tǒng)硬件組成及原理

該地面互動(dòng)投影校園導(dǎo)航系統(tǒng)是采用虛擬仿真、紅外圖像識(shí)別技術(shù)研發(fā)。

（1）無人機(jī)航拍校園各部特征建筑，及單反相機(jī)拍攝校園地面各關(guān)鍵角落，作為校園全景地面投影素材;

（2）動(dòng)態(tài)采集目標(biāo)圖像的紅外信號(hào)采集部分；裝設(shè)在紅外信號(hào)采集部分前邊的，且用于濾除可見光的紅外濾光片；連接于所述紅外信號(hào)采集部分，用于將所采集的目標(biāo)圖像進(jìn)行分析，并根據(jù)分析后所產(chǎn)生的數(shù)據(jù)動(dòng)態(tài)改變虛擬背景的圖像處理部分；連接于所述圖像處理部分，且用于呈現(xiàn)改變后的虛擬背景的成像部分?？山鉀Q人體與虛擬背景無法分割的問題，從而提高畫面的精度，消除局部陰影的干擾。

（3）紅外感應(yīng)器接收互動(dòng)者腳部與該區(qū)域互動(dòng)信號(hào)進(jìn)行分割（主要為腳部動(dòng)作與虛擬背景）并將其處理為位置坐標(biāo)等數(shù)據(jù)發(fā)送回控制主機(jī)，主機(jī)再還原圖像，投影儀將處理后的圖像及場(chǎng)景切換投影到地面進(jìn)行互動(dòng)顯示，并實(shí)時(shí)更新。

裝置1：溫度檢測(cè)及識(shí)別

裝置2：聲音檢測(cè)及識(shí)別

裝置3：影像動(dòng)作檢測(cè)及識(shí)別

裝置4：紅外檢測(cè)及識(shí)別

圖1 系統(tǒng)硬件組成

2 系統(tǒng)開發(fā)的關(guān)鍵技術(shù)

（1）ActionScript最初是一種簡(jiǎn)單的腳本語言,目前的Flash用戶使用的ActionScript 3.0版本已經(jīng)是一款強(qiáng)大的編程語言,它標(biāo)志著Flash發(fā)展進(jìn)化過程中的一個(gè)重要階段。設(shè)計(jì)ActionScript 3.0的意圖是創(chuàng)建一種簡(jiǎn)便快捷地構(gòu)建互動(dòng)功能強(qiáng)大的互聯(lián)網(wǎng)應(yīng)用程序的語言,這種應(yīng)用程序多用于Flash互動(dòng)性的開發(fā)。它的語法類似JavaScript，多用于Flash程序開發(fā)。它的發(fā)展速度相當(dāng)?shù)目?到目前為此,它的功能強(qiáng)大,類庫豐富,在Flash互動(dòng)場(chǎng)景系統(tǒng)設(shè)計(jì)開發(fā)方面起到了關(guān)鍵的作用。ActionScript 3.0為Flash提供強(qiáng)大的編程語言,簡(jiǎn)化了開發(fā)的過程。

（2）監(jiān)聽事件是在ActionScript3.0中對(duì)象間通信的主要方式，它們就是Flash中的對(duì)象所廣播的消息，任何設(shè)置好偵聽這些消息的對(duì)象都會(huì)接收到事件。事件模型主要包含三個(gè)概念：事件對(duì)象、事件流和事件偵聽器。一般的事件偵聽器代碼如下：

事件接收對(duì)象.addEventListener（事件類,事件類型,事件處理函數(shù)）；

Function事件處理函數(shù)（事件實(shí)例：事件類）{//此處是為響應(yīng)事件而執(zhí)行的腳本}

這個(gè)結(jié)構(gòu)包含了以下三個(gè)要點(diǎn)：首先,先要確認(rèn)偵聽的是什么事件；然后,要明確指出誰接收事件；最后,通過事件函數(shù)來處理接收事件后的情況。

（3）為了確定陰影部分是否與目標(biāo)建筑重合，判斷是否需要展現(xiàn)該目標(biāo)的信息圖像，在ActionScript3.0中有3種基本的碰撞檢測(cè)的方法，分別是hitTestPoint（）、hitTestObject（）和BitmapData.hitTest（）。在該系統(tǒng)中使用了hitTestObject方法來測(cè)試校園場(chǎng)景的各部分圖像部件是否與鼠標(biāo)（體驗(yàn)者的陰影）發(fā)生碰撞，其語法格式為：對(duì)象1.hitTestObject（對(duì)象2）,檢測(cè)對(duì)象1是否與對(duì)象2相互碰撞,如果發(fā)生碰撞則返回true,沒有發(fā)生碰撞則返回false。可以根據(jù)體驗(yàn)者的移動(dòng)即陰影部分的變化，控制系統(tǒng)及時(shí)顯示建筑簡(jiǎn)介圖像及語音介紹，實(shí)現(xiàn)互動(dòng)體驗(yàn)。

（4）運(yùn)行方式：在Flash CS6軟件中進(jìn)行系統(tǒng)開發(fā),然后導(dǎo)出swf文件，利用地面投影系統(tǒng)自帶的技術(shù)把swf文件轉(zhuǎn)換成cmd文件，最后添加到地面互動(dòng)投影系統(tǒng)中播放。

圖2 校園全景的swf文件

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

（1）系統(tǒng)結(jié)構(gòu)：

圖3 校園全景地面互動(dòng)系統(tǒng)結(jié)構(gòu)圖

本系統(tǒng)主要分成視頻投影部分和互動(dòng)功能實(shí)現(xiàn)兩個(gè)主要部分，具體實(shí)現(xiàn)為：①在軟件使用前會(huì)一直播放桂電校區(qū)的航拍制作的視頻，同時(shí)用戶可以在地面投影部分進(jìn)行漫游互動(dòng)；②通過觸摸遮擋等交互選中某棟教學(xué)樓時(shí)，會(huì)彈出該教學(xué)樓所屬學(xué)院的一些基本信息如專業(yè)、實(shí)驗(yàn)室等等；③通過語音交互來簡(jiǎn)介學(xué)院信息；④實(shí)現(xiàn)各類操作對(duì)用戶的影響和場(chǎng)景變更等內(nèi)在邏輯腳本部分，該腳本是由ActionScript語言編寫，包括控制腳本、對(duì)象生成回收腳本、場(chǎng)景變更腳本、物理邏輯腳本和記錄腳本；⑤還有就是課題中最重要的實(shí)現(xiàn)非接觸地面互動(dòng)投影的陰影控制部分。

（2）交互功能的實(shí)現(xiàn)：

FlashPlayer運(yùn)行系統(tǒng)時(shí)可以偵聽鼠標(biāo)事件，執(zhí)行場(chǎng)景切換及展現(xiàn)建筑的介紹圖像操作。本系統(tǒng)是通過鼠標(biāo)移動(dòng)的控制方式實(shí)現(xiàn)。體驗(yàn)者陰影部分的控制功能等同于鼠標(biāo)滑動(dòng)。具體的實(shí)現(xiàn)是：首先攝像機(jī)來捕捉和采集參與者影像和動(dòng)作數(shù)據(jù)。其次通過數(shù)據(jù)處理器處理收集的數(shù)據(jù)，實(shí)現(xiàn)參與者漫游的同步互動(dòng),分析和處理攝像機(jī)采集到的影像和動(dòng)作數(shù)據(jù),并把這些數(shù)據(jù)和處理器中原有數(shù)據(jù)進(jìn)行合成處理。然后在把同步的互動(dòng)效果投影到地面顯示出來。

（3）互動(dòng)漫游功能：

觀眾可以自由地在一塊地面上進(jìn)行漫游校園，以達(dá)到增強(qiáng)現(xiàn)實(shí)的效果。觀眾可以用腳踩，滑動(dòng)手等遮擋紅外線的方式，切換到不同的場(chǎng)景，場(chǎng)景內(nèi)采用的是360度的真實(shí)照片，讓觀眾有一種身臨其境的感覺，其中教學(xué)樓、校道、綠化植物等都栩栩如生地呈現(xiàn)在觀眾的眼前。觀眾在選中教學(xué)樓時(shí)，可以獲取學(xué)院的一些基本信息，甚至可以有語音交互功能，節(jié)省陪同人員的精力。

圖4 圖書館簡(jiǎn)介效果展示

4 結(jié)語

地面互動(dòng)投影不需要任何外接設(shè)備就可以實(shí)現(xiàn)互動(dòng)，它在交互時(shí)是不需要觸碰到實(shí)物的，只要在地面上踩來踩去就可以進(jìn)行互動(dòng)，也可以把手伸到投影下，揮動(dòng)手利用投下的陰影互動(dòng)，這些都是不需要實(shí)物觸摸的，這就是它交互方式的獨(dú)特新穎性。它能營(yíng)造出超現(xiàn)實(shí)的光影特效或者使體驗(yàn)者體驗(yàn)到主人公式的新奇體驗(yàn)，這是單純的燈光和傳統(tǒng)游戲無法實(shí)現(xiàn)的，讓消費(fèi)者身臨其境，流連忘返。同時(shí)經(jīng)過測(cè)試，基于Flash的腳本語言的校園全景導(dǎo)覽系統(tǒng)運(yùn)行穩(wěn)定，具有操作簡(jiǎn)單、運(yùn)行成本低、實(shí)現(xiàn)無人看守、交互式導(dǎo)覽、自動(dòng)語音解說功能，技術(shù)先進(jìn)，互動(dòng)方式新穎獨(dú)特。帶來的是長(zhǎng)久的利益，而不是一時(shí)的新鮮熱鬧，對(duì)于社會(huì)創(chuàng)造更多的經(jīng)濟(jì)價(jià)值，帶動(dòng)整個(gè)行業(yè)的快速發(fā)展，可以進(jìn)一步向商業(yè)應(yīng)用發(fā)展，應(yīng)用前景廣闊！

[1]夏敏捷.Flash ActionScript3.0游戲設(shè)計(jì)[M].北京：清華大學(xué)出版社，2014.

[2]黎學(xué)堅(jiān).基于Flash Builder的魔法書互動(dòng)投影系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].廣州：華南理工大學(xué)，2012

[3]Christopher Griffith.實(shí)戰(zhàn)Flash游戲開發(fā)（第2版）[M].北京：人民郵電出版社，2012.

[4]鮑豫鴻，王吉.基于人機(jī)交互技術(shù)的智能多媒體互動(dòng)投影系統(tǒng)的開發(fā)和應(yīng)用[J].哈爾濱：煤炭技術(shù)，2013.

[5]施靈佳，陳超群.一種互動(dòng)投影裝置[P].上海，2017.

[6]徐曉君.一種地面互動(dòng)投影系統(tǒng)[P].上海，2012.

[7]Spuy,R.V.D.ActionScript 3.0游戲設(shè)計(jì)基礎(chǔ)[M].北京：電子工業(yè)出版社，2013.

[8]熊智宇，凌云，鄒立新.一種沉浸式互動(dòng)投影系統(tǒng)[P].南昌，2017.

[9]Rosenzweig.G.ActionScript 3.0 Game Programming[M].北京：人民郵電出版社，2012.

[10]欒英博.智能圖書館中實(shí)景導(dǎo)航系統(tǒng)的研究與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2014.