基于AR技術(shù)的山洪災(zāi)害交互式宣傳系統(tǒng)設(shè)計(jì)與應(yīng)用研究

楊培生，邵美蘭，許小華，肖磊，付佳偉

（1.江西省水利科學(xué)院，江西 南昌，330029；2.江西建設(shè)職業(yè)技術(shù)學(xué)院，江西 南昌，330200）

0 前言

經(jīng)過(guò)多年的山洪災(zāi)害防治項(xiàng)目建設(shè)，江西省山洪災(zāi)害防治宣傳事業(yè)得到長(zhǎng)足發(fā)展，社會(huì)效益顯著[1]。但在高科技快速發(fā)展背景下，目前山洪災(zāi)害防治宣傳方式還主要以傳統(tǒng)的宣傳標(biāo)語(yǔ)、圖文、展板等為主，形式不夠新穎、吸引力不強(qiáng)、科技含量不高等問(wèn)題突出，在一定程度上限制了山洪災(zāi)害防治宣傳工作更好的發(fā)展。

當(dāng)前，增強(qiáng)現(xiàn)實(shí)技術(shù)得到了快速應(yīng)用和發(fā)展，該技術(shù)通過(guò)屏幕把虛擬世界融合在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)，用戶(hù)可以透過(guò)屏幕看到疊加在真實(shí)世界之上的虛擬對(duì)象，具有較強(qiáng)的交互性和娛樂(lè)型，目前在宣傳領(lǐng)域已有較多應(yīng)用[2]。目前AR技術(shù)應(yīng)用于山洪災(zāi)害防治宣傳仍是空白，本研究通過(guò)在手機(jī)上使用AR技術(shù)應(yīng)用于山洪災(zāi)害防治知識(shí)宣傳和監(jiān)測(cè)預(yù)警等非工程防治措施科普教育。以立體圖像結(jié)合語(yǔ)音的方式，動(dòng)態(tài)的展現(xiàn)山洪災(zāi)害危害及特點(diǎn)、如何預(yù)警、避災(zāi)和防災(zāi)等特殊場(chǎng)景，可給用戶(hù)帶來(lái)更形象、更豐富的立體體驗(yàn)[3]，從而達(dá)到更好的山洪災(zāi)害防治宣傳效果。

1 增強(qiáng)現(xiàn)實(shí)技術(shù)概述

增強(qiáng)現(xiàn)實(shí)（Augmented Reality,AR）技術(shù)，是指將計(jì)算機(jī)生成的虛擬物體或信息疊加到真實(shí)場(chǎng)景中，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。AR技術(shù)的實(shí)現(xiàn)步驟如圖1所示，主要是先通過(guò)攝像頭采集實(shí)景，之后將采集到的實(shí)景數(shù)字化成圖像，然后通過(guò)特征點(diǎn)檢測(cè)、匹配等一系列技術(shù)找到識(shí)別標(biāo)識(shí)物，以此為參考找出需要生成的動(dòng)畫(huà)在AR環(huán)境中處于何種位置或方向，并確定提前存入手機(jī)中的標(biāo)識(shí)圖的位置[4]。最后，通過(guò)手機(jī)傳感器感知環(huán)境的光照情況，并以此為依據(jù)調(diào)整虛擬物體的亮度、材質(zhì)和陰影，使其達(dá)到更為逼真的效果，動(dòng)畫(huà)必須和識(shí)別圖位置保持一致才能達(dá)到融合效果。

圖1 AR技術(shù)實(shí)現(xiàn)步驟

增強(qiáng)現(xiàn)實(shí)的概念誕生于20世紀(jì)90年代，最先從國(guó)外開(kāi)始進(jìn)入人們的視野。隨著移動(dòng)技術(shù)的發(fā)展、智能手機(jī)的普及，為AR技術(shù)在各行業(yè)中廣泛應(yīng)用提供了扎實(shí)的基礎(chǔ)。目前，國(guó)內(nèi)已經(jīng)有若干AR技術(shù)應(yīng)用的綜述研究。其中，齊立森[5]等從信息獲取、三維導(dǎo)航與游戲場(chǎng)景、虛擬仿真、互動(dòng)教學(xué)等方面詳細(xì)闡述了AR技術(shù)在教育行業(yè)中的應(yīng)用；張宏[6]等認(rèn)為應(yīng)用AR技術(shù)開(kāi)展水利科普資源建設(shè)十分必要，并列舉了在水利科普資源建設(shè)中的應(yīng)用案例；胡智標(biāo)[7]等認(rèn)為AR宣傳能夠創(chuàng)新宣傳模式，給用戶(hù)提供沉浸式學(xué)習(xí)環(huán)境，從而實(shí)現(xiàn)情景化學(xué)習(xí)；王璞[8]詳細(xì)分析了移動(dòng)AR技術(shù)在圖書(shū)館中的應(yīng)用前景，認(rèn)為AR具有較強(qiáng)的實(shí)用性、可行性和廣泛的應(yīng)用前景；汪存友[9]等對(duì)已有的增強(qiáng)現(xiàn)實(shí)教育相關(guān)產(chǎn)品進(jìn)行研究，認(rèn)為基于AR現(xiàn)實(shí)的教育宣傳應(yīng)用新產(chǎn)品具有功能多樣化、觸屏交互、可達(dá)性與普及度提高等新特點(diǎn)。

2 AR技術(shù)用于山洪災(zāi)害防治宣傳的優(yōu)勢(shì)分析

山洪災(zāi)害防治宣傳作為山洪災(zāi)害群測(cè)群防體系最前端、最重要的一個(gè)環(huán)節(jié)，做好山洪災(zāi)害防治宣傳工作顯得尤為重要[10]。AR技術(shù)用于山洪災(zāi)害防治宣傳具有如下優(yōu)勢(shì)：

（1）符合信息化時(shí)代的發(fā)展理念。隨著高新技術(shù)的飛速發(fā)展，新興的增強(qiáng)現(xiàn)實(shí)技術(shù)逐漸走進(jìn)大眾視野，該技術(shù)也通過(guò)實(shí)踐應(yīng)用到各個(gè)領(lǐng)域，各種AR交互式的系統(tǒng)研究逐漸成為熱點(diǎn)被大眾所關(guān)注，其中AR交互式宣傳系統(tǒng)也是研究的重點(diǎn)[11]。增強(qiáng)現(xiàn)實(shí)技術(shù)作為一項(xiàng)熱門(mén)的高新科技應(yīng)用于山洪災(zāi)害防治宣傳，能夠提高宣傳的創(chuàng)新性和科技含量，為公眾帶來(lái)一款喜聞樂(lè)見(jiàn)的山洪災(zāi)害防治宣傳作品。

（2）增強(qiáng)宣傳的互動(dòng)性、趣味性、體驗(yàn)感。傳統(tǒng)的山洪災(zāi)害防治宣傳多以發(fā)放宣傳冊(cè)、張貼畫(huà)報(bào)、開(kāi)展培訓(xùn)、媒體報(bào)道等形式開(kāi)展，宣傳效果不佳，公眾對(duì)此已經(jīng)習(xí)以為常，對(duì)獲取知識(shí)的方式覺(jué)得枯燥乏味，失去了學(xué)習(xí)知識(shí)的動(dòng)力。增強(qiáng)現(xiàn)實(shí)將虛擬對(duì)象融合到真實(shí)世界，把知識(shí)以一種形象、生動(dòng)、具體的形式呈現(xiàn)給用戶(hù)，讓用戶(hù)體驗(yàn)到視覺(jué)聽(tīng)覺(jué)一體化的感知效果，從而大大增強(qiáng)了宣傳的互動(dòng)性、趣味性和體驗(yàn)感。

（3）驅(qū)動(dòng)山洪災(zāi)害宣傳知識(shí)傳播與發(fā)展。增強(qiáng)現(xiàn)實(shí)可以利用其強(qiáng)大的虛實(shí)融合功能，將虛擬對(duì)象、文字、圖像、三維立體、全景信息、視頻、三維動(dòng)畫(huà)、音頻等復(fù)雜的物體、信息、流程等疊加到現(xiàn)實(shí)中，為公眾創(chuàng)造一個(gè)真實(shí)地觀察、操作的實(shí)踐場(chǎng)景，這種真實(shí)的體驗(yàn)感會(huì)極大地激發(fā)公眾學(xué)習(xí)知識(shí)的興趣，有利于更好的理解知識(shí)，增加記憶[12]；另一方面，隨著增強(qiáng)現(xiàn)實(shí)在移動(dòng)設(shè)備上的廣泛應(yīng)用，借助高速發(fā)展的互聯(lián)網(wǎng)，公眾可以擺脫時(shí)間和空間的限制，隨時(shí)隨地、快速準(zhǔn)確地獲取直觀、形象的知識(shí)[9]。這在一定程度上驅(qū)動(dòng)了山洪災(zāi)害宣傳知識(shí)的傳播與發(fā)展。

3 關(guān)鍵技術(shù)及實(shí)現(xiàn)流程

3.1 基于圖像的三維建模關(guān)鍵技術(shù)

傳統(tǒng)的基于幾何的建模技術(shù)雖日益改進(jìn)，但構(gòu)建稍復(fù)雜的場(chǎng)景的三維模型仍十分耗時(shí)，甚至難以建模，且所建模型的逼真度較低，而基于圖像的建模技術(shù)因具有成本低廉、使用方便、逼真度高等優(yōu)點(diǎn)，近些年已經(jīng)逐漸成為計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)領(lǐng)域的一個(gè)新的研究熱點(diǎn)。

通過(guò)圖像建立模型來(lái)生成虛擬場(chǎng)景是一個(gè)很好的方法，應(yīng)用該方法需要了解建模中的關(guān)鍵技術(shù)，即全景圖像生成技術(shù)。全景圖像生成技術(shù)是一種基于圖像繪制技術(shù)生成真實(shí)感圖形的VR技術(shù)，其主要包括圖像獲取技術(shù)、圖像投影技術(shù)、圖像拼接技術(shù)、圖像顯示技術(shù)。圖像獲取后，得到有重疊區(qū)域的待匹配圖像；對(duì)不同坐標(biāo)的每幅圖像建立統(tǒng)一的投影模型，進(jìn)行圖像拼接融合；經(jīng)過(guò)拼接融合后形成全景圖像；建立統(tǒng)一的投影模型與圖像顯示模型相對(duì)應(yīng)。即通過(guò)圖像建立模型的方法是：先獲取客觀世界的圖像，然后通過(guò)圖像投影構(gòu)建全景圖像，全景圖像通過(guò)圖像投影變換后生成全景圖像顯示模型。以本系統(tǒng)需要用到的房屋為例，基于圖像的建模前后對(duì)照如圖2所示。

圖2 基于圖像的建模前后對(duì)照?qǐng)D

3.2 實(shí)現(xiàn)流程

增強(qiáng)現(xiàn)實(shí)技術(shù)的目的在于達(dá)到真實(shí)的體驗(yàn)和自然的交互，基于AR的山洪災(zāi)害交互式宣傳系統(tǒng)實(shí)現(xiàn)流程具體如下：①虛擬場(chǎng)景經(jīng)過(guò)3D建模與渲染，存儲(chǔ)在虛擬對(duì)象數(shù)據(jù)庫(kù)中；②周?chē)默F(xiàn)實(shí)場(chǎng)景通過(guò)圖像輸入設(shè)備記錄在相應(yīng)的計(jì)算與存儲(chǔ)設(shè)備中；③用戶(hù)借助交互設(shè)備與物理環(huán)境中的虛擬對(duì)象進(jìn)行交互，同時(shí)AR設(shè)備利用跟蹤定位技術(shù)實(shí)時(shí)檢測(cè)用戶(hù)的位置，視域方向、手勢(shì)及運(yùn)動(dòng)情況，幫助系統(tǒng)向用戶(hù)提供合適的虛擬對(duì)象；④依托虛擬現(xiàn)實(shí)融合技術(shù)，準(zhǔn)確的配準(zhǔn)真實(shí)世界和虛擬世界，實(shí)現(xiàn)遮擋、陰影和光照的一致性，同時(shí)實(shí)現(xiàn)自然交互；⑤計(jì)算與存儲(chǔ)設(shè)備將精準(zhǔn)匹配的圖像、動(dòng)作等信息經(jīng)由一定的顯示設(shè)備處理后顯示出來(lái)，如圖3所示?？傊?，增強(qiáng)現(xiàn)實(shí)技術(shù)體系主要由3D建模、用戶(hù)交互、追蹤定位和系統(tǒng)顯示四大類(lèi)技術(shù)相配合，共同呈現(xiàn)給用戶(hù)一個(gè)“虛實(shí)結(jié)合”的增強(qiáng)現(xiàn)實(shí)世界[13]。

圖3 增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)及實(shí)現(xiàn)流程

4 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

4.1 系統(tǒng)服務(wù)對(duì)象分析

山洪災(zāi)害交互式宣傳系統(tǒng)主要服務(wù)對(duì)象有以下4類(lèi)：一是需普及山洪災(zāi)害防范知識(shí)的群眾；二是所在地區(qū)經(jīng)常發(fā)生泥石流、洪水、暴雨等天氣的特殊人群；三是水利和防災(zāi)等相關(guān)管理部門(mén)人員；四是中小學(xué)學(xué)生群體。

4.2 系統(tǒng)設(shè)計(jì)

4.2.1 總體框架設(shè)計(jì)

通過(guò)AR技術(shù)把防災(zāi)減災(zāi)的現(xiàn)實(shí)環(huán)境構(gòu)成虛擬場(chǎng)景，并植入到手機(jī)APP中，利用專(zhuān)業(yè)引擎去與GPU互換數(shù)據(jù)，并通過(guò) METAL、OpenGL ES2、OpenGL ES3 接口去動(dòng)態(tài)渲染模擬光源[14]，并將模型表面貼圖虛擬真實(shí)化。系統(tǒng)總體框架設(shè)計(jì)如圖4所示。

圖4 系統(tǒng)總體框架圖

4.2.2 AR場(chǎng)景設(shè)計(jì)

為使AR系統(tǒng)宣傳的內(nèi)容易于4類(lèi)服務(wù)對(duì)象接受，本次設(shè)計(jì)的場(chǎng)景內(nèi)容為山洪災(zāi)害防治基本知識(shí)，具體包括什么是山洪災(zāi)害、江西省山洪災(zāi)害特點(diǎn)等7種場(chǎng)景，詳見(jiàn)圖5中所列。

圖5 “AR 普通模式”功能模塊

4.3 系統(tǒng)實(shí)現(xiàn)

在山洪災(zāi)害交互式宣傳系統(tǒng)中，用戶(hù)可使用AR功能，在APP觀看山洪災(zāi)害防治相關(guān)知識(shí)，并且該功能具有交互性，可以實(shí)現(xiàn)模型旋轉(zhuǎn)、汛寶講解等交互功能。具體功能模塊如下：

（1）AR普通模式。選擇“AR普通模式”，進(jìn)入選擇目錄，可分別點(diǎn)擊相應(yīng)的目錄按鍵進(jìn)入想觀看的內(nèi)容，內(nèi)容為視頻形式呈現(xiàn)，講解宣傳冊(cè)上山洪災(zāi)害防范自救知識(shí)。

（2）AR識(shí)別模式。AR識(shí)別模式的基本功能是：當(dāng)用戶(hù)使用移動(dòng)電話(huà)相機(jī)對(duì)準(zhǔn)特定標(biāo)志物時(shí)，在上傳所收集到的圖像信息后，通過(guò)算法提取識(shí)別圖像中的信息，然后再利用服務(wù)器的高速計(jì)算能力進(jìn)行特征匹配以顯示與該標(biāo)志物相對(duì)應(yīng)的山洪災(zāi)害防治知識(shí)，從而提高了學(xué)習(xí)的可視化效果，增加了用戶(hù)學(xué)習(xí)山洪災(zāi)害相關(guān)知識(shí)的趣味性。

圖6 AR識(shí)別模式

以其中一個(gè)模塊“山洪來(lái)臨前，如何獲取預(yù)警信息”為例，當(dāng)用戶(hù)掃描“山洪來(lái)臨前，如何獲取預(yù)警信息”所對(duì)應(yīng)的圖片，會(huì)出現(xiàn)吉祥物“汛寶”，吉祥物講解時(shí)右方會(huì)邊出現(xiàn)模型物件，當(dāng)吉祥物講解到門(mén)戶(hù)網(wǎng)站、廣播、電視、報(bào)刊、短信、微信等方式發(fā)布信息的時(shí)候，出現(xiàn)相應(yīng)的微信等對(duì)應(yīng)的照片；當(dāng)吉祥物講解到入戶(hù)預(yù)警器、雨量報(bào)警器、廣播、手搖報(bào)警器、銅鑼、口哨等時(shí)，吉祥物右手上空承托浮現(xiàn)以上三維模型。最后吉祥物會(huì)介紹常用的緊急救援電話(huà)。

圖7 汛寶介紹洪來(lái)臨前，如何獲取預(yù)警信息

5 應(yīng)用效果分析

為評(píng)估基于AR技術(shù)的山洪災(zāi)害交互式宣傳系統(tǒng)的應(yīng)用效果，本研究通過(guò)事后問(wèn)卷調(diào)查法對(duì)4類(lèi)系統(tǒng)服務(wù)對(duì)象進(jìn)行了效果評(píng)估，共收集到82張反饋的調(diào)查問(wèn)卷，根據(jù)問(wèn)卷結(jié)果，將對(duì)應(yīng)的評(píng)估指標(biāo)分?jǐn)?shù)化，統(tǒng)計(jì)每項(xiàng)指標(biāo)的平均值得到基于AR技術(shù)的山洪災(zāi)害交互式宣傳系統(tǒng)的應(yīng)用效果，如表1所示。

表1 應(yīng)用效果調(diào)查統(tǒng)計(jì)表（滿(mǎn)分均為10分）

總體來(lái)看，基于AR技術(shù)的山洪災(zāi)害交互式宣傳系統(tǒng)很有應(yīng)用價(jià)值、使用舒適度較高；針對(duì)山洪災(zāi)害頻發(fā)的山區(qū)，由于老年人相對(duì)較多，對(duì)新型技術(shù)接受能力相對(duì)較差，導(dǎo)致易用性較低。

6 結(jié)論

增強(qiáng)現(xiàn)實(shí)是將真實(shí)世界與虛擬世界結(jié)合在一起研究的新型領(lǐng)域，在眾多行業(yè)、領(lǐng)域中有著廣泛的應(yīng)用，鑒于其優(yōu)越的宣傳傳播價(jià)值，為解決傳統(tǒng)山洪災(zāi)害宣傳形式不夠新穎、吸引力不夠、科技含量不高等問(wèn)題，提出了運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)開(kāi)發(fā)交互式宣傳系統(tǒng)的思路和實(shí)現(xiàn)方案，實(shí)現(xiàn)了山洪災(zāi)害防治相關(guān)知識(shí)從可讀到可視、從靜態(tài)到動(dòng)態(tài)、從一維到多維、從平面媒體到全媒體的融合轉(zhuǎn)變，開(kāi)辟了一個(gè)重要、有效的宣傳途徑，是對(duì)傳統(tǒng)山洪災(zāi)害科普手段的重要補(bǔ)充。