基于增強現(xiàn)實技術(shù)的地震科普軟件開發(fā)與設(shè)計

趙 晶，羅 松，李建亮

（1.四川交通職業(yè)技術(shù)學(xué)院, 成都 610000；2.四川省地震局, 成都 610000；3.四川工商學(xué)院, 成都 610000）

0 引言

地震是我們熟知的一種自然災(zāi)害，常常造成嚴(yán)重的人員傷亡，會引起水災(zāi)、火災(zāi)、有毒氣體泄露、山崩等次生災(zāi)害。地震的發(fā)生往往是瞬間的，沒有學(xué)習(xí)過防震知識的人可能會“盲目逃生”，沒有使用正確的方法來避險，從而受到傷害。安縣桑棗中學(xué)的師生平時注重防震知識的學(xué)習(xí)，認(rèn)真完成每一次緊急疏散演習(xí)，在汶川地震發(fā)生時，有序疏散，及時撤離，無一人傷亡，體現(xiàn)了科學(xué)普及地震災(zāi)害知識的價值[1-2]?！丁笆濉眹铱破蘸蛣?chuàng)新文化建設(shè)規(guī)劃》中指出，科技創(chuàng)新、科學(xué)普及是實現(xiàn)創(chuàng)新發(fā)展的兩翼，要把科學(xué)普及放在與科技創(chuàng)新同等重要的位置。加強重點領(lǐng)域科普工作是當(dāng)前工作重點任務(wù)之一。由于地震災(zāi)害突發(fā)性、毀滅性極強，需要公眾在防御、抗御地震災(zāi)害方面提高意識、增強技能。

當(dāng)前地震科普主要存在的問題有科普內(nèi)容形式比較單一、科普宣傳形式比較傳統(tǒng)、地震科普知識的專業(yè)性不高等。首先，地震科普資料常見形式為圖冊、展板、視頻動畫等，這些可以起到一定的科普作用，但趣味性不高，不能吸引人們的關(guān)注，特別是書刊類科普資料對于老人和幼兒群體收效甚微。其次，科普宣傳一般依靠固定展館或相關(guān)活動開展，并以展項展示或發(fā)放資料的方式去開展宣傳，人們是被動接收有限的地震科普知識信息，宣傳力度還不能滿足科學(xué)普及防災(zāi)減災(zāi)知識的需求。另外，由于相關(guān)地震知識在群眾安全教育中應(yīng)用廣泛，所以專業(yè)和非專業(yè)的地震科普資料都很多，有些科普資料并不準(zhǔn)確，甚至?xí)o人們錯誤的引導(dǎo)。在當(dāng)今這個信息發(fā)達(dá)的社會，如何生動、有效、準(zhǔn)確地去實施地震知識科學(xué)普及值得地震專業(yè)人員深入思考。

地震災(zāi)害的應(yīng)急處置是社會各界人士關(guān)注的焦點之一，如何有效地應(yīng)對地震災(zāi)害是值得思考的問題。提高公眾個人素質(zhì)與地震應(yīng)急意識、防震減災(zāi)能力，有助于地震應(yīng)急處理以及確保百姓的生命安全、減少地震造成的損傷[3]。AR 影響著人類對世界的認(rèn)知，這種技術(shù)正在改變著我們感受世界的形式，帶給我們交互沉浸式的美好體驗[4]。AR 技術(shù)能夠?qū)⒇S富的防震知識融合到用戶感受得到的真實情境中[5]，提高人們學(xué)習(xí)防震減災(zāi)知識的主動性，并且使人們能夠有效應(yīng)對災(zāi)情處置工作。利用AR 技術(shù)去開發(fā)人們愿意使用并有效防震減災(zāi)的地震科普應(yīng)用手機APP，具有顯著的研究意義和應(yīng)用前景。

手機已經(jīng)是人人普及的電子類生活用品，無論男女老少都能便捷地使用手機進(jìn)行學(xué)習(xí)、娛樂。當(dāng)前，防震減災(zāi)科普知識傳播手段正向信息化、智能化邁進(jìn)，開發(fā)集科學(xué)性、權(quán)威性、趣味性于一體的科普產(chǎn)品，成為防震減災(zāi)科普作品開發(fā)的新趨勢。作者及團隊利用已有的專業(yè)資源開發(fā)了一款專業(yè)的地震科普手機應(yīng)用程序，可以有效地將防災(zāi)減災(zāi)知識推廣給人們。應(yīng)用安卓系統(tǒng)手機[6-7]上的AR科普應(yīng)用軟件能夠?qū)⒖菰锏牡卣鹬R變得有趣，使人們感興趣并愿意學(xué)習(xí)防災(zāi)減災(zāi)知識。

1 相關(guān)技術(shù)介紹

1.1 增強現(xiàn)實技術(shù)

增強現(xiàn)實（Augmented Reality）英文縮寫為AR，是利用現(xiàn)實和虛擬空間相互結(jié)合的技術(shù)方法，將難以體驗的實體信息在計算機等技術(shù)的基礎(chǔ)上，進(jìn)行仿真虛擬化，生動形象地刻畫出實體信息，實現(xiàn)超越真實世界的感官體驗。實現(xiàn)過程中使用攝像頭和傳感器獲取真實場景的坐標(biāo)信息，通過分析處理對采集到的信息重新構(gòu)建，將現(xiàn)實中真實信息與虛擬場景內(nèi)容融合交互[8]，即把真實和虛擬場景的坐標(biāo)系對齊并融合計算后，將交互后的影像展現(xiàn)給用戶。為實現(xiàn)虛擬影像在現(xiàn)實空間環(huán)境中的無縫疊加，需要使用跟蹤注冊方法將設(shè)備攝像頭和虛擬影像的位置對應(yīng)，即在三維空間中完成注冊匹配。AR 在應(yīng)用時，原理一般是使用者利用電子設(shè)備上的攝像頭等器件捕捉真實空間信息并跟蹤，將計算機設(shè)計好的三維模型、圖像文字作為虛擬信息，和捕捉跟蹤到的三維空間場景通過三維注冊技術(shù)完成定位匹配，最后用顯示屏或3D 眼鏡[9]等電子設(shè)備展現(xiàn)融合后的“立體信息形式”。

1.2 場景識別

場景識別廣泛應(yīng)用在學(xué)習(xí)研究和生活當(dāng)中，用計算機對圖像包含的內(nèi)容進(jìn)行分析判斷處理，理解并識別出圖像中的場景種類。底層特征是刻畫圖像最基本信息的，描繪了圖像底層的邊緣輪廓、紋理結(jié)構(gòu)等信息，計算也較為容易。適合在結(jié)構(gòu)簡單的場景下使用，若場景的物體繁多，整體結(jié)構(gòu)復(fù)雜，得到的效果就很難滿足要求[10]。特征學(xué)習(xí)將像素作為基本點，經(jīng)過轉(zhuǎn)換后，學(xué)習(xí)圖層中隱含的圖像特征信息。突出的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在復(fù)雜大規(guī)模的場景分類問題上取得了較好成果，將圖像處理后通過卷積層運算，抽取三個連接層中的一層響應(yīng)數(shù)值，組成CNN 特征向量，在視覺識別中作為通用表示圖像[11]。

2 AR 軟件設(shè)計

2.1 開發(fā)環(huán)境及主要功能

對地震知識的學(xué)習(xí)與認(rèn)知，有助于增強防震意識和減少盲目逃生所致的人員傷亡。本項目在安卓操作系統(tǒng)上設(shè)計與開發(fā)一款融入AR 元素的應(yīng)用程序，使防震減災(zāi)知識生動形象地展現(xiàn)出來，讓人們比較容易地接受和理解防震知識，從而達(dá)到科普防震減災(zāi)知識的目的。應(yīng)用程序中還添加識物、區(qū)域定位與精確定位、地震信息和當(dāng)前天氣播報等功能，為科普用戶提供便捷的生活服務(wù)。

2.2 需求分析

生活中的地震應(yīng)急救援知識多數(shù)以文字圖畫的形式呈現(xiàn)。但人們的知識水平高低不一，不同年齡的群體接受與理解事物的能力差異較大，以單一的方式對大眾進(jìn)行防震知識宣傳，效果有限。應(yīng)用系統(tǒng)針對上述問題進(jìn)行設(shè)計開發(fā)，主要分為學(xué)校、車站、山區(qū)和住宅四大場景，以多元化的方式分別介紹在對應(yīng)場景中的防震知識。其次，為大眾用戶提供地圖定位、地震信息提示等便捷的生活服務(wù)。應(yīng)用不僅以AR 交互的形式給用戶提供地震應(yīng)急知識，還嵌合各種小功能增加應(yīng)用的實用性。

2.3 框架設(shè)計

應(yīng)用設(shè)計分為網(wǎng)絡(luò)模塊、日志模塊、文件模塊、AR 模塊、UI 模塊和數(shù)據(jù)處理模塊6 部分，如圖1所示。網(wǎng)絡(luò)模塊是與外界溝通的橋梁，用來請求和接收相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，如物體識別后的描述、地圖數(shù)據(jù)和地震信息等。日志模塊存儲日志和打印日志可以定位到問題代碼處，并及時得到反饋，提高編程效率。文件模塊管理了地震科普的視頻與PDF 文件。通過網(wǎng)絡(luò)模塊向DuMix AR 內(nèi)容開放平臺請求數(shù)據(jù)，AR 模塊運算處理后通過攝像頭實時畫面展示給用戶。UI 模塊管理啟動畫面、引導(dǎo)頁、菜單界面及子界面等界面信息，給用戶良好的體驗交互。數(shù)據(jù)處理模塊處理了物體識別和地震信息網(wǎng)絡(luò)請求后的數(shù)據(jù)塊，提取其中有效的信息以及用戶在實時地圖上的位置。

圖1 應(yīng)用核心框架設(shè)計Fig.1 Application core framework design

2.4 功能設(shè)計

應(yīng)用在實現(xiàn)功能時，調(diào)用了封裝在各個模塊中的接口，以確保正常運行使用。主要的接口包括場景識別、AR 展示、物體識別、百度地圖SDK、地震信息等，將基本功能封裝成API 接口庫模塊化，便于管理與使用，功能模塊如圖2 所示。

圖2 功能接口設(shè)計Fig.2 Functional interface design

2.5 數(shù)據(jù)集制作

為了提高場景/物體識別功能的識別率，選用自制的圖像數(shù)據(jù)來訓(xùn)練識別模型。首先，選擇光源穩(wěn)定的地點，對場景識別及物體識別所需的數(shù)據(jù)集進(jìn)行拍攝與制作。對教室、食堂、操場、宿舍、地鐵5 個場景和多功能工兵鏟、干粉滅火器、迷你急救藥包、應(yīng)急保溫毯等13 個防震應(yīng)急物品在自然狀態(tài)下進(jìn)行拍攝，過程中注意對特定場景或物體從多角度采集，圖片分辨率統(tǒng)一為512×512。然后使用具有色彩恢復(fù)功能的多尺度視網(wǎng)膜增強算法(Multi-Scale Retinex with Color Restoration，MSRCR)[12]對采集的圖片進(jìn)行清洗與預(yù)處理，借助EasyDL 平臺對實現(xiàn)場景識別和物體識別功能所需的圖片數(shù)據(jù)進(jìn)行標(biāo)注。

2.6 場景/物體識別

獲取到場景/物體識別模型訓(xùn)練所需的圖像數(shù)據(jù)集后，在EasyDL 平臺上訓(xùn)練并發(fā)布模型。模型評估報告中顯示場景識別的準(zhǔn)確率能達(dá)到99.3%，物體識別的整體準(zhǔn)確率能達(dá)到97.6%。識別流程如圖3 所示。

圖3 場景/物體識別流程Fig.3 Scene/object recognition flow

3 AR 防 震 科 普 知 識 在 應(yīng) 用 程 序 中 的實現(xiàn)

3.1 界面實現(xiàn)

應(yīng)用的主菜單界面直觀地給用戶展示了系統(tǒng)所包含的主要功能，有場景識別、物體識別、應(yīng)急處置、急救知識、地震常識、地圖/GPS 定位、地震信息滾動播報等，如圖4a 所示。場景識別和物體識別界面使用SurfaceView 控件實時顯示攝像頭傳輸畫面，為AR 模型提供載體，如圖4b 所示。應(yīng)急處置、急救知識和地震常識界面以圖畫、視頻和文字的形式介紹了地震中對應(yīng)場景下的逃生方法和急救方法，如圖4c 所示。

圖4 APP 應(yīng)用界面示意Fig.4 Application interface design

地圖/GPS 定位功能實現(xiàn)關(guān)鍵代碼：

3.2 應(yīng)用功能實現(xiàn)

在識別功能中，通過調(diào)用百度AI 開放平臺SDK 接口，對拍照場景和物體進(jìn)行分類。識別到設(shè)置的場景或物品時，使用DuMix 內(nèi)容制作平臺的AR 人物對地震逃生知識進(jìn)行科普講解，如圖5a 所示。講解內(nèi)容是通過調(diào)用數(shù)據(jù)庫，按照識別出的場景或物品所給出相應(yīng)的科普知識點實現(xiàn)的。講解完畢后，附可選擇性播放的自制多媒體視頻、動畫等資料，進(jìn)一步加深知識點的展示效果，如圖5b所示。另外，該軟件還可以通過GPS 定位獲取到當(dāng)前的位置信息，經(jīng)轉(zhuǎn)換可以得到使用者的當(dāng)前所在地區(qū)，并且根據(jù)當(dāng)前所在地域來獲取地震信息。

圖5 APP 中物品識別功能操作示意Fig.5 Object recognition function operation demonstration in application AR character explain the use of fire extinguishers by voice video of fire extinguishers using playback tips

AR 互動講解功能實現(xiàn)的關(guān)鍵代碼：

3.3 軟件特點

為了保證用戶有更好的體驗，軟件展示過程中采用的多媒體資料更注重其科普性展示。通過研究分析，資料制作中應(yīng)注意以下幾點：1）內(nèi)容是科學(xué)知識點經(jīng)過科普化的，相對淺顯易懂。確保用戶能夠在一次瀏覽中理解。2）內(nèi)容量要注意適度。文字以一個知識點不超過500 字為宜，一個視頻時長以不超過2 分鐘為宜。3）內(nèi)容要有直觀性。讓用戶在最短時間內(nèi)獲取信息。4）內(nèi)容要具備有效性。針對應(yīng)急需求目標(biāo)能確實起到提升公眾應(yīng)急能力的作用。

軟件中嵌入了大量適合與軟件平臺AR 互動展示的多媒體視頻，這些視頻由地震應(yīng)急專業(yè)人員以及在校大學(xué)生合作制作完成，視頻內(nèi)容豐富、風(fēng)格生動、專業(yè)性強，能夠增強用戶在瀏覽地震科普知識過程中的趣味性和有效性，如圖6 所示。

圖6 APP 中地震科普視頻截圖Fig.6 Earthquake science video screenshot

4 結(jié)語

開發(fā)了一款應(yīng)用于安卓系統(tǒng)手機的用于地震應(yīng)急救援知識科普宣傳的增強現(xiàn)實應(yīng)用軟件。軟件已在百度應(yīng)用平臺正式發(fā)布，并利用四川省地震局官微、四川交通職業(yè)技術(shù)學(xué)院官微等渠道進(jìn)行軟件推介，并在2022 年5·12 防災(zāi)減災(zāi)日、10·13 國際防災(zāi)日及瀘定6.8 級地震等、蘆山6.1 級地震等多次破壞性地震現(xiàn)場應(yīng)急宣傳中推廣使用，取得較好的應(yīng)用效果。