基于移動增強現(xiàn)實技術(shù)的融媒體系統(tǒng)的研究

呂科錦，秦一松

（廣西城市職業(yè)大學(xué)，廣西 崇左 532200）

0 引言

現(xiàn)階段，虛擬現(xiàn)實技術(shù)備受關(guān)注，且已經(jīng)成為資本市場尤為關(guān)注的熱點課題。無論是在終端器件方面、平臺打造方面，還是在行業(yè)應(yīng)用層面，國內(nèi)外相關(guān)企業(yè)皆開始致力于虛擬現(xiàn)實技術(shù)的布局。毋庸置疑，在確保虛擬現(xiàn)實技術(shù)實用性的前提下，關(guān)注線下場景用戶的體驗互動，構(gòu)建操作簡單、開發(fā)成本和復(fù)雜度較低的虛擬現(xiàn)實技術(shù)應(yīng)用方案，能夠取得理想的展示效果，同時，也有著理想的行業(yè)推廣價值。

文章即結(jié)合圖像識別技術(shù)、虛實結(jié)合技術(shù)和三維注冊等技術(shù)，立足于移動增強顯示理念，構(gòu)建了融媒體系統(tǒng)。該系統(tǒng)為手機端APP，主要包括四部分，即：模型展示子系統(tǒng)、視頻播放子系統(tǒng)、二維碼識別子系統(tǒng)和游戲互動子系統(tǒng)，用戶利用移動端攝像頭進(jìn)行圖片掃描后，即可獲取形式不同的增強現(xiàn)實效果，同時，用戶利用手勢和聲音等，即可實現(xiàn)與系統(tǒng)的交互，進(jìn)而取得更加良好的趣味性和體驗感。

本文從項目特點出發(fā)，分別對四個子系統(tǒng)進(jìn)行了全面的開發(fā)和闡述，同時，立足于兼容性需求，選擇Unity 3d作為開發(fā)引擎、選擇Easyar實現(xiàn)增強現(xiàn)實效果、選擇C＃作為開發(fā)語言。

1 融媒體系統(tǒng)關(guān)鍵技術(shù)

從增強現(xiàn)實的特性來看，主要包括四方面，即：圖像識別、虛實結(jié)合、實時交互和三維注冊。

（1）圖像識別。在本文所構(gòu)建的融媒體系統(tǒng)內(nèi)部，圖像識別最為基礎(chǔ)也最為關(guān)鍵。圖像識別部分所包括的圖像匹配功能，能夠找到同一場景兩幅圖像內(nèi)對應(yīng)的特征關(guān)系。從圖像分配的步驟來看，主要分為四步：一是檢測圖像特征點，二是提取圖像特征點描述向量，三是粗匹配圖像特征點，四是消除錯匹配?？偨Y(jié)來說，算法執(zhí)行大概流程為：先應(yīng)用ORB特征提取，依據(jù)特征點歐氏距離，實現(xiàn)圖像粗匹配，然后應(yīng)用RANSAC算法，篩選粗匹配點，最終完成匹配。

（2）三維注冊。所謂三維注冊技術(shù)，實際上就是以實時追蹤攝像頭的位置信息為依據(jù)，判斷出虛擬信息于真實場景內(nèi)正確位置，并實時顯示于顯示設(shè)備，最終達(dá)成虛擬信息與真實場景相融合目標(biāo)的一項技術(shù)?，F(xiàn)階段，仿射變換注冊技術(shù)和相機定標(biāo)注冊技術(shù)為常見的三維注冊技術(shù)[1]。

（3）虛實結(jié)合。利用圖像識別子系統(tǒng)和三維注冊子系統(tǒng)的功能，即可獲得足夠設(shè)置虛擬模型位置的相關(guān)信息，將真實場景和虛擬信息結(jié)合后，即可良好的呈現(xiàn)給用戶。為實現(xiàn)真正意義上虛實無縫結(jié)合目標(biāo)，要采取有效措施，根據(jù)環(huán)境和光照變化的實際情況，對虛擬物體的紋理信息進(jìn)行調(diào)整，進(jìn)而實現(xiàn)物體光照和陰影自然變化的目標(biāo)，最終強化用戶的沉浸感。

（4）交互控制。在移動A R系統(tǒng)內(nèi)部，交互控制技術(shù)作用顯著，與跟蹤注冊和顯示技術(shù)聯(lián)系密切，一般來說，交互控制技術(shù)的優(yōu)劣，直接關(guān)乎著虛擬對象和現(xiàn)實場景交互體驗質(zhì)量。同時，在移動AR系統(tǒng)內(nèi)部，基于計算機輸入要求和輸出要求，圍繞人機交互構(gòu)建了大量的研究，日前，僅應(yīng)用鼠標(biāo)和鍵盤兩項傳統(tǒng)的輸入方式，已經(jīng)無法契合新時期系統(tǒng)人機交互需求，若想達(dá)成理想的增強現(xiàn)實目標(biāo)，務(wù)必要保障交互方式的自由性。近段時間以來，在計算機技術(shù)的推動下，新型的人機交互方式頻頻涌現(xiàn)，本文所構(gòu)建的系統(tǒng)，即采用了語音識別、手勢識別等先進(jìn)的交互方式。

2 融媒體系統(tǒng)實現(xiàn)功能

本文所構(gòu)建的融媒體系統(tǒng)，主要可以實現(xiàn)優(yōu)化現(xiàn)實效果、手勢交互、粒子特效、語音動畫、顏色實時映射和二維碼識別等功能。

（1）優(yōu)化現(xiàn)實效果。利用手機攝像頭，用戶即可對圖片進(jìn)行掃描，攝像頭在掃描圖片階段，若檢測到與數(shù)據(jù)庫內(nèi)存儲圖像相同的特征點，即會對應(yīng)到三維模型和三維視頻，并顯示于屏幕，優(yōu)化現(xiàn)實效果。

（2）手勢交互。為強化系統(tǒng)的娛樂性，更好地彰顯系統(tǒng)的交互功能，本系統(tǒng)具有模型手勢控制功能。在完成圖像的掃描和識別后，用戶即可于虛擬屏幕空間獲取對應(yīng)三維模型，通過觸摸手機屏，即可以手勢控制模型，達(dá)成和模型的交互目標(biāo)。具體來說，手勢控制主要包括：一是點擊，用戶利用手指點擊模型，模型即會作出反應(yīng)，產(chǎn)生對應(yīng)的動畫和聲音。本系統(tǒng)綜合考慮了用戶的習(xí)慣，在模型上添加了碰撞體，用戶在點擊模型本身后，即會發(fā)生點擊效果[2]。二是縮放，通過兩手指間的滑動，即可實現(xiàn)模型的縮放目標(biāo)，用戶可以從自身需求出發(fā)，靈活調(diào)整模型縮放比例。三是旋轉(zhuǎn)，通過手指于屏幕上的滑動，即可控制模型旋轉(zhuǎn)，對模型進(jìn)行全方位的觀察。四是移動，區(qū)別于縮放操作，用戶兩個手指同時向同一方向移動，即可移動模型。

（3）粒子特效。在UI主界面上應(yīng)用粒子特效，可強化效果的逼真程度。

（4）語音動畫。在本系統(tǒng)的語音動畫模塊內(nèi)，主要應(yīng)用Unity 3d內(nèi)嵌Animation動畫系統(tǒng)，并以動畫狀態(tài)機為依托，對動畫的交換和交互進(jìn)行控制[3]。

（5）顏色實時映射。本系統(tǒng)的顏色實時映射效果主要是為了滿足二維識別圖到三維模型UV圖的映射需求，可以良好的將二維圖像著色創(chuàng)作效果表現(xiàn)于三維模型。

從顏色實時映射效果的實現(xiàn)來看，主要涉及圖像處理算法如下：一是紋理映射，二是雙線性插值。首先，基于攝像頭拍攝二維畫面，可掌握畫面四個角點與識別框位置關(guān)系，進(jìn)而確保畫面整體處于識別框內(nèi)部，在此基礎(chǔ)上，對識別區(qū)域透視變化，也就是利用二維紋理映射反向映射算法，實現(xiàn)不規(guī)則圖像映射于規(guī)則矩形內(nèi)的目標(biāo)[4]。然后，應(yīng)用線性插值算法，開展圖像采樣工作。最后，完成圖像處理后，將圖像作為模型Texture附著三維模型表面，獲取對應(yīng)顏色。

受手機設(shè)備性能限制，模型Texture采用512×512分辨率，如此，即可兼顧處理速度和著色效果的要求[5]。

（6）二維碼識別。相比于傳統(tǒng)二維碼識別效果而言，增強現(xiàn)實技術(shù)背景下的二維碼識別，識別內(nèi)容可顯示于手機屏幕，效果更加理想。

3 融媒體系統(tǒng)開發(fā)實現(xiàn)

（1）開發(fā)環(huán)境。本系統(tǒng)選擇Unity 3d作為開發(fā)環(huán)境，選擇Easy SDK作為開發(fā)工具，選擇UGUI功能模塊作為界面開發(fā)工具，選擇Animation作為模型開發(fā)動畫系統(tǒng)，選擇Particle System開發(fā)粒子特效[6]。

（2）界面開發(fā)。在界面設(shè)計階段，要力求界面美觀、簡潔，并帶有理想的操作性。在開發(fā)UI界面階段，可應(yīng)用UGUI系統(tǒng)進(jìn)行高級控件的繪制，并添加背景音效和粒子效果，強化沉浸效果。

（3）功能開發(fā)。毋庸置疑，本系統(tǒng)各個學(xué)習(xí)場景搭建，皆以移動增強現(xiàn)實技術(shù)為核心。一是在識別圖處理方面，根據(jù)Easyar特征點標(biāo)記特點，識別圖多選擇特征點多、對比度高的圖像[7]。二是在Unity 3d內(nèi)開發(fā)，主要包括調(diào)整場景布局、應(yīng)用C＃編程語言編寫腳本和導(dǎo)入Easyar SDK等。三是依托Unity 3d將系統(tǒng)導(dǎo)入安卓平臺，于智能手機上測試系統(tǒng)功能。

4 系統(tǒng)發(fā)布應(yīng)用

系統(tǒng)程序發(fā)布后，下載APP即可進(jìn)行使用，用戶通過移動端攝像頭掃描，即可進(jìn)行不同的場景，獲取不同形式的體驗效果。一是AR模型場景，APP可于視頻內(nèi)實時渲染疊加模型，用戶利用相關(guān)手勢，即可旋轉(zhuǎn)、放大和縮小模型。二是視頻場景，系統(tǒng)識別圖像后，會將視頻疊加于識別圖播放。三是二維碼掃描場景，攝像頭掃描二維碼后，會將解碼的內(nèi)容顯示于手機屏幕，若為網(wǎng)頁信息，用戶點擊按鈕后，即可進(jìn)入網(wǎng)頁。第四是AR涂涂樂，用戶在圖像涂色后，掃描圖像即可予以顯示。