關(guān)于媒體融合的增強(qiáng)現(xiàn)實(shí)技術(shù)的研究

邱雅慧

摘要：隨著計(jì)算機(jī)技術(shù)的迅速進(jìn)步，增強(qiáng)現(xiàn)實(shí)其虛實(shí)結(jié)合的特點(diǎn)和無(wú)與倫比的巨大優(yōu)勢(shì)，逐漸成為相關(guān)領(lǐng)域的研究重點(diǎn)。文章首先介紹了增強(qiáng)現(xiàn)實(shí)技術(shù)的概念與基本特點(diǎn)，然后對(duì)媒體融合的增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行研究，并主要探討了相機(jī)跟蹤注冊(cè)、視頻目標(biāo)的追蹤和可見性計(jì)算以及虛實(shí)環(huán)境融合媒體融合等增強(qiáng)現(xiàn)實(shí)技術(shù)的主要技術(shù)基礎(chǔ)。最對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)未來(lái)發(fā)展與應(yīng)用進(jìn)行了展望。

關(guān)鍵詞：數(shù)字媒體 增強(qiáng)現(xiàn)實(shí)技術(shù) 媒體融合

中圖分類號(hào)：TP37

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1003-0069（2015）10-0084-02

增強(qiáng)現(xiàn)實(shí)是以虛擬現(xiàn)實(shí)技術(shù)為基礎(chǔ)發(fā)展形成的重要分支，增強(qiáng)現(xiàn)實(shí)可以通過(guò)將計(jì)算機(jī)產(chǎn)生的文本、圖像甚至視頻或場(chǎng)景實(shí)時(shí)嵌入到用戶所處的真實(shí)世界，從而建立虛擬與真實(shí)之間的聯(lián)系，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)世界信息的目的，提高用戶的感知能力。虛擬現(xiàn)實(shí)技術(shù)產(chǎn)生于上世紀(jì)六、七十年代，并對(duì)擴(kuò)展人類認(rèn)識(shí)世界，提高適應(yīng)世界的能力起到了重要作用，特別是在仿真訓(xùn)練、工業(yè)設(shè)計(jì)以及交互體驗(yàn)等領(lǐng)域得到了廣泛應(yīng)用。但由于虛擬技術(shù)建模工作量大以及現(xiàn)實(shí)世界匹配程度等問題一直得不到有效解決，因此刺激出現(xiàn)了多種虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)，其中將虛擬對(duì)象嵌入到真實(shí)世界的增強(qiáng)現(xiàn)實(shí)技術(shù)有效降低了建模工作量，促進(jìn)了虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展。

1增強(qiáng)現(xiàn)實(shí)的特點(diǎn)

增強(qiáng)現(xiàn)實(shí)技術(shù)是連接現(xiàn)實(shí)與虛擬的媒介，作為現(xiàn)實(shí)世界的有效延伸，也體現(xiàn)出對(duì)虛擬世界的必要補(bǔ)充，因此增強(qiáng)現(xiàn)實(shí)具有虛實(shí)結(jié)合、實(shí)時(shí)交互和三維注冊(cè)的特點(diǎn)。

1.1虛實(shí)結(jié)合

由于增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)具有本質(zhì)區(qū)別，增強(qiáng)現(xiàn)實(shí)的出發(fā)點(diǎn)并不是要完全取代現(xiàn)實(shí)環(huán)境，同時(shí)還體現(xiàn)出對(duì)現(xiàn)實(shí)世界的突出依賴，可以說(shuō)增強(qiáng)現(xiàn)實(shí)的目的就是為現(xiàn)實(shí)服務(wù)的。其主要特征是將虛擬信息與真實(shí)世界相互融合并疊加成一個(gè)畫面，同時(shí)展示出真實(shí)世界與虛擬世界的雙重信息，實(shí)現(xiàn)這兩種信息的補(bǔ)充、疊加，從而體現(xiàn)出虛實(shí)結(jié)合的特點(diǎn)。

1.2實(shí)時(shí)交互

實(shí)時(shí)交互是指用戶可以依靠對(duì)現(xiàn)實(shí)世界的信息的獲取，從而實(shí)時(shí)得到反饋信息。因?yàn)樵鰪?qiáng)現(xiàn)實(shí)需要通過(guò)對(duì)現(xiàn)實(shí)事物的迅速識(shí)別，然后在設(shè)備中合成，才能將混合信息準(zhǔn)確傳達(dá)給用戶，從而實(shí)現(xiàn)了虛擬與真實(shí)信息的同步傳播。

1.3三維注冊(cè)

增強(qiáng)現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)依賴于攝像機(jī)姿態(tài)的實(shí)時(shí)跟蹤，并得到攝像機(jī)影像位置及角度的實(shí)時(shí)信息。在上述基礎(chǔ)上才可以實(shí)現(xiàn)虛擬圖像在真實(shí)場(chǎng)景中的位置注冊(cè)，并最終實(shí)現(xiàn)虛擬和真實(shí)世界的自然的融合。因此增強(qiáng)現(xiàn)進(jìn)行識(shí)別的前提是三維注冊(cè)，如果不經(jīng)過(guò)三維注冊(cè)是絕對(duì)不能實(shí)現(xiàn)增強(qiáng)的。

2媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的技術(shù)基礎(chǔ)

2.1相機(jī)跟蹤注冊(cè)技術(shù)

虛擬技術(shù)通過(guò)人機(jī)交互，可以帶給用戶身臨其境的真實(shí)體驗(yàn)，但是這一切都需要大量而精細(xì)的建模渲染計(jì)算。媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)中攝像機(jī)所采集圖像真是生活場(chǎng)景的真實(shí)反映，可以大幅減少建模與渲染工作量，從而提供了一種輕量級(jí)的增強(qiáng)技術(shù)，但是也給拍攝中的相機(jī)跟蹤注冊(cè)提出了新的要求。相機(jī)跟蹤注冊(cè)的內(nèi)涵是指將相機(jī)觀測(cè)的二維圖像與虛擬的三維場(chǎng)景之間建立空間投影關(guān)系，這就需要對(duì)相機(jī)的位置與姿態(tài)實(shí)時(shí)進(jìn)行參數(shù)估計(jì)。由于傳統(tǒng)的特殊標(biāo)識(shí)相機(jī)跟蹤方式需要依靠場(chǎng)景中的標(biāo)識(shí)物，因此限制了該技術(shù)的應(yīng)用范圍。所以相關(guān)學(xué)者經(jīng)過(guò)研究提出了基于自然特征的注冊(cè)技術(shù)，以有效突破相機(jī)跟蹤中標(biāo)示物的限制和約束，該技術(shù)自產(chǎn)生以來(lái)就被迅速應(yīng)用于增強(qiáng)現(xiàn)實(shí)領(lǐng)域。

在視覺跟蹤技術(shù)運(yùn)用幀一模型的匹配方法要比幀一幀匹配方法更具可信性，尤其是適應(yīng)連續(xù)幀重建問題。然而存在主要問題是由于計(jì)算量大容易造成實(shí)時(shí)性不佳的問題。在大場(chǎng)景定位方面，基于微軟的Kinect深度相機(jī)的有效深度一般可以控制在10 m以內(nèi)，如果是基于可見光的雙目立體相機(jī)在科學(xué)調(diào)整基線長(zhǎng)度的情況下，則能夠獲得更遠(yuǎn)的深度估計(jì)。所以因此將微軟Kinect深度相機(jī)、立體相機(jī)以及慣性導(dǎo)航單元等傳感器有機(jī)結(jié)合在一起，是提高三維注冊(cè)技術(shù)精度的有效解決辦法，基于這一方式可以實(shí)現(xiàn)高精度的增強(qiáng)現(xiàn)實(shí)技術(shù)。

2.2視頻目標(biāo)的跟蹤與可見性計(jì)算

視頻目標(biāo)的跟蹤是實(shí)現(xiàn)媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的關(guān)鍵。其中關(guān)于動(dòng)態(tài)目標(biāo)的跟蹤以及可見性計(jì)算則是實(shí)現(xiàn)虛擬與真實(shí)融合的主要關(guān)鍵，而虛擬角色的可見性計(jì)算不僅是一項(xiàng)難度極高的任務(wù)，同時(shí)要考慮到視頻分層的實(shí)時(shí)處理，因此在計(jì)算方法的選擇上也有極高的要求。從目前的研究成果來(lái)看，通用的方法是將動(dòng)態(tài)目標(biāo)跟蹤與可見性計(jì)算兩個(gè)主要問題進(jìn)行同步處理，一攬子解決問題，也就是通過(guò)視頻分割來(lái)提高算法的效率。但是基于目前普遍采用的二元分層方式，在遇到多個(gè)前景目標(biāo)的情況下，前景分割將和目標(biāo)跟蹤不僅會(huì)變得極為復(fù)雜，同時(shí)判定和計(jì)算的速度與精度也難以保證。因此在此次研究中提出了一種將虛擬角色實(shí)時(shí)融入真實(shí)視頻場(chǎng)景的算法。該算法的基本思慮是首先對(duì)虛擬人群進(jìn)行約束式行為建模，然后通過(guò)背景剔除與局部約束分割并行的方式，對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行實(shí)時(shí)的多目標(biāo)跟蹤與分割，最后利用自適應(yīng)卡爾曼濾波方法，做出目標(biāo)的穩(wěn)定運(yùn)動(dòng)的準(zhǔn)確估計(jì)，并收到了良好效果。

2.3視頻融合

視頻融合是實(shí)現(xiàn)媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)下虛擬環(huán)境真實(shí)顯示的關(guān)鍵性步驟，但目前使用的圖形繪制方法主要是在融合靜態(tài)三維模型情況下的真實(shí)感渲染。例如Debevec曾經(jīng)提出利用手工方式進(jìn)行三維拓?fù)湟约皥D像內(nèi)容的映射，以達(dá)到非相機(jī)視點(diǎn)的效果，但鑒于在當(dāng)時(shí)的情況下并未實(shí)現(xiàn)三維空間標(biāo)定關(guān)系的真實(shí)體現(xiàn)，這種方式下紋理坐標(biāo)與三角形頂點(diǎn)關(guān)聯(lián)，必須在渲染之前進(jìn)行指定。與之相對(duì)的是AVE系統(tǒng)下由模型到圖像的方法。這種方法下，視頻投影并不需要依靠相機(jī)所在的位置以及相機(jī)圖像以外的更多信息，即對(duì)模型上諸頂點(diǎn)的坐標(biāo)進(jìn)行實(shí)時(shí)計(jì)算獲取，因此這種方式的好處是隨著相機(jī)位置以及視頻內(nèi)容的變化，可以便捷地計(jì)算出圖像的映射關(guān)系。雖然該方法在圖像渲染與三維可視化領(lǐng)域得到廣泛應(yīng)用，但是由于圖像只能在相機(jī)可見的區(qū)域映射，所以需要對(duì)圖像投影過(guò)程中的所有可見性信息進(jìn)行獲取。此外在AVE系統(tǒng)中，由于某個(gè)區(qū)域會(huì)被多個(gè)相機(jī)同時(shí)可見，因此就不可避免地產(chǎn)生了紋理重疊的問題，這種情況下可以通過(guò)對(duì)虛擬空間進(jìn)行區(qū)域劃分，將每個(gè)相機(jī)對(duì)與相應(yīng)的區(qū)域進(jìn)行對(duì)應(yīng)，就可以有效避免這一問題。

3媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的未來(lái)發(fā)展與面臨的問題

3.1媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的未來(lái)發(fā)展

不久的將來(lái).隨著高清晰數(shù)字?jǐn)z像設(shè)備大大普及，視頻信息的獲取將變得更為容易，人們可以更加簡(jiǎn)捷輕松地使用DV、攝像頭和手機(jī)等獲得數(shù)字視頻。與此同時(shí)，隨著數(shù)字媒體的不斷發(fā)展以及媒體融合的不斷深入，未來(lái)數(shù)字特效應(yīng)用的需求將迅速增加，這也將進(jìn)一步促進(jìn)動(dòng)畫與視頻交互處理技術(shù)的迅速普及。上述兩方面的發(fā)展，也必將進(jìn)一步促進(jìn)媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展與普及。以電影領(lǐng)域?yàn)槔?，隨著數(shù)字技術(shù)的迅速進(jìn)步，以實(shí)時(shí)視頻融合技術(shù)為基礎(chǔ)的“沉浸式電影”在不久的將來(lái)就可能成為現(xiàn)實(shí)，而這種呈現(xiàn)出電影觀眾與電影本身完美互動(dòng)的電影形式將促進(jìn)電影藝術(shù)樣式的本質(zhì)變革。再如，媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展使得電視直播中的角色替代成為可能。在目前的技術(shù)條件下，當(dāng)電視直播中出現(xiàn)故障時(shí)，只能采用暫停的方式予以補(bǔ)救。而依靠媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)，就能夠?qū)⒅付繕?biāo)替代進(jìn)行替換，從而保證直播的順利進(jìn)行。

3.2媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)面臨的問題

媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的出現(xiàn)，為傳統(tǒng)媒體利用新媒體技術(shù)，進(jìn)一步創(chuàng)新傳播模式，實(shí)現(xiàn)媒體融合提供了重要途徑。但目前媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)在國(guó)內(nèi)傳統(tǒng)媒體領(lǐng)域的應(yīng)用并不理想，其原因主要有以下兩個(gè)方面：首先是媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用需要持續(xù)的技術(shù)和資金投入，這勢(shì)必會(huì)增加生產(chǎn)成本。有關(guān)人士指出，媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)，不僅需要專門的業(yè)務(wù)團(tuán)隊(duì)，同時(shí)還需要持續(xù)穩(wěn)定的資金投入以及購(gòu)置高質(zhì)量的設(shè)備，所有這些因素都會(huì)影響傳統(tǒng)媒體對(duì)技術(shù)革新的熱情。其次是在市場(chǎng)經(jīng)濟(jì)條件下，要進(jìn)行技術(shù)創(chuàng)新，就必須要考慮經(jīng)濟(jì)效益問題。如何借助媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)創(chuàng)新盈利模式需要進(jìn)一步探索。例如電視節(jié)目采用媒體融合增強(qiáng)現(xiàn)實(shí)技術(shù)，在增加現(xiàn)場(chǎng)感和互動(dòng)感方面不是傳統(tǒng)的編播技術(shù)所能比擬的，這對(duì)于提高收視率、贏得穩(wěn)定的觀眾群體極為重要。

4結(jié)語(yǔ)

鑒于數(shù)字媒體在將來(lái)社會(huì)經(jīng)濟(jì)生活中的廣泛應(yīng)用，提高數(shù)字影像技術(shù)水平十分重要。可以明確的是，在將來(lái)的影視藝術(shù)領(lǐng)域，將產(chǎn)生更多的真實(shí)拍攝視頻與特定數(shù)字場(chǎng)景高效融合的現(xiàn)實(shí)需求，這顯然也是視頻受眾增強(qiáng)娛樂體驗(yàn)的必然要求，因此基于實(shí)時(shí)視頻融合的增強(qiáng)現(xiàn)實(shí)技術(shù)將得到日益廣泛的應(yīng)用。因此，此項(xiàng)技術(shù)業(yè)已成為計(jì)算機(jī)視覺領(lǐng)域的重要研究課題，可以預(yù)見早不久的將來(lái)，增強(qiáng)現(xiàn)實(shí)就會(huì)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡闹匾獌?nèi)容，并從本質(zhì)和形式兩方面給人們的日常生活帶來(lái)深刻的變革。