基于三目立體的場館數(shù)字再現(xiàn)增強(qiáng)現(xiàn)實技術(shù)

湯 安，樊?，|

(長安大學(xué)，陜西 西安 710064)

1 引言

增強(qiáng)現(xiàn)實就是在虛擬現(xiàn)實技術(shù)基礎(chǔ)上信息計算機(jī)應(yīng)用在人機(jī)交互上的技術(shù)。其借助光電顯示技術(shù)、交互加速、多傳感器技術(shù)、計算機(jī)圖形和多媒體技術(shù)通過計算機(jī)生成虛擬環(huán)境和用戶周圍的真實場景的組合部分，使得用戶從感官上確信虛擬環(huán)境是其周圍真實場景的組成部分。和沉浸式虛擬現(xiàn)實不同，增強(qiáng)現(xiàn)實技術(shù)關(guān)鍵是在現(xiàn)實世界的基礎(chǔ)上，為用戶提供一種新的感官復(fù)合的視覺效果。增強(qiáng)現(xiàn)實技術(shù)不僅擁有真實感強(qiáng)、建模工作量小的優(yōu)點，并且更為安全可靠。所以該技術(shù)在教育機(jī)構(gòu)、醫(yī)療研究等領(lǐng)域的得到了廣泛的應(yīng)用，其中這種增強(qiáng)現(xiàn)實技術(shù)在體育場館中的應(yīng)用是當(dāng)前的熱點研究話題，為了讓人們能夠更加充分的了解體育場館，國內(nèi)外學(xué)者也通過以下方法對其進(jìn)行增強(qiáng)現(xiàn)實。

文獻(xiàn)[1]首先分析現(xiàn)實增強(qiáng)概念，獲得其特征，然后在將場館內(nèi)的資源進(jìn)行排列整理，得到場館源序列，再進(jìn)行可視化檢索，得到場館的信息交互，隨后將上述得到的資源進(jìn)行整合，從而構(gòu)建出移動資源展示系統(tǒng)，通過該系統(tǒng)對場館進(jìn)行增強(qiáng)現(xiàn)實。但是該方法，只是通過普通的檢索來得到場館圖像，并沒有過硬的濾波器，這就導(dǎo)致在完成現(xiàn)實增強(qiáng)后圖像會出現(xiàn)模糊現(xiàn)象。

文獻(xiàn)[2]首先擬定包裝的基礎(chǔ)資源信息，之后通過掃描疊加對包裝進(jìn)行處理，獲得包裝的具體信息狀況，并將其進(jìn)行分類，再進(jìn)行現(xiàn)實增強(qiáng)包裝設(shè)計，隨后將信息轉(zhuǎn)換成二維圖像，再通過AR疊加信息技術(shù)轉(zhuǎn)換為三維視覺圖像，最后將上述得到的信息進(jìn)行整合，并融入三維視覺圖像內(nèi)，從而得到包裝的增強(qiáng)現(xiàn)實。但是該方法需要反復(fù)對信息進(jìn)行狀態(tài)索取，這種操作會浪費(fèi)大量的時間，導(dǎo)致了在構(gòu)建增強(qiáng)現(xiàn)實時效率過低。

文獻(xiàn)[3]首先收集零件圖紙?zhí)卣鼽c信息，并將其匹配得到零件圖紙的虛擬模型信息，然后通過Uni-ty3D將模型信息轉(zhuǎn)換成虛擬的三維模型，并生成其周邊場景，隨后通過VuforisSDK添加虛擬對象和人機(jī)交互系統(tǒng)。最后將上述資料進(jìn)行融合，就可以得到機(jī)械零件的增強(qiáng)現(xiàn)實。但是該方法并沒有進(jìn)行模型銳化，導(dǎo)致其會出現(xiàn)邊角模糊和線條不均勻問題，使其首到很大的環(huán)境限制。

針對上述問題，本文提出了一種基于三目立體的場館數(shù)字再現(xiàn)增強(qiáng)現(xiàn)實技術(shù)，以體育場館為例，通過多尺度邊緣提取與互能量交叉獲得場館邊緣特征，并進(jìn)行噪聲消除，然后利用三目極線約束與梯度方向約束將線條約束，使得后續(xù)做出的場館增強(qiáng)現(xiàn)實不會受到場地限制，之后利用掃描儀收集場館的三維點云數(shù)據(jù)，從而得到完整的場館三維立體模型，最后錄制增強(qiáng)現(xiàn)實虛擬解析人物模型、聲音解鎖和文字介紹，并將其融入到三維立體模型內(nèi)，完成場館的增強(qiáng)現(xiàn)實。

2 基于三目立體的場館數(shù)字再現(xiàn)增強(qiáng)現(xiàn)實技術(shù)

2.1 場館數(shù)字多尺度邊緣提取

(1)

經(jīng)過對小波分解圖像的帶通特質(zhì)分析得出，體育場館數(shù)字邊緣處于高頻分量中，通過視覺特性可以知道，人眼視覺對圖像的垂直方向和水平方向邊緣較為敏感，其代表了圖像的關(guān)鍵邊緣。為了收集此類圖像的主要邊緣，對小波分解的三幅高頻分量子圖像D1，j、D2，j和D3，j選取適合的門限，進(jìn)而得到每個圖像自己的邊緣圖像，再通過不同的集合產(chǎn)生所需要的邊緣圖像，將三幅高頻子圖像進(jìn)行計算

De，j=D1，j⊕D2，j⊕D3，j

(2)

互能量交叉是噪聲抑制方法的關(guān)鍵出發(fā)點，一般邊緣在小波分解的每個長度都含有非常大的能量，而噪聲的能量會隨著長度的增加而對應(yīng)的縮小，所以互能量交叉可以分別把通道分量進(jìn)行相鄰?fù)ǖ滥芰拷徊妫瑥亩鴮⒅饕吘壨怀觥?/p>

通過互能量交叉抑制方法對噪聲處理的擬定成

De=sgn{De，j}×|De，j|×|De，j+1|

(3)

式中，sgn{·}代表取整函數(shù)的符號，即在確保原始邊緣圖像質(zhì)量[5]不變的狀態(tài)下，把邊緣圖像做臨近兩層交叉處理，進(jìn)而得到完整的邊緣圖像，在處理的過程內(nèi)得到抑制噪聲的效果。

其中的原因有兩種：①小波分解把噪聲散播至所有通道，因為噪聲在通道的能量位置都各不相同，而且噪音中間不會存在聯(lián)系，所以互能量交叉的結(jié)果，可以間噪聲的影響進(jìn)行抑制，②信號對于噪聲在通道都含有非常大的能量，互能量交叉的結(jié)果，可以把邊緣的能量值提升，進(jìn)而將圖像的主要邊緣突出。

2.2 三目立體匹配算法

上述提取出的特征點會受到噪聲因素的影響，所以點特征不及線條特征可靠。對此，匹配將分為兩種層次進(jìn)行。第一層即線的匹配，首先使用三目極線約束與點的梯度方向約束對線上少量的點進(jìn)行點的匹配，從而確保線和線的相應(yīng)關(guān)系；第二層即點的匹配，通過上述得到線的相應(yīng)關(guān)系為約束，引導(dǎo)線上的其它點進(jìn)行匹配。下面首先講述三目極線約束[6]與點的梯度方向約束，然后給出新的匹配算法。

2.2.1 三目極線約束

三目立體視覺系統(tǒng)內(nèi)(如圖2所示)，右、中、左三個攝像機(jī)收集的圖像分別對應(yīng)平面L、M、R，O1和O2、O3代表三個攝像機(jī)的中心，P代表空間一點，該點在三個平面中的投影的像點分別是P1、P2與P3。

圖2 梯度方向約束結(jié)構(gòu)圖

圖1 三目極線約束結(jié)構(gòu)圖

2.2.2 梯度方向約束

相對于線的匹配，同一條直線在不同的角度上所對應(yīng)的線段梯度方向是大小相鄰的，特別是對于攝像機(jī)光軸平行的立體視覺系統(tǒng)，用直線方向信息能夠有效的減少搜索范圍[7-8]。本文提取的邊緣線只是其中的一部分靠近直線，所以不可以直接使用直線的方向約束，不過所有視圖中相應(yīng)同一邊緣的匹配像點，它們的梯度方向仍是相近的，其差值限定在一個非常小的范圍內(nèi)，這時一種有效的約束方法。

在圖2內(nèi)，lL、lM與lR代表一組相應(yīng)的匹配線條，p1、p2與p3代表線中一組相應(yīng)的匹配點，α1、α2與α3在三種像點的梯度方向角，所以三種角度應(yīng)當(dāng)滿足|αi-αj|

2.2.3 立體匹配

3)j=j+1，轉(zhuǎn)1)。如果在線段i中搜索到終點，那么i=i+1，轉(zhuǎn)1)。

5)對線段ks與mt已經(jīng)匹配標(biāo)記擬定成TRUE，繼續(xù)向后作逐點匹配，一直到(i，ks，mt)三條線內(nèi)有一條到盡頭。

6)i=i+1轉(zhuǎn)1)，一直到參考圖像中能夠匹配的線段匹配結(jié)束。

通過上述能夠看出，該算法是用邊緣線中少量點的匹配確保邊緣向的相應(yīng)，之后以此為強(qiáng)約束，繼續(xù)指引后端點的匹配。算法內(nèi)除了通過邊緣點的梯度方向約束與三目立體極線集合約束外，因為點的匹配是按照順序逐一進(jìn)行的，所以擁有了順序一致性約束。因為線條提取后的編號會和線條在圖像的位置存在關(guān)聯(lián)，為了提高匹配速度，在另一視圖內(nèi)完全能夠憑借編號限定線條的搜索范圍。

2.3 場館數(shù)字再現(xiàn)增強(qiáng)現(xiàn)實實現(xiàn)

2.3.1 快速獲取場館數(shù)字的三維點云數(shù)據(jù)

經(jīng)過FAROFocus3D掃描儀獲取三維點云數(shù)據(jù)的具體過程如下所示：

1)建造掃描儀，調(diào)整掃描儀的水平參數(shù)和重力參數(shù)，擬定掃描效率和準(zhǔn)確度等參數(shù)。

2)配準(zhǔn)掃描儀。

3)放置靶球。

4)掃描。

選取分辨率與參數(shù)質(zhì)量，其參數(shù)會影響到點云數(shù)據(jù)的精準(zhǔn)度，點云的密度越高分辨率與質(zhì)量就越大，掃描的就越精準(zhǔn)，每個位置掃描的時間也就越長，往往這種參數(shù)是依據(jù)需要來選取的。

2.3.2 場館三維點云數(shù)據(jù)處理

為了使場館三維模型更加逼真，在三維點云數(shù)據(jù)的基礎(chǔ)上，使用Gemagic和3DMax軟件分別對三維模型進(jìn)行貼圖處理和點云剪輯，具體的云剪輯過程如下所示：

1)把獲取點云數(shù)據(jù)從SD卡轉(zhuǎn)移到電腦里。

2)使用Gemagic軟件將三維點云數(shù)據(jù)進(jìn)行優(yōu)化修補(bǔ)。

3)通過網(wǎng)格優(yōu)化模型。

2.3.3 場館數(shù)字增強(qiáng)現(xiàn)實開發(fā)關(guān)鍵技術(shù)

增強(qiáng)現(xiàn)實就是將場館外形、聲音使用三維虛擬技術(shù)傳輸至互聯(lián)網(wǎng)、平板電腦與手機(jī)等平臺里，其超越了傳統(tǒng)意義的時間與空間制衡，經(jīng)過JAVA語音開發(fā)場館數(shù)字的產(chǎn)管數(shù)字增強(qiáng)現(xiàn)實，完成的流程如下所示：

1)錄制場館數(shù)字的虛擬聲音、人物模型與文字介紹，并設(shè)定后期的場館音效、字母描述、交互動作與動作展示，直到最后的平臺發(fā)布，利用3DMAX進(jìn)行內(nèi)部外部模型與空間的構(gòu)建，使用Unity3D技術(shù)對人機(jī)互動進(jìn)行設(shè)定，從而完成系統(tǒng)的交互能力。然后，優(yōu)化模型與貼圖，同時添加對應(yīng)的粒子系統(tǒng)與渲染效果，將虛擬場館展示效果進(jìn)行優(yōu)化。同時將反光、燈光與陰影添加到虛擬場館里，然后把模型輸送到Unity3D平臺里，之后把其它的效果輸送到紋理內(nèi)，使得模型出現(xiàn)更為真實的音影效果。

2)利用Mark識別法進(jìn)行三維注冊，經(jīng)過比特網(wǎng)法對場館圖像進(jìn)行處理。首先得到三種點在顯示器坐標(biāo)內(nèi)的坐標(biāo)，通過某種算法計算出這三種頂點在攝像機(jī)坐標(biāo)內(nèi)的相應(yīng)點的坐標(biāo)，通過計算能夠獲得四組解的點坐標(biāo)集合。

將上述過程轉(zhuǎn)換成公式可以表示為：

D=CT

(4)

其中，矩陣T為攝像機(jī)里部的參數(shù)矩陣，攝像機(jī)搜索到坐標(biāo)后就將其當(dāng)做已知參數(shù)；矩陣T為待求轉(zhuǎn)換矩陣，使用平面幾何建造三種可見點合成的平面坐標(biāo)系。C代表特征圖像坐標(biāo)系與顯示器屏幕坐標(biāo)系。

3)動態(tài)擬定素材的亮度和陰影，將圖像的亮度分布進(jìn)行處理，憑借亮度的值匹三維素材的色澤和亮度進(jìn)行配對，使場館環(huán)境更具有真實感；經(jīng)過亮度分布判定環(huán)境光照的方位，進(jìn)而映射出虛擬場景和之真實物體間的陰影。場館數(shù)字增強(qiáng)現(xiàn)實系統(tǒng)的大體構(gòu)架：首先擬定模型的布局，再擬定交互模塊，在漫游瀏覽模塊里，可以自主調(diào)換動畫，自主模塊里能夠自主的挑選瀏覽的方式。

模擬在瀏覽過程中的場館虛擬環(huán)境，之后擬定聲音視頻的交互環(huán)境，其包含動畫模擬、背景音效與音樂立體3D音效等，最后就是場館內(nèi)的交互界面，其關(guān)鍵點即通過用戶的觸碰，操作虛擬場館內(nèi)的場景變換，熱點選擇，就是使用屏幕里的虛擬鏡頭，使用戶能夠瀏覽整體的虛擬場館。

3 仿真證明

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境和MATLAB6.1的軟件環(huán)境。本文將利用本文方法進(jìn)行場館建模，以體育館為例，得到仿真圖，如圖3所示。

圖3 體育場館仿真圖

為了證明本文方法的效果，使用文獻(xiàn)方法與本文方法進(jìn)行比對，通過完成后增強(qiáng)現(xiàn)實模型的誤差作為比對標(biāo)準(zhǔn)，其結(jié)果如圖4所示。

圖4 不同方法的增強(qiáng)現(xiàn)實模型誤差圖

通過圖4能夠看出，本文方法對增強(qiáng)現(xiàn)實模型幀間的誤差不大，這說明本文方法做出來的增強(qiáng)現(xiàn)實可以更好的模擬現(xiàn)實體育場館的具體結(jié)構(gòu)。文獻(xiàn)方法因為模擬的場館臨近圖使用的順序是搜索方法，雖然留下了場館的大體構(gòu)造，但是一些微小細(xì)節(jié)，會被搜索方法連帶著冗余構(gòu)造一起刪除，因此導(dǎo)致傳統(tǒng)方法在完成場館的增強(qiáng)現(xiàn)實后會出現(xiàn)局部不清晰的問題。

在系統(tǒng)構(gòu)建增強(qiáng)現(xiàn)實的訓(xùn)練階段，本文構(gòu)建D=10層深度的隨機(jī)數(shù)，用在對場館內(nèi)的關(guān)鍵點進(jìn)行幀率檢測，其幀率計算過程如下所示

(5)

式中，Z(s)表示幀數(shù)；ti表示時間。在固定幀數(shù)的基礎(chǔ)上，利用該式實現(xiàn)幀率測試，實驗結(jié)果如表1所示。

表1 關(guān)鍵幀的幀率測試

分析表1可知，本文方法具有較高的幀率，此外，由于幀率受時間與幀數(shù)的影響，同時，本文限定了固定幀數(shù)，因此，本文還具有較高的實時性。而傳統(tǒng)方法之所以幀率低、實時性差，是由于使用交互關(guān)系數(shù)選擇關(guān)鍵幀比較耗費(fèi)時間，并且虛擬場館的模型面片數(shù)量較多，干擾了系統(tǒng)的實時性能。在使用本文系統(tǒng)進(jìn)行處理后，系統(tǒng)在雙核CPU機(jī)器中的刷新率提高了一倍，滿足了場館增強(qiáng)現(xiàn)實的實時性。

4 結(jié)論

本文針對體育場館特點，使用三目立體手段來提升場館數(shù)字再現(xiàn)增強(qiáng)現(xiàn)實，使用多尺度邊緣提取算法與互能量交叉算法提取出場館的邊緣特征，同時進(jìn)行去噪處理，在后期的制作上不會出現(xiàn)邊緣模糊不清問題，之后利用三目立體匹配算法對場館的極線進(jìn)行約束，使得每幀虛擬圖像不會出現(xiàn)掉幀現(xiàn)象，最后通過傳統(tǒng)的錄制音效方法，錄制文字減少與聲音，并將其與上述得到的資源進(jìn)行融合，從而完成對場館的增強(qiáng)現(xiàn)實。