基于視景仿真技術(shù)的虛擬激光投影動態(tài)交互方法

張 穎

(文華學(xué)院城市建設(shè)工程學(xué)部,湖北 武漢 430074)

1 引 言

隨著科技的不斷發(fā)展,科技的應(yīng)用范圍不斷擴(kuò)大,多媒體技術(shù)逐漸融入人們的生活,成為人們學(xué)習(xí)工作的重要組成部分。多媒體一般來說就是將電視格式的視聽傳播能力與計(jì)算機(jī)[1]交互控制能力有效融合,從而創(chuàng)建出新型的信息處理模型,該模型將聲、像、文、圖集成于一體,使計(jì)算機(jī)在具備數(shù)字化動態(tài)功能的同時(shí),還具備視頻播放、編輯等多項(xiàng)功能。多媒體技術(shù)的出現(xiàn)極大改善了人們信息交流形式。激光投影[2-3]交互作為多媒體的重要組成部分,是信息多媒體化的關(guān)鍵,并在近年來成為國內(nèi)外爭先研究的重要技術(shù)。

文獻(xiàn)[4]提出基于稀疏編碼特征融合的交互行為識別。該方法通過Canny算子提取圖像邊緣特征,基于二值模式算子完成圖像紋理特征的采集,并使用光流法對圖像整體特征展開描述；再通過加權(quán)融合方法對提取的相關(guān)圖像特征實(shí)施加權(quán)融合；最后使用金字塔匹配模型完成圖像的動態(tài)融合,實(shí)現(xiàn)最終的交互。文獻(xiàn)[5]提出基于Lattice Server中間件的束流光學(xué)參數(shù)測量。該方法基于光源需求,完成了LatticeServer中間件的設(shè)計(jì),過程中利用Python語言設(shè)計(jì)了中間件相關(guān)參數(shù),并基于確定的相關(guān)參數(shù)確定中間件結(jié)構(gòu)；最后通過設(shè)計(jì)好的中間件實(shí)現(xiàn)信息的動態(tài)交互。文獻(xiàn)[6]提出多通道時(shí)空融合網(wǎng)絡(luò)雙人交互行為識別。該方法依據(jù)視角不變性完成特征提取,并建立時(shí)空融合網(wǎng)絡(luò)模型對提取的特征開展特征融合；再基于多通道融合網(wǎng)絡(luò)完成特征的交互識別,并將其共享在各個(gè)通道中,實(shí)現(xiàn)交互任務(wù)。

上述方法中由于未能利用視景仿真技術(shù)對交互效果實(shí)施加強(qiáng),導(dǎo)致上述方法在動態(tài)交互時(shí),易用性差、交互性低、魯棒性低。為解決上述信息動態(tài)交互過程中存在的問題,提出基于視景仿真技術(shù)的虛擬激光投影動態(tài)交互方法。

2 激光投影視頻圖像采集與預(yù)處理

由于激光投影筆在實(shí)施交互過程中,需要通過攝像頭采集大屏幕圖像依據(jù)計(jì)算機(jī)的計(jì)算處理,獲取激光投影點(diǎn)詳細(xì)坐標(biāo)位置,再經(jīng)由坐標(biāo)的轉(zhuǎn)換獲取投影屏幕坐標(biāo),依據(jù)相關(guān)技術(shù)實(shí)現(xiàn)交互,過程中交互屏幕過大會導(dǎo)致激光投影點(diǎn)模式特征不明顯,易受噪聲影響。因此虛擬激光投影交互前,需要對視頻實(shí)時(shí)采集并去噪處理,從而消除交互時(shí)的噪聲影響。

2.1 基于VFW的視頻圖像采集方法

視頻采集就是將視頻從虛擬格式轉(zhuǎn)換成數(shù)字格式。VEW是關(guān)于數(shù)字視頻的軟件開發(fā)包,基于軟件形式對虛擬視頻源的數(shù)字視頻信號實(shí)施采集。VFW視頻采集技術(shù)主要是通過MSVIDEO、MCIAVI等組件間的協(xié)同操作完成數(shù)字視頻編輯、播放、視頻捕捉以及管理等處理。具體采集流程如圖1所示。

圖1 視頻圖像采集流程圖Fig.1 Flow chart of video image acquisition

2.2 預(yù)處理過程

激光投影視頻圖像采集后,為規(guī)避虛擬激光投影點(diǎn)的定位誤差,需對采集的視頻圖像中存在的噪聲進(jìn)行去噪[7-8]處理。

2.2.1 基于加權(quán)平均法的圖像背景去噪

設(shè)定原始噪聲圖像為g(i,j),圖像鄰域像素點(diǎn)坐標(biāo)位置標(biāo)記X,坐標(biāo)數(shù)量標(biāo)記Y,以此獲取視頻圖像的鄰域平均圖像[9],過程如下式所示:

(1)

式中,h(i,j)表示圖像的鄰域平均結(jié)果。依據(jù)上述計(jì)算結(jié)果,設(shè)定圖像的噪聲矩陣為J,表達(dá)形式如下式所示:

J=M?(h(i,j)·g(i,j))/M?h(i,j)

(2)

式中,M表示圖像的卷積模板;h(i,j)表示鄰域平均圖像;g(i,j)表示原始圖像。

最后通過建立的圖像噪聲矩陣完成視頻圖像的背景噪聲消除。

2.2.2 圖像灰度轉(zhuǎn)換

基于紅綠藍(lán)三原色建立視頻的RGB彩色空間模型[10],設(shè)定模型中的任意光配色系數(shù)為A,獲取過程如下式所示:

A=r[R]+g[G]+b[B]

(3)

式中,r[R]、g[G]、b[B]分別表示三原色的配色占比。由于圖像灰度值能夠?qū)D像像素點(diǎn)信息量化表達(dá),所以設(shè)定采集視頻圖像的像素占位字節(jié)為3,圖像灰度值即為視頻圖像的彩色像素亮度,由此對采集視頻的圖像像素實(shí)施轉(zhuǎn)換[11],轉(zhuǎn)換過程如下式所示:

C=0.011R+0.59G+0.3B

(4)

式中,R、G、B表示視頻圖像的各個(gè)顏色分量;C表示圖像灰度值。

2.2.3 圖像的閾值分割

圖像轉(zhuǎn)換成灰度圖像后,雖然能夠縮減圖像中的無效信息,但圖像中仍存在相關(guān)無效信息,為降低激光投影點(diǎn)的目標(biāo)檢測誤差,需對灰度圖像開展閾值分割[12]。

首先對灰度圖像二值化處理[13-14],設(shè)定圖像二值化系數(shù)為E(i,j),獲取流程如下式所示:

(5)

式中,T表示圖像的二值化閾值;g(i,j)表示灰度圖像(i,j)位置的像素點(diǎn)灰度值;E(i,j)表示圖像二值化結(jié)果,范圍在[0,255]之間。基于上述獲取的灰度圖像二值化處理結(jié)果,使用最優(yōu)閾值分割算法對灰度圖像展開閾值分割處理,從而提升圖像的正確分割效率,使分割效果能夠達(dá)到最優(yōu)狀態(tài)閾值。

在原始視頻圖像中加入一組高斯噪聲[15],使原始視頻圖像成為加性高斯噪聲圖像,設(shè)定圖像的背景概率密度為σμ(z),目標(biāo)概率密度標(biāo)記ση(z),以此獲取圖像的混合概率密度Q(z),過程如下式所示:

(6)

式中,λμ表示圖像背景的均值方差;σμ表示平均灰度值;Qμ表示灰度值先驗(yàn)概率;λη表示圖像目標(biāo)的均值方差;ση表示平均灰度值;Qη表示灰度值先驗(yàn)概率。

基于上述計(jì)算結(jié)果,設(shè)定圖像概率為Qμ+Qη=1,且ση≥σμ,依據(jù)制定的固定閾值,完成圖像的像素分割。設(shè)定圖像像素劃分的錯(cuò)誤概率為θ(T),計(jì)算流程如下式所示:

(7)

式中,θμ(T)表示圖像背景劃分錯(cuò)誤概率;θη(T)表示圖像目標(biāo)的劃分錯(cuò)誤概率;dz表示像素尺度。利用獲取的圖像分割誤差對固定閾值開展求導(dǎo),從而確定圖像的最優(yōu)閾值,過程如下式所示:

(8)

式中,T表示獲取的圖像最佳分割閾值。最后基于上述圖像處理結(jié)果,完成激光投影點(diǎn)圖像去噪[16],無用信息剔除等處理。

3 虛擬激光投影的動態(tài)交互

基于上述的圖像預(yù)處理結(jié)果,獲取激光投影的中心點(diǎn)位置距離,最后通過對中心位置的映射,實(shí)現(xiàn)虛擬激光投影的動態(tài)交互。

3.1 虛擬激光投影中心點(diǎn)位置獲取

依據(jù)圖像的處理結(jié)果,設(shè)定圖像的目標(biāo)跟蹤窗口為P×Q,以此獲取圖像當(dāng)前幀激光投影的目標(biāo)中心坐標(biāo),過程如下式所示:

(9)

式中,(ΔM,ΔN)表示激光投影的中心點(diǎn)位置;G(i,j)表示圖像灰度值;P表示跟蹤窗口的m方向像素原數(shù);Q表示n方向像素原數(shù)。

3.2 激光投影的中心點(diǎn)映射

3.2.1 中心點(diǎn)誤差校正

由于確定投影中心點(diǎn)過程中,攝像機(jī)存在畸變,所以需要建立徑向畸變模型,校正中心點(diǎn)位置誤差[17],過程如下式所示:

(10)

式中,φ表示建立的徑向畸變模型;(m,n)表示原始圖像激光投影中心位置;(cm,cn)表示光學(xué)中心;(m″,n″)表示校正后的投影中心點(diǎn)位置;r表示圖像像素點(diǎn)至攝像頭之間的距離;s表示校正參數(shù);σ表示定位誤差。

3.2.2 虛擬投影中心點(diǎn)映射

在虛擬激光投影交互過程中,攝像頭與投影幕布之間的距離、方位都會影響交互結(jié)果出現(xiàn)透視現(xiàn)象,所以要建立相應(yīng)的變換方程,以此解決圖像位置的透視缺陷,過程如下式所示:

(11)

式中,(mx,nx)表示透視畸變圖像的像素位置;(ax,bx)表示未透視圖像的像素位置;dx、fx、gx、hx、jx、kx、lx以及ox分別表示透視變換參數(shù)。

在上式中可知,確定透視變換參數(shù)時(shí),需要不少于4組參考坐標(biāo),設(shè)定透視畸變圖像的坐標(biāo)分別為(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4),實(shí)際坐標(biāo)位置標(biāo)記(a1,b1)、(a2,b2)、(a3,b3)以及(a4,b4),通過計(jì)算建立激光投影圖像的透視變換矩陣,獲取交互過程激光點(diǎn)位置與鼠標(biāo)位置之間的映射關(guān)系[18],從而實(shí)現(xiàn)激光投影的動態(tài)交互。具體過程如下式所示:

φ(ax,bx)=[-(ax,bx)]×[dx,fx,…,ox]

(12)

式中,φ(ax,bx)表示獲取的映射變換關(guān)系。

3.3 視景仿真

虛擬激光投影完成交互后,使用PC通道渲染交互場景,完成交互內(nèi)容的視景仿真,從而提高激光投影的交互效果。

設(shè)定PC通道主控節(jié)點(diǎn)至從屬節(jié)點(diǎn)的通信時(shí)間為S,交互場景渲染時(shí)間為Sx,節(jié)點(diǎn)數(shù)量標(biāo)記ρ形式,通過計(jì)算獲取PC通道從屬節(jié)點(diǎn)的利用效率,過程如下式所示:

ξ=Sx/2ρS+Sx

(13)

式中,ξ表示計(jì)算出的節(jié)點(diǎn)利用效率。視景仿真流程如下:

(1)啟動視景仿真系統(tǒng)。初始化PC通道節(jié)點(diǎn)參數(shù),完成激光投影主機(jī)與系統(tǒng)之間的連接。

(2)進(jìn)入仿真循環(huán),接收渲染場景信息。

(3)解析PC通道通信信息,啟動渲染獲取交互場景的視景圖像。

(4)將視景圖像反饋至主機(jī)中,替換交互場景圖像,完成交互效果的增強(qiáng)。

4 仿真實(shí)驗(yàn)分析

為了驗(yàn)證本文提出的基于視景仿真技術(shù)的虛擬激光投影動態(tài)交互方法的整體有效性,需要對此方法進(jìn)行仿真測試。

4.1 實(shí)驗(yàn)結(jié)果及分析

分別采用基于視景仿真技術(shù)的虛擬激光投影動態(tài)交互方法(所提方法)、基于稀疏編碼特征融合的交互行為識別(文獻(xiàn)[4]方法)、基于Lattice Server中間件的束流光學(xué)參數(shù)測量(文獻(xiàn)[5]方法)、多通道時(shí)空融合網(wǎng)絡(luò)雙人交互行為識別(文獻(xiàn)[6]方法)測試；

在動態(tài)交互過程中,可以通過對交互方法易用性、交互性以及魯棒性測試,檢測交互方法的交互效果。采用所提方法、文獻(xiàn)[4]方法、文獻(xiàn)[5]方法以及文獻(xiàn)[6]方法開展動態(tài)交互時(shí),測試上述4種交互方法的交互性能。

在測試過程中,需要選取適當(dāng)?shù)募す馔队皟x器以及激光交互筆,以此縮減測試過程中儀器不同帶來的影響,選取儀器如圖2所示。

圖2 選定的激光投影設(shè)備Fig.2 Selected laser projection equipment

通過選定的激光投影設(shè)備進(jìn)行虛擬激光投影動態(tài)交互,如圖3所示。

圖3 虛擬激光投影動態(tài)交互Fig.3 Dynamic interaction of virtual laser projection

4.2 易用性測試

隨機(jī)挑選50名人員,分成五個(gè)小組教授激光投影儀器使用方法,通過使用過程,開展百分制的交互性評分,依據(jù)評分結(jié)果,檢測交互方法的交互性,評價(jià)分?jǐn)?shù)越高說明交互方法的易用性越好,反之則越差。測試結(jié)果如圖4所示。

圖4 不同交互方法的交互性測試結(jié)果Fig.4 Interaction test results of different interaction methods

分析圖4測試數(shù)據(jù)可知,組別之間的測試時(shí)結(jié)果均不相同。所提方法測試出的易用性是4種交互方法中評價(jià)分?jǐn)?shù)最高的,文獻(xiàn)[4]方法測試結(jié)果僅次于所提方法,文獻(xiàn)[5]方法低于上述兩種方法測試結(jié)果,文獻(xiàn)[6]方法測試結(jié)果最差。由此可證明所提交互方法的易用性能高。

4.3 交互性測試

選取交互時(shí)間為交互方法的交互效率測試結(jié)果,采用所提方法、文獻(xiàn)[4]方法、文獻(xiàn)[5]方法以及文獻(xiàn)[6]方法開展動態(tài)交互時(shí),測試4種交互方法的交互效率,結(jié)果如表1所示。

分析如表1可知,隨著檢測次數(shù)的增加,4種交互方法的交互時(shí)間都呈現(xiàn)出不斷上升趨勢。但是所提方法的測試出的動態(tài)交互時(shí)間持續(xù)低于其他三種交互方法的測試結(jié)果,這主要是因?yàn)樗岱椒ㄔ诮换r(shí),通過視景仿真技術(shù)對交互場景圖像實(shí)施增強(qiáng)處理,所以該方法動態(tài)交互時(shí)的交互時(shí)間短,側(cè)面說明了該方法的交互性好。

表1 不同方法的交互效率測試結(jié)果Tab.1 Interaction efficiency test results of different methods

4.4 魯棒性測試

開展交互仿真時(shí),空間距離的長短能夠直觀影響交互方法的魯棒性能。采用所提方法、文獻(xiàn)[4]方法、文獻(xiàn)[5]方法以及文獻(xiàn)[6]方法開展動態(tài)交互時(shí),對三種方法的魯棒性展開測試,測試結(jié)果如圖5所示。

圖5 不同交互方法的魯棒性測試結(jié)果Fig.5 Robustness test results of different interaction methods

分析圖5實(shí)驗(yàn)數(shù)據(jù)可知,本文方法的虛擬激光投影動態(tài)交互魯棒性最高可達(dá)100 %,是4種方法中最好的,證明所提方法在動態(tài)交互時(shí),交互效果優(yōu)秀,該方法具備有效性。

5 結(jié)束語

隨著激光投影的使用范圍越來越廣,提出高效的虛擬激光投影的動態(tài)交互方法就變得尤為重要。針對傳統(tǒng)激光投影動態(tài)交互方法中存在的問題,提出基于視景仿真技術(shù)的虛擬激光投影動態(tài)交互方法。該方法依據(jù)獲取激光投影中心點(diǎn)位置,完成激光投影的中心位置映射,實(shí)現(xiàn)虛擬激光投影的動態(tài)交互。由于該方法在提取圖像灰度值時(shí)存在些許問題,今后會針對該項(xiàng)問題,繼續(xù)優(yōu)化該交互方法。