分布式互動投影系統(tǒng)多路視頻圖像捕獲仿真

李翠玉，馮媛亮

(湖北工業(yè)大學(xué)工業(yè)設(shè)計學(xué)院，湖北 武漢 430068)

1 引言

現(xiàn)階段，互聯(lián)網(wǎng)與多媒體技術(shù)正在蓬勃發(fā)展，應(yīng)聲而出多種多樣的操作系統(tǒng)，二者融合產(chǎn)生的互動投影[1]被廣泛應(yīng)用在社會的各個領(lǐng)域中。常用的如智能視頻通信、多媒體實時會議、Surface互動平臺[2]等，通過上述技術(shù)和設(shè)備可以和處于不同環(huán)境的人進行實時視頻數(shù)據(jù)交流。但是，完成分布式互動投影系統(tǒng)的前提，是對視頻圖像進行捕獲和采集，隨后才能確保所有信息都能夠完整的傳輸?shù)綄Ψ接嬎銠C中。但是，生產(chǎn)廠家配備的系統(tǒng)多半只使用一臺PC設(shè)備[3]來進行互動投影，所產(chǎn)生的圖像尺寸小且視頻質(zhì)量低，甚至難以分辨目標區(qū)域，不能滿足所有用戶的現(xiàn)實需求，因此構(gòu)建一種視頻流程、畫面清晰分布式互動投影系統(tǒng)多路視頻圖像捕獲方法是十分必要的。

相關(guān)領(lǐng)域研究學(xué)者提出如下解決方法，智寧[4]等人為了應(yīng)對在現(xiàn)實生活中圖像存在的自然波動，提出基于照度調(diào)整的礦井非均勻照度視頻圖像增強算法，將得到視頻數(shù)據(jù)的地點定義為動態(tài)環(huán)境，隨后利用圖像捕獲模塊對環(huán)境中的目標個體進行數(shù)據(jù)采集，并做實時存儲和傳輸處理，利用動態(tài)局域網(wǎng)捕獲技術(shù)可以完成個體與個體的獨立交互，該算法可以自主進行視頻數(shù)據(jù)的存儲和傳輸。具有良好的平衡誤差能力，但是圖像質(zhì)量難以進一步提升。王丹[5]等人為了有效提升視頻分辨率，通過微距設(shè)備進行圖像捕獲，并使用計算機能夠支持的最大分辨率進行視頻圖像處理，但是該方法受環(huán)境和硬件設(shè)備限制較嚴重，無法很好的應(yīng)用在現(xiàn)實生活中。

針對現(xiàn)有手段的不足，構(gòu)建分布式互動投影系統(tǒng)多路視頻圖像捕獲方法，能夠有效提升分辨率，進一步擴大圖像尺寸，使用戶能夠方便快捷的向?qū)Ψ竭M行互動投影，實現(xiàn)數(shù)據(jù)的實時共享，具有優(yōu)秀的捕獲精準度和效率，與其它手段相比，使用多路視頻圖像捕獲的分布式互動投影系統(tǒng)運行流程，視頻傳輸穩(wěn)定，其魯棒性具有明顯優(yōu)勢。

2 分布式互動投影系統(tǒng)框架

在實現(xiàn)分布式互動投影系統(tǒng)多路視頻圖像捕獲之前，需要分析分布式互動投影系統(tǒng)。該投影系統(tǒng)使用的是分布式互動結(jié)構(gòu)[6]，其中含有一個中心控制節(jié)點以及若干個輔助捕獲設(shè)備子節(jié)點，利用傳感器網(wǎng)絡(luò)進行連接。子節(jié)點為多臺互動投影設(shè)備，通過無縫拼接對捕獲到的圖像進行處理，同時存儲在計算機中，另一方面，設(shè)置多路攝影機，使系統(tǒng)的捕獲面積進一步擴大。

基于目標個體的交互投影主要分為圖像捕獲、視頻數(shù)據(jù)處理以及目標個體交互分析三方面。在傳統(tǒng)可移動交互投影系統(tǒng)中，PPP模塊處理交互事件的全部流程，中心節(jié)點只能存儲事件數(shù)據(jù)，并不能參與全局交互分析。因此在所提方法中，系統(tǒng)構(gòu)架子節(jié)點只涉及視頻圖像捕獲和加強處理兩部分，由中心節(jié)點進行接收和整理全局子節(jié)點數(shù)據(jù)，從而完成視頻的交互分析和傳輸。這樣就有效解決了多路視頻圖像畫面交互重疊，導(dǎo)致分析結(jié)果不夠精準的問題。

分布式互動投影系統(tǒng)流程：

首先，通過子節(jié)點上的攝影機捕獲多路視頻畫面，將其簡單數(shù)字化后傳輸至中心控制節(jié)點；

其次，總子節(jié)點交互分析全部圖像數(shù)據(jù)，將交互事件和時間控制閥反向傳輸回位于子節(jié)點的展示程序中；

最后，根據(jù)事件的邏輯順序，使用分布式交互投影設(shè)備建立邏輯序列，并生成實時畫面，經(jīng)過拼接矯正和投影加強后播放出來。

綜上所述，流程及框架結(jié)構(gòu)如圖1所表示。

圖1 分布式互動投影系統(tǒng)流程及框架結(jié)構(gòu)

3 多路視頻圖像捕獲

3.1 視頻畫面同步捕獲過程

通過第2節(jié)中對分布式互動投影系統(tǒng)框架的分析可知，分布式互動投影系統(tǒng)中含有若干子節(jié)點，任意節(jié)點都需要與多臺攝影器材連接，從而完成多路圖像捕獲。為了使得到的視頻圖像時間序列是相同的，必須對攝影機實行同步控制。該技術(shù)通過系統(tǒng)中心節(jié)點依次發(fā)送至各子節(jié)點，再由子節(jié)點同時發(fā)出捕獲信號，控制所有攝影機在同一時間拍攝視頻，保證時序的一致性。但是攝影機的價格本身就昂貴，還需要另外鋪設(shè)控制線路，浪費大量時間，故在現(xiàn)實生活中，使用者會根據(jù)器材的特性，使用相匹配的軟件來完成時間同步。

基于此，所提方法使用DS-4004HC圖像捕獲卡，該圖像捕獲卡擁有4個數(shù)字信號處理模塊，可有效解決SDK卡捕獲圖像時間長、效率差的問題，通過異步回調(diào)手段獲得當(dāng)前視頻圖像。DS-4004HC的工作流程為：構(gòu)建4條線程，任意線程處理單個數(shù)字信號回調(diào)數(shù)據(jù)，并利用異步回調(diào)捕獲相應(yīng)攝影機的拍攝畫面，以提升多路捕獲效率。

根據(jù)上述理論，得出基于時序一致性[7]的多路視頻圖像幀捕獲過程如下。

步驟1：通過異步手段捕獲4路攝像機記錄圖像，將數(shù)字化結(jié)果標記并傳輸至相對應(yīng)的數(shù)據(jù)序列中；

步驟2：待4路攝影機都成功捕獲圖像，則按標記順序?qū)⑾嗤瑤膱D像存放至同一緩存區(qū)內(nèi)；

步驟3：如果該緩存區(qū)序列為零，則數(shù)據(jù)直接放入；反之緩存區(qū)已有序列，則替換原有數(shù)據(jù)；

步驟4：子節(jié)點線程通過緩存區(qū)獲取捕獲圖像，若該區(qū)域無序列則一直等待數(shù)據(jù)進入；若有序列則直接獲取并刪除。

圖2為該過程同步捕獲過程圖。圖中，緩存區(qū)空，則捕獲圖像1直接進入；在捕獲圖像3進入前，緩存區(qū)中存在未傳輸圖像2，則將其剔除并填入圖像3；緩存區(qū)中捕獲圖像1和3，子節(jié)點線程獲取并刪除；緩存區(qū)為空，子節(jié)點線程將一直等待4路攝像機重新捕獲新的畫面生成圖像4，放入緩存區(qū)，再進行提取處理。

圖2 視頻畫面同步捕獲過程

3.2 基于GMM的多路視頻圖像捕獲算法

根據(jù)3.1節(jié)可知，在時序一致性的基礎(chǔ)上，實現(xiàn)了視頻畫面的同步捕獲，保證了視頻圖像時序的一致性。但是由于傳統(tǒng)視頻圖像捕獲時需要判定其是否為目標個體或區(qū)域，常常會發(fā)生無前景目標展現(xiàn)，致使投影失聯(lián)。為進一步提升多路視頻圖像捕獲效果，提出基于GMM[8]的多路視頻圖像捕獲算法，該算法可以有效辨別該序列中是否存在無前景目標展現(xiàn)，如果存在則確定目標對象，分析其操作流程。在實際環(huán)境中，多路視頻圖像捕獲畫面是持續(xù)變化的，其背景圖像灰度布局分布不均衡，利用高斯混合模型(GMM)可以增強背景區(qū)域透明度，使捕獲的多路視頻圖像存在目標區(qū)域，且圖像更加清晰。

假設(shè)K是高斯模型，可以描述目標視頻圖像捕捉區(qū)域的灰度分布，K值的大小代表像素峰值[9]個數(shù)，即

(1)

通過GMM模型可以有效判斷捕獲圖像屬于目標區(qū)域還是背景區(qū)域，但是更為詳細的部分還需要借模型創(chuàng)設(shè)、更新和評估三方面完成。

(2)

(3)

對模型進行初始化處理后，立即開始更新，可以對捕獲圖像任意幀進行操控，確定其像素均值。故需重新計算其較大方差和較小權(quán)重。

μi，t=(1-ρi，t)ui，t-1+ρi，tXt

(4)

(5)

在創(chuàng)設(shè)模型中，視頻圖像所有灰度都在高斯分布中，若其中沒有能和Xt匹配的分布，那么則將Xt作為均值分配給權(quán)值最小的高斯分布，同時進行更新。這時利用式(6)將圖像像素中任意高斯分布權(quán)重和反差進行分配，即

ωi，t=(1-α)ωi，t+1+αMi，t

(6)

其中，如果將第i個高斯分布和Xt相互匹配，結(jié)果為Mi，t=1，反之Mi，t=0。通過公式把所有權(quán)重都重新分配，并將結(jié)果分析整理，完成評估的預(yù)處理。

3)模型評估。將ωi，t/σi，t比值按大小構(gòu)建序列，同時創(chuàng)設(shè)模型圖像像素也按規(guī)則形成序列，式(7)即為相應(yīng)規(guī)則

(7)

在完成相應(yīng)排列的高斯分布中，提取在B前的所有高斯分布，并當(dāng)作視頻圖像中最優(yōu)秀的布局。隨后，Xt和B個高斯分布相互匹配，如果Xt和B之前的任意一個能夠完成匹配，則該像素為前景點，反之則為背景區(qū)域點。通過該算法能夠更加簡便的捕獲到清楚的視頻圖像。

3.3 視頻圖像去噪加強

對于實時捕獲的視頻來說，噪聲會影響部分圖像質(zhì)量，若噪聲過多則會使有效信息被隱藏，為了進一步加強捕獲結(jié)果清晰度，將上述步驟獲得的圖像進行去噪和增強處理。常使用小波或多邊濾波去除噪聲，在這里選擇PED對其進行處理。設(shè)定原始圖像灰度是uo(x，y)，經(jīng)過模糊擴散后處理結(jié)果是u(x，y)，則基于PED的去噪模型為

(8)

圖像增強則選用經(jīng)典RL算法[10](Richardson-Lucy)，首先通過泊松統(tǒng)計對圖像做模型化處理，并利用極大似然評估其清晰圖像，故捕獲視頻圖像的RL算法迭代函數(shù)為

(9)

式中，k為函數(shù)迭代次數(shù)。隨著k值的增大，fk+1(x，y)可以不斷逼近理想狀態(tài)下捕獲視頻圖像，實現(xiàn)去除模糊的目的。主要步驟如下：

首先，輸入從緩存區(qū)獲得的捕獲視頻圖像g(x，y)；

其次，基于PDE模型去除圖像噪聲，獲得處理后圖像u(x，y)；

最后，基于RL算法對u(x，y)進行模糊細節(jié)加強處理，并假設(shè)f0(x，y)=u(x，y)是初始條件，重復(fù)迭代計算直至圖像呈現(xiàn)理想效果。

綜上所述，完成對分布式互動投影系統(tǒng)多路視頻圖像的有效捕獲。既保證了視頻圖像時序的一致性，又降低了噪聲對圖像質(zhì)量的影響。

4 仿真和數(shù)據(jù)結(jié)果

為驗證分布式互動投影系統(tǒng)多路視頻圖像捕獲方法的有效性，進行仿真。仿真使用的PC端為Intel Pentium 2.8GHz雙核CPU，子節(jié)點連接的是DS-4004HC多路視頻圖像捕獲卡，任意攝影機分辨率為320*320，使用2*2的圖像拼接，全部硬件設(shè)施用1000Mbps傳感器網(wǎng)絡(luò)連接。同時，為了實現(xiàn)理想狀態(tài)下數(shù)據(jù)一致性，使用攝影機內(nèi)的漫步模式進行視頻圖像捕獲，捕獲時間為每5s捕獲一張圖片，并使用UG5軟件保證不同圖片之間的穩(wěn)定銜接。

多路捕獲視頻圖像拼接效果評估。在理想狀態(tài)下捕獲畫面和互動投影顯示圖像要相互對齊，但在現(xiàn)實生活中，因為硬件設(shè)備安裝位置、拍攝角度以及鏡頭晃動等因素的干擾，會產(chǎn)生不同投影效果。

圖3 投影圖像幾何校正

圖3是多路捕獲視頻圖像的拼接效果，其顏色較深的是網(wǎng)格是校正處理畫面，至此確定了互動投影顯示區(qū)域。

視頻圖像捕獲和互動投影器材之間是多對多關(guān)系，只要確定捕獲畫面能夠?qū)⑼队皡^(qū)域完全覆蓋。但是，由于安裝線路、攝影機焦距等諸多變量的影響，一般投影儀采用并排的方式進行工作。完成幾何校正處理后，按照攝影機的排列方式將圖像顯示區(qū)域分割為X×Y個模塊，任意模塊都存在相對應(yīng)的攝影器材，并設(shè)定標記點，圖4為多路捕獲圖像拼接效果。

圖4 多路捕獲圖像拼接

分布式互動投影系統(tǒng)效率評估。仿真數(shù)據(jù)為16名使用者的現(xiàn)實運動情況，將視頻圖像分割成16*12個模塊，使用三種手段把子節(jié)點更新數(shù)據(jù)發(fā)送至緩存區(qū)域，記錄CPU和總服務(wù)器處理幀數(shù)(Mbps/fps)。詳細測試結(jié)果見表1。

表1 三種發(fā)送手段下CPU和總服務(wù)器處理幀數(shù)

仿真數(shù)據(jù)表明，假設(shè)在傳感器網(wǎng)絡(luò)中，實際環(huán)境下最高使用率是70%，則直接發(fā)送，系統(tǒng)可以處理大概10個子節(jié)點；Bit編碼的占用量相比直接發(fā)送要小，可以處理80個左右的子節(jié)點。模型更新后，視頻的每一幀都需要重新傳輸40個模塊，相比Bit編碼，占用率更小約為20%，系統(tǒng)能夠處理500個上下的子節(jié)點，最大程度是提升了分布式系統(tǒng)的伸縮性。

表2 系統(tǒng)延遲結(jié)果

由測試結(jié)果得出，運用所提方法對分布式互動投影系統(tǒng)中的多路視頻圖像進行捕獲后，使得系統(tǒng)的寬帶占用率低，在子節(jié)點數(shù)量增加后，系統(tǒng)延遲并沒有受到過多影響，擴展性能優(yōu)秀。當(dāng)其中含有四個子節(jié)點時，總延遲均值都小于3幀，使用者沒有明顯感覺，說明系統(tǒng)魯棒性高。

5 結(jié)論

所提方法使用多臺PC硬件建立分布式結(jié)構(gòu)，提升系統(tǒng)捕獲范圍，擴大圖像尺寸且增強分辨率，使投影獲得更為精確的交互分析。同時，利用基于GMM的多路視頻圖像捕獲，讓背景區(qū)域更加透明化，并使用PED和RL對緩存區(qū)數(shù)據(jù)做去噪和圖像加強處理，進一步突顯目標個體區(qū)域特征向量。仿真數(shù)據(jù)證明，該方法捕獲時序性強，運行速度快，可以應(yīng)用在各類計算機內(nèi)，具有優(yōu)秀的魯棒性，可以廣泛應(yīng)用在日常生活中。在接下來的研究中，會在三維空間內(nèi)對使用者行為進行交互分析，并嘗試隔空操控。