面向LED顯示屏的手勢互動系統(tǒng)的研究與實現(xiàn)

張偉

摘要：隨著顯示技術(shù)的迅猛發(fā)展，傳統(tǒng)的LED顯示方式被應(yīng)用于多種領(lǐng)域，它們可以有超大畫面的視頻顯示、高質(zhì)量的顯示效果以及內(nèi)容豐富的圖像信息，為了能夠調(diào)動參觀者的極大興趣，采用人機互動的LED顯示系統(tǒng)成為今后發(fā)展的方向和潮流，本文提出了面向LED顯示屏的手勢互動系統(tǒng)的相關(guān)研究和實現(xiàn)過程，即是以視頻處理計算機、攝像頭、視頻采集卡等硬件為基礎(chǔ)，開發(fā)出一套具有畫面采集、手勢判斷、畫面實時渲染等功能的互動系統(tǒng)，該系統(tǒng)根據(jù)用戶不同的手勢做出不同的響應(yīng)，實現(xiàn)計算機畫面與用戶的互動。

關(guān)鍵詞：人機互動 視覺識別 手勢識別 中值算法 實時渲染

一、概述

處于信息技術(shù)時代，網(wǎng)絡(luò)多媒體技術(shù)的普遍應(yīng)用，使人們提高了視覺感受要求。目前的大屏幕多媒體顯示系統(tǒng)主要采用的顯示技術(shù)為大屏幕投影技術(shù)和LED顯示技術(shù)，LED顯示技術(shù)在亮度、對比度、色彩飽和度等方面遠(yuǎn)超投影技術(shù)，僅僅顯示廣告、直播、公告等內(nèi)容已不能滿足用戶的需求，因此為了能夠調(diào)動參觀者的極大興趣，采用人機互動的LED展示系統(tǒng)成為今后發(fā)展的方向和潮流，本文提出的面向LED顯示屏的手勢互動系統(tǒng)，是一套具有軟件和硬件的完整的綜合應(yīng)用平臺系統(tǒng)，應(yīng)采用當(dāng)今世界最高端的設(shè)備和動作捕捉算法;系統(tǒng)應(yīng)提供一種不同尋常并激動人心的動畫和特效交相輝映的效果系統(tǒng)，適用于多種公共場合，特別是商業(yè)中心、廣場、展廳等場合使用。

二、系統(tǒng)整體設(shè)計

1、系統(tǒng)介紹

面向LED顯示屏的手勢互動系統(tǒng)是一個專用型互動平臺系統(tǒng)。該系統(tǒng)具備特有的手勢捕捉及運動趨勢判斷功能，該系統(tǒng)是用戶和LED大屏上的影像進(jìn)行真實互動的一套系統(tǒng)，使用戶融入場景中，用戶的手勢動作通過相關(guān)采集設(shè)備，配合相關(guān)的場景和特效達(dá)到互動和娛樂的效果。同時，相關(guān)場景和特效是可以后臺切換的，可根據(jù)實際情況提供具有創(chuàng)意內(nèi)容的企業(yè)用戶品牌廣告和互動展示效果。

系統(tǒng)運行流程包含系統(tǒng)開始、畫面采集、圖像處理、手勢判斷、動畫實時渲染轉(zhuǎn)換、畫面顯示、系統(tǒng)結(jié)束等步驟，如圖1。

該系統(tǒng)包含了動作捕捉模塊、場景切換模塊、數(shù)據(jù)處理模塊、特效展示模塊。系統(tǒng)開發(fā)及實施過程中，著重研究動作捕捉模塊，該模塊在軟件中所占比重相當(dāng)大并非常重要，直接關(guān)系到互動畫面的連續(xù)性和有效性。如圖2。

動作捕捉模塊：主要是通過動作捕捉器捕捉用戶的動作的過程，要求連續(xù)、平滑等。

數(shù)據(jù)處理模塊：主要是對采集的動作進(jìn)行相應(yīng)算法的解析和封裝。

特效展示模塊：是針對用戶的不同的動作展示不同的效果。

場景切換模塊：支持后臺實時切換用戶喜歡的場景。

2、技術(shù)要求

2.1功能指標(biāo)

互動模式：單人捕捉，幀率60 FPS。 檢測算法：自由設(shè)置平滑及降噪算法，識別準(zhǔn)確無誤點，可自由設(shè)置靈敏度以適應(yīng)多數(shù)硬件環(huán)境。

效果模塊：每個效果可獨立設(shè)置播放時間，提供控制接口，可獨立對效果點播。

互動內(nèi)容分辨率：兼容1920*1080及以下的常用分辨率。

SDK接口：C/C++，.NET，Direct3D，Unity3D， Flash 的 ActionScript 2 /ActionScript 3。

模板界面：可方便快捷的更換互動元素。

顯示支持：支持分辨率支持下的LED大屏幕。

動作捕捉設(shè)備安裝：系統(tǒng)可設(shè)置圖像水平、垂直翻轉(zhuǎn)，自由設(shè)置捉捕范圍，使其正好匹配投影畫面。

2.2性能指標(biāo) 響應(yīng)時間：<15毫秒的光量校正，互動校準(zhǔn)無漂移。

攝像頭啟動延時：0.1S

圖像采集延時：0.1S

圖像傳輸延時：0.1S

圖像顯示延時：IS

3、總體研究思路

面向LED顯示屏的手勢互動系統(tǒng)主要實現(xiàn)用戶和LED大屏之間的智能交互。軟件使用動作捕捉模塊對采集到的人體動作參數(shù)進(jìn)行運算，把大屏前的人體作為一個區(qū)位目標(biāo)，進(jìn)行跟蹤識別。采集的動作信號提交給數(shù)據(jù)處理模塊對動作信號進(jìn)行精密的運算，動作捕捉算法目前采用較多的為圖像采集，圖像處理的算法，我們采用人體行對偏移所得的動作參數(shù)進(jìn)行動作捕捉運算。人體具有一定的寬度和高度，如果作為點目標(biāo)具有很大的誤差，因此人體高度及寬度的擬合算法也是一個關(guān)鍵算法。動作捕捉器上有一個功能強大的感覺陣列，能從事捕捉圖片到識別顏色等多項工作。經(jīng)過前期項目經(jīng)驗的積累，對大屏前的人體動作和位置等信息數(shù)據(jù)以彩色影像、3D深度影像等形式進(jìn)行建模分析，可以穩(wěn)定地準(zhǔn)確計算出人體動作，通過四邊形近似算法，考慮人體寬度，取人體中心部分作為點目標(biāo)進(jìn)行處理。經(jīng)過處理后的數(shù)據(jù)反饋給特效展示模塊進(jìn)行特效的顯示。另外，用戶可通過軟件選擇不同的場景，使用更多特效。

三、關(guān)鍵技術(shù)介紹

動作捕捉技術(shù)：從運動學(xué)的角度模擬動作捕捉后的參數(shù)，并優(yōu)化了運動學(xué)標(biāo)記算法支持補償被遮擋的物體，捕捉精度高達(dá)1cm，另外我們優(yōu)化了動作捕捉器的可控范圍，使得捕捉的距離更遠(yuǎn)，范圍更廣，實時數(shù)據(jù)的處理延遲低于lOOms。

延遲平滑及噪聲處理：普通的動作捕捉攝像設(shè)備精度較低，導(dǎo)致模糊、拖影的現(xiàn)象出現(xiàn)，我們選用了高精度的設(shè)備解決模糊、拖影問題。另一方面，在軟件相關(guān)算法開發(fā)的時候使用了毫秒級的位移過渡算法進(jìn)一步解決平滑的問題。在噪聲處理方面，由于系統(tǒng)在使用中會有多種噪聲的干擾，比如被捕捉人周圍有很多物品和其他人，就會對捕捉結(jié)果造成影響，這就需要我們采用人像定位技術(shù)，把人的每個部位在系統(tǒng)中進(jìn)行識別，讓系統(tǒng)定位住被捕捉人，消除外界不必要干擾，讓系統(tǒng)順利運行。

手勢識別算法：通過攝像采集設(shè)備捕捉每秒若干幀畫面，將畫面分割成有限的網(wǎng)格（目前支持8、16、32、64四種網(wǎng)格），分析相鄰畫面的差異，識別出差異的網(wǎng)格，通過網(wǎng)格判斷出運動的目標(biāo)（目前設(shè)置為最多2個目標(biāo)），將目標(biāo)運動的軌跡（坐標(biāo)序列）發(fā)送到FLASH動畫，產(chǎn)生手勢響應(yīng)。

中值計算算法：基于手勢識別算法，在網(wǎng)格中需確定手勢移動在平面目標(biāo)下的基礎(chǔ)位置，采用模糊的中值計算的方法可定位手勢移動的起始位置及結(jié)束位置，為后續(xù)計算運動軌跡打下基礎(chǔ)。運算效果如圖3所示，有色方塊代表手勢的模糊位置，圈代表運算后的相對位置。

本文對面向LED顯示屏的手勢互動系統(tǒng)進(jìn)行了基本的介紹。針對系統(tǒng)中使用到的關(guān)鍵技術(shù)進(jìn)行了介紹。在系統(tǒng)研究與開發(fā)中，提出了動作捕捉技術(shù)、動作延遲平滑及噪聲處理、手勢識別算法、中值計算算法。本系統(tǒng)具有先進(jìn)性、可靠性、穩(wěn)定性等特點，互動方式上方便易用、直觀、新穎。系統(tǒng)已廣泛應(yīng)用于各類項目中，得到用戶的一致好評。