Kinect視覺(jué)技術(shù)在兒童Flash多媒體課件中的研究

黃騰

摘要：現(xiàn)有兒童多媒體技術(shù)存在交互方式不自然、不智能的缺點(diǎn)，應(yīng)用基于Kinect自然的人機(jī)交互技術(shù)并結(jié)合Flash技術(shù)，以兒童火災(zāi)自救的多媒體課件作為實(shí)例，設(shè)計(jì)實(shí)現(xiàn)一種多媒體自然人機(jī)交互平臺(tái)。在該平臺(tái)上的多媒體課件主要采用手勢(shì)識(shí)別技術(shù)實(shí)現(xiàn)人和計(jì)算機(jī)的自然地交互，同時(shí)配合網(wǎng)絡(luò)技術(shù)達(dá)到協(xié)同互動(dòng)的效果，該平臺(tái)目前運(yùn)用于梧州市某幼兒園，通過(guò)實(shí)踐證明，是有效和實(shí)用的。

關(guān)鍵詞：Kinect體感技術(shù)；Flash多媒體；多人互動(dòng)

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）12-0206-04

當(dāng)今，兒童身心成長(zhǎng)及健康發(fā)展成為社會(huì)關(guān)注的一個(gè)重要話題，如何創(chuàng)造條件促進(jìn)兒童心智的開(kāi)發(fā)，受到家庭和教育領(lǐng)域普遍關(guān)注。

多媒體以其特有的聲、光、形、色的特點(diǎn)，能夠創(chuàng)造豐富多彩的語(yǔ)境，使其成為教育教學(xué)的一個(gè)有效手段。然而，它缺乏人機(jī)自然交互的技術(shù)，使現(xiàn)在大部分兒童多媒體教學(xué)還停留在以鼠標(biāo)和鍵盤這種不適合兒童這一特殊群體的交互方式上，給兒童的身心健康帶來(lái)一定的負(fù)面影響。而隨著計(jì)算機(jī)視覺(jué)技術(shù)的大力發(fā)展，人機(jī)自然交互變?yōu)榱爽F(xiàn)實(shí)，但是視覺(jué)技術(shù)開(kāi)發(fā)難度大、成本高、周期長(zhǎng)，難于普通到教育環(huán)境中，當(dāng)前大多應(yīng)用在商業(yè)化游戲上，這些游戲也不利于兒童身心健康的發(fā)展。本研究力求以一個(gè)熟悉Adobe多媒體開(kāi)發(fā)平臺(tái)的幼兒園教師身份運(yùn)用Kinect開(kāi)發(fā)包將Kinect深度攝像頭應(yīng)用在Flash Professional CS6.0環(huán)境下，借助網(wǎng)絡(luò)技術(shù)，搭建多媒體多人自然互動(dòng)課件，為計(jì)算技術(shù)視覺(jué)技術(shù)能夠普及應(yīng)用到兒童課件開(kāi)發(fā)中提供一個(gè)方案。

本研究將以兒童火災(zāi)自救的多媒體課件開(kāi)發(fā)為例來(lái)說(shuō)明上述研究，該課件的內(nèi)容由一位資歷深厚有研究過(guò)兒童教育的教師提供的，具有深刻的現(xiàn)實(shí)意義，但是長(zhǎng)期以來(lái)該內(nèi)容的教學(xué)都無(wú)法在現(xiàn)實(shí)中給孩子模擬與實(shí)踐，這恰好給計(jì)算機(jī)視覺(jué)技術(shù)結(jié)合多媒體技術(shù)提供一個(gè)展示的機(jī)會(huì)。

1 平臺(tái)環(huán)境的搭建與課件設(shè)計(jì)目標(biāo)

平臺(tái)搭建的環(huán)境如圖所示，至少需要兩臺(tái)PC機(jī)、兩部Android手機(jī)和兩臺(tái)Kinect設(shè)備及對(duì)于外圍設(shè)配的止滑墊，防止兒童在互動(dòng)中摔倒。

該課件應(yīng)當(dāng)滿足如下條件：

1）圖文并茂，聲像俱佳，動(dòng)靜結(jié)合等，總之界面應(yīng)當(dāng)豐富多彩，能吸引兒童。

2）教師、兒童與多媒體課件的互動(dòng)不僅僅停留在視、聽(tīng)覺(jué)或者鼠標(biāo)鍵盤的互動(dòng)，而是沉浸式的體驗(yàn)，通過(guò)肢體與場(chǎng)景中相關(guān)的虛擬模型進(jìn)行交互。

3）該課件不僅滿足多人互動(dòng)，而且應(yīng)當(dāng)突破在課堂上的應(yīng)用，即在兒童與課件互動(dòng)時(shí)，遠(yuǎn)程的父母可以在辦公室或者家里，甚至任何地方的PC機(jī)或Android手機(jī)等移動(dòng)設(shè)配接入網(wǎng)絡(luò)進(jìn)入課件，可以觀看或者協(xié)助兒童共同完成某項(xiàng)任務(wù)，當(dāng)然兒童也將課件拷貝回家，在條件允許的條件下與父母共同游戲。

總之，將多媒體技術(shù)、計(jì)算視覺(jué)技術(shù)、網(wǎng)絡(luò)技術(shù)相結(jié)合，為幼兒教學(xué)創(chuàng)造更多的寓樂(lè)于教的條件。

2 兒童火災(zāi)自救課件設(shè)計(jì)

2.1 人物和道具的提取

根據(jù)兒童火災(zāi)自救內(nèi)容：突然一棟大樓起火了，大家都在混亂中逃生。這時(shí)候有一個(gè)房間，房間里有4個(gè)孩子，他們的父母都不在家。突然，其中的一個(gè)孩子看到窗外黑煙滾滾，知道大樓起火了，他馬上告訴大家趕緊逃生。但是，他們跑到門口的時(shí)候，發(fā)現(xiàn)門不知道什么時(shí)候被重物擋住了，根本打不開(kāi)。這些重物很重，一個(gè)人根本搬不動(dòng)，需要2個(gè)人一起才行，而且又很多，需要一段時(shí)間才能搬完。此時(shí)，黑煙已經(jīng)源源不斷地從窗口和門縫鉆進(jìn)來(lái)，孩子們意識(shí)到根據(jù)這樣的速度搬運(yùn)重物，還沒(méi)有搬完就有可能被黑煙窒息。突然，天花板上的電線由于短路，掉到地上，不斷漏電，導(dǎo)致屋內(nèi)很多地方都不能行走。在這個(gè)緊要的關(guān)頭中，其中一個(gè)孩子想到趕緊關(guān)閉電源防止漏電；另一個(gè)孩子想到了洗漱臺(tái)上有毛巾，可以用來(lái)沾水捂住鼻子和嘴，防止黑煙熏著；還有一個(gè)孩子也意識(shí)到單靠他們的力量是不夠的，于是想起房間里還有一部電話，可以撥打119告訴火警叔叔。于是這些孩子就在他們自己有組織，有目標(biāo)的合理安排下，完成在火警叔叔沒(méi)有來(lái)到之前的自救方式。

在開(kāi)發(fā)課件之前，我們首先根據(jù)課件的內(nèi)容提取涉及的背景和道具，如圖2所示。

根據(jù)兒童火災(zāi)自救內(nèi)容，孩子總共有四人，按照一定的行走路線，施行自救，其自救完成的任務(wù)總結(jié)如下：

1）去切斷電源，關(guān)閉電燈。

2）到洗漱臺(tái)上拿濕毛巾。

3）分發(fā)濕毛巾。

4）拿著小椅子到桌邊。

5）撥打119火警。

根據(jù)兒童火災(zāi)自救內(nèi)容提取的人物和道具之后，下面分別對(duì)它們進(jìn)行設(shè)計(jì)。

2.2 道具的設(shè)計(jì)

對(duì)于道具的設(shè)計(jì)需要從靜止和可以移動(dòng)的角度去考慮它們。

1）根據(jù)課件內(nèi)容，靜止的道具有洗漱臺(tái)、桌子、電話、電燈。對(duì)于桌子是完全靜止的，或者說(shuō)至始至終都沒(méi)有什么動(dòng)畫(huà)在它上面發(fā)生，以直接把它畫(huà)到背景圖片當(dāng)中，對(duì)于不完全靜止的洗漱臺(tái)、電話、電燈在它們上面會(huì)發(fā)生一些動(dòng)畫(huà)，對(duì)于這類道具的設(shè)計(jì)建議使用影片剪輯完成。

2）根據(jù)課件內(nèi)容，可移動(dòng)道具有毛巾、重物、小椅子。為了是場(chǎng)景互動(dòng)形象逼真，這些道具必須使用PNG格式的網(wǎng)格式序列圖，而且必須與人物模型序列圖相匹配。

2.3 人物模型的設(shè)計(jì)

人物的模型設(shè)計(jì)，我們采用一張巨大的網(wǎng)格式卡PNG格式通序列圖來(lái)設(shè)計(jì)，如圖3所示，通過(guò)ActionScript語(yǔ)言讀取這樣的圖片并加以處理，使每一格都對(duì)應(yīng)著一個(gè)動(dòng)畫(huà)截屏，而每一個(gè)動(dòng)畫(huà)截屏對(duì)應(yīng)著一個(gè)幀，也就是在每一個(gè)幀上放置一個(gè)卡通人物，在幀不斷播放的情況下，屏幕上就會(huì)顯示帶有動(dòng)畫(huà)的人物化身。

2.4 場(chǎng)景互動(dòng)設(shè)計(jì)

首先，利用動(dòng)態(tài)手勢(shì)識(shí)別控制卡通人物行走方向。如圖4 Kinect的人體模型控制卡通兒童的走向中的（1）所示，以兒童玩家正對(duì)著攝像頭為準(zhǔn)，當(dāng)右手左揮，卡通人物向西方向行走；當(dāng)右手右揮，卡通人物向東方向行走；當(dāng)右手向前揮，卡通人物向北方向行走；當(dāng)右手向后揮，卡通人物向南方向行走。在這里，規(guī)定每揮一次手，卡通人物向相應(yīng)的方向行走10個(gè)像素。

其次，由于Kinect可以實(shí)時(shí)的提取人體模型的20個(gè)關(guān)鍵點(diǎn)?，F(xiàn)在我們?nèi)〕鯯pine點(diǎn)的坐標(biāo)，通過(guò)判斷Spine點(diǎn)的縱坐標(biāo)來(lái)控制卡通人物的坐下與站起。如圖4 Kinect的人體模型控制卡通兒童的走向中的（2）所示。

最后，卡通兒童與道具的互動(dòng)。當(dāng)兒童靠近各種道具的時(shí)候，會(huì)有相應(yīng)的提示操作。

3 兒童火災(zāi)自救課件實(shí)現(xiàn)

完成了上述分析設(shè)計(jì)之后，我們就開(kāi)始對(duì)課件進(jìn)行技術(shù)上的實(shí)現(xiàn)。

首先，給出運(yùn)行在PC機(jī)上和Android手機(jī)上的不同版本課件系統(tǒng)的功能模塊及它們的交互流程，如圖5所示，在圖中，F(xiàn)lash P2P模塊是公共模塊，無(wú)論運(yùn)行在Android手機(jī)上的課件，還是運(yùn)行在PC機(jī)上的課件，該模塊是必須要有的，作者是為了便于區(qū)分兩個(gè)版本的不同，才把它劃分出來(lái)。對(duì)于圖中所標(biāo)注的觀看模式版本的課件就是該課件只能夠觀看兒童操作，不能通過(guò)任何方式交互界面上的道具與人物，相對(duì)于在PC機(jī)上操作的版本課件比較簡(jiǎn)單，而且又與在PC機(jī)上操作的版本課件的某些模塊相同，所以在Android手機(jī)上開(kāi)發(fā)的模塊將于在PC機(jī)上操作的課件版本一起介紹。

其次，給出該課件在PC機(jī)上運(yùn)行的主界面，如圖6所示。為了使課件游戲更刺激，也為了鍛煉孩子在緊急情況下有個(gè)敏捷的思維與行動(dòng)，讓孩子們分組比賽，看哪一組孩子花的時(shí)間最少。

3.1 Flash P2P組播功能的實(shí)現(xiàn)

該模塊貫穿整個(gè)應(yīng)用程序，程序一啟動(dòng)就馬上需要它，它是應(yīng)用程間數(shù)據(jù)交互的樞紐。由于Flash P2P有兩種通信方式，而且在我們課件程序中都是必需的技術(shù)，那么在開(kāi)始運(yùn)行應(yīng)用程序時(shí)，就需要用戶選擇將課件設(shè)置為哪一種通信方式。

1）基于Internet的Flash P2P模塊實(shí)現(xiàn)，主要分為四個(gè)步驟。

第一步，連接到Cirrus服務(wù)器獲取該程序的peer ID。

第二步，將要連接的課件程序的peer ID輸入文本框，然后點(diǎn)擊“連接”按鈕，連接按鈕就派發(fā)一個(gè)NetStatusEvent.NET_STATUS事件，告訴對(duì)方“我要連接你”，等到連接上對(duì)方之后，就可以進(jìn)入登陸界面了。

第三步，創(chuàng)建組播群組，當(dāng)然組播群組創(chuàng)建成功時(shí)，創(chuàng)建NetStream數(shù)據(jù)流通信通道。這里需要?jiǎng)?chuàng)建兩個(gè)NetStream，一個(gè)用作為發(fā)送數(shù)據(jù)和一個(gè)用作接收數(shù)據(jù)。

第四步，實(shí)時(shí)偵聽(tīng)網(wǎng)絡(luò)信息，一旦有發(fā)送或者接受數(shù)據(jù)的事件發(fā)生立即處理，這是Flash P2P應(yīng)用的核心功能所在，因?yàn)檎麄€(gè)應(yīng)用程序間的數(shù)據(jù)都在這里派發(fā)與接收。

2）基于局域網(wǎng)的Flash P2P模塊實(shí)現(xiàn)，主要分為三個(gè)步驟。

第一步，以自己為客戶端連接到以自己為服務(wù)器獲取該程序的peer ID。

第二步，在成功獲取ID號(hào)后，就可以創(chuàng)建組播群組，設(shè)置組播IP地址和端口號(hào)。

第三步，實(shí)時(shí)偵聽(tīng)網(wǎng)絡(luò)信息，一旦有發(fā)送或者接受數(shù)據(jù)的事件發(fā)生立即處理，整個(gè)應(yīng)用程序間的數(shù)據(jù)都在這里派發(fā)與接收。程序代碼與基于Internet的Flash P2P模塊的第四步相似，只是在發(fā)送數(shù)據(jù)的時(shí)候派發(fā)的是NetGroup.Post.Notify事件，接收數(shù)據(jù)的時(shí)候是NetGroup.Posting.Notify事件，在此不再累述。

對(duì)于運(yùn)行在Android手機(jī)上觀看模式版本的課件，不管是基于Internet的還是基于局域網(wǎng)的，只需要Flash P2P接收數(shù)據(jù)這塊功能即可，因?yàn)樵摪姹镜恼n件不能發(fā)布數(shù)據(jù)。

3.2 多人交互功能的實(shí)現(xiàn)

當(dāng)進(jìn)入教學(xué)場(chǎng)景后，就開(kāi)始啟動(dòng)Kinect，并捕獲人體模型信息作為User類（該類屬于Kinect SDK開(kāi)發(fā)包中定義的類）的一個(gè)實(shí)例。當(dāng)獲取人體模型信息之后，Kinect就會(huì)將它們存入一個(gè)數(shù)組中，當(dāng)然該數(shù)組最多只有兩個(gè)值，因?yàn)槟壳暗腒inect只能捕獲兩個(gè)人的人體模型信息。利用這個(gè)數(shù)組的兩個(gè)值，如圖7具體的工作流圖所示中的User0和User1。假如在PC機(jī)A上，某個(gè)兒童控制骨架信息User0，使用右手的Hand Right點(diǎn)去觸發(fā)Bt1按鈕，就會(huì)創(chuàng)建一個(gè)卡通人物模型Mode1，這時(shí)侯User0這個(gè)人體模型將與Mode1相互綁定，也就是說(shuō)卡通Mode1完全由User0控制，即使現(xiàn)在的兒童玩家離開(kāi)kinect攝像頭捕捉范圍，User0骨架信息被移除的情況下，當(dāng)另外一位兒童玩家進(jìn)入攝像頭捕捉范圍，Kinect就會(huì)把新捕捉到的人體模型信息賦值給User0，User0又重新控制起Mode1。當(dāng)按鈕Bt1被觸發(fā)后，它就變?yōu)椴豢捎昧?，接下?lái)觸發(fā)Flash P2P的事件，讓Flash P2P告知在PC機(jī)B上運(yùn)行的課件也要觸發(fā)相應(yīng)的Bt1按鈕，之后也變?yōu)椴豢捎?，同時(shí)也去創(chuàng)建一個(gè)一模一樣的Mode1，該Mode1的一切操作完全聽(tīng)從來(lái)自在PC機(jī)A上的Mode1，比如，在PC機(jī)A上的Mode1走到（100，80）這個(gè)位置，那么通過(guò)Flash P2P將該位置發(fā)送到PC機(jī)B上的課件，并把相應(yīng)的位置賦值給Mode1，使它也到達(dá)同樣的位置。通過(guò)這種方式使一個(gè)兒童玩家無(wú)論在哪臺(tái)機(jī)子上都可以實(shí)時(shí)地控制他自己的卡通人物。圖中還涉及一個(gè)變量UsersN，它是一個(gè)等于4的全局整型變量，用來(lái)控制用戶數(shù)據(jù)量是否達(dá)到可以進(jìn)入課件主界面的功能。當(dāng)觸發(fā)一個(gè)按鈕，UsersN就會(huì)減1，直到有四個(gè)兒童觸發(fā)四個(gè)Bt，創(chuàng)建四個(gè)卡通Mode，才能進(jìn)入課件主界面。

3.4 手勢(shì)與行走控制功能的實(shí)現(xiàn)

1）動(dòng)態(tài)手勢(shì)控制功能

由于計(jì)算機(jī)視覺(jué)技術(shù)已經(jīng)封裝在ANE擴(kuò)展包里面，所以這個(gè)模塊就是監(jiān)聽(tīng)手勢(shì)的方向事件，然后調(diào)用人物行走函數(shù)即可。

2）人物行走功能

人物行走只需要向東南西北四個(gè)方向行走，以場(chǎng)景的視角為主，需要的其中一個(gè)卡通人物PNG如圖3所示。

第一步，先將圖片剪切按行剪切，然后再把每一行的人物剪切出來(lái)存入一個(gè)數(shù)據(jù)類型為BitmapData的數(shù)組中。

第二步，監(jiān)聽(tīng)事件Event.ENTER_FRAME，循環(huán)相應(yīng)的數(shù)組元素（除最后兩個(gè)元素之外），便可以得到相關(guān)的卡通人物行走。比如，對(duì)于一個(gè)數(shù)組為南方向行走的序列圖，當(dāng)右手向后揮的時(shí)候，調(diào)用循環(huán)這個(gè)數(shù)組的函數(shù)即可得到向南方向行走的動(dòng)畫(huà)，當(dāng)然還需要規(guī)定行走的步長(zhǎng)，在這里規(guī)定為十個(gè)像素，也就是行走到圖中的另外一個(gè)方塊。

3）靠近檢測(cè)模塊、道具高光模塊、靜態(tài)手勢(shì)模塊

平臺(tái)判斷是否有卡通人物靠近，如果是，則道具變?yōu)楦吡恋臓顟B(tài)。當(dāng)?shù)谰叱霈F(xiàn)高亮狀態(tài)的時(shí)候，就可以進(jìn)入靜態(tài)手勢(shì)識(shí)別來(lái)控制卡通人物的其他動(dòng)作。卡通人物拿起小椅子及打電話過(guò)程的效果如圖8所示。

4 結(jié)束語(yǔ)

傳統(tǒng)的課件都是停留在教師操作Flash課件，兒童在旁邊聽(tīng)看，而基于計(jì)算視覺(jué)技術(shù)突破傳統(tǒng)的教學(xué)方式，使得兒童更有興趣參與到課件學(xué)習(xí)當(dāng)中來(lái)。最主要的是，傳統(tǒng)的課件只能用PPT或者Flash技術(shù)簡(jiǎn)單制作，計(jì)算機(jī)視覺(jué)技術(shù)雖然得到迅速發(fā)展，但是一直都沒(méi)法普及到課件當(dāng)中。通過(guò)本文提供的技術(shù)方案，可以在Flash平臺(tái)上實(shí)現(xiàn)多種技術(shù)相結(jié)合的多重媒體教學(xué)課件，只有這樣，多媒體交互設(shè)計(jì)才能發(fā)展得更好，才能實(shí)現(xiàn)多媒體交互設(shè)計(jì)的意義。

參考文獻(xiàn)：

[1] 周家驥. 智能教室中基于視覺(jué)的人體姿態(tài)估計(jì)[D]. 上海： 上海交通大學(xué)， 2010.

[2] 耿瑾. 兒童教育軟件中的人機(jī)交互技術(shù)應(yīng)用研究——兒童音樂(lè)教育軟件的設(shè)計(jì)和實(shí)現(xiàn)[D]. 北京： 中國(guó)科學(xué)院軟件研究所， 2004.

[3] 羅元， 謝彧， 張毅. 基于Kinect傳感器的智能輪椅手勢(shì)控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 機(jī)器人， 2012（34）.

[4] 張凱， 余新國(guó). 基于Kinect開(kāi)發(fā)用于幼兒教育的手勢(shì)識(shí)別[C]. 第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2011）論文集， 2011.

[5] Developing Native Extensions for ADOBE? AIR[EB/OL]. http：//www.adobe.com/devnet/air/articles/building-ane -pt1.html