基于KINECT的人機(jī)交互系統(tǒng)的研究

李奇　李木子

摘要：該文從桌面增強(qiáng)現(xiàn)實(shí)和人機(jī)自然對(duì)話兩方面入手，重點(diǎn)對(duì)PC平臺(tái)的人機(jī)交互進(jìn)行重點(diǎn)研究，對(duì)基于KINECT的人機(jī)交互過(guò)程中的動(dòng)作進(jìn)行自定義，優(yōu)化動(dòng)作分類(lèi)預(yù)測(cè)效果，提高系統(tǒng)虛實(shí)融合的準(zhǔn)確性與實(shí)時(shí)效率。

關(guān)鍵詞：KINECT；人機(jī)交互；動(dòng)作識(shí)別

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）27-6469-03

Abstract： This article consists in two aspects of the desktop augmented reality and man-machine dialogue nature. Focus on human-computer interaction system based on the PC platform. The action in the process of human-computer interaction is based on KINECT customization. It optimizes action classification prediction effect and improves the efficiency of system actual fusion accuracy and real-time-efficiency.

Key words： KINECT， Human-computer interaction， Motion recognition

基于KINECT的人機(jī)交互系統(tǒng)可以理解為一種特殊的人機(jī)交互平臺(tái)，不同于傳統(tǒng)的WIMP界面交互，它是一種典型的Non-WIMP界面交互。通常意義上的WIMP界面指的是基于窗口、圖標(biāo)、菜單、和指標(biāo)裝置的用戶(hù)界面，這種界面是串行和離散的[1]。而基于KINECT的人機(jī)交互系統(tǒng)是基于Non-WIMP界面的，其人機(jī)交互兼具有并行和連續(xù)的特點(diǎn)，幾乎可以實(shí)時(shí)做出交互響應(yīng)，這樣基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互系統(tǒng)，既能滿(mǎn)足了對(duì)實(shí)際生活中的各種功能需求，也滿(mǎn)足了人們對(duì)交互方式更加便捷、更加自然的要求，特別是隨著移動(dòng)終端的發(fā)展，增強(qiáng)現(xiàn)實(shí)的研究領(lǐng)域得到拓展，也越來(lái)越受到學(xué)者和企業(yè)工作者的關(guān)注和推崇，具有十分廣闊的研究前景[2]。

1 KINECT構(gòu)成和工作原理

KINECT共有三個(gè)攝像頭，中間是RGB攝像頭，用來(lái)拍攝視角范圍內(nèi)的彩色視頻圖像。兩邊的是深度傳感器，左側(cè)的是紅外線發(fā)射器，右側(cè)的是紅外線接收器，用來(lái)發(fā)射、接收紅外線提供場(chǎng)景深度數(shù)據(jù)深度。其中紅外發(fā)射器（又稱(chēng)紅外投影機(jī)）主動(dòng)投射紅外線，當(dāng)紅外光譜照射到粗糙物體時(shí)光譜發(fā)生扭曲，會(huì)產(chǎn)生隨機(jī)的反射斑點(diǎn)（稱(chēng)為散斑），接著被紅外接收器讀取。紅外接收器（又稱(chēng)紅外攝像頭）分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像。KINECT的兩側(cè)是一組四元麥克風(fēng)陣列，可同時(shí)過(guò)濾背景噪聲實(shí)現(xiàn)聲源定位和語(yǔ)音識(shí)別；KINECT下方還有一個(gè)帶內(nèi)置馬達(dá)的底座，該馬達(dá)配備追焦技術(shù)，可以通過(guò)編程控制調(diào)整俯仰角獲得最佳視角。

通過(guò)體感攝像頭KINECT可以捕獲實(shí)時(shí)場(chǎng)景中的彩色圖像數(shù)據(jù)，深度圖像數(shù)據(jù)、音頻數(shù)據(jù)，本系統(tǒng)重點(diǎn)研究的是對(duì)基于深度數(shù)據(jù)流的人體骨骼的跟蹤和識(shí)別，為提高該多媒體系統(tǒng)交互實(shí)時(shí)性，提出一系列優(yōu)化系統(tǒng)性能，提高運(yùn)行效率的方法和思路。

4 結(jié)論

本系統(tǒng)是利用KINECT獲取的深度數(shù)據(jù)識(shí)別真實(shí)場(chǎng)景中人物不同動(dòng)作后渲染疊加不同的動(dòng)畫(huà)幀，獲取人體骨架信息，并根據(jù)不同關(guān)鍵點(diǎn)的位置信息自定義動(dòng)作，完成和三維動(dòng)畫(huà)的虛實(shí)交互，并與真實(shí)的RGB圖像融合顯示，形成虛實(shí)交互的效果。實(shí)驗(yàn)表明，在場(chǎng)景較為單一、光照良好時(shí)，人機(jī)交互的效果十分理想，當(dāng)用戶(hù)做出不同動(dòng)作時(shí)，模型動(dòng)畫(huà)會(huì)級(jí)聯(lián)響應(yīng)，并播放各種音樂(lè)效果，趣味性十足。本系統(tǒng)通過(guò)個(gè)別少量姿勢(shì)的定制，三維引擎的渲染、結(jié)合機(jī)器學(xué)習(xí)和模式識(shí)別等智能理論技術(shù)，利用獲得實(shí)時(shí)數(shù)據(jù)的高精確度定位，更好地提高系統(tǒng)的穩(wěn)定性和實(shí)時(shí)性?？蓱?yīng)用于數(shù)字營(yíng)銷(xiāo)、科教、移動(dòng)導(dǎo)覽、設(shè)計(jì)與仿真、物聯(lián)網(wǎng)等眾多領(lǐng)域，具有非常高的實(shí)用意義。

參考文獻(xiàn)：

[1] 張永林. 淺談一種基于Kinect的體感交互應(yīng)用開(kāi)發(fā)方法[J].電腦知識(shí)與技術(shù)，2014（14）：3369-3371.

[2] 林填鋒，楊潔霞. 基于kinect的人體識(shí)別技術(shù)的一些改進(jìn)[J].電腦知識(shí)與技術(shù)，2012（21）：5220-5223.

[3] 倪晨，邱鵬，王鋒，等. Kinect體感技術(shù)在人機(jī)交互中的應(yīng)用研究[J].信息技術(shù)與信息化，2013（1）：87-90.

[4] 張毅，張爍，羅元，等. 基于Kinect深度圖像信息的手勢(shì)軌跡識(shí)別及應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究， 2012（9）：3547-3550.