基于自然交互的教學(xué)輔助系統(tǒng)研究與設(shè)計(jì)

周　屹，辛　壯，方志民，戴洋洋

(黑龍江工程學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150050)

?

基于自然交互的教學(xué)輔助系統(tǒng)研究與設(shè)計(jì)

周屹，辛壯，方志民，戴洋洋

(黑龍江工程學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150050)

摘要：介紹基于自然交互的教學(xué)輔助系統(tǒng)的實(shí)現(xiàn)方法。將基于Kinect的體感技術(shù)引入到課堂教學(xué)中，設(shè)計(jì)一種適用廣大高等學(xué)校課堂教學(xué)的教學(xué)輔助系統(tǒng)。通過(guò)建立骨骼系統(tǒng)、手勢(shì)識(shí)別等實(shí)現(xiàn)教學(xué)輔助功能。這種方法進(jìn)行教學(xué)具有形式新穎、方法靈活、成本低的特點(diǎn)，彌補(bǔ)傳統(tǒng)教學(xué)方式的不足，能夠有效地提高教學(xué)質(zhì)量。

關(guān)鍵詞：教學(xué)輔助系統(tǒng);體感技術(shù);骨骼系統(tǒng);手勢(shì)識(shí)別

隨著現(xiàn)代教育技術(shù)的不斷發(fā)展，多媒體課堂已經(jīng)普遍進(jìn)入高等院校。在現(xiàn)有的多媒體教學(xué)系統(tǒng)中，教師雖然避免了單一依賴板書(shū)的問(wèn)題，卻還要通過(guò)不斷地點(diǎn)擊鼠標(biāo)、鍵盤(pán)或者一些其它的手持設(shè)備來(lái)完成教學(xué)輔助系統(tǒng)的應(yīng)用。教師和學(xué)生之間仍存在著教與被教的單一關(guān)系，學(xué)生與教師之間互動(dòng)較少。在教學(xué)過(guò)程中，學(xué)生不能積極主動(dòng)參與，教師在教學(xué)過(guò)程中也難以得到同學(xué)的反饋，無(wú)法發(fā)現(xiàn)學(xué)生的不足，忽略了學(xué)生的主體地位。為了營(yíng)造輕松、愉快的學(xué)習(xí)氛圍，提高學(xué)生學(xué)習(xí)積極性，本文將體感技術(shù)應(yīng)用到輔助教學(xué)中，設(shè)計(jì)了一種基于自然交互的教學(xué)輔助系統(tǒng)。

目前，教學(xué)輔助系統(tǒng)在國(guó)內(nèi)外高校早已被廣泛使用。主要包括應(yīng)用于實(shí)驗(yàn)室的教學(xué)輔助系統(tǒng)、基于Internet的虛擬教學(xué)輔助系統(tǒng)以及計(jì)算機(jī)類課程的實(shí)驗(yàn)支持學(xué)習(xí)系統(tǒng)等[1-7]。例如BestSoft的實(shí)驗(yàn)室管理系統(tǒng)，這是國(guó)內(nèi)的一個(gè)基于實(shí)驗(yàn)室的教學(xué)輔助系統(tǒng)。國(guó)內(nèi)的一些知名高校也研制了一些實(shí)驗(yàn)教學(xué)輔助系統(tǒng)[8-11]。較為常見(jiàn)的教學(xué)輔助系統(tǒng)如基于Internent的虛擬教學(xué)輔助系統(tǒng)、新加坡國(guó)立大學(xué)建立的遠(yuǎn)程控制實(shí)驗(yàn)室、北京大學(xué)建立的網(wǎng)上交互式虛擬實(shí)驗(yàn)室等。這一類系統(tǒng)主要針對(duì)遠(yuǎn)程教育中的實(shí)驗(yàn)教學(xué)，運(yùn)用虛擬現(xiàn)實(shí)技術(shù)，模擬出實(shí)驗(yàn)所需的各種硬件條件，滿足實(shí)驗(yàn)的苛刻要求，盡量為實(shí)驗(yàn)者提供最真實(shí)的感受。目前，國(guó)內(nèi)各高校基于web的學(xué)習(xí)系統(tǒng)是計(jì)算機(jī)類課程的實(shí)驗(yàn)支持學(xué)習(xí)系統(tǒng)的最好體現(xiàn)。

1基于自然交互的教學(xué)輔助系統(tǒng)

1.1　基本結(jié)構(gòu)

如圖1所示，基于自然交互的教學(xué)輔助系統(tǒng)其軟硬件可分為三層，各層的基本功能如下：

1)底層硬件設(shè)備采用Kinect、麥克風(fēng)等，開(kāi)發(fā)工具選用C++，通過(guò)調(diào)用開(kāi)放式自然交互接口OpenNI完成系統(tǒng)設(shè)計(jì)。

2)中間層為開(kāi)放式自然交互接口(OpenNI)。

3)頂層為教學(xué)輔助系統(tǒng)軟件層。系統(tǒng)通過(guò)OpenNI接口，調(diào)用底層Kinect設(shè)備等，獲得教師姿態(tài)與手勢(shì)信息，通過(guò)識(shí)別來(lái)調(diào)用對(duì)應(yīng)輔助功能模塊，實(shí)現(xiàn)輔助教學(xué)。

圖1　系統(tǒng)基本結(jié)構(gòu)

1.2　系統(tǒng)流程

系統(tǒng)流程如圖2所示。

圖2　系統(tǒng)流程

對(duì)于教學(xué)輔助系統(tǒng)的實(shí)現(xiàn),主要包括以下步驟：

1)初始化系統(tǒng)軟硬件，完成對(duì)軟硬件的初始化設(shè)置。包括對(duì)Kinect的驅(qū)動(dòng)、底層OpenNI的配置等。

2)利用Kinect攝像頭捕捉教師/學(xué)生圖像，獲得RGB-D圖像。

3)調(diào)用對(duì)應(yīng)函數(shù)，完成提取骨骼與手勢(shì)數(shù)據(jù)。

4)計(jì)算相似度，判斷手勢(shì)是否匹配，若匹配則調(diào)用對(duì)應(yīng)系統(tǒng)模塊功能，否則返回。

2系統(tǒng)關(guān)鍵技術(shù)

2.1　骨骼系統(tǒng)的建立

Kinect體感操作的基礎(chǔ)是骨骼追蹤。它可以同時(shí)對(duì)多人進(jìn)行動(dòng)作追蹤，包括四肢以及手勢(shì)等。Kinect具有RGB及紅外傳感器，通過(guò)它們來(lái)感知環(huán)境，形成周圍環(huán)境的RGB-D圖像。RGB-D傳感器以30幀/s的速度獲得深度圖像，系統(tǒng)通過(guò)調(diào)用OpenNI在背景環(huán)境中分割出的人體獲得骨骼圖。人體的深度圖像與骨骼結(jié)構(gòu)的對(duì)應(yīng)關(guān)系如圖3所示。

圖3　骨骼形成

2.2　基于Kinect的手勢(shì)識(shí)別算法

系統(tǒng)通過(guò)手勢(shì)識(shí)別完成內(nèi)容選擇與翻頁(yè)等功能，通過(guò)調(diào)用底層OpenNI接口以及OpenCV函數(shù)來(lái)實(shí)現(xiàn)。

基于Kinect的手勢(shì)識(shí)別原理如圖4所示。

圖4　基于Kinect的手勢(shì)識(shí)別原理

一組手勢(shì)捕捉效果如圖5所示。

圖5　一組捕捉的手勢(shì)

2.3　基于Kinect的語(yǔ)音識(shí)別實(shí)現(xiàn)

采用MS speech sdk5.1作為語(yǔ)音識(shí)別開(kāi)發(fā)引擎，開(kāi)發(fā)kinect語(yǔ)音識(shí)別模塊，包括文語(yǔ)轉(zhuǎn)化和語(yǔ)音識(shí)別。通過(guò)調(diào)用Voice Text API 完成語(yǔ)音合成。通過(guò)voice Dictation API進(jìn)行語(yǔ)音識(shí)別。

部分代碼如下：

將語(yǔ)音引擎加入頭文件：

JHJinclude "sapi.h"

…

初始化：

ISpVoice *pSpVoice;

::CoInitialize(NULL);

…

3結(jié)束語(yǔ)

本文介紹了一種基于Kinect的教學(xué)輔助系統(tǒng)，可以應(yīng)用于課堂教學(xué)，具有輔助教師完成課堂教學(xué)、學(xué)生互動(dòng)的功能。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展與完善，基于Kinect教學(xué)輔助系統(tǒng)也將日漸成熟，并逐步普及到各大中小院校。這種方法進(jìn)行教學(xué)具有形式新穎、方法靈活、成本低的特點(diǎn)，彌補(bǔ)了傳統(tǒng)教學(xué)方式的不足，能有效地提高教學(xué)質(zhì)量，有較為廣泛的應(yīng)用前景。

參考文獻(xiàn)

[1]毛麾民. 高校計(jì)算機(jī)實(shí)驗(yàn)室教學(xué)輔助系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].成都：西南交通大學(xué), 2013.

[2]黃鑫. 基于VR技術(shù)的虛擬教學(xué)應(yīng)用研究[D]. 武漢：華中師范大學(xué), 2005.

[3]桂芳, 沈華平, 吳杰,等. 基于WEB的虛擬教學(xué)系統(tǒng)綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2001, 37(11):60-62.

[4]何益明. 基于自然交互的體驗(yàn)式教學(xué)系統(tǒng)設(shè)計(jì)研究[D]. 杭州：浙江工業(yè)大學(xué), 2013.

[5]樊妍妍. 基于數(shù)據(jù)挖掘的個(gè)性化在線教學(xué)輔助系統(tǒng)的研究與設(shè)計(jì)[D]. 安徽：安徽大學(xué), 2011.

[6]王建偉, 王鑫，許憲東. 改進(jìn)的ID3算法在遠(yuǎn)程教學(xué)系統(tǒng)中的應(yīng)用[J]. 黑龍江工程學(xué)院學(xué)報(bào), 2014, 28(1):67-70.

[7]張偉. 高校計(jì)算機(jī)實(shí)驗(yàn)教學(xué)輔助系統(tǒng)的研究與實(shí)現(xiàn)[J]. 信息與電腦(理論版), 2012(1)：180-181.

[8]高楊, 李小遐. 計(jì)算機(jī)輔助教學(xué)實(shí)踐及其思考[J]. 時(shí)代教育, 2015(5).

[9]張晶. 網(wǎng)絡(luò)虛擬大學(xué)物理實(shí)驗(yàn)系統(tǒng)輔助教學(xué)的探索[J]. 承德石油高等?？茖W(xué)校學(xué)報(bào), 2007, 9(4):62-65.

[10] 牛學(xué)真. 開(kāi)放式虛擬實(shí)驗(yàn)教學(xué)平臺(tái)集成技術(shù)研究[D]. 北京：北京郵電大學(xué), 2014.

[11] 潘錦鋒. 基于WPF技術(shù)的虛擬教學(xué)系統(tǒng)的研究與實(shí)現(xiàn)[J]. 消費(fèi)電子, 2014, (18):177-178.

[責(zé)任編輯：郝麗英]

Research and design of a teaching assistant system based on natural interaction

ZHOU Yi,XIN Zhuang,ZHENG Lei,Fang Zhi-min

(College of Computer Science and Technology, Heilongjiang Institute of Technology,Harbin 150010, China)

Abstract：It presents the realization of a teaching assistant system based on natural interaction method. Techniques of body feeling based on Kinect are introduced into classroom teaching, and a teaching assistant system is designed for classroom teaching in colleges. By establishing the skeletal and gesture recognition system, it can realize the teaching auxiliary functions.This new approach of classroom teaching has some advantages such as novel form,more flexible and low cost, which can make up for the deficiency of the traditional teaching method and effectively improve the quality of teaching.

Key words：teaching assistant system; somatosensory technology; skeleton system; gesture recognition

作者簡(jiǎn)介：周屹(1971-)，女，教授，研究方向：計(jì)算機(jī)應(yīng)用.

基金項(xiàng)目：2014年黑龍江省教育教學(xué)改革工程項(xiàng)目(JG2014010979)；黑龍江省大學(xué)生創(chuàng)新訓(xùn)練項(xiàng)目(201411802015)；黑龍江工程學(xué)院大學(xué)生創(chuàng)新訓(xùn)練項(xiàng)目(201411802058)

收稿日期：2015-07-25

中圖分類號(hào)：TP399

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1671-4679(2015)06-0038-03