Kinect體感技術(shù)在動(dòng)物外科實(shí)驗(yàn)教學(xué)中的應(yīng)用及展望

呂開陽，葉華茂，李曉光，白玉樹，徐正梅，沈洪興，趙志青，景在平

第二軍醫(yī)大學(xué):1附屬長海醫(yī)院;2訓(xùn)練部，上海200433

計(jì)算機(jī)輔助教學(xué)(computer-assisted instruction，CAI)系統(tǒng)是以計(jì)算機(jī)系統(tǒng)作為媒體，以人機(jī)交互方式向?qū)W生傳播相應(yīng)的教學(xué)內(nèi)容以達(dá)到預(yù)期教學(xué)目標(biāo)。這項(xiàng)技術(shù)和理念為傳統(tǒng)教學(xué)注入了新的活力，使醫(yī)學(xué)教學(xué)改革和醫(yī)學(xué)人才的培養(yǎng)步入了一個(gè)全新的時(shí)期，給教育、教學(xué)帶來了新的活力［1-2］。

CAI應(yīng)用于現(xiàn)代醫(yī)學(xué)教育，尤其是課堂理論教學(xué)，具有較明顯的優(yōu)勢，包括表達(dá)形式多樣，學(xué)習(xí)過程可自主調(diào)控［3］，信息存儲(chǔ)量大、利于自主學(xué)習(xí)［4］，反饋及時(shí)、能加快教學(xué)進(jìn)程等。因此它在醫(yī)學(xué)院校的大班課教學(xué)及實(shí)驗(yàn)課理論教學(xué)中得到了廣泛的運(yùn)用，起到了良好的教學(xué)效果。然而，在外科手術(shù)學(xué)動(dòng)物實(shí)驗(yàn)課上，CAI的應(yīng)用中受到明顯限制。

1 動(dòng)物外科教學(xué)存在的問題

外科動(dòng)物實(shí)驗(yàn)的目的是:①樹立培養(yǎng)學(xué)生手術(shù)無菌觀念的意識(shí);②加強(qiáng)手術(shù)整體配合的觀念;③讓學(xué)生通過手術(shù)訓(xùn)練，熟練地掌握“切開、縫合、止血、結(jié)扎”等手術(shù)基本操作技能［5］。

外科動(dòng)物實(shí)驗(yàn)課程的目的決定了教師和學(xué)生對課件的操作無法隨意而為。因?yàn)樵趯?shí)驗(yàn)課上，教師及學(xué)生大部分時(shí)間都需要洗手，戴無菌手套。學(xué)生如果有問題，教師只能口頭講解，無法以CAI中形象生動(dòng)的方式展示給學(xué)生看。課堂現(xiàn)場以黑板板書的方式簡單羅列當(dāng)堂課的知識(shí)點(diǎn)，由于版面有限，既往課程的知識(shí)點(diǎn)則無法展示。同時(shí)，由于手術(shù)無菌術(shù)的客觀要求，學(xué)生也無法自己現(xiàn)場查閱資料，自主學(xué)習(xí)。然而，在長期的動(dòng)物外科學(xué)教學(xué)中筆者發(fā)現(xiàn)，作為初次接觸手術(shù)學(xué)的學(xué)生，接受手術(shù)學(xué)知識(shí)的速度都比較慢，基礎(chǔ)知識(shí)掌握程度參差不齊，常常記不起已多次講授的某些基本知識(shí)點(diǎn)。比如:需要持針器打結(jié)時(shí)，忘記打結(jié)的要領(lǐng);需要做腸切除、腸吻合術(shù)時(shí)，無法回憶起某個(gè)步驟如何縫合;部分學(xué)生甚至在動(dòng)物外科學(xué)課程結(jié)束后，仍無法肯定地說出持針器到底有幾種把持方法。究其原因，很大程度上與課堂學(xué)習(xí)效率低下有關(guān)。因此，若能在教學(xué)的任何時(shí)刻，在學(xué)生需要的時(shí)候，反復(fù)地給予學(xué)生相關(guān)知識(shí)的展示，必將促進(jìn)基礎(chǔ)知識(shí)的記憶，達(dá)到較好的教學(xué)效果。

2 Kinect體感技術(shù)介紹

Kinect是微軟在2010年6月14日對XBOX360體感周邊外設(shè)正式發(fā)布的名字。Kinect主要包括以下幾個(gè)功能:①骨骼追蹤。根據(jù)在Kinect視野范圍內(nèi)移動(dòng)的一個(gè)或兩個(gè)人的圖像進(jìn)行骨骼追蹤，可以追蹤到人體上的20個(gè)節(jié)點(diǎn);②XYZ-深度攝像頭。獲取標(biāo)準(zhǔn)彩色圖像流附加深度數(shù)據(jù)，來表示物體與Kinect傳感器的距離。它的原理是利用雙眼的視覺差，能夠判斷我們面前某一個(gè)物體基于我們當(dāng)前位置的距離，基本上都是通過紅外方式來做判斷。由于人體散發(fā)出來的紅外是一致的，因此無論是什么人種，都不會(huì)受到干擾;③音頻處理。與Microsoft．Speech的語音識(shí)別API(應(yīng)用程序編程接口)集成，使用一個(gè)具有消除噪音和回波的四元麥克風(fēng)組，能夠把聲源附近有效范圍之內(nèi)的各種信息捕捉到。基于以上功能，不需要使用任何控制器，Kinect依靠實(shí)時(shí)捕捉使用者的3D動(dòng)作、面部識(shí)別和語音識(shí)別即可達(dá)到輸入的功能［6］。

Kinect最初是專門作為微軟的游戲主機(jī)XBOX360的輸入設(shè)備而出售。然而，2011年6月17日，微軟發(fā)布了運(yùn)行在Windows 7環(huán)境的Kinect開發(fā)工具包(Kinect SDK beta)。該SDK內(nèi)容包括:①原始傳感器數(shù)據(jù)流(raw sensor streams):能夠從深度傳感器、顏色傳感器和四元麥克風(fēng)中獲取原始數(shù)據(jù)流，開發(fā)者在這些由Kinect傳感器中獲取的數(shù)據(jù)基礎(chǔ)上進(jìn)行處理;②骨骼跟蹤(skeletal tracking):能夠追蹤一名用戶或兩名用戶的動(dòng)作，便于建立基于動(dòng)作控制的應(yīng)用;③增強(qiáng)版音頻功能(advanced audio capabilities):音頻處理功能包括復(fù)雜降噪和回聲消除功能，能夠識(shí)別當(dāng)前聲源，與Windows自帶語音識(shí)別API功能融合;④示例代碼和文件:SDK包括100多頁的技術(shù)文檔。文檔中還包括了大批詳細(xì)的實(shí)例說明。另外SDK安裝快捷，無需復(fù)雜設(shè)置，僅需數(shù)分鐘即可將其使用在Kinect上。這為全球的程序員快速開發(fā)基于個(gè)人電腦的Kinect應(yīng)用程序鋪平了道路。有了這個(gè)開發(fā)工具包，專業(yè)人員完全可以將Kinect作為個(gè)人電腦的輸入工具，以手勢、身體姿勢及語音作為輸入元素，控制電腦系統(tǒng)的工作［7］。

3 Kinect體感技術(shù)在動(dòng)物外科實(shí)驗(yàn)教學(xué)中的應(yīng)用及效果

Kinect的這一新穎的輸入方式為動(dòng)物外科手術(shù)實(shí)驗(yàn)教學(xué)提供了新思路。在不適合徒手操作電腦的情況下，教師或?qū)W生可以用Kinect作為個(gè)人電腦的輸入工具，以手勢、身體姿勢及語音作為輸入元素，控制電腦查閱相關(guān)知識(shí)點(diǎn)，得到及時(shí)反饋，來達(dá)到現(xiàn)場教學(xué)或現(xiàn)場自學(xué)的目的，快速、有效的傳道解惑?；谝陨险J(rèn)識(shí)，我們設(shè)想建立基于Kinect體感技術(shù)的動(dòng)物外科輔助教學(xué)系統(tǒng)，包括一個(gè)動(dòng)物外科基礎(chǔ)知識(shí)庫、一套Windows系統(tǒng)下的基于Kinect體感技術(shù)的控制程序及一套運(yùn)行于動(dòng)物外科手術(shù)室的Kinect輔助教學(xué)硬件系統(tǒng)。包含Kinect在內(nèi)的硬件系統(tǒng)負(fù)責(zé)承載程序的運(yùn)行及動(dòng)物外科基礎(chǔ)知識(shí)庫的存儲(chǔ);控制程序的作用是將Kinect收集的原始輸入(聲音、手勢、動(dòng)作等)轉(zhuǎn)化為操作系統(tǒng)可理解的命令，從而進(jìn)行相關(guān)操作;而動(dòng)物外科基礎(chǔ)知識(shí)庫則是一個(gè)綜合性的教學(xué)數(shù)據(jù)庫，包含了與動(dòng)物外科有關(guān)的一切內(nèi)容，即動(dòng)物外科基礎(chǔ)操作技術(shù)、相關(guān)的動(dòng)物解剖知識(shí)、所有教師的授課文檔及幻燈片等，而內(nèi)容的形式可以為文字、圖片、視頻、動(dòng)畫等多種形式。數(shù)據(jù)庫內(nèi)容以一定的方式進(jìn)行編碼或者索引。比如:每個(gè)內(nèi)容都建立基于音頻的檢索編碼，便于快速查找。

該系統(tǒng)的典型應(yīng)用場景可能如下:在進(jìn)行靜脈切開術(shù)實(shí)驗(yàn)操作教學(xué)時(shí)，某手術(shù)組的術(shù)者在為犬做前肢頭靜脈切開時(shí)，因手術(shù)失誤，雙前肢的頭靜脈皆不慎切斷，遂決定為后肢靜脈進(jìn)行切開。然而，術(shù)者并未掌握犬后肢的靜脈名稱及體表投影知識(shí)，于是，在第一助手為犬后肢重新消毒、鋪無菌單的同時(shí)，術(shù)者未脫手套及手術(shù)衣，面向手術(shù)室墻壁電視顯示器上方的Kinect說出“登錄系統(tǒng)”這一語音口令，登錄手術(shù)室電腦內(nèi)的Windows 7系統(tǒng)，以右手移動(dòng)控制電腦屏幕的掌形鼠標(biāo)，使掌形鼠標(biāo)移動(dòng)到動(dòng)物外科輔助教學(xué)系統(tǒng)圖標(biāo)上并停留3秒鐘，從而打開電腦中的動(dòng)物外科輔助教學(xué)系統(tǒng)，說出“犬的解剖”指令，動(dòng)物外科輔助教學(xué)系統(tǒng)立刻以圖片排列的方式顯示出犬的各部位解剖圖譜。由于部位較多，無法在一個(gè)屏幕內(nèi)瀏覽完畢，術(shù)者繼續(xù)以右手向左方水平滑動(dòng)的形式，模擬翻頁動(dòng)作，直至找到犬后肢靜脈解剖的相關(guān)內(nèi)容，屏幕提示犬的后肢解剖被語音編碼為“后肢靜脈解剖”，遂以語音指令“后肢靜脈解剖”將犬后肢可供靜脈切開的靜脈名稱及體表投影全屏顯示。圖譜提示犬后肢根部腹面有股靜脈可供靜脈切開置管，但是切開步驟及注意事項(xiàng)圖譜上并沒有提供。于是，以語音口令“home”退回動(dòng)物外科輔助教學(xué)系統(tǒng)首頁，以語音“靜脈切開術(shù)”查找到數(shù)據(jù)庫內(nèi)所有有關(guān)靜脈切開術(shù)的文本，以右手翻頁，最終選擇打開(鼠標(biāo)移動(dòng)到圖標(biāo)上并停留3秒鐘)“犬的后肢靜脈切開置管術(shù)”文本，快速瀏覽并了解犬的后肢靜脈切開置管術(shù)的步驟及注意事項(xiàng)。最后，手術(shù)組根據(jù)現(xiàn)場查閱到的資料完成犬的后肢靜脈切開置管術(shù)。

可以相信，這樣一套現(xiàn)場教學(xué)輔助教學(xué)系統(tǒng)將更加出色地發(fā)揮CAI技術(shù)在動(dòng)物外科教學(xué)中的優(yōu)勢，包括有利于學(xué)生隨時(shí)回顧和掌握基礎(chǔ)知識(shí)、豐富教學(xué)內(nèi)容、增加課堂信息量，有利于激發(fā)學(xué)生學(xué)習(xí)共趣，從而迅速提高動(dòng)物外科教學(xué)效果。這樣的輔助系統(tǒng)的開發(fā)，也有助于為其他課程或者特殊環(huán)境下的教學(xué)系統(tǒng)開發(fā)積累經(jīng)驗(yàn)。

［1］陶亞萍．多媒體在醫(yī)學(xué)中的應(yīng)用［J］．醫(yī)學(xué)信息，1998，11(9):41-42

［2］Berman NB，F(xiàn)all LH，Maloney CG，et al．Computer-as-sisted instruction in clinical education:a roadmap to incr-easing CAI implementation［J］．Adv Health Sci Educ Theory Pract，2008，13(3):373-83

［3］邵少慰，鄭恒．多媒體組合教學(xué)法在病理教學(xué)中的應(yīng)用［J］．中國醫(yī)學(xué)教育技術(shù)，2001，15(2):114-117

［4］鄭唯強(qiáng)，鄭建明，王建軍，等．教學(xué)媒體在病理教學(xué)中的設(shè)計(jì)及使用［J］．中國醫(yī)學(xué)教育技術(shù)，2000，14(1):44-45

［5］孫延鳴．動(dòng)物外科手術(shù)基本操作的實(shí)踐性教學(xué)改革［J］．石河子大學(xué)學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版，2009，23(6):123-123

［6］Chang Y J，Chen S F，Huang J D．A Kinect-based system for physical rehabilitation:A pilot study for young adults with motor disabilities［J］．Res Dev Disabil，2011，32(6):2566-2570

［7］李斌，吳國斌．Kinect領(lǐng)人機(jī)交互變革［J］．程序員，2011，(9):100-103