手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目研究與實(shí)踐

馬學(xué)條，陳 龍，程知群，牛小燕，楊 柳，鄭雪峰

手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目研究與實(shí)踐

馬學(xué)條，陳 龍，程知群，牛小燕，楊 柳，鄭雪峰

（杭州電子科技大學(xué) 電子信息技術(shù)國(guó)家級(jí)虛擬仿真實(shí)驗(yàn)教學(xué)中心，浙江 杭州 310018）

將手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目引入到數(shù)字電路實(shí)驗(yàn)教學(xué)中，設(shè)計(jì)了基礎(chǔ)實(shí)驗(yàn)、能力提高和延伸拓展3層次、遞進(jìn)式實(shí)驗(yàn)任務(wù)。虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目面向電子信息類(lèi)學(xué)生開(kāi)放，在培養(yǎng)學(xué)生設(shè)計(jì)復(fù)雜數(shù)字系統(tǒng)能力方面取得了一定成效。

圖像處理；手勢(shì)識(shí)別；虛實(shí)結(jié)合；教學(xué)改革

在國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略大背景下，如何培養(yǎng)本科生的工程實(shí)踐和創(chuàng)新能力已成為近年來(lái)工科高校教學(xué)改革的主旋律。然而，國(guó)內(nèi)多數(shù)高校數(shù)字電路實(shí)驗(yàn)教學(xué)仍停留在幾十年一貫制的基于74系列器件進(jìn)行驗(yàn)證性實(shí)驗(yàn)設(shè)計(jì)的傳統(tǒng)教學(xué)階段，使學(xué)生以較低的起點(diǎn)和過(guò)窄的視野去面對(duì)大量與之緊密聯(lián)系的后續(xù)課程學(xué)習(xí)，不利于學(xué)生工程創(chuàng)新能力的培養(yǎng)[1]。傳統(tǒng)數(shù)字電路實(shí)驗(yàn)教學(xué)的下列不足越來(lái)越凸顯：

（1）實(shí)驗(yàn)教學(xué)以驗(yàn)證理論知識(shí)為主，采用中小規(guī)模集成門(mén)電路進(jìn)行邏輯設(shè)計(jì)，實(shí)驗(yàn)項(xiàng)目對(duì)知識(shí)的深度與廣度要求缺少層次，缺乏分析研究的空間；

（2）教學(xué)內(nèi)容涉及的實(shí)驗(yàn)項(xiàng)目彼此孤立，大都圍繞課本知識(shí)點(diǎn)而設(shè)置，缺少學(xué)科間的交叉融合，脫離工程實(shí)際，使學(xué)生在遇到實(shí)際工程問(wèn)題時(shí)感到不知 所措；

（3）現(xiàn)有實(shí)驗(yàn)教學(xué)與實(shí)驗(yàn)管理滯后于信息技術(shù)發(fā)展，實(shí)驗(yàn)教學(xué)模式單一，忽視學(xué)生能力的培養(yǎng)和達(dá)成，難以適應(yīng)現(xiàn)代社會(huì)發(fā)展的需要。

基于上述情況，我校數(shù)字電路課程組教師將虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目“手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)”引入到數(shù)字電路實(shí)驗(yàn)教學(xué)中。團(tuán)隊(duì)教師以實(shí)驗(yàn)項(xiàng)目為載體，以解決復(fù)雜工程問(wèn)題為軸心，落實(shí)產(chǎn)出導(dǎo)向（outcomes-based education，OBE）教學(xué)理念，將工程創(chuàng)新能力培養(yǎng)貫穿實(shí)驗(yàn)的各個(gè)環(huán)節(jié)，著力培養(yǎng)學(xué)生“大工程”觀念，提高學(xué)生綜合解決復(fù)雜工程問(wèn)題的能力[2]。

1 項(xiàng)目建設(shè)思路

將虛擬仿真技術(shù)應(yīng)用于數(shù)字電路實(shí)驗(yàn)教學(xué)，建設(shè)虛擬仿真軟件資源和虛實(shí)結(jié)合的實(shí)驗(yàn)項(xiàng)目，將仿真實(shí)驗(yàn)融于實(shí)驗(yàn)教學(xué)，以解決實(shí)驗(yàn)實(shí)施中面臨的條件、時(shí)間、成本等方面難題。虛實(shí)結(jié)合的實(shí)驗(yàn)教學(xué)對(duì)于探索教學(xué)新模式、培養(yǎng)與現(xiàn)代社會(huì)發(fā)展相適應(yīng)的工程創(chuàng)新型人才具有重要意義[3]。“手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)”虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目的建設(shè)主要圍繞以下3方面展開(kāi)。

1.1 突破傳統(tǒng)數(shù)字電路實(shí)驗(yàn)教學(xué)中的時(shí)空局限

鑒于數(shù)字電路實(shí)驗(yàn)受到器材、課時(shí)數(shù)和場(chǎng)地等制約，依托我校國(guó)家級(jí)虛擬仿真實(shí)驗(yàn)中心，基于FPGA設(shè)計(jì)開(kāi)發(fā)“手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)”虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目，學(xué)生可通過(guò)網(wǎng)絡(luò)在線完成手勢(shì)圖像噪聲濾除的仿真設(shè)計(jì)，使實(shí)驗(yàn)教學(xué)突破了時(shí)空限制，實(shí)現(xiàn)了“處處能學(xué)、時(shí)時(shí)可學(xué)”的泛在化學(xué)習(xí)[4]。

1.2 基于工程背景設(shè)計(jì)多學(xué)科交叉融合教學(xué)項(xiàng)目

基于項(xiàng)目背景工程性和實(shí)驗(yàn)過(guò)程探索性，設(shè)計(jì)開(kāi)發(fā)多學(xué)科交叉融合的“手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)”實(shí)驗(yàn)。實(shí)驗(yàn)教學(xué)項(xiàng)目將數(shù)字電路、模擬電路、高等數(shù)學(xué)、人工智能、信號(hào)處理等課程內(nèi)容進(jìn)行了實(shí)質(zhì)性的交叉和融合。隨著實(shí)驗(yàn)進(jìn)程推進(jìn)，學(xué)生不僅要理解各課程的核心知識(shí)，還要掌握解決實(shí)際工程問(wèn)題所需的實(shí)驗(yàn)技能，拓展學(xué)科視野，培養(yǎng)工程實(shí)踐能力、創(chuàng)新能力和團(tuán)隊(duì)合作能力，提升專(zhuān)業(yè)素養(yǎng)和創(chuàng)新素養(yǎng)。

1.3 根據(jù)教學(xué)進(jìn)程設(shè)置3層次遞進(jìn)式實(shí)驗(yàn)任務(wù)

根據(jù)實(shí)驗(yàn)教學(xué)進(jìn)程及由淺入深、由點(diǎn)到面的認(rèn)知規(guī)律，將實(shí)驗(yàn)教學(xué)項(xiàng)目設(shè)置為基礎(chǔ)實(shí)驗(yàn)、能力提高、延伸拓展3層次遞進(jìn)式實(shí)驗(yàn)任務(wù)。基礎(chǔ)實(shí)驗(yàn)任務(wù)為基于FPGA進(jìn)行手勢(shì)信號(hào)采集的仿真設(shè)計(jì)，注重基本實(shí)驗(yàn)知識(shí)及技能的運(yùn)用；能力提高任務(wù)為根據(jù)仿真數(shù)據(jù)選取合適的圖像噪聲濾除方式，讓學(xué)生掌握二值形態(tài)學(xué)和連通域分割的圖像處理方案；延伸拓展任務(wù)為結(jié)合實(shí)物平臺(tái)進(jìn)行車(chē)載人機(jī)交互系統(tǒng)的硬件測(cè)試與方案優(yōu)化，降低系統(tǒng)對(duì)硬件指標(biāo)的要求，培養(yǎng)學(xué)生成本控制意識(shí)[5]。

2 項(xiàng)目?jī)?nèi)容設(shè)計(jì)

本虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目包括手勢(shì)圖像噪聲濾除的仿真設(shè)計(jì)和人機(jī)交互系統(tǒng)硬件平臺(tái)性能優(yōu)化2部分。學(xué)生根據(jù)仿真數(shù)據(jù)進(jìn)行多因素敏感性分析，選取較佳的二值形態(tài)學(xué)和連通域分割方案；通過(guò)實(shí)驗(yàn)室搭建的硬件平臺(tái)進(jìn)行實(shí)際實(shí)驗(yàn)測(cè)試與研究，提高手勢(shì)識(shí)別的準(zhǔn)確度和靈敏度；實(shí)現(xiàn)仿真數(shù)據(jù)指導(dǎo)實(shí)際實(shí)驗(yàn)、實(shí)際實(shí)驗(yàn)驗(yàn)證仿真數(shù)據(jù)的閉環(huán)設(shè)計(jì)流程[6]。

2.1 實(shí)驗(yàn)原理

如圖1所示，手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)包括攝像頭采集模塊、異步FIFO模塊、SDRAM模塊、形態(tài)學(xué)運(yùn)算模塊、連通域分割模塊、手勢(shì)庫(kù)建立及匹配模塊等。

通過(guò)IIC配置攝像頭，使其將采集到的8位特定分辨率信號(hào)轉(zhuǎn)化為RGB565格式的16位信號(hào)；將每16位的像素通過(guò)FIFO緩存，然后存入SDRAM；再將每個(gè)像素從RGB565轉(zhuǎn)成RGB888格式；預(yù)處理后的手勢(shì)圖像經(jīng)中值濾波、形態(tài)學(xué)運(yùn)算、連通域分割等提取有效的手勢(shì)命令，經(jīng)手勢(shì)庫(kù)匹配運(yùn)算轉(zhuǎn)換為系統(tǒng)控制指令，實(shí)現(xiàn)手勢(shì)圖像對(duì)人機(jī)交互系統(tǒng)的控制[7]。

手勢(shì)圖像噪聲濾除中涉及膨脹、腐蝕、開(kāi)、閉等運(yùn)算，其數(shù)學(xué)模型及FPGA設(shè)計(jì)實(shí)現(xiàn)如下，其中A為輸入的手勢(shì)圖像，B為結(jié)構(gòu)元素。

（1）膨脹運(yùn)算數(shù)學(xué)模型為：

（2）腐蝕運(yùn)算數(shù)學(xué)模型為：

（5）3×3結(jié)構(gòu)元素FPGA設(shè)計(jì)為：

reg [0:0]window11; reg [0:0]window12; reg [0:0] window13;

reg [0:0]window21; reg [0:0]window22; reg [0:0] window23;

reg [0:0]window31; reg [0:0]window32; reg [0:0] window33;

（6）膨脹運(yùn)算FPGA設(shè)計(jì)為：

corrosion1<=window11 | window12 | window13;

corrosion2<=window21 | window22 | window23;

corrosion3<=window31 | window32 | window33;

（7）腐蝕運(yùn)算FPGA設(shè)計(jì)為：

corrosion1<=window11 & window12 | window13;

corrosion2<=window21 &window22 | window23;

corrosion3<=window31 & window32 | window33;

閉運(yùn)算為先執(zhí)行膨脹運(yùn)算再執(zhí)行腐蝕運(yùn)算；開(kāi)運(yùn)算為先執(zhí)行腐蝕運(yùn)算再執(zhí)行膨脹運(yùn)算；腐蝕運(yùn)算和膨脹運(yùn)算不能同時(shí)執(zhí)行。

2.2 實(shí)驗(yàn)任務(wù)

手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)3層次遞進(jìn)式實(shí)驗(yàn)任務(wù)，如圖2所示。

圖2 手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)實(shí)驗(yàn)任務(wù)

基礎(chǔ)實(shí)驗(yàn)任務(wù)。完成圖像采集模塊、存儲(chǔ)模塊、VGA顯示模塊等設(shè)計(jì)。使用OV5640攝像頭進(jìn)行手勢(shì)圖像采集，在完成攝像頭的上電時(shí)序后，F(xiàn)PGA通過(guò)IIC配置寄存器，完成RGB565格式和1024×768像素分辨率的配置。存儲(chǔ)模塊需要2個(gè)FIFO（記為FIFO1和FIFO2）以及SDRAM模塊；FIFO1負(fù)責(zé)緩沖來(lái)自攝像頭采集的像素，然后交給SDRAM緩存；FIFO2負(fù)責(zé)接收來(lái)自SDRAM的像素信號(hào)，然后輸出到VGA顯示； SDRAM模塊需要完成初始化、刷新、寫(xiě)操作、讀操作等設(shè)計(jì)。VGA顯示模塊中分辨率為1024×768像素，在顯示過(guò)程中，需要對(duì)幀同步信號(hào)、行同步信號(hào)以及相關(guān)時(shí)序參數(shù)進(jìn)行描述。

能力提高任務(wù)。完成結(jié)構(gòu)元素、形態(tài)學(xué)運(yùn)算、連通域分割等設(shè)計(jì)。結(jié)構(gòu)元素采用×矩陣因子對(duì)手勢(shì)圖像執(zhí)行單次腐蝕運(yùn)算，分析不同類(lèi)型矩陣因子達(dá)到的噪聲濾除效果和占有的邏輯資源，針對(duì)手勢(shì)圖像設(shè)計(jì)合適類(lèi)型的結(jié)構(gòu)元素。形態(tài)學(xué)運(yùn)算設(shè)計(jì)中，采用腐蝕、膨脹、開(kāi)、閉等運(yùn)算對(duì)手勢(shì)圖像執(zhí)行單次或多次組合運(yùn)算，歸納和分析各形態(tài)學(xué)運(yùn)算的特點(diǎn)及適用條件，尋找為達(dá)到更好的噪聲濾除效果所需的形態(tài)學(xué)運(yùn)算方案。連通域分割模塊設(shè)計(jì)中，采用2×3行緩存方式對(duì)手勢(shì)圖像進(jìn)行逐點(diǎn)掃描，根據(jù)手的面積和手勢(shì)包圍盒邊長(zhǎng)的大小進(jìn)行手勢(shì)圖像判斷，標(biāo)記并分割出有效的手勢(shì)圖像[8]。

延伸拓展任務(wù)。根據(jù)仿真數(shù)據(jù)及噪聲濾波效果，進(jìn)行多因素敏感性分析，總結(jié)手勢(shì)圖像噪聲去除效果的變化規(guī)律，尋找較佳的圖像處理方案。根據(jù)手勢(shì)圖像的特征值建立手勢(shì)指令控制庫(kù)，并結(jié)合車(chē)載人機(jī)交互系統(tǒng)硬件平臺(tái)，進(jìn)行手勢(shì)識(shí)別準(zhǔn)確度和靈敏度測(cè)試，實(shí)現(xiàn)人機(jī)交互系統(tǒng)的性能優(yōu)化。

2.3 實(shí)驗(yàn)結(jié)果

數(shù)字電路課程組教師采用“實(shí)驗(yàn)?zāi)秸n”和“翻轉(zhuǎn)實(shí)驗(yàn)室”的方法，把課內(nèi)實(shí)驗(yàn)變革為自主開(kāi)放模式，讓學(xué)生自行思考和分析項(xiàng)目的實(shí)施進(jìn)程。學(xué)生按實(shí)驗(yàn)任務(wù)完成仿真設(shè)計(jì)和硬件測(cè)試，記錄手勢(shì)圖像噪聲濾除過(guò)程中涉及的仿真數(shù)據(jù)和圖形，并結(jié)合硬件測(cè)試效果探究各參數(shù)間的影響規(guī)律[9]。

系統(tǒng)采用OV5640攝像頭進(jìn)行手勢(shì)圖像采集，圖像經(jīng)不同的處理方案得到不同的噪聲濾除效果，其仿真結(jié)果如圖3所示。學(xué)生在進(jìn)行結(jié)構(gòu)元素設(shè)計(jì)、形態(tài)學(xué)運(yùn)算、連通域分割時(shí)，需從消耗的邏輯資源、占用的存儲(chǔ)空間、噪聲濾除效果等多方面進(jìn)行綜合考慮，給出較佳的圖像處理方案[10]。

(a) 攝像頭采集的原始手勢(shì)圖像(b) 3×3結(jié)構(gòu)元素單次腐蝕運(yùn)算 (c) 7×7結(jié)構(gòu)元素單次腐蝕運(yùn)算(d) 7×7結(jié)構(gòu)元素先腐蝕再閉運(yùn)算

選用Altera公司的Cyclone V開(kāi)發(fā)板為核心控制單元進(jìn)行硬件平臺(tái)搭建，包括攝像頭模塊、雨刮器模塊、音響模塊、顯示模塊、LED燈模塊等。學(xué)生可使用石頭、剪刀、布、大拇指等特定的手勢(shì)及手勢(shì)組合完成車(chē)載人機(jī)交互系統(tǒng)的遠(yuǎn)程控制，如表1所示。

表1 手勢(shì)動(dòng)作與對(duì)應(yīng)的控制功能

完成手勢(shì)圖像噪聲濾除仿真設(shè)計(jì)后，在Quartus Ⅱ仿真軟件中對(duì)頂層電路的輸入、輸出信號(hào)進(jìn)行引腳鎖定，編譯生成.sof文件，下載到硬件平臺(tái)進(jìn)行控制功能驗(yàn)證。

3 項(xiàng)目實(shí)施情況

“手勢(shì)識(shí)別車(chē)載人機(jī)交互系統(tǒng)”虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目是面向電子、通信、自動(dòng)化等專(zhuān)業(yè)學(xué)生。不同于傳統(tǒng)的實(shí)驗(yàn)教學(xué)項(xiàng)目，該項(xiàng)目以多學(xué)科交叉融合的工程項(xiàng)目為背景，通過(guò)3層次遞進(jìn)式實(shí)驗(yàn)任務(wù)激發(fā)學(xué)生創(chuàng)新意識(shí)，可以提高學(xué)生設(shè)計(jì)復(fù)雜數(shù)字系統(tǒng)的能力[11]。表2為虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)和傳統(tǒng)數(shù)字電路實(shí)驗(yàn)教學(xué)在實(shí)驗(yàn)?zāi)Ｊ?、?shí)現(xiàn)方式、設(shè)計(jì)能力等方面的對(duì)比情況。

表2 虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)與傳統(tǒng)實(shí)驗(yàn)教學(xué)對(duì)比情況

學(xué)生通過(guò)虛擬仿真設(shè)計(jì)、多因素敏感性分析、設(shè)計(jì)方案優(yōu)化、硬件平臺(tái)測(cè)試等實(shí)踐環(huán)節(jié)，提高工程實(shí)踐能力和參與學(xué)科競(jìng)賽的積極性[12]。經(jīng)數(shù)字電路實(shí)驗(yàn)課程培養(yǎng)的學(xué)生，近3年獲各類(lèi)學(xué)科競(jìng)賽國(guó)家級(jí)、省級(jí)獎(jiǎng)勵(lì)47人次，發(fā)表論文18篇，授權(quán)專(zhuān)利17項(xiàng)，主持國(guó)家級(jí)、省級(jí)創(chuàng)新創(chuàng)業(yè)計(jì)劃23項(xiàng)。

4 結(jié)語(yǔ)

基于虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)，課程組教師對(duì)我校數(shù)字電路實(shí)驗(yàn)進(jìn)行了系列改革研究。在保證教學(xué)成效和不減少必備的基礎(chǔ)知識(shí)教學(xué)前提下，將傳統(tǒng)數(shù)字技術(shù)與現(xiàn)代數(shù)字技術(shù)進(jìn)行了有機(jī)融合，在實(shí)驗(yàn)課程中引入基于FPGA設(shè)計(jì)的虛實(shí)結(jié)合實(shí)驗(yàn)教學(xué)項(xiàng)目[13]。該教學(xué)改革模式已在我校實(shí)踐多年，具有如下特點(diǎn)：

（1）將虛擬仿真技術(shù)深度應(yīng)用于實(shí)驗(yàn)教學(xué)，學(xué)生通過(guò)云端服務(wù)器遠(yuǎn)程調(diào)用仿真軟件，完成車(chē)載人機(jī)交互系統(tǒng)仿真設(shè)計(jì)，打破了時(shí)空限制，豐富了教學(xué)手段；

（2）實(shí)驗(yàn)教學(xué)項(xiàng)目基于工程背景，融合多學(xué)科知識(shí)點(diǎn)，教學(xué)模式由單一的實(shí)驗(yàn)技能訓(xùn)練向創(chuàng)新能力素養(yǎng)培養(yǎng)轉(zhuǎn)變；

（3）采用基礎(chǔ)實(shí)驗(yàn)→能力提高→延伸拓展3層次遞進(jìn)式的實(shí)驗(yàn)教學(xué)任務(wù)，因材施教，逐步提高學(xué)生分析、解決實(shí)際工程問(wèn)題的能力。

[1] 潘松，陳龍，黃繼業(yè).數(shù)字電子技術(shù)基礎(chǔ)[M].北京：科學(xué)出版社，2014.

[2] 陳龍，牛小燕，馬學(xué)條.現(xiàn)代數(shù)字電子技術(shù)基礎(chǔ)實(shí)踐[M].北京：機(jī)械工業(yè)出版社，2017.

[3] 祖強(qiáng)，魏永軍，熊宏齊.省級(jí)在線開(kāi)放虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目建設(shè)探討[J].實(shí)驗(yàn)技術(shù)與管理，2017, 34(1): 153–157.

[4] 馬學(xué)條，程知群，鄭雪峰，等.電子信息技術(shù)虛擬仿真實(shí)驗(yàn)教學(xué)平臺(tái)的建設(shè)與實(shí)踐[J].實(shí)驗(yàn)技術(shù)與管理，2018, 35(11): 130–133.

[5] 劉峰，石永軍. OBE理念下機(jī)械創(chuàng)新設(shè)計(jì)實(shí)踐課程教學(xué)研究與實(shí)踐[J].實(shí)驗(yàn)室研究與探索，2018, 37(10): 196–200.

[6] 牛彥杰，于愛(ài)榮，張東戈，等.面向創(chuàng)新思維的探究式教學(xué)方法探索與實(shí)踐[J].大學(xué)教育，2015(11): 41–43.

[7] 馬學(xué)條，程知群，陳龍.數(shù)字電路虛擬仿真實(shí)驗(yàn)教學(xué)改革研究[J].實(shí)驗(yàn)技術(shù)與管理，2018, 35(10): 121–124.

[8] 賈永霞.創(chuàng)新性實(shí)驗(yàn)教學(xué)的探究與實(shí)踐[J].實(shí)驗(yàn)室研究與探索，2018, 37(12): 206–208.

[9] 馬學(xué)條，陳龍.基于虛擬仿真技術(shù)的數(shù)字電路實(shí)驗(yàn)教學(xué)探索[J].實(shí)驗(yàn)技術(shù)與管理，2016, 33(10): 127–129.

[10] 王心剛，賀利，張冬至，等.電工電子學(xué)課程研究性實(shí)驗(yàn)教學(xué)模式改革與實(shí)踐[J].實(shí)驗(yàn)室研究與探索，2017, 36(4): 188–191.

[11] 張建良，盧慧芬，趙建勇，等.跨學(xué)科綜合性實(shí)驗(yàn)平臺(tái)的探索與設(shè)計(jì)[J].實(shí)驗(yàn)技術(shù)與管理，2017, 34(1): 194 –197, 216.

[12] 馬學(xué)條.數(shù)字電路實(shí)驗(yàn)課程小班化虛擬仿真教學(xué)的探索[J].杭州電子科技大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2016, 12(6): 64–67, 71.

[13] 陳龍，郄小美，馬學(xué)條.數(shù)字電子技術(shù)綜合性虛擬仿真實(shí)驗(yàn)教學(xué)改革研究[J].實(shí)驗(yàn)室研究與探索，2017, 36(5): 110–113.

Research and practice on experiment teaching project of combining virtuality and reality in gesture recognition vehicle human-computer interaction system

MA Xuetiao, CHEN Long, CHENG Zhiqun, NIU Xiaoyan, YANG Liu, ZHENG Xuefeng

(National Virtual Simulation Experimental Teaching Center of Electronic Information Technology, Hangzhou Dianzi University, Hangzhou 310018, China)

With the introduction of the experiment teaching project of combination of virtual and real of gesture recognition vehicle human-computer interaction system into digital circuit experiment teaching, the three-level and progressive experiments tasks for the basic experiment, ability improvement and extension are designed. The experimental teaching project of combining virtuality with reality is open to students of electronic information, which has achieved some results in training students’ ability to design complex digital systems.

gesture recognition; image processing; combination of virtuality and reality; teaching reform

G642.423

B

1002-4956(2019)10-0183-04

2019-02-15

浙江省高等教育“十三五”第一批教學(xué)改革研究項(xiàng)目（jg20180101）；杭州電子科技大學(xué)實(shí)踐類(lèi)教學(xué)改革項(xiàng)目（sjkg201805）

馬學(xué)條（1984—），男，浙江溫州，碩士，實(shí)驗(yàn)師，研究方向?yàn)閿?shù)字電子技術(shù)教學(xué)與研究、嵌入式系統(tǒng)設(shè)計(jì)與應(yīng)用。E-mail: mxt@hdu.edu.cn