基于深度卷積神經(jīng)網(wǎng)絡(luò)手語(yǔ)翻譯系統(tǒng)的教學(xué)改革探索

李棟 李大華 高強(qiáng) 于曉

摘要：為提高我國(guó)聾人高等教育水平，提出了一種基于ALEXNET神經(jīng)網(wǎng)絡(luò)手語(yǔ)翻譯系統(tǒng)的教學(xué)模式。該教學(xué)模式根據(jù)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)一種手語(yǔ)自動(dòng)識(shí)別系統(tǒng)，通過(guò)跟蹤手部運(yùn)動(dòng)軌跡，將動(dòng)態(tài)手語(yǔ)信息轉(zhuǎn)化為特征信息，從而完成手語(yǔ)信息向語(yǔ)言文字信息的轉(zhuǎn)化，實(shí)現(xiàn)教師和學(xué)生之間的信息交流。該系統(tǒng)能夠幫助教師了解聾人學(xué)生課堂知識(shí)掌握情況，提升課堂教學(xué)效率，增強(qiáng)了聾人學(xué)生的課堂參與度，能夠促進(jìn)我國(guó)特殊教育的發(fā)展。

關(guān)鍵詞：聾人高等教育;人工神經(jīng)網(wǎng)絡(luò);手語(yǔ)識(shí)別;課堂交流

中圖分類(lèi)號(hào)：G642.0 ? 文獻(xiàn)標(biāo)志碼：A

特殊教育事業(yè)一直是我國(guó)教育事業(yè)發(fā)展需要攻克的難關(guān)，其中高等教育更是一個(gè)重點(diǎn)[1]。本文基于深度卷積神經(jīng)網(wǎng)絡(luò)提出一套針對(duì)聾人工高等教育改革方面的手語(yǔ)翻譯系統(tǒng)[2]，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于聽(tīng)障大學(xué)生手語(yǔ)語(yǔ)法分析[3-6]。

1 聽(tīng)障大學(xué)生在高等教育教學(xué)中存在的問(wèn)題

普通教師在教學(xué)過(guò)程中，教師會(huì)根據(jù)在傳授知識(shí)時(shí)學(xué)生的反應(yīng)與學(xué)生對(duì)課堂知識(shí)的吸收程度對(duì)課程進(jìn)行教學(xué)上的調(diào)整。30%左右的聾人與正常人的溝通存在著很大的障礙，這就導(dǎo)致聾人學(xué)生在課堂上的疑惑并不能及時(shí)的得到解決，問(wèn)題積累過(guò)多，會(huì)導(dǎo)致學(xué)生不愿意與教師進(jìn)行溝通，從而形成惡性循環(huán)。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的手語(yǔ)識(shí)別模型

目前，國(guó)內(nèi)許多研究人員針對(duì)手語(yǔ)翻譯問(wèn)題已經(jīng)提出了一些想法，天津理工大學(xué)的袁甜甜等人提出一種基于深度學(xué)習(xí)（Deep Learning）[7]的中國(guó)手語(yǔ)翻譯系統(tǒng)，該系統(tǒng)利用CNN提取視頻特征進(jìn)行預(yù)訓(xùn)練，利用兩層LSTM用于脫機(jī)機(jī)器翻譯。并且與天津理工大學(xué)聾人工學(xué)院一線教師及教育學(xué)專(zhuān)業(yè)研究生共同設(shè)計(jì)語(yǔ)料庫(kù)文本，共形成了一萬(wàn)句中文文字在10個(gè)至30個(gè)之間的句子范疇，最終能夠取得較好的識(shí)別效果。西安建筑科技大學(xué)的王民[8]等人將圖像語(yǔ)義分析的思維引入手語(yǔ)識(shí)別研究中，提出一種優(yōu)化全卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)手語(yǔ)進(jìn)行識(shí)別，平均識(shí)別率達(dá)到了94.41%。

本文提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的手語(yǔ)翻譯系統(tǒng)的網(wǎng)絡(luò)模型，該模型選取ALEXNET深度模型作為基礎(chǔ)網(wǎng)絡(luò)框架，用于獲取手勢(shì)運(yùn)動(dòng)軌跡的高層屬性特征，進(jìn)而實(shí)現(xiàn)對(duì)手語(yǔ)的識(shí)別。該方法由兩部分組成，分別是手勢(shì)運(yùn)動(dòng)信息的預(yù)處理和ALEXNET的訓(xùn)練及手勢(shì)含義的識(shí)別。

3 基于深度神經(jīng)網(wǎng)絡(luò)的手語(yǔ)翻譯系統(tǒng)實(shí)現(xiàn)方案

手語(yǔ)識(shí)別系統(tǒng)將學(xué)生表達(dá)的手語(yǔ)信息轉(zhuǎn)化為文字信息傳遞給授課教師，實(shí)現(xiàn)課堂互動(dòng)及信息交換。當(dāng)教師需了解學(xué)生對(duì)于所授知識(shí)的理解程度時(shí)，啟用手語(yǔ)檢測(cè)功能，學(xué)生利用手語(yǔ)表達(dá)理解程度，采集設(shè)備實(shí)時(shí)記錄學(xué)生動(dòng)作，并跟蹤學(xué)生手部運(yùn)動(dòng)軌跡。其后啟用手語(yǔ)分析功能，系統(tǒng)將采集的軌跡圖像輸入經(jīng)過(guò)訓(xùn)練的ALEXNET卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)會(huì)輸出不同軌跡動(dòng)作相對(duì)應(yīng)的含義。手語(yǔ)識(shí)別系統(tǒng)運(yùn)作方式可分為以下步驟：學(xué)生檢測(cè)、手語(yǔ)記錄、信息分析、選擇兩類(lèi)學(xué)生動(dòng)作，即“聽(tīng)懂”和“聽(tīng)不懂”、 狀態(tài)重置。

利用現(xiàn)代人工智能技術(shù)對(duì)手語(yǔ)進(jìn)行自動(dòng)識(shí)別和分析，應(yīng)用到高校的課堂教學(xué)中教師和學(xué)生之間手語(yǔ)動(dòng)作的翻譯和信息傳輸交流，實(shí)現(xiàn)手語(yǔ)動(dòng)作和語(yǔ)言之間的無(wú)障礙融合，不僅提高聽(tīng)障學(xué)生在課堂中獲取知識(shí)的效率，同時(shí)幫助聽(tīng)障學(xué)生進(jìn)行課堂知識(shí)討論并加深理解。

4 總結(jié)

利用手語(yǔ)識(shí)別系統(tǒng)，能夠?qū)崿F(xiàn)課堂中學(xué)生手語(yǔ)動(dòng)作的軌跡跟蹤，并分析手語(yǔ)動(dòng)作所代表的語(yǔ)言含義，傳輸給授課教師，實(shí)現(xiàn)了課堂中教師和學(xué)生之間的信息交流，通過(guò)人工卷積神經(jīng)網(wǎng)絡(luò)的信息分析，將手語(yǔ)動(dòng)作信息轉(zhuǎn)換為語(yǔ)言文字信息提供給教師，實(shí)現(xiàn)了良好的識(shí)別效果，為教師和學(xué)生之間的互動(dòng)提供很好的幫助，分析結(jié)果準(zhǔn)確有效。

參考文獻(xiàn)：

[1]寧遠(yuǎn).國(guó)務(wù)院印發(fā)《關(guān)于加快推進(jìn)殘疾人小康進(jìn)程的意見(jiàn)》[J].現(xiàn)代特殊教育，2015（05）：42.

[2]張茂聰. 中國(guó)殘疾人教育事業(yè)發(fā)展70年[N]. 中國(guó)社會(huì)科學(xué)報(bào)，2019-11-07（004）.

[3]劉春穎.以新媒體拓展高校聽(tīng)障學(xué)生思想政治教育渠道[J].文化創(chuàng)新比較研究，2018，2（03）：195-196.

[4]黃鶯.信息技術(shù)應(yīng)用于聽(tīng)障生語(yǔ)文教學(xué)的實(shí)踐[J].文學(xué)教育（上），2019（05）：90-91.

[5]Anwar Alsalamah. Using Captioning Services With Deaf and Hard of Hearing Students in Higher Education： A Systematic Review. 2020， 165（1）：114-127.

[6]吳玉超，林嵐，王婧璇，吳水才.基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割在醫(yī)學(xué)圖像中的應(yīng)用[J].生物醫(yī)學(xué)工程學(xué)雜志，2020，37（03）：533-540.

[7]閆凱. 基于深度學(xué)習(xí)的3DMRI腦腫瘤分割算法研究[D].中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院），2020.

[8]王民，郝靜，要趁紅，史其琦.基于優(yōu)化全卷積神經(jīng)網(wǎng)絡(luò)的手語(yǔ)語(yǔ)義識(shí)別[J].激光與光電子學(xué)進(jìn)展，2018，55（11）：214-220.