構(gòu)建潛意識(shí)互動(dòng)的會(huì)計(jì)在線交流評(píng)估方法研究

陳東升

（湖南信息職業(yè)技術(shù)學(xué)院，湖南 長(zhǎng)沙 410200）

0 引言

在信息技術(shù)高速發(fā)展的背景下，課堂教學(xué)模式發(fā)生了巨大的變化，虛擬教室、線上課堂慕課等教學(xué)模式層出不窮。依托于電子信息終端豐富的信息獲取渠道，通過(guò)手機(jī)、電腦的攝像功能，提取圖像中學(xué)生的面部表情，并對(duì)表情進(jìn)行概括處理，通過(guò)眉間距、眼球轉(zhuǎn)動(dòng)、嘴角形狀等面部微表情，映射為疑惑、茫然、欣喜、激動(dòng)等情緒活動(dòng)，結(jié)合課程進(jìn)展的時(shí)間維度，總結(jié)為對(duì)當(dāng)時(shí)教授知識(shí)點(diǎn)的接受程度，對(duì)教學(xué)質(zhì)量進(jìn)行評(píng)價(jià)。基于該設(shè)計(jì)思想，在會(huì)計(jì)專業(yè)的在線教學(xué)中使用測(cè)試，以便發(fā)現(xiàn)會(huì)計(jì)專業(yè)深?yuàn)W難懂的課程知識(shí)點(diǎn)是否為學(xué)生所掌握。

基于微表情識(shí)別的技術(shù)路線，需要獲取到清晰、大小合適的學(xué)生面部圖像，并且能夠準(zhǔn)確提取到關(guān)鍵位置的變化情況，映射為典型的心理活動(dòng)表征，再對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)與分析，概括出多數(shù)學(xué)生的學(xué)習(xí)感受，評(píng)估教學(xué)質(zhì)量。以上四個(gè)關(guān)鍵點(diǎn)為微表情識(shí)別的關(guān)鍵技術(shù)，也是該文重點(diǎn)涉及的內(nèi)容。

1 卷積網(wǎng)絡(luò)神經(jīng)的特征處理

在卷積層中，通過(guò)對(duì)特征曲線的卷積運(yùn)算，將所得的結(jié)果輸入一個(gè)激活函數(shù)中，最后生成一個(gè)新的特征圖，該特征圖由多個(gè)特征圖疊加而成。在公式（1）中表示了卷積層的計(jì)算。

式中：為輸入的維度，為輸出的維度，為突觸的初始化值。

式（3）所示神經(jīng)元網(wǎng)絡(luò)中的權(quán)值由時(shí)刻到+1時(shí)刻的更新過(guò)程。

式中：是學(xué)習(xí)速率，（）為神經(jīng)元的輸入，（）為其誤差項(xiàng)。

為提高模型的平移不變性，提高模型的推廣能力，該文引入了神經(jīng)視覺(jué)感知域（Lecun）等概念。局部感覺(jué)區(qū)允許神經(jīng)元從視覺(jué)中提取出最基礎(chǔ)的視覺(jué)特性，如眼、眉、唇、棱角、邊緣等。如果該特征與其他特征點(diǎn)有關(guān)，則該特征的絕對(duì)位置信息會(huì)被稀釋，因?yàn)樵诓煌娜四槇D像中，它的絕對(duì)位置信息會(huì)被稀釋。就拿震驚的表情來(lái)說(shuō)，因?yàn)閭€(gè)人的不同，眉毛的準(zhǔn)確位置也會(huì)有很大的差別，但是眉毛和眼睛的距離卻能讓人分辨出一張臉有沒(méi)有驚訝情緒的傾向。在映射情況下，由于不同的特征會(huì)產(chǎn)生不同的編碼位置，降低了定位準(zhǔn)確度的同時(shí)還減少了在線教學(xué)中的面部識(shí)別控制分辨率。

2 基于低分辨率圖像的微表情識(shí)別

移動(dòng)通信端的圖像攝錄設(shè)備解析度偏低，為適應(yīng)信號(hào)傳輸還進(jìn)行了圖像壓縮，損失了部分圖像細(xì)節(jié)，為提取圖像中的微表情制造了困難。需要針對(duì)低分辨率圖像，建立圖像還原模型，盡可能多地提取圖像中眉眼嘴鼻的器官的變化，表征為具有特定含義的微表情語(yǔ)言。具體實(shí)施路徑：將低分辨率圖像分為小尺寸（Small Size）、低質(zhì)量（Poor Quality）和小尺寸&低質(zhì)量（Small Size& Poor Quality），針對(duì)不同的圖像特征采取相應(yīng)的處理措施，完成圖像重建。

在圖像重建任務(wù)中，基于高分辨率圖像的微表情識(shí)別，建立特征庫(kù)，再將高分辨率圖像采用抽值取樣等處理手段降為低分辨率圖像，由此建立低分辨率圖像特征與微表情的對(duì)應(yīng)關(guān)系映射，實(shí)現(xiàn)低分辨率圖像下的微表情識(shí)別。

高分辨率圖像降為低分辨率圖像一般的手段有模糊化、下采樣和噪聲處理，其數(shù)學(xué)模型如公式（4）所示。

式中：為下采樣，對(duì)應(yīng)通信傳輸中的圖像壓縮處理；為模糊化，對(duì)應(yīng)圖像處理中的濾波；為高清原圖；為加性噪聲，對(duì)應(yīng)通信傳輸中的隨機(jī)噪聲。經(jīng)過(guò)綜合處理后，得到低分辨率圖像。

基于低分辨率的微表情識(shí)別功能主要對(duì)MATLAB的GUI功能，對(duì)圖形用戶界面開(kāi)發(fā)環(huán)境下的圖像進(jìn)行處理。使用GUI功能中g(shù)uide方法，進(jìn)行圖像分析與處理。在MATLAB的命令框中輸入guide命令，在自動(dòng)生成的.fig資源文件和.m界面初始化的相關(guān)代碼兩個(gè)文件中，調(diào)用控件，調(diào)整顯示區(qū)域、調(diào)整界面布局。

圖1為基于低分辨率的微表情識(shí)別功能結(jié)構(gòu)圖。首先對(duì)上傳視頻與已知的微表情特征數(shù)據(jù)集輸出共同作用于低分辨率環(huán)境下的微表情識(shí)別，提取上傳視頻中與微表情特征數(shù)據(jù)集的關(guān)聯(lián)數(shù)據(jù)，定義為該表情結(jié)果，在通過(guò)參數(shù)設(shè)置的微調(diào)功能，實(shí)現(xiàn)結(jié)果修正，輸出最終微表情結(jié)果。

圖1 基于低分辨率的微表情識(shí)別功能結(jié)構(gòu)圖

3 基于微表情的學(xué)習(xí)專注度映射

人們?cè)谕饨绛h(huán)境刺激下所產(chǎn)生的心理活動(dòng)體現(xiàn)在面部表情，這個(gè)表情就是微表情，其包括眉眼鼻嘴腮等器官的肌肉收縮，廣義上還包括肢體的配合動(dòng)作。

將微表情概念引入教學(xué)活動(dòng)中，通過(guò)拾取學(xué)生的微表情，映射出學(xué)生的即時(shí)心理活動(dòng)，聯(lián)系到課堂的授課進(jìn)程，可以在一定程度上反映學(xué)生對(duì)所學(xué)知識(shí)點(diǎn)的理解程度，進(jìn)而匯總出課堂教學(xué)的質(zhì)量。例如當(dāng)教師講授的內(nèi)容引起學(xué)生的興趣，學(xué)生的學(xué)習(xí)狀態(tài)表現(xiàn)為專注，體現(xiàn)在面部表情上則為眉頭舒展、眼球注視，沒(méi)有大角度的轉(zhuǎn)動(dòng)，有時(shí)會(huì)隨著嘴角上揚(yáng)、顴骨肌肉收縮；而對(duì)教師講授內(nèi)容疑惑或不懂，會(huì)出現(xiàn)眉頭緊鎖、目光飄忽不定、眼球轉(zhuǎn)動(dòng)加速等特征；當(dāng)學(xué)生在課堂上分心時(shí)，會(huì)表現(xiàn)出搖頭、眼睛注意力不在屏幕上等表情變化。通過(guò)這些微表情折射出的學(xué)生內(nèi)心活動(dòng)，可以定性的評(píng)估學(xué)生的課堂投入情況，進(jìn)而有針對(duì)性地提醒某位同學(xué)注意聽(tīng)講，或針對(duì)大部分學(xué)生不理解的內(nèi)容進(jìn)行重點(diǎn)講解。即通過(guò)學(xué)生在教學(xué)過(guò)程情緒外顯的表現(xiàn)，輔助教師關(guān)注學(xué)生學(xué)習(xí)狀態(tài)的變化，及時(shí)調(diào)整授課方式和教學(xué)策略，使學(xué)生達(dá)到更好的學(xué)習(xí)效果。

4 在線教學(xué)質(zhì)量評(píng)估設(shè)計(jì)

學(xué)生的面部表情能間接反應(yīng)其內(nèi)心活動(dòng)，也可以在一定程度上代表對(duì)課程內(nèi)容的參與程度。極具趣味性和技巧性的在線教學(xué)課程，能否吸引學(xué)生的注意力，使其完全掌握知識(shí)點(diǎn)，達(dá)到良好的教學(xué)效果，從學(xué)生的反應(yīng)中可以得以反饋。該文根據(jù)微表情識(shí)別出學(xué)生的心理活動(dòng)，通過(guò)學(xué)生上課的專注程度得出教師的教學(xué)質(zhì)量，對(duì)教師的會(huì)計(jì)在線教學(xué)質(zhì)量進(jìn)行客觀評(píng)估。針對(duì)教室內(nèi)的各個(gè)學(xué)生的面部特征，對(duì)常見(jiàn)的視頻監(jiān)控系統(tǒng)設(shè)備和結(jié)構(gòu)進(jìn)行了調(diào)查，并根據(jù)教室的實(shí)際條件，設(shè)計(jì)出一套具有安全穩(wěn)定性、技術(shù)先進(jìn)性和性價(jià)比合理性的高清全景視頻監(jiān)控系統(tǒng)。對(duì)一幅靜止圖像或視頻，要對(duì)一張或多張人臉的位置進(jìn)行準(zhǔn)確定位和探測(cè)，需要從圖像分割、提取人臉、提取細(xì)節(jié)特征3個(gè)方面進(jìn)行分析。由于臉部的個(gè)體、姿勢(shì)、表情、光線等因素的影響，使臉部特征點(diǎn)的定位和追蹤成為一個(gè)十分困難的問(wèn)題。目前，對(duì)臉部微表情特征點(diǎn)的定位主要有兩種，即模型的定位和非模型的定位。

該方法首先在訓(xùn)練集合中標(biāo)注出關(guān)鍵點(diǎn)，然后使用主分量分析進(jìn)行降維，得到最大的平均形態(tài)。圖2為人臉特征點(diǎn)提取的流程框圖，通過(guò)訓(xùn)練圖像及標(biāo)記點(diǎn)建立點(diǎn)分布模型，并區(qū)分正確樣本與錯(cuò)誤樣本，通過(guò)提取特征，建立與形狀模塊和局部紋理模型的映射關(guān)系，實(shí)現(xiàn)人臉特征點(diǎn)的提取。為了讓人臉的微表情形態(tài)模型能更好地適應(yīng)不同的人臉形態(tài)，在訓(xùn)練集合中必須盡量包括人臉的姿態(tài)、表情和光照的改變。通過(guò)構(gòu)造局部約束模型，將訓(xùn)練集內(nèi)的關(guān)鍵節(jié)點(diǎn)局部紋理作為正確的樣本，將與關(guān)鍵點(diǎn)相隔一定距離的部分作為錯(cuò)誤樣本，通過(guò)SVM的學(xué)習(xí)，獲得局部紋理模型。在進(jìn)行人臉特征點(diǎn)定位時(shí)，首先要對(duì)其進(jìn)行初始化，求出局部反應(yīng)圖象，并將其與形狀模型的約束相結(jié)合，反復(fù)迭代，獲得最后的特征點(diǎn)。

圖2 人臉特征點(diǎn)提取框圖

將形態(tài)模型和局部紋理模型相結(jié)合，提取出多個(gè)姿態(tài)的面部微表情特征，從而有效地克服了不同的面部姿態(tài)，并能很好地檢測(cè)到遮擋物體。針對(duì)一個(gè)學(xué)生的近景照片，該系統(tǒng)可以很好地識(shí)別出學(xué)生的頭部轉(zhuǎn)動(dòng)角度和面部微表情特征區(qū)。并且其對(duì)眼鏡、手部遮擋等干擾，表現(xiàn)出很強(qiáng)的穩(wěn)定性。通過(guò)對(duì)側(cè)面局部圖像的多目標(biāo)人臉提取，發(fā)現(xiàn)除部分人臉發(fā)生偏移或遮擋太大外，其余的人臉特征都能得到。通過(guò)對(duì)學(xué)生頭部角度、眉尾和眼中之間的角度、唇部幅度的變化進(jìn)行分析，并對(duì)其頭部姿態(tài)、唇角、眉眼角度等進(jìn)行了詳細(xì)分析。聽(tīng)課中的聽(tīng)覺(jué)狀態(tài)分為5種：傾聽(tīng)、疑惑、理解、抗拒、鄙視。將初始化的頭部姿勢(shì)設(shè)定為-1，如果檢測(cè)成功，就可以得到相應(yīng)的頭部角度。從這一點(diǎn)來(lái)看，絕大多數(shù)學(xué)生都是被系統(tǒng)捕捉到的，系統(tǒng)會(huì)自動(dòng)給每個(gè)學(xué)生的微表情識(shí)別標(biāo)上一個(gè)數(shù)值。學(xué)生眉、眼、鼻、口等的點(diǎn)是學(xué)生的面部表情特點(diǎn)。通過(guò)對(duì)“傾聽(tīng)”、“疑惑”、“理解”、“抗拒”、“鄙視”等5種不同的表達(dá)方式進(jìn)行界定，并將學(xué)生的“眉眼角度”、“唇部角度”、“頭部角度”等因素進(jìn)行綜合，得出了“會(huì)計(jì)在線教學(xué)”的具體情況，并對(duì)學(xué)生的聽(tīng)覺(jué)狀況進(jìn)行統(tǒng)計(jì)和分析。圖3為該文所設(shè)計(jì)的基于微表情識(shí)別的會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估方法結(jié)構(gòu)圖。

圖3 教學(xué)質(zhì)量評(píng)估方法結(jié)構(gòu)圖

課堂教學(xué)質(zhì)量評(píng)估是以采集足夠相關(guān)信息作為數(shù)據(jù)基礎(chǔ)，從中挖掘出有價(jià)值信息，并通過(guò)模型對(duì)信息進(jìn)行整理、分類，在統(tǒng)計(jì)分析的基礎(chǔ)上建立共性概念，形成具有指向性的定性結(jié)論，實(shí)現(xiàn)對(duì)教學(xué)效果的評(píng)估。通過(guò)對(duì)表情的分類，在教學(xué)課堂中常見(jiàn)的微表情按照屬性賦值。將無(wú)法判斷或無(wú)意義的表情，權(quán)值設(shè)置為0；將焦躁、困惑等負(fù)面情緒設(shè)置為-1；將厭惡、生氣等極端情緒設(shè)置為-2；將喜悅、開(kāi)心等正面情緒設(shè)置為1；將驚喜、狂歡等非常情緒設(shè)置為2。其中，權(quán)值為0對(duì)教學(xué)質(zhì)量評(píng)估沒(méi)有貢獻(xiàn)；權(quán)值為正數(shù)表明教學(xué)質(zhì)量良好或優(yōu)秀，而權(quán)值為負(fù)數(shù)則表明教學(xué)質(zhì)量差強(qiáng)人意或令人不滿。

影響會(huì)計(jì)在線課堂教學(xué)質(zhì)量的因素很多，而影響教學(xué)的主要因素是對(duì)學(xué)生活躍時(shí)間的計(jì)算。通過(guò)對(duì)各個(gè)時(shí)間間隔的離散圖像進(jìn)行分析，得到學(xué)生的活動(dòng)時(shí)間。根據(jù)微表情的有效時(shí)間和運(yùn)算效率，將獲取的圖像頻率設(shè)置為2s?；顒?dòng)時(shí)間是通過(guò)對(duì)整節(jié)課時(shí)間的綜合分析得出的，其活動(dòng)時(shí)間的特定統(tǒng)計(jì)如公式（5）所示。

式中：為活躍時(shí)間，（）為學(xué)生參與度，為閾值，為圖像采樣。

學(xué)生參與度（）時(shí)，學(xué)生整體處于活躍狀態(tài)。基于微表情識(shí)別的會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估以多種顏色進(jìn)行標(biāo)識(shí)，例如目前的學(xué)生總體關(guān)注度為黃色，代表參與度為綠色，而紅色為目前教學(xué)內(nèi)容的難點(diǎn)。當(dāng)學(xué)生的注意力、參與度和困難度都很低時(shí)，就表明學(xué)生的聽(tīng)課狀態(tài)不佳，教師要提供解決的舉措，調(diào)整教學(xué)策略，活躍課堂氣氛，從而達(dá)到提高教學(xué)效果的目的。會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估不僅能實(shí)時(shí)地評(píng)估全班情況，而且能偵測(cè)到學(xué)生的負(fù)面情緒（抵觸、輕蔑），并發(fā)出信息提醒老師，類似為一種“警報(bào)裝備”，時(shí)刻提醒著老師和同學(xué)們認(rèn)真完成線上學(xué)習(xí)。

對(duì)同一知識(shí)點(diǎn)的教學(xué)質(zhì)量評(píng)估，采取時(shí)刻法，即同一時(shí)刻各個(gè)學(xué)生移動(dòng)客戶端采集的單幀圖像賦值后，再通過(guò)統(tǒng)計(jì)平均，得到全班的整體印象，不同情緒、不同理解程度的學(xué)生數(shù)量分別作為分子，得到各種課堂反應(yīng)的百分比，以此作為單個(gè)知識(shí)點(diǎn)的被接受程度，評(píng)估該知識(shí)點(diǎn)的教學(xué)質(zhì)量。

會(huì)計(jì)教師在線教學(xué)質(zhì)量評(píng)估包括兩個(gè)方面。1）整節(jié)課全部學(xué)生課堂狀態(tài)評(píng)價(jià)。在假定全體學(xué)生完全投入課堂教學(xué)的背景下，計(jì)算負(fù)面情緒的學(xué)生占比，作為課堂教學(xué)質(zhì)量的待改進(jìn)得分；正面情緒的學(xué)生占比，作為該節(jié)課的經(jīng)驗(yàn)得分。通過(guò)分析待改進(jìn)得分和經(jīng)驗(yàn)得分的比值，可以看出全班學(xué)生對(duì)課堂內(nèi)容的投入情況。2）時(shí)間段全部學(xué)生課堂狀態(tài)評(píng)價(jià)。統(tǒng)計(jì)會(huì)計(jì)課程教學(xué)時(shí)長(zhǎng)中學(xué)生的投入狀態(tài)，即可作為全部學(xué)生課堂狀態(tài)的數(shù)值表征，用以對(duì)教學(xué)效果做出評(píng)價(jià)。

最后，通過(guò)整堂課的分?jǐn)?shù)得到會(huì)計(jì)在線教學(xué)的教學(xué)質(zhì)量評(píng)估等級(jí)。

5 結(jié)語(yǔ)

隨著科學(xué)技術(shù)的發(fā)展，教師利用該文所設(shè)計(jì)出的基于微表情識(shí)別的會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估方法，一方面能夠根據(jù)評(píng)估結(jié)果對(duì)自己的專業(yè)水平進(jìn)行提高。另一方面，能夠根據(jù)學(xué)生的反饋結(jié)果調(diào)整課堂教學(xué)方式，提高學(xué)習(xí)學(xué)習(xí)積極性和專注度，提高學(xué)習(xí)效果。由于時(shí)間原因該文沒(méi)有對(duì)所設(shè)計(jì)方法進(jìn)行試驗(yàn)，還需要在今后的研究中不斷完善。