人臉表情識(shí)別的技術(shù)特征及其教育應(yīng)用場景分析

包涵　胡衛(wèi)星

關(guān)鍵詞：人臉表情識(shí)別；技術(shù)特征；教育場景

人臉表情識(shí)別技術(shù)已成為近年來模式識(shí)別和人工智能相關(guān)領(lǐng)域的研究熱點(diǎn)問題之一。人臉表情在人類的內(nèi)心情感世界中起著傳遞媒介的作用，通過人臉表情識(shí)別可以獲得個(gè)體的各種即時(shí)情緒情感狀態(tài)，從而使個(gè)體的學(xué)習(xí)過程充滿各種即時(shí)性信息。如今，伴隨著“互聯(lián)網(wǎng)+ 教育”時(shí)代到來，人臉表情識(shí)別同樣也可以應(yīng)用于教育領(lǐng)域中，強(qiáng)大的人臉表情識(shí)別技術(shù)支持使得課堂教學(xué)和在線教學(xué)更加有序高效。人臉表情識(shí)別技術(shù)應(yīng)用于課堂教學(xué)和在線教學(xué)中，教師可通過觀察學(xué)生臉部表情變化及時(shí)了解學(xué)生的真實(shí)心理活動(dòng)，進(jìn)而能準(zhǔn)確掌握學(xué)生對知識(shí)點(diǎn)的理解，并采取有效的手段來提高教學(xué)效果，使教學(xué)活動(dòng)過程變得更加有趣和高效。

1 人臉表情識(shí)別的技術(shù)特征分析[1

]1.1 產(chǎn)生與發(fā)展

人類語言可劃分為兩大類：自然語言與形體語言，人臉表情是形體語言中的一部分，一般是由人的眼部肌肉、口部肌肉與臉部肌肉等通過運(yùn)動(dòng)而形成。表情往往是人的情感變化可通過面部而觀察出的一種情緒表現(xiàn)，是人類情緒的一種客觀外顯行為。人臉表情識(shí)別廣泛應(yīng)用于社會(huì)情感分析、醫(yī)療診斷、安全駕駛、交通出行、商業(yè)宣傳與刑事案件偵破等領(lǐng)域。人臉表情識(shí)別是在人臉表情的基礎(chǔ)之上進(jìn)行的，人臉表情識(shí)別的發(fā)展可大致分為4 個(gè)階段。第1 階段可追溯到20 世紀(jì)70 年代，研究人員根據(jù)人臉的五官特征來識(shí)別不相同的人臉，采用基于幾何結(jié)構(gòu)特征的算法和基于模板匹配的算法進(jìn)行人臉識(shí)別。第2 階段，Belhumeur 等人在人臉識(shí)別的實(shí)踐中加入Fisher 準(zhǔn)則，采用隱馬爾可夫法和基于Fisher 的線性判別法進(jìn)行人臉識(shí)別的研究。第3 階段，人臉識(shí)別研究更加具有參考性和現(xiàn)實(shí)意義，Gabor 小波變換特征提取等算法的出現(xiàn)使得人臉識(shí)別的研究更加精準(zhǔn)。第4階段，大數(shù)據(jù)時(shí)代的到來，人臉識(shí)別的數(shù)據(jù)庫不斷壯大，CNN 卷積神經(jīng)網(wǎng)絡(luò)等算法的涌現(xiàn)不斷地推動(dòng)著人臉識(shí)別的發(fā)展。

1.2 技術(shù)特征

1.2.1 人臉表情識(shí)別的要素

在20世紀(jì)70年代中期，著名美國心理學(xué)家Ekman通過實(shí)驗(yàn)將人臉面部表情劃分為6 類： 高興（Happy）、悲傷（Sad）、害怕（Fear）、生氣（Angry）、厭惡（Disgust）和驚訝（Surprise）[1]。人臉表情可傳達(dá)人類的特定情感信息，比如高興通常指聽到好消息或者見到想見的人，一般會(huì)通過舒展眉頭、眼存笑意與嘴角上揚(yáng)來表達(dá)。基于此，人們不斷的優(yōu)化發(fā)展著人臉表情識(shí)別技術(shù)。在這個(gè)研究分析過程中，表情數(shù)據(jù)集是人臉表情識(shí)別研究中一個(gè)至關(guān)重要的環(huán)節(jié)。其中較為典型的有20 世紀(jì)90 年代Lyons 等人建立的一個(gè)以日本女性為代表的表情數(shù)據(jù)集（JAFFE）。該數(shù)據(jù)集共收錄日本女性的213 張圖像，其中包含10 名日本女性在相同環(huán)境下做出的高興、悲傷、中性、厭惡、憤怒、恐懼以及驚訝這7 種表情，每一種表情大約包含30 張圖像[2]。具體圖像如圖1所示。

1.2.2 人臉表情識(shí)別的過程

人臉表情識(shí)別過程可劃分為3 步：圖像化、特征提取與表情識(shí)別。圖像化是面部表情分析的第一步，是對人臉進(jìn)行圖像的取得與預(yù)先處理，首先對圖片或視頻中的人臉進(jìn)行定位獲取，然后根據(jù)人的眼睛、鼻子和嘴巴等器官的特征來檢測面部，最后將檢測器檢測到的面部圖像進(jìn)行預(yù)處理，即圖像歸一化處理。表情特征提取是表情分析過程中最為關(guān)鍵的一步，人臉圖像包含大量信息，所以進(jìn)行人臉面部表情識(shí)別時(shí)需提取出人臉五官特征、紋理特征等相關(guān)信息，人臉面部表情特征提取方法主要分3種：基于全局的提取方法、基于局部的提取方法以及混合提取方法。面部表情分析過程的最后一步是進(jìn)行表情識(shí)別。首先是采用基于模板的匹配方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于概率模型的方法以及基于支持向量機(jī)的方法等對面部表情進(jìn)行分類。待面部表情分類完成后，再采用面部行為編碼系統(tǒng)與基于模板的分類兩種方法進(jìn)行識(shí)別。人臉表情識(shí)別的整體過程如圖2 所示。

1.3 系統(tǒng)研發(fā)

人臉表情識(shí)別技術(shù)主要由三大系統(tǒng)組成：面部行為編碼系統(tǒng)（FACS）、臉部動(dòng)畫參數(shù)（FAP） 與最大限度辨別面部肌肉運(yùn)動(dòng)編碼系統(tǒng)（MAX）。①面部行為編碼系統(tǒng)（FACS）。FACS 是著名的國際心理學(xué)家Ekman 根據(jù)人類面部解剖學(xué)的特點(diǎn)，將面部肌肉分解為幾個(gè)獨(dú)立且相關(guān)的運(yùn)動(dòng)單元AU，描述出不同面部肌肉運(yùn)動(dòng)和不同表情之間的對應(yīng)關(guān)系。FACS 對現(xiàn)實(shí)生活中大部分人類的表情進(jìn)行分類，并用面部運(yùn)動(dòng)描述了幾乎所有可能出現(xiàn)的面部表情，因而成為目前面部表情肌肉運(yùn)動(dòng)的權(quán)威參考標(biāo)準(zhǔn)。②臉部動(dòng)畫參數(shù)（FAP）。FAP用于3D人臉識(shí)別，同時(shí)是MPEG-4 標(biāo)準(zhǔn)的一套標(biāo)準(zhǔn)參數(shù)，主要用于合成一種實(shí)時(shí)虛擬人臉表情動(dòng)畫，它的主要編碼方案是基于關(guān)鍵特征點(diǎn)在人臉網(wǎng)絡(luò)中的位置來進(jìn)行實(shí)施的。FAP是一套完整的人類面部運(yùn)動(dòng)集合參數(shù)標(biāo)準(zhǔn)，它與人臉肌肉運(yùn)動(dòng)密切相關(guān)，在描述自然面部表情時(shí)效果極佳。③最大限度地辨別面部肌肉運(yùn)動(dòng)編碼系統(tǒng)（MAX）。MAX 將人臉區(qū)域劃分為幾個(gè)部分：額頭、鼻翼和鼻根、眼睛、臉頰以及嘴唇和下巴的區(qū)域，相應(yīng)地對所列出的29個(gè)面部運(yùn)動(dòng)單元進(jìn)行編碼，每個(gè)編碼代表面部特定區(qū)域的活動(dòng)，面部表情就是由這些特定區(qū)域的肌肉運(yùn)動(dòng)組合而構(gòu)成。三大系統(tǒng)的特征比對如表1所示。

2 人臉表情識(shí)別技術(shù)在教育中的應(yīng)用場景分析

2.1 課堂教學(xué)

傳統(tǒng)課堂教學(xué)主要是一種教師“講”與學(xué)生“聽”的面對面教學(xué)形式。通過與學(xué)生面對面的互動(dòng)交流，教師可以從學(xué)生的表情、神態(tài)以及語言中獲取到學(xué)生是否理解領(lǐng)會(huì)所學(xué)知識(shí)，同時(shí)也可進(jìn)行表情與情感分析，及時(shí)調(diào)整教學(xué)節(jié)奏、調(diào)動(dòng)課堂氣氛與調(diào)整教學(xué)策略。傳統(tǒng)的這種情感分析往往是基于教師實(shí)踐經(jīng)驗(yàn)后的積累，面向的是學(xué)生群體的大部分，無法照顧到學(xué)生個(gè)體的個(gè)性化需求。借助于人臉表情識(shí)別技術(shù)的課堂教學(xué)應(yīng)用，可對學(xué)生學(xué)習(xí)狀態(tài)做出及時(shí)反饋和調(diào)整，例如對教學(xué)內(nèi)容疑惑時(shí)，學(xué)生表情為眉頭緊皺、頭部傾斜；對教學(xué)內(nèi)容理解時(shí)，則表情為展眉愉悅、頭部上揚(yáng)；對教學(xué)內(nèi)容厭惡時(shí)，表情為眉頭微皺、頭部低下等。人臉表情識(shí)別技術(shù)在面對面課堂教學(xué)中應(yīng)用，便于教師對學(xué)生進(jìn)行即時(shí)情感分析與教學(xué)反饋，顯著地提升教學(xué)的效果和質(zhì)量。課堂教學(xué)中學(xué)生的面部表情類型主要分析如表2所示。

2.2 在線教育

作為當(dāng)今教育模式的主流之一，在線教育可實(shí)現(xiàn)師生之間遠(yuǎn)程互動(dòng)與課堂交流等教學(xué)活動(dòng)，實(shí)現(xiàn)任何時(shí)間、任何地點(diǎn)的時(shí)空分離教學(xué)。但因?yàn)樵诰€教育中教師無法將授課表情及時(shí)傳遞給學(xué)生，學(xué)生也無法將學(xué)習(xí)進(jìn)度與情感及時(shí)反饋給老師，這種非面對面的單線教學(xué)模式極易造成教學(xué)情感缺失與人性化交流缺乏。人臉表情識(shí)別技術(shù)應(yīng)用在在線教育中，可以彌補(bǔ)教學(xué)情感交流缺失，使師生發(fā)生有效教學(xué)交互，實(shí)現(xiàn)科學(xué)有效的在線教育、提高學(xué)習(xí)效率與教學(xué)效果。人臉表情識(shí)別技術(shù)應(yīng)用于在線教育中，通過攝像頭采集學(xué)生上課時(shí)的人臉圖像或視頻，然后對其進(jìn)行加工處理，再采用相對應(yīng)的在線課堂狀態(tài)類型分類法對學(xué)生課堂狀態(tài)進(jìn)行監(jiān)測，進(jìn)而輔助教師順利進(jìn)行在線課堂教學(xué)，提高在線課堂教學(xué)效率。

2.3 學(xué)校生活

互聯(lián)網(wǎng)時(shí)代的到來給人們的日常生活帶來極大便利。智慧校園、智慧教室、智慧課堂、以及智慧食堂等一系列教育與互聯(lián)網(wǎng)深度融合的教育應(yīng)用場景應(yīng)運(yùn)而生。人臉表情識(shí)別技術(shù)所支持的系統(tǒng)的廣泛普及，不僅在學(xué)校生活的日常運(yùn)作中節(jié)省人力與物力，而且使得各項(xiàng)工作高效且有序進(jìn)行，甚至比之前人工實(shí)際操作所獲取的數(shù)據(jù)更加準(zhǔn)確且具有代表性。人臉表情識(shí)別技術(shù)在學(xué)校生活中的廣泛應(yīng)用將會(huì)促進(jìn)學(xué)校向智慧化、數(shù)字化與信息化方向深入發(fā)展，進(jìn)一步優(yōu)化學(xué)校管理、學(xué)校安防與教學(xué)管理等工作。

3 人臉表情識(shí)別技術(shù)的教育應(yīng)用問題分析

3.1 課堂教學(xué)表情識(shí)別的應(yīng)用與實(shí)踐定位不明確

應(yīng)用于課堂教學(xué)中的人臉表情識(shí)別技術(shù)可幫助教師有效實(shí)時(shí)監(jiān)控學(xué)生課堂表情變化，利于教師與學(xué)生的情感交流。然而，當(dāng)前人臉表情識(shí)別技術(shù)在課堂教學(xué)中的應(yīng)用不容樂觀，仍存在應(yīng)用實(shí)踐定位不明確問題。具體表現(xiàn)如下：①在人臉表情識(shí)別技術(shù)的實(shí)際應(yīng)用中，教師過度使用該技術(shù)監(jiān)測學(xué)生課堂表情變化，而忽視課堂教學(xué)最本質(zhì)的意義——如何采取有效教學(xué)策略提高課堂教學(xué)交互活動(dòng)。②教師并沒有充分利用人臉表情識(shí)別技術(shù)所帶來的優(yōu)勢與學(xué)生進(jìn)行深層情感交流，而是一味地在意識(shí)別人臉的攝像頭是否準(zhǔn)確地監(jiān)測到學(xué)生表情，違背人臉表情識(shí)別技術(shù)應(yīng)用到教育場景的初衷。

3.2 在線教學(xué)表情識(shí)別的精準(zhǔn)度有待于提升

在非面對面的在線教學(xué)中，人臉表情識(shí)別技術(shù)存在無法準(zhǔn)確識(shí)別人臉、人臉識(shí)別錯(cuò)誤等問題。產(chǎn)生上述問題的原因有如下幾點(diǎn)：①模糊圖像干擾。人臉圖像可能會(huì)受當(dāng)時(shí)環(huán)境中的光照強(qiáng)度、鏡頭變焦、曝光度以及學(xué)生個(gè)人動(dòng)作幅度過大等一些不穩(wěn)定因素干擾，造成圖像識(shí)別模糊甚至出現(xiàn)馬賽克等現(xiàn)象，導(dǎo)致無法準(zhǔn)確識(shí)別人臉表情；②人臉角度問題。大部分學(xué)生在上課過程中很難保持一個(gè)固定不變的坐姿進(jìn)行課堂活動(dòng)，學(xué)生上課時(shí)的狀態(tài)可能存在抬頭聽課與側(cè)頭發(fā)呆等幾種情況，不同的人臉角度極容易造成所采集的面部信息部分缺失，以及設(shè)備所拍攝的圖像缺乏完整性等問題。

3.3 學(xué)校生活應(yīng)用支持度不高

隨著智慧校園的興起，智能化的校園環(huán)境為師生與校內(nèi)工作人員提供諸多便利，其中人臉表情識(shí)別技術(shù)就是智慧校園中的一種智能化設(shè)備的應(yīng)用體現(xiàn)，但是其在現(xiàn)實(shí)學(xué)校生活中應(yīng)用的支持度并不高。究其原因，設(shè)備、技術(shù)以及物力人力成本的增加是最根本的原因。人臉表情識(shí)別技術(shù)引進(jìn)到校園生活中，首先，學(xué)校必然會(huì)增加對相關(guān)設(shè)備與技術(shù)的投資，其次，學(xué)校會(huì)聘請相關(guān)技術(shù)人員駐校輔助學(xué)校人員，包括設(shè)備安裝與設(shè)備操作等工作，這也會(huì)增加對人力與物力的投資。

3.4 教育大數(shù)據(jù)隱私問題

人臉表情識(shí)別技術(shù)應(yīng)用在學(xué)校的各個(gè)角落，包括寢室樓與圖書館門禁、智慧教室人臉簽到與課堂教學(xué)人臉表情監(jiān)控等幾種應(yīng)用場景。其應(yīng)用為學(xué)校日常生活帶來諸多便利，但人臉表情識(shí)別技術(shù)是一把雙刃劍，有其利也有其弊。人臉表情識(shí)別技術(shù)在實(shí)施過程中無疑會(huì)泄露學(xué)習(xí)者的個(gè)人信息，引發(fā)教育大數(shù)據(jù)隱私泄露等問題的爭論。教育大數(shù)據(jù)涵蓋學(xué)習(xí)者大量的信息，包括個(gè)人身份信息、學(xué)習(xí)資源信息與家庭成員信息等。學(xué)習(xí)者的各種信息被暴露在系統(tǒng)中，這不僅涉及隱私倫理等相關(guān)問題，更有可能對學(xué)習(xí)者的身心健康成長造成問題。

4 人臉表情識(shí)別技術(shù)的教育應(yīng)用問題對策

4.1 識(shí)別應(yīng)用的定位性要明確

要真正解決人臉表情識(shí)別技術(shù)在課堂教學(xué)中應(yīng)用的實(shí)踐定位不明確的問題，具體措施如下：①調(diào)整教學(xué)策略。在人臉表情識(shí)別技術(shù)應(yīng)用于課堂教學(xué)中，當(dāng)獲取到學(xué)生表情后，教師應(yīng)第一時(shí)間對其表情做出判斷，然后根據(jù)學(xué)生表情采取相應(yīng)的教學(xué)策略進(jìn)行教學(xué)，以便課堂教學(xué)效果達(dá)到最優(yōu)化。②進(jìn)行情感交流。課堂教學(xué)中情感交流這一環(huán)節(jié)尤為重要，許多教師會(huì)因個(gè)人精力不足無法照顧到每個(gè)學(xué)生的情緒，忽視學(xué)生課堂的情感反饋，導(dǎo)致教學(xué)效果不佳。人臉表情識(shí)別技術(shù)在課堂教學(xué)中的應(yīng)用充分解決這一大難題，教師應(yīng)重視其技術(shù)應(yīng)用反饋結(jié)果，進(jìn)而加強(qiáng)與學(xué)生之間的情感交流。

4.2 識(shí)別應(yīng)用的精準(zhǔn)度要提升

要有效解決人臉表情識(shí)別技術(shù)在課堂教學(xué)中人臉圖像識(shí)別精準(zhǔn)性不高等問題，需要改進(jìn)人臉圖像采集設(shè)備以提高采集精準(zhǔn)度并完善分析方法，具體解決方案如下：①提高采集精準(zhǔn)度。首先，考慮外在因素影響，改進(jìn)攝像機(jī)以及其他電子硬件設(shè)備，采用分辨率更高以及性能更好的攝像機(jī)進(jìn)行人臉圖像捕捉，以便更加高效準(zhǔn)確地捕捉與人臉相匹配的圖像。②考慮內(nèi)在因素影響，攝像機(jī)在課堂教學(xué)采集人臉圖像的同時(shí)可以選擇增加人臉圖像智能質(zhì)量評估環(huán)節(jié)，其宗旨是過濾人臉圖像識(shí)別過程中的模糊圖像、誤識(shí)圖像以及殘缺圖像，確保已識(shí)別出的人臉圖像是準(zhǔn)確且完好無損的；③完善分析方法。視頻流表情分析極其容易受到自然環(huán)境光照強(qiáng)度以及人物自身臉部姿態(tài)等影響，因此在人臉表情圖像識(shí)別預(yù)處理環(huán)節(jié)要嚴(yán)格把關(guān)以確保人臉表情圖像獲取的準(zhǔn)確性。

4.3 識(shí)別應(yīng)用的支持度要深入

人臉表情識(shí)別技術(shù)在學(xué)校日常生活中的應(yīng)用并不是很普遍，要實(shí)現(xiàn)人臉表情識(shí)別技術(shù)在學(xué)校生活中的廣泛應(yīng)用，需要加強(qiáng)其對學(xué)校生活中應(yīng)用的支持度。首先，需要解決資金問題。人臉表情識(shí)別技術(shù)的引入必然會(huì)耗費(fèi)大量的人力與物力，學(xué)校需要有強(qiáng)大的資金扶持方可成功引入該技術(shù)。其次，制定意外情況發(fā)生的防治措施。避免意外情況帶來的種種挑戰(zhàn)，學(xué)校需安裝發(fā)電系統(tǒng)，以保證人臉表情識(shí)別技術(shù)的正常運(yùn)行，避免停電等情況帶來的不必要損失。總之，人臉表情識(shí)別技術(shù)具有便捷、高效、低成本與高準(zhǔn)確性等優(yōu)勢，學(xué)校需要加大其對日常生活應(yīng)用的支持度。

4.4 識(shí)別應(yīng)用的技術(shù)性要適度

對于教育大數(shù)據(jù)隱私泄露等問題的解決，要從技術(shù)本身入手，考慮技術(shù)應(yīng)用的適度性原則。①支持技術(shù)創(chuàng)新。目前，人臉表情識(shí)別技術(shù)已廣泛應(yīng)用在學(xué)校課堂教學(xué)中，相關(guān)技術(shù)人員應(yīng)對人臉表情識(shí)別技術(shù)進(jìn)行創(chuàng)新與研發(fā)，完善與優(yōu)化人臉表情分析方法，以便更好地迎接教育大數(shù)據(jù)所帶來的各種挑戰(zhàn)與困難。②技術(shù)應(yīng)用適度。高度重視教育信息收集的防護(hù)工作，充分利用現(xiàn)代化技術(shù)實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分析與在線監(jiān)控，提高人臉表情識(shí)別技術(shù)的安全應(yīng)用水平。