基于卷積神經(jīng)網(wǎng)絡(luò)的三維動(dòng)畫(huà)表情生成及情感監(jiān)督方法

莊美琪，譚小慧，1b，樊亞春，程厚森

(1.首都師范大學(xué) a.信息工程學(xué)院; b.交叉學(xué)科研究院， 北京 100048；2北京師范大學(xué) 人工智能學(xué)院， 北京 100875)

隨著互聯(lián)網(wǎng)教育的蓬勃發(fā)展，在線(xiàn)教學(xué)逐漸普及。特別是在新型冠狀病毒肆虐期間，它已成為主流的教學(xué)模式，視頻是在線(xiàn)教學(xué)常見(jiàn)的媒介之一。然而，在線(xiàn)教學(xué)在逐漸普及的過(guò)程中暴露出許多問(wèn)題，如教師難于及時(shí)觀測(cè)到學(xué)生的情緒狀態(tài)[1]，學(xué)生面部隱私易泄露[2]。因此，為在線(xiàn)教學(xué)提供一種解決無(wú)監(jiān)督學(xué)習(xí)和課堂反饋不足的方法是有價(jià)值的研究方向。

人臉動(dòng)畫(huà)表情生成有很多研究工作，部分方法基于深度學(xué)習(xí)的驅(qū)動(dòng)模型生成人臉表情，部分方法利用建模軟件驅(qū)動(dòng)模型變形。Ploumpis等[3]實(shí)現(xiàn)了基于3DMM對(duì)任意圖像進(jìn)行面部重建的高質(zhì)量即時(shí)渲染。但這種方法對(duì)連續(xù)精細(xì)表情生成和硬件渲染要求很高。另一種流行的方法是通過(guò)建模軟件實(shí)現(xiàn)動(dòng)畫(huà)生成。該類(lèi)方法需要精細(xì)建模，最常見(jiàn)的模型是肌肉模型[4-6]。但該方法的主要局限性在于人工調(diào)節(jié)和輸入驅(qū)動(dòng)面部模型生成表情。肌肉模型基于面部動(dòng)作編碼系統(tǒng)[4](FACS)，該系統(tǒng)由46個(gè)動(dòng)作單元(AU)組成，它的提出是面部表情研究過(guò)程中的基石。在常用的AU識(shí)別方法中，Yong等[7]提出一種基于AU先驗(yàn)概率的知識(shí)驅(qū)動(dòng)方法，可以在不添加AU注釋的情況下聯(lián)合學(xué)習(xí)多個(gè)AU分類(lèi)器。Corneanu等[8]提出一種深度神經(jīng)結(jié)構(gòu)，該結(jié)構(gòu)在初始階段將學(xué)習(xí)到的局部和全局特征進(jìn)行結(jié)合，并在類(lèi)之間采用復(fù)制消息傳遞算法。Wang等[9]通過(guò)混合貝葉斯網(wǎng)絡(luò)識(shí)別AU并估計(jì)強(qiáng)度。

針對(duì)情感監(jiān)督問(wèn)題，主要分為3種監(jiān)督源：面部情感、文本情感[10-11]和語(yǔ)音情感[12]。然而學(xué)生是否回答問(wèn)題和發(fā)表言論均屬于不確定因素，可能會(huì)導(dǎo)致監(jiān)督產(chǎn)生偏差。因此，面部情感監(jiān)督更符合在線(xiàn)教學(xué)環(huán)境。Sharma等[13]提出了一個(gè)原型系統(tǒng)，可根據(jù)課堂上所表現(xiàn)出來(lái)的面部表情實(shí)時(shí)計(jì)算出學(xué)生的注意力集中程度。Soltani 等[14]從學(xué)生角度出發(fā)，提出一個(gè)基于面部動(dòng)作編碼系統(tǒng)的情感網(wǎng)絡(luò)公開(kāi)課反饋，旨在使學(xué)生意識(shí)到自己的情緒狀態(tài)，計(jì)算機(jī)評(píng)估學(xué)生的情緒狀態(tài)，從而提高學(xué)生的學(xué)習(xí)積極性、參與性、自律性和學(xué)習(xí)成績(jī)。本文采用的方法是通過(guò)對(duì)面部表情進(jìn)行監(jiān)督，將其反饋給教師。

現(xiàn)有的研究缺乏同時(shí)解決情感監(jiān)督與隱私保護(hù)問(wèn)題的研究方案，大部分研究方法沒(méi)有考慮到學(xué)生的面部隱私保護(hù)。本文提出一種基于學(xué)生情感的三維面部表情生成方法，包括三維表情動(dòng)畫(huà)生成和帶有隱私保護(hù)的情感監(jiān)督。該方法提供2種可視化反饋：一是虛擬替身的面部動(dòng)畫(huà)生成，二是學(xué)生學(xué)習(xí)過(guò)程的連續(xù)情感指數(shù)分析圖。該反饋結(jié)果可應(yīng)用于在線(xiàn)教學(xué)，解決在線(xiàn)教學(xué)缺乏情感監(jiān)督問(wèn)題。

1 方法概述

卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型，常用來(lái)分析視覺(jué)圖像[15]。在本文方法中，提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉動(dòng)作單元識(shí)別方法，相對(duì)于傳統(tǒng)方法無(wú)需進(jìn)行人臉對(duì)齊剪裁等預(yù)處理，實(shí)現(xiàn)端到端的識(shí)別過(guò)程。本文方法的流程如圖1所示，將視頻作為輸入，在深度學(xué)習(xí)的基礎(chǔ)上，首先識(shí)別視頻幀圖像中的AU及其強(qiáng)度，并計(jì)算每幀圖片的情感指數(shù)，實(shí)驗(yàn)提供4個(gè)虛擬替身，在預(yù)處理階段通過(guò)建模軟件對(duì)虛擬替身進(jìn)行動(dòng)畫(huà)綁定。

1.1 AU及情感指數(shù)計(jì)算

AU是基于面部解剖學(xué)原理，將面部分為幾個(gè)獨(dú)立的動(dòng)作單元。每個(gè)AU控制面部肌肉群的一部分，多個(gè)AU可以疊加產(chǎn)生多種面部表情。例如，AU4、AU9、AU10、AU15、AU17的疊加生成厭惡。每個(gè)AU從A到E有5個(gè)強(qiáng)度，不同的強(qiáng)度代表不同的變形程度。因此，驅(qū)動(dòng)虛擬替身的表情生成或識(shí)別情感，需獲得視頻幀中的AU與強(qiáng)度。

圖1 方法流程圖

1.1.1AU及其強(qiáng)度識(shí)別

本文方法涉及的動(dòng)作單元共計(jì)12個(gè)，包含：AU1、AU2、AU4、AU5、AU6、AU9、AU12、AU15、AU17、AU20、AU25、AU26。動(dòng)作單元序列識(shí)別是基于Darknet-53實(shí)現(xiàn)，由多個(gè)卷積單元和殘差單元組成。其中卷積單元由Con2d、批量歸一化和Leaky ReLU激活函數(shù)構(gòu)成，殘差單元由2個(gè)卷積核分別為1×1和3×3的卷積層組成，這種結(jié)構(gòu)會(huì)使網(wǎng)絡(luò)結(jié)構(gòu)更深入。卷積單元和殘差單元的不同組合共計(jì)需53個(gè)卷積層。其中卷積單元和殘差單元的連接及其網(wǎng)絡(luò)框架如圖2所示。在Darknet-53的基礎(chǔ)上還需利用3個(gè)特征層進(jìn)行預(yù)測(cè)，對(duì)卷積網(wǎng)絡(luò)中不同層的特征圖進(jìn)行采樣與融合，得到3種不同尺度的感受野。3次預(yù)測(cè)得到的感受野不同，分別適合預(yù)測(cè)不同大小的目標(biāo)。對(duì)于輸入圖像進(jìn)行下采樣，這里的特征圖的感受野較大，適合較大的對(duì)象。細(xì)化粒度檢測(cè)后，將特征圖同前面的進(jìn)行特征融合得到較細(xì)粒度的特征圖，再經(jīng)過(guò)上采樣得到的特征圖具有中等尺度的感受野。第三類(lèi)特征圖經(jīng)過(guò)上采樣和特征融合，具有最小的感受野，適合檢測(cè)尺寸較小的圖像，本文共涉及到12個(gè)AU，分布在面部的額頭、臉頰、嘴角等位置，在檢測(cè)AU的過(guò)程中需要細(xì)粒度的特征圖，使用最小的感受野。

圖2 算法結(jié)構(gòu)框圖

識(shí)別中的損失函數(shù)主要采用二分交叉熵，其組成如下：

L(O,o,C,c,l,g)=λ1Lconf(o,c)+

λ2Lcla(O,C)+λ3Lloc(l,g)

(1)

包含3個(gè)部分，分別是：目標(biāo)置信度損失Lconf(o,c)、目標(biāo)分類(lèi)損失Lloc(l,g)和目標(biāo)定位偏移量損失Lcla(O,C)，其中λ為平衡系數(shù)。

(2)

(3)

(4)

不同強(qiáng)度的AU可組合出不同情感的表情。根據(jù)FACS規(guī)定，強(qiáng)度分為5種程度。我們將AU的5種強(qiáng)度作為5種不同的類(lèi)別。算法在識(shí)別過(guò)程中，會(huì)檢測(cè)出同類(lèi)AU但不同強(qiáng)度的概率值pi(i=1,2,3,4,5)，規(guī)定取概率最高的強(qiáng)度作為最終的強(qiáng)度值，定義強(qiáng)度向量：t=max(pi)，代表12個(gè)動(dòng)作單元的強(qiáng)度向量。

1.1.2情感指數(shù)計(jì)算

將基礎(chǔ)情感劃分成19種，并進(jìn)行權(quán)值定義，19種表情按照影響情緒指數(shù)強(qiáng)度從大到小順序分別是：快樂(lè)、快樂(lè)驚訝、驚訝、快樂(lè)厭惡、驚訝厭惡、厭惡、中性、驚訝恐懼、厭惡恐懼、恐懼、驚訝?wèi)嵟拹簯嵟?、恐懼憤怒、憤怒、驚訝傷心、厭惡傷心、恐懼傷心、憤怒傷心、傷心。

通過(guò)情感相關(guān)度矩陣F=[UTITR]的特征值和特征向量計(jì)算情感指數(shù)。不同AU對(duì)情感指數(shù)影響的具體程度用向量A19×1來(lái)表示，根據(jù)動(dòng)作單元的發(fā)生概率建立表情相關(guān)度矩陣W19×12，其行向量則代表的是19種情緒中對(duì)應(yīng)表情的動(dòng)作單元組成。R=WT·A是情緒向量，是情緒和動(dòng)作單元的映射關(guān)系，由表情相關(guān)度矩陣WT和表情權(quán)值向量A的數(shù)量積來(lái)表示。其中U1×12是12個(gè)動(dòng)作單元的概率向量；I1×12是 12個(gè)動(dòng)作單元的強(qiáng)度向量；情感指數(shù)的分布區(qū)間為[-1,1]，指數(shù)的高低代表了不同的情感：1代表著快樂(lè)、0代表著中性、-1代表著傷心，情感指數(shù)的可視化分析圖表(折線(xiàn)圖、雷達(dá)圖)可應(yīng)用于在線(xiàn)課堂的課堂反饋，對(duì)其進(jìn)行數(shù)據(jù)分析和處理。

由于情感相關(guān)度矩陣的每一行為同一動(dòng)作單元在不同方面對(duì)情緒值強(qiáng)度的影響，因此情緒指數(shù)計(jì)算為矩陣行向量貢獻(xiàn)的累積。在應(yīng)用中，我們并不希望情緒指數(shù)是無(wú)限擴(kuò)大的，這樣不利于數(shù)據(jù)進(jìn)一步推理及參與計(jì)算，因此需要一個(gè)光滑閾值函數(shù)對(duì)離散因變量進(jìn)行連續(xù)值預(yù)估，而由于Sigmoid函數(shù)是一個(gè)具有多個(gè)優(yōu)秀特征的閾值函數(shù)，其非線(xiàn)性及光滑特性滿(mǎn)足了情緒相關(guān)度矩陣離散值到連續(xù)值的映射，因此以其為基礎(chǔ)進(jìn)行情緒指數(shù)計(jì)算，并保證積極情緒大于0，消極情緒小于0，分別分布在中性表情的兩端。

(5)

映射過(guò)程如式(5)，計(jì)算得到的情緒指數(shù)取值區(qū)間在[-1，1]，符合消極情緒為負(fù)值，積極情緒為正值的表達(dá)，并且確保了中性表情介于正負(fù)值之間的客觀事實(shí)。

1.2 模型建模與動(dòng)畫(huà)綁定

由于本文方法基于FACS標(biāo)準(zhǔn)，即通過(guò)AU及強(qiáng)度的組合驅(qū)動(dòng)模型生成動(dòng)畫(huà)表情，因此模型需包含3層：骨骼層、肌肉層、皮膚紋理層。動(dòng)作單元的實(shí)質(zhì)即基于解剖學(xué)原理將臉部肌肉劃分為獨(dú)立的肌肉單元，因此需對(duì)3層關(guān)系的配置進(jìn)行精細(xì)劃分和建模。DAZ Studio是一款可簡(jiǎn)單高速地進(jìn)行人物、動(dòng)畫(huà)設(shè)計(jì)的軟件，通過(guò)該軟件對(duì)人物模型進(jìn)行動(dòng)畫(huà)創(chuàng)建，生成動(dòng)畫(huà)曲線(xiàn)和形變目標(biāo)，為模型的表情生成創(chuàng)造條件。通過(guò)DAZ Studio實(shí)現(xiàn)建模與動(dòng)畫(huà)綁定，提供4種虛擬替身，雖然形象不同，但是表情生成效果相同，增加了動(dòng)畫(huà)表情生成方法的可選擇性和可靠性。

分別對(duì)眉毛、眼睛、鼻子、嘴唇和臉頰肌肉進(jìn)行了動(dòng)畫(huà)綁定。對(duì)選定的12個(gè)動(dòng)作單元綁定動(dòng)畫(huà)生成對(duì)應(yīng)的動(dòng)畫(huà)曲線(xiàn)。完成AU和面部的動(dòng)畫(huà)曲線(xiàn)綁定后，即可以通過(guò)AU的不同組合來(lái)生成三維表情。通過(guò)腳本進(jìn)行套接字監(jiān)聽(tīng)，實(shí)時(shí)獲取AU參數(shù)，驅(qū)動(dòng)對(duì)應(yīng)的動(dòng)畫(huà)曲線(xiàn)和形變目標(biāo)，從而生成面部表情。每個(gè)AU對(duì)應(yīng)5個(gè)強(qiáng)度，每類(lèi)強(qiáng)度驅(qū)動(dòng)動(dòng)畫(huà)曲線(xiàn)的形變程度進(jìn)而生成精細(xì)表情。

2 方法驗(yàn)證與分析

為證明本文方法在在線(xiàn)學(xué)習(xí)過(guò)程中的有效性，邀請(qǐng)了在在線(xiàn)教育中擔(dān)任不同角色的被試者進(jìn)行評(píng)估。共計(jì)19位被試者進(jìn)行測(cè)試數(shù)據(jù)采集，被試者的男女比例約為1∶3，年齡分布在15～26歲。被試者提供一段視頻，包含學(xué)習(xí)過(guò)程中會(huì)出現(xiàn)的情感表情。將視頻作為方法的輸入，得到情感指數(shù)并在視頻中標(biāo)注將其反饋給評(píng)估人員。

2.1 情感指數(shù)的評(píng)估

用戶(hù)評(píng)估：每段測(cè)試視頻由3組人員進(jìn)行評(píng)估，對(duì)算法生成的情感指數(shù)同真實(shí)情感的符合程度進(jìn)行評(píng)分。3組評(píng)估方式分別為被試者自我評(píng)價(jià)、其他被試者評(píng)價(jià)、教師小組評(píng)價(jià)三大類(lèi)，其中教師組由3名有網(wǎng)絡(luò)教學(xué)經(jīng)驗(yàn)的教師組成。

評(píng)估的對(duì)象共3個(gè)：① 評(píng)估者挑選出整段視頻中同真實(shí)情感符合度最高的情感指數(shù)，對(duì)其進(jìn)行評(píng)分；② 評(píng)估者挑選出整個(gè)視頻中最偏離真實(shí)情感的指數(shù)，對(duì)其進(jìn)行評(píng)分；③對(duì)算法生成的情感指數(shù)同真實(shí)情感的整體符合度進(jìn)行評(píng)分。評(píng)估分?jǐn)?shù)區(qū)間為0-100，0代表情感指數(shù)同真實(shí)情感極不符合，100代表情感指數(shù)同真實(shí)情感完全符合。表1展示了19組測(cè)試視頻經(jīng)3組評(píng)估后加權(quán)平均的分?jǐn)?shù)。

表1 19名被試者對(duì)視頻中情感指數(shù)和真實(shí)情感符合程度的評(píng)估分?jǐn)?shù)

2.2 情感指數(shù)的評(píng)估分析

基于標(biāo)有情感指數(shù)的視頻，被試者對(duì)情感指數(shù)與真實(shí)情感的符合程度打分，評(píng)分結(jié)果如表1所示。觀察表中所示數(shù)據(jù)發(fā)現(xiàn)：同真實(shí)情感最符合的情感為快樂(lè)，最偏離的情感為嫌棄。經(jīng)分析識(shí)別過(guò)程可知，由于不同個(gè)體在表達(dá)情感的過(guò)程中面部肌肉發(fā)生形變僅為表達(dá)方式之一，部分人通過(guò)眼球的轉(zhuǎn)動(dòng)表達(dá)情感，因此情感識(shí)別部分仍有完善的空間。

置信區(qū)間給定一個(gè)范圍，該范圍內(nèi)的種群參數(shù)的真實(shí)值以一定的概率落在該范圍內(nèi)，種群參數(shù)落在該范圍內(nèi)的概率為置信水平。對(duì)于置信水平的選擇，統(tǒng)計(jì)上一般認(rèn)為95%置信水平的結(jié)果具有統(tǒng)計(jì)學(xué)意義?；诒?中的數(shù)據(jù)，對(duì)19個(gè)測(cè)試視頻中情感指數(shù)與真實(shí)情感匹配度的得分進(jìn)行置信度分析，如圖3所示。視頻評(píng)估分?jǐn)?shù)的均值為83.97，均值的置信區(qū)間為[71.14,96.79](置信度95%)。區(qū)間[71.14,96.79]中包含情感指數(shù)總體評(píng)價(jià)得分的總體均值。結(jié)果表明，該算法生成的情感指數(shù)同真實(shí)情感基本一致。

圖3 情感指數(shù)評(píng)估的正態(tài)分布

2.3 表情復(fù)現(xiàn)的評(píng)估分析

針對(duì)動(dòng)畫(huà)表情的生成效果，同樣采用用戶(hù)評(píng)估方式。被試者根據(jù)視頻生成的表情動(dòng)畫(huà)進(jìn)行整體符合度評(píng)判，評(píng)判共有4個(gè)標(biāo)準(zhǔn)：精準(zhǔn)、基本符合、粗糙和偏離。統(tǒng)計(jì)結(jié)果表明：本文方法提供的表情生成方法有著較高的準(zhǔn)確度，共計(jì)80%的用戶(hù)認(rèn)為本文方法生成的動(dòng)畫(huà)表情同真實(shí)表情符合。但仍有20%的用戶(hù)認(rèn)為表情生成粗糙，產(chǎn)生該問(wèn)題的主要原因是動(dòng)作單元數(shù)量的分布不勻與數(shù)量較少，嘴部動(dòng)畫(huà)可被精準(zhǔn)生成，但是對(duì)于皺眉的刻畫(huà)不夠細(xì)微，導(dǎo)致個(gè)別用戶(hù)的表情生成粗糙。針對(duì)此問(wèn)題，可通過(guò)增加AU識(shí)別的數(shù)量，目前涉及到的是12個(gè)AU，主要分布在眉毛、面部與嘴角等位置，可驅(qū)動(dòng)各種類(lèi)型的表情生成，但FACS中還將眼周的肌肉進(jìn)行了定義，因此若將模型表情刻畫(huà)的更加精細(xì)，可增加AU的數(shù)量。

此外，將本文虛擬替身生成表情效果同F(xiàn)ACSHuman[5]的表情生成效果進(jìn)行對(duì)比。FACSHuman是一款用于非語(yǔ)言交流和面部表情研究的軟件。它提供了AU強(qiáng)度調(diào)節(jié)界面，用戶(hù)可以通過(guò)調(diào)整AU的強(qiáng)度靈活組合不同的表達(dá)式。在手動(dòng)設(shè)置AU及其強(qiáng)度的情況下生成的表情是理想的表情生成效果，具有精細(xì)的優(yōu)勢(shì)，但該軟件無(wú)法識(shí)別視頻或照片中的AU組成。本文將視頻中的圖像識(shí)別AU及其強(qiáng)度作為驅(qū)動(dòng)數(shù)據(jù)驅(qū)動(dòng)AVATAR模型生成表情。將生成效果同F(xiàn)ACSHuman進(jìn)行對(duì)比，可以證明本文方法的表情生成效果精細(xì)程度是否能達(dá)到理想生成效果，圖4為生成效果對(duì)比。第1行為帶有標(biāo)注的視頻幀，使用算法識(shí)別出的AU及其強(qiáng)度驅(qū)動(dòng)本文方法提供的虛擬替身與手動(dòng)調(diào)節(jié)軟件，生成動(dòng)畫(huà)表情。第2行為本文方法提供的虛擬替身經(jīng)由AU驅(qū)動(dòng)后的生成效果。第3行為手動(dòng)調(diào)節(jié)生成動(dòng)畫(huà)表情軟件FACSHuman的生成效果。從圖4中可以看出，在確保AU及強(qiáng)度相同的前提下，本文模型動(dòng)畫(huà)表情生成效果同手動(dòng)調(diào)節(jié)AU生成表情的軟件生成效果極其相似，證明本文方法提供的動(dòng)畫(huà)表情生成方法具有準(zhǔn)確的生成效果。

圖4 三維表情生成效果對(duì)比

對(duì)學(xué)習(xí)者進(jìn)行情感監(jiān)督完成課堂反饋是本文方法的目標(biāo)。Harks等[16]在研究中表明：“學(xué)生的學(xué)習(xí)狀態(tài)會(huì)隨著時(shí)間的推移發(fā)生變動(dòng)，積極的學(xué)習(xí)情緒有助于學(xué)生進(jìn)行密集的在線(xiàn)教學(xué)活動(dòng)?！币虼耍粝胫铝τ诮鉀Q在線(xiàn)教學(xué)存在的課堂反饋欠缺問(wèn)題，需對(duì)學(xué)生進(jìn)行連續(xù)的情感監(jiān)督。表2中將本文的方法同當(dāng)前3種擬解決在線(xiàn)教學(xué)存在的問(wèn)題的方法進(jìn)行了要素對(duì)比。

表2 4種方法的要素對(duì)比

表2中分別對(duì)4種方法的要素進(jìn)行對(duì)比，其中方法1和方法2通過(guò)對(duì)在線(xiàn)課程中學(xué)生的言論和聊天文本進(jìn)行情感分析，從而達(dá)到反饋的目的。方法1通過(guò)對(duì)多語(yǔ)言學(xué)生反饋的教師績(jī)效和課程滿(mǎn)意度進(jìn)行情感分析。方法2可幫助學(xué)生意識(shí)到他們的情緒，克服可能出現(xiàn)的悲傷情緒，提高學(xué)生預(yù)期和信任，并成功地完成學(xué)習(xí)任務(wù)。

但通過(guò)對(duì)評(píng)論和文本互動(dòng)來(lái)判定學(xué)生的情感的方法具有局限性，學(xué)習(xí)過(guò)程中學(xué)生更多的情感流露在面部，并且由于在線(xiàn)教學(xué)的無(wú)監(jiān)督問(wèn)題對(duì)文字和評(píng)論的可靠性產(chǎn)生影響，因此，若想長(zhǎng)期反應(yīng)學(xué)生的學(xué)習(xí)狀態(tài)，最優(yōu)的方式是通過(guò)面部情感分析。同方法1、2相比，本文方法對(duì)學(xué)習(xí)過(guò)程中學(xué)生的面部情感進(jìn)行分析，相比文字情感分析更加準(zhǔn)確可靠。

方法3同樣運(yùn)用基于面部動(dòng)作單元進(jìn)行情感分析的模型，涉及8種基礎(chǔ)情緒，該方法通過(guò)檢測(cè)學(xué)生的情緒狀態(tài)并反饋給學(xué)生，以幫助他們將消極情緒轉(zhuǎn)變?yōu)榉e極情緒并提高參與度。與其相比，本文方法則通過(guò)虛擬替身對(duì)學(xué)習(xí)者的表情進(jìn)行連續(xù)的復(fù)現(xiàn)，并對(duì)其進(jìn)行連續(xù)情感監(jiān)督，將其反饋給教師作為課堂實(shí)況反饋，解決課堂反饋不充足的問(wèn)題。

3 實(shí)驗(yàn)結(jié)果

本文中提出的方法旨在解決在線(xiàn)教育的情感缺失問(wèn)題，為教師提供兩類(lèi)課堂反饋方式。第一類(lèi)為驅(qū)動(dòng)虛擬替身生成的表情動(dòng)畫(huà)，即學(xué)生學(xué)習(xí)狀態(tài)的表情復(fù)現(xiàn)。由于直播形式的在線(xiàn)課程會(huì)產(chǎn)生對(duì)學(xué)生肖像隱私的泄露問(wèn)題，因此，本文提供虛擬替身對(duì)學(xué)習(xí)過(guò)程中的表情變化進(jìn)行復(fù)現(xiàn)。對(duì)教師而言，可以通過(guò)虛擬替身的表情復(fù)現(xiàn)直觀地觀察學(xué)生的學(xué)習(xí)狀態(tài)，了解到學(xué)生在學(xué)習(xí)過(guò)程中真實(shí)情感的流露。第二類(lèi)為情感監(jiān)督的可視化分析，即對(duì)學(xué)生學(xué)習(xí)過(guò)程的情感識(shí)別，可根據(jù)連續(xù)情感指數(shù)生成情感分布雷達(dá)圖和情感波動(dòng)圖。對(duì)于教師而言，該反饋方式可更直觀地反饋本堂課學(xué)生的情感變化和分布，對(duì)授課內(nèi)容進(jìn)行針對(duì)性地調(diào)整。

3.1 面部學(xué)習(xí)狀態(tài)復(fù)現(xiàn)

本文基于DISFA 數(shù)據(jù)集[18]進(jìn)行測(cè)試，將該數(shù)據(jù)集中的視頻作為系統(tǒng)的輸入。本文截取一組視頻的表情復(fù)現(xiàn)過(guò)程進(jìn)行對(duì)比展示，如圖5所示。圖5中展示了4種基礎(chǔ)表情的生成效果，第1列為視頻幀截取的圖像，第2到4列為本文提供的4個(gè)虛擬替身的表情生成效果。本文方法可以將視頻的幀圖像生成動(dòng)畫(huà)表情，將其作為課堂反饋的一種形式提供給教師，教師可以通過(guò)生成的動(dòng)畫(huà)表情來(lái)判斷該時(shí)刻的真實(shí)情感，可以解決在線(xiàn)教學(xué)中存在的無(wú)監(jiān)督問(wèn)題。

圖5 課堂反饋I：動(dòng)畫(huà)表情生成

3.2 情感指數(shù)可視化

將情感指數(shù)映射到一維軸上，積極情緒與消極情緒分布在兩端，以當(dāng)前的人臉動(dòng)作單元發(fā)生概率和強(qiáng)度識(shí)別為基礎(chǔ)構(gòu)造情感相關(guān)度矩陣，計(jì)算得到情感指數(shù)。由于連續(xù)的情感指數(shù)能波動(dòng)且直觀地反映出情感變化情況，因此對(duì)情感指數(shù)可視化可為學(xué)生的情感監(jiān)督提供一種反饋形式。本文中展示了2種可視化形式：情感波動(dòng)圖與情感分布圖，從連續(xù)與總體2個(gè)角度對(duì)學(xué)生的情感進(jìn)行監(jiān)督。

如圖6展示的分析方法是學(xué)生連續(xù)情感指數(shù)折線(xiàn)圖，直觀地反映出學(xué)習(xí)過(guò)程中整體的學(xué)習(xí)狀態(tài)變化，教師可針對(duì)本堂課學(xué)生最常出現(xiàn)的學(xué)習(xí)狀態(tài)調(diào)整授課內(nèi)容、難易程度和授課方式。

圖6 課堂反饋Ⅱ：學(xué)生情緒波動(dòng)曲線(xiàn)

除監(jiān)控每個(gè)學(xué)生的情緒波動(dòng)外，老師可以觀察到每位學(xué)生的情緒分布情況。分析方法如圖7所示，直觀地反映出該學(xué)生在整個(gè)學(xué)習(xí)過(guò)程中的狀態(tài)。教師可以根據(jù)學(xué)生在課堂上最常見(jiàn)的學(xué)習(xí)狀態(tài)來(lái)調(diào)整教學(xué)內(nèi)容和方法。

圖7 課堂反饋Ⅲ：某學(xué)生的情感分布圖

情感指數(shù)可為在線(xiàn)教育的課堂反饋提供基礎(chǔ)數(shù)據(jù)，在此基礎(chǔ)上可進(jìn)行多種情感分析。除了上述2種可視化方式，還可以通過(guò)大數(shù)據(jù)分析的方式對(duì)學(xué)生進(jìn)行情感分析，如將情感指數(shù)同學(xué)習(xí)成績(jī)相結(jié)合，提出個(gè)性化的學(xué)習(xí)指導(dǎo)方案，提升在線(xiàn)教育的學(xué)習(xí)效率。

4 結(jié)論

為解決在線(xiàn)教學(xué)中無(wú)監(jiān)督學(xué)習(xí)和課堂反饋不足的問(wèn)題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)從2D視頻中生成3D動(dòng)畫(huà)表情并進(jìn)行情感監(jiān)控的方法。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別人臉動(dòng)作單元并預(yù)測(cè)視頻每幀的情感指數(shù)，通過(guò)軟件建模綁定面部骨骼和表情動(dòng)畫(huà)從而生成動(dòng)畫(huà)曲線(xiàn)。通過(guò)用戶(hù)評(píng)估和實(shí)驗(yàn)對(duì)比，結(jié)果表明：該算法生成的情感指數(shù)同真實(shí)情緒基本一致，得到了被試者的認(rèn)可；動(dòng)畫(huà)表情生成效果同手動(dòng)調(diào)節(jié)軟件的表情生成效果一致。本文方法可向教師提供兩大類(lèi)可視化反饋：學(xué)習(xí)過(guò)程的表情復(fù)現(xiàn)及情感指數(shù)分析。通過(guò)對(duì)課堂反饋方式分析，可以看出本文提供的2種可視化結(jié)果能為在線(xiàn)教學(xué)中存在的無(wú)監(jiān)督問(wèn)題提供一種解決方案，除此之外，虛擬替身的表情動(dòng)畫(huà)生成保護(hù)了學(xué)生的面部隱私。未來(lái)，將在更多的在線(xiàn)教育平臺(tái)上部署該方法，進(jìn)一步研究情感反饋。