深度學(xué)習(xí)支持下的情感識(shí)別探討

陳艷

摘要：隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，深度學(xué)習(xí)逐漸成為人工智能領(lǐng)域的研究重點(diǎn)。在情感識(shí)別領(lǐng)域，深度學(xué)習(xí)也有著極為強(qiáng)大的理論與技術(shù)優(yōu)勢(shì)，其能夠顯著提升情感識(shí)別的準(zhǔn)確性。同時(shí)，深度學(xué)習(xí)下的情感識(shí)別對(duì)于智慧化學(xué)習(xí)環(huán)境的營(yíng)造有著積極意義，所以將之應(yīng)用到教育教學(xué)工作中是切實(shí)可行的。本文對(duì)深度學(xué)習(xí)進(jìn)行了簡(jiǎn)單介紹，并分析了當(dāng)前情感識(shí)別的研究進(jìn)展，進(jìn)而對(duì)深度學(xué)習(xí)支持下的情感識(shí)別構(gòu)建和應(yīng)用展開(kāi)探討。

關(guān)鍵詞：情感識(shí)別;深度學(xué)習(xí);智慧化學(xué)習(xí)

中圖分類(lèi)號(hào)： TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）06-0183-03

Abstract： with the development of artificial neural network technology， deep learning has gradually become the research focus in the field of artificial intelligence. In the field of emotion recognition， deep learning also has very strong theoretical and technical advantages， which can significantly improve the accuracy of emotion recognition. At the same time， emotional recognition under deep learning has positive significance for the construction of intelligent learning environment， so it is feasible to apply it to education and teaching. This paper briefly introduces deep learning， analyzes the current research progress of emotion recognition， and then discusses the construction and application of emotion recognition supported by deep learning.

Key words： emotion recognition; deep learning; intelligent learning

引言

在現(xiàn)代教育中，各種新技術(shù)的應(yīng)用使得整個(gè)教育教學(xué)與學(xué)習(xí)環(huán)境都更為智慧化，如通過(guò)大數(shù)據(jù)技術(shù)分析學(xué)生的學(xué)習(xí)狀況然后給予針對(duì)性的輔導(dǎo)和教學(xué)調(diào)整。不僅如此，依靠現(xiàn)代技術(shù)所創(chuàng)設(shè)的智慧化學(xué)習(xí)環(huán)境更傾向于對(duì)學(xué)習(xí)者綜合素質(zhì)能力加以引導(dǎo)和培育，即通過(guò)智慧化的學(xué)習(xí)環(huán)境讓學(xué)習(xí)者可以自主組織學(xué)習(xí)、進(jìn)行思考并優(yōu)化學(xué)習(xí)方法，在此過(guò)程中學(xué)習(xí)者的創(chuàng)新能力、解決問(wèn)題能力、決策力以及思辨性都將得到顯著提升。然而，智慧化學(xué)習(xí)環(huán)境的創(chuàng)建離不開(kāi)對(duì)學(xué)習(xí)者情感的判斷，因?yàn)閷W(xué)習(xí)者覺(jué)得學(xué)習(xí)在極大程度上是受情感進(jìn)行支配，情感將影響學(xué)習(xí)者的注意、知覺(jué)、表象、記憶、思維以及語(yǔ)言等一系列認(rèn)知活動(dòng)，所以智慧化學(xué)習(xí)環(huán)境創(chuàng)設(shè)中對(duì)學(xué)習(xí)者的情感識(shí)別就成為其能否提升學(xué)習(xí)者學(xué)習(xí)效率的關(guān)鍵。在現(xiàn)代智能技術(shù)中，深度學(xué)習(xí)為情感識(shí)別提供了一種更強(qiáng)大的技術(shù)支撐，其能夠?qū)崿F(xiàn)對(duì)學(xué)習(xí)者情感更準(zhǔn)確地識(shí)別，因此加強(qiáng)深度學(xué)習(xí)支持下情感識(shí)別的研究更有助于為學(xué)習(xí)者創(chuàng)設(shè)出更智慧化的學(xué)習(xí)環(huán)境，而這也是未來(lái)人類(lèi)教育教學(xué)領(lǐng)域需要研究和探索的重要課題。

1 深度學(xué)習(xí)概述

深度學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)發(fā)展的更高級(jí)階段，其相關(guān)算法、理論與應(yīng)用也是近年來(lái)才開(kāi)始取得較大突破的，并且在短時(shí)間內(nèi)為現(xiàn)代人工智能與大數(shù)據(jù)技術(shù)提供了強(qiáng)大發(fā)展動(dòng)能。深度學(xué)習(xí)最早被提出是在2006年加拿大學(xué)者的研究中出現(xiàn)的，加拿大學(xué)者辛頓等在研究中提出了一種“深度置信網(wǎng)絡(luò)”的神經(jīng)網(wǎng)絡(luò)模型，并以之來(lái)完成數(shù)據(jù)降維。在其研究中將這一神經(jīng)網(wǎng)路模型的特點(diǎn)歸結(jié)為兩方面：一是有著較多隱層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具有獨(dú)特特征的學(xué)習(xí)能力，且能夠有效獲取圖像的本質(zhì)特征;二是可以通過(guò)“逐層初始化”來(lái)不斷克服深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度。這一研究使得深度學(xué)習(xí)成為人工智能時(shí)代的研究主流，并且在后續(xù)的實(shí)踐中進(jìn)一步證實(shí)了深度學(xué)習(xí)的巨大潛力。實(shí)際上，深度學(xué)習(xí)就是針對(duì)擁有深層次結(jié)構(gòu)的模型進(jìn)行訓(xùn)練的一種方法的統(tǒng)稱(chēng)，其在發(fā)展過(guò)程中誕生了多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型與算法，并使得深度學(xué)習(xí)能夠模擬人類(lèi)神經(jīng)網(wǎng)絡(luò)進(jìn)行各種復(fù)雜圖像特征提取和處理，從而進(jìn)行更多復(fù)雜內(nèi)容的識(shí)別。如卷積神經(jīng)網(wǎng)絡(luò)（CNN）就可以對(duì)手寫(xiě)字符、人臉、車(chē)牌等進(jìn)行準(zhǔn)確識(shí)別。

2 情感識(shí)別研究進(jìn)展

情感是人類(lèi)智能的最典型標(biāo)志，也是人類(lèi)所特有的一種復(fù)雜特征。實(shí)際上，人類(lèi)的情感所反映的是人在社會(huì)活動(dòng)中對(duì)客觀事物所抱有的一種態(tài)度，是客觀事物所引起人一種心理反應(yīng)的外在表現(xiàn)形式。其與人的思想認(rèn)知是有著緊密關(guān)聯(lián)的。同時(shí)由于人獨(dú)有的思維意識(shí)的存在，使得人的情感識(shí)別難度極大，因?yàn)槿说闹饔^能動(dòng)意識(shí)可以對(duì)自身情感進(jìn)行一定的演示。所以在對(duì)人類(lèi)情感進(jìn)行識(shí)別的過(guò)程中，需要賦予現(xiàn)代科學(xué)技術(shù)以識(shí)別、理解、表達(dá)情感的能力，而這也正是現(xiàn)代人工智能中所面臨的最大難題。就學(xué)習(xí)者的情感而言，其主要是由學(xué)習(xí)者學(xué)習(xí)過(guò)程中所學(xué)習(xí)的客觀對(duì)象對(duì)其自身心理產(chǎn)生影響的一種外在表現(xiàn)，而這種表現(xiàn)最直接的反映將就是學(xué)習(xí)者面部的表情。而目前針對(duì)情感識(shí)別的研究則主要是圍繞生理信號(hào)、外在行為以及相關(guān)心理測(cè)量來(lái)展開(kāi)的。而在利用人工智能技術(shù)進(jìn)行情感識(shí)別中，最早進(jìn)行的研究就是從人的外顯行為即面部表情、語(yǔ)音表情、姿勢(shì)表情等著手。

在利用面部表情進(jìn)行情感識(shí)別的研究方面，國(guó)內(nèi)外學(xué)者都進(jìn)行了大量研究。如孫波等就依據(jù)艾克曼提出的面部表情編碼系統(tǒng)進(jìn)行了情感分析框架的構(gòu)建，這一框架涉及感知層、傳輸層、數(shù)據(jù)層、分析層與應(yīng)用層，同時(shí)以張量分解算法進(jìn)行表情的識(shí)別。此外，荷蘭學(xué)者巴雷尼等利用網(wǎng)絡(luò)攝像頭與麥克風(fēng)構(gòu)建出學(xué)習(xí)者的學(xué)習(xí)框架FILTWAM，這一框架可以從學(xué)習(xí)者面部表情與語(yǔ)言表達(dá)層面進(jìn)行情感的識(shí)別。印度學(xué)者則將面部表情與生理信息結(jié)合起來(lái)進(jìn)行分析識(shí)別，使情感識(shí)別的依據(jù)維度進(jìn)一步拓展。

此外，國(guó)內(nèi)外學(xué)者還從心理測(cè)量、認(rèn)知評(píng)價(jià)等方面對(duì)情感識(shí)別進(jìn)行了研究，但這些方法中的主觀成分較多，因此很難得到最準(zhǔn)確的識(shí)別結(jié)果。對(duì)此，利用深度學(xué)習(xí)進(jìn)行情感識(shí)別則成為一個(gè)全新的研究領(lǐng)域，且深度學(xué)習(xí)在內(nèi)容識(shí)別上的優(yōu)勢(shì)也為情感識(shí)別提供了更有力的技術(shù)支持。

3 基于深度學(xué)習(xí)的情感識(shí)別訓(xùn)練

在利用深度學(xué)習(xí)理論進(jìn)行情感識(shí)別的過(guò)程中，其主要需要解決兩方面問(wèn)題，一是情感數(shù)據(jù)庫(kù)的構(gòu)建，二是參數(shù)訓(xùn)練。

3.1情感數(shù)據(jù)庫(kù)的構(gòu)建

在進(jìn)行人類(lèi)情感數(shù)據(jù)庫(kù)構(gòu)建時(shí)，首先需要對(duì)人的情感類(lèi)型進(jìn)行分類(lèi)。在這一方面，國(guó)內(nèi)外已經(jīng)有了各種研究。如艾克曼就曾在研究中將人的基本情感分成六種，即高興、驚訝、悲傷、憤怒、恐懼、厭惡。而伊扎德又將人的情感類(lèi)型進(jìn)行了拓展，提出了害羞、輕蔑、興趣與自罪感。這些情感的分類(lèi)都情感數(shù)據(jù)庫(kù)的構(gòu)建有借鑒意義。但在深度學(xué)習(xí)下的數(shù)據(jù)庫(kù)構(gòu)建中，除了需要結(jié)合情感分類(lèi)外，還需要進(jìn)行情感對(duì)應(yīng)表情特征數(shù)據(jù)庫(kù)的構(gòu)建。如在數(shù)據(jù)庫(kù)構(gòu)建過(guò)程中將情感總體分成常態(tài)、高興、憤怒、悲傷、驚恐、專(zhuān)注、厭倦七個(gè)類(lèi)型，然后按照男女性別選擇一定數(shù)量的表情采集對(duì)象并對(duì)這些采集對(duì)象在不同情感下的表情進(jìn)行圖像采集。每種表情下每個(gè)人的表情圖像采集也需要進(jìn)行不同強(qiáng)度表情的圖像采集，然后再將這些表情圖像全部納入深度學(xué)習(xí)的測(cè)試樣本之中以進(jìn)行后續(xù)的參數(shù)訓(xùn)練。

3.2 參數(shù)訓(xùn)練

參數(shù)訓(xùn)練是深度學(xué)習(xí)完成的重要環(huán)節(jié)，關(guān)系到最終情感識(shí)別的有效性和準(zhǔn)確性。在具體操作中，首先需要將前期數(shù)據(jù)庫(kù)構(gòu)建時(shí)采集到的圖像進(jìn)行預(yù)處理，并將之統(tǒng)一成一樣像素的RGB圖像。其次，從現(xiàn)有素材中對(duì)每個(gè)圖像不同角落進(jìn)行截取以對(duì)圖像總數(shù)進(jìn)行進(jìn)一步拓展，擴(kuò)大訓(xùn)練樣本數(shù)量。最后，利用Matlab軟件進(jìn)行樣本訓(xùn)練，最終完成整個(gè)深度學(xué)習(xí)下的情感識(shí)別系統(tǒng)創(chuàng)建。

4 深度學(xué)習(xí)支持下的情感識(shí)別應(yīng)用

深度學(xué)習(xí)支持下的情感識(shí)別最終還是要應(yīng)用到具體的學(xué)習(xí)環(huán)境中，用以營(yíng)造更為智慧化的學(xué)習(xí)環(huán)境。尤其在當(dāng)前教育教學(xué)領(lǐng)域缺少對(duì)學(xué)生情感足夠關(guān)注的情況下，利用情感識(shí)別技術(shù)對(duì)學(xué)生學(xué)習(xí)過(guò)程中的情感進(jìn)行把控，能夠?yàn)槠錉I(yíng)造出更為智慧化的學(xué)習(xí)環(huán)境并提升教育教學(xué)效率。具體而言，深度學(xué)習(xí)支持下的情感識(shí)別應(yīng)用應(yīng)從以下幾方面展開(kāi)：

4.1進(jìn)行學(xué)生模型構(gòu)建

在智慧化學(xué)習(xí)環(huán)境中，學(xué)生作為環(huán)境服務(wù)的主體，其學(xué)習(xí)特征模型將直接決定深度學(xué)習(xí)下情感識(shí)別作用的發(fā)揮。因此情感識(shí)別在具體應(yīng)用中就應(yīng)該重視對(duì)學(xué)生學(xué)習(xí)特征模型進(jìn)行構(gòu)建。具體而言，實(shí)踐中應(yīng)該將學(xué)生在學(xué)習(xí)過(guò)程中的各種特征信息如性別、年齡、知識(shí)水平、認(rèn)知能力等都納入特征信息范疇內(nèi)，同時(shí)還要盡可能地拓展與完善學(xué)生學(xué)習(xí)的特征信息。尤其在智慧化學(xué)習(xí)環(huán)境的打造中，學(xué)生的學(xué)習(xí)情境、偏好、情感、學(xué)業(yè)信息、關(guān)系信息、知識(shí)狀態(tài)等也都應(yīng)該考慮在內(nèi)。而深度學(xué)習(xí)下情感識(shí)別的應(yīng)用就是要求智慧化學(xué)習(xí)環(huán)境構(gòu)建中要不斷更新與完善學(xué)生在情感方面的特征信息模型，從而使情感識(shí)別能夠有效通過(guò)情感來(lái)分辨學(xué)生的學(xué)習(xí)狀態(tài)，進(jìn)而為教育教學(xué)工作者調(diào)整教學(xué)方法，優(yōu)化學(xué)習(xí)環(huán)境提供依據(jù)。

4.2 強(qiáng)化學(xué)生學(xué)習(xí)中的情感交互

學(xué)生的學(xué)習(xí)過(guò)程是動(dòng)態(tài)化的，雖然素質(zhì)教育強(qiáng)調(diào)發(fā)揮學(xué)生的主觀能動(dòng)性，但學(xué)生學(xué)習(xí)過(guò)程中的情感狀態(tài)也是不容忽視的。尤其在智慧化學(xué)習(xí)環(huán)境的營(yíng)造中，更要求根據(jù)學(xué)生的學(xué)習(xí)狀態(tài)去為其提供幫助，調(diào)整其學(xué)習(xí)狀態(tài)，因此教育教學(xué)和學(xué)習(xí)環(huán)境營(yíng)造中與學(xué)生的情感交互也是十分關(guān)鍵的。具體而言，深度學(xué)習(xí)支持下的情感識(shí)別需要準(zhǔn)確地對(duì)每個(gè)學(xué)生的學(xué)習(xí)狀況進(jìn)行監(jiān)測(cè)，根據(jù)其學(xué)習(xí)過(guò)程中的情感變化來(lái)準(zhǔn)確判斷其學(xué)習(xí)情況，進(jìn)而為教師和智慧化學(xué)習(xí)環(huán)境提供相關(guān)數(shù)據(jù)。然后教育教學(xué)人員根據(jù)數(shù)據(jù)來(lái)對(duì)學(xué)生提供更為個(gè)性化、智慧化的教育教學(xué)服務(wù)，并給予其情感問(wèn)題的解決，使學(xué)生學(xué)習(xí)中形成與教師和學(xué)習(xí)環(huán)境的良好情感交互，從而讓學(xué)生的情感得到調(diào)節(jié)，始終保持良好的學(xué)習(xí)狀態(tài)。從這一角度講，深度學(xué)習(xí)支持下的情感識(shí)別應(yīng)用實(shí)際上是為教育教學(xué)者優(yōu)化教學(xué)提供了一個(gè)重要的手段，有助于現(xiàn)代教育中轉(zhuǎn)變以往重知識(shí)而輕情感的狀況，進(jìn)而提升教育教學(xué)工作的科學(xué)性和人性化水平。

4.3 挖掘?qū)W生學(xué)習(xí)行為背后的潛在信息

學(xué)習(xí)行為是學(xué)生在某種動(dòng)機(jī)引導(dǎo)下而產(chǎn)生的一系列學(xué)習(xí)活動(dòng)的總稱(chēng)。是學(xué)生內(nèi)在思想與心理活動(dòng)的外在表現(xiàn)。因此，學(xué)生學(xué)習(xí)行為往往蘊(yùn)含著許多潛在信息。在以往的智慧化學(xué)習(xí)環(huán)境中，雖然依靠大數(shù)據(jù)手段也能夠?qū)W(xué)生的學(xué)習(xí)情況進(jìn)行反饋，但卻不能對(duì)學(xué)生學(xué)習(xí)行為背后的潛在信息即學(xué)生的思想與心理活動(dòng)等進(jìn)行反饋，這就使得教育教學(xué)所提供的服務(wù)往往缺乏有效性。因此將深度學(xué)習(xí)支持下的情感識(shí)別應(yīng)用到智慧化學(xué)習(xí)環(huán)境中，就可以透過(guò)學(xué)生的情感信息來(lái)挖掘其學(xué)習(xí)行為背后的潛在信息，進(jìn)而為教育教學(xué)工作提供更為科學(xué)有效的學(xué)生信息。實(shí)踐中，情感識(shí)別需要將每一種情感背后所對(duì)應(yīng)的學(xué)生行為信息進(jìn)行完善，然后依靠情感識(shí)別所得到的情感數(shù)據(jù)去深入挖掘?qū)W生情感行為背后的相關(guān)心理活動(dòng)、思想狀態(tài)，進(jìn)而找到學(xué)生的現(xiàn)實(shí)需求并為其提供針對(duì)性的學(xué)習(xí)資源供應(yīng)，從而在最大程度上提升教育教學(xué)的智慧化水平。

5 結(jié)束語(yǔ)

綜上所述，深度學(xué)習(xí)理論和相關(guān)技術(shù)的誕生有助于人工智能領(lǐng)域?qū)崿F(xiàn)對(duì)人類(lèi)情感的準(zhǔn)確識(shí)別。而這種情感識(shí)別應(yīng)用到教育教學(xué)過(guò)程中則可以對(duì)學(xué)習(xí)者學(xué)習(xí)過(guò)程中的情感狀態(tài)進(jìn)行準(zhǔn)確識(shí)別，從而更有效地反映出學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。這一技術(shù)在教育教學(xué)實(shí)踐和智慧化學(xué)習(xí)環(huán)境營(yíng)造中的應(yīng)用將進(jìn)一步改善當(dāng)前教育教學(xué)工作的現(xiàn)狀，并提升教育教學(xué)工作水平，推動(dòng)教學(xué)改革。因此，相關(guān)領(lǐng)域應(yīng)在未來(lái)進(jìn)一步加大對(duì)該技術(shù)的研究力度，從而使其能夠更廣泛地應(yīng)用到不同的學(xué)習(xí)場(chǎng)景中。

參考文獻(xiàn)：

[1] 鄔晶晶.基于深度學(xué)習(xí)的情緒識(shí)別技術(shù)[D].中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院），2020.

[2] 劉元震.基于深度學(xué)習(xí)的人臉面部情感識(shí)別的研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2017.

[3] 林平榮，侯志，文貴華.基于深度學(xué)習(xí)的情感識(shí)別開(kāi)放平臺(tái)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（6）：1510-1514.

[4] 陳曉東.基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別[D].廣州：華南理工大學(xué)，2015.

【通聯(lián)編輯：唐一東】