基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別技術(shù)研究

姜冰 王慧瑩 陳晨 鐘幸麗 王顯龍

摘要：隨著我國(guó)科學(xué)與技術(shù)的高速發(fā)展，人臉情緒識(shí)別技術(shù)擁有廣闊的應(yīng)用前景，但傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的人臉情緒識(shí)別效果不佳。文章將對(duì)基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別技術(shù)進(jìn)行分析，并對(duì)基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別技術(shù)未來(lái)發(fā)展前景進(jìn)行探討。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；人臉情緒識(shí)別；AlexNet

中圖分類號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）27-0024-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

人臉情緒識(shí)別技術(shù)很好地將計(jì)算機(jī)技術(shù)與生物學(xué)融合在一起，此技術(shù)通過(guò)網(wǎng)絡(luò)模型提取和識(shí)別采集人臉情緒面部特征圖像，根據(jù)人類習(xí)慣性的面部變化，判斷圖像所表達(dá)的情緒[1]。人臉情緒一直是人行為分析的重點(diǎn)，人臉情緒識(shí)別技術(shù)在各領(lǐng)域都有著廣泛的應(yīng)用。在心理學(xué)領(lǐng)域，情緒識(shí)別技術(shù)和其他行為分析技術(shù)能夠幫助研究人員獲取多方面、更加準(zhǔn)確的數(shù)據(jù)。在兒童教育領(lǐng)域，利用情緒識(shí)別技術(shù)可以對(duì)教學(xué)成果進(jìn)行評(píng)估，并針對(duì)兒童的不同反應(yīng)，選擇適合他們的教育方式；在醫(yī)療領(lǐng)域，可以通過(guò)人臉情緒識(shí)別評(píng)估患者的疼痛程度或抑郁程度。除此之外，情緒識(shí)別還可應(yīng)用于護(hù)理領(lǐng)域、交通駕駛領(lǐng)域等?，F(xiàn)有技術(shù)中，因?yàn)榍榫w識(shí)別設(shè)備的復(fù)雜，應(yīng)用不夠廣泛，使用也不夠方便。因此，提供一種使用方便、適用范圍廣、識(shí)別準(zhǔn)確率高的基于圖像識(shí)別的情緒識(shí)別判定方法是非常有必要的。下文將從AlexNet卷積神經(jīng)網(wǎng)絡(luò)的角度出發(fā)，進(jìn)行人臉情緒識(shí)別的技術(shù)分析與研究。

2 人臉情緒識(shí)別的主要技術(shù)

人臉情緒識(shí)別技術(shù)是在基于人臉情緒生物特征識(shí)別基礎(chǔ)上，運(yùn)用計(jì)算機(jī)技術(shù)參考對(duì)照加以分類認(rèn)證情緒類別，進(jìn)而完成對(duì)人臉情緒識(shí)別的過(guò)程。此技術(shù)同時(shí)涉及計(jì)算機(jī)科學(xué)、生物學(xué)、心理學(xué)等眾多學(xué)科[2]。一般的情緒識(shí)別受背景環(huán)境等非人為干擾因素影響較大，通常識(shí)別效果不佳。AlexNet模型是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的重要模型之一，AlexNet的高性能更適用于當(dāng)今飛速發(fā)展的信息時(shí)代。此外，區(qū)域特征分析算法近幾年也在人臉識(shí)別技術(shù)中被人們廣泛應(yīng)用，與計(jì)算機(jī)圖像學(xué)相融合，將情緒識(shí)別的圖像處理相關(guān)技術(shù)與生物統(tǒng)計(jì)學(xué)相關(guān)原理結(jié)合，采用圖像處理技術(shù)提取視頻中的人像特征點(diǎn)，另外使用統(tǒng)計(jì)學(xué)有關(guān)原理進(jìn)行一系列分析建模。人臉情緒捕獲與跟蹤功能也起到了關(guān)鍵作用，即從圖像或視頻流的某一幀中檢測(cè)出人像并且使人像能夠單獨(dú)分離出來(lái)，并自動(dòng)將其保存。人像跟蹤是指利用上述人像捕獲技術(shù)，當(dāng)出現(xiàn)人臉情緒時(shí)自動(dòng)地對(duì)其進(jìn)行追蹤。通常來(lái)說(shuō)，實(shí)現(xiàn)人臉情緒識(shí)別最關(guān)鍵的一步是提取表情特征，依照?qǐng)D像中的臉部特征以及表情細(xì)節(jié)變化等相關(guān)特征數(shù)據(jù)化的表現(xiàn)，即可得出精確的提取以及分析，其次將圖片導(dǎo)入建立的系統(tǒng)數(shù)據(jù)庫(kù)中做對(duì)比，最后得到相應(yīng)結(jié)論。理論分析看起來(lái)簡(jiǎn)單易懂，不過(guò)實(shí)際應(yīng)用起來(lái)卻困難重重，此過(guò)程極易受到光線強(qiáng)度及其他因素的干擾，人臉情緒本身復(fù)雜的表情以及化妝等因素更增加了難度。因此本文研究分析了基于AlexNet的情緒識(shí)別技術(shù)，包括圖片預(yù)處理、卷積神經(jīng)網(wǎng)絡(luò)以及情緒識(shí)別算法，以便更好地改善這一問(wèn)題。

2.1 人臉情緒圖片預(yù)處理技術(shù)

在人臉識(shí)別過(guò)程，人臉圖片預(yù)處理是一個(gè)重要環(huán)節(jié)。圖片在輸入時(shí)，由于圖片采集環(huán)境的不相同，比如光照的明暗程度和設(shè)備性能的優(yōu)劣等，會(huì)存在對(duì)比度不夠、有噪聲等缺點(diǎn)。另外，人臉在整幅圖片中間的大小和位置會(huì)因?yàn)榫嚯x遠(yuǎn)近、焦距大小等而不確定，從而影響人臉?biāo)惴ǖ淖R(shí)別準(zhǔn)確率。因此，為了確保人臉圖片中人臉的大小，位置以及人臉圖片質(zhì)量的一致性，必須對(duì)圖片采用預(yù)處理技術(shù)。

人臉圖片預(yù)處理技術(shù)的方法主要包括人臉的扶正、人臉圖片的增強(qiáng)以及歸一化等。人臉的扶正需要通過(guò)人臉關(guān)鍵點(diǎn)對(duì)人臉做對(duì)齊校準(zhǔn)，從而得到人臉位置端正的人臉圖片；圖片增強(qiáng)就是指在人臉圖像清晰度逐步提高的過(guò)程中，使得計(jì)算機(jī)處理和識(shí)別圖片更加方便有利。而歸一化工作則是使得到的灰度取值范圍以及尺寸達(dá)到高度相似。通過(guò)人臉圖片的預(yù)處理，將采集到的人臉圖片進(jìn)行過(guò)濾、旋轉(zhuǎn)、移動(dòng)、調(diào)節(jié)灰度、等比例放大縮小、歸一化姿態(tài)等幾個(gè)基本處理步驟，得到在尺寸大小、距離長(zhǎng)短、光線強(qiáng)度標(biāo)準(zhǔn)化的人臉圖片，以此提高人臉?biāo)惴ǖ淖R(shí)別準(zhǔn)確率。

2.2 卷積神經(jīng)網(wǎng)絡(luò)技術(shù)

在神經(jīng)網(wǎng)絡(luò)理論中比較關(guān)鍵的組成部分就是卷積神經(jīng)網(wǎng)絡(luò)模型，該模型可以實(shí)現(xiàn)對(duì)人類大腦結(jié)構(gòu)及其功能做出一系列數(shù)據(jù)化的模擬反應(yīng)[3]。卷積神經(jīng)網(wǎng)絡(luò)需要通過(guò)多層的神經(jīng)網(wǎng)絡(luò)組合起來(lái)運(yùn)用。卷積神經(jīng)網(wǎng)絡(luò)使得全連接層上的參數(shù)明顯減少，提高整體的網(wǎng)絡(luò)訓(xùn)練速度，避免出現(xiàn)過(guò)擬合問(wèn)題。在圖像識(shí)別的過(guò)程中，神經(jīng)元僅需要辨識(shí)該圖像的局部特征，而非整體特征，即可使得圖像識(shí)別的精準(zhǔn)程度和圖像識(shí)別的速度得到提升。一般情況下，卷積神經(jīng)網(wǎng)絡(luò)通常由輸入層、卷積層、池化層、全連接層組成，如圖1所示。

3 情緒識(shí)別算法

情緒識(shí)別算法比較復(fù)雜，但基本步驟大致如下：首先獲取若干人臉情緒表情圖像，可使用攝像頭采集對(duì)象面部表情圖像；接下來(lái)對(duì)表情圖像進(jìn)行預(yù)處理，對(duì)獲得的表情圖像進(jìn)行剪切處理，去除頭發(fā)、背景、輪廓等區(qū)域，而后對(duì)表情圖像進(jìn)行尺度歸一化和灰度歸一化處理，獲得純?nèi)四樓榫w圖像；接著進(jìn)行表情特征提取，提取面部關(guān)鍵特征點(diǎn)的位置作為特征區(qū)域，關(guān)鍵特征點(diǎn)包括眉毛、眼瞼、嘴唇、下巴等，并對(duì)關(guān)鍵特征點(diǎn)進(jìn)行強(qiáng)度分級(jí)，生成表情特征圖像；最后進(jìn)行情緒識(shí)別判定，用提取的表情特征圖像與數(shù)據(jù)庫(kù)中的標(biāo)準(zhǔn)表情圖像進(jìn)行對(duì)比分析，并識(shí)別判定。本文在進(jìn)行相關(guān)面部圖像表情采集的過(guò)程中運(yùn)用了網(wǎng)絡(luò)爬蟲(chóng)數(shù)據(jù)采集技術(shù)，此方法只需要使用互聯(lián)網(wǎng)爬蟲(chóng)技術(shù)便可以自動(dòng)進(jìn)行圖像獲取，再使用圖像數(shù)據(jù)爬取技術(shù)即可把爬取到的數(shù)據(jù)存儲(chǔ)下來(lái)，極大地提高了數(shù)據(jù)采集效率。

3.1數(shù)據(jù)預(yù)處理

在進(jìn)行相關(guān)原始數(shù)據(jù)處理之前，將收集的正面且無(wú)任何遮擋的人臉情緒圖像，進(jìn)行剔除多余背景信息的操作，再存入數(shù)據(jù)庫(kù)中。對(duì)已存入數(shù)據(jù)庫(kù)中并且已經(jīng)處理過(guò)的圖像進(jìn)行統(tǒng)一修改，使其尺寸相同、格式一致。另外，人臉情緒表情數(shù)據(jù)信息采集后需要統(tǒng)一改為JPG格式，以便后續(xù)算法對(duì)其的處理。

3.2 利用AlexNet模型進(jìn)行情緒識(shí)別

首先，對(duì)原始圖片做一定比例的縮放，之后裁剪滑動(dòng)框里移動(dòng)的圖片，并進(jìn)行相應(yīng)的預(yù)處理，隨后將預(yù)處理后的圖片傳輸?shù)接?xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行下一步的判斷，根據(jù)得到的判定矩陣，反向?qū)ふ掖嘶瑒?dòng)框在原始圖片中對(duì)應(yīng)的坐標(biāo)，最后截取到的圖片即為所需要的人臉情緒圖像，AlexNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

4 情緒識(shí)別的流程

情緒識(shí)別采用特征臉?lè)?，將一部分圖集轉(zhuǎn)換為一個(gè)特征向量集，運(yùn)用投影點(diǎn)在此空間內(nèi)相應(yīng)的方向和長(zhǎng)度判斷位置，用PCA技術(shù)做空間變化，進(jìn)而得到不同的特征向量。通過(guò)此方法可以準(zhǔn)確定位人臉情緒特征，顯著提高人臉情緒識(shí)別的效率。特征臉?lè)椒ǖ膶?shí)現(xiàn)過(guò)程如下：

首先，獲取集合S，其中包含M張人臉圖像。將每張圖像轉(zhuǎn)換成一個(gè)N維的向量排成一行，把這M個(gè)向量放到一個(gè)集合S里，如式（1）所示：

S = {Γ1，Γ2，Γ3，...，[ΓM]}? ? ? ? ? ? ? ? ? ? ? ? （1）[5]

然后根據(jù)獲取到的人臉情緒向量集合S，計(jì)算平均圖像Ψ ，如公式（2）所示：

Ψ = [1Mn=1MΓn]? ? ? ? ? ? ? ? ? ? ? ? （2）[5]

再通過(guò)S集合里的每個(gè)元素減去Ψ，來(lái)計(jì)算每張圖像和平均圖像的差值Φ，如公式（3）所示：

Φi = [Γ]i-Ψ? ? ? ? ? ? ? ? ? ? ? ?（3）[5]

通過(guò)M個(gè)正交的單位向量un ，來(lái)描述Φ（步驟三中的差值）分布。通過(guò)下式（4）計(jì)算un里面的第k（k=1，2，3...M）個(gè)向量uk，如下所示：

λk? = [1Mn=1M（uTkΦn）]2? ? ? ? ? ? ? ? ? ? ? ?（4）[5]

uk 在特征值λk取到最小的值時(shí)就可以基本確定了。當(dāng)這M個(gè)向量是單位長(zhǎng)度的而且是相互正交時(shí)，uk 需要滿足公式（5），如下所示：

[uTluk] = [δlk] = [1? ? ? ? ? if? ? l=k 0? ? ? ?otherwise]? ? ? ? ? ? ? ? ? ? ? ?（5）[5]

接下來(lái)，計(jì)算協(xié)方差矩陣的特征向量（特征臉），如公式（6）所示：

C = [1Mn=1MΦnΦTn] = AAT? ? ? ? ? ? ? ? ? ? ? ?（6）[5]

其中A=｛Φ1，Φ2，Φ3，... ，[Φ]n｝。如果訓(xùn)練圖像的數(shù)量比圖像的維數(shù)小時(shí)，比如（M

再將訓(xùn)練集圖像和測(cè)試集圖像都投影到特征向量空間中，對(duì)于獲得的新的人臉情緒，我們用特征臉對(duì)其進(jìn)行表示，如公式（7）所示：

[ωk]=[uTk（Γ-Ψ）]? ? ? ? ? ? ? ? ? ? ? ? （7）[5]

其中k=1，2...M，上式可以計(jì)算第k個(gè)特征臉uk對(duì)應(yīng)的權(quán)重，M個(gè)權(quán)重就可以組成一個(gè)向量，即[ΩT] = [ω1，ω2，... ，ωM]，以此得到特征臉對(duì)人臉情緒的表示。

最后進(jìn)行人臉情緒識(shí)別，如公式（8）所示：

[εk] = ‖Ω-[Ωk]‖2? ? ? ? ? ? ? ? ? ? ? ? ? ? （8）[5]

其中Ω代表要識(shí)別的人臉情緒，Ωk代表訓(xùn)練集內(nèi)的其中一個(gè)人臉情緒，兩者都是使用特征臉的權(quán)重來(lái)表示的。[εk]是為了計(jì)算兩者之間的歐氏距離，如果距離比閾值小，則表明要判別的臉和訓(xùn)練集內(nèi)的第k個(gè)臉的情緒是一樣的。當(dāng)遍歷所有訓(xùn)練集都比閾值大時(shí)，可以通過(guò)比較距離值的大小，分成是新的人臉情緒和不是同一個(gè)人臉情緒兩種情況。因?yàn)橛?xùn)練集的不同，所以設(shè)定的閾值是需要改變的。

5 基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別技術(shù)發(fā)展前景

如今，我國(guó)計(jì)算機(jī)技術(shù)不斷取得新的進(jìn)步，人臉情緒識(shí)別這一技術(shù)也在不斷向前更新發(fā)展。但不可否認(rèn)的是在信息快速更新迭代的時(shí)代下，此技術(shù)仍含有不可忽視的缺點(diǎn)，例如人臉情緒信息的多樣化、社會(huì)需求的多元化等，還未達(dá)到市場(chǎng)的需求。接下來(lái)應(yīng)大力宣揚(yáng)發(fā)展基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別技術(shù)，摒棄傳統(tǒng)、不健全的人臉情緒識(shí)別技術(shù)，有側(cè)重點(diǎn)地提高此類技術(shù)。

面部識(shí)別和虹膜識(shí)別存在著不同程度的可復(fù)制性問(wèn)題，人臉每天都暴露在外面，通過(guò)拍照完全可以獲得一個(gè)人的臉部特征，并進(jìn)行復(fù)制。另一個(gè)風(fēng)險(xiǎn)是不穩(wěn)定性，比如臉部畫(huà)上濃妝，面部過(guò)敏、受傷、整容，都會(huì)導(dǎo)致臉部特征發(fā)生很大變化，從而降低人臉情緒識(shí)別的準(zhǔn)確率，甚至無(wú)法識(shí)別。人臉情緒識(shí)別的關(guān)鍵在于是否擁有良好的核心算法，并且能夠使識(shí)別的結(jié)果具有很好的識(shí)別效率和識(shí)別速度；另外，人臉情緒識(shí)別系統(tǒng)還需要結(jié)合信息處理的理論與實(shí)踐，以及其生物特征識(shí)別的最新應(yīng)用，從而充分展現(xiàn)當(dāng)今科技社會(huì)由弱人工智能向強(qiáng)人工智能的轉(zhuǎn)化。

作為一個(gè)新興的技術(shù)領(lǐng)域，人臉情緒識(shí)別也同以往服務(wù)于安全領(lǐng)域的技術(shù)一樣，會(huì)面對(duì)很多來(lái)自不法分子的惡意攻擊，需要在不斷的攻防戰(zhàn)中提升自身的技術(shù)水平和防護(hù)能力。就像查殺計(jì)算機(jī)病毒一樣，攻擊和防守將是一個(gè)長(zhǎng)期博弈的過(guò)程，從而促使技術(shù)往更好的方向發(fā)展。有需求就會(huì)有市場(chǎng)，社會(huì)應(yīng)高度重視高精尖行業(yè)所需要的技術(shù)，以便更好地帶動(dòng)科技和經(jīng)濟(jì)的發(fā)展，做到取之于民，用之于民。通過(guò)提高科技人員福利，調(diào)動(dòng)科技人員的工作熱情和積極性，重視對(duì)人臉情緒識(shí)別的科研力度，從而推進(jìn)相關(guān)科研水平。相信在國(guó)家政府有關(guān)部門(mén)積極有力的帶動(dòng)下，我國(guó)人臉情緒識(shí)別技術(shù)會(huì)有前所未有的提升，科學(xué)技術(shù)的發(fā)展前景將會(huì)一片光明。

6 結(jié)束語(yǔ)

綜上所述，人臉情緒識(shí)別已經(jīng)成為計(jì)算機(jī)領(lǐng)域的一個(gè)重要的研究方向，其包含了圖像處理、人工智能、神經(jīng)網(wǎng)絡(luò)以及模式識(shí)別等領(lǐng)域的知識(shí)，是一門(mén)非常綜合的學(xué)科。本系統(tǒng)的實(shí)現(xiàn)有助于人工智能技術(shù)的進(jìn)一步發(fā)展與完善，相信能夠?yàn)槿四樓榫w識(shí)別進(jìn)一步的研究提供參考依據(jù)。雖然現(xiàn)有的人臉情緒識(shí)別技術(shù)已經(jīng)得到了很大提升與進(jìn)步，但其識(shí)別效果仍然不能完全滿足市場(chǎng)需求。本文通過(guò)對(duì)基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)人臉情緒識(shí)別技術(shù)未來(lái)發(fā)展前景做深度學(xué)習(xí)和簡(jiǎn)要分析，以便人臉情緒識(shí)別技術(shù)更好地在市場(chǎng)中普遍應(yīng)用，讓人臉情緒識(shí)別應(yīng)用到更多的領(lǐng)域中，從而推動(dòng)我國(guó)相關(guān)情緒識(shí)別技術(shù)的快速發(fā)展。

參考文獻(xiàn)：

[1] 王玉琪.基于深度學(xué)習(xí)的人臉情緒識(shí)別研究[J].電子制作，2020（14）：36-37，63.

[2] 魏建軍.基于深度卷及神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別技術(shù)研究[D].西安：西安科技大學(xué)，2020.

[3] 王遙，金玲，林紫雯，等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識(shí)別研究[J].科學(xué)技術(shù)創(chuàng)新，2021（1）：116-118.

[4] 周錦榮，徐張偉，段夢(mèng)芳，等.基于卷積神經(jīng)網(wǎng)絡(luò)人臉情緒識(shí)別的RGB LED混合調(diào)光方法研究[J].照明工程學(xué)報(bào)，2021，32（4）：83-91.

[5] 肖小梅，楊紅云，易文龍，等.改進(jìn)的Alexnet模型在水稻害蟲(chóng)圖像識(shí)別中的應(yīng)用[J].科學(xué)技術(shù)與工程，2021，21（22）：9447-9454.

【通聯(lián)編輯：唐一東】