摘要:在當(dāng)代社會(huì),學(xué)生群體在高強(qiáng)度學(xué)習(xí)的壓力下,容易出現(xiàn)焦慮、抑郁等心理狀態(tài)。然而,由于對(duì)心理健康疾病缺乏正確認(rèn)識(shí),學(xué)生往往錯(cuò)誤地將焦慮和迷茫的心態(tài)等同于精神疾病,從而產(chǎn)生病恥感,不愿正視自我和現(xiàn)實(shí)問題。學(xué)生是國(guó)家未來的擔(dān)當(dāng)者,其心理健康不僅深刻影響校園的和諧氛圍,也關(guān)系到社會(huì)風(fēng)貌的塑造。因此,對(duì)學(xué)生群體進(jìn)行及時(shí)的心理健康篩查已刻不容緩。本研究設(shè)計(jì)了一套系統(tǒng),通過實(shí)時(shí)人臉捕捉技術(shù),結(jié)合個(gè)性化的舒緩措施,實(shí)現(xiàn)對(duì)學(xué)生情緒變化的實(shí)時(shí)監(jiān)測(cè)和分析。將人工智能領(lǐng)域中的人臉識(shí)別技術(shù)應(yīng)用于學(xué)生心理情緒評(píng)估,是一個(gè)充滿潛力和創(chuàng)新性的挑戰(zhàn)。本研究還對(duì)該技術(shù)的潛在應(yīng)用場(chǎng)景進(jìn)行了相關(guān)探討。
關(guān)鍵詞:YOLO算法;深度學(xué)習(xí);實(shí)時(shí)性;情緒識(shí)別;心理舒緩
中圖分類號(hào):TP18文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2024)34-0024-04開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
0引言
心理測(cè)評(píng)是早期預(yù)防和發(fā)現(xiàn)心理疾病的有效方法。然而,傳統(tǒng)的心理評(píng)估方法通常依賴于主觀報(bào)告或自述,存在信息獲取量不足、評(píng)估標(biāo)準(zhǔn)不統(tǒng)一以及時(shí)間成本高等問題。近年來,隨著現(xiàn)代技術(shù)的快速發(fā)展,人工智能技術(shù)已被逐步應(yīng)用于心理測(cè)試領(lǐng)域,其中基于計(jì)算機(jī)視覺和深度學(xué)習(xí)的自動(dòng)化情緒評(píng)估技術(shù)逐漸受到廣泛關(guān)注。
本文研究了一種基于YOLOv8算法的動(dòng)態(tài)人臉實(shí)時(shí)捕捉學(xué)生情緒評(píng)估與舒緩系統(tǒng)。該系統(tǒng)將YOLO技術(shù)應(yīng)用于人臉實(shí)時(shí)捕捉,能夠在較低計(jì)算成本的情況下實(shí)現(xiàn)較高的檢測(cè)準(zhǔn)確率,有效提取學(xué)生的面部表情信息。同時(shí),系統(tǒng)結(jié)合了個(gè)性化的心理舒緩措施,二者相輔相成,實(shí)現(xiàn)了對(duì)情緒變化的實(shí)時(shí)監(jiān)測(cè)與分析[1]。
1本系統(tǒng)相關(guān)理論和技術(shù)
1.1卷積神經(jīng)網(wǎng)絡(luò)(CNN)的結(jié)構(gòu)[2]
1)數(shù)據(jù)輸入層(InputLayer)。主要負(fù)責(zé)處理原始圖像數(shù)據(jù),包括去均值、歸一化、PCA白化等預(yù)處理步驟,以確保數(shù)據(jù)的一致性和可處理性。
2)卷積計(jì)算層(ConvolutionalLayer)。卷積計(jì)算層是CNN最核心的層次,包含兩個(gè)關(guān)鍵操作:局部關(guān)聯(lián)和窗口滑動(dòng)。局部關(guān)聯(lián)指每個(gè)神經(jīng)元(或?yàn)V波器,fil?ter)僅與輸入數(shù)據(jù)的一個(gè)局部區(qū)域連接。窗口滑動(dòng)是指濾波器在輸入數(shù)據(jù)上滑動(dòng)并進(jìn)行卷積運(yùn)算,以提取局部特征。
卷積運(yùn)算的公式:
S(i,j)=(I?K)(i,j)=ΣmΣnI(i-m,j-n)?K(m,n)
式中:I代表輸入數(shù)據(jù),K代表濾波器,S代表卷積結(jié)果。
卷積層還包含一些重要參數(shù),例如卷積核的大小、步長(zhǎng)(stride,即濾波器每次滑動(dòng)的長(zhǎng)度)和填充值(zero-padding,用于處理邊界問題)等,這些參數(shù)對(duì)卷積操作的效果有重要影響。
3)ReLU激勵(lì)層(ReLULayer)。ReLU激勵(lì)層位于卷積層之后,用于對(duì)卷積結(jié)果進(jìn)行非線性變換,從而增強(qiáng)模型的非線性表達(dá)能力。
4)池化層(PoolingLayer)。池化層通常用于減少數(shù)據(jù)的空間大?。ń稻S),降低網(wǎng)絡(luò)復(fù)雜度,同時(shí)保留重要的特征信息。常見的池化操作包括最大池化(MaxPooling)和平均池化(AveragePooling)。
5)全連接層(FullyConnectedLayer)。全連接層位于網(wǎng)絡(luò)的后端,實(shí)際上是一個(gè)傳統(tǒng)的多層感知機(jī)(MLP),用于將前面提取的特征映射到樣本的標(biāo)記空間。
6)輸出層(OutputLayer)。輸出層的結(jié)構(gòu)取決于具體任務(wù)的需求。例如,在分類任務(wù)中,通常使用softmax函數(shù)實(shí)現(xiàn)多分類;而在回歸任務(wù)中,則使用單個(gè)神經(jīng)元輸出預(yù)測(cè)值。
1.2YOLOv8算法的發(fā)展歷程
YOLO算法經(jīng)歷了從YOLOv1到Y(jié)OLOv10的發(fā)展歷程,如圖1所示。
本系統(tǒng)采用了成熟的YOLOv8算法,該算法繼承了YOLO系列的實(shí)時(shí)檢測(cè)特性[3],即使在低硬件配置下也能實(shí)現(xiàn)高幀率。與前代版本相比,YOLOv8的核心優(yōu)勢(shì)在于支持目標(biāo)檢測(cè)、分割、分類、追蹤、姿態(tài)估計(jì)等多種計(jì)算機(jī)視覺任務(wù),并顯著提升了mAP(平均精度),這表明模型的檢測(cè)精度得到了大幅提高[4]。
YOLOv8采用了先進(jìn)的CSPDarknet53骨干網(wǎng)絡(luò)和PANet特征聚合模塊,進(jìn)一步優(yōu)化了特征提取和物體檢測(cè)性能。同時(shí),YOLOv8引入了無錨的Ultralytics頭(UltralyticsHead),相較于傳統(tǒng)的基于錨點(diǎn)的方法,無錨設(shè)計(jì)提高了檢測(cè)過程的準(zhǔn)確性和效率。此外,為了在資源有限的設(shè)備上實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè),YOLOv8還推出了輕量化版本,如YOLOv8-tiny。
1.3YOLOv8算法介紹
YOLOv8的模型結(jié)構(gòu)如圖2所示,由Backbone、Neck和Head三部分組成。其主干網(wǎng)絡(luò)(Backbone)包含卷積層(Conv,Convolution)、c2f(CSPDarknet53to2-StageFPN)結(jié)構(gòu)和SPPF(SpatialPyramidPooling)模塊[5]。
其中,卷積層用于提取目標(biāo)特征,第一個(gè)卷積核采用3×3卷積。在YOLOv7版本中,開始將卷積操作(Conv)與批歸一化(BatchNormalization)進(jìn)行了合并處理,從而大幅提高了模型的運(yùn)行速度。批歸一化(tuBraetcmhaNpso)rm進(jìn)a行l(wèi)iza歸tio一n)化是處指理對(duì),卷其公積式后如得下到:的特征圖(fea?turemaps)進(jìn)行歸一化處理,其公式如下:
其中:γ是縮放系數(shù),β是平移系數(shù),μ和σ2分別為均值和方差,且均由每個(gè)通道(channel)單獨(dú)計(jì)算。同時(shí),YOLOv8使用了SiLU(SigmoidLinearUnit)作為模型的激活函數(shù)。SiLU函數(shù)的定義如下:
f(x)=x?sigmoid(x)
與ReLU(RectifiedLinearUnit)函數(shù)相比,SiLU函數(shù)具有更強(qiáng)的非線性表達(dá)能力,從而顯著提升了網(wǎng)絡(luò)的表征能力。
此外,YOLOv8在c2f模塊中相較于YOLOv5的c3模塊,增加了更多的分支跨層連接和切分(split)操作。通過對(duì)特征圖進(jìn)行切分、提取新的特征并拼接,c2f模塊能夠更好地學(xué)習(xí)殘差特征,從而提升模型的特征表達(dá)能力。
在損失函數(shù)方面,YOLOv8取消了YOLOv5中的對(duì)象損失函數(shù)(ObjectnessLoss),而采用分類損失和回歸損失兩種損失函數(shù)。損失函數(shù)用于計(jì)算網(wǎng)絡(luò)模型預(yù)測(cè)值與真實(shí)值之間的距離,通過優(yōu)化損失函數(shù),可以確定模型的改進(jìn)方向。損失函數(shù)的值越小,代表模型的預(yù)測(cè)能力越強(qiáng),精準(zhǔn)度越高。
YOLOv8的分類損失函數(shù)為二元交叉熵(BCE,Bi?naryCrossEntropy),其公式如下:
式中:yi=1時(shí)表示屬于該類,yi=0時(shí)表示不屬于該類。二元交叉熵?fù)p失把屬于該類和不屬于該類的熵相加,保證了損失函數(shù)在結(jié)果上不會(huì)為零。
在回歸損失函數(shù)上,YOLOv8采用了以下公式,
IoU(IntersectionoverUnion)是指檢測(cè)到的預(yù)測(cè)框與真實(shí)框的交集面積與并集面積之間的比值,用于衡量檢測(cè)框的定位精度。公式中,ρ表示矩形框之間的歐式距離,c是矩形框的對(duì)角線距離,α代表權(quán)重系數(shù)。此外,引入了DFL(DistributionFocalLoss)損失,大幅提升了模型的泛化能力[7]。
2學(xué)生情緒評(píng)估模塊
2.1圖像輸入
YOLO模型通過OpenCV或PIL庫對(duì)輸入圖像進(jìn)行預(yù)處理,具體步驟包括:1)像素調(diào)節(jié):對(duì)圖像像素值進(jìn)行調(diào)整以適配模型輸入需求;2)雙線性插值尺寸調(diào)整:將圖像調(diào)整為固定尺寸;3)卷積操作與特征提?。和ㄟ^卷積層提取圖像的局部特征;4)歸一化處理:對(duì)像素值進(jìn)行歸一化處理,使數(shù)據(jù)分布更均勻;5)顏色空間轉(zhuǎn)換:將圖像從RGB轉(zhuǎn)換為灰度或其他顏色空間。為了提高模型的訓(xùn)練效率和魯棒性,還會(huì)采用隨機(jī)裁剪和隨機(jī)縮放等數(shù)據(jù)增強(qiáng)方法[8]。
2.2數(shù)據(jù)集分析
本研究基于經(jīng)典的FER2013人臉表情識(shí)別數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練。
FER2013是一個(gè)在深度學(xué)習(xí)社區(qū)中被廣泛用于人臉表情識(shí)別任務(wù)訓(xùn)練和評(píng)估的數(shù)據(jù)集,最初由Pierre-LucCarrier和AaronCourville創(chuàng)建,并于2013年發(fā)布。該數(shù)據(jù)集包含35887張灰度圖像,每張圖像的分辨率為48×48像素,并標(biāo)注了七種不同的情感類別:開心(Happy)、憤怒(Angry)、悲傷(Sad)、害怕(Fear、驚訝(Surprise)、厭惡(Disgust)和中性(Neutral)。
FER2013數(shù)據(jù)集中的圖像來源于互聯(lián)網(wǎng),圖像質(zhì)量各異,但具有較高的真實(shí)性,能夠很好地反映真實(shí)世界中的數(shù)據(jù)多樣性。這種多樣性為模型的訓(xùn)練和評(píng)估提供了良好的基礎(chǔ)[9]。
本研究使用YOLO算法對(duì)FER2013數(shù)據(jù)集進(jìn)行訓(xùn)練[10],并使用其中四分之一的數(shù)據(jù)作為測(cè)試集。同時(shí),邀請(qǐng)了1000名學(xué)生志愿者對(duì)訓(xùn)練好的模型進(jìn)行多次驗(yàn)證。
在模型訓(xùn)練過程中,損失函數(shù)值不斷減小,驗(yàn)證集的loss值在380次訓(xùn)練后趨于穩(wěn)定,最終達(dá)到0.128。模型對(duì)多種情緒的平均準(zhǔn)確率為96.41%,召回率為97.98%。
圖5展示了模型訓(xùn)練過程中損失函數(shù)的變化趨勢(shì),可以看出模型在訓(xùn)練過程中逐漸收斂。圖6和圖7分別展示了模型的精度和召回率曲線,表明模型在情緒識(shí)別任務(wù)中取得了良好的性能。
經(jīng)過多次測(cè)試后可以得出結(jié)論,系統(tǒng)能夠有效捕捉測(cè)試者的面部表情,并準(zhǔn)確評(píng)估其情緒狀態(tài)。
2.3識(shí)別的準(zhǔn)確性分析
通過混淆矩陣分析模型的平均精度(AP)和平均精度均值(mAP),可以評(píng)估模型的訓(xùn)練性能和準(zhǔn)確性。在分析中,將真實(shí)標(biāo)簽設(shè)定為正類。
Precision(精確率)表示正確預(yù)測(cè)的正類樣本占所有預(yù)測(cè)為正類樣本的比例,其公式為:
precision=TP/TP+FP
其中,TP表示真正類樣本數(shù),F(xiàn)P表示假正類樣本數(shù)。
Recall(召回率)表示正確預(yù)測(cè)的正類樣本占所有實(shí)際正類樣本的比例,其公式為:
recall=TP/TP+FN
其中,F(xiàn)N表示假負(fù)類樣本數(shù)。
AP值是通過Precision-Recall曲線計(jì)算得出的,用于表示單一類別的預(yù)測(cè)平均精度;而mAP值則表示所有類別的平均精度均值。模型的AP值和mAP值越高,表明模型的預(yù)測(cè)準(zhǔn)確性越高。
3學(xué)生舒緩心理模塊
3.1趣味測(cè)試
系統(tǒng)的趣味測(cè)試是學(xué)生心理緩解模塊的核心部分。該模塊包括性格測(cè)試和情緒測(cè)試,配備了豐富的題庫,旨在幫助學(xué)生通過答題測(cè)評(píng)更好地了解自己的性格特征和情緒狀態(tài)。當(dāng)學(xué)生進(jìn)入系統(tǒng)并選擇趣味測(cè)試后,可以根據(jù)自身需求選擇不同類型的測(cè)試。
1)性格測(cè)試。性格測(cè)試模塊具備完善的測(cè)試題庫,幫助學(xué)生發(fā)現(xiàn)自己的性格特征。測(cè)試過程中的問題充滿趣味性,有效緩解了學(xué)生在測(cè)試過程中可能產(chǎn)生的枯燥感,保障測(cè)試的順利進(jìn)行。測(cè)試完成后,系統(tǒng)會(huì)將測(cè)評(píng)結(jié)果匯總并反饋給學(xué)生,幫助其更好地認(rèn)識(shí)自己。
2)情緒測(cè)試。情緒測(cè)試旨在幫助學(xué)生了解自己的情緒狀態(tài)及情緒管理能力。通過測(cè)試問題和系統(tǒng)建議,學(xué)生可以更好地理解和控制自己的情緒,從而提升情緒管理水平。
3.2視頻課程
視頻課程是本模塊的另一個(gè)亮點(diǎn)。學(xué)生情緒評(píng)估與緩解系統(tǒng)提供了一系列高質(zhì)量的心理教育與心理咨詢課程,涵蓋了情緒管理、壓力管理、時(shí)間管理等多個(gè)方面。課程通過專業(yè)的講解和典型案例研究,幫助學(xué)生掌握心理調(diào)節(jié)技能,提高對(duì)壓力的抵抗力。
生動(dòng)有趣的視頻課程將抽象、枯燥的心理概念變得更加直觀和易于理解。在普及心理知識(shí)的同時(shí),課程也起到了心理疏導(dǎo)和放松的作用。學(xué)生不僅能夠?qū)W習(xí)心理健康知識(shí),還能通過這些課程有效緩解心理壓力。
3.3廣播FM
廣播FM模塊涵蓋了音樂、故事、采訪等多個(gè)領(lǐng)域的節(jié)目。學(xué)生可以通過聆聽輕松的音樂和生動(dòng)有趣的故事來減輕壓力,緩解情緒焦慮,享受心靈的休息。同時(shí),采訪節(jié)目為學(xué)生提供了發(fā)展身心健康的靈感和思考。
學(xué)生情緒評(píng)估與緩解系統(tǒng)以趣味測(cè)試、視頻課程和廣播FM的三合一形式,為學(xué)生提供心理測(cè)評(píng)與心理緩解的服務(wù)。該系統(tǒng)幫助學(xué)生提升情緒管理技能和心理素質(zhì),是一種創(chuàng)新且有效的工具。通過心理測(cè)評(píng)與心理緩解的結(jié)合,學(xué)生能夠更好地了解自己的心理狀態(tài),預(yù)防和應(yīng)對(duì)潛在的心理問題。
隨著未來數(shù)字醫(yī)學(xué)時(shí)代的到來,YOLO測(cè)評(píng)與心理測(cè)評(píng)相結(jié)合的形式將在提升學(xué)生心理健康和幸福感方面發(fā)揮更大的作用。
4系統(tǒng)優(yōu)勢(shì)
4.1系統(tǒng)結(jié)構(gòu)
基于YOLO動(dòng)態(tài)人臉實(shí)時(shí)捕捉的學(xué)生情緒評(píng)估與舒緩系統(tǒng)包括情緒評(píng)估和舒緩心理兩個(gè)模塊。系統(tǒng)要求用戶在具備適合面部表情識(shí)別的環(huán)境條件下使用。
1)情緒評(píng)估模塊。情緒評(píng)估模塊需要用戶使用帶有攝像頭的設(shè)備。在進(jìn)入情緒評(píng)估模塊后,用戶需將面部完全置于鏡頭范圍內(nèi),并點(diǎn)擊“開始識(shí)別”按鈕。系統(tǒng)會(huì)實(shí)時(shí)捕捉并分析用戶的面部表情,將每種表情識(shí)別為對(duì)應(yīng)的情緒類別,并附上相應(yīng)的情感標(biāo)簽,實(shí)時(shí)顯示給用戶。
2)舒緩心理模塊。舒緩心理模塊旨在為用戶提供輕松、愉悅的體驗(yàn),幫助用戶放松心情和管理情緒。用戶進(jìn)入舒緩心理模塊后,可以根據(jù)自己的需求選擇適合的功能模式,包括趣味測(cè)試、視頻課程和廣播FM。
4.2系統(tǒng)創(chuàng)新點(diǎn)
1)實(shí)時(shí)動(dòng)態(tài)人臉捕捉。系統(tǒng)利用YOLO深度學(xué)習(xí)框架的高效性和精確性,能夠?qū)崟r(shí)捕捉視頻流中的學(xué)生人臉。這種實(shí)時(shí)性保證了系統(tǒng)能夠在極短時(shí)間內(nèi)對(duì)學(xué)生的情緒狀態(tài)進(jìn)行響應(yīng)和評(píng)估。
2)高精度情緒識(shí)別。系統(tǒng)結(jié)合計(jì)算機(jī)視覺技術(shù)與深度學(xué)習(xí)算法,高精度解析面部表情信息,能夠識(shí)別出快樂、悲傷、驚訝、憤怒、厭惡、恐懼和中性等基本情緒,為系統(tǒng)提供可靠的數(shù)據(jù)支持,使評(píng)估結(jié)果更具參考價(jià)值。
3)多樣化模塊設(shè)計(jì)。系統(tǒng)提供用戶友好的模塊界面,用于實(shí)時(shí)顯示學(xué)生情緒評(píng)估的結(jié)果。界面設(shè)計(jì)簡(jiǎn)潔明了,方便用戶快速獲取并理解評(píng)估結(jié)果,從而提升用戶體驗(yàn)和興趣。
4)良好的擴(kuò)展性與未來兼容性。本研究基于開源的YOLO深度學(xué)習(xí)框架,具有良好的擴(kuò)展性和兼容性。未來可以根據(jù)需求對(duì)系統(tǒng)進(jìn)行進(jìn)一步開發(fā)和優(yōu)化。通過將YOLO動(dòng)態(tài)人臉實(shí)時(shí)捕捉與學(xué)生情緒評(píng)估相結(jié)合,系統(tǒng)在實(shí)時(shí)性、準(zhǔn)確性和應(yīng)用場(chǎng)景等方面具有顯著的創(chuàng)新性,為學(xué)生情緒評(píng)估的智能化和個(gè)性化發(fā)展提供了強(qiáng)有力的支持。
5結(jié)束語
本研究提出了一種基于YOLO算法的全新學(xué)生情緒評(píng)估方法。通過實(shí)時(shí)捕捉學(xué)生的面部表情特征,利用深度學(xué)習(xí)模型對(duì)學(xué)生情緒進(jìn)行評(píng)估,同時(shí)增加了舒緩心理的功能模塊,增強(qiáng)了學(xué)生的使用體驗(yàn),使系統(tǒng)更加完善和個(gè)性化。該系統(tǒng)旨在幫助學(xué)生更好地理解自身情緒變化,從而能夠做出更為理性和正確的判斷,促進(jìn)健康成長(zhǎng)。
盡管如此,系統(tǒng)的算法和性能仍需持續(xù)研究和改進(jìn),以探索更多的應(yīng)用場(chǎng)景并拓展模型的功能范圍。在當(dāng)前科技不斷進(jìn)步的大趨勢(shì)下,未來將涌現(xiàn)出更加智能的輔助情緒評(píng)估系統(tǒng),為學(xué)生情緒評(píng)估方法帶來更多創(chuàng)新與變革。
參考文獻(xiàn):
[1]夷德.基于YOLO的目標(biāo)檢測(cè)優(yōu)化算法研究[D].南京:南京郵電大學(xué),2021.
[2]沈雅婷,白郁馨.卷積網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的人臉識(shí)別算法[J].電腦與電信,2023(6):9-13,17.
[3]任培銘.基于YOLO的實(shí)時(shí)目標(biāo)檢測(cè)方法研究[D].無錫:江南大學(xué),2019.
[4]劉彥清.基于YOLO系列的目標(biāo)檢測(cè)改進(jìn)算法[D].長(zhǎng)春:吉林大學(xué),2021.
[5]許習(xí)軍,張明遠(yuǎn),孟文俊,等.基于機(jī)器視覺的緊密排列目標(biāo)檢測(cè)研究[J].起重運(yùn)輸機(jī)械,2024(9):20-28.
[6]毛玉龍.基于不同卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法對(duì)比研究[J].測(cè)繪標(biāo)準(zhǔn)化,2023,39(4):39-43.
[7]王貞,邱杭,吳斌,等.基于CCG-YOLOv8的施工場(chǎng)景下安全帽佩戴檢測(cè)[J].武漢理工大學(xué)學(xué)報(bào),2024,46(6):73-80.
[8]惠康華,劉暢.基于YOLO5Face重分布的小尺度人臉檢測(cè)方法[J].計(jì)算機(jī)仿真,2024,41(3):206-213.
[9]何穆彬,萬振凱.基于大數(shù)據(jù)的學(xué)生情緒異常波動(dòng)風(fēng)險(xiǎn)評(píng)估仿真[J].計(jì)算機(jī)仿真,2023,40(9):247-250,273.
[10]丁祥,唐宏偉,石書琪,等.基于改進(jìn)EfficientNet的表情識(shí)別方法[J].自動(dòng)化應(yīng)用,2024(8):203-206,210.
【通聯(lián)編輯:唐一東】
基金項(xiàng)目:賀州學(xué)院博士科研啟動(dòng)基金項(xiàng)目資金資助(項(xiàng)目編號(hào):2024BSQD09)