基于可穿戴設(shè)備的FDCN模型在大學(xué)生情緒變化檢測中的應(yīng)用

陳宇，邵軍，賴文天

（1 湖北第二師范學(xué)院 計(jì)算機(jī)學(xué)院 & 湖北省教育云服務(wù)工程技術(shù)研究中心，武漢430205；2 湖北水利水電職業(yè)技術(shù)學(xué)院，武漢430071）

近年來，隨著社會(huì)壓力增大，大學(xué)生情緒、心理方面的問題逐步增多，每年出現(xiàn)情緒障礙甚至罹患抑郁癥的大學(xué)生人數(shù)大幅增長.學(xué)生多因情緒管理意識(shí)不足或個(gè)人因素不愿主動(dòng)尋求幫助，為高校的學(xué)生管理工作帶來了較大的阻礙.日漸嚴(yán)重的高校學(xué)生心理健康問題，引起了人們的廣泛關(guān)注.高校目前主要采用量表法對(duì)學(xué)生進(jìn)行普查，但該方法具有被動(dòng)性和滯后性等缺點(diǎn)，反饋性差.如何及時(shí)發(fā)現(xiàn)學(xué)生情緒變化，分析原因并盡早干預(yù)，防止學(xué)生情緒、心理問題惡化，是當(dāng)前高校學(xué)生管理部門迫切需要解決的問題.

1 相關(guān)工作

目前，高校應(yīng)對(duì)大學(xué)生情緒變化引起心理健康問題的措施逐漸由事后處理轉(zhuǎn)變?yōu)轭A(yù)防和篩查，比如通過量表篩查校園內(nèi)特定人物的心理問題，提前介入和干預(yù).我國學(xué)者周晶晶通過設(shè)置問卷和量表的形式對(duì)北京大學(xué)生進(jìn)行了抑郁癥篩查，達(dá)到了一定的效果［1］.但通過量表進(jìn)行篩查存在以下問題：首先，診斷過程中對(duì)情緒的測量主要依靠檢查者的觀察和自我評(píng)估的心理測試，存在很大的主觀性；其次，受檢者被要求主動(dòng)配合檢查者的診斷，這需要受檢者有一定的配合性；再次，這種方式需要大量的專業(yè)人員，但高校普遍缺乏相關(guān)人員，通常只在新生入學(xué)時(shí)或者每學(xué)年篩查一次；最后，該方式僅能反映出受檢者的心理狀況結(jié)果，無法提供更多的信息以幫助分析產(chǎn)生情緒變化的原因，不能給后期治療和高校管理者改善管理方式提供更多的幫助.由此可見，量表法具有數(shù)據(jù)質(zhì)量差、準(zhǔn)確度低、延時(shí)長等缺點(diǎn)，難以進(jìn)行預(yù)防治療，對(duì)高校管理者幫助有限.因此，高校急需一種準(zhǔn)確率較高，且隨時(shí)能感知學(xué)生在學(xué)業(yè)、生活、感情等方面真實(shí)情緒變化的方法，便于學(xué)校及時(shí)察覺學(xué)生心理問題，并提前介入干預(yù).

近年來，隨著腦神經(jīng)科學(xué)的發(fā)展，人們開始嘗試使用頭戴式監(jiān)測系統(tǒng)檢測腦電信號(hào)感知受檢者的情緒、壓力等，例如，PATIL 等人將采集的腦電信號(hào)做高階交叉作為特征，優(yōu)于其他統(tǒng)計(jì)特征對(duì)情緒進(jìn)行分類［2］，IBRAHIM 采用堆棧自動(dòng)編碼器（SAE）和長-短時(shí)記憶/循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM/RNN）分類方法對(duì)情緒腦電圖（EEG）特征進(jìn)行了分類.該方法降低了模型的復(fù)雜度，顯著提高了分類器的性能［3］.雖然腦電在情緒檢測領(lǐng)域的應(yīng)用取得了很大的進(jìn)展，其檢查的準(zhǔn)確度明顯優(yōu)于量表的方式，但由于其使用成本昂貴，且需要受檢者在特定的時(shí)間地點(diǎn)參與，無法做到伴隨式數(shù)據(jù)采集，故多用于為臨床治療提供重要補(bǔ)充數(shù)據(jù).隨著移動(dòng)計(jì)算的大力發(fā)展，研究者開始嘗試通過可穿戴設(shè)備結(jié)合手機(jī)伴隨式采集受檢者數(shù)字生物信號(hào)、環(huán)境信息，挖掘感知數(shù)據(jù)和日常情緒的關(guān)聯(lián)，在日常生活中自動(dòng)檢測情緒狀態(tài)和轉(zhuǎn)變.部分研究者通過實(shí)驗(yàn)證明這是一種監(jiān)測個(gè)人情緒和壓力行之有效的方法，MA 等人提出了一種日常情緒評(píng)估工具，該工具利用手機(jī)傳感器數(shù)據(jù)，例如位置、音頻、文本消息、加速度計(jì)和光線來對(duì)情緒進(jìn)行分類［4］.AKANE等人利用Fitbit 運(yùn)動(dòng)手環(huán)收集大學(xué)生的行為數(shù)據(jù)監(jiān)測大學(xué)生的心理健康，其研究發(fā)現(xiàn)飲食習(xí)慣對(duì)學(xué)生的壓力、睡眠、運(yùn)動(dòng)均有影響［5］.ASARE 利用手機(jī)和可穿戴傳感器搜集環(huán)境信息進(jìn)行抑郁癥的檢測［6］.HELBICH 通過采集實(shí)驗(yàn)者的地理數(shù)據(jù)、環(huán)境數(shù)據(jù)發(fā)現(xiàn)人們的心理健康與他們居住的社區(qū)、去過的地方以及所經(jīng)歷的環(huán)境有關(guān)［7］.在上述的研究中，研究者將手機(jī)采集的數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的表格數(shù)據(jù)形式，然后采用傳統(tǒng)的樹模型如XGBOOST、隨機(jī)森林等對(duì)數(shù)據(jù)進(jìn)行處理，取得了較好的效果.由于手機(jī)采集的數(shù)據(jù)具有維度多、量大、稀疏等特點(diǎn)，因此如何通過特征處理獲取特征間的相互關(guān)系，對(duì)特征進(jìn)行有效融合，是提高預(yù)測精度的關(guān)鍵.傳統(tǒng)的樹型模型大多基于一階特征進(jìn)行線性加權(quán)，無法提取隱式的高階特征組合.隨著深度學(xué)習(xí)理論的不斷成熟，能夠提取隱含非線性相關(guān)特征的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（DNN）受到了廣泛的關(guān)注.TAYLOR［8］采用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，研究大學(xué)生的心理壓力.SUHARA［9］等人開發(fā)了一種基于長-短期記憶（LSTM）遞歸神經(jīng)網(wǎng)絡(luò)的大學(xué)生減壓預(yù)測模型.然而，DNN 的解釋性很差，且其結(jié)果過分關(guān)注高階特征組合及非線性關(guān)系，忽視了低階特征交叉對(duì)結(jié)果的影響.

近年來，研究人員開始嘗試采用因子分解機(jī)、深度交叉網(wǎng)絡(luò)等模型學(xué)習(xí)特征間的低階高階特征，以期提高模型的表現(xiàn)力.如RENDLE［10］提出了基于因子分解機(jī)（FM）模型，用于幫助解決在推薦系統(tǒng)中稀疏數(shù)據(jù)的特征組合問題.該模型具有參數(shù)較少，自動(dòng)組合特征的優(yōu)點(diǎn)，但由于其只能解決二階特征之間交叉，無法解決高階特征組合，近年來的研究多用于與其他模型組合.Google 于2016 年提出的寬深度（wide&deep）模型是由具有記憶功能的融合淺層寬度（wide）模型和深層（deep）模型進(jìn)行聯(lián)合訓(xùn)練的框架，利用了深層模型的泛化能力和淺層模型的記憶能力，比傳統(tǒng)的線性模型或深度模型獲得了更好的效果［11］.但由于其對(duì)淺層特征選擇需要手工操作，依賴于經(jīng)驗(yàn)，所以在此基礎(chǔ)上，Google 提出了deep & cross network 模型，該模型通過引入cross 網(wǎng)絡(luò)，顯式自動(dòng)的進(jìn)行特征交叉，且cross 網(wǎng)絡(luò)可以和deep網(wǎng)絡(luò)并行或者串行訓(xùn)練［12］.與wide&deep模型相比，deep&cross network 模型以更小的開銷學(xué)習(xí)到更多的高階有效特征組合表達(dá)，從而獲得更好的預(yù)測效果，但其容易忽略低階特征交叉對(duì)特征組合的影響.因此，為了兼顧特征之間的高階和低階交互，必須研究如何使用機(jī)器學(xué)習(xí)算法自動(dòng)提取最有效的特征組合，以充分挖掘智能手機(jī)感知數(shù)據(jù)與大學(xué)生情緒之間的關(guān)系，從而獲得最佳的情緒變化檢測模型.

本文根據(jù)智能手機(jī)和傳感器收集的大學(xué)生行為、環(huán)境數(shù)據(jù)開展了情緒變化檢測的研究，提出了一種基于因子分解機(jī)的深度交叉網(wǎng)絡(luò)（FDCN）情緒變化檢測模型，該模型利用因子分解機(jī)（Factorization Machines，F(xiàn)M）學(xué)習(xí)采集信號(hào)的低階特征組合，交叉網(wǎng)絡(luò)（Cross model）學(xué)習(xí)高階特征之間的關(guān)聯(lián)，深度模型（deep model）則通過學(xué)習(xí)可以找到隱藏的非線性關(guān)系.將三者結(jié)合起來，即通過FM 模型、Cross 模型利用特征交叉在歷史數(shù)據(jù)中挖掘特征關(guān)聯(lián)，又通過Deep模型自動(dòng)學(xué)習(xí)特征的非線性關(guān)聯(lián)，提高對(duì)大學(xué)生情緒變化檢測的精度，反映環(huán)境、行為數(shù)據(jù)對(duì)大學(xué)生情緒變化的影響，以幫助高校管理者更好地改進(jìn)管理方式.

2 數(shù)據(jù)集及情感等級(jí)

2.1 數(shù)據(jù)集

本文采用的數(shù)據(jù)來源于公開數(shù)據(jù)集Extrasensor，數(shù)據(jù)集由圣地亞哥加利福尼亞大學(xué)（UCSD）的研究人員收集于2015至2016年，共包含60名UCSD的學(xué)生的數(shù)據(jù)［13］.數(shù)據(jù)是使用 extrasense 移動(dòng)應(yīng)用程序收集的，該應(yīng)用程序每分鐘自動(dòng)執(zhí)行20 秒的“錄音會(huì)話”.每次記錄過程中，該應(yīng)用程序從手機(jī)的傳感器或手表收集測量數(shù)據(jù)，包括：手機(jī)的加速度計(jì)、陀螺儀和磁力計(jì)（采樣頻率為40 Hz）、音頻（采樣頻率為22 kHz，然后處理為MFCC 特征表示）、位置、手表的加速度計(jì)，數(shù)據(jù)集采集的數(shù)據(jù)均來源于實(shí)驗(yàn)者的真實(shí)生活，通過實(shí)驗(yàn)者的智能手機(jī)和智能手表上傳感器采集相關(guān)的物理的信號(hào)進(jìn)行自動(dòng)上下文標(biāo)記.這個(gè)數(shù)據(jù)集還包含不同的時(shí)間間隔內(nèi)實(shí)驗(yàn)者選擇性自我報(bào)告的離散情緒.實(shí)驗(yàn)者共有49種不同的離散情緒（如活躍、平靜、快樂、困倦等），間隔時(shí)間從1分鐘到幾天不等.研究人員通過結(jié)合各種信息源（如位置和其他標(biāo)簽）對(duì)自我報(bào)告的數(shù)據(jù)進(jìn)行處理，以使其可靠.

傳感器的測量記錄為每分鐘20秒，數(shù)據(jù)收集周期為每個(gè)人3 到9 天不等.各實(shí)驗(yàn)者的樣本數(shù)量從1164 到6263 不等.數(shù)據(jù)集包含二元變量和連續(xù)變量.總的來說，這些特征可以分為以下幾類：

（1）運(yùn)動(dòng)數(shù)據(jù)：包含了3 個(gè)智能手機(jī)傳感器（一個(gè)加速計(jì)、一個(gè)陀螺儀和一個(gè)磁強(qiáng)計(jì)）和2個(gè)智能手表傳感器（一個(gè)加速計(jì)和一個(gè)指南針）的原始測量值計(jì)算出的138個(gè)特征.這些是連續(xù)變量；

（2）聲音數(shù)據(jù)：包含了28 個(gè)原始特征，計(jì)算為13個(gè)Mel頻率倒譜系數(shù)的平均值和標(biāo)準(zhǔn)差.

（3）位置數(shù)據(jù)：包含了根據(jù)每分鐘人員的相對(duì)位置和運(yùn)動(dòng)變化測量的17個(gè)位置特征.

（4）手機(jī)數(shù)據(jù)：包含了28 個(gè)指示手機(jī)感知狀態(tài)的二進(jìn)制功能，例如應(yīng)用程序狀態(tài)、電池插入、電池狀態(tài)、鈴聲模式、手機(jī)上、Wi-Fi 狀態(tài)、屏幕亮度和電池電量.

（5）環(huán)境數(shù)據(jù)：包含了6 個(gè)環(huán)境變量，例如光、壓力、濕度和溫度.但是存在許多缺失值，因?yàn)椴⒎撬惺謾C(jī)都具有所有傳感器.

（6）時(shí)空數(shù)據(jù)：從記錄的時(shí)間戳中設(shè)計(jì)了5 個(gè)變量來表達(dá)情緒狀態(tài)和轉(zhuǎn)換的時(shí)間模式.由于數(shù)據(jù)集非常稀疏，我們計(jì)算了分鐘變量的時(shí)間差，以測量自上次記錄以來經(jīng)過的分鐘數(shù).其余4 個(gè)變量是分類變量.

（7）上下文數(shù)據(jù)：包含了51 個(gè)二元上下文標(biāo)簽，如室內(nèi)，室外，飲食，和在車?yán)铮梢詭椭R(shí)別主導(dǎo)情緒.

（8）情緒數(shù)據(jù)：包含了49 個(gè)標(biāo)簽，如活躍、恐懼、警惕、憤怒等.

2.2 情感模型

情緒識(shí)別領(lǐng)域通常使用離散的情感模型和多維的情感模型來有效的對(duì)情感進(jìn)行度量.離散情感模型使用諸如快樂、恐懼、憤怒、悲傷等標(biāo)簽來表示獨(dú)立的情感.該模型特點(diǎn)簡單直觀，但表示的情感范圍有限，同時(shí)由于情感類別之間存有相似性，其難以進(jìn)行表達(dá)及度量.為了解決上訴問題，研究者建立了多維的情感模型，利用多個(gè)維度的連續(xù)數(shù)值來描述情感的狀態(tài)，ORTORY 等人提出的OCC（Ortory-Clore-Collins）模 型［14］和 MEHRABIAN 和RUSSELL 提出的 PAD 模型［15］是目前使用最廣泛的模型.其中PAD 可以連續(xù)的描述情感，本文采用的是PAD模型.

PAD 模型開發(fā)于1974年，用于評(píng)估個(gè)人對(duì)環(huán)境感知和體驗(yàn)的心理反應(yīng).人的情緒狀態(tài)可以從三個(gè)基本維度來感知：愉悅、喚醒和支配.快樂是積極或消極情緒的維度.喚醒代表心理反應(yīng)狀態(tài).支配是受影響或控制的感覺的知覺認(rèn)知維度［16］.本文研究包括情緒狀態(tài)的所有3 個(gè)維度.基本能夠區(qū)分日常生活中的所有情感.

2.3 數(shù)據(jù)處理

2.3.1 數(shù)據(jù)準(zhǔn)備及清洗

數(shù)據(jù)集中有18 名實(shí)驗(yàn)者的樣本含有情緒數(shù)據(jù)超過1000 個(gè)，缺失數(shù)據(jù)不到90%.因此，本文研究中以該18個(gè)實(shí)驗(yàn)者的數(shù)據(jù)構(gòu)成情緒轉(zhuǎn)化數(shù)據(jù)集，數(shù)據(jù)集中共有49個(gè)離散的情緒標(biāo)簽，使用英語單詞情感規(guī)范（ANEW）將49 個(gè)離散的情緒標(biāo)簽映射到PAD模型的愉悅（P）、興奮（A）和支配（D）3 個(gè)維度 .ANEW 是由情緒和注意力研究中心開發(fā)的為研究情緒和注意力的研究者提供的標(biāo)準(zhǔn).最新的數(shù)據(jù)庫包含了近14000 個(gè)英語單詞的情感含義，由1827 名參與者評(píng)分，他們的年齡、職業(yè)和教育程度各不相同.數(shù)據(jù)集中每個(gè)語言情感標(biāo)簽被轉(zhuǎn)換成3 個(gè)維度的連續(xù)值，取值范圍在1 到9 內(nèi)，其中1 和9 分別表示在相應(yīng)的PAD 維度中的最低和最高強(qiáng)度［17］.通過分別計(jì)算三個(gè)維度的絕對(duì)值最大值來決定一個(gè)人在任何時(shí)間點(diǎn)的主要情緒維度，然后，根據(jù)絕對(duì)值最大值的正負(fù)性考慮將愉悅分為不和諧、高興2 種情緒狀態(tài)，興奮分為勸阻、喚醒、2 種情緒狀態(tài)，支配分為順從和支配2種情緒狀態(tài).按｛1，2，3，4，5，6｝賦值，并設(shè)置為特征屬性“emotion”，完成將文本的情緒標(biāo)簽映射為數(shù)值.

同時(shí)，刪除了數(shù)據(jù)集中缺失數(shù)據(jù)達(dá)到80%的特征，以及地理位置數(shù)據(jù).缺失值都被一個(gè)大的負(fù)數(shù)代替以表示缺失，并通過去除均值和縮放到單位方差來標(biāo)準(zhǔn)化特征.最后原始數(shù)據(jù)共有104個(gè)特征，其中標(biāo)簽類數(shù)據(jù)為19個(gè).

2.3.2 重采樣

由于數(shù)據(jù)稀疏，目標(biāo)變量過于不平衡.在原始數(shù)據(jù)中，每5 分鐘間隔的樣本數(shù)從0 到5 不等.本文的研究旨在檢測較小時(shí)間間隔內(nèi)的情緒轉(zhuǎn)變和狀態(tài).因此，我們以每5分鐘采樣一次的頻率重新采樣所有數(shù)據(jù).在重采樣過程中，本文通過取5分鐘的間隔內(nèi)所有連續(xù)特征的平均值、所有二元特征的總和以及有順序特征值的最大值來作為樣本.

2.3.3 情緒變化處理

對(duì)于情緒轉(zhuǎn)換檢測，我們考慮了前一個(gè)窗口的特征變化 .因此，任意時(shí)刻 t 的特征集 Tt，k計(jì)算如公式（1）：

特征總數(shù)為n，ft，k表示第t個(gè)窗口第k個(gè)特征的值.情緒轉(zhuǎn)換檢測是一個(gè)二元分類問題，根據(jù)“emotion”字段，本文增設(shè)”emotion_change“屬性，其中0和1分別表示在過去5 分鐘內(nèi)情緒狀態(tài)沒有變化和變化.”emotion_change“即是本文的預(yù)測值.

3 基于FDCN的情緒檢測模型

為了充分學(xué)習(xí)特征間的低階、高階交叉、非線性組合，本文提出了基于因子分解機(jī)、深度交叉網(wǎng)絡(luò)的混合情緒變化檢測模型FDCN 模型，充分挖掘大學(xué)生日常環(huán)境、行為等數(shù)據(jù)特征間的隱形關(guān)聯(lián)，提高大學(xué)生情緒變化預(yù)測的準(zhǔn)確性.

3.1 FDCN情緒變化檢測模型框架

FDCN 模型由 embedding 層、FM 層、交叉層、深度網(wǎng)絡(luò)層組成，其結(jié)構(gòu)圖如圖1所示.

圖1 FDCN模型結(jié)構(gòu)圖Fig.1 FDCN model structure diagram

其中FM 層負(fù)責(zé)低階特征的交叉；cross 層負(fù)責(zé)高階線性特征交叉，deep 層負(fù)責(zé)學(xué)習(xí)非線性的特征表達(dá)，充分挖掘特征關(guān)聯(lián)，提高預(yù)測精度.combination層由各層的輸出線性加權(quán)而成.

3.2 embedding層

考慮到數(shù)據(jù)集里的數(shù)據(jù)除傳感器數(shù)據(jù)外，還含有大量標(biāo)簽類數(shù)據(jù)，如所在的環(huán)境是室內(nèi)或者室外等.這些數(shù)據(jù)在數(shù)據(jù)集里采用的是one-hot 編碼方式，在學(xué)習(xí)時(shí)會(huì)產(chǎn)生大量高維度的特征向量，為了減少特征的維數(shù)采用了embedding 層對(duì)這些標(biāo)簽類數(shù)據(jù)進(jìn)行處理［18］，embedding處理如公式（2）所示：

其中xembed，i是嵌入向量，xi是第i個(gè)標(biāo)簽數(shù)據(jù)的輸入，它參數(shù)一起進(jìn)行優(yōu)化，ne，nv分別是嵌入層大小和詞匯字典大小.

嵌入向量經(jīng)過嵌入層后與經(jīng)過連續(xù)特征歸一化后合并形成下一層的輸入如公式（3）所示：

3.3 FM層

FM 層的作用是解決特征數(shù)據(jù)稀疏如何組合，其通過在線性模型中加入兩個(gè)互相影響的特征組合，即將邏輯回歸模型拓展成二階特征交互，其預(yù)測值公式如公式（4）所示：

FM 模型借鑒了矩陣分解的思想，將二次項(xiàng)系數(shù)拆分為兩個(gè)特征向量相乘的形式，解決特征數(shù)據(jù)高維度且稀疏的問題.其優(yōu)化后如公式（5）所示：

其中 vi，vj∈ Rn×k表示第 i 個(gè)和第 j 個(gè)特征對(duì)應(yīng)的參數(shù)，向量內(nèi)積公式（6）計(jì)算如下：

3.4 cross層

cross 層的作用是對(duì)特征進(jìn)行顯式交叉，交叉網(wǎng)絡(luò)分為若干個(gè)交叉層，每一層的計(jì)算如公式（7）所示：

其中 wl，bl∈ Rd是第 L 層交叉網(wǎng)絡(luò)的權(quán)重系數(shù)和偏置系數(shù)，xl，xl+1是列向量，分別表示第 L 層和第 L+1交叉層的輸出.

3.5 deep層

deep 層由多層前饋神經(jīng)網(wǎng)絡(luò)疊加組成，負(fù)責(zé)提取輸入特征之間的隱形關(guān)聯(lián)，其每層輸出隱變量由公式（8）計(jì)算：

其 中 hl為 第 L 層 的 輸 出 ，hl∈ Rdl，hl+1∈ Rdl+1，Wl∈ Rdl×dl+1為第L層的權(quán)重矩陣，bl∈Rdl+1為第L層的偏執(zhí)向量，f為激活函數(shù).

3.6 組合輸出層

組合輸出層主要用于連接FM 層和cross層以及deep 層輸出的向量并計(jì)算概率值.本文直接將三個(gè)網(wǎng)絡(luò)輸出的向量進(jìn)行線性組合，然后用sigmoid函數(shù)計(jì)算概率值.在網(wǎng)絡(luò)訓(xùn)練過程中，使用對(duì)數(shù)損失和正則化項(xiàng).組合輸出層組合三層的輸出向量為公式（9）：

預(yù)測值為公式（10）：

σ 為sigmoid 函數(shù)，模型訓(xùn)練的損失函數(shù)為公式（11）：

yi為真實(shí)值，N 為輸入向量個(gè)數(shù)，λ 為正則化系數(shù).RMES計(jì)算公式如公式（12）所示：

3.7 算法流程

算法流程如下所示.

images/BZ_107_237_2326_2242_2383.png輸入：上下文環(huán)境數(shù)據(jù)、環(huán)境數(shù)據(jù)、手機(jī)數(shù)據(jù)、位置數(shù)據(jù)、聲音數(shù)據(jù)、.運(yùn)動(dòng)數(shù)據(jù)、時(shí)間數(shù)據(jù)輸出：情緒變化預(yù)測值步驟：1、對(duì)輸入數(shù)據(jù)進(jìn)行清洗、預(yù)處理、重采樣；2、對(duì)輸入標(biāo)簽類數(shù)據(jù)進(jìn)行embedding處理；3、將連續(xù)特征和經(jīng)過embedding處理后的特征拼接；4、將拼接好的特征送入FM層、cross層、deep層；5、對(duì)三層的輸出進(jìn)行線性加權(quán)；6、訓(xùn)練網(wǎng)絡(luò)，利用反向傳播調(diào)整各層的權(quán)重系數(shù)；7、得到預(yù)測值

4 實(shí)驗(yàn)結(jié)果與分析

4.1 評(píng)價(jià)指標(biāo)

為了對(duì)以上分類模型進(jìn)行評(píng)價(jià)，采用正確率（accuracy）、精度（precision）、召回率（recall）、F1 分?jǐn)?shù)（F1Score）、AUC 進(jìn)行評(píng)估，其計(jì)算公式如公式（13）、公式（14）、公式（15）、公式（16）所示：

其中，TP 為被分類器正確劃分為正例的個(gè)數(shù)，F(xiàn)P 為被分類器錯(cuò)誤的劃分為正例的個(gè)數(shù)，TN為被分類器正確的劃分為負(fù)例的個(gè)數(shù)，F(xiàn)N為被分類器錯(cuò)誤的劃分為負(fù)例的個(gè)數(shù).

4.2 模型訓(xùn)練

本文的模型使用python3.6 在深度學(xué)習(xí)框架tensorflow2.0 上實(shí)現(xiàn)，使用的顯卡是NVIDIA gtx 1080顯卡.

將預(yù)處理好的數(shù)據(jù)作為FM 層、embedding 層的輸入特征.模型超參數(shù)影響模型性能的主要有正則化、deep 網(wǎng)絡(luò)層數(shù)及神經(jīng)元的個(gè)數(shù).通過表1，分析了超參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響.

表1 超參數(shù)對(duì)精度的影響Tab.1 Influence of super parameters on accuracy

由表1 可知，正則化操作有效提高了模型的指標(biāo)，網(wǎng)絡(luò)層數(shù)和神經(jīng)元的個(gè)數(shù)并非越多越好.綜上，本文FCDC 模型設(shè)定的參數(shù)為deep 層網(wǎng)絡(luò)設(shè)為2 層，神經(jīng)元個(gè)數(shù)為128 個(gè)，層與層之間以全連接形式連接.embedding 層嵌入向量大小設(shè)置為4，cross層數(shù)為3，每層節(jié)點(diǎn)數(shù)為64 個(gè)，以全連接方式連接.輸出層采用relu 激活函數(shù)，采用L1 正則化.學(xué)習(xí)率參數(shù)設(shè)置為0.001.

4.3 模型對(duì)比

為了驗(yàn)證本文提出的FDCN 模型在大學(xué)生情緒變化檢測的有效性，首先將FDCN 模型與前述的deep&cross模型、FM模型和DCN模型進(jìn)行比較，驗(yàn)證混合模型的效果.數(shù)據(jù)集采用交叉驗(yàn)證，將數(shù)據(jù)集劃分為10 份，依次選用9 份作為訓(xùn)練集，余下一份作為測試集，實(shí)驗(yàn)10輪，以平均值為最終結(jié)果.圖2所示是四種模型的損失函數(shù)對(duì)比圖.

圖2 各模型損失函數(shù)對(duì)比圖Fig.2 Comparison diagram of loss function of each model

由實(shí)驗(yàn)結(jié)果可知，四種模型隨著訓(xùn)練代數(shù)增加，損失函數(shù)都呈下降趨勢，且都在第6次訓(xùn)練代數(shù)損失函數(shù)趨于穩(wěn)定，其中FDCN模型表現(xiàn)最好，DCN次之.

各模型的RMES結(jié)果對(duì)比如圖3所示：

圖3 各模型RMES對(duì)比圖Fig.3 Comparison diagram of RMES of each model

由圖3 可知，隨著訓(xùn)練迭代次數(shù)增加，各模型RMES 的值逐漸收斂，其中FDCN 模型收斂速度最快，DCN次之，F(xiàn)M表現(xiàn)較差.

為了進(jìn)一步驗(yàn)證FDCN模型的有效性，將FDCN模型和以上模型與近幾年在分類算法中應(yīng)用比較多的樹形模型Xgboost 算法和RandomForest（隨機(jī)森林算法）進(jìn)行比較.Xgboost 和RandomForest 兩種算法均調(diào)用Sklearn 庫實(shí)現(xiàn)，分別采用十折交叉驗(yàn)證方法以及網(wǎng)格搜索法選擇兩種算法的最佳超參數(shù).對(duì)比結(jié)果如表2所示：

表2 模型對(duì)比Tab.2 Model comparison

實(shí)驗(yàn)結(jié)果表明，在算法執(zhí)行時(shí)間上，傳統(tǒng)的樹形模型在中小型數(shù)據(jù)集上仍有一定優(yōu)勢，F(xiàn)DCN、deep&cross模型、DCN 模型等深度學(xué)習(xí)模型耗時(shí)均有所增加.FDCN 模型相較與單一的FM 模型、deep& cross 模型、DCN 模型在 ACC、Precision、Recall、F1等指標(biāo)上均有提升，F(xiàn)DCN 模型和Xgboost算法的預(yù)測性能相似.由此可見，F(xiàn)DCN 模型通過FM 層獲取低階特征交叉、cross 層提取高階特征有效的組合，deep 層學(xué)習(xí)高階的非線性特征，三者組合具有較好的表現(xiàn). 所以深度學(xué)習(xí)模型通過結(jié)合FM、embedding、cross 等特征提取機(jī)制可以實(shí)現(xiàn)更加豐富的類別特征表達(dá)，充分挖掘特征關(guān)聯(lián)，在分類算法的精度上可以達(dá)到以傳統(tǒng)樹模型為基礎(chǔ)的分類算法水平.

5 結(jié)語

大學(xué)生的情緒變化檢測對(duì)高校的學(xué)生管理工作具有重要意義，傳統(tǒng)的量表篩查反饋性差，腦電檢測成本高昂.本文利用機(jī)器學(xué)習(xí)，提出了FDCN 情緒變化檢測模型，通過在智能手機(jī)和智能手表感知的日常數(shù)據(jù)上訓(xùn)練，以深度交叉網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合因子分解機(jī)充分學(xué)習(xí)特征的低階組合和高階組合以及非線性關(guān)系，可以及時(shí)、主動(dòng)地檢測大學(xué)生的情緒狀態(tài)轉(zhuǎn)換.本研究有助于減少傳統(tǒng)篩查中對(duì)學(xué)生自我報(bào)告的依賴，實(shí)現(xiàn)對(duì)學(xué)生日常情緒的無縫跟蹤及情緒異常變化的提前感知，具有較好的應(yīng)用性.