面向網(wǎng)絡(luò)文本的BERT 心理特質(zhì)預(yù)測研究

張 晗，賈甜遠(yuǎn)，駱 方，張 生，鄔 霞,4+

1.北京師范大學(xué) 人工智能學(xué)院，北京 100875

2.北京師范大學(xué) 心理學(xué)部，北京 100875

3.北京師范大學(xué) 中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心，北京 100875

4.智能技術(shù)與教育應(yīng)用教育部工程研究中心，北京 100875

隨著信息時代的飛速發(fā)展，利用網(wǎng)絡(luò)平臺進行學(xué)習(xí)、工作、娛樂、社交等活動已經(jīng)成為人們?nèi)粘Ｉ钪斜夭豢缮俚囊徊糠郑瑯O大地豐富了人們表達(dá)自我、記錄思想和交流溝通的方式。在互聯(lián)網(wǎng)中的海量數(shù)據(jù)中，非結(jié)構(gòu)化文本與信息數(shù)據(jù)占據(jù)了很大一部分，用戶的文本信息往往是其在自然狀態(tài)而非測試狀態(tài)下的真實表達(dá)。研究表明，個體所使用的語言文本往往在一定程度上反映著其心理狀態(tài)或某些特質(zhì)傾向[1-2]，例如羞怯特質(zhì)（shyness）、合作性特質(zhì)（cooperativeness）、完美主義特質(zhì)（perfectionism）、焦慮特質(zhì)（anxiety）等。這些心理特質(zhì)的差異會對一系列的個人行為（如個人決策、職業(yè)能力等）產(chǎn)生多重影響[3-4]，通過對心理特質(zhì)進行分析評價和持續(xù)監(jiān)測能夠幫助深入了解心理狀態(tài)和人格特質(zhì)，在發(fā)展過程中發(fā)現(xiàn)行為變化中所存在的問題和原因并及時加以解決。因此，對網(wǎng)絡(luò)文本數(shù)據(jù)進行分析，可以為預(yù)測心理特質(zhì)提供非常有用的參考價值，彌補傳統(tǒng)的心理測量方法易受應(yīng)試動機等因素影響的缺陷。

近年來，深度學(xué)習(xí)[5]相關(guān)技術(shù)在計算機視覺、模式識別、自然語言處理等領(lǐng)域得到了廣泛應(yīng)用[6-8]，因其在很大程度上避免了傳統(tǒng)文本分類方法中存在的諸多問題，所以也越來越多地應(yīng)用于文本挖掘。具體來說，深度學(xué)習(xí)能夠?qū)⑽谋緮?shù)據(jù)轉(zhuǎn)換為適合神經(jīng)網(wǎng)絡(luò)處理的格式來有效進行文本表示，并通過特定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動獲取關(guān)鍵特征進而避免了人工特征工程的復(fù)雜過程，從而在大規(guī)模文本分類及情感分析領(lǐng)域中表現(xiàn)出了很好的性能，進一步提高了模型分類的精度[9-10]。尤其是2018 年出現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)語言模型BERT（bidirectional encoder representations from transformers）[11]，它采用多頭注意力機制[12]，不僅能夠準(zhǔn)確提取字符級別和詞級別的信息，而且可以充分捕捉句內(nèi)關(guān)系和句間關(guān)系，具有很強的模型泛化能力和魯棒性，在包括文本分類在內(nèi)的多種自然語言處理任務(wù)中都表現(xiàn)出優(yōu)異的模型性能[12-15]。

本文針對網(wǎng)絡(luò)文本數(shù)據(jù)，提出了基于BERT 的心理特質(zhì)預(yù)測模型，主要貢獻(xiàn)如下：

（1）將BERT 語言框架應(yīng)用于心理特質(zhì)預(yù)測，利用BERT 雙向訓(xùn)練的模式及Transformer 的編碼模塊挖掘更加完整的上下文語義特征和更長距離的上下文依賴關(guān)系，解決了心理特質(zhì)語義特征的增強向量表示的問題。

（2）在下游分類任務(wù)中分別采用BERTBASE模型的全連接層和基于集成學(xué)習(xí)原理的隨機森林算法作為兩種分類器，避免分類器多樣性較差而造成的分類準(zhǔn)確率受限、模型性能欠佳等問題。

1 相關(guān)工作

在針對大五人格特質(zhì)預(yù)測的研究中，以往采用的文本挖掘方法大多依賴于傳統(tǒng)的機器學(xué)習(xí)算法。例如，Kwantes 等[16]在2016 年利用潛在語義分析的算法對被試所寫的關(guān)于在特定場景中自我感受的文章進行內(nèi)容處理，并結(jié)合被試的量表信息，實現(xiàn)了包括開放性、外傾性、神經(jīng)質(zhì)性/情緒穩(wěn)定性在內(nèi)的三種人格特質(zhì)預(yù)測。近年來，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在文本挖掘領(lǐng)域的應(yīng)用使得心理特質(zhì)與人格預(yù)測研究有了進一步突破，主要采用的網(wǎng)絡(luò)結(jié)構(gòu)包括經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks,CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network,RNN）及其對應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)變種。例如，Wei 等[17]在2017 年提出了一個用于預(yù)測微博用戶個性特征的異構(gòu)信息集成框架，通過收集用戶的語言文本數(shù)據(jù)、頭像、表情和互動模式等異構(gòu)信息，采用CNN 的改進結(jié)構(gòu)Text-CNN、Responsive-CNN 以及詞袋聚類等多種不同的策略來進行語義表示和特征提取，不僅很好地實現(xiàn)了開放性、盡責(zé)性、外傾性、宜人性以及神經(jīng)質(zhì)性這五種人格的預(yù)測，而且表現(xiàn)出了優(yōu)于其他傳統(tǒng)模型的性能。Majumder等[18]提出了一種基于CNN 從文章中提取大五人格特征的模型，將文章中的句子輸入到卷積濾波器中得到N-Gram 特征向量形式的句子模型，在大五人格預(yù)測實驗中也表現(xiàn)出了良好的模型性能。

由此可見，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法在基于文本挖掘的情感分析及心理特質(zhì)預(yù)測研究中具有明顯的可行性及有效性。但需要指出的是，上述研究所建立的情感分析及心理特質(zhì)預(yù)測模型，大多是基于經(jīng)典的神經(jīng)網(wǎng)絡(luò)算法，這些網(wǎng)絡(luò)結(jié)構(gòu)本身的限制在很大程度上會使模型性能受限。而深度學(xué)習(xí)領(lǐng)域的更新迭代速度之快使得許多廣泛應(yīng)用于文本分類的神經(jīng)網(wǎng)絡(luò)算法出現(xiàn)了更加完善的改進結(jié)構(gòu)及變種形式，尤其是近幾年提出的注意力機制以及BERT 語言模型，在包括句子級和詞條級在內(nèi)的11 項自然語言處理任務(wù)中都表現(xiàn)出了超越其他技術(shù)的效果[11,19]，對文本分類任務(wù)的提升效果也極為顯著。但是這些最新的網(wǎng)絡(luò)結(jié)構(gòu)及算法改進往往僅在自然語言處理領(lǐng)域得到了較大范圍的應(yīng)用，并未引入心理特質(zhì)預(yù)測研究中。因此，本文基于注意力機制的原理，利用BERT 算法并對其下游結(jié)構(gòu)進行微調(diào)，構(gòu)建基于BERT 的文本分類模型，用于實現(xiàn)羞怯、合作性、完美主義、焦慮這四種心理特質(zhì)的預(yù)測。

2 基于BERT 的心理特質(zhì)預(yù)測模型設(shè)計

2.1 BERT 算法基本原理

BERT 可譯為“來自變換器的雙向編碼器表示”，由Google 在2018 年年底提出，本質(zhì)上是一種基于Transformer 架構(gòu)且能夠進行雙向深度編碼的神經(jīng)網(wǎng)絡(luò)語言模型[11-12]。在BERT 內(nèi)部組成結(jié)構(gòu)中，最為關(guān)鍵的部分是Transformer 的解碼模塊。Transformer 由編碼器（Encoder）和解碼器（Decoder）兩部分組成，Encoder 用于對輸入的文本數(shù)據(jù)進行編碼表示，Decoder 用于生成與輸入端相對應(yīng)的預(yù)測序列；由于BERT 作為語言表示模型使用，僅采用了Transformer的Encoder 而未使用Decoder。BERT 之所以能在文本分類、閱讀理解、語言翻譯等各類自然語言處理任務(wù)中都表現(xiàn)出極強的模型泛化能力和提升效果，關(guān)鍵在于其利用自注意力（self-attention）機制的原理，并引入掩蔽語言模型（masked language model,MLM）和下一句預(yù)測（next sentence prediction,NSP）兩種策略對不同層的上下文聯(lián)合處理來進行雙向深度預(yù)訓(xùn)練，以此緩解單向性約束問題，這在以往常用的語言表示模型中是無法實現(xiàn)的。所謂MLM，簡單來說，類似于完形填空的過程，指的是將句子中的詞按照隨機的形式進行遮蔽（Mask），然后依據(jù)上下文語義信息對其進行預(yù)測，被遮蔽的詞在大多數(shù)情況下（80%）將被替換為[MASK]標(biāo)簽，在其他情況下分別替換為隨機詞（10%）或保留該詞不做替換（10%），通過這種Mask 操作使得每個詞的關(guān)注度得到提高；NSP 則是根據(jù)句子之間的依賴關(guān)系對下一個句子進行預(yù)測，在句首和句末分別插入[CLS]和[SEP]標(biāo)簽，通過學(xué)習(xí)句間語義相關(guān)性判斷某個句子是否為輸入句子的下一句，按照50%的概率進行匹配，適用于問答任務(wù)或推理任務(wù)的過程。

在BERT 框架的實現(xiàn)過程中，主要包括預(yù)訓(xùn)練和微調(diào)兩部分。在預(yù)訓(xùn)練過程中，BERT 針對不同的任務(wù)對未標(biāo)記的數(shù)據(jù)進行訓(xùn)練；在微調(diào)階段，先利用預(yù)訓(xùn)練的參數(shù)對BERT 進行初始化之后，再結(jié)合下游具體任務(wù)的標(biāo)記數(shù)據(jù)實現(xiàn)對所有參數(shù)的微調(diào)過程。正是由于BERT 的預(yù)訓(xùn)練與下游任務(wù)結(jié)構(gòu)之間沒有太大差別，BERT 具有跨不同任務(wù)之間的通用架構(gòu)。

2.2 模型基本思想

本文基于BERT 模型，分別采用BERTBASE模型的全連接層和經(jīng)典的隨機森林（random forest,RF）算法作為分類器，構(gòu)建了BERT-B 和BERT-RF 心理特質(zhì)分類模型，將四種心理特質(zhì)預(yù)測任務(wù)轉(zhuǎn)化為基于BERT二元分類的多標(biāo)簽文本分類任務(wù)。模型的基本思想是利用BERT 本身所具有的MLM 對詞預(yù)測以及NSP對兩個句子是否有上下文關(guān)系進行分類的兩種策略使模型能夠在更大程度上根據(jù)上下文語義實現(xiàn)詞的預(yù)測，提高糾錯能力。且Transformer 的Encoder 捕獲更長距離的上下文依賴關(guān)系，通過雙向訓(xùn)練的模式使得模型對語義信息特征的獲取更加全面和高效。此外，考慮到心理特質(zhì)是一種較為復(fù)雜的內(nèi)隱特征，不同的分類器構(gòu)造可能會影響分類結(jié)果的精度，因此，在下游分類任務(wù)中分別采用BERTBASE模型的全連接層和經(jīng)典的隨機森林算法作為兩種不同的分類器，豐富模型的多樣性，并對模型結(jié)果進行對比分析，尋找預(yù)測精度更高的心理特質(zhì)預(yù)測模型。由于四種心理特質(zhì)所對應(yīng)的標(biāo)簽之間不存在明顯的相互依賴或排斥的關(guān)系，分別針對每一種心理特質(zhì)訓(xùn)練一個相應(yīng)的二分類模型。

基于BERT 的兩種模型整體框架結(jié)構(gòu)如圖1 所示。在完成文本數(shù)據(jù)預(yù)處理后并將句子長度裁剪為512個字符以內(nèi)后，首先進入嵌入層（embedding layer）將句子按字分割，把單個字符轉(zhuǎn)化為詞向量表示的形式；然后將嵌入操作后的結(jié)果送入Transformer 的Encoder 層，每 個Encoder 層 由Self-Attention 層 和Self-Output 層、Intermediate 層、Output 層組成，其中Self-Attention 由Query、Key、Value 三個全連接層組成；接著將最后一層Encoder 的第一個字符[CLS]的字向量經(jīng)過池化層（Pooler），經(jīng)由tanh 函數(shù)處理后得到整個句子的句向量表示；最后將攜帶強語義表示的句向量送入分類層，其中，BERT-B 模型和BERTRF 模型分別采用BERTBASE的全連接層和RF 算法兩種方式作為四種心理特質(zhì)類別的分類器，分別得到每個類別的分類結(jié)果，完成對四種心理特質(zhì)的預(yù)測。

2.3 模型構(gòu)建

基于BERT 的BERT-B 模型與BERT-RF 模型構(gòu)建過程主要包括如下步驟：

（1）BERT 輸入表示。由于本研究所采用的數(shù)據(jù)為中文文本，故將單個漢字直接作為細(xì)粒度的文本語義單位。每個字的輸入表示由其對應(yīng)的token embedding、segment embedding 和position embedding三個嵌入加和構(gòu)成。其中，token 表示詞/字，token embedding 即為詞/字向量表示word embedding，根據(jù)字向量表的查詢結(jié)果將一個token 表示為一維向量的形式；segment 表示部分/段，segment embedding 即為區(qū)分字/詞的語義屬于哪個句子的向量表示，判斷一個token 屬于左（EA）右（EB）兩邊的哪一個segment，此處輸入的文本數(shù)據(jù)為句子而非句對，故只有EA 沒有EB；position 表示位置，position embedding 即為位置向量表示，根據(jù)詞/字在文本中所對應(yīng)的特定位置和順序，每個token 都被賦予一個攜帶了其自身位置信息的向量編碼表示。最后將以上3 個embedding 相加即得到了BERT 的線性序列輸入表示。圖2 展示了BERT 輸入的嵌入處理可視化表示形式，其中，句首加入的特殊字符[CLS]代表句子的開始，用于下游的文本分類任務(wù)；句末的[SEP]表示分割符，使得序列中被打包的句子分隔開來。

Fig.1 Framework of prediction models for psychological traits based on BERT圖1 基于BERT 的心理特質(zhì)預(yù)測模型框架結(jié)構(gòu)

Fig.2 Embedding example of input圖2 模型輸入表示的嵌入處理示例

（2）Encoder 注意力計算。為了挖掘輸入文本中句子內(nèi)部的字詞間語義相關(guān)性及依賴程度，增強文本序列編碼的語義表示，采用Self-Attention 機制，將文本序列表示為由每個字的查詢（Query）以及一系列的鍵值對的組合構(gòu)成，Query=Key=Value，計算每個字Query 與每個Key 之間的相關(guān)性并求得相應(yīng)Value 的權(quán)值，完成歸一化再進行加權(quán)求和操作得出Attention 的值。為了學(xué)習(xí)到不同語義場景中的信息表示，使Attention 的多樣性進一步得到擴展，因此在多個語義空間中采用不同的Self-Attention構(gòu)成多頭自注意力（multi-head self-attention）模塊，如圖3 所示。multi-head self-attention 利用多個不同的頭來發(fā)現(xiàn)不同的關(guān)注點，對Query、Key、Value 進行線性變換后計算h次Attention，將所有Attention 進行拼接后再次線性變換得到多頭的結(jié)果，進而得到與初始輸入向量長度相同但包含全文完整語義特征的向量表示，計算公式如下所示[12]：

其中，W為線性變換的參數(shù)，每進行一次線性變換，W值也會隨之變化。

（3）BERT 輸出處理。將最后一層Transformer的Encoder 中第一個字符[CLS]的字向量經(jīng)過池化操作和tanh 函數(shù)處理，即可得到融合了全文字詞相關(guān)性及全面語義信息的整個句子向量輸出表示，將其存儲以實現(xiàn)下游的文本分類任務(wù)。

Fig.3 Framework of multi-head self-attention圖3 多頭自注意力機制框架

（4）分類預(yù)測。在分類任務(wù)中，考慮到不同分類器的選擇可能會導(dǎo)致分類精度的差異，而且有研究針對179 種分類算法分析后發(fā)現(xiàn)基于集成學(xué)習(xí)的RF是分類效果最好的算法之一[20]，因此分別采用經(jīng)典的機器學(xué)習(xí)算法RF 作為一種強分類器，以及深度學(xué)習(xí)算法中普遍使用的全連接層作為另一種分類器，比較兩者基于BERT 增強語義向量表示的分類結(jié)果。

3 實驗與結(jié)果

3.1 樣本數(shù)據(jù)描述

本研究的被試為教育資源共享與在線互動學(xué)習(xí)網(wǎng)站“教客網(wǎng)（https://jiaoke.runhemei.com/）”的2 660名小學(xué)生用戶（男生1 380 名，女生1 280 名），年齡在5～14 歲之間（平均年齡為8.55 歲），來自全國不同省市的26 所學(xué)校。其中，702 名學(xué)生來自甘肅省酒泉市的7 所學(xué)校，1 844 名學(xué)生來自遼寧省大連市的18 所學(xué)校，108 名學(xué)生來自四川省成都市的1 所學(xué)校，6 名學(xué)生填寫的地區(qū)及學(xué)校信息不詳。被試人口學(xué)特征如表1 所示。

Table 1 Democratic characteristics of subjects表1 被試人口學(xué)特征

對以下小學(xué)生用戶自2013 年6 月1 日至2018 年1 月18 日在教客網(wǎng)上發(fā)布的所有博客日志、評論回復(fù)等在線文本進行數(shù)據(jù)爬取和收集，共得到160 154 篇文本。針對文本數(shù)據(jù)，按照“正?！薄盁o意”“短無”“短意”“重復(fù)”五類標(biāo)準(zhǔn)進行數(shù)據(jù)清理，各標(biāo)準(zhǔn)的內(nèi)容范圍如表2 所示。對“正?！薄岸桃狻眱深悩?biāo)準(zhǔn)下的文本予以保留；其他標(biāo)準(zhǔn)下的文本直接剔除。最后得到“正?！薄岸桃狻睒?biāo)準(zhǔn)下的有效文本為88 659 篇，共計132 323（13 萬）條完整語句數(shù)據(jù)。

針對羞怯、合作性、完美主義以及焦慮四種心理特質(zhì)，基于北京師范大學(xué)心理學(xué)部相關(guān)專業(yè)研究人員確定的對應(yīng)上述四種心理特質(zhì)行為表現(xiàn)的常見詞語，進一步篩選符合相應(yīng)心理特質(zhì)的關(guān)鍵詞共386個，其中羞怯特質(zhì)包含97 個關(guān)鍵詞，合作性特質(zhì)包含116 個關(guān)鍵詞，完美主義特質(zhì)包含71 個關(guān)鍵詞，焦慮特質(zhì)包含102 個關(guān)鍵詞。將得到的關(guān)鍵詞分別與13萬條數(shù)據(jù)進行匹配，若句子中出現(xiàn)某種心理特質(zhì)所對應(yīng)的關(guān)鍵詞，則該條句子的此類特質(zhì)標(biāo)記為正類1，否則為負(fù)類0。通過標(biāo)簽匹配，使得每條句子帶有4 個標(biāo)簽，即代表四種心理特質(zhì)。

Table 2 Criterions for data cleaning表2 數(shù)據(jù)清洗標(biāo)準(zhǔn)

3.2 實驗設(shè)置

通過Pandas 對語料數(shù)據(jù)進行處理，將句子長度裁剪為512 個字符以內(nèi)，并將句子按字分割后轉(zhuǎn)化為詞向量形式，完成詞嵌入后進入12 個Encoder 層進行多頭注意力計算，再將最后一層Encoder 的第一個字符[CLS]的向量（768 維）經(jīng)過池化層操作，經(jīng)由tanh函數(shù)處理得到整個句子的句向量表示，最后分別利用BERT-B 模型的全連接層和BERT-RF 模型的RF 分類器對攜帶強語義表示的句向量進行分類，得到每種心理特質(zhì)的分類結(jié)果。由于針對四種心理特質(zhì)分別訓(xùn)練了4 個分類器，本質(zhì)為4 個二分類任務(wù)，故將softmax 函數(shù)直接改為sigmoid 函數(shù)。選取0.5 作為分類閾值，概率小于0.5 為負(fù)類（標(biāo)為0），大于等于0.5為正類（標(biāo)為1），分別得到每個標(biāo)簽的分類結(jié)果進行輸出?；贐ERT-B 和BERT-RF 的心理特質(zhì)分類預(yù)測模型的主要參數(shù)設(shè)置如表3 所示。

此外，將其他經(jīng)典的深度學(xué)習(xí)算法CNN、RNN 的變種雙向長短期記憶（bidirectional long short-term memory,Bi-LSTM）網(wǎng)絡(luò)與注意力機制（attention）結(jié)合后的模型CNN-Attention、Bi-LSTM-Attention 應(yīng)用于本數(shù)據(jù)集進行驗證，以進一步說明本模型的性能優(yōu)勢。

Table 3 Parameters setting based on BERT表3 基于BERT 模型的主要參數(shù)設(shè)置

3.3 模型評價指標(biāo)

對于分類模型而言，以二分類為例，假設(shè)只有0和1 兩類，最終的判別結(jié)果有四種情況：真正（true positive,TP），即被模型預(yù)測為正的正樣本；假正（false positive,FP），即被模型預(yù)測為正的負(fù)樣本；假負(fù)（false negative,FN），即被模型預(yù)測為負(fù)的正樣本；真負(fù)（true negative,TN），即被模型預(yù)測為負(fù)的負(fù)樣本。本研究在實驗中結(jié)合預(yù)測結(jié)果和實際結(jié)果，得到TP、FP、FN 和TN 的數(shù)量，選擇如下6 個指標(biāo)對模型性能進行評價。

（1）準(zhǔn)確率（Accuracy）。分類正確的樣本占總樣本個數(shù)的比例，其計算公式為：

（2）精準(zhǔn)率（Precision）。模型預(yù)測為正的樣本中實際也為正的樣本占被預(yù)測為正的樣本的比例，其計算公式為：

（3）召回率（Recall）。實際為正的樣本中被預(yù)測為正的樣本所占實際為正的樣本的比例，其計算公式為：

（4）F1分?jǐn)?shù)（F1score）。精確率和召回率的調(diào)和平均值，其計算公式為：

（5）ROC 曲 線（receiver operating characteristic curve）。通過計算出TPR 和FPR 兩個值，分別以它們?yōu)闄M、縱坐標(biāo)作圖得到ROC 曲線。ROC 曲線在坐標(biāo)系中的位置越接近于左上方，則說明分類模型的性能越好。

（6）AUC（area under curve）。ROC 曲線下的面積，取值范圍為[0,1]。之所以使用AUC 值作為模型表現(xiàn)的評價指標(biāo)之一，是因為有些情況下僅憑ROC曲線無法清楚判斷不同分類模型的優(yōu)劣。通過AUC值使得ROC 曲線的表現(xiàn)得以量化，AUC 值越大，代表與之對應(yīng)的分類模型效果越好。

3.4 實驗結(jié)果及分析

將13 萬條文本數(shù)據(jù)劃分為獨立的三部分，其中，12 萬條作為訓(xùn)練集，用于訓(xùn)練分類模型的參數(shù)；5 000條作為驗證集，用于檢驗訓(xùn)練過程中模型的狀態(tài)及收斂情況并調(diào)整超參數(shù)；5 000 條作為測試集，用于評價模型的泛化能力。選取準(zhǔn)確率、精準(zhǔn)率、召回率、F1分?jǐn)?shù)、ROC 曲線和AUC 值6 個指標(biāo)，分別對模型表現(xiàn)做出評價。

對于羞怯、合作性、完美主義、焦慮四種心理特質(zhì)的分類預(yù)測表現(xiàn)，BERT-B 模型和BERT-RF 模型的準(zhǔn)確率、精準(zhǔn)率、召回率及F1值表現(xiàn)如表4 所示。從表4 中可以看出，BERT-RF 模型對于羞怯、合作性、完美主義、焦慮四種心理特質(zhì)的分類預(yù)測都取得了較為理想的效果，每種心理特質(zhì)所對應(yīng)的準(zhǔn)確率、精準(zhǔn)率、召回率及F1值都在0.97～0.99 之間；其中對于羞怯特質(zhì)的分類預(yù)測效果最為突出，4 個指標(biāo)都高于0.98。對比發(fā)現(xiàn)，相對于BERT-RF 模型，BERT-B 模型對于四種心理特質(zhì)的分類預(yù)測表現(xiàn)則更加顯著，每種心理特質(zhì)所對應(yīng)的準(zhǔn)確率、精準(zhǔn)率、召回率以及F1值全部高于0.98，尤其是對于合作性特質(zhì)和羞怯特質(zhì)的預(yù)測所有指標(biāo)都高達(dá)0.99 以上，模型表現(xiàn)非常優(yōu)秀。

Table 4 Performance of predicting four psychological traits表4 四種心理特質(zhì)分類預(yù)測的表現(xiàn)

將CNN-Attention 及Bi-LSTM-Attention 兩種經(jīng)典的深度學(xué)習(xí)模型應(yīng)用于本數(shù)據(jù)集，與本文基于BERT 構(gòu)建的兩種模型在心理特質(zhì)分類預(yù)測的平均表現(xiàn)進行對比，得到結(jié)果如圖4 所示。對四種心理特質(zhì)預(yù)測的平均準(zhǔn)確率、平均精準(zhǔn)率、平均召回率及平均F1值，Bi-LSTM-Attention 模型表現(xiàn)在0.71～0.79 之間，CNN-Attention 模型表現(xiàn)在0.80～0.96 之間；而BERT-B 和BERT-RF 模型的對應(yīng)指標(biāo)均在0.97～0.99之間，明顯優(yōu)于其他兩種深度學(xué)習(xí)模型的整體預(yù)測效果。由此可見，相較于其他兩種經(jīng)典的深度學(xué)習(xí)模型，本文基于BERT 構(gòu)建的心理特質(zhì)分類模型的性能表現(xiàn)更勝一籌。

Fig.5 ROC and AUC of BERT-B and BERT-RF圖5 BERT-B 模型與BERT-RF 模型ROC 曲線及AUC 值

為進一步對基于BERT 的BERT-B 和BERT-RF心理特質(zhì)分類模型性能做出對比和評價，圖5 按照從左到右、從上到下的順序依次展示了BERT-B 模型和BERT-RF 模型在羞怯、合作性、完美主義、焦慮四種心理特質(zhì)分類預(yù)測中所對應(yīng)的ROC 曲線及其AUC值。如圖5 所示，BERT-B 模型和BERT-RF 模型的ROC 曲線都位于坐標(biāo)系的左上方，且AUC 值基本都在0.99 左右，說明兩個模型的分類效果都不錯。通過進一步比較后發(fā)現(xiàn)，相對于BERT-RF 模型來說，BERT-B 模型在羞怯、合作性、完美主義、焦慮分類預(yù)測中的ROC 曲線明顯更靠近坐標(biāo)系的左上角，而且其每種心理特質(zhì)所對應(yīng)的AUC 值也都更大；尤其是在羞怯特質(zhì)中的表現(xiàn)，BERT-RF 模型的AUC 值為0.982 2，BERT-B 模型的AUC 值為0.998 5，盡管兩個模型效果都相當(dāng)不錯，但BERT-B 模型的表現(xiàn)仍然優(yōu)于BERT-RF 模型。

通過對上述結(jié)果的分析，初步推斷BERT 下游分類任務(wù)由分類器的不同所產(chǎn)生的分類精度差異，可能是由于BERT 模型框架依賴于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而隨機森林作為一種傳統(tǒng)的機器學(xué)習(xí)算法與神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式不同，在加入BERT 下游分類任務(wù)層時可能會出現(xiàn)由于內(nèi)部算法原理不同所導(dǎo)致的模型架構(gòu)差異較大而影響分類精度。因此，本研究在BERTBASE下游結(jié)構(gòu)中添加全連接層所構(gòu)建的BERT-B 模型更加適于網(wǎng)絡(luò)文本的心理特質(zhì)預(yù)測。

4 結(jié)束語

本文基于BERT 構(gòu)建了BERT-B 和BERT-RF 兩種網(wǎng)絡(luò)文本心理特質(zhì)預(yù)測模型，通過雙向訓(xùn)練的模式使模型能夠在更大程度上獲得完整的上下文語義特征，利用Transformer 的Encoder 捕捉更長距離的上下文依賴關(guān)系；在下游分類任務(wù)中分別采用BERTBASE模型的單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和經(jīng)典的隨機森林算法作為兩種不同的分類器，都表現(xiàn)出了較為理想的分類預(yù)測效果。與經(jīng)典的深度學(xué)習(xí)模型CNN-Attention 和Bi-LSTM-Attention 的結(jié)果對比后進一步驗證了本研究所提出模型的有效性。從平均表現(xiàn)來看，BERT-B和BERT-RF 兩個模型的平均準(zhǔn)確率、平均精準(zhǔn)率等各項指標(biāo)都在0.97 以上，結(jié)合多項指標(biāo)可以看出BERT-B 模型的平均效果強于BERT-RF 模型。就部分而言，BERT-RF 模型在羞怯特質(zhì)中表現(xiàn)最好，準(zhǔn)確率和精準(zhǔn)率都大于0.98，在合作性、完美主義及焦慮特質(zhì)的分類預(yù)測中準(zhǔn)確率及精準(zhǔn)率也都在0.97～0.99之間；BERT 模型對于合作性和羞怯兩種特質(zhì)的分類預(yù)測準(zhǔn)確率和精確率高達(dá)0.99 以上，對完美主義和焦慮兩種特質(zhì)的分類預(yù)測準(zhǔn)確率均高于0.98，而且BERT-B 模型的ROC 與AUC 表現(xiàn)也比BERT-RF 更好。由此可以得出結(jié)論，相對于BERT-RF 模型，BERT-B 模型的平均表現(xiàn)以及在每種心理特質(zhì)的分類預(yù)測表現(xiàn)都更為出色。構(gòu)建不同的心理特質(zhì)預(yù)測模型，同時對其他相關(guān)心理特質(zhì)或人格傾向的預(yù)測模型研究具有一定的參考價值。

從模型算法角度來看，對于四種心理特質(zhì)的預(yù)測任務(wù)本質(zhì)上為文本的多標(biāo)簽分類任務(wù)?？紤]到心理特質(zhì)本身是一種極為復(fù)雜的內(nèi)隱特征，盡管目前來看本研究所預(yù)測的羞怯、合作性、完美主義、焦慮四種心理特質(zhì)所對應(yīng)的四種標(biāo)簽之間并不存在明顯的相互依賴關(guān)系，但是仍然無法完全排除這一可能性，因此這種做法無法避免不同標(biāo)簽之間相互影響的風(fēng)險。在后續(xù)研究中，可以考慮直接利用多標(biāo)簽輸出的方式進行建模。