面向社交媒體數(shù)據(jù)的人格識(shí)別研究進(jìn)展

林浩，王春東，孫永杰

1.天津理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，天津300384

2.計(jì)算機(jī)病毒防治技術(shù)國(guó)家工程實(shí)驗(yàn)室，天津300384

3.智能計(jì)算及軟件新技術(shù)天津市重點(diǎn)實(shí)驗(yàn)室，天津300384

4.天津理工大學(xué) 語(yǔ)言文化學(xué)院，天津300384

人格是一種跨時(shí)間、跨情境的，與人類的想法、情緒、行為相關(guān)的穩(wěn)定模式。任何涉及對(duì)人類行為的理解、分析、預(yù)測(cè)的技術(shù)都可能受益于人格識(shí)別，例如人機(jī)交互[1]、推薦系統(tǒng)[2]、謠言傳播研究[3-4]、精神疾病診斷[5]、自我傾向揭示[6]、網(wǎng)絡(luò)空間安全[7]等。準(zhǔn)確識(shí)別人格是上述研究領(lǐng)域?qū)崿F(xiàn)“以人為本”和個(gè)性化的重中之重。而有關(guān)人格識(shí)別的研究已成為心理學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域中的一個(gè)多學(xué)科交叉的熱點(diǎn)研究課題。但自陳量表[8]、投射測(cè)驗(yàn)[9]等標(biāo)準(zhǔn)化的傳統(tǒng)人格心理測(cè)驗(yàn)實(shí)施要求較高，難以采集大量樣本，使用范圍有限，使得相關(guān)研究的被試量不足，難以實(shí)現(xiàn)統(tǒng)計(jì)有效性。社交媒體為人格識(shí)別研究提供了良好的數(shù)據(jù)源[10-11]，同時(shí)也催生了基于機(jī)器學(xué)習(xí)的人格識(shí)別研究。但目前基于機(jī)器學(xué)習(xí)訓(xùn)練的人格識(shí)別模型仍有很大性能提升空間。如能探明社交媒體數(shù)據(jù)和用戶人格特質(zhì)之間的聯(lián)系，實(shí)現(xiàn)高性能的人格識(shí)別，將為心理學(xué)提供能夠大規(guī)模采集樣本的心理測(cè)驗(yàn)方案，進(jìn)而促進(jìn)其他交叉學(xué)科的相關(guān)研究發(fā)展。

縱觀國(guó)內(nèi)已有綜述，對(duì)這一領(lǐng)域的研究進(jìn)展的關(guān)注較少。張磊等人[12]完整綜述了社交網(wǎng)絡(luò)用戶的人格分析與預(yù)測(cè)。費(fèi)定舟等人[13]綜述了自動(dòng)人格識(shí)別、自動(dòng)人格感知、自動(dòng)人格綜合三個(gè)利用社交媒體的研究方向。為闡明當(dāng)前人格識(shí)別領(lǐng)域的研究現(xiàn)狀，本文依據(jù)數(shù)據(jù)類型綜述已有研究，總結(jié)該領(lǐng)域研究不足及未來(lái)的研究方向，并提出了諸多擬解決方案。

1 背景知識(shí)

心理學(xué)對(duì)個(gè)體差異的研究衍生了許多人格理論，這些理論可分為6個(gè)流派：精神分析流派、特質(zhì)流派、生物學(xué)流派、人本主義流派、行為主義流派以及認(rèn)知流派[14]。6個(gè)流派分別站在不同的知識(shí)領(lǐng)域解釋人格。在人格識(shí)別領(lǐng)域應(yīng)用最廣泛的是特質(zhì)流派中的大五人格模型（Big Five model，Big5）。

1.1 大五人格模型

大五人格模型通過(guò)詞匯學(xué)的方法構(gòu)建，從反映個(gè)體情感調(diào)節(jié)過(guò)程的神經(jīng)質(zhì)（neuroticism）、表示人際互動(dòng)能力的外向性（extraversion）、描述個(gè)體認(rèn)知風(fēng)格的開(kāi)放性（openness）、評(píng)估個(gè)體喜歡與他人一同出現(xiàn)程度的宜人性（agreeableness）和評(píng)估個(gè)體在目標(biāo)導(dǎo)向行為上的能力的盡責(zé)性（conscientiousness）5 個(gè)人格特質(zhì)描述個(gè)體的人格[15]。每個(gè)人格特質(zhì)又可分為多個(gè)子維度。

1.2 其他常用人格模型

邁爾斯布里格斯類型指標(biāo)（Myers-Briggs type indicator，MBTI）[16]：以瑞士心理學(xué)家卡爾·榮格劃分的8 種心理類型為基礎(chǔ)，形成4 個(gè)人格特質(zhì)描述人格，即外傾與內(nèi)傾（E/I）、實(shí)感與直覺(jué)（S/N）、思維與情感（T/F）、判斷與知覺(jué)（J/P）?？ㄌ貭?6種人格因素模型（16PF）：是伊利諾斯州立大學(xué)人格及能力測(cè)驗(yàn)研究所卡特爾教授編制的人格因素模型。該模型的因素包括樂(lè)群性、聰慧性、穩(wěn)定性、恃強(qiáng)性、興奮性、有恒性、敢為性、敏感性、懷疑性、幻想性、世故性、憂慮性、實(shí)驗(yàn)性、獨(dú)立性、自律性、緊張性。此外，還有明尼蘇達(dá)多項(xiàng)人格調(diào)查表（Minnesota multiphasic personality inventory，MMPI）、艾森克人格問(wèn)卷（Eysenck personality questionnaire，EPQ）、人格七因素模型（seven-factor personality model）等人格模型在心理學(xué)領(lǐng)域被廣泛使用。但因缺乏公開(kāi)數(shù)據(jù)集，導(dǎo)致沒(méi)有相關(guān)人格識(shí)別研究。

2 基于社交文本數(shù)據(jù)的人格識(shí)別

Vinciarelli等人[17]指出，在語(yǔ)言心理學(xué)的理論中，一個(gè)人對(duì)于詞語(yǔ)的選擇不僅僅取決于詞語(yǔ)本身的含義，同時(shí)也受情緒、態(tài)度以及人格特質(zhì)等心理現(xiàn)象的影響。因此，結(jié)合語(yǔ)言心理學(xué)和自然語(yǔ)言處理（natural language processing，NLP）技術(shù)從文本數(shù)據(jù)中推斷人格特質(zhì)也就成為了可能。

2.1 傳統(tǒng)心理語(yǔ)言學(xué)特征

文獻(xiàn)[18]是最早的基于心理語(yǔ)言學(xué)特征的人格識(shí)別的成果之一。這項(xiàng)工作將語(yǔ)料庫(kù)中的單詞分為function、cohesion、assessment 和appraisal 4 個(gè)具有心理意義的類別，并計(jì)算每個(gè)類別中單詞的相對(duì)頻率，最終將頻率輸入支持向量機(jī)（support vector machine，SVM）執(zhí)行人格識(shí)別任務(wù)。Mairesse等人[19]使用相同的語(yǔ)料庫(kù)和SVM，并額外采用了LIWC（linguistic inquiry and word count）和MRC Psycholinguistic Database，取得了57%的平均準(zhǔn)確率。Nguyen等人[20]標(biāo)注了Livejournal 中的10 000 個(gè)用戶的Big5 人格標(biāo)簽，并采用LIWC 特征和邏輯回歸（logistic regression，LR）來(lái)識(shí)別用戶的外向性人格特質(zhì)。進(jìn)一步的，Poria等人[21]利用LIWC、MRC 和SenticNet 特征構(gòu)建序列最小優(yōu)化算法（sequential minimal optimization，SMO）識(shí)別人格特質(zhì)。類似的，Celli[22]采用LIWC特征來(lái)預(yù)測(cè)“FriendFeed”交友網(wǎng)站上156名意大利用戶的Big5人格特質(zhì)，平均準(zhǔn)確率達(dá)到63.1%。

除Big5 的相關(guān)研究外，Amirhosseini 等人[23]通過(guò)TF-IDF（term frequency-inverse document frequency）特征和XGBoost（extreme gradient boosting）構(gòu)建了MBTI人格特征識(shí)別模型。Choong等人[24]針對(duì)MBTI的J/P 特質(zhì)設(shè)計(jì)識(shí)別模型。該模型利用字符級(jí)TFIDF、詞級(jí)TF-IDF 和LIWC 特征作為輸入，以Light GBM作為分類器，得到了最優(yōu)的識(shí)別效果。Yang等人[25]采用LIWC為每個(gè)用戶構(gòu)建異構(gòu)Tripartite圖，進(jìn)而利用圖神經(jīng)網(wǎng)絡(luò)識(shí)別MBTI 人格。有關(guān)上述文獻(xiàn)的數(shù)據(jù)、方法和結(jié)果的總結(jié)參見(jiàn)表1和表2。

表1 基于傳統(tǒng)心理語(yǔ)言學(xué)特征的大五人格識(shí)別研究總結(jié)Table 1 Summary of Big5 personality recognition research based on traditional psycholinguistic features

表2 基于傳統(tǒng)心理語(yǔ)言學(xué)特征的MBTI人格識(shí)別研究總結(jié)Table 2 Summary of MBTI personality recognition research based on traditional psycholinguistic features

2.2 預(yù)訓(xùn)練語(yǔ)言特征

預(yù)訓(xùn)練語(yǔ)言模型（pre-trained model）大致可以分為兩代。第一代預(yù)訓(xùn)練語(yǔ)言模型的學(xué)習(xí)目標(biāo)是與上下文無(wú)關(guān)的分布式詞嵌入，是單詞級(jí)別的靜態(tài)詞向量。這代模型以Word2Vec[26]、GloVe（global vectors for word representation）[27]和FastText[28]為代表。然而，由于大多數(shù)NLP任務(wù)都超出單詞理解級(jí)別，需要在句子級(jí)別或更高級(jí)別上對(duì)神經(jīng)編碼器進(jìn)行預(yù)訓(xùn)練，由此衍生出第二代預(yù)訓(xùn)練語(yǔ)言模型，代表模型為GPT（generative pre-training）[29]、BERT（bidirectional encoder representation from transformers）[30]、RoBERT（robustly optimized BERT）[31]、XLNets[32]等。

基于第一代預(yù)訓(xùn)練語(yǔ)言模型的人格識(shí)別有部分成果[33-35]，但普遍識(shí)別性能不佳。BERT 的成功使得人格識(shí)別的研究者更多地關(guān)注預(yù)訓(xùn)練語(yǔ)言模型。Mehta等人[36]報(bào)告了BERT在Essays和Kaggle數(shù)據(jù)集上得到的結(jié)果。他們認(rèn)為在人格識(shí)別領(lǐng)域通過(guò)預(yù)訓(xùn)練語(yǔ)言模型提取的特征始終優(yōu)于傳統(tǒng)的心理語(yǔ)言學(xué)特征。Wang等人[37]提出了一個(gè)結(jié)合膠囊網(wǎng)絡(luò)和預(yù)訓(xùn)練語(yǔ)言模型XLNets的人格識(shí)別框架。Jiang等人[38]提出了一種使用預(yù)訓(xùn)練語(yǔ)言模型RoBERT 和注意力神經(jīng)網(wǎng)絡(luò)的人格自動(dòng)識(shí)別方法。該方法將Essays 數(shù)據(jù)集的最優(yōu)結(jié)果提高了2.49 個(gè)百分點(diǎn)。El-Demerdash等人[39]混合使用三種預(yù)訓(xùn)練語(yǔ)言模型Elmo（embeddings from language models）、ULMFiT（universal language model fine-tuning）和BERT提取特征，在MyPersonality 數(shù)據(jù)集上取得了領(lǐng)先的結(jié)果。類似的，Lopez 等人[40]混合使用Word2Vec、GloVe 和BERT三種預(yù)訓(xùn)練語(yǔ)言模型提取YouTube視頻的音譯文本，從而實(shí)現(xiàn)大五人格特質(zhì)識(shí)別。

除Big5的相關(guān)研究外，Vásquez等人[41]提出了利用RoBERT提取特征，進(jìn)而識(shí)別被試者的MBTI人格特質(zhì)。張晗等人[42]基于BERT 獲取網(wǎng)絡(luò)文本中完整的上下文語(yǔ)義特征和長(zhǎng)距離的上下文依賴關(guān)系，并利用隨機(jī)森林算法作為分類器實(shí)現(xiàn)了羞怯、合作性、完美主義、焦慮四種心理特質(zhì)的分類。有關(guān)上述文獻(xiàn)的數(shù)據(jù)、方法和結(jié)果的總結(jié)，參見(jiàn)表3和表4。

表3 基于預(yù)訓(xùn)練語(yǔ)言特征的大五人格識(shí)別研究總結(jié)Table 3 Summary of Big5 personality recognition research based on pre-trained language features

表4 基于預(yù)訓(xùn)練語(yǔ)言特征的MBTI人格識(shí)別研究總結(jié)Table 4 Summary of MBTI personality recognition research based on pre-trained language features

2.3 心理語(yǔ)言學(xué)特征+預(yù)訓(xùn)練語(yǔ)言特征

近年來(lái)，有少量研究將心理語(yǔ)言學(xué)特征和預(yù)訓(xùn)練語(yǔ)言特征融合訓(xùn)練人格識(shí)別模型。特征融合方法多數(shù)采用Concat 等早融合方法。Yuan 等人[43]將LIWC 特征和Word2Vec 提取的特征進(jìn)行結(jié)合，并將其作為輸入實(shí)驗(yàn)了多個(gè)分類器的性能，最終采用多項(xiàng)式樸素貝葉斯（multinomial naive Bayes，MNB）構(gòu)建人格識(shí)別模型。Majumder[44]總結(jié)LIWC、MRC 和韻律特征提出了文檔級(jí)Mairesse 特征，并將其與Word2Vec提取的單詞級(jí)特征融合實(shí)現(xiàn)了人格識(shí)別模型。但該模型的效果不如基于預(yù)訓(xùn)練語(yǔ)言模型的人格識(shí)別模型。文獻(xiàn)[36]報(bào)告了類似的結(jié)論。BERT出現(xiàn)后，Kazameini等人[45]將BERT提取的特征與Mairesse特征進(jìn)行拼接，并將拼接后的特征輸入到多個(gè)SVM中進(jìn)行集成學(xué)習(xí)。與文獻(xiàn)[45]類似，Ren 等人[46]利用BERT提取的特征和SenticNet 特征得到了更高性能的人格自動(dòng)識(shí)別模型。

Pavan等人[47]提出了目前基于文本的MBTI人格識(shí)別最優(yōu)方法，該方法將TF-IDF特征、GloVe提取的特征和少量統(tǒng)計(jì)特征拼接，并利用遺傳算法（genetic algorithm，GA）進(jìn)行特征篩選，最終利用SVM 和RF作為分類器識(shí)別MBTI人格特質(zhì)，如圖1所示。有關(guān)上述文獻(xiàn)的數(shù)據(jù)、方法和結(jié)果的總結(jié)，參見(jiàn)表5和表6。

表5 基于上述兩類特征的大五人格識(shí)別研究總結(jié)Table 5 Summary of Big5 personality recognition research based on above two features

表6 基于上述兩類特征的MBTI人格識(shí)別研究總結(jié)Table 6 Summary of MBTI personality recognition research based on above two features

圖1 Pavan等人提出的人格識(shí)別方法框架Fig.1 Framework of personality recognition proposed by Pavan et al

2.4 小結(jié)

總的來(lái)說(shuō)，基于社交文本數(shù)據(jù)的人格識(shí)別的研究在特征層面已接近飽和，可用于人格識(shí)別的社交文本特征幾乎全部涉及。但單獨(dú)使用心理語(yǔ)言學(xué)特征構(gòu)建的識(shí)別模型性能低下，而現(xiàn)有研究多數(shù)使用預(yù)訓(xùn)練語(yǔ)言模型或少量的心理語(yǔ)言學(xué)特征構(gòu)建人格識(shí)別模型。個(gè)體的語(yǔ)言使用差異一直被認(rèn)為是心理的反映[36]。傳統(tǒng)的心理語(yǔ)言學(xué)特征對(duì)于人格識(shí)別同樣重要。除Mairesse 和SenticNet 特征以外，如NRC Emotion Lexicon[48]、NRC VAD Lexicon[49]、Affectivespace[50]、Readability[36]等心理語(yǔ)言學(xué)特征應(yīng)該在人格識(shí)別中得到更多關(guān)注。此外，心理語(yǔ)言學(xué)特征維數(shù)很高，且特征融合使得輸入特征的維數(shù)增加，應(yīng)考慮合理的特征篩選方法最大化特征和標(biāo)簽之間的相關(guān)性，并最小化特征之間的冗余度。Lin 等人[51]的研究證明了對(duì)心理語(yǔ)言學(xué)特征進(jìn)行特征篩選可以提高人格識(shí)別模型性能，但其特征篩選方法的性能仍有提升空間。

3 基于社交圖像數(shù)據(jù)的人格識(shí)別

社會(huì)心理學(xué)家的研究已經(jīng)表明，人們總是花費(fèi)大量精力來(lái)管理他們給他人的印象，而管理方式取決于他們的人格。社交圖像數(shù)據(jù)是除社交文本外另一個(gè)直觀的渠道向他人傳輸自己的形象。社交媒體中涉及的圖像數(shù)據(jù)包括社交用戶頭像、用戶發(fā)布的圖像和視頻以及用戶瀏覽的圖像和視頻等。圖2 展示了各種社交用戶頭像。圖3展示了各種用戶發(fā)布、瀏覽、收藏的圖像。

圖2 社交用戶頭像Fig.2 Social user avatar

圖3 用戶發(fā)布、瀏覽、收藏的圖像Fig.3 Images published,browsed and collected by users

Fitzgerald 等人[52]率先開(kāi)啟了社交用戶頭像的相關(guān)研究。他們?yōu)樯缃毁~戶頭像標(biāo)注內(nèi)容（物體、動(dòng)物、人）、身體部位、面部表情（微笑不漏齒、微笑露齒、不微笑）、外觀（眼鏡、太陽(yáng)鏡、衣服）、是否凝視相機(jī)等40個(gè)與Big5人格特質(zhì)相關(guān)的特征。Celli等人[53]的研究表明Facebook用戶的頭像能夠一定程度上反映用戶人格，并采用BoVW（bag-of-visual-word）提取頭像信息特征以識(shí)別人格。Tareaf 等人[54]收集了Twitter 平臺(tái)的個(gè)人資料圖片，進(jìn)一步利用皮爾遜相關(guān)系數(shù)和增強(qiáng)決策樹(shù)篩選頭像信息特征，并結(jié)合文本數(shù)據(jù)識(shí)別用戶的Big5人格特質(zhì)。Segalin等人[55]采用了更多的特征，包括基于計(jì)算美學(xué)（computational aesthetics，CA）的特征、基于金字塔直方圖（pyramid histogram of oriented gradients，PHOG）提取的視覺(jué)特征、基于圖像分析工具（image analysis tool，IATO）提取的淺層特征和基于Caffe提取的深層特征。

Jeremy 等人[56]基于MBTI 人格特質(zhì)進(jìn)行了與文獻(xiàn)[54]類似的研究，但他們報(bào)告的結(jié)果表明僅使用頭像信息比頭像信息結(jié)合文本信息更適合人格識(shí)別。Ferwerda 等人[57]報(bào)告了類似的結(jié)論，他們認(rèn)為在人格識(shí)別任務(wù)中單獨(dú)使用用戶頭像的視覺(jué)特征或內(nèi)容相關(guān)特征要優(yōu)于二者結(jié)合。Segalin等人[58-59]收集了300名Flickr用戶發(fā)布的共60 000張最喜愛(ài)的照片，從中提取顏色、構(gòu)圖、紋理屬性和面孔四類特征，最終采用回歸算法判斷用戶的人格特質(zhì)。實(shí)驗(yàn)結(jié)果顯示，真實(shí)人格與預(yù)測(cè)人格的均方根差（root mean square error，RMSE）在0.17～0.22，其中，外向性的RMSE 最低為0.17。Torfason等人[60]從社交賬戶頭像和用戶收藏的圖像中檢測(cè)圖像的屬性，該任務(wù)如圖4所示。

圖4 圖像屬性預(yù)測(cè)Fig.4 Image attribute prediction

Torfason等人的實(shí)驗(yàn)結(jié)果表明，利用圖像屬性和其他特質(zhì)可以從數(shù)十個(gè)社交用戶頭像或用戶收藏的圖像中準(zhǔn)確預(yù)測(cè)Big5 人格特質(zhì)。Kunal 等人[61]綜合考慮社交用戶頭像、用戶發(fā)布的圖像和網(wǎng)頁(yè)導(dǎo)航圖像，提取圖像的描述以構(gòu)建一組詞匯表，通過(guò)定義詞匯表中單詞之間的關(guān)系來(lái)獲得模糊共現(xiàn)矩陣，最終將其輸入到多層感知機(jī)進(jìn)行人格特質(zhì)識(shí)別分類。有關(guān)上述文獻(xiàn)的數(shù)據(jù)、方法和結(jié)果的總結(jié)，參見(jiàn)表7。

表7 基于社交圖像數(shù)據(jù)的人格識(shí)別研究總結(jié)Table 7 Summary of personality recognition research based on social image

總的來(lái)說(shuō)，基于社交圖像數(shù)據(jù)的人格識(shí)別效果優(yōu)于基于社交文本數(shù)據(jù)的人格識(shí)別。但在綜合社交文本數(shù)據(jù)和社交圖像數(shù)據(jù)的多模態(tài)識(shí)別研究中存在分歧。多模態(tài)一定是人格識(shí)別領(lǐng)域的未來(lái)方向，應(yīng)進(jìn)一步研究社交文本數(shù)據(jù)和社交圖像數(shù)據(jù)的多模態(tài)融合方法。還應(yīng)在當(dāng)前研究基礎(chǔ)上考慮新圖像特征和新數(shù)據(jù)來(lái)源。此外，圖像數(shù)據(jù)量比文本數(shù)據(jù)量更大，需額外考慮識(shí)別模型的實(shí)時(shí)性。

4 基于社交應(yīng)用統(tǒng)計(jì)數(shù)據(jù)的人格識(shí)別

使用時(shí)長(zhǎng)、發(fā)帖次數(shù)、社交網(wǎng)絡(luò)大小等社交應(yīng)用數(shù)據(jù)亦可為人格計(jì)算提供數(shù)據(jù)基礎(chǔ)。圖5 展示了社交游戲平臺(tái)Steam中的部分社交應(yīng)用統(tǒng)計(jì)數(shù)據(jù)。

圖5 Steam中的部分社交應(yīng)用統(tǒng)計(jì)數(shù)據(jù)Fig.5 Some social application statistics in Steam

目前研究中，這些統(tǒng)計(jì)數(shù)據(jù)均結(jié)合文本和圖像數(shù)據(jù)使用。Golbeck等人[62]統(tǒng)計(jì)了167位Facebook用戶的個(gè)人特征（姓名、教育水平、宗教、婚姻狀況等）、社交網(wǎng)絡(luò)密度、是否發(fā)布了政治傾向以及基于LIWC的文本特征。結(jié)果表明，Gaussian 回歸和M5 算法的平均絕對(duì)誤差低于0.13。之后，Golbeck 等人[63]又對(duì)Twitter 用戶進(jìn)行了類似的研究，并增加了基于MRC的文本特征以及followers數(shù)量、following數(shù)量、hashtags 數(shù)量等統(tǒng)計(jì)特征。Celli 等人[64]在Twitter 數(shù)據(jù)上提取了幾種類型的特征：基于bi-grams、tri-grams、LIWC 的文本特征和followers/following 比率、hashtags/單詞比率、背景顏色、文本顏色等十個(gè)元數(shù)據(jù)特征。他們使用AutoWeka（內(nèi)置多種機(jī)器學(xué)習(xí)模型）在MBTI人格特質(zhì)識(shí)別任務(wù)中平均準(zhǔn)確率達(dá)到65%，在Big5人格特質(zhì)識(shí)別任務(wù)中平均準(zhǔn)確率達(dá)到61%。鄭敬華等人[65]從新浪微博數(shù)據(jù)中挖掘出用戶114 個(gè)特征，分為靜態(tài)特征、行為特征和文本特征。靜態(tài)特征包括性別、地址、昵稱、是否認(rèn)證等；行為特征包括發(fā)狀態(tài)數(shù)、粉絲數(shù)、關(guān)注數(shù)、收藏?cái)?shù)等；文本特征為利用中科院心理所的文獻(xiàn)處理系統(tǒng)從博文中提取出的102 維特征。Gjurkovi?等人[66]構(gòu)建了更大的數(shù)據(jù)集Reddit，從中提取基于LIWC 和LDA（latent Dirichlet allocation）的文本特征以及評(píng)論數(shù)量、帖子點(diǎn)贊數(shù)、帖子反對(duì)數(shù)等多個(gè)統(tǒng)計(jì)特征。有關(guān)上述文獻(xiàn)的數(shù)據(jù)、方法和結(jié)果的總結(jié)，參見(jiàn)表8和表9。

不同社交平臺(tái)可能收集到的社交應(yīng)用統(tǒng)計(jì)數(shù)據(jù)差異很大。故此很難設(shè)計(jì)通用型的基于社交應(yīng)用統(tǒng)計(jì)數(shù)據(jù)的人格識(shí)別方法，應(yīng)結(jié)合具體應(yīng)用場(chǎng)景和其他數(shù)據(jù)綜合識(shí)別人格。此外，仍有很多已被證明和人格相關(guān)的社交應(yīng)用統(tǒng)計(jì)數(shù)據(jù)尚未被人格識(shí)別研究采用，例如數(shù)字游戲社交平臺(tái)數(shù)據(jù)[67]。

5 面向社交媒體數(shù)據(jù)的多模態(tài)人格識(shí)別

盡管針對(duì)單一模態(tài)信息的人格識(shí)別研究取得了一些成果，但在實(shí)際生活中人類自身的人格分析往往是多模態(tài)的。因此，僅僅通過(guò)單一模態(tài)信息來(lái)識(shí)別人格存在諸多局限。從2015 年起，研究者開(kāi)始嘗試面向社交媒體數(shù)據(jù)的多模態(tài)人格識(shí)別。社交媒體中最常見(jiàn)的模態(tài)是文本模態(tài)和圖像模態(tài)，但在人格識(shí)別領(lǐng)域中被研究最多的模態(tài)是音頻模態(tài)和圖像模態(tài)，且也少有研究能夠?qū)⑷N模態(tài)融合[68]。

多模態(tài)人格識(shí)別中模態(tài)融合可分為早期融合和晚期融合（也稱決策層融合）。早期融合是指先將多模態(tài)的特征融合后再訓(xùn)練模型，缺點(diǎn)是無(wú)法充分利用多個(gè)模態(tài)數(shù)據(jù)間的互補(bǔ)性，且存在特征冗余問(wèn)題，容易出現(xiàn)維數(shù)災(zāi)難問(wèn)題。晚期融合是指先將不同模態(tài)各自得到的結(jié)果統(tǒng)一打分，再根據(jù)某種策略融合。常用的融合策略包括“多數(shù)投票”“最大”“總和”“最小”“平均”“乘積”等[69]。優(yōu)點(diǎn)是模型獨(dú)立魯棒性強(qiáng)，靈活性較高。由于融合模型的誤差來(lái)自不同的分類器且各分類器間互不影響，不會(huì)造成誤差累加問(wèn)題。但晚期融合認(rèn)為不同的模態(tài)是相互獨(dú)立的，故無(wú)法利用各模態(tài)之間的相關(guān)性。

文獻(xiàn)[70]將圖像特征、文字特征、用戶元特征（性別、年齡、國(guó)籍等）早期融合以識(shí)別用戶人格。實(shí)驗(yàn)利用Instagram 和Twitter 兩個(gè)平臺(tái)抽取62 名用戶信息，使用Big5人格問(wèn)卷標(biāo)注數(shù)據(jù)，最終采用決策樹(shù)執(zhí)行分類任務(wù)。Wei 等人[71]提出了一種稱為HIE（heterogeneous information ensemble）的異構(gòu)信息集成框架，如圖6所示。

圖6 HIE框架Fig.6 Framework of HIE

HIE 可通過(guò)整合文本、頭像、表情符號(hào)和響應(yīng)模式等異構(gòu)信息來(lái)推測(cè)用戶大五人格特質(zhì)。Onno等人[72]提出了一種三模態(tài)（音頻、文本和圖像）人格識(shí)別架構(gòu)，用于從視頻中推測(cè)用戶人格，如圖7 所示。對(duì)于每個(gè)模態(tài)都使用堆疊卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并將各自結(jié)果在決策層進(jìn)行晚期融合。實(shí)驗(yàn)表明，多模態(tài)融合方法優(yōu)于單個(gè)模態(tài)通道，比最佳單個(gè)模態(tài)的MAE提高了9.4個(gè)百分點(diǎn)。

圖7 Kampman等人提出的三模態(tài)人格識(shí)別架構(gòu)Fig.7 Three-modal personality recognition framework proposed by Kampman et al

多模態(tài)一定是人格識(shí)別領(lǐng)域的未來(lái)。Huang 等人[73]的研究指出，當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模，模態(tài)種類越完整，多模態(tài)模型的效果必然越好。應(yīng)更多地研

究基于文本、圖像、社交應(yīng)用甚至腦電圖等多源異構(gòu)數(shù)據(jù)的多模態(tài)人格識(shí)別。此外，潛在空間的質(zhì)量決定了多模態(tài)模型的效果，提高人格多模態(tài)識(shí)別模型的潛在表示質(zhì)量是未來(lái)的關(guān)鍵工作。

6 總結(jié)與展望

經(jīng)調(diào)研可知，目前四類人格識(shí)別方法的性能均有很大進(jìn)步空間，準(zhǔn)確率大都處于60%～80%之間。且由上述總結(jié)表可知，當(dāng)前研究在分類器層面沒(méi)有獨(dú)特之處，多數(shù)研究的差異表現(xiàn)在輸入數(shù)據(jù)或輸入特征層面。其中，基于社交文本數(shù)據(jù)的人格識(shí)別是基石，因?yàn)楸辉囌呦嚓P(guān)的社交文本數(shù)據(jù)最易獲得[51]。文本數(shù)據(jù)可進(jìn)一步融合圖像等其他數(shù)據(jù)實(shí)現(xiàn)多模態(tài)人格識(shí)別。

人格識(shí)別領(lǐng)域現(xiàn)階段不足和未來(lái)研究趨勢(shì)主要體現(xiàn)在以下方面。

（1）多模態(tài)一定是人格識(shí)別領(lǐng)域的未來(lái)。應(yīng)對(duì)多模態(tài)人格識(shí)別進(jìn)行更多研究，可將Auxiliary regularized machine[74]、Deep robust unsupervised multi-modal network[75]、Comprehensive multi-modal learning[76]等多模態(tài)學(xué)習(xí)方法應(yīng)用于人格識(shí)別領(lǐng)域，并研究提高多模態(tài)人格識(shí)別模型的潛表示質(zhì)量的新方法。

（2）通過(guò)高成本的傳統(tǒng)人格測(cè)量方法進(jìn)行標(biāo)記的有監(jiān)督學(xué)習(xí)數(shù)據(jù)集太小，不足以訓(xùn)練更復(fù)雜的識(shí)別模型。Vinciarelli等人[17]認(rèn)為眾包是一種可能的解決方法。但心理學(xué)家對(duì)眾包數(shù)據(jù)的嚴(yán)謹(jǐn)性和生態(tài)效度存疑。生成式對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）是近年常用的數(shù)據(jù)增強(qiáng)方法，但小樣本的數(shù)據(jù)對(duì)于GAN來(lái)說(shuō)不太友好，因?yàn)镚AN需要足夠的數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)以達(dá)到收斂[77]。目前人格識(shí)別數(shù)據(jù)集只能采用EDA（easy data augmentation）[78]、平移[79]、翻轉(zhuǎn)[79]等簡(jiǎn)單方法增強(qiáng)數(shù)據(jù)。對(duì)于人格識(shí)別數(shù)據(jù)集的擴(kuò)充，仍然缺乏更加有效的手段。

（3）目前只有使用自陳量表標(biāo)注的人格識(shí)別數(shù)據(jù)集。有研究指出，在短文本中發(fā)現(xiàn)的語(yǔ)言線索與基于自陳量表標(biāo)注的人格結(jié)果不直接對(duì)應(yīng)[80]。且有些人格模型自身的自陳量表嚴(yán)謹(jǐn)性有待提高，例如MBTI的嚴(yán)謹(jǐn)性一直被心理學(xué)家詬病[80-81]。使用其他人格測(cè)量如評(píng)價(jià)啟動(dòng)任務(wù)[82]、內(nèi)隱聯(lián)想測(cè)驗(yàn)[83]、內(nèi)隱關(guān)系評(píng)估[84]等方法標(biāo)注數(shù)據(jù)集，并研究其差異是一項(xiàng)可以預(yù)見(jiàn)的重要研究。

（4）用一個(gè)識(shí)別模型識(shí)別所有人格特質(zhì)是不合理的。以Big5 為例，Big5 使用行為統(tǒng)計(jì)學(xué)方法構(gòu)建人格模型，導(dǎo)致人格特質(zhì)相互之間相關(guān)程度很小。利用t-SNE（t-distributed stochastic neighbor embedding）等高維數(shù)據(jù)可視化方法可以直觀地展示此問(wèn)題[85]。故應(yīng)參考文獻(xiàn)[20,24]，研究每個(gè)人格特質(zhì)相關(guān)數(shù)據(jù)的特點(diǎn)，為每個(gè)人格特質(zhì)設(shè)計(jì)不同的識(shí)別模型。

（5）當(dāng)前的人格識(shí)別領(lǐng)域中少有考慮特征篩選問(wèn)題的研究。人格識(shí)別涉及的特征繁多，且其特征工程未達(dá)成共識(shí)。因?yàn)橐恍┤哂嗵卣鲗?duì)分類沒(méi)有幫助，可能誤導(dǎo)分類器，采用所有特征可能會(huì)得到很差的結(jié)果[86]。需在未來(lái)的研究中綜合考慮人格識(shí)別領(lǐng)域中特征-標(biāo)簽的相關(guān)性和特征-特征的冗余度。設(shè)計(jì)均衡相關(guān)性和冗余度的適應(yīng)度函數(shù)并利用啟發(fā)式算法篩選特征是一種可行的解決方法[51]。

（6）人格并不像石膏一般堅(jiān)硬，它是一種既穩(wěn)定又可變的模式。McCrae闡述了人格發(fā)展的特征性適應(yīng)，如圖8所示[87]。人格是一種具有穩(wěn)定特征的個(gè)體與特定生活經(jīng)歷交互作用而隨著時(shí)間推移演化的心理結(jié)構(gòu)。這類人格發(fā)展理論可支持時(shí)序化的人格識(shí)別，將歷史人格信息或歷史人格相關(guān)特征作為輸入，訓(xùn)練更復(fù)雜的人格識(shí)別模型。

圖8 人格發(fā)展與特征性適應(yīng)Fig.8 Personality development theory and characteristic adaptation

（7）人格識(shí)別不是人格計(jì)算的終點(diǎn)。應(yīng)對(duì)人格識(shí)別結(jié)果進(jìn)行深入分析，使得人格識(shí)別模型真正地用于研究和生活中，例如：利用Twitter文本識(shí)別人格研究COVID-19 疫情對(duì)用戶人格的影響[4]、研究人格和網(wǎng)絡(luò)安全行為的關(guān)系[88]、利用人格差異設(shè)計(jì)個(gè)性化程序交互界面[89]。

7 結(jié)束語(yǔ)

本文通過(guò)梳理基于社交媒體數(shù)據(jù)識(shí)別人格的研究，探索該領(lǐng)域的研究現(xiàn)狀、研究不足以及未來(lái)研究方向。該技術(shù)將為人機(jī)交互、推薦系統(tǒng)、網(wǎng)絡(luò)空間安全、人力資源提供決策依據(jù)，并為心理學(xué)家提供更加可靠的人格研究手段。目前的人格識(shí)別技術(shù)仍有諸多地方需要改進(jìn)。期待在不久的將來(lái)，該領(lǐng)域研究人員能夠更多地將研究結(jié)果變成實(shí)際成果，發(fā)揮其更大的研究和應(yīng)用潛力。