基于屬性感知輔助學習的細粒度性格推理

高曉雅，王晶晶，李壽山

(蘇州大學 計算機科學與技術(shù)學院 江蘇 蘇州 215006)

0 引言

性格推理任務是對用戶自發(fā)產(chǎn)生的論述性內(nèi)容進行分析、處理、歸納和推理性格的過程。隨著互聯(lián)網(wǎng)及社交媒體的迅速發(fā)展，用戶習慣于在網(wǎng)絡平臺上發(fā)表自己對某事物的觀點和評論，而這些觀點和評論中往往反映了用戶的實時性格傾向，通過捕捉這些性格傾向，可以應用在廣泛的場景中，例如，優(yōu)化推薦系統(tǒng)、AI虛擬人物性格建模、社交媒體分析[1-3]、心理學分析如焦慮癥檢測和抑郁癥檢測[4]。因此，性格推理任務得到了來自工業(yè)界和學術(shù)界越來越多的關(guān)注。

傳統(tǒng)的性格推理任務集中于分析用戶的大五人格體系[1,5-7]，即：神經(jīng)質(zhì)、外傾性、經(jīng)驗開放性、宜人性、認真性。但是在現(xiàn)實應用場景中，大五人格體系中的性格特征較為抽象且粗粒度，在工業(yè)應用角度存在一定的局限性，例如，AI虛擬人物的開發(fā)中傾向于設定更細粒度且具體的性格特征，在商業(yè)場景下可以表現(xiàn)出“理性”或“善于洞察”的性格傾向，在醫(yī)療場景下可以表現(xiàn)出“富于同情心”或“慈愛”的性格傾向等。因此，本文提出了一種新的細粒度性格推理任務，致力于從用戶的評論文本中分析用戶實時的性格傾向(如浪漫、害羞等)。

首先，僅根據(jù)句子級文本來判斷用戶實時的細粒度性格傾向是本文的挑戰(zhàn)之一?，F(xiàn)今，性格推理任務方法主要分為機器學習方法和深度學習方法。機器學習方法中，常用的方法有樸素貝葉斯(NB)、支持向量機(SVM)和最大熵(ME)，利用TF-IDF等方法構(gòu)建文本特征后送入模型中訓練，得到文本的最終表示用于分類任務[8]。深度學習方法中，常用的方法有卷積神經(jīng)網(wǎng)絡(CNN)、循環(huán)神經(jīng)網(wǎng)絡(RNN)和長短期記憶網(wǎng)絡(LSTM)，通過模型學習文本的上下文信息，將最終的表示用于分類任務[1,5-7]。上述方法均應用于文檔級的文本性格推理任務中，沒有考慮到句子級短文本場景。

其次，如何在擁有大規(guī)模標簽的細粒度性格推理任務中區(qū)分相似的性格是本文的另一個挑戰(zhàn)。例如文本“I feel like this is scared place that I shouldn′t be looking at! It’s beautiful!”(我覺得這是一個我不應該看的神圣的地方！ 但很漂亮！)中，詞語“scared place”和“shouldn′t be looking at”驅(qū)使模型預測為“膽小懦弱”或“害羞”等內(nèi)向特征性格，但由于細粒度性格標簽數(shù)量較大，性格之間含義有相似部分，傳統(tǒng)的方法很難判斷進一步正確的性格是“害羞”，因此，直觀上可以引入粗粒度性格屬性幫助模型學習細粒度性格之間的差異，“膽小懦弱”性格用粗粒度性格屬性標注時，神經(jīng)質(zhì)與宜人性的分值同“害羞”性格有顯著區(qū)別。

本文提出了一個性格屬性感知的輔助學習方法(attribute-aware auxiliary learning, AAAL)。具體而言，首先對細粒度性格類別進行歸納標注，將其用多個粗粒度性格屬性值表示(神經(jīng)質(zhì)、外傾性、經(jīng)驗開放性、宜人性、認真性、情緒正面傾向性)。其次，將細粒度性格推理視為主任務，細粒度性格與粗粒度屬性之間的映射視為輔助任務。最后，通過輔助學習機制將該輔助任務和主任務進行聯(lián)合學習。本文在personality-caption數(shù)據(jù)集上進行了實驗，并和多種基準方法進行了對比，實驗結(jié)果顯示本文提出的AAAL方法在細粒度性格推理任務上相較于其他的基準方法有明顯的提升。綜上，本文的主要貢獻為：1)提出了一種新的細粒度性格推理任務；2)提出了一種性格屬性感知的輔助學習方法，以解決細粒度性格推理任務中大規(guī)模類別難以預測的問題；3)通過對比實驗驗證了本文提出的AAAL方法在細粒度性格推理任務中的有效性。

1 相關(guān)工作

1.1 性格推理

現(xiàn)今，在NLP領域有很多工作致力于性格推理任務(也稱為性格分類任務)。具體來說，Liu等[1]基于字符級循環(huán)神經(jīng)網(wǎng)絡方法(Char-RNN)，分別對英語、西班牙語和意大利語文本提取字符級特征用于用戶的大五人格分析，解決了以往性格推理過程中不同語言文本需要構(gòu)建不同語言學特征的問題；Zhang等[5]致力于研究推特信息中隱含的用戶行為特征與用戶性格之間的關(guān)系，提出了一個層次長短期記憶網(wǎng)絡(HS-LSTM)方法，提取詞語級和短句級文本特征用于預測用戶的大五人格；Pizzolli等[6]試圖對文學作品中不同人物角色的劇情片段及對話進行分析，推理出不同角色的大五人格。Majumder等[7]針對篇章級文本大五人格推理任務，提出了一個層次卷積神經(jīng)網(wǎng)絡(hierarchical CNN)，通過使用不同大小的滑動窗口提取篇章級文本中局部相鄰詞之間的高維度特征。不同于以上的所有研究，本文提出了一種新的細粒度性格推理任務，即根據(jù)用戶的評論文本推理用戶實時的細粒度性格特征。

1.2 多任務學習與輔助學習

多任務學習方法是自然語言處理領域中常用的方法，通過多個相關(guān)的任務學習共享表示，目標是提高所有任務的性能。具體而言，高曉雅等[9]提出了一個正逆向情緒分值回歸的多任務學習方法，將情緒的三維分值(極性程度、喚醒度和可控度)與最大值相減得到逆向情緒三維分值，通過正逆向情緒分值回歸任務的學習得到最終的表示，并用于情緒分值回歸。Balikas等[10]提出了一個基于循環(huán)神經(jīng)網(wǎng)絡的多任務學習方法，將情緒三元分類(正面、中性和負面)和五元分類(非常正面、正面、中性、負面和非常負面)視為相關(guān)任務，通過聯(lián)合學習解決五元情緒分類問題。與多任務學習不同，輔助學習的目標是提高主任務的性能，輔助任務僅用來幫助主任務的學習。具體而言，Coavoux等[11]為了提升多語言成分句法分析任務的性能，設置了兩個有監(jiān)督的輔助任務，分別是詞性和詞法標注任務和功能標簽預測任務(判斷詞語與中心詞之間的成分關(guān)系)。Hu等[12]針對法律文本類別龐大的問題，根據(jù)法律文本涉及的具體內(nèi)容重新設計類別體系(是否發(fā)生死亡、是否存在暴力等)，通過新類別體系分類輔助任務幫助法律文本分類主任務。

受文獻[12]啟發(fā)，本文提出了性格屬性感知的輔助學習方法，但與上述工作不同的是，本文首先通過輔助任務學習細粒度性格與粗粒度屬性間的映射關(guān)系，其次使用基于排序感知的交叉熵損失函數(shù)進一步提升模型性能。據(jù)我們所知，本文方法是針對細粒度性格推理任務的首次嘗試。

2 性格屬性感知的輔助學習方法

本文提出了一種屬性感知的輔助學習方法(AAAL)，主任務中預測215類細粒度性格類別，輔助任務中學習性格和屬性之間的映射關(guān)系。本節(jié)首先介紹性格屬性值標注規(guī)范，其次具體描述模型結(jié)構(gòu)，模型結(jié)構(gòu)如圖1所示，包含以下三個部分：1)編碼層，使用BERT模型將文本詞序列映射為詞向量；2)屬性感知注意力層，通過注意力機制從文本中提取不同屬性的相關(guān)信息；3)解碼層，用于輸出主任務和輔助任務的最終結(jié)果。

圖1 性格屬性感知的輔助學習方法模型

2.1 細粒度性格與屬性值標注規(guī)范

為了解決215類細粒度性格難以預測的問題，本文引入屬性信息，將細粒度性格用多個粗粒度屬性分值表示，通過輔助任務得到屬性感知的文本表示，從而提升細粒度性格推理任務的性能。由于標注規(guī)模較小，我們安排了兩位標注人員分別對215類細粒度性格進行標注，針對標注不一致的情況，我們安排另一位人員對標注結(jié)果進行校對，以確保標注的一致性。

本文使用神經(jīng)質(zhì)、外傾性、經(jīng)驗開放性、宜人性、認真性、情緒正面傾向性這六種指標作為性格的粗粒度屬性，如表1所示為性格各個屬性的具體描述，對任意一個性格，若它是此屬性的代表性格，則標記為1.0，若它是此屬性的反面性格或者與此屬性無明顯關(guān)聯(lián)則標記為0.0，例如，性格“焦躁”的屬性可標注為[1.0, 0.0, 0.0, 0.0, 0.0, 0.0](屬性的順序同表中相同)。

表1 性格粗粒度屬性的描述

2.2 編碼層

BERT[13]是目前自然語言處理領域中性能最好的文本編碼模型之一，通過對其公布的預訓練模型進行微調(diào)可以適用于一系列下游的自然語言處理任務(例如文本分類、命名實體識別、閱讀理解等)。本文使用BERT-base模型(uncased)作為主任務和輔助任務共同的編碼層。給定文本詞序列X={x1,x2,…,xn}，n是文本長度，首先利用BERT中的深層自注意力變換層，將輸入詞序列映射為詞向量E=[e1,e2,…,en]，en∈Rd。其次，將詞序列輸入到最大池化層(maxpooling)中，在時間維度上進行最大池化操作后，得到文本無屬性感知表示hm，E=bert(X)，hm=maxpooling(E)，hm∈Rd表示文本無屬性感知。

2.3 屬性感知注意力層

在輔助任務中，給定編碼后的詞向量E=[e1,e2,…,en]，使用注意力機制[14-15]提取詞向量中與不同屬性相關(guān)的信息，

其中：使用滿足正態(tài)分布的隨機向量uk∈Rd初始化表示第k個屬性的含義；ak=[ak,1,ak,2,…,ak,n]是第k個屬性關(guān)于詞向量E的權(quán)重分布，衡量了詞向量E中每個元素ej和當前屬性向量uk的相關(guān)程度；Wh∈Rd×d是所有屬性共享的權(quán)重矩陣。

2.4 解碼層

在主任務中，將無屬性感知表示hm與輔助任務中的屬性感知表示ha拼接后通過softmax層輸出性格類別的分類概率

p(yri|ri)，h=hm⊕ha，p(yri|ri)=softmax(Wmh+bm)n，

其中：yri是ri樣本的真實性格類別；Wm∈R215×d和bm∈R215是softmax層的權(quán)重和偏置。

在輔助任務中，將所有屬性的注意力詞向量O=[o1,o2,…,oc]輸入到全連接層中，得到每個屬性值

其中：Wa∈R1×d和ba是全連接層的權(quán)重和偏置值。

2.5 訓練與優(yōu)化策略

本文模型的目標函數(shù)由兩部分組成，分別是主任務中的排序感知交叉熵損失函數(shù)和輔助任務中的均方差損失函數(shù)。首先針對細粒度性格類別數(shù)量較大的特點，受文獻[16]的啟發(fā)，主任務中使用了排序感知的交叉熵損失函數(shù)，在模型訓練過程中加重了對置信度最高的非真實性格類別的懲罰，目的在于進一步擴大細粒度性格類別的文本特征空間距離，函數(shù)定義為

其次，輔助任務的均方差損失函數(shù)定義為

最后，將主任務損失函數(shù)和輔助任務損失函數(shù)相加作為本文方法最終的損失函數(shù)，

loss(θ)=loss(θ)main+βloss(θ)aux，

其中：權(quán)重β用來調(diào)節(jié)主任務和輔助任務之間的平衡，本實驗中權(quán)重β設為1。

3 實驗

3.1 數(shù)據(jù)集與實驗設置

本文使用包含215類性格的personality-caption數(shù)據(jù)集[17]進行實驗。此數(shù)據(jù)集中共包含201 795條樣本，每條樣本包含一幅圖片、對此圖片的一句描述以及此描述所呈現(xiàn)的細粒度性格標簽。數(shù)據(jù)集劃分了訓練集、驗證集與測試集，且各子集中性格類別平衡。

本文所研究的是文本細粒度性格推理任務以及解決性格標簽數(shù)量大導致分類性能不佳的問題，因此只使用數(shù)據(jù)集中的文本信息。

實驗中，文本詞向量維度為768，模型中數(shù)據(jù)批量數(shù)為32，隨機失活率為0.3，其余各層權(quán)重參數(shù)由Glorot函數(shù)[18]初始化，并在驗證過程中進行微調(diào)。另外，我們采用學習率為0.000 1的Adam優(yōu)化器[19]優(yōu)化主任務中基于排序感知的交叉熵損失函數(shù)和輔助任務的均方差損失函數(shù)。實驗結(jié)果采用準確率和F1值作為評價指標。由于數(shù)據(jù)集內(nèi)共有215個性格類別，本文統(tǒng)計了TOP-1、TOP-5和TOP-10的準確率及F1值進行更全面地對比，TOP-N表示模型預測某一樣本的前N個概率最大的標簽中包含樣本真實標簽，則此樣本視為預測正確。

3.2 實驗結(jié)果

為了驗證性格屬性感知的輔助學習方法對于大規(guī)模性格類別語料任務的有效性，本文對比了幾種常見的基于文本信息的性格分類方法以及利用消融實驗分析模型各個模塊的作用效果。其中，基準方法的文本詞向量均使用隨機向量初始化。

1)Char-RNN：一個基于RNN模型的性格推理方法，通過學習文本中的字符級特征，使得此模型無須依賴語言，無須創(chuàng)建針對具體語言的語言學特征，可對不同語言文本進行性格推理。

2)HS-LSTM：一個基于LSTM模型的性格推理方法，共有兩層，分別是詞語級LSTM和短語級LSTM。詞語級LSTM中將詞語連接為短語送入短語級LSTM中，通過識別文本中的子結(jié)構(gòu)以獲得更好的表示，由于短語的開始與結(jié)束位置是序列決策問題，最后在模型訓練過程中引入強化學習方法實現(xiàn)自動優(yōu)化選擇短語。

3)Doc-LSTM：一個用于文檔級情感分類任務的神經(jīng)網(wǎng)絡方法，使用多層雙向LSTM模型提取句子級文本表示，再使用門控RNN模型學習得到句子間的內(nèi)在聯(lián)系與語義信息[20]。

4)Hierarchical CNN：一個基于層次CNN模型的性格推理方法，分別對當前句子和當前句子所在篇章中的所有詞的詞向量使用大小分別為3、4、5的滑動窗口進行卷積操作，得到局部相鄰詞之間的高維度特征后，經(jīng)過最大池層后拼接，最后輸出預測的性格類別。在本文中，用戶的評論文本無篇章信息，因此我們僅對當前句子進行編碼。

5)BERT：自然語言處理領域中最常用文本編碼模型之一，模型在深層注意力變換網(wǎng)絡層，通過遮蔽詞預測和下一句預測兩個自監(jiān)督學習任務學習文本的表示，用于下游具體的自然語言處理任務。在本實驗中，通過加載BERT預訓練好的模型進行性格推理任務。

6)AAAL w/o BERT：AAAL模型中不使用BERT作為文本的編碼層，使用隨機向量初始化后送入雙向門控網(wǎng)絡(Bi-GRU)學習文本的詞向量。

7)AAAL w/o auxiliary task：AAAL模型中不引入輔助任務，在解碼層中僅使用主任務得到的無屬性感知表示進行215類性格推理。

8)AAAL w/o rank-aware loss：AAAL模型中使用原始的交叉熵損失函數(shù)代替基于排序感知的交叉熵損失函數(shù)作為主任務的損失函數(shù)。

表2展示了性格推理任務中一些不同方法的實驗結(jié)果(顯著性檢驗p<0.05)，通過比較此表中的數(shù)據(jù)可以發(fā)現(xiàn)：

表2 本文提出的方法與其他基準方法的比較

1)大規(guī)模數(shù)據(jù)預訓練的BERT模型在性能上明顯優(yōu)于其他基準方法，因此在本文實驗中使用BERT模型作為文本的編碼層。

2)AAAL模型在性能上明顯優(yōu)于其他基準方法，TOP-1準確率相較于最好的基準方法BERT模型提高了2.31%，TOP-5準確率提高了1.45%，TOP-10準確率提高了0.38%，這驗證了AAAL模型的有效性，以及適用于標簽類別數(shù)量大的細粒度性格推理任務。

分析消融實驗的結(jié)果可以得出以下結(jié)論。

1)本文提出的AAAL模型相較于AAAL w/o auxiliary task方法在性能上有明顯的提升，其中，TOP-1準確率提升了0.6%，TOP-5準確率提升了1.04%，TOP-10準確率提升了1.76%。這表明輔助任務能有效地捕捉不同性格中的共有屬性特征，并增強了文本的語義表示。

2)本文提出的AAAL模型相較于AAAL w/o BERT方法在性能上有顯著的提升，其中，TOP-1準確率提升了2.66%，TOP-5準確率提升了5.81%，TOP-10準確率提升了6.82%。這驗證了使用BERT模型作為文本編碼層的有效性。

3)本文提出的AAAL模型相較于AAAL w/o rank-aware loss方法在性能上有輕微的提升，其中，TOP-1準確率提升了0.33%，TOP-5準確率提升了0.58%，TOP-10準確率提升了0.64%。這表明了基于排序感知的交叉熵損失函數(shù)適用于大規(guī)模類別的性格推理任務。

3.3 注意力可視化

為了更好地理解AAAL模型中的屬性感知注意力機制，驗證其是否能捕捉文本中與屬性相關(guān)的信息，我們從驗證集中挑選了一組樣例，對其進行可視化分析。

如圖2所示，對注意力權(quán)重進行歸一化處理后，用不同背景顏色標記，詞語的背景顏色越深表示該詞語與當前屬性的相關(guān)程度越高。例如文本“Too hot! I need the sand between my toes now.”(太熱了！我現(xiàn)在需要沙子埋住我的腳趾)中，神經(jīng)質(zhì)屬性與詞語“Too hot!”、“need”、“now”的相關(guān)程度最大，并且這些詞語暗含煩惱焦慮的語義，導致輔助任務中預測神經(jīng)質(zhì)屬性分值趨向于1.0，最終幫助主任務得到正確的“焦躁”性格結(jié)果。

圖2 屬性感知注意力可視化圖

4 結(jié)論

本文提出了一種性格屬性感知的輔助學習方法，以解決personality-caption數(shù)據(jù)集中細粒度性格類別數(shù)目較大的問題。具體而言，首先對細粒度性格類別進行歸納標注，將其映射到多個粗粒度屬性。其次，將細粒度性格推理視為主任務，細粒度性格與粗粒度屬性之間的映射視為輔助任務。最后，通過輔助學習機制將該輔助任務和主任務進行聯(lián)合學習，目的在于利用輔助任務信息提升主任務的細粒度性格推理性能。

在未來的研究工作中，我們將考慮引入常識知識圖譜增強文本的語義表示，進一步提升性格推理的性能。其次，將探索其他粗粒度性格體系(例如，霍蘭德性格體系將性格劃分為社會型、企業(yè)型、常規(guī)型、現(xiàn)實型、研究型和藝術(shù)型)與本文細粒度性格之間的關(guān)聯(lián)，通過增加細粒度性格的屬性，提升主任務的性能。最后，我們將致力于personality-caption的多模態(tài)性格推理任務，使用模態(tài)間的交互信息幫助推理性格。