基于關(guān)鍵詞注意力的細(xì)粒度面試評(píng)價(jià)方法

陳楚杰 呂建明,2 沈華偉

1(華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 廣州 510006) 2(大數(shù)據(jù)與智能機(jī)器人教育部重點(diǎn)實(shí)驗(yàn)室(華南理工大學(xué)) 廣州 510006) 3(中國科學(xué)院計(jì)算技術(shù)研究所 北京 100190)

隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，異步視頻面試技術(shù)越來越成熟[1].面試者只需登錄到特定的平臺(tái)，回答出平臺(tái)上事先設(shè)定好的問題.之后面試官們?cè)谄脚_(tái)上評(píng)估面試者的面試表現(xiàn)，從而判斷面試者是否能進(jìn)入下一輪的面試.這種方式和線下面試相比，大大縮短了招聘周期，面試者在任何地點(diǎn)和任何時(shí)間都可以回答問題[2].

然而，在招聘需求比較旺盛的季節(jié)，如針對(duì)大學(xué)校園招聘的春招和秋招季，異步視頻的數(shù)量會(huì)急劇增加，并且由于全球疫情的蔓延，越來越多的公司采用了這種異步視頻的面試形式，使得面試官需要耗費(fèi)大量的精力處理視頻.有研究表明，面試招聘標(biāo)準(zhǔn)越客觀，該公司的績效相對(duì)就越好[3-4]，而在實(shí)際面試中，面試官通常是在一個(gè)連續(xù)、集中的時(shí)間內(nèi)，根據(jù)一系列的標(biāo)準(zhǔn)對(duì)應(yīng)聘者們的表現(xiàn)做出評(píng)價(jià)，這些評(píng)價(jià)會(huì)受到周圍環(huán)境的影響.例如前面應(yīng)聘者的評(píng)分結(jié)果可能會(huì)影響到面試官對(duì)后面應(yīng)聘者的評(píng)分決策，這是面試官的記憶容量瓶頸所導(dǎo)致的.由于面試過程中，面試官需要在短時(shí)間內(nèi)對(duì)應(yīng)聘者的表現(xiàn)做出分析，因此面試官會(huì)重點(diǎn)關(guān)注與評(píng)分標(biāo)準(zhǔn)相關(guān)的信息，以此形成應(yīng)聘者人格特性、溝通技能以及領(lǐng)導(dǎo)力等方面的畫像評(píng)估，從而做出評(píng)分決策.在此過程中，面試官對(duì)前面應(yīng)聘者的記憶會(huì)短暫存儲(chǔ)下來，當(dāng)應(yīng)聘者數(shù)量過多時(shí)，面試官的工作記憶便會(huì)超負(fù)荷，因此長時(shí)間處理視頻的狀態(tài)下難以保證面試官評(píng)價(jià)的客觀性[5-6].

作為緩解面試官人力瓶頸的自動(dòng)化工具，自動(dòng)面試評(píng)價(jià)旨在于針對(duì)面試者所做出的回答，自動(dòng)分析出面試者的人格特性、溝通技能以及領(lǐng)導(dǎo)力等方面的特質(zhì)，從而輔助面試官判斷面試者的特質(zhì)是否符合其崗位勝任要求，避免了面試官可能存在的主觀性.其中的人格特性評(píng)估是公司間最廣泛使用的一種評(píng)估方法[7]，因?yàn)槿烁裉匦杂绊懼藗兊恼Z言表達(dá)、人際交往等多個(gè)方面，比如人際敏感度過高的人在人際交往中會(huì)更加在意他人的評(píng)價(jià)，導(dǎo)致與他人相處時(shí)存在社會(huì)焦慮[8].因此本文將重點(diǎn)研究面試評(píng)價(jià)中的人格特性評(píng)價(jià).然而，為了訓(xùn)練精準(zhǔn)可用的自動(dòng)化評(píng)價(jià)模型，往往需要大量專業(yè)人士的精標(biāo)數(shù)據(jù)，構(gòu)建代價(jià)昂貴.與此同時(shí)，已有的自動(dòng)化評(píng)價(jià)模型可解釋性較低，無法結(jié)合人力資源部門的先驗(yàn)專業(yè)知識(shí).

基于上述挑戰(zhàn)，文本提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)長短期記憶(long short term memory,LSTM)以及關(guān)鍵詞-問題注意力機(jī)制的多層次(hierarchical keyword-question attention LSTM,HKQA-LSTM)細(xì)粒度面試評(píng)價(jià)方法.該模型是一種2階段學(xué)習(xí)的分層注意力網(wǎng)絡(luò)：第1階段中，通過結(jié)合人力資源顧問的專業(yè)知識(shí)，我們將外部具有指導(dǎo)意義的關(guān)鍵詞、問題作為輸入，根據(jù)面試者在面試中表現(xiàn)出的社交信號(hào)[9-10]，評(píng)價(jià)其不同人格特性的得分，例如針對(duì)面試題目“請(qǐng)分享一個(gè)實(shí)例說明您是如何帶領(lǐng)團(tuán)隊(duì)成功完成某一個(gè)任務(wù)的？”，如果面試者的回答表述中蘊(yùn)含溝通、合作、共贏、資源共享等類似含義，則面試官會(huì)傾向于認(rèn)為該面試者的人格是較為宜人合群的；其次，考慮到面試官在面試中會(huì)對(duì)面試者的綜合表現(xiàn)進(jìn)行評(píng)估，即分析面試者的綜合素質(zhì)是否符合應(yīng)聘崗位，從而決定是否錄取[11].基于此，模型在第2階段的訓(xùn)練中，通過融合不同人格特性特征向量，對(duì)面試者回答的問題進(jìn)行了一個(gè)總體打分.實(shí)驗(yàn)結(jié)果表明，本文提出的方法能有效地評(píng)價(jià)面試者的不同人格特性得分與總體得分，在性能上明顯超過基線方法.

1 相關(guān)工作

1.1 細(xì)粒度面試評(píng)價(jià)

結(jié)構(gòu)化面試(structured interview)是面試中經(jīng)常采用的一種面試形式，它根據(jù)特定職位的勝任能力要求，采用固定的一套設(shè)計(jì)題庫，是一種標(biāo)準(zhǔn)化、公平性強(qiáng)的面試形式.心理學(xué)研究組織證明，結(jié)構(gòu)化面試比非結(jié)構(gòu)化面試更加有效地反映面試者能力[12-13].面試者要在有限時(shí)間內(nèi)證明自己的就業(yè)資格.面試官根據(jù)面試者的回答，對(duì)其人格特性、溝通技能、領(lǐng)導(dǎo)力等方面進(jìn)行評(píng)價(jià)，在對(duì)面試者有一個(gè)總體印象的基礎(chǔ)上，面試官會(huì)進(jìn)一步考慮目標(biāo)崗位的實(shí)際需求，判斷該面試者的特質(zhì)是否適合其應(yīng)聘的職位[14].其中人格特性評(píng)價(jià)是公司間廣泛使用的面試評(píng)價(jià)方法[7]，因?yàn)樗兄志?、穩(wěn)定的優(yōu)點(diǎn)，并潛在影響著人們的社交表達(dá)，比如社交自信型的人往往會(huì)使用更多積極的情感用語，并且對(duì)他人會(huì)表現(xiàn)出更多的認(rèn)同和稱贊[15].

細(xì)粒度面試評(píng)價(jià)(特別是自動(dòng)評(píng)估面試者的細(xì)粒度人格特性)是社交計(jì)算中一個(gè)有趣的問題.隨著大數(shù)據(jù)熱潮的到來以及計(jì)算機(jī)算力的提高，人工智能在圖像識(shí)別與自然語言處理領(lǐng)域均得到了成功的應(yīng)用，因此也被研究者用來解決面試評(píng)價(jià)中的人格特性分析問題.

過去的細(xì)粒度人格特性分析研究主要依賴于較為繁瑣的特征工程，即通過人工定義的一些規(guī)則進(jìn)行特征提取，再利用機(jī)器學(xué)習(xí)方法進(jìn)行預(yù)測.Aydin等人[16]使用隨機(jī)森林對(duì)視頻中的人物性格進(jìn)行預(yù)測；Sinha等人[17]收集企業(yè)的社交媒體帖子，利用詞之間的相似度等統(tǒng)計(jì)特征分析員工的6種人格特質(zhì)(誠實(shí)-謙恭性、情緒性、外向性、宜人性、盡職性、經(jīng)驗(yàn)的開放性)；Nambiar等人[18]利用音頻和詞匯特征，結(jié)合線性回歸、隱含狄利克雷分布(latent Dirichlet allocation,LDA)主題生成模型以及支持向量機(jī)方法，對(duì)面試者的說話流暢度、自信心等特質(zhì)做出預(yù)測；Muralidhar等人[19]通過場景模擬，收集了169個(gè)結(jié)構(gòu)化面試數(shù)據(jù)集，使用支持向量機(jī)對(duì)面試者的積極性、熱情性等人格特性進(jìn)行預(yù)測；考慮到人們交流過程中經(jīng)常會(huì)使用非正式文本，鐘毓等人[20]利用基于主成分分析的方法，探究非正式詞語與說話者人格特性之間的關(guān)系.

近年來，神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用不斷發(fā)展，其中特定的網(wǎng)絡(luò)結(jié)構(gòu)，比如循環(huán)神經(jīng)網(wǎng)絡(luò)，可以很好地對(duì)文本進(jìn)行表征建模[21-22].因此，針對(duì)自動(dòng)面試評(píng)價(jià)的問題也涌現(xiàn)了不少使用神經(jīng)網(wǎng)絡(luò)的方法.Chen等人[23]應(yīng)用神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的Doc2Vec模型，對(duì)面試者的人格特質(zhì)進(jìn)行預(yù)測；Hemamou等人[24]專門收集了銷售職業(yè)的結(jié)構(gòu)化面試視頻，使用循環(huán)神經(jīng)網(wǎng)絡(luò)模型對(duì)面試者的語言以及非語言行為(面部表情、語音)進(jìn)行建模，預(yù)測面試者的可雇傭性；Suen等人[25]使用卷積神經(jīng)網(wǎng)絡(luò)，提取120位面試者的面部特征，預(yù)測他們的5種人格特性.

1.2 注意力機(jī)制

Bahdanau等人[26]首次在自然語言處理領(lǐng)域(natural language processing,NLP)中引入了注意力機(jī)制，并用在了以編碼器-解碼器為框架的機(jī)器翻譯任務(wù)中，提高了翻譯的準(zhǔn)確率.經(jīng)過實(shí)驗(yàn)證明，注意力機(jī)制能有效地篩選出重要的信息，并提高神經(jīng)網(wǎng)絡(luò)的可解釋性[27].因此，在自動(dòng)面試評(píng)價(jià)中引入注意力機(jī)制，可以使神經(jīng)網(wǎng)絡(luò)更多地關(guān)注面試者文本中包含的有效信息，忽略不重要的信息.

不少研究者針對(duì)不同NLP任務(wù)的具體特點(diǎn)，提出了不同的注意力計(jì)算方式.Lin等人[28]提出了一種基于自我注意力(self-attention)機(jī)制來提取句子的可解釋性嵌入；Yang等人[29]根據(jù)文檔中存在詞語、句子、篇章這種層次結(jié)構(gòu)特點(diǎn)，提出了一種基于層次注意力(hierarchical attention)機(jī)制的模型，用來捕獲輸入的層次結(jié)構(gòu)信息.

總體上，基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)能有效地對(duì)文本序列進(jìn)行建模，但是僅僅依靠端到端的訓(xùn)練而沒有融入人力資源的專業(yè)知識(shí)的方法往往依賴大量的數(shù)據(jù)訓(xùn)練，需要消耗人力資源顧問大量的時(shí)間進(jìn)行樣本標(biāo)注，人力成本極高.此外，以往面試評(píng)價(jià)中注意力向量通常是由端到端的學(xué)習(xí)得來，面試官無法得知注意力權(quán)重所表達(dá)的含義.基于此，本文結(jié)合人力資源顧問的專業(yè)知識(shí)，將關(guān)鍵詞與問題2種外部信息嵌入到模型中，提高了模型的可解釋性，并且能在小樣本上取得較好的預(yù)測效果.

2 基于關(guān)鍵詞注意力的細(xì)粒度面試評(píng)價(jià)方法

2.1 任務(wù)定義及方法概述

總體任務(wù)結(jié)構(gòu)如圖1所示.本文將自動(dòng)面試評(píng)價(jià)任務(wù)形式化描述為一個(gè)回歸任務(wù)：給定一個(gè)面試者表述的文本內(nèi)容W=(w1,w2,…,wn)和關(guān)鍵詞詞組Ki=(ki1,ki2,…,kim)，預(yù)測對(duì)應(yīng)的面試者不同人格特性得分yi以及對(duì)應(yīng)的總體評(píng)分z.其中n是文本W(wǎng)的長度，i是人格特性項(xiàng)的下標(biāo)，Ki是不同人格特性下的關(guān)鍵詞詞組，m是詞組Ki的長度.任務(wù)定義中，模型除了在第1階段對(duì)面試者的不同人格特性進(jìn)行打分，還會(huì)在第2階段根據(jù)第1階段抽取出的人格特征向量，對(duì)面試者進(jìn)行小題總分z的預(yù)測，人格特征向量的融合分為先融合與后融合2種模型.

Fig.1 The overall task structure圖1 總體任務(wù)結(jié)構(gòu)

鑒于注意力機(jī)制在神經(jīng)網(wǎng)絡(luò)模型中有著出色的表現(xiàn)以及可解釋性，本文在自動(dòng)面試評(píng)價(jià)中引入關(guān)鍵詞以及面試問題2種外部信息作為注意力導(dǎo)向.其中關(guān)鍵詞是通過對(duì)面試者的回答進(jìn)行詞頻統(tǒng)計(jì)，接著人力資源顧問依據(jù)專業(yè)經(jīng)驗(yàn)篩選出最能代表其人格特性的關(guān)鍵詞，不同的人格特性關(guān)鍵詞最終形成關(guān)鍵詞表，本文實(shí)驗(yàn)部分給出了關(guān)鍵詞表示例.由于模型訓(xùn)練過程中有了人的參與，該方法能有效提升模型的可解釋性.

此外，考慮到面試者在面試中往往會(huì)分層次地表達(dá)自己的觀點(diǎn)，本文使用句子-文檔的層次網(wǎng)絡(luò)來模擬面試者表述文本中的層次結(jié)構(gòu)關(guān)系.在句子層次中，我們使用關(guān)鍵詞注意力來對(duì)句子進(jìn)行建模，篩選出句子中的重要單詞.在文檔層次中，我們使用問題注意力來對(duì)句子層次的輸出進(jìn)行建模，篩選出面試者表述中更貼切問題的回答，下面將對(duì)我們的方法做出詳細(xì)介紹.

2.2 基于關(guān)鍵詞注意力機(jī)制的雙向LSTM模型

雙向LSTM網(wǎng)絡(luò)能有效編碼上下文信息[30]，本文為了使雙向LSTM模型能關(guān)注到面試者表述中的不同重要信息，從而分析出面試者的不同人格特性，提出了一種基于關(guān)鍵詞注意力機(jī)制的雙向LSTM模型.不同于以往的方法，我們考慮到面試官往往會(huì)根據(jù)面試者表述中的文本內(nèi)容來推斷面試者的教育背景和人格特征，因此提出了關(guān)鍵詞注意力以及關(guān)鍵詞匹配2種機(jī)制，重現(xiàn)面試官在視頻面試中采用的評(píng)價(jià)方法.

如圖2所示，模型包含詞向量層、雙向LSTM層、關(guān)鍵詞注意力層、關(guān)鍵詞匹配層、多層感知機(jī)(multi-layer perceptron,MLP)層與sigmoid層，接下來對(duì)基于關(guān)鍵詞注意力機(jī)制的雙向LSTM模型進(jìn)行介紹.

Fig.2 Keyword attention model圖2 關(guān)鍵詞注意力模型

1)詞向量層.給定面試者表述的文本內(nèi)容W=(w1,w2,…,wn)與人格特性關(guān)鍵詞詞組Ki=(ki1,ki2,…,kim)，該模型首先使用由百度百科語料預(yù)訓(xùn)練的中文詞向量[31]，將基于詞袋模型的one-hot向量轉(zhuǎn)換成嵌入向量表示，我們將文本內(nèi)容的嵌入矩陣記為X=(x1,x2,…,xn)，作為雙向LSTM層的輸入.將關(guān)鍵詞詞組的嵌入矩陣記為Ei=(ei1,ei2,…,eim)，作為關(guān)鍵詞注意力層以及關(guān)鍵詞匹配層的輸入，設(shè)j為輸入元素的下標(biāo)，i為人格特性項(xiàng)的下標(biāo)，We∈d×N為預(yù)訓(xùn)練詞向量，其中d為詞向量的長度，N為詞表的大小，則

xj=Wewj，

(1)

eij=Wekij.

(2)

2)雙向LSTM層.將嵌入矩陣X=(x1,x2,…,xn)輸入到LSTM層，在獲得前向LSTM與后向LSTM的編碼輸出后，對(duì)其進(jìn)行拼接，得到雙向LSTM層的輸出H=(h1,h2,…,hn)，設(shè)Γ為LSTM的基本單元，則

(3)

(4)

(5)

3)關(guān)鍵詞注意力層.將關(guān)鍵詞嵌入矩陣Ei=(ei1,ei2,…,eim)輸入到MLP層做映射，形式為

(6)

其中Wk∈d×d，bk∈d，記映射后的矩陣為將矩陣作為注意力機(jī)制的導(dǎo)向，此時(shí)，不同的矩陣將會(huì)分配不同的注意力權(quán)重到雙向LSTM的輸出中.因此模型能夠根據(jù)不同的人格特性，關(guān)注到面試者文本信息中的不同方面.注意力計(jì)算方式為

(7)

(8)

(9)

(10)

其中att為注意力函數(shù).根據(jù)注意力函數(shù)計(jì)算ht的權(quán)重uit后，對(duì)uit進(jìn)行歸一化處理得到ait，最后根據(jù)ait對(duì)矩陣H=(h1,h2,…,hn)中的元素進(jìn)行加權(quán)求和，得到特征向量si.

4)關(guān)鍵詞匹配層.除了考慮經(jīng)過上下文編碼的隱含向量外，我們認(rèn)為原始的嵌入向量表示同樣重要，因此引入了關(guān)鍵詞匹配機(jī)制.人力資源顧問形成的關(guān)鍵詞表中，共包含卓越關(guān)鍵詞詞表、優(yōu)秀關(guān)鍵詞詞表、普通關(guān)鍵詞詞表，我們將其嵌入后的矩陣分別記為Ei，Gi，Oi，其中i是關(guān)鍵詞詞組的下標(biāo).關(guān)鍵詞匹配的計(jì)算方法為

vi=[match(Ei,X);match(Gi,X);
match(Oi,X)]，

(11)

(12)

(13)

(14)

其中F為縮放因子，即實(shí)驗(yàn)中設(shè)定的總得分.

2.3 關(guān)鍵詞-問題層次注意力網(wǎng)絡(luò)

考慮到面試過程中面試者表述的內(nèi)容是具有層次關(guān)系的長文本，且不同的句子表述的內(nèi)容相對(duì)問題來說有側(cè)重點(diǎn)，受Yang等人[29]工作的啟發(fā)，我們將長文本分為句子層次以及文本層次，在引入關(guān)鍵詞注意力的基礎(chǔ)上，采用了一種關(guān)鍵詞-問題的層次注意力網(wǎng)絡(luò)，用來捕獲文本信息中的層次結(jié)構(gòu)信息.此外，模型使用2階段的學(xué)習(xí)機(jī)制，在第1階段中，模型針對(duì)文本信息輸入，預(yù)測不同的人格特性得分；在第2階段中，模型將對(duì)第1階段輸出的人格特征向量進(jìn)行融合，得到面試者小題總得分.

2.3.1 第1階段訓(xùn)練：單項(xiàng)人格特性項(xiàng)訓(xùn)練

(15)

(16)

(17)

Fig.3 Keyword-question attention model圖3 關(guān)鍵詞-問題注意力模型

在結(jié)構(gòu)化面試過程中，面試者需要圍繞問題內(nèi)容進(jìn)行回答，因此我們?cè)谖臋n層次上融入了問題注意力機(jī)制，該機(jī)制會(huì)將面試者回答文本中更加貼合問題的語句賦予更高的權(quán)重，設(shè)問題為Q=(q1,q2,…,qv)，其中v為問題長度，將問題輸入到LSTM中進(jìn)行編碼，形式為

(18)

(19)

將LSTM層中最后一個(gè)時(shí)間步輸出的隱含向量作為問題編碼向量u′，問題注意力計(jì)算方式為

(20)

(21)

(22)

經(jīng)過問題注意力機(jī)制加權(quán)處理后，獲得人格特征向量ci，ci在通過MLP層與sigmoid層的計(jì)算后獲得面試者該項(xiàng)的分?jǐn)?shù)預(yù)測:

yi=F×sigmoid(Woci+bo).

(23)

任務(wù)的目標(biāo)函數(shù)為均方誤差(mean-square error,MSE)，給定N對(duì)回答記錄-人格特性關(guān)鍵詞-問題對(duì)(Wi,Ki,Qi)，MSE損失的計(jì)算方式為

(24)

其中,p(Wi,Ki,Qi)為模型預(yù)測得分，y(Wi,Ki,Qi)為面試官打的真實(shí)得分，λ為L2正則化懲罰項(xiàng)的因子，θ為模型參數(shù).

由于在模型訓(xùn)練的過程中，面試問題和面試者作答共同作為輸入信號(hào)進(jìn)行編碼和參與訓(xùn)練，模型所學(xué)習(xí)到的是面試問題和面試者作答之間的匹配程度，因此模型不依賴于特定的問題，具有較好的泛化能力.在實(shí)際的應(yīng)用中，可通過提高面試問題的多樣性，進(jìn)一步提升問題適配能力.

2.3.2 第2階段訓(xùn)練：人格特性特征融合

將第1階段訓(xùn)練得到的基礎(chǔ)模型進(jìn)行遷移，設(shè)輸入的文本信息為W，基礎(chǔ)模型輸出的第i項(xiàng)人格特性的特征向量為ci，i∈[1,k]，k為人格特性項(xiàng)個(gè)數(shù)，如圖4所示：

Fig.4 Personality traits vector fusion圖4 人格特性特征向量融合

我們將不同人格特性的特征向量進(jìn)行融合，分別使用先融合和后融合2種模式，計(jì)算方式為

(25)

zlast=F×sigmoid(Wr[c1;c2;…;ck]+br).

(26)

先融合模式中，我們把不同的特征向量取平均；后融合模式中，把不同的特征向量進(jìn)行拼接；獲得融合的特征向量后，將其輸入到MLP層與sigmoid層，得出面試者的小題總分預(yù)測.

與2.3.1節(jié)相同，任務(wù)的目標(biāo)函數(shù)為MSE，設(shè)給定基礎(chǔ)模型M以及N個(gè)回答記錄Wi，設(shè)p(Wi,M)為模型預(yù)測的小題總得分，z(Wi)為面試官對(duì)該問題的真實(shí)打分，則損失的計(jì)算方式為

(27)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

我們通過與人力資源公司進(jìn)行合作，搭建了異步在線面試平臺(tái)，模擬了真實(shí)場景下的結(jié)構(gòu)化面試過程.面試共分為3道題，每道題設(shè)定5min答題時(shí)間.首先，我們邀請(qǐng)面試者登錄平臺(tái)，針對(duì)事先設(shè)定好的題目進(jìn)行回答錄制，接著3位專業(yè)的人力資源顧問依據(jù)評(píng)分標(biāo)準(zhǔn)，將對(duì)面試者進(jìn)行人格特性打分(包括樂于說服他人、樂于改變、考慮周詳?shù)?8項(xiàng)人格特性)以及小題總分打分，打分范圍為0～5分.最終3位能力資源顧問所打的分值取平均，作為面試者的最終得分.打分過程中根據(jù)面試者回答記錄做出詞頻統(tǒng)計(jì)，人力資源顧問分別選出最能代表人格特性的關(guān)鍵詞形成卓越、優(yōu)秀、普通關(guān)鍵詞表.我們最終共收集了96位面試者的面試數(shù)據(jù).表1給出了數(shù)據(jù)集的詳細(xì)說明，表2給出了人力資源顧問形成的關(guān)鍵詞詞表中的其中一項(xiàng)示例.

Table 1 Statistics of Interview Datasets表1 面試數(shù)據(jù)集統(tǒng)計(jì)信息

Table 2 Examples of Keywords表2 關(guān)鍵詞示例

3.2 評(píng)價(jià)指標(biāo)

評(píng)價(jià)指標(biāo)除了模型訓(xùn)練階段使用的MSE之外，本文還采用皮爾遜相關(guān)系數(shù)(Pearson correlation coefficient,PCC)、斯皮爾曼秩相關(guān)系數(shù)(Spearman’s rank correlation coefficient,SCC)來表示模型預(yù)測結(jié)果與人力資源顧問打分的相關(guān)程度.此外，二次加權(quán)Kappa(quadratic weighted Kappa,QWK)也常作為分?jǐn)?shù)預(yù)測類任務(wù)的評(píng)價(jià)指標(biāo).QWK會(huì)對(duì)預(yù)測分?jǐn)?shù)與真實(shí)分?jǐn)?shù)差值較大的項(xiàng)做出更大的懲罰，計(jì)算方式為

(28)

(29)

其中,O是觀察分?jǐn)?shù)矩陣，E是預(yù)期分?jǐn)?shù)矩陣，i和j分別指實(shí)際分?jǐn)?shù)和預(yù)測分?jǐn)?shù)，R是分?jǐn)?shù)能取得的最大值.矩陣O和矩陣E需要進(jìn)行歸一化.歸一化前的Oi,j的值表示實(shí)際標(biāo)簽為i分、模型預(yù)測為j分的數(shù)量；歸一化前的矩陣E通過實(shí)際標(biāo)簽值、模型預(yù)測值2個(gè)向量做外積得到.

3.3 參數(shù)設(shè)置

我們對(duì)訓(xùn)練集、驗(yàn)證集、測試集按8∶1∶1的比例劃分.使用預(yù)訓(xùn)練的中文詞向量[31]，維度設(shè)置為300，對(duì)于詞表中不存在的詞，詞向量進(jìn)行隨機(jī)采樣，采樣范圍為[-0.01,0.01].優(yōu)化器選擇Adam-optimizer，學(xué)習(xí)率設(shè)置為0.001.LSTM的隱藏層維度設(shè)置為200.第1階段訓(xùn)練的batch_size設(shè)置為128，第2階段訓(xùn)練的batch_size設(shè)置為16.對(duì)于最大句子長度與句子中的最大單詞數(shù)長度，我們使用網(wǎng)格搜索，在句子最大長度設(shè)置為15，句子中單詞數(shù)最大長度設(shè)置為20的條件下實(shí)驗(yàn)結(jié)果最佳，因此實(shí)驗(yàn)中統(tǒng)一采用此參數(shù).此外，為了防止過擬合，實(shí)驗(yàn)中加入了dropout機(jī)制與L2正則化機(jī)制，并在訓(xùn)練過程中采用了early stopping技巧.為了避免實(shí)驗(yàn)的隨機(jī)性，本文在實(shí)驗(yàn)上采取10折交叉驗(yàn)證，以產(chǎn)生不同的訓(xùn)練集、驗(yàn)證集和測試集，選擇在10折交叉驗(yàn)證中的測試數(shù)據(jù)集上結(jié)果的平均值作為模型最終表現(xiàn).

3.4 實(shí)驗(yàn)對(duì)比與結(jié)果分析

本文采用3個(gè)基線模型用于對(duì)文本信息進(jìn)行編碼，并將編碼向量輸入MLP層與sigmoid層進(jìn)行預(yù)測，用來與我們的模型作比較：

1)BiLSTM.該模型利用一個(gè)雙向的LSTM來對(duì)文本信息進(jìn)行編碼，考慮了上下文關(guān)系.模型中的記憶門緩解了序列模型容易發(fā)生梯度消失、爆炸的問題，使模型可以學(xué)習(xí)到長文本中遠(yuǎn)距離的依賴關(guān)系.

2)HA-LSTM(hierarchical attention LSTM)[29].該模型考慮了文本的層次結(jié)構(gòu)并融入了注意力機(jī)制，將文本信息中不同的句子輸入到LSTM中獲得句子向量表示后，再將不同的句子向量表示輸入到另一個(gè)LSTM中獲得輸出.

3)KA-LSTM(keyword attention LSTM).該模型為2.2節(jié)介紹的基于關(guān)鍵詞注意力的雙向LSTM模型.

表3給出了我們的方法(hierarchical keyword-question attention LSTM,HKQA-LSTM)與其他不同的基線模型的性能對(duì)比，分別比較了面試數(shù)據(jù)集中人格特性項(xiàng)以及小題總分的預(yù)測情況.從表3可以發(fā)現(xiàn)：

Table 3 Performance Comparison of Different Models表3 不同模型性能對(duì)比

1)HA-LSTM模型在小題總分的預(yù)測上效果比BiLSTM模型效果有一定的提升，其中PCC高出0.034，SCC高出0.035，QWK高出0.023.說明在面試過程中，面試官從整體上看更注重面試者表述文本信息的層次結(jié)構(gòu).即對(duì)于面試官來說，他會(huì)被面試者回答記錄中的某幾句話著重吸引，這也符合現(xiàn)實(shí)場景，證明了層次建模的重要性.

2)KA-LSTM模型在人格特性以及小題總分的預(yù)測上效果比BiLSTM模型、HA-LSTM模型有優(yōu)勢，說明在文本信息編碼的過程中，關(guān)鍵詞注意力機(jī)制發(fā)揮了作用，我們將關(guān)鍵詞作為注意力的外部導(dǎo)向，可以有效地對(duì)重要的信息進(jìn)行保存，對(duì)不重要的信息進(jìn)行過濾，并且提高了模型的可解釋性.

3)從整體上看，HKQA-LSTM模型取得的效果均高于基線方法，說明關(guān)鍵詞注意力機(jī)制以及問題注意力機(jī)制能有效地關(guān)注到更精確的局部信息，從而幫助模型提升預(yù)測的準(zhǔn)確性.層次結(jié)構(gòu)也使得模型能夠捕獲更長序列的依賴關(guān)系.

4)對(duì)于小題總分的預(yù)測，HKQA-LSTM模型比KA-LSTM模型有了較大的提升，PCC高出0.239，SCC高出0.259，QWK高出0.287.這種現(xiàn)象的原因在于HKQA-LSTM模型使用了2階段學(xué)習(xí)的訓(xùn)練方式，模型在第2階段的訓(xùn)練中，對(duì)第1階段抽取出的人格特性向量進(jìn)行融合，使得文本表征更加豐富.

表4列出了我們的方法(HKQA-LSTM)與基線方法在測試集上的預(yù)測值與真實(shí)值的對(duì)比，使用MSE來評(píng)估不同模型的表現(xiàn).可以看出，在人格特性和小題總分2種預(yù)測上，本文方法的預(yù)測值相比于基線方法都更加接近真值.與HA-LSTM相比，人格特性預(yù)測值與真實(shí)值的MSE誤差由1.764降低到了1.376，小題總分MSE 誤差由0.695降低到了0.314.

Table 4 MSE Results of Different Models表4 不同模型預(yù)測結(jié)果的均方誤差

為了驗(yàn)證本文提出的方法對(duì)細(xì)粒度評(píng)分預(yù)測的準(zhǔn)確程度，我們對(duì)18項(xiàng)不同人格特性的預(yù)測做出比較分析，使用PCC來評(píng)估不同方法的表現(xiàn).實(shí)驗(yàn)結(jié)果如圖5所示:

Fig.5 Comparison of fine-grained ratings of different models圖5 不同模型細(xì)粒度評(píng)分對(duì)比

從圖5中可以看出，相比與基線方法，本文提出的2種基于關(guān)鍵詞注意力的方法在不同人格特性預(yù)測的表現(xiàn)上都更為優(yōu)秀，主要原因在于面試者的口語表述是相對(duì)較長的文本，我們的方法擁有關(guān)鍵詞注意力機(jī)制，可以更有質(zhì)量地捕捉到不同人格特性下所側(cè)重關(guān)注的不同詞語和句子，從而使得模型預(yù)測效果得到提升.

為了判斷模型是否能真的分辨出面試中綜合表現(xiàn)較為卓越的面試者，我們將模型對(duì)小題總分的預(yù)測結(jié)果分為2類，即卓越(小題總分≥2.5)與一般(小題總分<2.5)，評(píng)價(jià)標(biāo)準(zhǔn)采用準(zhǔn)確率(Precision)、召回率(Recall)和Macro-F1.

我們分別嘗試了先融合模式(HKQA-LSTM-Early)和后融合模式(HKQA-LSTM-Late)，對(duì)第1階段抽取出的人格特征向量進(jìn)行融合.表5展示了2種模式的實(shí)驗(yàn)對(duì)比.

Table 5 Accuracy of Total Score in Different Modes表5 不同模式下小題總分的預(yù)測精度

從表5可以看出，后融合模式比先融合模式有更好的效果，其中Macro-F1值提高了2.9%.造成這種現(xiàn)象的原因是，在實(shí)際面試過程中，由于題目的不同，面試官所關(guān)注的面試者的人格特性側(cè)重點(diǎn)也不同.而后融合模式的計(jì)算方法可以動(dòng)態(tài)地調(diào)整不同人格特性的權(quán)重，更符合實(shí)際的面試情況，因此對(duì)于模型的準(zhǔn)確率、召回率都有一定的提升.

3.5 案例分析

為了分析關(guān)鍵詞注意力機(jī)制預(yù)測不同人格特性的有效性，我們進(jìn)行了樣例分析.圖6包含了2個(gè)可視化的例子，我們對(duì)文本信息編碼過程中單詞、句子注意力的權(quán)重進(jìn)行了高亮顯示，其中顏色越深說明該單詞或句子的注意力權(quán)重越大.

Fig.6 Attention weight visualization of interview texts圖6 面試文本注意力權(quán)重可視化

從圖6的可視化例子中可以看出，我們的模型可以有效地關(guān)注文本信息中重要的單詞，忽略掉不重要的單詞.并且針對(duì)不同的人格特性，關(guān)鍵詞注意力機(jī)制使得模型可以關(guān)注到同一文本的不同方面.如圖6(a)中，為了判斷面試者的“樂于改變”人格特性，模型更加關(guān)注“打破”“梳理”“挑戰(zhàn)”等詞.而圖6(b)中，由于考慮的是面試者的“考慮周詳”人格特性，模型則將注意力更多地放在“用戶”“客戶”“調(diào)試”等詞，因此該模型可以有效地幫助面試官進(jìn)行決策.

圖7展示了模型預(yù)測誤差較大的一項(xiàng)人格特性項(xiàng)“富想象力”.在該例子中，模型對(duì)不同句子的注意力比較平均，并將單詞注意力更多地放在了重復(fù)率較高的一些名詞上.這是由于關(guān)鍵詞表中，人力資源顧問給出的該人格特性項(xiàng)的關(guān)鍵詞為“提出”“戰(zhàn)略布局”“新思路”等，與面試者所表述的出入較大，導(dǎo)致最后模型對(duì)各個(gè)句子的注意力較為分散.此外，從圖5的細(xì)粒度評(píng)分比較中可以看出，模型對(duì)于人格特性項(xiàng)“富想象力”的預(yù)測與面試官打分的相關(guān)程度較低.一個(gè)可能的原因是“富想象力”本身是一項(xiàng)較為抽象的人格特性，因此面試官在打分的過程中會(huì)受到面試者的聲音、表情動(dòng)作等其他方面的影響.

Fig.7 Example of negative samples圖7 負(fù)例舉例

4 結(jié) 語

本文提出了一種基于關(guān)鍵詞注意力機(jī)制的細(xì)粒度面試評(píng)價(jià)方法，模型利用外部的關(guān)鍵詞以及問題作為模型不同層次上的注意力導(dǎo)向，對(duì)面試者面試過程中所展現(xiàn)出來的不同人格特性進(jìn)行預(yù)測.模型對(duì)第1階段訓(xùn)練得到的人格特性表征嘗試了不同的融合方式，得到第2階段的最終模型.在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的模型能有效地對(duì)面試者的不同人格特性進(jìn)行細(xì)粒度評(píng)價(jià)，對(duì)于不同的人格特性，模型能篩選出同一文本中不同的重要詞句，有效幫助面試官做出決策.

在未來的工作中，我們將考慮進(jìn)一步探索面試中的語音、視覺模態(tài)特征并融合進(jìn)模型中，并在模型增量學(xué)習(xí)過程中產(chǎn)生新的人格特性關(guān)鍵詞，讓人力資源顧問參與完善關(guān)鍵詞表，考慮基于圖譜的方法挖掘關(guān)鍵詞詞語之間的同義、上下位等更豐富的語義關(guān)系.結(jié)合其他半監(jiān)督的學(xué)習(xí)方法，通過利用更多面試過程產(chǎn)生的無標(biāo)簽數(shù)據(jù)來進(jìn)一步提升細(xì)粒度評(píng)分的性能.