人格特質(zhì)多客觀技術(shù)測量的融合與模型構(gòu)建

苗丹民，張 昀，劉旭峰，武圣君，方 鵬，曹 爽，隋佳汝

(1空軍軍醫(yī)大學(xué)軍事醫(yī)學(xué)心理學(xué)系航空航天心理學(xué)教研室，陜西 西安 710032； 2西安交通大學(xué)電信學(xué)部信息與通信工程學(xué)院，陜西 西安 710049； 3解放軍中部戰(zhàn)區(qū)空軍醫(yī)院心理科，山西 大同 037000)

人格特質(zhì)是軍人心理選拔測驗中最常見、最重要的內(nèi)容。人格特質(zhì)的探討是意識活動皇冠上鑲嵌的最璀璨的明珠，而對意識本質(zhì)的研究于2005年和2020年兩次排在Science上人類125個前沿科學(xué)問題的榜首[1-2]，是“世界上最復(fù)雜、最奇妙的現(xiàn)象”[3]。2014年，空軍軍醫(yī)大學(xué)苗丹民研究團隊與西安交通大學(xué)張昀研究團隊首次提出意識-認(rèn)知神經(jīng)多質(zhì)融合心理測量理論，并開展了一系列研究，探討語言性人格測驗在激活意識活動過程中認(rèn)知神經(jīng)反應(yīng)的特征及模式，利用大數(shù)據(jù)與深度學(xué)習(xí)多模態(tài)數(shù)據(jù)融合分析，構(gòu)建了多項情感、認(rèn)知和態(tài)度預(yù)測模型，實現(xiàn)了對意識活動的客觀測量，為軍人心理選拔科學(xué)研究提供了有效手段[4]。本期專題集中刊登了該團隊的8篇研究報告。

1 人格特質(zhì)研究是意識探索的最佳途徑

從古埃及哲學(xué)意識觀到腦認(rèn)知神經(jīng)科學(xué)實驗，人類對意識活動本質(zhì)及其測量的探索從未間斷。古代哲學(xué)家們首先回答了意識存在的地方和形式，如阿爾克邁翁的“大腦”(公元前510年)，柏拉圖的“靈”(公元前429—公元前347年)，亞里士多德的“心”(公元前384—公元前322年)等著名論述。近代哲學(xué)家與生物學(xué)家們探討了腦與意識的關(guān)系，如笛卡爾提出的意識二元論(17世紀(jì))，弗朗茨·約瑟夫·加爾創(chuàng)建的顱相學(xué)(1796年)，保爾·布洛卡發(fā)現(xiàn)的語言左腦前額葉區(qū)(1861年)等。隨著腦科學(xué)的深入發(fā)展，圣地亞哥·拉蒙-卡哈爾發(fā)現(xiàn)了離散細(xì)胞構(gòu)成意識活動的神經(jīng)系統(tǒng)(1873年)，凱斯·盧卡斯證實了神經(jīng)元具有全或無的規(guī)律(1905年)，羅杰·斯佩里驗證了大腦兩半球認(rèn)知加工的分工(1962年)等，這些都證實了大腦神經(jīng)元是意識活動的沃土。

隨著現(xiàn)代科學(xué)技術(shù)手段的發(fā)展，大腦神經(jīng)電活動與網(wǎng)絡(luò)關(guān)系成為意識測量的熱點。GIULIO TONONI的意識信息整合理論[5]，比利時團隊的大腦意識與無意識電磁刺激分析，YURI SAALMANN大腦的意識開關(guān)理論[6]，范德堡大學(xué)的意識網(wǎng)絡(luò)理論[7]等，有力地推動了腦認(rèn)知神經(jīng)功能研究。DEHAENE[8]總結(jié)了近20年意識與認(rèn)知神經(jīng)科學(xué)研究的成果，通過豐富和富有創(chuàng)新性的腦成像實驗，提出了意識“全腦神經(jīng)工作空間學(xué)說”，并大膽地解釋道這些可視化腦神經(jīng)活動就是意識。但是，意識測量是一件非常困難的事，因為它太復(fù)雜、太主觀。一個人的想法上一秒可能是這樣，下一秒就會發(fā)生天翻地覆的變化，以至于迄今沒有一個能讓科學(xué)界公認(rèn)的意識測量技術(shù)。我們并不懷疑DEHAENE對腦功能的客觀測量，但無疑會質(zhì)疑腦功能是否等于意識。

心理科學(xué)認(rèn)為，意識是人所特有的一種對客觀現(xiàn)實的高級心理反映形式[9]。探索人類心理活動有4個視角[4]：個體心理、心理過程與行為、意識與無意識、個體與社會心理。個體心理視角注重人類心理結(jié)構(gòu)。當(dāng)研究從一般規(guī)律轉(zhuǎn)換到強調(diào)差異性和穩(wěn)定性時，認(rèn)識過程被稱為智力，而情感過程、意志過程以及個性心理傾向性被稱為人格。人格特質(zhì)是最有特色、最典型的高級心理反映形式。

第三版《中國大百科全書》對人格的定義是：個體擁有的特質(zhì)及行為傾向的統(tǒng)一體[9]。人格是個體在對人、對事、對己等方面的內(nèi)部傾向性和心理特征，是性格、氣質(zhì)、需要、動機、興趣、理想、價值觀，甚至包括能力在內(nèi)的整合，具有動力一致性和連續(xù)性，是個體在社會化過程中形成獨特性的心理組織。人格理論認(rèn)為：人格是個體行為的全部品質(zhì)，具有整體性、穩(wěn)定性、獨特性和社會性等基本特征，可以預(yù)測一個人的行為傾向和適應(yīng)模式?！叭说男睦憩F(xiàn)象是世界上最復(fù)雜、最奇妙的現(xiàn)象”指的就是人格[3]，而人格測量就成為意識活動最有效和最客觀的認(rèn)識途徑。

2 自然語言人格測驗是意識量化研究的基礎(chǔ)

人類開始說話距今已有10萬年，而文字歷史不過3 000～5 000年。說話是通過聽覺傳遞到大腦的，而文字是經(jīng)行為、視覺系統(tǒng)傳遞的。文字的誕生，將聽覺信號、圖像符號、視頻影像進(jìn)行整合，構(gòu)建了行為、視覺、聽覺一體的傳輸系統(tǒng)，與思維融合產(chǎn)生了自然語言體系。因此，自然語言是人類意識活動的主要交流媒質(zhì)。

人格測驗以自然語言表達(dá)方式為依據(jù)，是心理測驗的一種。心理測驗是研究意識活動四大技術(shù)之一，是心理學(xué)研究獨有的、客觀的、標(biāo)準(zhǔn)的手段，已沿用一個多世紀(jì)。美國心理學(xué)會主席安妮·安娜斯塔西將心理測驗定義為：對行為樣本客觀和標(biāo)準(zhǔn)化的測量[10]。

特別是在人格測量的形成中，行為樣本的提取是關(guān)鍵，后者指從所要測量目標(biāo)的總體行為中抽取有代表性的一組行為，因此代表性決定了人格測量的質(zhì)量。該組行為是否能夠代表某種心理品質(zhì)，語言的自然屬性扮演著極為重要的角色。

人格測量的目標(biāo)是通過對行為樣本的預(yù)測，揭示一個人的行為結(jié)果和規(guī)律，是對背后深層意識活動的探索，是對人類主觀世界的量性分析。在所有行為樣本的類型中，語言是最精準(zhǔn)、最簡便、最通俗、且異質(zhì)性最少的刺激材料，具有操作便捷、節(jié)省時間、成本低廉、測試環(huán)境要求低、適宜大規(guī)模測試等優(yōu)點。如著名的邁爾斯-布里格斯類型測驗(Myers-Briggs Type Indicator，MBTI)每年施測700多萬人，我國“士兵基本職業(yè)適應(yīng)性測驗”已經(jīng)完成1 600余萬人的測試[11]。

但是，語言性人格測驗也有一些弱點，如動機不純導(dǎo)致虛假作答、社會贊許性導(dǎo)致按“需”作答、主觀回答導(dǎo)致對測驗結(jié)果的質(zhì)疑等。在科學(xué)盛行的時代，主觀的被譽為是唯心的，唯心的被視為是唯心主義的。因此，心理測量常常被質(zhì)疑過于主觀，傳統(tǒng)的人格測驗技術(shù)也走入了瓶頸。然而，面對傳統(tǒng)測驗存在的問題，不應(yīng)該簡單地拋棄，而應(yīng)積極地面對與解決。自心理學(xué)誕生以來，人類不斷尋求解讀意識的途徑，從釋夢、行為觀察、計算機模擬，到各類生物學(xué)技術(shù)等，但始終沒有獲得重大的突破。我們可以假設(shè)，或許腦與意識是兩種完全不同的物理現(xiàn)象。由此，基于現(xiàn)代科學(xué)的技術(shù)手段，將主觀的刺激與客觀的測量相結(jié)合，也許是對意識客觀測量的最佳途徑。

自然語言指人們?nèi)粘＝涣魇褂玫恼Z言，通過文字/聲音符號媒介，以及特定的詞匯和語法結(jié)構(gòu)等，以表達(dá)人類意識活動的內(nèi)涵和邏輯[12]，其中文字符號更能直觀地表現(xiàn)出自然語言的特征。語言性人格測量的預(yù)測效果則取決于測驗條目的自然屬性。

語言活動涉及一系列復(fù)雜的認(rèn)知加工過程，不僅與感知覺、記憶、想象、思維等基本認(rèn)知過程密切相關(guān)，而且與語言使用者的知識、情感、習(xí)慣、文化等復(fù)雜認(rèn)知功能相聯(lián)系[13]。HAGOORT[14]認(rèn)為，長時記憶在語言加工中發(fā)揮著必不可少的作用。將當(dāng)前的語言信息與存儲在長時記憶中的語言信息進(jìn)行整合，是實現(xiàn)言語理解的基礎(chǔ)。自傳體記憶是個人復(fù)雜生活事件的混合記憶，以長時記憶的方式編碼儲存，通過自我參照的形式對個體以往經(jīng)歷過的事件和感受進(jìn)行記憶登記[15]。當(dāng)自傳體記憶測驗中的行為樣本與個體長時記憶中的自傳體記憶關(guān)聯(lián)越密切，就越容易激活(啟動)意識活動。因此，這就要求在編制人格測驗時，行為樣本的提取應(yīng)該最大限度地貼近具有某一人格特質(zhì)人群自傳體記憶特征，即在行為事件、個體感受、語言習(xí)慣、價值理念等方面與之貼近。

有研究證實，自然語言對意識的激活有其腦神經(jīng)科學(xué)基礎(chǔ)。研究發(fā)現(xiàn)，人類對自然語言的加工是多個腦區(qū)共同作用的結(jié)果，表現(xiàn)出動態(tài)的神經(jīng)網(wǎng)絡(luò)特點[16]。如：語義加工主要涉及左腦梭狀回、顳中回、顳上溝、角回；而書面閱讀語義理解主要依賴側(cè)通路，由枕葉下部經(jīng)顳枕交接區(qū)直接或間接到達(dá)顳上溝前部[17]。另有研究證明，當(dāng)自然語言誘發(fā)自傳體記憶時，就會激活左側(cè)前額葉、內(nèi)側(cè)前額葉、腹內(nèi)側(cè)前額葉、杏仁核、海馬系統(tǒng)、楔前葉以及視皮層區(qū)域[18]。

自然語言處理技術(shù)的出現(xiàn)，通過字符識別、語義對比、文本分類、觀點提取、自動摘要等功能[19]，實現(xiàn)了自然語言理解和自然語言生成，為語料庫文本數(shù)據(jù)自動生成符合自然語言規(guī)律的語言性行為樣本奠定了計算機科學(xué)基礎(chǔ)。2017 年Transformer 機器翻譯模型[20]首次亮相，通過直接捕捉句子中所有單詞間的關(guān)系，生成了新的單詞表示方式，并由研究通過自然語言處理，生成新的句子。

3 認(rèn)知神經(jīng)技術(shù)是人格客觀測量的標(biāo)志

有文獻(xiàn)顯示，多項認(rèn)知神經(jīng)技術(shù)可以采集到此時意識活動的外在表征，包括眼動追蹤、面部運動單元、微表情[21]、腦電特征識別[22]、植物神經(jīng)反應(yīng)[23]、肢體動作[24]等。以下重點介紹眼動追蹤技術(shù)和面部運動單元分析技術(shù)。

3.1 眼動追蹤技術(shù)

眼球運動是人類感知外部視覺刺激時發(fā)生的神經(jīng)反射活動，反映了個體對信息認(rèn)知加工的過程，如注意[25]、感知覺[26]、記憶[27]、表象[28]、言語[29]、問題解決[30]、思維與決策，以及情緒的變化[31]，可以看作是“意識通達(dá)”可視化的指標(biāo)。眼動追蹤的基本原理是“腦-眼假說”。該理論認(rèn)為，人類信息70%來自于視覺，視覺是由大腦控制的，所以通過監(jiān)測眼動的變化，就可以測量腦中正在發(fā)生什么，故人們在視覺上和心理上都在加工視線所指向的刺激[32]。

人類在閱讀自然語言文本時，眼動軌跡提示了視覺注意的點、停留時間的長短、注意軌跡、情緒活動等特征，由此可以測算自然語言文字刺激下的自傳體記憶是否被提取及提取過程。研究發(fā)現(xiàn)，眼動指標(biāo)與意識認(rèn)知之間存在對應(yīng)的關(guān)系，如注視時長與視覺注意呈正比關(guān)系，主要反映人腦信息獲取與處理的時間[33]，表明該材料對測試者的吸引程度。注視點個數(shù)反映了測試者閱讀刺激材料時的意識加工深度[34]，即注視點個數(shù)越多，意識加工程度越深；視覺注意的程度由注視時長與注視次數(shù)共同反映，視覺注意程度越高，意識對信息加工的程度就越大[35]。回視指眼跳的方向落回到之前加工過內(nèi)容的過程[36]，表明測試者的注意力被刺激材料吸引的程度以及對前后語義的整合。眼跳指眼動在注視之間的快速移動，通常反映注意力的變化；眼跳的準(zhǔn)確性和潛伏期反映了認(rèn)知控制能力的大小。瞳孔擴張受大腦藍(lán)斑-去甲腎上腺素系統(tǒng)的調(diào)節(jié)，該系統(tǒng)控制生理喚醒和注意力；瞳孔的變化一般用來推測刺激材料認(rèn)知負(fù)荷大小、記憶提取以及情緒喚醒程度[37-38]。自發(fā)眨眼頻率與學(xué)習(xí)和目標(biāo)導(dǎo)向行為的潛在加工有關(guān)。

通過對注視、眼跳、軌跡運動、瞳孔變化等指標(biāo)的測量，可以測算出意識在信息篩選、輸入、比較、邏輯推理的加工過程，形成對刺激信息態(tài)度傾向性的判斷；通過對個體“注意到什么”“更關(guān)注什么”“情緒卷入程度”等分析，探討意識加工的特點和規(guī)律，為自然語言刺激-客觀生物指標(biāo)識別提供重要手段。

3.2 面部運動單元分析技術(shù)

20世紀(jì)70年代，心理學(xué)家EKMAN等[39]構(gòu)建了面部運動編碼系統(tǒng)(facial action coding system，F(xiàn)ACS)，將人臉面部運動分解成面部運動單元(action unit，AU)，并制定了可靠的辨定標(biāo)準(zhǔn)。FACS包括27個與特定肌肉群相關(guān)的AU以及描述頭部和眼睛運動的14個混雜AU。FACS只對面部運動進(jìn)行客觀描述，不涉及情緒標(biāo)簽[40]。

由于FACS能夠通過對面部運動的測量實現(xiàn)對意識活動的量化分析，在人格測量上的潛在價值逐步受到重視，研究人員由此開展了一系列臨床應(yīng)用研究[41-43]。EKMAN等[44]報告，采用AU可以預(yù)測抑郁癥、精神分裂癥等的發(fā)作與緩解。PRKACHIN等[45]報告，疼痛的主要面部特征包括眉毛降低(AU4)、眼眶收緊(AU6及AU7)、閉眼(AU43)、鼻子起皺(AU9)及上嘴唇提起(AU10)。

人工智能及機器視覺技術(shù)的發(fā)展，實現(xiàn)了對AU特征的自動識別與分析，為其在研究中的廣泛應(yīng)用提供了前景。GAVRILESCU等[46]建立的三層神經(jīng)網(wǎng)絡(luò)算法，對抑郁、焦慮、應(yīng)激狀態(tài)下個體觀看情緒視頻時的AU進(jìn)行比較，分類識別率達(dá)85%以上。KALIOUBY等[47]應(yīng)用機器學(xué)習(xí)算法，通過提取面部、頭部及手勢運動特征，對贊同、專注、反對、感興趣、思考及不確定6種意識活動進(jìn)行分類，準(zhǔn)確率達(dá)77.4%；楊志偉[48]通過對抑郁障礙高危人群人格測驗下的AU分析，與對照組比較，預(yù)測準(zhǔn)確率達(dá)83.1%。

3.3 認(rèn)知神經(jīng)反應(yīng)信息的分解

對自然語言性人格測驗時采集的認(rèn)知神經(jīng)信號有效分解是影響測驗預(yù)測性的關(guān)鍵技術(shù)。人類在接收外界信息刺激時，意識活動有一個自我確定到合理化調(diào)整的過程，被稱作自洽。自洽受潛意識、穩(wěn)定態(tài)度體系及對刺激信息自反饋的影響。潛意識和穩(wěn)定態(tài)度體系組成了人格特征；對刺激信息的合理化自反饋受多種不確定性因素影響。以下公式表明了眼動、AU等認(rèn)知神經(jīng)指標(biāo)(Yt)與人格特征(Xt)、自然語言刺激(Ht)和合理化自反饋(Ft)之間的關(guān)系：

Yt=Xt+Ht+Ft

其中Xt是常數(shù)，Ht和Ft是變量。如果固定Ft，當(dāng)自然語言刺激信息與個體自傳體記憶或原有態(tài)度體系一致時，Yt呈肯定性反應(yīng)；當(dāng)兩者發(fā)生沖突時，Yt呈否定性反應(yīng)。因此Ht質(zhì)量越高，Yt效果就越好。但當(dāng)Ht與合理化判斷發(fā)生沖突時，意識會自動啟動自反饋系統(tǒng)(Ft)，Yt會出現(xiàn)一個從Xt+Ht下的Yt到以Ft為主導(dǎo)的Yt的過程，這個過程就是自洽。而自然語言性人格測量的目的，就是通過信號識別技術(shù)分解Xt+Ht下的Yt與Ft下的Yt，以提高人格預(yù)測的準(zhǔn)確性。

4 多客觀技術(shù)融合分析是提升意識測量準(zhǔn)確率的關(guān)鍵

20世紀(jì)上半葉CATTELL[49]奠定了現(xiàn)代數(shù)據(jù)融合計算的基礎(chǔ)，隨之多質(zhì)數(shù)據(jù)的融合分析成為人工智能研究的熱點。2018年LIU等[50]采用基于矩陣或多項式多模態(tài)張量融合神經(jīng)網(wǎng)絡(luò)算法，以及2019年HOU等[51]采用高階多項式池化多通道多模態(tài)深度融合分析，實現(xiàn)了對文字、圖像和語音的多模態(tài)特征融合分析，大大提高了數(shù)據(jù)識別的準(zhǔn)確率。FARNADI等[52]采用堆疊多模態(tài)融合算法，將視頻、音頻、文字等多模態(tài)數(shù)據(jù)分類預(yù)測結(jié)果作為研究對象，用新分類器對這些預(yù)測結(jié)果進(jìn)行再分類，實現(xiàn)多模態(tài)決策級的融合預(yù)測，結(jié)果顯著提升了預(yù)測的精度。堆疊多模態(tài)融合算法接納異質(zhì)性數(shù)據(jù)及模型，因此更適合構(gòu)建包括文本、眼動、視頻等信息在內(nèi)的多質(zhì)融合分析模型。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法為意識活動多客觀指標(biāo)融合的大數(shù)據(jù)分析提供了平臺，多模態(tài)異構(gòu)數(shù)據(jù)的融合分析也已成為深度學(xué)習(xí)的典型問題。隨著多模態(tài)數(shù)據(jù)融合與深度學(xué)習(xí)算法日益成熟，基于自然語言人格測量的多客觀指標(biāo)融合分析技術(shù)將取代傳統(tǒng)人格測量，有效提升意識測量的準(zhǔn)確率。

《意識研究》對意識的心靈哲學(xué)和認(rèn)知神經(jīng)科學(xué)近20年的研究成果進(jìn)行了系統(tǒng)回顧，歸納出困擾意識研究的三大難題：非分析性、非還原性和私密性[53]。該書作者認(rèn)為，將哲學(xué)分析方法與認(rèn)知神經(jīng)科學(xué)成果相結(jié)合，在解決三個難題的同時，構(gòu)建一條具備二者優(yōu)勢的新型意識研究道路是完全可行的[53]。未來人格測驗發(fā)展的出路在于：自然語言性人格測驗對意識活動的啟動，各認(rèn)知神經(jīng)技術(shù)有效采集啟動效應(yīng)，多客觀指標(biāo)數(shù)據(jù)的融合分析對意識傾向性做出判別。要實現(xiàn)這一目標(biāo)，還需解決以下5個關(guān)鍵問題：①自然語言行為樣本的自生成；②意識活動啟動效應(yīng)的驗證；③表象、表征、概念與認(rèn)知神經(jīng)反應(yīng)的量效關(guān)系；④認(rèn)知神經(jīng)反應(yīng)的識別與分析；⑤基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)多質(zhì)融合模型的預(yù)測效果驗證(圖1)。令人振奮的是，隨著人工智能算法的飛速發(fā)展，在自然語言行為樣本自生成、認(rèn)知神經(jīng)反應(yīng)識別分析和基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)多質(zhì)融合模型構(gòu)建等方面已經(jīng)有了重大突破。本課題組在意識活動啟動效應(yīng)驗證，啟動效應(yīng)下表象、表征、概念與認(rèn)知神經(jīng)反應(yīng)的特征和量化分析方面有了長足的進(jìn)步，相信不久我們將在意識客觀測量領(lǐng)域取得突破性研究成果。

圖1 意識(人格)多質(zhì)客觀技術(shù)測驗的融合研究途徑