軍人心理測量中融合自然語義信息的視線跟蹤時-空相似度算法研究

沈胤宏，鄭秀娟，王 艷，黃 申，張 昀

(1四川大學(xué)電氣工程學(xué)院自動化系，四川 成都 610065； 2空軍軍醫(yī)大學(xué)軍事醫(yī)學(xué)心理學(xué)系，陜西 西安 710032； 3西安交通大學(xué)電信學(xué)部信息與通信工程學(xué)院，陜西 西安 710049)

在心理學(xué)研究領(lǐng)域，軍人心理測量開展最早，與軍事活動聯(lián)系最為緊密，且應(yīng)用最為廣泛。由于軍事職業(yè)活動的特殊性，要求軍人必須通過嚴(yán)格的心理篩查，以保證正常的人才培養(yǎng)[1]。目前，軍校心理測量主要分為三個步驟：心理檢測、智力測驗(yàn)、人格測驗(yàn)。心理檢測通過量表答題的方式進(jìn)行；智力測驗(yàn)通過紙筆測驗(yàn)進(jìn)行；人格測驗(yàn)通過結(jié)構(gòu)式訪談方式進(jìn)行。心理檢測和人格測驗(yàn)的測量結(jié)果取決于心理醫(yī)師的專業(yè)素養(yǎng)和受試者的誠實(shí)程度，因?yàn)檫@兩部分容易受到主觀因素的影響。因此，一個可對軍校心理測量進(jìn)行客觀評估且可輔助醫(yī)師臨床診斷的量化指標(biāo)顯得尤為重要。視線跟蹤技術(shù)廣泛用于心理認(rèn)知過程中的輔助測量[2-5]，在掃描路徑理論基礎(chǔ)上[6]可以將掃描路徑量化為一系列具有時間序列關(guān)系的注視點(diǎn)和掃視[7]。眼動掃描路徑無論在時間上還是在空間上都具有良好的眼動信息存儲功能，它不僅反映了被試看了哪里、看了多長時間，還反映了被試信息處理的順序，是當(dāng)前視線跟蹤時-空分析研究中廣泛應(yīng)用的視覺行為特征[8]。目前，視線跟蹤時-空相似度比較方法已經(jīng)成功地應(yīng)用于視覺信息處理過程中的認(rèn)知研究，例如場景感知[9]、閱讀[10]和視覺搜索[11]。近年來，視線跟蹤時-空相似度比較算法被用來理解正確和不正確解答物理問題的視覺行為差異[12]和受試的工作經(jīng)驗(yàn)[13]。同時，視線跟蹤時-空相似性可為診斷輕度或中度的認(rèn)知障礙提供臨床依據(jù)[14]。因此，我們希望通過分析和比較被試心理測量過程中視線跟蹤數(shù)據(jù)來評估被試潛在的視覺認(rèn)知差異，進(jìn)而識別心理差異。在本研究中，我們提出了一種將自評量表的語義信息與視線跟蹤時-空相似度結(jié)合的算法，用于分析心理測量中被試視線跟蹤數(shù)據(jù)，從而完成目標(biāo)人群篩查的任務(wù)。將主觀的心理狀態(tài)分析轉(zhuǎn)換為客觀的視線跟蹤時-空模式識別，使得心理評估過程更加客觀簡便。

1 算法與實(shí)驗(yàn)

1.1 視線跟蹤時-空相似度算法

1.1.1 字符化方法 視線跟蹤時-空相似度比較算法首先需要定義興趣區(qū)(area of interest，AOI)，并根據(jù)AOI將視線跟蹤數(shù)據(jù)映射為字符串。在前人的工作中，研究人員通常采用網(wǎng)格法和百分制法定義AOI。網(wǎng)格法將刺激所在區(qū)域劃分為規(guī)則大小的AOI(圖1A)，而百分制法則是將刺激區(qū)域劃分為大小不同但所含注視點(diǎn)數(shù)量相同的AOI(圖1B)。使用網(wǎng)格法和百分制法劃分AOI都十分簡單，且完整地保存了視線跟蹤的順序、形狀和長度信息。但是，這兩種方法都通過簡單的幾何區(qū)域劃分破壞了刺激的完整性和相似性。例如，這兩種方法會將一個詞語劃分為兩個完全不同的AOI，或者將一個帶有集成語義信息的表達(dá)式劃分到多個AOI中。這兩種方法都過于強(qiáng)調(diào)空間位置的相關(guān)性，而忽略了基本的語義信息，這對認(rèn)知領(lǐng)域的研究具有破壞性。語義信息可以獨(dú)立地影響被試的注意力分配機(jī)制，在引導(dǎo)注意力時，語義信息可以覆蓋低層次的特征，即使該語義信息與任務(wù)無關(guān)[15-16]?；诖?，我們根據(jù)中文語法及中文分詞系統(tǒng)[17]重新定義了AOI(圖1C)，將眼動數(shù)據(jù)從簡單的幾何位置映射改進(jìn)為基于語義信息的映射。AOI被標(biāo)記為字符，位于同一AOI中的注視點(diǎn)將被映射為同一字符。因此，視線跟蹤被表達(dá)為一系列連續(xù)的字符串，該字符串有序地表達(dá)了被試在各個AOI中的時空信息[18]。

1.1.2 視線跟蹤時-空相似度算法改進(jìn) 將眼動數(shù)據(jù)基于語義信息映射為字符串后，針對其字符串長度差異較為明顯以及AOI分布規(guī)則等特點(diǎn)，我們對Needleman-Wunsch(NW)算法[19]和SubsMatch(SM)算法[13]做出了改進(jìn)，以便更好地用于視線跟蹤時-空相似度計算。

NW算法是一種全局字符串比對方法，常用于生物信息學(xué)中DNA序列的分析。該算法基于網(wǎng)格法將數(shù)據(jù)字符化，以替換矩陣計算所得的相似性得分最大化為原則對兩字符串進(jìn)行比較。替換矩陣提供了字符編碼的AOI之間的歐式距離關(guān)系，并且可根據(jù)最大相似性得分的回溯路徑將兩條字符串最相似的部分臨時對齊，解決了時間偏移的問題。但以AOI之間簡單的歐式距離關(guān)系計算所得的替換矩陣存在一定的缺陷，其將所有AOI位于同一維度并假定所有的AOI之間都是規(guī)則的空間幾何關(guān)系，忽視了AOI的分布特點(diǎn)和AOI之間的關(guān)聯(lián)性和語義性。

針對這一問題，本文對NW算法的替換矩陣做出了以下改進(jìn)：根據(jù)語義信息和實(shí)驗(yàn)?zāi)康膶OI進(jìn)行兩次區(qū)域劃分。一次區(qū)域劃分僅根據(jù)語義信息(圖1C)，以基于語義信息的AOI劃分方法替代原有的網(wǎng)格法，建立基于語義信息的NW算法命名為NW_Semantic算法。二次區(qū)域劃分將刺激圖像分為3個AOI：問題區(qū)域、選項(xiàng)區(qū)域、背景區(qū)域。以圖1C為例，問題區(qū)域由a、b、c、d、e組成，選項(xiàng)區(qū)域由y、n組成，背景區(qū)域由o組成。二次劃分用于強(qiáng)調(diào)同類區(qū)域之間的相似性，以及不同區(qū)域之間的差異性。我們對3個AOI之間的距離進(jìn)行了定義(圖1D)。對兩次劃分的AOI距離進(jìn)行疊加，得到新的替換矩陣值，用于對齊字符串并計算相似度。我們將進(jìn)行了兩次區(qū)域劃分的NW算法命名為NW_Semantic2.0算法。

A：網(wǎng)格法；B：百分制法；C：基于語義信息；D：二次劃分AOI之間的距離。圖1 感興趣區(qū)劃分示意圖

SM算法是基于重復(fù)注視模式頻率的視線跟蹤時-空相似度比較算法。該算法基于百分制法將數(shù)據(jù)字符化，然后通過一定大小的滑動窗口將表示視線跟蹤的字符串劃分為具有特定大小的等長子序列，計算每個子序列出現(xiàn)的頻率，以子序列為鍵，子序列出現(xiàn)頻率為值，建立哈希表，通過比較兩個哈希表的差異來計算兩視線跟蹤之間的時-空相似性，其計算流程如圖2所示，其中滑動窗口大小設(shè)置為2。

matchF1和matchF2分別表示字符串S1和S2哈希表中同一鍵對應(yīng)的值；mismatchF1和mismatchF2則表示不同鍵對應(yīng)的值。圖2 SM算法流程圖

SM算法常用于動態(tài)環(huán)境下的眼動研究，可通過哈希表中的最大值捕捉反復(fù)出現(xiàn)的眼動模式。但SM算法以子序列出現(xiàn)頻率之差計算相似度，容易忽略視線跟蹤長度這一特征，不能準(zhǔn)確地比較字符串差異。以圖2為例，字符串S1和S2的相似度為0.600，而S1與字符串S3:ABCDABABCDAB的相似度高達(dá)0.950?？紤]到抑郁檢測實(shí)驗(yàn)的設(shè)置和所采集的眼動數(shù)據(jù)特征(從左至右的閱讀習(xí)慣、靜態(tài)環(huán)境下較少出現(xiàn)反復(fù)眼跳行為、較為明顯的視線跟蹤長度差異)，我們將原先SM算法哈希表中的值由子序列出現(xiàn)頻率改進(jìn)為子序列出現(xiàn)頻數(shù)，并將哈希表相似度計算公式改進(jìn)如下：

(1)

其中，matchF1和matchF2分別表示字符串S1和S2哈希表中同一鍵對應(yīng)的值；mismatchF1和mismatchF2則表示不同鍵對應(yīng)的值；M和N分別表示字符串S1和S2的字符長度；w表示滑動窗口大小。

公式(1)調(diào)整了SM算法中子序列頻率歸一化和哈希表比較的順序，將原算法先歸一化再比較改進(jìn)為先比較再歸一化，以此保留了字符串的長度特征。以上文提及的字符串S1、S2和S3為例，經(jīng)改進(jìn)后的SM算法計算，字符串S1與S2之間的相似度為0.667，S1和S3之間的相似度為0.625，具有明顯的改進(jìn)效果。本文中將基于語義信息的SM算法命名為SM_Semantic算法，并將改進(jìn)歸一化后的SM_Semantic算法命名為SM_Semantic2.0算法。

上述視線跟蹤時-空相似度比較算法在每一個條目上均可計算得一個相似矩陣，該矩陣顯示了在該條目上，兩兩被試的視線跟蹤之間的時-空相似值。對相似矩陣進(jìn)行最近鄰分類，可得每位被試在每一個條目上的分類結(jié)果。將被試在每一個條目上的分類結(jié)果進(jìn)行降維處理，可確定被試最終的診斷結(jié)果。

基于視線跟蹤時-空相似度比較算法的抑郁障礙高危人群篩查方法具體步驟如下：步驟1，采集眼動數(shù)據(jù)并基于語義信息將其映射為字符串； 步驟2，運(yùn)用視線跟蹤時-空相似度比較算法計算兩兩字符串之間的相似值；步驟3，使用分類器對步驟2的計算結(jié)果進(jìn)行分類，并整理分類結(jié)果識別抑郁障礙高危人群。

1.2 實(shí)驗(yàn)

近年，隨著中國社會經(jīng)濟(jì)的發(fā)展，抑郁障礙受到了全社會的廣泛關(guān)注，針對抑郁障礙的研究逐漸深入，發(fā)現(xiàn)抑郁傾向和認(rèn)知風(fēng)格之間存在相關(guān)性，可將視覺認(rèn)知行為模式作為探索抑郁癥客觀診斷的重要途徑[5]。因此，本文對軍人心理測量中的眼動數(shù)據(jù)進(jìn)行抑郁障礙高危篩查分析，評估本文提出方法的可行性和有效性。

1.2.1 對象 使用抑郁障礙高危自評量表(Self-Rating High-Risk of Depression Scale，S-hr-DS)[20]進(jìn)行軍人心理測量，實(shí)現(xiàn)抑郁障礙高危人群篩查。在前期工作中，S-hr-DS量表研制之初首先對抑郁障礙高危進(jìn)行定義，之后該量表經(jīng)過了三年的測試，驗(yàn)明其良好的可信度(狀態(tài)量表和特質(zhì)量表的Krumbach指數(shù)分別為0.956和0.962)[20]。

本文使用紙質(zhì)版S-hr-DS開展軍人心理測量，獲得符合量表抑郁障礙高危診斷標(biāo)準(zhǔn)40人，經(jīng)專業(yè)心理醫(yī)生觀察訪談，臨床診斷抑郁障礙高危個體21人。同時隨機(jī)選取無精神障礙和精神疾病家族史、漢密爾頓抑郁量表(Hamilton Depression Scale)[21]臨床診斷評分低于7分，且無明顯抑郁易感人格特質(zhì)的正常人為對照組。所有被試在年齡、智力和教育方面相匹配，無閱讀障礙，能夠獨(dú)立完成問卷作答。

1.2.2 數(shù)據(jù)采集 將S-hr-DS的62個條目制作成62張幻燈片作為眼動刺激，并在每個條目前插入一個校準(zhǔn)幻燈片，用于眼動數(shù)據(jù)采集過程中的坐標(biāo)校正(圖3)。每一位被試頭部距電腦屏幕60 cm，并盡可能保持頭部靜止，眼動校準(zhǔn)后，被試讀取幻燈片上的內(nèi)容，然后單擊“是”或“否”選項(xiàng)，以回答問題，每個問題的回答并沒有時間限制。單擊鼠標(biāo)即可進(jìn)入下一張幻燈片。在被試閱讀并作答時使用眼動跟蹤儀記錄受試者眼動數(shù)據(jù)，實(shí)驗(yàn)數(shù)據(jù)采集使用SciEye系列TM300設(shè)備，通過SciOne開放API接口進(jìn)行原始數(shù)據(jù)處理。

圖3 實(shí)驗(yàn)流程圖

1.2.3 數(shù)據(jù)分析 針對單個丟失數(shù)據(jù)采用上下取平均值法進(jìn)行補(bǔ)充，并剔除視線跟蹤率低于80%的眼動數(shù)據(jù)、眼動數(shù)據(jù)丟失超過10張幻燈片的被試以及眼動數(shù)據(jù)丟失超過10名被試的幻燈片。最終，我們獲得了19名抑郁障礙高危個體和篩選19名正常人在59張幻燈片刺激下的眼動數(shù)據(jù)。

基于上述方法獲得的有效數(shù)據(jù)，我們對數(shù)據(jù)的表征特征和視線跟蹤時-空相似度進(jìn)行了評估。分別運(yùn)用NW算法、基于語義信息劃分AOI的NW_Semantic算法、基于語義信息改進(jìn)后的NW_Semantic2.0算法，以及SM算法、基于語義信息劃分AOI的SM_Semantic算法、基于語義信息改進(jìn)后的SM_Semantic2.0算法計算兩兩被試間的視線跟蹤時-空相似度，并依據(jù)相似矩陣得分對被試進(jìn)行最近鄰分類，識別正常人和抑郁障礙高危人群。選取精確率(accuracy，ACC)、查準(zhǔn)率(precision，P)、查全率(recall，R)和F1分?jǐn)?shù)作為評估指標(biāo)進(jìn)行上述四類算法結(jié)果比較，如公式(2)～(5)。

(2)

(3)

(4)

(5)

其中TP表示實(shí)際為真、預(yù)測為真的樣本數(shù)量；FN表示實(shí)際為真、預(yù)測為假的樣本數(shù)量；FP表示實(shí)際為假、預(yù)測為真的樣本數(shù)量；TN表示實(shí)際為假、預(yù)測為假的樣本數(shù)量。

2 結(jié)果

為探究抑郁高危人群與正常人在相同語義信息刺激下的眼動差異，我們對AOI劃分各異以及算法改進(jìn)前后的視線跟蹤時-空相似度算法進(jìn)行了評估。由于兩類被試的數(shù)目相等，設(shè)機(jī)會水平值為50.00%。表1顯示了六類計算模型調(diào)至最優(yōu)參后在眼動數(shù)據(jù)集上的分類性能，其分類ACC均高于50.00%，最高ACC為80.13%，F(xiàn)1分?jǐn)?shù)為83.41%。足以說明應(yīng)用視線跟蹤時-空相似度比較算法檢測抑郁障礙高危人群的可行性。與此同時，無論是NW算法還是SM算法，其基于語義信息分割A(yù)OI所建立的計算模型的分類性能均略有提升。而基于語義信息改進(jìn)后的NW_Semantic2.0算法和SM_semantic2.0算法較改進(jìn)前提高了近5%左右的分類ACC。這說明基于語義信息改進(jìn)后的NW算法和SM算法可以更好地識別抑郁障礙高危人群的眼動特征。

表1 六類算法的篩查性能比較 (%)

圖4的混淆矩陣顯示了更詳細(xì)的分類信息，在六類計算模型中，抑郁障礙高危人群在每道題上的分類ACC均很高，而正常人的分類則存在錯誤。并且單道題的平均檢測結(jié)果存在很高的假陽性，與表1中的高召回率相對應(yīng)，該結(jié)果有利于開展抑郁障礙高危人群臨床診斷前的初篩工作。

圖4 單個刺激條目下被試的分類混淆矩陣

以一個條目的眼動數(shù)據(jù)篩查正常人和抑郁障礙高危人群存在極大的不確定性，在某些條目上兩類人群的眼動數(shù)據(jù)存在顯著差異，篩查效果較好，而在一些沒有區(qū)分度的條目上，篩查效果不理想。本實(shí)驗(yàn)總共有62個條目，每位受試者在每個條目上都有一個預(yù)測標(biāo)簽，我們將標(biāo)簽數(shù)量最多的類別作為受試者的預(yù)測標(biāo)簽，進(jìn)行降維處理(表2、圖4)，這樣可以發(fā)揮整套量表的作用，提高篩查的穩(wěn)定性。

表2 降維后六類算法的篩查性能比較 (%)

經(jīng)降維處理，NW和SM計算模型的ACC沒有較大變化，而NW_Semantic、SM_Semantic和NW_Semantic2.0、SM_Semantic2.0四類計算模型檢測的ACC分別提升了10.52%、15.79%和18.42%、23.69%。其中，SM_Semantic2.0算法檢測的ACC最高，為97.37%，比SM算法檢測的ACC高出23.69%，38人中僅1人檢測錯誤(圖5)。為探究降維處理對檢測結(jié)果造成影響的內(nèi)部原因，我們針對SM_Semantic2.0算法的分類結(jié)果，對分類ACC高于平均值和低于平均值的條目內(nèi)容及正常人和抑郁障礙高危人群在該條目上的眼動掃描軌跡進(jìn)行了比較。我們發(fā)現(xiàn)大部分分類ACC高于平均值的條目在其內(nèi)容結(jié)構(gòu)上均存在較為明顯的關(guān)鍵性語義詞，該類詞匯奠定了條目的情感色彩和情景內(nèi)容。正常人會在關(guān)鍵性語義詞匯上注視較長時間，而抑郁障礙高危人群則容易在關(guān)鍵性語義詞匯附近發(fā)生回視行為，但是這一眼動差異并不具有絕對性，只發(fā)生在部分條目。

圖5 降維處理后被試的分類混淆矩陣

3 討論

心理醫(yī)生通過心理測量量表對受試者進(jìn)行心理評估，從而得出被試者的心理狀態(tài)，這個過程依賴于受試者的答題結(jié)果，心理醫(yī)生需要對受試者的答題成績給出相應(yīng)的分?jǐn)?shù)，通過分?jǐn)?shù)的高低來判定受試者在當(dāng)前心理維度是否健康。在這個過程中，受試者的誠實(shí)度和心理醫(yī)生的專業(yè)素養(yǎng)都會對結(jié)果產(chǎn)生一定的影響。我們希望通過一種客觀的方法消除這種影響，同時保留通過讓受試答題來進(jìn)行評估這種方式。因此，本文將自評量表評估與眼動數(shù)據(jù)分析相結(jié)合，通過采集受試者在答題時的眼動數(shù)據(jù)，利用計算機(jī)對眼動數(shù)據(jù)進(jìn)行分析，來評估受試者的健康情況。利用本文的方法輔助心理醫(yī)生進(jìn)行心理測量，讓二者的評估結(jié)果進(jìn)行相互印證，可以極大程度地消除由于主觀性帶來的影響。

在本實(shí)驗(yàn)中，所有方法的正確率均高于機(jī)會水平50%，表明不同人群在進(jìn)行心理測驗(yàn)時，眼動模式存在顯著的差異性，利用這種差異性可以分類不同的人群，測試受試者是否心理健康。NW算法通過網(wǎng)格化的方法對眼動數(shù)據(jù)進(jìn)行字符化，然后對字符串進(jìn)行全局序列比對。不同的字符代表不同的區(qū)域，字符比對的過程就是區(qū)域比對的過程，NW算法實(shí)際上是比較眼動數(shù)據(jù)在位置上的差異性。SM算法通過等頻分箱的方法對眼動數(shù)據(jù)進(jìn)行字符化，然后利用滑動窗口獲取子序列以及子序列的頻率，通過比較子序列的頻率差異來分析眼動數(shù)據(jù)。這種方法探索的是受試者在答題時的注視轉(zhuǎn)移情況。兩種方法的分類ACC為76.32%和73.68%，說明受試者在這兩個不同角度均存在眼動模式差異。本文在NW算法和SM算法基礎(chǔ)上進(jìn)行改進(jìn)，提出了NW_Semantic、SM_Semantic和NW_Semantic2.0、SM_Semantic2.0四種算法。NW_Semantic和SM_Semantic在NW和SM的基礎(chǔ)上改進(jìn)了AOI的劃分方法，將原有的AOI劃分方法替換為基于語義信息的AOI劃分方法，實(shí)驗(yàn)結(jié)果表明，在ACC上分別提高了10.52%、15.79%，證明了基于語義信息劃分AOI的有效性。NW_Semantic2.0在改進(jìn)AOI劃分的基礎(chǔ)上進(jìn)行了AOI的二次劃分，加入了對題目區(qū)域、背景區(qū)域、選項(xiàng)區(qū)域的考慮，在歐式距離的基礎(chǔ)上添加額外距離，加大三者之間的區(qū)分度。SM_Semantic2.0在改進(jìn)AOI劃分的基礎(chǔ)上對SM算法原有的歸一化方法進(jìn)行了改進(jìn)，消除了由于字符串長度帶來的影響。二者相比原算法在ACC上分別提高了18.42%和23.69%。

此外，針對具體的眼動掃描模式差異，我們發(fā)現(xiàn)正常人停留在關(guān)鍵性語義詞上的平均注視時間比抑郁障礙高危人群的更長，并且正常人在回答問題時較少出現(xiàn)回視的眼動模式，具備更好的信息處理能力或記憶力，進(jìn)一步證明了本文提出的對量表進(jìn)行語義字符化的合理性。在今后的科研工作中，我們將進(jìn)一步擴(kuò)充數(shù)據(jù)集，探究此方法在心理測量其他方面如自閉癥檢測、職業(yè)評估等的表現(xiàn)。