大腦信息獲取與信息加工的狀態(tài)識別

周 宇，栗 覓，呂勝富

（1.北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院，北京100124；2.遼寧石油化工大學(xué) 計算機與通信工程學(xué)院，遼寧 撫順113001；3.磁共振成像腦信息學(xué)北京市重點實驗室，北京100053）

0 引 言

大腦狀態(tài)識別研究領(lǐng)域中，關(guān)于情感模型［1］、人臉表情識別［2，3］、語音信號情感識別［4－6］、情感仿生代理［7］等情感識別的研究較多，而涉及人類工作狀態(tài)識別的研究較少。信息獲取和信息加工狀態(tài)屬于工作狀態(tài)中的2種基本腦功能狀態(tài)，研究其識別問題對工作狀態(tài)識別的研究具有一定幫助。

先前研究表明，不同的眼球運動狀態(tài)表示人們在閱讀時不同的視覺行為，這種不同的視覺行為反映了大腦處于不同的工作狀態(tài)或思維狀態(tài)［8－11］。人腦在信息加工時，首先從外界獲取信息，然后進行信息整合處理。由于在獲取外部視覺信息和整合加工信息時的腦工作狀態(tài)不同，對應(yīng)的眼動模式或許存在差異。統(tǒng)計圖是人們?nèi)粘Ｉ钍种匾男畔⑤d體，統(tǒng)計圖閱讀過程中涉及多種大腦信息處理過程，其中最基本的信息處理包括信息獲取 （值的提?。┖托畔⒓庸?（關(guān)系比較）。本文研究基于眼動信號對以上2種信息處理過程進行識別的方法。通過分析信息獲取和信息加工的眼動模式和瞳孔直徑、眼跳距離、注視次數(shù)等眼動數(shù)據(jù)，使用SVM 分類器研究這2種信息處理過程的大腦狀態(tài)識別問題。

1 眼動數(shù)據(jù)的獲取

1.1 實驗材料

我們使用柱狀統(tǒng)計圖作為研究對象，分析和識別人們在閱讀統(tǒng)計圖時的信息獲取和信息整合的眼動模式以及對應(yīng)的大腦狀態(tài)。統(tǒng)計圖的理解過程中，主要包括2個基本的信息處理過程：①信息獲取，即從統(tǒng)計圖中提取統(tǒng)計信息，也稱為值提取，其過程為：從統(tǒng)計圖中的橫軸獲得項目名稱，從縱軸中獲得對應(yīng)的統(tǒng)計值信息；②信息加工，即按照統(tǒng)計值的大小比較各個統(tǒng)計項目的大小，也稱為關(guān)系比較。在一個統(tǒng)計圖的理解過程中，這2個信息處理過程是交叉的，為了分析和識別值提取和關(guān)系比較的眼動模式的差異，我們分別設(shè)計了值提取和關(guān)系比較的統(tǒng)計圖材料，如圖1所示。值提取統(tǒng)計圖中只有一個項目，被試在閱讀的時候能夠迅速獲取該項目的值；關(guān)系比較統(tǒng)計圖中有2個項目，被試在閱讀的時候能夠迅速比較出兩者之間的關(guān)系。在每張統(tǒng)計圖中，選用26個大寫英文字母作為統(tǒng)計圖中的項目名。每類圖片的數(shù)量為120 張，所有圖片的灰度、分辨率均相同，圖片尺寸均為300×300像素。

圖1 實驗中的材料實例

1.2 眼動數(shù)據(jù)獲取方法

24名大學(xué)生和研究生 （其中10 名女性，14 名男性，年齡25±2 歲）參加了本實驗。所有參加者均為右利手，視力正?；蛐Ｕ笳?。本研究使用的設(shè)備是Tobii T120眼動儀，眼動信號的采樣頻率為120 Hz。實驗材料呈現(xiàn)在分辨率為1024×768像素的17寸顯示器上，刷新頻率為60 Hz。參加者與屏幕之間的距離約為60 ms。實驗過程為：首先呈現(xiàn)一張圖片，1s后消失。然后，呈視另一張圖片，要求被試判斷該圖片信息與前一張是否一致。判斷結(jié)束后，呈視2s的黑屏，隨后進行下一個任務(wù)。2類任務(wù)是有區(qū)別的，對于統(tǒng)計圖值提取任務(wù)，要求判斷二者所表達的統(tǒng)計信息是否相同；對于關(guān)系比較任務(wù)，要求判斷二者的大小關(guān)系是否一致。眼動儀將全程記錄眼睛的注視位置及其它眼動信息。

1.3 值提取與關(guān)系比較的眼動模式

3名參加者的數(shù)據(jù)記錄由于不完整而被剔除，因此，本研究使用了21 名參加者的數(shù)據(jù)。每名參加者共觀看了240張圖片，共采集到5040個注視任務(wù)的眼動數(shù)據(jù)，其中值提取任務(wù)和關(guān)系比較任務(wù)各占一半。剔除了極端數(shù)據(jù)（超過3倍標(biāo)準(zhǔn)差的數(shù)據(jù)，共剔除了9%）后，使用4585個任務(wù)的數(shù)據(jù) （其中2280個值提取任務(wù)，2305個關(guān)系比較任務(wù)）進行分析。圖2給出了實驗所記錄的值提取和關(guān)系比較任務(wù)的注視位置分布 （21名參試者）。

圖2 眼動模式

圖2中的輪廓線表明了注視點的主要分布范圍。通過觀察可知，值提取任務(wù)的注視點主要分布在柱狀圖、橫軸和坐標(biāo)軸的縱軸上 （如圖2 （a）所示），而關(guān)系比較任務(wù)的注視點主要分布在柱狀圖和橫軸上 （如圖2 （b）所示）。2類任務(wù)注視點分布情況表明，值提取和關(guān)系比較2種信息處理過程具有不同的眼動模式。

2 特征提取與分類

2.1 特征提取

由實驗采集的眼動數(shù)據(jù)可以獲取多種眼動特征，其中較為常用的有瞳孔直徑 （pupil diameter，PD）、眼跳距離（saccade distance，SD）、注視時間 （fixation count，F(xiàn)D）、注視次數(shù) （fixation count，F(xiàn)C）。以瞳孔直徑度量的瞳孔大小的變化能夠客觀的反應(yīng)心理活動，如心理負荷，以及情感。在注視過程中，眼睛并非靜止不動的，需要在感興趣的區(qū)域之間持續(xù)移動來獲取或加工信息。每次跳轉(zhuǎn)的距離定義為眼跳距離。在2次眼跳之間，眼睛會處于相對靜止，即產(chǎn)生了注視點。注視次數(shù)是對注視點個數(shù)的統(tǒng)計。注視時間為眼睛駐留在各個注視點的時間。

我們可以使用眼動裝置獲得人們在閱讀一幅統(tǒng)計圖的過程中各個注視點信息，包括每個注視點的注視點位置、瞳孔直徑、注視時間。根據(jù)這些注視點信息可以區(qū)分不同的信息加工過程。特征提取是模式識別的首要工作，我們使用了整體特征提取和局部特征提取2種方法。整體特征提取是把整個統(tǒng)計圖作為研究對象，統(tǒng)計注視點特征值；局部特征提取是把統(tǒng)計圖按照值提取和關(guān)系比較的眼動模式的差異劃分為不同的區(qū)域，統(tǒng)計各個區(qū)域的注視點特征值。局部特征提取在機器視覺等領(lǐng)域有著廣泛的應(yīng)用［12－14］，其主要目的是選擇不同模式下差異最大區(qū)域的特征作為分類的依據(jù)，因此特征提取區(qū)域的選擇將十分關(guān)鍵。在本研究中，區(qū)域的界限是通過觀察不同信息加工模式下注視點的分布特性來決定的。在值提取過程中，注視點主要分布在中間和左側(cè)的坐標(biāo)軸上，而在關(guān)系比較過程中，注視點主要分布在中間區(qū)域。因此選擇左側(cè)坐標(biāo)軸作為局部特征提取的區(qū)域 （如圖3所示）。局部特征提取時會出現(xiàn)眼跳距離特征無法獲取的情況，因為連續(xù)2個注視點可能分別處于區(qū)域的內(nèi)部和外部，因此在局部特征提取時不使用眼跳距離特征。由于注視點分布不同，2 種信息處理模式下在左側(cè)坐標(biāo)軸區(qū)域的注視時間會產(chǎn)生差異。因此。本研究所使用的特征值包括整體的平均瞳孔直徑、平均眼跳距離以及注視次數(shù)，局部區(qū)域的 （左側(cè)坐標(biāo)軸區(qū)域）平均瞳孔直徑、注視時間以及注視次數(shù)。

2.2 統(tǒng)計分析

圖3 局部特征提取區(qū)域的劃分

首先對2種信息處理產(chǎn)生的眼動特征進行統(tǒng)計分析，比較其差異性。表1給出了整體特征統(tǒng)計分析的結(jié)果。表1可以看出，值提取過程中的平均瞳孔直徑顯著大于關(guān)系比較時的平均瞳孔直徑 （p＜0.05）；值提取過程中的平均眼跳距離顯著大于關(guān)系比較時的平均眼跳距離 （p＜0.000）；而注視次數(shù)并無顯著差異 （p＝0.89）。

表1 值提取和關(guān)系比較整體眼動特征的統(tǒng)計分析結(jié)果

表2給出了局部特征統(tǒng)計分析的結(jié)果。其中，值提取過程中的平均瞳孔直徑顯著大于關(guān)系比較時的平均瞳孔直徑 （p＜0.001）；值提取過程中的注視時間顯著大于關(guān)系比較時的注視時間 （p＜0.001）；值提取過程中的注視點分布顯著多于關(guān)系比較 （p＜0.001）。結(jié)合表1的結(jié)果進行對比可知，局部獲取的特征差異性更加顯著。綜合上述分析，統(tǒng)計圖閱讀中的值提取和關(guān)系比較過程具有不同的眼動模式，為給統(tǒng)計圖理解過程中的2種不同的信息處理模式的腦狀態(tài)分類提供了依據(jù)。

表2 值提取和關(guān)系比較局部眼動特征的統(tǒng)計分析結(jié)果

2.3 分類結(jié)果

我們使用基于RBF 核函數(shù)的SVM 對眼動特征進行分類，識別統(tǒng)計圖閱讀時大腦值提取和關(guān)系比較時的狀態(tài)差異?；诟鱾€特征的分類結(jié)果如圖4所示。使用整體特征進行分類時 （如圖4 （a）所示），識別率過低。使用局部特征的分類結(jié)果相比整體特征有了顯著提高，其中基于瞳孔直徑的分類正確率由57.59%提升至68.32%，基于注視次數(shù)的分類正確率由53.83%提升至84.75%，使用注視時間的分類正確率達到了86.55% （如圖4 （b）所示）。

圖4 基于單個特征的分類正確率

基于多種特征的分類相比單特征的分類具有多種優(yōu)勢，如對噪音更加穩(wěn)定，可以解決非普遍性問題，并可以提高匹配正確率。這里，我們分別把局部的3個特征 （瞳孔直徑、注視時間和注視次數(shù)）進行組合分類 （3特征組合，3－combined），以及把分類正確率較高的注視時間和注視次數(shù)特征進行組合分類 （2 特征組合，2－combined）。分類結(jié)果如圖5所示，無論是3特征組合還是2特征組合，其分類正確率都高于單個特征的分類正確率。2 特征組合的分類正確率 （89.05%）相比于3 特征組合的分類正確率（89.69%）略低一點，加入瞳孔直徑后對識別率的提高效果十分有限，這說明在使用組合特征進行分類時，選擇單特征識別性能較好的特征較為關(guān)鍵。那么在實際應(yīng)用過程中，應(yīng)考慮具體的用途選用分類特征，如果識別系統(tǒng)追求速度，那么使用2特征實現(xiàn)分類較為合適；但是在對識別準(zhǔn)確率要求較高的場合中，選擇3特征進行分類較為合適。

圖5 基于組合特征的分類正確率

3 結(jié)束語

本文研究結(jié)果表明，信息獲取與信息加工2種腦功能狀態(tài)具有不同的眼動模式。信息獲取時需要進行全局搜索，注視點的分布呈現(xiàn)出發(fā)散性，而信息加工時往往僅針對局部信息，注視點的分布較為集中?；谘蹌幽Ｊ降牟町悾嬎銠C能夠通過眼動信號識別人類在閱讀時處于信息獲取狀態(tài)還是信息加工狀態(tài)，計算機實現(xiàn)復(fù)雜的腦功能狀態(tài)識別能夠提供更加智能化的人機交互應(yīng)用。

［1］Karpouzis K，Caridakis G，Kessous L，et al.Modeling naturalistic affective states via facial，vocal and bodily expressions recognition ［M］.Artifical Intelligence for Human Computing.Berlin：Springer Berlin Heidelberg，2007：91－112.

［2］Xiao R，Zhao Q，Zhang D，et al.Facial expression recognition on multiple manifolds［J］.Pattern Recognition，2011，44（1）：107－116.

［3］Shan C，Gong S，McOwan PW.Facial expression recognition based on local binary patterns：A comprehensive study ［J］.Image and Vision Computing，2009，27 （6）：803－816.

［4］Schuller B，Batliner A，Steidl S，et al.Recognising realistic emotions and affect in speech：State of the art and lessons learnt from the first challenge ［J］.Speech Communication，2011，53 （9）：1062－1087.

［5］Batliner A，Steidl S，Schuller B，et al.Whodunnit－searching for the most important feature types signalling emotion－related user states in speech ［J］.Computer Speech ＆ Language，2011，25 （1）：4－28.

［6］Wu D，Parsons TD，Mower E，et al.Speech emotion estimation in 3Dspace［C］／／IEEE International Conference on Multimedia and Expo.IEEE，2010：737－742.

［7］Becker－Asano C，Wachsmuth I.Affective computing with primary and secondary emotions in a virtual human ［J］.Autonomous Agents and Multi－Agent Systems，2010，20 （1）：32－49.

［8］Rantanen V，Vanhala T，Tuisku O，et al.A wearable，wireless gaze tracker with integrated selection command source for human－computer interaction ［J］.IEEE Transactions on Information Technology in Biomedicine，2011，15 （5）：795－801.

［9］Bulling A，Ward JA，Gellersen H，et al.Eye movement analysis for activity recognition using electrooculography ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （4）：741－753.

［10］LI Mi，ZHONG Ning，LV Shengfu.A study about the characteristics of visual search on Web pages ［J］.Journal of Frontiers of Computer Science and Technology，2009，3 （6）：649－655 （in Chinese）. ［栗覓，鐘寧，呂勝富.Web頁面信息的視覺搜索行為特征的研究 ［J］.計算機科學(xué)與探索，2009，3 （6）：649－655.］

［11］LI Mi，ZHONG Ning，LV Shengfu.Exploring visual search and browsing strategies on Web pages using the eye－tracking［J］.Journal of Beijing University of Technology，2011，37（5）：773－779 （in Chinese）.［栗覓，鐘寧，呂勝富.Web頁面視覺搜索與瀏覽策略的眼動研究 ［J］.北京工業(yè)大學(xué)學(xué)報，2011，37 （5）：773－779.］

［10］Huang C，Liu Q，Yu S.Regions of interest extraction from color image based on visual saliency ［J］.The Journal of Supercomputing，2011，58 （1）：20－33.

［11］Tan X，Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions［J］.IEEE Transactions on Image Processing，2010，19 （6）：1635－1650.

［12］Gao S，Tsang IW，Chia LT，et al.Local features are not lonely－Laplacian sparse coding for image classification ［C］／／IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2010：3555－3561.