心理認(rèn)知計算的研究現(xiàn)狀及發(fā)展趨勢

王志良 鄭思儀 王先梅 王巍

1 引言

心理理論（theory of mind）是Premack和Woodruff在1978年研究黑猩猩的認(rèn)知能力時首先提出的一個概念，是指了解自己和他人的愿望、信念、意圖等心理狀態(tài)并據(jù)此推斷他人行為的能力。在社會化過程中，心理理論能夠預(yù)測他人情感和認(rèn)知狀態(tài)、操作與控制日常的社會環(huán)境，有助于我們與他人合作、競爭、開展良好的人際交往，為人的生活和發(fā)展所必需。

人機(jī)交互技術(shù)（human computer interaction，HCI）是研究人、計算機(jī)以及它們之間相互影響的技術(shù)，是人與計算機(jī)之間傳遞交換信息的媒介和對話接口。以人為中心、自然高效將是新一代人機(jī)交互的主要目標(biāo)。當(dāng)前人機(jī)交互技術(shù)大部分僅局限于被動地接受用戶的指令和控制，不能主動地理解用戶的目的或意圖，無法推斷用戶的心理狀態(tài)，缺乏感知和引導(dǎo)的能力。就像Matthew Turk在文獻(xiàn)中提到，計算機(jī)只能一直等待用戶的輸入，盡管用戶當(dāng)前已經(jīng)離開或者中途被打斷去做其他事。當(dāng)用戶對某項任務(wù)已經(jīng)十分厭煩甚至接近崩潰邊緣時，計算機(jī)都無法知曉，仍在進(jìn)行不停的運算。因此，要想使計算機(jī)走進(jìn)人的世界，就必須賦予計算機(jī)擁有像人一樣的心理認(rèn)知能力，能夠根據(jù)人的行為舉止對其心理狀態(tài)進(jìn)行合理推斷，理解人的行為和意圖，從而保證高效、自然、和諧的人機(jī)交互。

2 心理認(rèn)知計算的相關(guān)概念

2.1 心理狀態(tài)

現(xiàn)代心理學(xué)研究中，把心理現(xiàn)象劃分為心理過程、個性心理特征和心理狀態(tài)。心理狀態(tài)是指心理活動在一定時間內(nèi)的完整特征，是心理活動的基本形式之一。如注意、疲勞、緊張、輕松、憂傷、喜悅等。它兼有心理過程和個性心理特征的特點，既有暫時性，又具有穩(wěn)定性，是心理過程和個性心理特征聯(lián)結(jié)的中介環(huán)節(jié)。心理狀態(tài)的表現(xiàn)是多方面的，它可以表現(xiàn)在知、情、意的任何一個方面。研究、考察人的心理狀態(tài)，不僅要描述其表現(xiàn)形態(tài)，而且要把握其具體成因，這樣才有應(yīng)用價值。

2.2 心理狀態(tài)理解

心理狀態(tài)理解（mind-reading），也稱心理狀態(tài)分析或精神狀態(tài)分析，它源自于心理學(xué)中的一個術(shù)語，是指一種能推斷出他人心理狀態(tài)或精神狀態(tài)的能力。在日常生活中，心理狀態(tài)理解可以認(rèn)為是一種“看似能辨別或有能力辨別他人的想法”或“憑直覺去猜測或了解他人的想法”的行為。Baron-Cohen和Realo等從科學(xué)的角度闡述了心理狀態(tài)理解這一概念：即一個人能夠從非語言手段及可觀察到的行為動作中推斷出他人的心理狀態(tài)。

心理狀態(tài)理解是人際交往中人的一項基本心智活動，其目的是通過觀察交往對方的行為舉止推測其心理狀態(tài)，理解其交互的意圖，并以此指導(dǎo)、調(diào)整自己的行動以及預(yù)測對方可能采取的決策。心理狀態(tài)理解能夠讓我們從交流中判斷對方的意圖，在談話中了解對方的興趣，通過領(lǐng)會對方的心理狀態(tài)來改變其想法和行動。人類的心理狀態(tài)理解能力從童年時期就開始出現(xiàn)并發(fā)展，18～30個月的嬰兒所能表現(xiàn)出的心理狀態(tài)包括情感、愿望、信任、思考、夢想和偽裝。5歲的時候，很多兒童就可以感知并理解他人的心理狀態(tài)，并用其去推測這些人的行為動作。雖然在日常生活中，心理狀態(tài)理解似給人以微妙和難以捉摸的感覺，但它是人類實現(xiàn)社會功能的基礎(chǔ)，是體現(xiàn)人類社會智能的重要組成部分。

心理狀態(tài)理解機(jī)制主要涉及到兩個部分：社會感知部分和社會認(rèn)知部分。它們產(chǎn)生于人腦的不同區(qū)域，發(fā)展于不同的年齡階段，也會因不同的種族人群產(chǎn)生差異。社會感知部分主要是通過即時觀察到的可利用信息來判斷當(dāng)時的心理狀態(tài)。例如，可以根據(jù)一個人的面部表情，或加之語音語調(diào)等因素，判斷他此刻正處于“困惑”的心理狀態(tài)，這屬于對外部刺激自下而上的（bottom-up）處理方法。社會認(rèn)知部分主要是對人的心理狀態(tài)的合理推測，包括對目的的解釋和行為的預(yù)測。它涉及到更多的認(rèn)知能力，即對抽象模型自上而下（top-down）的處理方法，描述的是人的行為與其相對應(yīng)的心理狀態(tài)之間的映射關(guān)系。

當(dāng)然，面向心理狀態(tài)理解的社會感知和社會認(rèn)知本質(zhì)上都屬于不確定性問題，所以不可能百分之百地確定人的心理狀態(tài)。顯然，心理狀態(tài)不可能被直接觀察到，而是要通過觀察人的外在行為、環(huán)境因素、上下文場景等前后信息進(jìn)行推測。從人機(jī)交互角度來講，心理狀態(tài)理解就是讓計算機(jī)對用戶的心理狀態(tài)具有認(rèn)知能力，它的輸入應(yīng)該為一系列觀察值，如視覺信號、聽覺信號、觸覺刺激、環(huán)境因素等，輸出則是一系列相關(guān)的心理狀態(tài)。傳統(tǒng)的表情識別和基本情感的識別，只是讓計算機(jī)具有相對簡單的模式識別和分類的能力，但不具備推理和判斷的能力。而心理狀態(tài)理解在識別和分類的基礎(chǔ)上，綜合人的情感及其它非語言細(xì)節(jié)因素，對人的意圖、興趣、注意和思維等進(jìn)行了推理和判斷，它對獲取的信息進(jìn)行重新編碼、存儲、提取，按照一定的規(guī)則進(jìn)行重新組合，再根據(jù)不同組合所代表的意義和持續(xù)的時間，推斷出不同的心理狀態(tài)。

2.3 認(rèn)知計算

“認(rèn)知”源自于心理學(xué)的概念，《辭海》將“認(rèn)知”解釋為人類認(rèn)識客觀事物、獲得知識的活動，包括知覺、記憶、學(xué)習(xí)、言語、思維和問題解決等過程，是人對外界信息進(jìn)行積極加工的過程。認(rèn)知的構(gòu)成信息其實是“誰、什么、哪里、何時、怎樣”這幾個問題的答案?！坝嬎恪笔菍λ蓄愋托畔⑻幚淼慕y(tǒng)稱。根據(jù) Smith的分析，目前對“計算”至少存在 6種不盡相同的解釋，而在認(rèn)知科學(xué)中主要表現(xiàn)為3種：形式符號操作、圖靈意義上的可計算和信息加工過程。

認(rèn)知計算源自于模擬人腦的計算機(jī)系統(tǒng)的人工智能。20世紀(jì) 90年代后，研究人員開始用“認(rèn)知計算”一詞，以表明該學(xué)科用于教計算機(jī)像人腦一樣思考，而不只是開發(fā)一種人工系統(tǒng)。傳統(tǒng)的計算技術(shù)是定量的，著重于精度和序列等級，而認(rèn)知計算則試圖解決生物系統(tǒng)中的不精確、不確定性問題。

認(rèn)知計算是一種自上而下的、全局性的統(tǒng)一理論研究，旨在解釋觀察到的認(rèn)知現(xiàn)象（思維），符合已知的自下而上的神經(jīng)生物學(xué)事實（腦），可以進(jìn)行計算，也可以用數(shù)學(xué)原理解釋。它尋求一種符合已知的有著腦神經(jīng)生物學(xué)基礎(chǔ)的計算機(jī)科學(xué)類的軟、硬件元件，并用于處理感知、記憶、語言、智力和意識等心智過程。哈佛大學(xué)的 Valiant認(rèn)為，與其他方法相比，認(rèn)知計算主要有以下3個特點：1）所有存儲、學(xué)習(xí)或記憶都是用先前獲取的信息通過承載網(wǎng)絡(luò)執(zhí)行的簡單算法過程；2）系統(tǒng)把持續(xù)學(xué)習(xí)作為后臺活動；3）在更加復(fù)雜的認(rèn)知處理中，如分析復(fù)雜情景或推理時，內(nèi)部計算擁有一個重要的時間域和需要保持的狀態(tài)信息。在人機(jī)交互領(lǐng)域，認(rèn)知計算與人工智能所關(guān)注的重點存在著一些差別。人工智能重在研制一種能夠?qū)崿F(xiàn)人類認(rèn)知功能的人工機(jī)器，而認(rèn)知計算則重在研究可以模擬人類認(rèn)知功能的計算原理和方法。

3 心理認(rèn)知計算的研究現(xiàn)狀

心理認(rèn)知是非常復(fù)雜的過程，通常包括感覺、知覺、學(xué)習(xí)、記憶、注意、思維和語言等許多心理過程。1978年，Premack和Woodruff觀察成年黑猩猩推測人物心理狀態(tài)的實驗，其結(jié)果揭示黑猩猩具有簡單的心理推測能力，并由此提出“心理理論”的概念，激發(fā)大家在研究心理認(rèn)知方面興趣。此后這方面的相關(guān)理論、方法和實驗結(jié)果就不斷在心理學(xué)文獻(xiàn)上出現(xiàn)。以下從3個方面對近年來國內(nèi)外心理認(rèn)知計算的研究現(xiàn)狀進(jìn)行總結(jié)。

3.1 心理認(rèn)知的神經(jīng)生物學(xué)研究

神經(jīng)系統(tǒng)是人體重要系統(tǒng)之一，包括中樞神經(jīng)系統(tǒng)和周圍神經(jīng)系統(tǒng)，其中腦和脊髓合稱中樞神經(jīng)系統(tǒng)。腦本身也是一個復(fù)雜的系統(tǒng)，大量的神經(jīng)生物學(xué)、實驗心理學(xué)和功能成像實驗給出腦活動的許多知識，表明腦是心理活動的物質(zhì)基礎(chǔ)。心理和腦構(gòu)成統(tǒng)一的系統(tǒng)，在心腦統(tǒng)一體中，心理并不是實體，而是腦的功能。

Luria等通過對腦損傷病人的臨床觀察和康復(fù)訓(xùn)練得到如下認(rèn)識：腦一定部位的損傷會引起一定的心理功能障礙，但腦的某一種功能并非僅和腦的某一部位相聯(lián)系，在腦的各個部分之間存在緊密聯(lián)系。Zeki等通過大量神經(jīng)解剖學(xué)和神經(jīng)心理學(xué)的實驗表明，人腦由大量的腦功能子系統(tǒng)組成，部分腦功能子系統(tǒng)可以相對獨立地進(jìn)行信息加工。

各種無損傷腦成像技術(shù)的迅速發(fā)展提供腦活動的許多實驗資料。實驗表明，腦內(nèi)存在許多功能分離而又相互協(xié)同工作的腦區(qū)，人在進(jìn)行不同的心理活動時，腦內(nèi)有不同的腦區(qū)被激活。Gallagher等利用功能磁共振成像（functional magnetic resonance imaging，fMRI）技術(shù)揭開心理認(rèn)知的神經(jīng)生物學(xué)基礎(chǔ)。

事件相關(guān)電位（event-related potential，ERP）是腦波的一種，經(jīng)由將記錄到腦電圖（electroencephalography，EEG）的腦部原始生理信號進(jìn)行再分析處理而得，與主動心理活動伴隨產(chǎn)生的神經(jīng)電信號通常有P300、N400和N200波等。其中，P300波已被公認(rèn)為研究人的認(rèn)知活動和判斷人的認(rèn)知能力的有用指標(biāo)。Woldorff等采用聽覺刺激進(jìn)行的一項研究發(fā)現(xiàn)，在刺激呈現(xiàn)大約20～50 ms后，針對目標(biāo)刺激的事件相關(guān)電位明顯大于針對非目標(biāo)刺激的事件相關(guān)電位。

Raichle介紹了認(rèn)知神經(jīng)科學(xué)家用來研究認(rèn)知過程的正電子發(fā)射層析攝影掃描技術(shù)（positron emission tomography，PET），這是一種基于減法邏輯的方法，可觀察由純實驗條件所引起的腦興奮區(qū)域和興奮水平。PET曾多次被用來研究情景記憶（episodic memory），當(dāng)被試者提取情景記憶時，右前額葉顯示較其他記憶提取時更高的興奮水平。

Anderson等運用磁共振成像（MRI）和腦磁圖（magnetoencephalograghy，MEG）技術(shù)研究視覺皮質(zhì)V5區(qū)的工作特點。他們采用MEG技術(shù)研究發(fā)現(xiàn)V5區(qū)對運動—對比模式（motion-contrast pattern）反應(yīng)更為強(qiáng)烈而對顏色卻沒有什么反應(yīng)。根據(jù)這一結(jié)果并結(jié)合以前通過PET和 fMRI獲得的證據(jù)作出結(jié)論：V5區(qū)的主要功能是把運動目標(biāo)從其背景中迅速檢測出來。此外，他們還發(fā)現(xiàn)V5區(qū)是在V1區(qū)（初級視覺皮層）對運動-對比模式興奮大約20 ms后開始興奮。

LeDoux和Adolphs等揭示腦的部分區(qū)域與情感的高級處理階段有關(guān)。Purves等研究發(fā)現(xiàn)，與處理情感有關(guān)的腦區(qū)域是和決定下一步行為的腦組織結(jié)構(gòu)相互連接，相互影響的。這些發(fā)現(xiàn)強(qiáng)調(diào)情緒與認(rèn)知的相互影響，并引導(dǎo)人們對腦有新的認(rèn)識：人腦不再是一個單純的認(rèn)知信息處理系統(tǒng)，而是一個情緒與認(rèn)知相互綜合的系統(tǒng)。因此，一個準(zhǔn)確的用戶模型建立需要同時綜合情緒和認(rèn)知過程，這樣才能驅(qū)動用戶的推理和行為決策。

這些心理認(rèn)知的神經(jīng)生物學(xué)研究成果對我們了解高級社會認(rèn)知能力是如何在人腦中形成以及它在日常生活中所發(fā)揮的作用非常重要。同時，這些研究成果也是建立心理認(rèn)知計算模型的理論基礎(chǔ)。

3.2 心理情感狀態(tài)的相關(guān)研究

心理狀態(tài)主要包括情感狀態(tài)（如高興、悲傷、憤怒、恐懼、驚奇、厭惡等）、認(rèn)知狀態(tài)（如興趣、思考、贊同、否定、不確定等）和意志狀態(tài)（如克制、猶豫、鎮(zhèn)定等）3部分，它們相互作用、相互影響，組成復(fù)雜的心理感受，共同影響著我們的決策和行為。

對情感狀態(tài)的識別與分析，最早是受到美國麻省理工學(xué)院 Picard教授提出的“情感計算”（affective computing）的啟發(fā)。1997年，Picard教授出版了一本專著《Affective Computing》，認(rèn)為情感計算主要分為3個方面，即讓機(jī)器發(fā)自內(nèi)心地?fù)碛星楦序?qū)動力、讓機(jī)器表現(xiàn)得似乎擁有情感以及讓機(jī)器能夠識別理解人類的情感表現(xiàn)。20多年以來，在美國、日本、英國、德國、荷蘭、法國、印度和新加坡等國家都有專門進(jìn)行情感狀態(tài)識別的研究小組。美國MIT媒體實驗室已經(jīng)開發(fā)出數(shù)種用于測量心理信號的傳感器，如用于測量皮膚電信號的皮膚電反應(yīng)傳感器、血流脈沖傳感器、肌動電流圖傳感器、呼吸傳感器等。壓力感應(yīng)鼠標(biāo)和自動面部表情分析也作為非語音手段，對人類的情感狀態(tài)進(jìn)行識別。除此之外，還有一些基于用戶情感狀態(tài)做出反應(yīng)的實用性產(chǎn)品，例如，一系列關(guān)于情感學(xué)習(xí)（affective learning）的產(chǎn)品，陪伴輔導(dǎo)孩子的學(xué)習(xí)伙伴（affective companion），能檢測用戶心理受挫并調(diào)節(jié)用戶情緒的智能體，以及教育性游戲（educational game），遠(yuǎn)程醫(yī)療，社會服務(wù)機(jī)器人，康復(fù)治療技術(shù)和能與用戶交流對話的智能體。

在國內(nèi)，清華大學(xué)、中國科學(xué)院計算技術(shù)研究所和自動化研究所、北京航空航天大學(xué)、北京理工大學(xué)、北京科技大學(xué)等也分別從不同方面對情感狀態(tài)進(jìn)行了深入的研究。

中國科學(xué)院自動化研究所的黃力行等認(rèn)為語音和面部肌肉動作是用于情感識別的2個最重要的模態(tài)。在雙模態(tài)情感識別中，給不同的特征賦予不同的權(quán)值有利于充分利用雙模態(tài)信息。他們提出一種基于Boosting算法的雙模態(tài)信息融合方法，能夠自適應(yīng)地調(diào)整語音和人臉動作特征參數(shù)的權(quán)重，從而達(dá)到較好的識別效果，其基本情感狀態(tài)的識別率達(dá)84%以上。

哈爾濱工業(yè)大學(xué)的金輝和中國科學(xué)院的高文提出一種人臉面部混合表情識別系統(tǒng)。首先把臉部成各個表情特征區(qū)域，分別提取其運動特征，并按時序組成特征序列；然后分析不同特征區(qū)域所包含的不同表情信息的含義和表情的含量；最后通過概率融合來理解、識別任意時序長度的、復(fù)雜的混合表情圖像序列。其各種表情的總體識別率達(dá)到96.9%。

北京航空航天大學(xué)的薛雨麗、毛峽等使用自主開發(fā)的實時人臉表情識別系統(tǒng)，從BHU表情數(shù)據(jù)庫的所有單一表情視頻中自動檢測出人臉并進(jìn)行篩選，作為表情分類器的訓(xùn)練樣本。采用積分圖像和基于AdaBoost方法對包括打哈欠、好奇、厭惡等9種表情進(jìn)行識別。

哈爾濱工業(yè)大學(xué)的朱永崇在分析傳統(tǒng)語音識別方法對于長時特征和短時特征利用程度方面的優(yōu)缺點之后，提出可以有效結(jié)合長時和短時特征的多子模式加權(quán)投票模型，利用HMM作為短時特征訓(xùn)練識別工具，KNN作為長時特征訓(xùn)練識別工具，再用隸屬矢量和權(quán)值系數(shù)對多個子模式的識別結(jié)果進(jìn)行融合，對非特定人的憤怒、高興、平靜、悲傷4種情感獲得61.06%的平均識別率。

清華大學(xué)的魏冉等對處于不同表情中人臉特征差異進(jìn)行分析。針對面部表情改變時，變化最大的 3個部分——嘴、額頭和眉毛在形狀、紋理和距離上的差異，提出用模板匹配法提取嘴部特征，用邊緣檢測法提取額頭特征，用外輪廓檢測法提取眉毛特征，并綜合這三者的輸出得到最終識別結(jié)果的多特征面部表情識別系統(tǒng)，平均識別率為85.7%。

北京理工大學(xué)的續(xù)爽等在圖嵌入的框架下提出一種根據(jù)表情相似度構(gòu)建鄰接權(quán)重圖的方法來學(xué)習(xí)人臉表情子空間。數(shù)據(jù)集中人臉圖像的表情以半監(jiān)督學(xué)習(xí)的方式估計，人臉圖像之間的表情相似度由模糊隸屬度矢量之間的內(nèi)積度量，與個體、光照、姿態(tài)等人臉差異無關(guān)。在得到的子空間內(nèi)，相似表情的人臉圖像位于流形上的鄰近位置，表情數(shù)據(jù)在子空間內(nèi)按語義分布，很好地揭示表情模糊、演變的特性。北京科技大學(xué)的王巍等以人工心理學(xué)的理論和方法為基礎(chǔ)，對人的心理活動進(jìn)行人工機(jī)器模擬，提出人機(jī)交互中的個性化情感模型。

總的來看，目前國內(nèi)外情感狀態(tài)研究最多的仍是集中在對 6種基本情感（高興、悲傷、憤怒、恐懼、驚奇、厭惡）的識別，及少量非基本情感狀態(tài)（如困惑、煩躁、悔恨等）的識別，卻幾乎沒有涉及到對心理狀態(tài)中認(rèn)知狀態(tài)（如贊同、否定、注意、思考等）的研究，而單純識別情感狀態(tài)在人機(jī)交互中對理解用戶意圖和推斷用戶心理認(rèn)知狀態(tài)是有一定局限性的。

3.3 心理認(rèn)知狀態(tài)的相關(guān)研究

與情感狀態(tài)相比，人機(jī)交互中的心理認(rèn)知狀態(tài)、意志狀態(tài)乃至整個復(fù)雜心理狀態(tài)的研究還非常少。特別是在國內(nèi)，心理狀態(tài)的機(jī)器理解主要集中在情感識別方面，很少涉及到心理認(rèn)知方面。

根據(jù)測量手段不同，可將心理認(rèn)知狀態(tài)的研究分為基于生理信號、語音信號、視覺信號（包括面部表情和行為姿態(tài)）及多通道信息融合等多種方法。其中，生理信號主要是通過采集人的皮質(zhì)醇水平、心率、血壓、呼吸、皮膚電活動、掌汗、瞳孔直徑、事件相關(guān)電位等，并采用波形分析、頻譜分解、統(tǒng)計特征計算等對生理信號進(jìn)行描述，最終通過統(tǒng)計產(chǎn)品與服務(wù)解決方案（statistical product and service solutions，SPSS）、近鄰、距離、多層感知機(jī)（multi-layer perception，MLP）、神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行分類。語音信號主要是根據(jù)聲調(diào)在時間構(gòu)造、振幅構(gòu)造、基頻構(gòu)造和共振峰構(gòu)造等特征方面的特點和分布規(guī)律進(jìn)行測算和分析，并以此為基礎(chǔ)或模板，推斷說話人所隱含的心理狀態(tài)。面部表情主要是通過眼部、面部和口部肌肉的變化（如五官的幾何特征、局部紋理特征等），建立面部表情與心理認(rèn)知狀態(tài)之間的映射關(guān)系。行為姿態(tài)主要是根據(jù)面部以外的其他身體行為（如肩部動作、胳膊運動、手勢等肢體語言）對心理認(rèn)知狀態(tài)進(jìn)行分析。

Chen等在對6種基本情感狀態(tài)進(jìn)行研究的基礎(chǔ)上，對包括興趣（interest）和迷惑（puzzlement）等在內(nèi)的 4種心理認(rèn)知狀態(tài)進(jìn)行了初步研究。

Baron-Cohen提出心理狀態(tài)理解的神經(jīng)認(rèn)知機(jī)制（neurocognitive mechanism），包括一系列能夠?qū)ζ渌麄€體的心理狀態(tài)進(jìn)行歸因的模塊。他提出的視線方向檢測器（eye direction detector，EDD）可以檢測出眼睛的位置，并且通過虹膜相對于鞏膜的位置估計視線方向，借此對個體的心理狀態(tài)進(jìn)行歸因。

Liang Yulan等通過攝像頭采集駕駛員的眼動信息來描述駕駛員的認(rèn)知分心，并用貝葉斯網(wǎng)絡(luò)、SVM等方法進(jìn)行分類。實驗結(jié)果表明，眼動信息中的眨眼頻率與注視指標(biāo)很適合用于評價駕駛分心。

Kutila等通過頭部姿態(tài)和眼睛的注視方向等信息來分析駕駛員的視覺分心，將眼動信息與車道保持信息相結(jié)合來分析駕駛員的認(rèn)知分心，最后用SVM對數(shù)據(jù)進(jìn)行分類。實驗結(jié)果表明，該方法能夠檢測出80%的視覺分心與 68%～86%的認(rèn)知分心。

Ioannis等將眼動信息（眼睛閉合時間比、眨眼頻率等）與EEG、EOG等生理信號融合起來，采用模糊專家系統(tǒng)對駕駛員進(jìn)行疲勞判斷，取得較好效果。

Qiang Ji等綜合考慮面部表情、眼部運動、頭部運動、視線變化等因素，在分別考察了單個信息的分類效果后，采用貝葉斯網(wǎng)絡(luò)對駕駛員的疲勞程度進(jìn)行判別。

美國麻省理工學(xué)院的個人機(jī)器人小組和斯坦—溫斯頓工作室發(fā)明一個走向認(rèn)知的社交智能機(jī)器人。它包含內(nèi)置情感移情系統(tǒng)，可以揣測出所遇到的人的目標(biāo)和意向。這個機(jī)器人包括一套評估和模仿可察覺面部表情的系統(tǒng)，會將特定的面部表情與相關(guān)的反應(yīng)聯(lián)系在一起。它還安裝了評估人類聲音性質(zhì)的特定傳感器，聲音的反饋強(qiáng)化它對他人面部表情和個人情感之間的聯(lián)系。

英國劍橋大學(xué)計算機(jī)實驗室的Peter Robinson教授領(lǐng)導(dǎo)的課題組采用面部表情結(jié)合頭部姿態(tài)的變化，對心理狀態(tài)理解進(jìn)行研究，分析面部表情、頭部姿態(tài)與 6種特定心理狀態(tài)之間的映射關(guān)系，并首次將心理狀態(tài)的自動識別應(yīng)用于人機(jī)交互領(lǐng)域。2009年，Tal Sobol-Shikler和Peter Robinson教授又發(fā)表通過語音信號對同時發(fā)生的多種心理狀態(tài)進(jìn)行識別的文章，并將配對法和投票法相結(jié)合進(jìn)行分類，該系統(tǒng)對Mind Reading DVD數(shù)據(jù)庫測試的識別率達(dá)到83%。

在多種測量方法中，由于面部是人類表達(dá)心理狀態(tài)的最自然途徑之一，它除了表達(dá)情感之外，還能發(fā)出社交信號，如繼續(xù)交談或轉(zhuǎn)換話題等。頭部的姿態(tài)、轉(zhuǎn)動和視線盯視方向在心理狀態(tài)理解方面也有著重要的暗示作用。如Haidt研究發(fā)現(xiàn)，一種厭惡的盯視、一個克制的微笑和一個頭部的轉(zhuǎn)動都可能代表“困窘”的信號。Langton強(qiáng)調(diào)，頭部轉(zhuǎn)動和視線盯視方向在檢測注意力焦點時起著非常關(guān)鍵的作用。加之面部信息的采集是非侵入式的，大部分采集設(shè)備價格低廉，應(yīng)用范圍廣，因此基于面部表情的心理認(rèn)知狀態(tài)推斷是目前研究最多的方法之一，而多通道信息融合則是未來心理認(rèn)知發(fā)展的主要方向。

4 心理認(rèn)知計算的發(fā)展趨勢

近幾年，隨著認(rèn)知心理學(xué)、認(rèn)知神經(jīng)科學(xué)及智能科學(xué)的發(fā)展，對心理認(rèn)知的研究逐漸從心理學(xué)和神經(jīng)生物學(xué)領(lǐng)域過渡到人機(jī)交互領(lǐng)域。本文在總結(jié)國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，從模式提取和模型建立兩個方面，針對心理認(rèn)知在人機(jī)交互領(lǐng)域中可能的發(fā)展趨勢進(jìn)行簡要分析，并從人類視覺和計算機(jī)視覺的分層對比中，提出心理狀態(tài)視覺認(rèn)知計算的模型框架。

4.1 模式提取

在 Baron-Cohen的心理狀態(tài)分類法中，一共有412種心理狀態(tài)。這412種心理狀態(tài)又根據(jù)不同的心理特征和強(qiáng)度被分為24個不同的心理狀態(tài)組群，其中包括我們所熟悉的6種基本情感狀態(tài)（如高興、害怕、厭惡等）和非基本情感狀態(tài)（如煩躁、懷疑等），以及心理認(rèn)知狀態(tài)（如感興趣、同意、不確定等）。

針對人機(jī)交互領(lǐng)域中對人的目的、意圖、態(tài)度等心理認(rèn)知狀態(tài)理解的需求出發(fā)，以Baron-Cohen的心理狀態(tài)詞條為基礎(chǔ)，將若干具有相似特征的心理認(rèn)知狀態(tài)進(jìn)行融合，結(jié)合人類視覺認(rèn)知機(jī)理以及計算機(jī)對圖像信息的實際處理能力，形成心理認(rèn)知狀態(tài)模式分類及表現(xiàn)形式。

4.2 模型建立

隨著神經(jīng)生理學(xué)、認(rèn)知科學(xué)、計算神經(jīng)科學(xué)等學(xué)科的蓬勃發(fā)展，大量生理解剖學(xué)和心理學(xué)的事實為人們對生物視覺系統(tǒng)的深入理解提供了豐富的實驗基礎(chǔ)。研究表明，整個人類視覺認(rèn)知過程包含 3層結(jié)構(gòu)：感知過程、思維過程和認(rèn)知過程。在人類視覺中，感知過程是信息獲取階段，完成將視覺轉(zhuǎn)換為圖像的任務(wù)，屬于計算機(jī)視覺中對應(yīng)的圖像處理過程；思維過程是信息處理階段，完成將圖像轉(zhuǎn)換為符號（數(shù)據(jù)）的任務(wù)，屬于計算機(jī)視覺中對應(yīng)的圖像分析過程；認(rèn)知過程是信息再生和存儲階段，完成將符號轉(zhuǎn)換為知識的任務(wù)，屬于計算機(jī)視覺中對應(yīng)的圖像理解過程。只有建立在人類視覺認(rèn)知的基礎(chǔ)上，心理狀態(tài)的圖像理解才能借助于計算機(jī)模擬人類視覺過程的信息獲取，并利用人工智能方法，在人類智能的水平上實現(xiàn)對心理狀態(tài)的推理、識別、學(xué)習(xí)和解釋能力。借鑒人類視覺認(rèn)知的3層結(jié)構(gòu)，提出一個多模態(tài)信息融合的多層級心理狀態(tài)視覺認(rèn)知計算模型框架。該模型根據(jù)人類對自身或他人心理狀態(tài)的理解過程，結(jié)合認(rèn)知科學(xué)中兩種主流的信息加工方法——自下而上的數(shù)據(jù)驅(qū)動（data-driven）和自上而下的模型驅(qū)動（model-driven），融合定量分析與定性分析、多模態(tài)信息、符號推理、知識表達(dá)等信息領(lǐng)域的成熟技術(shù)，建立心理狀態(tài)與外在行為（包括面部、頭部、眼睛、視線等）的映射關(guān)系。

心理狀態(tài)視覺認(rèn)知計算模型主要包括信號輸入、低層特征提取、中層目標(biāo)識別和高層心理狀態(tài)推理4個層次。其中信號輸入主要是通過攝像頭采集動態(tài)視頻或讀取事先采集好的視頻圖像。低層特征提取，是把以“數(shù)字”形式表示的輸入信號轉(zhuǎn)換成以“符號”形式表示的基元特征，完成信息從定量描述到定性描述的轉(zhuǎn)換。中層目標(biāo)識別，是對目標(biāo)進(jìn)行特征分析和概念理解，即對低層特征的進(jìn)一步整合、抽象與概括，形成更加符合人類思維的抽象語義符號。與低層特征相比，中層目標(biāo)更接近于人的高級認(rèn)知表征，符合人類對事物的描述與主觀認(rèn)識，具有語義概念的特點。高層心理狀態(tài)推理，是在心理狀態(tài)模式知識庫的指導(dǎo)下，通過一組語義目標(biāo)類別自動地對心理狀態(tài)進(jìn)行非線性推理，實現(xiàn)心理狀態(tài)理解并為中層目標(biāo)識別等其他過程提供上下文信息。充分利用心理狀態(tài)模式知識庫對未知類別的樣本進(jìn)行心理狀態(tài)分類，是高層心理狀態(tài)推理模塊的主要任務(wù)。

5 結(jié)束語

不管在何時何地，人都存在心理活動，包括在與計算機(jī)進(jìn)行交互的時候。和語言文字相比，潛意識中人們更經(jīng)常選擇諸如語音語調(diào)、姿態(tài)及面部表情等非語言手段來表達(dá)他們的心理狀態(tài)。研究心理認(rèn)知計算的目的是希望計算機(jī)能夠通過分析人的外在行為達(dá)到對其內(nèi)部心理狀態(tài)的合理理解，特別是針對人機(jī)交互中人的目的、意圖或注意的推理判斷。該研究涉及許多技術(shù)領(lǐng)域，包括計算機(jī)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、社會學(xué)以及人類學(xué)等諸多學(xué)科，屬于交叉學(xué)科的基礎(chǔ)應(yīng)用研究。它順應(yīng)了計算機(jī)以人為本、個性化的發(fā)展方向，是一個嶄新的、前景廣闊并具有很大挑戰(zhàn)性的研究方向。當(dāng)前，對心理認(rèn)知計算的研究主要有以下3點意義。

1）可作為人工心理研究領(lǐng)域的一個算法支撐。人工心理是利用信息科學(xué)的手段，對人的心理活動的再一次人工機(jī)器實現(xiàn)。但目前人工心理的模型建立主要集中在以心理學(xué)理論為主的情緒、情感建模上，其算法只是涉及到人臉識別和表情識別，且模態(tài)也比較單一，缺乏從人類的認(rèn)知機(jī)理角度出發(fā)，結(jié)合多生物特征信息，對心理狀態(tài)進(jìn)行綜合分析，建立心理計算的模型和方法。

2）可提高計算機(jī)的認(rèn)知能力。能夠從視頻序列中通過面部、頭部、視線方向和行為姿態(tài)信息來推斷人的心理狀態(tài)，彌補(bǔ)當(dāng)前表情識別系統(tǒng)的不足；可作為用戶目的或意圖的指示器，提高計算機(jī)對視覺信息的理解能力與處理效率，使其自主地適應(yīng)環(huán)境，更好地為人類服務(wù)。

3）可與其他的人機(jī)交互手段相結(jié)合，更有效地應(yīng)用于諸如E-learning、商品導(dǎo)購、智能家居、服務(wù)機(jī)器人等實際生活場景中。

此外，包含認(rèn)知狀態(tài)在內(nèi)的心理狀態(tài)分析也是心理學(xué)、精神分析、醫(yī)學(xué)等多學(xué)科領(lǐng)域的重要研究課題。心理狀態(tài)分析的研究成果能為它們提供很有價值的研究手段和方法。例如，孤獨癥譜系障礙（Autism Spectrum Disorder，ASD）患者，可以很好地識別出他人的基本情感狀態(tài)，卻不能正確識別他人的心理認(rèn)知狀態(tài)和其他非基本情感狀態(tài)。若能采用心理認(rèn)知狀態(tài)分析系統(tǒng)對ASD病癥患者進(jìn)行該方面的訓(xùn)練，必將提高他們的社會交往能力。此外心理狀態(tài)分析系統(tǒng)還能對精神疾?。ㄒ钟舭Y、狂躁癥等）進(jìn)行病情監(jiān)視，為醫(yī)生提供必要的輔助分析手段。

當(dāng)然，心理狀態(tài)的視覺認(rèn)知計算也存在著一定的困難。

1）人們?nèi)粘＝涣髦袀鬟f的信息，可以分為“顯性”信息和“隱性”信息?！帮@性”信息即通過觀察可直接得到的，如對象是誰（人臉識別）以及包括唇讀等識別；而“隱性”信息不能直接觀察得到，只能通過人的外在行為加之環(huán)境、上下文及先驗知識等因素進(jìn)行綜合推理分析得出。心理狀態(tài)即是“隱性”信息，存在太多的不確定性因素，很難實現(xiàn)對它的完全正確推斷。同時，心理狀態(tài)理解還存在一個認(rèn)知標(biāo)準(zhǔn)問題，即計算機(jī)能做到何種程度（達(dá)到多少百分比）就可認(rèn)為是比較好的認(rèn)知程度。

2）基于視頻圖像的面部分析是一個開放性的機(jī)器視覺研究問題，受到世界許多相關(guān)研究單位的廣泛關(guān)注，而在面部行為和心理狀態(tài)之間還缺乏一個普遍承認(rèn)的映射關(guān)系，所采取的結(jié)合方式如何被社會認(rèn)可，如何更具有說服力，是今后研究中必須面臨的一個問題。

3）多模態(tài)生物特征融合，在特征層、分析層和決策層都存在不同的融合算法，選擇哪個層進(jìn)行融合，運用那些融合算法，才能使心理狀態(tài)推斷達(dá)到最佳效果，還沒有一定的結(jié)論，需要經(jīng)過反復(fù)實驗得出。

4）在心理認(rèn)知外在表現(xiàn)（如情感、表情）的識別中，幾乎所有基于統(tǒng)計的方法都被使用、改進(jìn)過，其結(jié)果都大體相當(dāng)。然而，基于統(tǒng)計的方法是自下而上信息加工的主要實現(xiàn)手段。單純的自下而上信息加工處理速度快，但容易陷入局部性和目標(biāo)不明確性；而單純的自上而下信息加工能夠從全局考慮問題，避免局部性，但搜索問題解空間的速度太慢，最好的方法就是將兩者適當(dāng)?shù)慕Y(jié)合。因此，如何有效地將兩者結(jié)合仍是視覺認(rèn)知領(lǐng)域中一個長期的課題。

總之，由于涉及到計算機(jī)科學(xué)、認(rèn)知科學(xué)、心理學(xué)、生理學(xué)等眾多學(xué)科領(lǐng)域，心理狀態(tài)的認(rèn)知計算研究在國內(nèi)外還處于起步和探索階段，有很大的發(fā)展?jié)摿?。希望本文能起到拋磚引玉的作用，引導(dǎo)國內(nèi)更多的學(xué)者加入到該研究的探索中來。?

（摘自《模式識別與人工智能》2011年第2期）