基于強化學習視角的情緒調(diào)節(jié)研究及展望

于騰旭 劉文 劉方

摘 要 情緒調(diào)節(jié)在強化學習視角下可以被視為旨在達到預期情緒狀態(tài)的一系列行為決策過程。為進一步探究強化學習視角下的情緒調(diào)節(jié)內(nèi)在過程和計算機制，首先要理解評價在情緒產(chǎn)生和調(diào)節(jié)過程中的重要作用，一些研究者基于此構(gòu)建了與評價相關(guān)的情緒及情緒調(diào)節(jié)過程模型。此外，強化學習視角下的情緒調(diào)節(jié)過程和機制的未來研究應考慮如下方向：（1）基于強化學習視角進一步探究情緒調(diào)節(jié)分類及動態(tài)變化; （2）探究強化學習視角下情緒調(diào)節(jié)過程的腦網(wǎng)絡(luò)整合（而非單一腦結(jié)構(gòu)或回路）機制; （3）人工智能研發(fā)采用去模塊化理念處理情緒與認知等其他成分的關(guān)系。

關(guān)鍵詞 情緒調(diào)節(jié); 強化學習; 展望

分類號 B842.6

1 引言

情緒調(diào)節(jié)是個體通過改變自身情緒體驗的強度、持續(xù)時間和品質(zhì)等來改變情緒反應的過程（Gross， 1998）。自這一概念提出以來，越來越多的行為以及神經(jīng)科學研究將情緒調(diào)節(jié)作為核心問題來探討，有證據(jù)顯示，在2002至2012年這段時間，有關(guān)“情緒調(diào)節(jié)”的研究數(shù)量有了近40倍的增長（Gross， 2013）。當前對情緒調(diào)節(jié)的研究有兩大趨勢，一是由有意情緒調(diào)節(jié)轉(zhuǎn)向自動情緒調(diào)節(jié)（高偉， 陳圣棟， 龍泉杉， 楊潔敏， 袁加錦， 2018），并且通過各種內(nèi)隱情緒任務探究其特征及神經(jīng)機制（Gallo， Keil， McCulloch， Rockstroh， & Gollwitzer， 2009; Yuan， Ding， Liu， & Yang， 2015; Yang， Tang， Gu， Luo， & Luo， 2015; Urbain， Sato， Pang， & Taylor， 2017）; 二是深入探討情緒調(diào)節(jié)與各類精神病理問題的關(guān)聯(lián)（Aldao， Nolenhoeksema， & Schweizer， 2010），一些研究者甚至將情緒調(diào)節(jié)障礙列為多種精神病癥的共性風險因素（Fernandez， Jazaieri， & Gross， 2016）。 但一直以來，對情緒調(diào)節(jié)內(nèi)在決策過程及計算機制的研究還相對較少，而強化學習這一視角為我們進一步理解情緒調(diào)節(jié)的內(nèi)在過程及機制提供了一種可能性。

基于強化學習理論，個體要根據(jù)刺激對自己有利還是有害而持續(xù)不斷地做出選擇，并且因預測偏差而不斷修正各個選擇的效價估計進而影響其后續(xù)行為。在這一視角下，情緒調(diào)節(jié)同樣可以看作一系列行為決策過程（Etkin， Büchel， & Gross， 2015）。要進一步解釋情緒調(diào)節(jié)的決策計算過程，首先要理解評價在情緒產(chǎn)生及調(diào)節(jié)過程中的作用。在Gross等人先前提出的情緒產(chǎn)生模型中，評價處于情緒線性過程的第三階段; 而在其情緒調(diào)節(jié)過程模型中，有情境選擇、情境修正、注意分配、認知改變以及反應調(diào)整五種調(diào)節(jié)方式，評價過程對應于認知改變（Sheppes，Suri， & Gross， 2015）。之后他們又在評價理論視角下進一步提出情緒調(diào)節(jié)的擴展過程模型-WPVA模型，這一模型更加強調(diào)評價在情緒以及情緒調(diào)節(jié)過程中的核心作用并且將情緒調(diào)節(jié)過程模型整合進來（Gross， 2015）。在此基礎(chǔ)上，Etkin等人在強化學習視角下深入分析了情緒調(diào)節(jié)過程，并探究了其計算實現(xiàn)機制并將情緒調(diào)節(jié)視為一個決策過程模型（Etkin et al.， 2015）。理清強化學習視角下的情緒調(diào)節(jié)過程對我們深入分析情緒調(diào)節(jié)分類及動態(tài)變化性有著積極意義，當前研究已經(jīng)逐漸從單維度模式（如內(nèi)隱/外顯）轉(zhuǎn)向多維度模式（如內(nèi)隱/外顯以及自動/控制）（Braunstein， Gross， & Ochsner， 2017）。此外，如何從神經(jīng)層面為強化學習視角下的情緒調(diào)節(jié)模型提供支持是未來研究需要解決的，基于Pessoa提出的腦網(wǎng)絡(luò)整合系統(tǒng)理論（Pessoa， 2017a），應從腦全局網(wǎng)絡(luò)而非單一結(jié)構(gòu)或回路的角度對其進行解釋。進一步地，情緒調(diào)節(jié)過程同樣對人工智能設(shè)計有著一定啟發(fā)作用，模塊化思路或更具體來說，將情緒與認知分離的做法已經(jīng)越來越不能滿足人們對人工智能的需求，去模塊化設(shè)計（情緒-認知整合）是未來人工智能的新方向（Pessoa， 2017b）。

2 評價與情緒調(diào)節(jié)

評價與強化學習理論有著密切關(guān)聯(lián)：個體需要對行為決策價值進行評價并通過預測偏差來加以修正。但在以往很長一段時間中，對評價和情緒調(diào)節(jié)兩個主題的研究處于相對分離的狀態(tài)，少有學者對評價在情緒調(diào)節(jié)中的作用進行探究（Smith & Kirby， 2011）。因此探究強化學習視角下的情緒調(diào)節(jié)，可先從理論上整合評價與情緒調(diào)節(jié)，而情緒產(chǎn)生與情緒調(diào)節(jié)又是不可分割的統(tǒng)一整體，因此，需要對評價與情緒產(chǎn)生以及評價與情緒調(diào)節(jié)的關(guān)系作分別探討。

2.1 情緒產(chǎn)生評價模型

評價理論關(guān)注某一情境對個體的意義所在。例如，阿諾德的情緒認知評價理論認為，外界刺激唯有經(jīng)過個體評價才能誘發(fā)情緒（Arnold， 1960）。而拉扎勒斯進一步將阿諾德的評價擴展為評價以及再評價過程，認為每種情緒都包含有生理、行為以及認知三種成分，并且必須通過個體對情緒刺激的評價以及引發(fā)的身體反應而得到（Lazarus， 1993）。而在這些評價模型的基礎(chǔ)上，Moors （2013）加入了情緒的五種評價維度，如圖1所示：情緒評價包含相關(guān)性、效價、可能性、代理性以及應對潛力五種維度。

其中，相關(guān)性指某一情境對個體當下目標的重要性程度（Smith & Lazarus， 1990）; 效價指某一情境對個體的積極或消極程度，基于的是該情境的相對（非）愉悅性和動機一致性程度（Smith & Ellsworth， 1985）; 可能性包含對當下情境的確認性、未來期望以及該情境在未來的可變性（Roseman， 2013）; 代理性包含問責、責任心以及因果歸因（Smith & Ellsworth， 1985; Smith & Lazarus， 1990）; 最后應對潛力指個體已有的應對方式，不管是改變還是適應當下情境（Smith & Lazarus， 1990）。基于這五個維度，個體對每種刺激進行評價進而做出相應的情緒反應。結(jié)合強化學習理論，可以認為個體通過這五個維度對每種情緒反應的獎懲效價進行評估，并通過實際結(jié)果與預期結(jié)果間的預測偏差來調(diào)整該情緒反應的決策價值進而對接下來的評價過程產(chǎn)生影響。

這一五維度模型幫助我們理解了評價在情緒產(chǎn)生中的作用，而進一步從情緒動態(tài)變化的視角來看（即產(chǎn)生-調(diào)節(jié)、再產(chǎn)生-再調(diào)節(jié)……），我們需要理清評價在情緒調(diào)節(jié)動態(tài)過程中的重要作用。在這一問題上，情緒調(diào)節(jié)評價和過程模型為我們提供了一種合理解釋。

2.2 情緒調(diào)節(jié)評價和過程模型

Gross基于評價在情緒調(diào)節(jié)過程中的核心作用，提出了情緒調(diào)節(jié)的過程模型理論，其將情緒產(chǎn)生和情緒調(diào)節(jié)均視為以知覺輸入和行為輸出為基礎(chǔ)的控制論過程。這一過程通過個體與外界情境（W）互動來實現(xiàn)，具體過程如下：來自外部世界的刺激被個體所感知（P）、評價（V; 即于我而言是“好”還是“壞”），并最終引發(fā)個體的趨利避害行為（A）。具體到情緒過程：個體對外界情境進行監(jiān)控（W），聚焦于那些潛在含情緒效價（于個體而言）刺激（P）并對其進行評價（V），進而引發(fā)個體行為、生理以及認知系統(tǒng)的變化（A）。

WPVA過程模型能夠幫助我們更好地理解情緒與情緒調(diào)節(jié)的連續(xù)性和整體性：情緒WPVA過程先于情緒調(diào)節(jié)WPVA過程而產(chǎn)生，其結(jié)果-情緒反應（A）決定了是否以及需要用何種方式進行情緒調(diào)節(jié); 而情緒調(diào)節(jié)WPVA過程最終又會反過來作用于情緒產(chǎn)生WPVA過程，從而實現(xiàn)了情緒產(chǎn)生與情緒調(diào)節(jié)的循環(huán)。具體來說，當個體因為背景或個人目標等因素想要做出不同的情緒反應行為時，情緒反應本身即作為新的外界刺激（W）被個體感知（P）、評價（V）并產(chǎn)生相應行為結(jié)果（A），這一新的WPVA循環(huán)過程就是情緒調(diào)節(jié)。當外界環(huán)境中刺激被評價為與個體目標或動機相關(guān)時即會引發(fā)情緒反應，而當情緒反應被評價為與個體當下目標相偏離時又會進一步引發(fā)情緒調(diào)節(jié)行為。因此，這一模型通過評價機制將情緒反應和情緒調(diào)節(jié)整合為一個連續(xù)動態(tài)過程（Etkin et al.， 2015）。此外，由評價（V）而誘發(fā)出的行為（A）更應該看作是多成分反應（如生理、認知、動機以及主觀行為反應）。因此，這一模型也很好地解釋了情緒與生理、認知、動機以及行為的廣泛關(guān)聯(lián)效應。

3 強化學習視角下的情緒調(diào)節(jié)

評價模型為進一步從強化學習的視角解釋情緒調(diào)節(jié)奠定了基礎(chǔ)。從強化學習的角度來看，情緒調(diào)節(jié)可以被認為是旨在達到預期情緒狀態(tài)的一系列行為決策。每種情緒調(diào)節(jié)行為均有其決策價值并且可以通過一些預測偏差（預期情緒狀態(tài)和實際情緒狀態(tài)之差）來得到修正。每種調(diào)節(jié)行為還存在其執(zhí)行代價。這意味著其決策價值不僅包含結(jié)果效價還有執(zhí)行代價。此外，強化學習算法還包含兩類決策控制：無模式控制和基于模式的控制，接下來我們從這個分類角度具體加以探討。

3.1 無模式情緒調(diào)節(jié)和基于模式情緒調(diào)節(jié)

3.1.1 無模式情緒調(diào)節(jié)

無模式情緒調(diào)節(jié)是完全基于預測偏差的反饋而完成的，這種調(diào)節(jié)模式對應的環(huán)境事件包含有限類型的刺激和反應，因此可以在沒有相應先驗知識的條件下實現(xiàn)。這一類型情緒調(diào)節(jié)的特點是效率高但不太靈活。從定義上來看，無模式情緒調(diào)節(jié)與內(nèi)隱情緒調(diào)節(jié)在很大程度上是一致的，但兩者側(cè)重點不同，前者強調(diào)無模式控制機制而后者側(cè)重于不需要意識參與。

無模式情緒調(diào)節(jié)可以在情緒沖突任務中發(fā)生（Etkin， Egner， Peraza， Kandel， & Hirsch， 2006）。例如，在涉及情緒評定的經(jīng)典情緒Stroop任務中（Stroop， 1935），給被試呈現(xiàn)寫有“恐懼”或“高興”字樣的恐懼以及高興面孔圖片，要求被試判斷面孔表情是恐懼還是高興。文字與面孔表情或者是一致的（一致試次）或者是不一致的（不一致試次）。而不一致試次中的情緒沖突會導致明顯的反應時間延長以及情緒反應腦區(qū)的激活，例如杏仁核、背側(cè)前扣帶回（dACC）以及腦島（Etkin， Prater， Hoeft， Menon， & Schatzberg， 2010）。如果之前試次是不一致的，則當下不一致試次會對應于更少的反應時減少，這一結(jié)果證明了調(diào)節(jié)的發(fā)生。從強化學習的角度來看，之前不一致試次中的反應時延長結(jié)果被評價為“對我有害”，進而誘發(fā)出個體調(diào)節(jié)，其結(jié)果是當前不一致試次中反應時的減少。而這一調(diào)節(jié)過程并未涉及到先驗知識（以往調(diào)節(jié)經(jīng)驗）的參與，屬于無模式控制機制，因此可被視為無模式情緒調(diào)節(jié)。這一實驗情形還被證明與vACC-vmPFC激活增強相關(guān)，還與杏仁核、dACC以及腦島激活減弱相關(guān)（Etkin et al.， 2006），從神經(jīng)層面證明了情緒調(diào)節(jié)的發(fā)生。此外，研究者還發(fā)現(xiàn)vACC-vmPFC受損的個體不能調(diào)節(jié)情緒沖突（Maier & Di， 2012），進一步印證了上述結(jié)論。

3.1.2 基于模式情緒調(diào)節(jié)

與無模式情緒調(diào)節(jié)相對應的是基于模式情緒調(diào)節(jié)，即個體需要通過工作記憶來構(gòu)建或運用內(nèi)部模式。在無模式情緒調(diào)節(jié)效率較低或無法達到調(diào)節(jié)情緒目的的情況下，個體通常會采取基于模式情緒調(diào)節(jié)?；谀Ｊ角榫w調(diào)節(jié)的特點是：在運用外在環(huán)境或內(nèi)部狀態(tài)中已有模式的條件下，個體能夠根據(jù)環(huán)境或背景需求靈活調(diào)整其反應。

基于模式情緒調(diào)節(jié)的一個典型例子是重評，即通過在評價階段改變刺激意義實現(xiàn)調(diào)節(jié)情緒的目的（Gross， 2015）。例如，個體可能會尋求刺激第二意義（如眼淚表示高興而非悲傷）來降低或消除情緒反應。當個體被外在指導如何進行重評時，其內(nèi)在已有情緒調(diào)節(jié)模式被激活（Mcrae， Ciesielski， & Gross， 2012; Mcrae， Hughes， Chopra， Gabrieli， Gross， & Ochsner， 2010）。從這個角度來看，外顯情緒調(diào)節(jié)在一定程度上均會涉及到內(nèi)在模式的運用（如遠離和分心）。重評能力與個體工作記憶的相關(guān)從一定程度上證實，這一調(diào)節(jié)方式屬于基于模式情緒調(diào)節(jié)（Gyurak， Gross， & Etkin， 2011）。例如，研究者發(fā)現(xiàn)通過經(jīng)顱直流刺激提高背外側(cè)前額葉皮層（dlPFC）興奮性能提高個體通過重評來下行和上行調(diào)節(jié)負性情緒的能力（Feeser， Prehn， Kazzer， Mungee， & Bajbouj， 2014）。而另一項研究也顯示，實驗誘發(fā)壓力事件不僅會對個體dlPFC功能以及運用重評調(diào)節(jié)情緒的能力產(chǎn)生負性影響，還會破壞個體的工作記憶能力（Raio， Orederu， Palazzolo， Shurick， & Phelps， 2013）。 盡管對重評外基于模式情緒調(diào)節(jié)（如分心和表達抑制）的研究還相對較少，基于模式情緒調(diào)節(jié)以及認知控制能力在相應腦區(qū)結(jié)構(gòu)上的大范圍重疊，如dlPFC、vlPFC（腹外側(cè)前額葉皮層）以及dACC已經(jīng)被諸多研究證實（Mcrae et al.， 2010）。未來可采用如多體素模式的分析方法進一步加以驗證。

3.2 情緒調(diào)節(jié)決策過程模型及計算實現(xiàn)

在強化學習視角下，情緒調(diào)節(jié)可以被看作個體連續(xù)作出行為決策的過程（Sheppes et al.， 2015）。這些決策包括：（1）是否需要進行情緒調(diào)節(jié)（確認）; （2）總體上需要選擇何種情緒調(diào)節(jié)類型（選擇）; （3）具體使用何種策略能更好地完成情緒調(diào)節(jié)（實施）; （4）是否需要停止調(diào)節(jié)或選擇換一種情緒調(diào)節(jié)類型（監(jiān)控）。在此基礎(chǔ)上，Etkin及同事以憤怒情緒調(diào)節(jié)為例提出了情緒調(diào)節(jié)決策過程模型（以憤怒情緒調(diào)節(jié)為例）并基于Rescorla和Wagner （1972）的強化學習公式進一步提出了情緒調(diào)節(jié)行為決策的計算公式（Etkin et al.， 2015）。

這一公式中，V（n）t和C（n）分別代表第n次情緒調(diào)節(jié)行為的決策價值和代價，其中V（n）t能夠反映時刻t的預期情緒狀態(tài)，V（n）t-1代表同一調(diào)節(jié)行為在t-1時刻（之前）的價值，α代表學習率而δ表示預測偏差。預測偏差δ是實際測得的情緒反應與預期情緒狀態(tài)間的差值，情緒反應的測量需要同時考慮個體對情緒刺激的認知、主觀、生理以及動機等多角度的反應。從公式可以看出，第n次情緒調(diào)節(jié)行為的決策價值V（n）t是在V（n）t-1的基礎(chǔ)上通過加上學習率α與預測偏差δ的乘積，再減去行為代價C（n）來得到。從這一角度來看，每一種情緒調(diào)節(jié)行為均處于不斷的升級變化中，時刻t-1（以前）選擇的特定情緒調(diào)節(jié)行為會影響個體時刻t（當下）對該行為的預測偏差，進而影響其時刻t的決策價值V（n）t-1。不同的情緒調(diào)節(jié)行為在t時刻會對應不同的決策價值V（n）t，而個體每次的情緒調(diào)節(jié)過程都需要在不同的V（n）t間作出決策，包括是否進行情緒調(diào)節(jié)以及采用何種情緒調(diào)節(jié)策略（具有最大決策價值的策略）進行調(diào)節(jié)，而不斷的情緒調(diào)節(jié)決策也可以看成是個體對情緒調(diào)節(jié)的強化學習過程。

已經(jīng)有證據(jù)表明，強化學習過程中的情緒調(diào)節(jié)會對某些計算參數(shù)產(chǎn)生影響。例如，Watanabe等人在基于獎賞的強化學習任務中發(fā)現(xiàn)，在預測線索出現(xiàn)前呈現(xiàn)憤怒面孔會使個體更快地掌握規(guī)則、有更高的學習率以及更強的杏仁核-紋狀體連接（Watanabe， Sakagami， & Haruno， 2013）。此外，其他學者還發(fā)現(xiàn)，認知重評和其他認知情緒調(diào)節(jié)策略會改變預測偏差以及預期價值在紋狀體上的信號表征（Staudinger， Erk， Abler， & Walter， 2009）以及反事實預測偏差（未預期結(jié)果）在腦島上的信號表征（Gu， Kirk， Lohrenz， & Montague， 2014） 。Rutledge進一步在研究中發(fā)現(xiàn)，個體在強化學習任務中的情緒反應并非由結(jié)果所預測，更準確來說是由期待價值和預期偏差的計算而預測（Rutledge， Skandali， Dayan， & Dolan， 2014）。這些研究在一定程度上支持了上述情緒調(diào)節(jié)決策計算公式，未來可進一步加以探討。

4 未來研究展望

4.1 情緒調(diào)節(jié)分類及動態(tài)變化

按照不同標準，情緒調(diào)節(jié)策略可以作不同的分類（Gross， 2015; Gyurak et al.， 2011; Ochsner， Silvers， & Buhle， 2012）。其中比較常見的一種是將情緒調(diào)節(jié)分為內(nèi)隱和外顯兩種類型?；谶@種方式，內(nèi)隱情緒調(diào)節(jié)通常被認為是缺乏意識控制、無外顯目標且是自動發(fā)生的，而外顯情緒調(diào)節(jié)則是受意識控制、有明確調(diào)節(jié)目標且非自動發(fā)生的。但這種分類方式存在兩個問題：一是難以將所有情緒調(diào)節(jié)策略劃分進去，有些調(diào)節(jié)方式可能兼有內(nèi)隱和外顯情緒調(diào)節(jié)的某些特征; 二是分類太機械化，不能從動態(tài)發(fā)展的角度解釋特定情緒調(diào)節(jié)策略的變化。之后Braunstein提出了一個更高層次的分類框架（Braunstein et al.， 2017），這一框架有兩個獨立的分類維度： 目標維度和過程維度，目標維度描述的是情緒調(diào)節(jié)目標的性質(zhì)，其可以從內(nèi)隱的變?yōu)橥怙@的; 而過程維度描述的是情緒變化過程的性質(zhì)，其可以從更加自動化變得更加受控制。以過程維度為x軸，目標維度為y軸作圖，可以將情緒調(diào)節(jié)分為四類：外顯自動情緒調(diào)節(jié)、外顯控制情緒調(diào)節(jié)、內(nèi)隱自動情緒調(diào)節(jié)以及內(nèi)隱控制情緒調(diào)節(jié)。在這一框架中，特定情緒調(diào)節(jié)策略并非一成不變的，而是可能沿縱向或橫向維度發(fā)生變化。例如，重評通常被認為是典型的外顯控制情緒調(diào)節(jié)策略，但一些研究證明，經(jīng)過一定程度的重評訓練或練習，重評策略可以在內(nèi)隱調(diào)節(jié)目標下發(fā)生或者是其過程的受控制程度降低 （Denny， Inhoff， Zerubavel， Davachi， & Ochsner， 2015; Denny & Ochsner， 2014）。

強化學習視角進一步支持了情緒調(diào)節(jié)過程的多重復雜性和動態(tài)變化性。首先，雖然在強化學習視角下，情緒調(diào)節(jié)被分為無模式和基于模式兩種，真實情緒調(diào)節(jié)過程可能同時涉及無模式和基于模式兩種控制過程。一些研究者認為，一個情緒調(diào)節(jié)過程應該具體區(qū)分MF（無模式）和MB（基于模式）兩類成分所占的比重大?。≧aio， Goldfarb， Lempert， & Sokol-Hessner， 2016）。Etkin等人在同意這一觀點的同時進一步提出了情緒調(diào)節(jié)的最佳定義： 包含MF和MB的混合過程（Etkin， Büchel， & Gross， 2016），即不再將MF和MB單純割裂開來，而是將情緒調(diào)節(jié)視為同時包含不同比重MF和MB的混合過程。其次，情緒調(diào)節(jié)是動態(tài)變化的，某一調(diào)節(jié)策略甚至可能轉(zhuǎn)化為另一種形式。個體在持續(xù)不斷地構(gòu)建外部環(huán)境的內(nèi)在模式，因此存在這種情況：即以往完全無模式的過程可能轉(zhuǎn)變?yōu)橄鄬谀Ｊ降倪^程。例如，Dayan和Berridge等人（2014）反對將巴甫洛夫?qū)W習和預測視為完全無模式的傳統(tǒng)觀點，提供證據(jù)支持了巴甫洛夫預測涉及基于模式評價過程這一相反觀點。從這一角度來看，無模式情緒調(diào)節(jié)和基于模式情緒調(diào)節(jié)兩者間是動態(tài)變化的。因此，未來可以從強化學習的視角對情緒調(diào)節(jié)分類及動態(tài)變化過程做進一步研究。例如，上述兩維度分類框架中，每種情緒調(diào)節(jié)方式涉及MF和MB的比重大小; 其在兩個維度上變化的內(nèi)在計算機制又是怎樣的。

4.2 整合腦網(wǎng)絡(luò)機制與人工智能研發(fā)新方向

4.2.1 整合腦網(wǎng)絡(luò)機制

強化學習視角下的情緒調(diào)節(jié)很好地將情緒與感知覺、認知、動機、生理以及行為整合起來（Etkin et al.， 2015）。以情緒調(diào)節(jié)過程模型為例，P涉及個體對外界刺激（W）的感知，V涉及對刺激的認知加工而A則包括一系列情緒反應，這些反應同樣涉及認知、生理、動機以及主觀行為。此外，情緒調(diào)節(jié)決策過程模型也說明了情緒調(diào)節(jié)過程的廣泛關(guān)聯(lián)特征，這一模型要涉及到個體對情緒刺激多成分反應（認知、主觀、生理以及動機反應）的測量（Etkin et al.， 2015）。具體到神經(jīng)層面，以往研究表明，某些神經(jīng)結(jié)構(gòu)如紋狀體、腦島、丘腦、杏仁核以及背側(cè)前扣帶回（dACC）等與模式中具體參數(shù)如預測偏差有著密切關(guān)聯(lián)（Li， Schiller， Schoenbaum， Phelps， & Daw， 2011; Silvetti， Alexander， Verguts， & Brown， 2014）。但尚未有研究從腦全局網(wǎng)絡(luò)的角度對情緒調(diào)節(jié)的廣泛關(guān)聯(lián)特征以及決策計算過程進行探究，針對這一問題，Pessoa提出的腦網(wǎng)絡(luò)整合模型有著極大的借鑒意義（Pessoa， 2017a）。

以往神經(jīng)科學研究中，腦網(wǎng)絡(luò)層級組織的觀點占據(jù)絕對優(yōu)勢（Parvizi， 2009）。在這一觀點下，皮層結(jié)構(gòu)通過調(diào)節(jié)皮層下結(jié)構(gòu)從而實現(xiàn)情緒調(diào)節(jié)的目的，確保個體表現(xiàn)出合適恰當?shù)男袨?。諸多神經(jīng)研究支持了這一論述，例如，Morgan在對恐懼消退的研究中發(fā)現(xiàn)了內(nèi)側(cè)前額葉（mPFC）對杏仁核反應的調(diào)節(jié)作用（Morgan， Romanski， & Ledoux， 1993）。但整合系統(tǒng)理論與之相悖，認為腦網(wǎng)絡(luò)組織并非層級的而是分布式的。該理論將高級腦區(qū)支配低級腦區(qū)的問題轉(zhuǎn)換為不同腦區(qū)間的協(xié)調(diào)動力學問題（Tognol & Kelso， 2014），即不同腦區(qū)間協(xié)調(diào)互動導致外在行為產(chǎn)出。仍以恐懼消退為例，層級觀點將mPFC視為“上”、杏仁核視為“下”，卻忽視了該過程中多種腦區(qū)間的互動（Tovote， Fadok， & Lüthi， 2015）。研究表明，包括基底外側(cè)杏仁核、腹側(cè)海馬在內(nèi)的多重腦區(qū)均與mPFC間存在投射關(guān)聯(lián)，并且可能在恐懼消退過程中起潛在作用（Do-Monte， Manzano-Nieves， Quiones-Laracuente， Ramos-Medina， & Quirk， 2015; Hugues & Garcia， 2007）。 Pessoa （2017a）以后一理論為基礎(chǔ)進一步提出了情緒腦網(wǎng)絡(luò)模型-功能整合模型，強調(diào)情緒調(diào)節(jié)并非大腦自上而下的過程，而是通過不同腦區(qū)間協(xié)調(diào)活動實現(xiàn)的。這一觀點正好與強化學習視角下情緒調(diào)節(jié)過程中的多成分反應相呼應，因此，未來可進一步從腦網(wǎng)絡(luò)整合模型（不同腦區(qū)間協(xié)調(diào)互動）的角度對情緒調(diào)節(jié)的強化學習過程及模型進行深入探究。

4.2.2 人工智能研發(fā)新方向-情緒認知整合

人工智能（Artificial Intelligence，AI）的概念最早由麥卡錫等學者提出，意指要使機器像人那樣認知、思考和學習（陳凱泉， 沙俊宏， 何瑤， 王曉芳， 2017）。在人工智能不斷發(fā)展的過程中，人們普遍認識到，沒有感情計算能力的智能機器是不能充分實現(xiàn)人工智能的（許遠理， 郭德俊， 2004），因此，人工智能研發(fā)中的一個重要問題就是處理好認知和情緒的關(guān)系。以往處理方式是完全摒棄情緒或是將情緒置于認知控制之下，利用認知下行調(diào)節(jié)情緒，具體做法是在人工智能體中加入情緒模塊，從而能對其他模塊產(chǎn)生影響（Ziemke & Lowe， 2009）。但這一模塊化理念將“情緒”和“認知”設(shè)置為兩種獨立活動類型，與人類“情緒”與“認知”相互交織，相互依存的特征相悖。此外，強化學習視角下的情緒調(diào)節(jié)被視為包含情緒以及其他多種成分的過程，模塊化設(shè)計同樣不能保證這一過程的實現(xiàn)。

在此基礎(chǔ)上，去模塊化設(shè)計即將情緒與認知整合的做法應是人工智能研發(fā)的新方向。如此設(shè)計出的智能機器有著這樣的特點，即情緒、感知、認知、動機以及行為是互鎖關(guān)聯(lián)的（Pessoa， 2017b）。這一觀點也得到人腦研究的支持。其結(jié)果顯示，不同腦區(qū)間存在大量相互關(guān)聯(lián)（Modha & Singh， 2010; Markov， Ercseyravasz， Essen， Knoblauch， & Kennedy， 2013）。具體到情緒腦區(qū)，其涉及大規(guī)模的皮層-皮層下網(wǎng)絡(luò)結(jié)構(gòu)（Pessoa， 2017a）。由此來看，人腦通過整合模式下的腦網(wǎng)絡(luò)系統(tǒng)實現(xiàn)情緒與其他成分的相互關(guān)聯(lián)，具體可以反映在強化學習視角下的情緒調(diào)節(jié)過程之中。因此，未來人工智能體同樣應該是系統(tǒng)結(jié)構(gòu)化的（整合各個組塊），其實現(xiàn)類似于人的情緒調(diào)節(jié)過程，這種智能機器不僅能擁有和表達情緒，而且能將情緒與知覺、行為等置于統(tǒng)一計算之下。在這一層面上，理清強化學習視角下的情緒調(diào)節(jié)過程及內(nèi)在機制有著極大現(xiàn)實意義。

參考文獻

陳凱泉， 沙俊宏， 何瑤， 王曉芳 （2017）. 人工智能2. 0重塑學習的技術(shù)路徑與實踐探索——兼論智能教學系統(tǒng)的功能升級. 遠程教育雜志， 35（5）， 40-53.

高偉， 陳圣棟， 龍泉杉， 楊潔敏， 袁加錦（2018）. 情緒調(diào)節(jié)研究方法的蛻變：從有意情緒調(diào)節(jié)到自動化情緒調(diào)節(jié). 科學通報， 63（4）， 415-424.

許遠理， 郭德俊 （2004）. 淺談情緒智力與人工智能中的感情計算. 心理科學進展， 12（2）， 209-214.

Aldao， A.， Nolenhoeksema， S.， & Schweizer， S. （2010）. Emotion-regulation strategies across psychopathology： a meta-analytic review. Clinical Psychology Review， 30（2）， 217-237.

Arnold， M. B. （1960）. Emotion and personality. New York：Columbia University Press.

Braunstein， L. M.， Gross， J. J.， & Ochsner， K. N. （2017）. Explicit and implicit emotion regulation： a multi-level framework. Social Cognitive & Affective Neuroscience， 12（10）， 1545-1557.

Dayan， P.， Berridge， K. C.， Dayan， P.， & Berridge， K. C. . （2014）. Model-based and model-free pavlovian reward learning： revaluation， revision， and revelation. Cognitive Affective & Behavioral Neuroscience， 14（2）， 473-492.

Denny， B. T.， & Ochsner， K. N. （2014）. Behavioral effects of longitudinal training in cognitive reappraisal. Emotion， 14（2）， 425-433.

Denny， B. T.， Inhoff， M. C.， Zerubavel， N.， Davachi， L.， & Ochsner， K. N. （2015）. Getting over it： long-lasting effects of emotion regulation on amygdala response. Psychological Science， 26（9）， 1377-1388.

Do-Monte， F. H.， Manzano-Nieves， G.， Quiones-Laracuente， K.， Ramos-Medina， L.， & Quirk， G. J. （2015）. Revisiting the role of infralimbic cortex in fear extinction with optogenetics. Journal of Neuroscience， 35（8）， 3607-3615.

Etkin， A.， Büchel， C.， & Gross， J. J. （2015）. The neural bases of emotion regulation. Nature Reviews Neuroscience， 16（11）， 693-700.

Etkin， A.， Büchel， C.， & Gross， J. J. （2016）. Emotion regulation involves both model-based and model-free processes. Nature Reviews Neuroscience， 17（8）， 532-532.

Etkin， A.， Egner， T.， Peraza， D. M.， Kandel， E. R.， & Hirsch， J. （2006）. Resolving emotional conflict： a role for the rostral anterior cingulate cortex in modulating activity in the amygdala. Neuron， 51（6）， 871-882.

Etkin， A.， Prater， K. E.， Hoeft， F.， Menon， V.， & Schatzberg， A. F. （2010）. Failure of anterior cingulate activation and connectivity with the amygdala during implicit regulation of emotional processing in generalized anxiety disorder. American Journal of Psychiatry， 167（5）， 545-554.

Feeser， M.， Prehn， K.， Kazzer， P.， Mungee， A.， & Bajbouj， M. （2014）. Transcranial direct current stimulation enhances cognitive control during emotion regulation. Brain Stimulation， 7（1）， 105-112.

Fernandez， K. C.， Jazaieri， H.， & Gross， J. J. （2016）. Emotion regulation： a transdiagnostic perspective on a new rdoc domain. Cognitive Therapy & Research， 40（3）， 426-440.

Gallo， I. S.， Keil， A.， Mcculloch， K. C.， Rockstroh， B.， & Gollwitzer， P. M. （2009）. Strategic automation of emotion regulation. Journal of Personality & Social Psychology， 96（1）， 11-31.

Gross， J. J. （1998）. The emerging field of emotion regulation： an integrative review. Review of General Psychology， 2（3）， 271-299.

Gross， J. J. （2013）. Emotion regulation： taking stock and moving forward. Emotion， 13（3）， 359-365.

Gross， J. J. （2015）. Emotion regulation： current status and future prospects. Psychological Inquiry， 26（1）， 1-26.

Gyurak， A.， Gross， J. J.， & Etkin， A. （2011）. Explicit and implicit emotion regulation： a dual-process framework. Cognition & Emotion， 25（3）， 400-412.

Gu， X.， Kirk， U.， Lohrenz， T. M.， & Montague， P. R. （2014）. Cognitive strategies regulate fictive， but not reward prediction error signals in a sequential investment task. Human Brain Mapping， 35（8）， 3738-3749.

Hugues， S.， & Garcia， R. （2007）. Reorganization of learning-associated prefrontal synaptic plasticity between the recall of recent and remote fear extinction memory. Learning &Memory， 14（8）， 520-524.

Lazarus， R. S. （1993）. From psychological stress to the emotions： A history of changing outlooks. Annual Review of Psychology， 44（1）， 1-22.

Li， J.， Schiller， D.， Schoenbaum， G.， Phelps， E. A.， & Daw， N. D. （2011）. Differential roles of human striatum and amygdala in associative learning. Nature Neuroscience， 14（10）， 1250-1252.

Maier， M. E.， & Di， P. G. （2012）. Impaired conflict adaptation in an emotional task context following rostral anterior cingulate cortex lesions in humans. Journal of Cognitive Neuroscience， 24（10）， 2070-2079.

Markov， N. T.， Ercseyravasz， M.， Essen， D. C. V.， Knoblauch， K.， Toroczkai， Z.， & Kennedy， H. （2013）. Cortical high-density counterstream architectures. Science， 342（6158）， 1238406-1238406.

Mcrae， K.， Ciesielski， B.， & Gross， J. J. （2012）. Unpacking cognitive reappraisal： goals， tactics， and outcomes. Emotion， 12（2）， 250-255.

Mcrae， K.， Hughes， B.， Chopra， S.， Gabrieli， J. D. E.， Gross， J. J.， & Ochsner， K. N. （2010）. The neural bases of distraction and reappraisal. Journal of Cognitive Neuroscience， 22（2）， 248-262.

Modha， D. S.， & Singh， R. （2010）. Network architecture of the long-distance pathways in the macaque brain. Proceedings of the National Academy of Sciences of the United States of America， 107（30）， 13485-13490.

Moors， A. （2013）. On the causal role of appraisal in emotion. EmotionReview， 5（2）， 132-140.

Morgan， M. A.， Romanski， L. M.， & Ledoux， J. E. （1993）. Extinction of emotional learning： contribution of medial prefrontal cortex. Neuroscience Letters， 163（1）， 109-113.

Ochsner， K. N.， Silvers， J. A.， & Buhle， J. T. （2012）. Functional imaging studies of emotion regulation： a synthetic review and evolving model of the cognitive control of emotion. Annals of the New York Academy of Sciences， 1251（1）， E1-E24.

Parvizi， J. （2009）. Corticocentric myopia： old bias in new cognitive sciences. Trends in Cognitive Sciences， 13（8）， 354-359.

Palazzolo， D. L.， Shurick， A. A.， Raio， C. M.， Phelps， C. E.， & Orederu， T. A. （2013）. Cognitive emotion regulation fails the stress test. Proceedings of the National Academy of Sciences of the United States of America， 110（37）， 15139-15144.

Pessoa， L. （2017a）. A network model of the emotional brain. Trends in cognitive sciences， 21（5）， 357-371.

Pessoa， L. （2017b）. Do intelligent robots need emotion？ Trends in cognitive sciences， 21（11）， 817-819.

Raio， C. M.， Orederu， T. A.， Palazzolo， L.， Shurick， A. A.， & Phelps， E. A. （2013）. Cognitive emotion regulation fails the stress test. Proceedings of the National Academy of Sciences， 110（37）， 15139-15144.

Raio， C. M.， Goldfarb， E. V.， Lempert， K. M.， & Sokol-Hessner， P. （2016）. Classifying emotion regulation strategies. Nature Reviews Neuroscience， 17（8）， 532.

Rescorla， R. A， & Wagner， AR. （1972）. A theory of Pavlovian conditioning：variations in the effectiveness of reinforcement and non reinforcement. In Black， A. H. & Prokasy， W. F （Eds.）， Classical conditioning II： current researchand theory（pp. 64-99） New York： Appleton-Century-C.

Roseman， I. J. （2013）. Appraisal in the emotion system： Coherencein strategies for coping. Emotion Review， 5（2）， 141-149.

Rutledge， R. B.， Skandali， N.， Dayan， P.， & Dolan， R. J. （2014）. A computational and neural model of momentary subjective well-being. Proceedings of the National Academy of Sciences of the United States of America， 111（33）， 12252-12257.

Sheppes， G.， Suri， G.， & Gross， J. J. （2015）. Emotion regulation and psychopathology. Annual Review of Clinical Psychology， 11（1）， 379-405.

Silvetti， M.， Alexander， W.， Verguts， T.， & Brown， J. W. （2014）. From conflict management to reward-based decision making： actors and critics in primate medial frontal cortex. Neuroscience & Biobehavioral Reviews， 46， 44-57.

Smith， C. A.， & Ellsworth， P. C. （1985）. Patterns of cognitive appraisal in emotion. Journal of Personality and Social Psychology， 48（4）， 813-838.

Smith， C. A.， & Kirby， L. D. （2011）. The role of appraisal andemotion in coping and adaptation. In R. J. Contrada， & A. Baum （Eds. ）， The handbook of stress science： Biology， psychology， and health（pp. 195-208）. New York， NY： Guilford Press.

Smith， C. A.， & Lazarus， R. S. （1990）. Emotion and adaptation. InL. A. Pervin （Ed. ）， Handbook of personality： Theory and research（pp. 609-637）. New York， NJ： Guilford Press.

Staudinger， M. R.， Erk， S.， Abler， B.， & Walter， H. （2009）. Cognitive reappraisal modulates expected value and prediction error encoding in the ventral striatum. Neuroimage， 47（2）， 713-721.

Stroop， J. R. （1935）. Studies of interference in serial verbal reactions. Journal of Experimental Psychology General， 121（1）， 15-23.

Tognoli， E.， & Kelso， J. S. （2014）. The metastable brain. Neuron， 81（1）， 35-48.

Tovote， P.， Fadok， J. P.， & Lüthi， A. （2015）. Neuronal circuits for fear and anxiety. Nature Reviews Neuroscience， 16（6）， 317-331.

Urbain， C.， Sato， J.， Pang， E. W.， & Taylor， M. J. （2017）. The temporal and spatial brain dynamics of automatic emotion regulation in children. Developmental Cognitive Neuroscience， 26（C）， 62-68.

Watanabe， N.， Sakagami， M.， & Haruno， M. （2013）. Reward prediction error signal enhanced by striatum-amygdala interaction explains the acceleration of probabilistic reward learning by

emotion. Journal of Neuroscience， 33（10）， 4487-4493.

Yang， Q.， Tang， P.， Gu， R.， Luo， W.， & Luo， Y. J. （2015）. Implicit emotion regulation affects outcome evaluation. Social Cognitive Affective Neuroscience， 10（6）， 824-831.

Yih， J.， Uusberg， A.， Taxer， J. L.， & Gross， J. J. （2018）. Better together： a unified perspective on appraisal and emotion regulation. Cognition and Emotion， 1-7.

Yuan， J.， Ding， N.， Liu， Y.， & Yang， J. （2015）. Unconscious emotion regulation： nonconscious reappraisal decreases emotion-related physiological reactivity during frustration. Cognition and Emotion， 29（6）， 1042-1053.

Ziemke， T.， & Lowe， R. （2009）. On the role of emotion in embodied cognitive architectures： From organisms to robots. Cognitive Computation， 1（1）， 104-117.