摘 要 根據(jù)控制的預(yù)期價值(expected value of control, EVC)模型,回報與代價通過調(diào)節(jié)動機共同影響認(rèn)知控制的實施與分配(即回報- 代價權(quán)衡)。在EVC 模型外,還有許多探究動機相關(guān)因素如何影響認(rèn)知控制的研究。文章首先總結(jié)梳理了可被視為回報或代價的因素及相關(guān)的實證證據(jù);其次,基于回報- 代價權(quán)衡簡要討論二者如何共同影響認(rèn)知控制;最后提出未來研究可以從客觀(優(yōu)化權(quán)衡的計算模型)與主觀(個體差異)兩個方面更全面地解析回報- 代價的權(quán)衡過程,以實現(xiàn)對認(rèn)知控制的有效調(diào)控與精準(zhǔn)干預(yù)。
關(guān)鍵詞 認(rèn)知控制 EVC 模型 回報 代價 回報- 代價權(quán)衡
1 引言
認(rèn)知控制是個體處理信息、執(zhí)行任務(wù)和解決問題所需的重要心理過程(Miller amp; Cohen, 2001),可以幫助個體在不同情境中進行注意和認(rèn)知資源的分配,以更好地實現(xiàn)目標(biāo)。在實驗室中,沖突和錯誤的出現(xiàn)促使個體動態(tài)調(diào)整認(rèn)知控制水平(張孟可等, 2021; Botvinick et al., 2001; Li et al., 2021)。個體根據(jù)不同任務(wù)情境的需求分配與調(diào)控控制的過程反映了認(rèn)知控制實施的靈活性與動態(tài)性,也體現(xiàn)了個體動機水平的變化(Botvinick amp; Braver, 2015),說明在認(rèn)知控制能力外,個體對于在何種情境下需要實施多少認(rèn)知控制的判斷也與其主觀意愿有關(guān)。
那么,個體是如何決定是否、什么時候、以何種方式施加以及施加多強的認(rèn)知控制的?對此,Shenhav 等人(2013)提出了控制的預(yù)期價值模型(expected value of control, EVC),并將這一過程視為基于價值的決策。由于認(rèn)知控制的實施需要努力的投入(Kool et al., 2010),在決策過程中,其價值不僅來自實現(xiàn)任務(wù)目標(biāo)所帶來的積極回報,還源自認(rèn)知資源消耗伴隨的消極代價(Westbrook amp; Braver,2015)?;诖?,EVC 模型使用監(jiān)測、配置與實施三個成分解釋了價值決策如何決定認(rèn)知控制的實施。其中,監(jiān)測成分旨在監(jiān)測任務(wù)情境中與認(rèn)知控制需求相關(guān)的沖突信息、情境信息(如錯誤與反饋)及任務(wù)配置等信號的動態(tài)變化。這些信號提示了達(dá)成預(yù)期任務(wù)目標(biāo)需要的控制水平,配置成分據(jù)此指明當(dāng)前情境所需的控制信號對象及強度。個體在實施階段完成相應(yīng)控制的分配與調(diào)節(jié),將控制信號轉(zhuǎn)換為行為輸出,以實現(xiàn)任務(wù)目標(biāo)。在這三個成分相互作用的過程中,個體通過“預(yù)期價值”最大化的計算(即盡可能以最少的付出獲得最多的回報)來調(diào)節(jié)控制強度。“預(yù)期價值”指投入認(rèn)知控制可能帶來的預(yù)期回報與代價間的差值(即回報—代價)。如圖1 所示,隨著控制強度的增加,預(yù)期回報呈“S”型單調(diào)增加(深灰色曲線),而預(yù)期代價單調(diào)遞增(淺灰色曲線)。綜合預(yù)期回報與代價,控制的“預(yù)期價值”即為二者的差值——EVC 值(黑色曲線),最大EVC 值(如點a)對應(yīng)最優(yōu)的控制強度。
EVC 模型從價值決策視角解析了認(rèn)知控制實施的動態(tài)變化過程,回報與代價作為其中的兩個關(guān)鍵因素,通過影響個體的動機水平實現(xiàn)了對認(rèn)知控制的動態(tài)調(diào)控。然而,從EVC 模型提出至今,還有很多探究動機相關(guān)因素如何影響認(rèn)知控制的研究:外在(狀態(tài))或內(nèi)在(特質(zhì))動機因素的操縱影響了實施控制所產(chǎn)生的回報與(或)代價,反映了個體通過評估實驗任務(wù)中的回報與代價調(diào)節(jié)認(rèn)知控制的過程。據(jù)此,為更好地解析認(rèn)知控制實施過程中可能存在的回報與代價,從根本上理解認(rèn)知控制過程的調(diào)控因素,本文基于回報- 代價框架,進一步梳理了存在于認(rèn)知控制實施過程中的回報與代價因素及相關(guān)的實證研究證據(jù),并探討二者如何共同影響認(rèn)知控制。
2 認(rèn)知控制實施過程中的回報
任務(wù)回報是調(diào)控認(rèn)知控制的一個重要因素,能夠提升個體的動機水平、激發(fā)個體投入更多的認(rèn)知資源(Botvinick amp; Braver, 2015),并通過調(diào)節(jié)感知覺皮層的活動增強注意的靈活性(Engelmann et al., 2009;Padmala amp; Pessoa, 2011)、降低任務(wù)轉(zhuǎn)換代價(Bahlmannet al., 2015),以此促進任務(wù)表現(xiàn)?;貓蟀ㄍ庠诨貓螅ㄊ乘⒔疱X等)與內(nèi)在回報(好奇心的滿足、自主感、樂趣等)(Morris et al., 2022)。
2.1 外在回報
2.1.1 外在回報對認(rèn)知控制的促進作用
在以人類為被試的研究中,外在回報多指與當(dāng)前任務(wù)表現(xiàn)相關(guān)或無關(guān)的金錢獎賞。通過直接操縱金錢獎賞,研究者們比較了不同獎賞條件下個體的任務(wù)表現(xiàn)差異,以此探究外在回報對認(rèn)知控制的影響。大量實證研究表明,與任務(wù)表現(xiàn)相關(guān)的金錢獎賞在多數(shù)情境下可以提升認(rèn)知控制,表現(xiàn)為任務(wù)準(zhǔn)確性提升和反應(yīng)時縮短:在轉(zhuǎn)換任務(wù)中,金錢獎賞降低了任務(wù)轉(zhuǎn)換代價(Bahlmann et al., 2015),體現(xiàn)了認(rèn)知靈活性的增強;在反應(yīng)抑制相關(guān)任務(wù)中,金錢獎賞降低了沖突任務(wù)中的一致性效應(yīng)(Aarts et al.,2014; Padmala amp; Pessoa, 2011),也降低了Go/NoGo與Stop-Signal 任務(wù)中的犯錯率(Boehler et al., 2012;Dixon amp; Christoff, 2012),表明抑制控制的提升;在AX-CPT 任務(wù)中,金錢獎賞強化了個體對目標(biāo)線索的反應(yīng),反映了主動性控制的增強(Locke amp; Braver,2008)。除了金錢獎賞,另有一些研究探究了其他形式的外在回報對認(rèn)知控制的影響。例如,果汁可以進一步強化金錢獎賞對認(rèn)知控制的促進作用(Yeeet al., 2016),與任務(wù)表現(xiàn)相關(guān)的社會性或情緒性獎賞可以提升個體的認(rèn)知控制投入水平(Prével et al.,2021; Sharp et al., 2022),且這種促進在不同類型的外在回報間(果汁、社會/情緒性獎賞)具有疊加效應(yīng)。
根據(jù)EVC 模型的回報- 代價權(quán)衡框架(Shenhavet al., 2013),若不考慮認(rèn)知代價(如圖2 中的淺灰色曲線)的影響,上述外在回報因素主要通過回報曲線影響“預(yù)期價值”,進而促進認(rèn)知控制過程(如圖2):隨著外在回報的增加,回報曲線上移(深灰色虛線→深灰色實線),“預(yù)期價值”隨之增大(垂直黑色虛線→垂直黑色實線),控制水平增強(a → b),任務(wù)表現(xiàn)得以提升。
2.1.2 影響外在回報對認(rèn)知控制調(diào)控效果的其他因素
外在回報對認(rèn)知控制的促進作用并非無條件的,還有其他因素調(diào)節(jié)了這一過程,這些調(diào)節(jié)因素的存在也對EVC 模型提出了新的挑戰(zhàn)。
(1)任務(wù)情境。在不同的任務(wù)情境中,相同價值的外在回報對認(rèn)知控制的促進程度不同(Leng etal., 2021; Otto amp; Vassena, 2021),這可能是由于任務(wù)情境中的獎賞豐富性影響了個體對外在回報相對價值的感知(Hassall et al., 2022)。相較獎賞機會更多(獎賞豐富)的任務(wù)情境,在獎賞機會更少(獎賞匱乏)的任務(wù)情境中,等量的金錢獎賞激活了更大的獎賞正波(reward positivity, RewP),表明其相對價值更高,因此可以更好地提升認(rèn)知控制、降低任務(wù)轉(zhuǎn)換代價(Otto amp; Vassena, 2021)。此外,不同任務(wù)情境還可以激發(fā)個體不同的反應(yīng)模式。與獎賞類似,懲罰是影響個體任務(wù)回報的另一種外在因素,它也可以提升認(rèn)知控制(Stürmer, 2011)。然而,個體在獎賞與懲罰情境下提升認(rèn)知控制的方式不同:獎賞情境下,為增加金錢收益,個體會投入更多認(rèn)知資源;而懲罰情境下,為避免金錢損失,個體的反應(yīng)更加謹(jǐn)慎(Leng et al., 2021)。在腦活動層面,相比于懲罰,在獎賞調(diào)節(jié)認(rèn)知控制的過程中,與“預(yù)期價值”計算密切相關(guān)的前側(cè)扣帶回也有更強的激活(Cubilloet al., 2019),說明獎賞與懲罰可能以不同的方式影響個體對“預(yù)期價值”的評估。
(2)任務(wù)表現(xiàn)相關(guān)性。van Steenbergen等人(2012)發(fā)現(xiàn),沖突任務(wù)中呈現(xiàn)的隨機獎賞提升了被試的積極情緒,進而阻礙沖突在試次間的動態(tài)調(diào)控,降低沖突適應(yīng)。因此,與任務(wù)表現(xiàn)無關(guān)的金錢獎賞更多地誘發(fā)了被試的積極情緒,而非激活更強的動機水平(Notebaert amp; Braem, 2015)。當(dāng)情緒性刺激與任務(wù)表現(xiàn)相關(guān)時,其可被視為一種獎賞信息,通過影響動機系統(tǒng)增強認(rèn)知控制(Grahek et al., 2020; Prével etal., 2021);當(dāng)其與任務(wù)表現(xiàn)無關(guān)時,則主要通過情緒加工系統(tǒng)影響認(rèn)知控制(楊倩, 2022; Dignath et al.,2020)。因此,外在回報和任務(wù)表現(xiàn)間的相關(guān)性可能通過動機系統(tǒng)(回報與任務(wù)表現(xiàn)相關(guān))或情緒系統(tǒng)(回報與任務(wù)表現(xiàn)無關(guān))對控制的實施過程施加影響(Chiew, 2021)。
(3)獎賞敏感性的個體差異。獎賞敏感性反映了不同個體對渴求目標(biāo)的持續(xù)性追求程度的高低,其大小可以通過行為激活系統(tǒng)量表(BAS, Carveramp; White, 1994)中的驅(qū)動性子量表測量。相關(guān)研究發(fā)現(xiàn),其得分與外在獎賞對認(rèn)知控制的提升效應(yīng)呈顯著正相關(guān)(Engelmann et al., 2009; Padmala amp;Pessoa, 2011),說明外在獎賞的提升效應(yīng)與個體的獎賞敏感性有關(guān)。此外,獎賞敏感性得分還與反映個體動機的多巴胺水平呈顯著正相關(guān)(Davis et al.,2008)。其中,多巴胺的合成能力決定了認(rèn)知控制在多大程度上受到外在獎賞的調(diào)節(jié):當(dāng)個體的多巴胺合成能力更高時,外在獎賞可以更好地促進個體在沖突任務(wù)中的認(rèn)知控制投入,從而降低沖突效應(yīng)(Aarts et al., 2014)。上述結(jié)果共同表明,外在獎賞對認(rèn)知控制的促進作用受到個體獎賞敏感性的調(diào)節(jié),反映了個體在多大程度上可以將外在獎賞視為一個動力因子。
2.2 內(nèi)在回報
在另一些情境中,即便沒有外在回報,個體仍然積極地參與任務(wù)、持續(xù)地付出努力并實施控制。例如,個體會主動地探索身處的環(huán)境、自發(fā)進行游戲等活動(Berlyne, 1966),以滿足自身需要(好奇、興趣、自主性、成就感等;Chew et al., 2021),并得到來自完成任務(wù)本身的回報——內(nèi)在回報(Cromwell et al., 2020; Kruglanski et al., 2018)。不同于外在回報的直接操縱,內(nèi)在回報的操縱與測量方式更為間接(Morris et al., 2022)。相關(guān)研究表明,個體會在自由選擇時表現(xiàn)出滿足好奇心(選擇探索任務(wù)情境和獲取任務(wù)信息的選項; Charpentier etal., 2018)或滿足自主感(選擇結(jié)果由自己而非電腦算法決定的任務(wù); Wang amp; Delgado, 2019)的傾向和偏好。在上述過程中,獎賞加工和主觀價值表征的相關(guān)腦區(qū)活動增強(Huskey et al., 2018; Wang amp;Delgado, 2019),說明內(nèi)在回報具有獎賞性質(zhì)(Chewet al., 2021; Morris et al., 2022)。因此,類似于外在回報,內(nèi)在回報同樣可以通過評估“預(yù)期價值”來影響認(rèn)知控制的實施。
個體在追求內(nèi)在回報時會產(chǎn)生積極的主觀情緒體驗(Huskey et al., 2018)。據(jù)此,研究者們通過考察個體在無外在獎賞情境下,完成不同認(rèn)知負(fù)荷水平任務(wù)所產(chǎn)生的積極情緒等主觀感受的差異來探究內(nèi)在回報對認(rèn)知控制的影響及作用機制(Otto et al.,2022; Sandra amp; Otto, 2018)。相關(guān)研究發(fā)現(xiàn),在沖突任務(wù)中,相比于一致試次,被試在成功解決任務(wù)難度更高的不一致試次(沖突)后報告了更多的積極情緒(Schouppe et al., 2015),表明被試在此條件下獲得了更多的內(nèi)在回報。類似地,認(rèn)知需求(needfor cognition, NFC)描述了個體完成高難度認(rèn)知任務(wù)時所付出的努力及從中獲得的滿足感,反映了認(rèn)知任務(wù)中個體間動機水平的特質(zhì)性差異(Cacioppo etal., 1996; Fleischhauer et al., 2010),可被視為一種內(nèi)在回報。據(jù)此,研究者們通過比較高/ 低NFC 個體的任務(wù)表現(xiàn)來探究內(nèi)在回報對認(rèn)知控制的影響。相關(guān)結(jié)果發(fā)現(xiàn)認(rèn)知需求可以調(diào)節(jié)個體在不同認(rèn)知負(fù)荷/ 難度任務(wù)中的控制水平:在認(rèn)知努力折扣范式中,相較低NFC 個體,高NFC 個體更不易受任務(wù)難度的影響,并會更多地主動選擇記憶量更大的N-back任務(wù)(Westbrook et al., 2013);在語音理解任務(wù)中,高NFC 個體投入了更多的認(rèn)知努力,且更少地受到外在回報的調(diào)節(jié)(Zhang et al., 2022)。由此說明,內(nèi)在回報(NFC)可以提升認(rèn)知控制。
3 認(rèn)知控制實施過程中的代價
認(rèn)知控制的實施與“預(yù)期價值”有關(guān),而“預(yù)期價值”是實施控制所獲得的預(yù)期回報與其產(chǎn)生的代價(即認(rèn)知控制代價)相權(quán)衡的產(chǎn)物。認(rèn)知控制代價在不同任務(wù)情境中的表現(xiàn)形式不同,包括與放棄其他認(rèn)知任務(wù)所能獲得的回報有關(guān)的機會成本(Kurzban et al., 2013)、與控制模式在不同狀態(tài)及分配水平間進行調(diào)整有關(guān)的調(diào)整代價(Grahek et al.,2023)、與實施控制所投入的認(rèn)知努力有關(guān)的努力代價(Shenhav et al., 2013, 2017)等。其中,努力代價可能是導(dǎo)致個體減少認(rèn)知控制投入的根本原因(André et al., 2019),主要表現(xiàn)為個體對高控制需求任務(wù)的回避及對“預(yù)期價值”主觀評估的降低。
3.1 努力代價導(dǎo)致認(rèn)知回避
早期經(jīng)濟學(xué)領(lǐng)域的研究指出,由于認(rèn)知活動(如思考)具有高昂的(costly)代價,個體往往通過減少認(rèn)知付出來降低代價(Camerer amp; Hogarth,1999)。類似地,心理學(xué)領(lǐng)域的研究者提出了“最少心理努力原則”:在其他條件相等的情況下,個體傾向于選擇那些能夠最大程度減少認(rèn)知努力付出的任務(wù)(Botvinick, 2007)。例如,在一系列需求選擇任務(wù)中,當(dāng)其他條件保持相等時,被試傾向于選擇低認(rèn)知需求任務(wù)而回避高認(rèn)知需求任務(wù)(Kool amp;Botvinick, 2018)。在面對高低沖突水平(80% 不一致 vs. 20% 不一致)的Stroop 任務(wù)時,被試會更多地選擇低沖突水平條件(Schouppe et al., 2014)。在轉(zhuǎn)換任務(wù)中,被試傾向于選擇“重復(fù)”而非“轉(zhuǎn)換”任務(wù)(Arrington amp; Logan, 2004; Vermeylen et al.,2022);在高頻或低頻的轉(zhuǎn)換任務(wù)間做選擇時,他們也更偏好低頻的任務(wù)轉(zhuǎn)換(Kool et al., 2010),因為相較“重復(fù)”與“低頻轉(zhuǎn)換”任務(wù),“轉(zhuǎn)換”與“高頻轉(zhuǎn)換”任務(wù)需要啟動更高水平的認(rèn)知控制,付出更多的努力。上述與努力回避有關(guān)的現(xiàn)象均反映了努力代價的存在。根據(jù)腦成像的結(jié)果,隨著控制需求水平的提升,額頂控制網(wǎng)絡(luò)的活動增加,由此導(dǎo)致的努力回避降低了獎賞加工腦區(qū)的活動;相應(yīng)地,與任務(wù)“負(fù)激活”相關(guān)的默認(rèn)模式網(wǎng)絡(luò)的活動預(yù)測了努力回避行為的變化(Sayal? amp; Badre, 2019)。由此說明,努力代價削弱了外在回報價值,使得個體更少地投入認(rèn)知任務(wù)。
3.2 努力代價降低“預(yù)期價值”
努力投入通常伴隨負(fù)性情緒(如厭惡)的產(chǎn)生(Kurzban, 2016; Saunders et al., 2017),皺眉肌作為負(fù)性情緒的敏感性指標(biāo),其活動可以間接表征努力投入所產(chǎn)生的代價(Dreisbach amp; Fischer, 2012)。因此,在認(rèn)知控制的實施過程中,努力代價可能體現(xiàn)在與施加認(rèn)知控制相關(guān)的主觀努力的體驗中(Botvinick amp;Braver, 2015; Shenhav et al., 2017),反映個體對努力代價的主觀價值的評估。據(jù)此,Westbrook 等人(2013)設(shè)計了認(rèn)知努力折扣范式來量化努力代價,以更好地探究其對認(rèn)知控制的影響。具體而言,被試需在預(yù)期價值不斷變化的“高獎賞- 困難任務(wù)”和“低獎賞- 簡單任務(wù)”之間進行選擇,努力的主觀代價可以通過計算獎賞折扣的主觀價值來量化。結(jié)果發(fā)現(xiàn),被試更多地選擇了“低獎賞- 簡單任務(wù)”,而“高獎賞-困難任務(wù)”的主觀價值隨所需努力投入的增加而降低,表明被試傾向于降低外在回報來回避努力投入,因為他們主觀夸大了努力的代價,從而產(chǎn)生了努力折扣(易偉等, 2019; Westbrook amp; Braver, 2015)。當(dāng)進一步考察調(diào)控這一過程的因素時發(fā)現(xiàn),與認(rèn)知控制決策有關(guān)的神經(jīng)介質(zhì)(如多巴胺、去甲腎上腺素和腎上腺素等)可以增加個體對認(rèn)知努力回報和代價的敏感性,放大回報相對于代價在決策早期的影響(或權(quán)重),進而通過增強認(rèn)知努力動機提升認(rèn)知控制(Westbrooket al., 2020, 2021)。
4 “回報- 代價”權(quán)衡影響認(rèn)知控制過程的可能機制
回報與代價對認(rèn)知控制的影響并非獨立,而是通過“回報- 代價”權(quán)衡的方式共同調(diào)節(jié)認(rèn)知控制過程。例如,在算術(shù)任務(wù)中,表征努力代價的皺眉肌活動在預(yù)期要解決更復(fù)雜的算術(shù)問題時增強;而當(dāng)解決這些問題可以獲得更高的獎賞時,皺眉肌活動又顯著降低(Devine et al., 2023)。在自由選擇轉(zhuǎn)換任務(wù)中,當(dāng)無外在獎賞時,被試更多地選擇簡單的“重復(fù)”任務(wù);而當(dāng)完成困難任務(wù)有外在獎賞時,被試對需要認(rèn)知控制參與的“轉(zhuǎn)換”任務(wù)的選擇概率提升(Fr?ber amp; Dreisbach, 2016)。在多階段強化學(xué)習(xí)中,個體可以通過兩種基于獎賞的決策策略來進行強化學(xué)習(xí)。其中,基于模型的策略是一種目標(biāo)導(dǎo)向的計劃決策:個體會根據(jù)先前選擇所獲得的獎賞金額及概率綜合做出當(dāng)前決策選擇,以提升獲得獎賞的可能性及獎賞金額,即個體需要將更多的努力投入認(rèn)知計算(認(rèn)知代價高)。無模型的策略是一種依賴于習(xí)慣或直接經(jīng)驗的決策:個體會直接重復(fù)先前獲得獎賞的選擇而忽視獲得獎賞概率的大小,需要較少的認(rèn)知計算(認(rèn)知代價低)。相關(guān)研究發(fā)現(xiàn),認(rèn)知努力代價較高的個體傾向于使用無模型策略;而當(dāng)獎賞進一步增加時,行為選擇表現(xiàn)出更多的基于模型的策略控制(Kool amp; Botvinick, 2018; Kool etal., 2017),說明回報與代價以整合的方式影響了個體的策略選擇。
綜上,代價在一定程度上削弱了努力投入,降低了認(rèn)知控制。在此基礎(chǔ)上進一步增加回報時,個體更愿意投入到需要付出更多努力的控制任務(wù)中,說明回報可以削弱(甚至抵消)代價對認(rèn)知控制實施所產(chǎn)生的消極影響,反映了個體在實施認(rèn)知控制過程中對預(yù)期回報和代價所做出的綜合評估。因此,基于回報- 代價的權(quán)衡是一個持續(xù)的動態(tài)過程,并且受到個體主觀因素的影響(Inzlicht amp; Schmeichel, 2012);相應(yīng)地,認(rèn)知控制的實施與調(diào)控也是一個動態(tài)更迭的過程,需要同時考慮主體狀態(tài)、環(huán)境和動機等因素在此過程中的作用(Bustamante, 2022)。
4.1 基于主觀“回報- 代價”權(quán)衡的努力價值計算
認(rèn)知控制實施過程中的回報- 代價權(quán)衡之所以受到主體因素的影響,主要緣于努力投入的兩面性:一方面,在努力投入前,代價會削弱努力投入可能獲得回報的預(yù)期價值;另一方面,努力本身具有價值,而且在努力投入后,個體往往賦予努力回報更多的價值(曹思琪等, 2022)。因此,個體對努力結(jié)果的評價受到個體對努力投入的主觀偏好的綜合影響,即更看重努力產(chǎn)生的代價(負(fù)性評價)還是更看重努力帶來的回報(正性評價)(Inzlicht et al.,2018; Kool amp; Botvinick, 2018),這一過程受到個體對回報與代價敏感度(Westbrook et al., 2020)及沖動水平(Frob?se et al., 2020)的調(diào)節(jié)。
DPOWER 模型(dual-system power model)結(jié)合實驗數(shù)據(jù)構(gòu)建了關(guān)于努力投入與努力結(jié)果的主觀價值的函數(shù)關(guān)系。如圖3A,二者既可能存在單調(diào)的函數(shù)關(guān)系:當(dāng)個體對努力投入呈正性評價時,主觀價值隨努力投入的增加而增加(深灰色虛線);當(dāng)個體對努力投入呈負(fù)性評價時,主觀價值隨努力投入的增加而降低(淺灰色虛線)。由于個體對努力結(jié)果的偏好可能會因努力需求而改變,函數(shù)關(guān)系也可能因個人能力的限制而出現(xiàn)反轉(zhuǎn):若個體最初對努力呈負(fù)性評價,當(dāng)努力值達(dá)到一定水平后,隨著努力投入的持續(xù)增加,他們對努力的偏好逐漸由代價變?yōu)榛貓?,評價隨之由負(fù)性轉(zhuǎn)為正性,價值函數(shù)相應(yīng)地由單減轉(zhuǎn)為單增(淺灰色點線);反之,若個體最初對努力呈正性評價,當(dāng)努力值達(dá)到閾限后,隨著努力投入的持續(xù)增加,他們對努力的偏好逐漸由回報變?yōu)榇鷥r,評價隨之由正性轉(zhuǎn)為負(fù)性,價值函數(shù)由單增轉(zhuǎn)為單減(深灰色點線)(Marcowski et al., 2023)。
因此,在認(rèn)知控制的實施過程中,基于預(yù)期價值的評估在一定程度上反映了個體愿意投入多少努力(Inzlicht amp; Schmeichel, 2012)。如圖3B,若用努力投入水平表征控制信號強度,代價和回報對認(rèn)知控制的影響可以通過衡量努力投入的主觀回報值與主觀代價值之差——主觀預(yù)期價值(即主觀EVC)來實現(xiàn)。其大小在一定范圍內(nèi)代表努力水平的高低(如陰影部分):當(dāng)“主觀回報值”(深灰色曲線)大于“主觀代價值”(淺灰色曲線)時,“主觀EVC”(黑色曲線)大于0,個體愿意付出努力(實施認(rèn)知控制);當(dāng)主觀回報值與主觀代價值的差值最大,即“主觀EVC”最大時(黑色曲線最高點a),對應(yīng)的努力水平為當(dāng)前情境下個體可以投入的最優(yōu)控制強度;當(dāng)“主觀回報值” 等于 “主觀代價值”,即“主觀EVC”等于0 時(深灰色曲線與淺灰色曲線交點b),對應(yīng)的努力水平為當(dāng)前情境下個體可能付出的最大努力。在此之后,“主觀代價值” 大于 “主觀回報值”,即“主觀EVC”小于0 時,個體將不再愿意付出努力。
4.2 “回報- 代價”權(quán)衡在控制過程中的動態(tài)更迭
回報與代價的權(quán)衡是一個動態(tài)調(diào)整的過程。在需要認(rèn)知控制參與的任務(wù)中,個體在每次實施控制后,會根據(jù)任務(wù)表現(xiàn)的相關(guān)因素(反饋、任務(wù)轉(zhuǎn)換率、反應(yīng)時和錯誤率等)更新對于回報與代價預(yù)期價值的評估,進而優(yōu)化控制的配置(Musslick et al., 2015;Sayal? amp; Badre, 2021)。依此邏輯,研究者指出個體能力與任務(wù)情境等因素可以作為動態(tài)調(diào)整依據(jù),分別在特定任務(wù)中與不同任務(wù)情境間動態(tài)調(diào)節(jié)個體的控制配置。
在特定任務(wù)中,回報與代價權(quán)衡的動態(tài)調(diào)整與個人能力有關(guān)。Masís 等人(2021)指出,能力的高低在一定程度上反映了個體在多大程度上可以自動化地完成當(dāng)下的任務(wù)(又稱“自動性”),并提出LEVC(learning expected value of control)模型。完成任務(wù)的“自動性”(通過學(xué)習(xí)或訓(xùn)練)可以提升個體對伴隨任務(wù)完成所產(chǎn)生的回報價值評估,進而改變對“預(yù)期價值(即EVC)”的評估,調(diào)節(jié)認(rèn)知控制的分配。如圖3C,隨著“自動性”的提高,獲得相等甚至更高水平的預(yù)期價值(縱坐標(biāo))需要的控制強度(橫坐標(biāo))更低。這解釋了在沒有外在回報的情境下,個體為什么依然選擇實施認(rèn)知控制,或為了能在未來獲得更大的回報而在當(dāng)下選擇需要更多努力投入而回報更少的任務(wù)(Inzlicht etal., 2018; Masís et al., 2021)。在不同任務(wù)情境下,LVOC(learned value of control)模型提出,個體可以根據(jù)任務(wù)情境的特征來學(xué)習(xí)和評估預(yù)期價值并實施相應(yīng)的控制(Lieder et al., 2018)。若任務(wù)中的某個刺激特征與獎賞相關(guān),那么個體會賦予那些與該刺激具有相似特征的任務(wù)情境更多的回報價值。這一過程體現(xiàn)了基于實施控制的預(yù)期價值評估在具有相同或相似特征的情境間的遷移,以此更新新情境下產(chǎn)生的預(yù)期價值(Bustamante et al., 2021)。因此,個體可以根據(jù)以往任務(wù)的經(jīng)驗,在類似的任務(wù)情境中動態(tài)配置最優(yōu)的控制,實現(xiàn)了認(rèn)知控制在不同任務(wù)情境下的動態(tài)遷移與調(diào)整。
5 總結(jié)與展望
根據(jù)EVC 模型,回報與代價是影響認(rèn)知控制實施與動態(tài)調(diào)控的關(guān)鍵因素,個體對于回報- 代價的權(quán)衡影響了他們實施認(rèn)知控制的動機水平。據(jù)此,本文梳理了可被視為回報或代價的因素及相關(guān)的實證研究證據(jù)。在此基礎(chǔ)上,分別從回報- 代價權(quán)衡過程的主觀性與動態(tài)性兩個方面探討了二者對認(rèn)知控制的共同影響。由于回報- 代價的權(quán)衡過程較為復(fù)雜且在很大程度上受到個體因素的影響,為更深入地理解這一權(quán)衡過程、更好地實現(xiàn)對認(rèn)知控制的有效調(diào)控和精準(zhǔn)干預(yù),未來的研究可以考慮從客觀與主觀兩個方面進一步解析回報-代價權(quán)衡的過程。
客觀方面,完善“回報- 代價”權(quán)衡的計算模型。研究者們已基于權(quán)衡的更迭構(gòu)建了相關(guān)模型,但大多側(cè)重于回報價值的變化(如LEVC 模型、LVOC模型)而忽略了代價的更迭。實際上,代價價值也是不斷變化的,如調(diào)整代價的動態(tài)模型指出,代價會隨控制調(diào)整可用時間的減少、調(diào)整頻率的增加而變大(Grahek et al., 2023)。并且,回報與代價的更迭可能是同時進行的,例如,需要認(rèn)知控制參與的學(xué)習(xí)過程既可以提升(外在及/ 或內(nèi)在)回報,又因自動化水平的提升而降低代價。因此,未來的研究可以以更加整合的方式,同時考慮任務(wù)情境(或目標(biāo))、任務(wù)難度、任務(wù)表現(xiàn)等因素對回報與代價的共同影響,構(gòu)建更加完善的權(quán)衡模型。
主觀方面,納入個體差異因素考察“回報- 代價”權(quán)衡。如前所述,與外在回報相關(guān)的獎賞敏感性、與內(nèi)在回報相關(guān)的內(nèi)在動機及認(rèn)知需求水平、與代價相關(guān)的機會成本等因素在不同個體間有很大的差異(Aarts et al., 2014; Kurzban et al., 2013; Sandraamp; Otto, 2018),反映了個體賦予回報與代價不同的權(quán)重。那么,當(dāng)不同個體面對相同的任務(wù)目標(biāo)時,除認(rèn)知控制能力差異外,上述個體差異(獎賞敏感性、認(rèn)知需求、內(nèi)在動機、機會成本)在多大程度上可以解釋基于認(rèn)知控制的任務(wù)表現(xiàn)差異?未來的研究可以就此問題深入探究,并從動機視角進一步明確影響回報- 代價權(quán)衡的其他個體差異因素。這同時提示,未來的相關(guān)研究在考察狀態(tài)性情境因素對認(rèn)知控制的影響時,需要控制回報與代價相關(guān)的個體差異因素的影響。
參考文獻
曹思琪, 湯晨晨, 伍海燕, 劉勛. (2022). 價值計算決定何時與如何努力. 心
理科學(xué)進展, 30 (4), 877-887.
楊倩. (2022). 負(fù)性情緒在沖突適應(yīng)中的作用機制: 分離與整合視角. 心理
科學(xué)進展, 30 (8), 1844-1855.
易偉, 梅淑婷, 鄭亞. (2019). 努力: 成本還是獎賞? 心理科學(xué)進展, 27 (8),
1439-1450.
張孟可, 李晴, 尹首航, 陳安濤. (2021). 沖突水平的變化誘發(fā)沖突適應(yīng). 心
理學(xué)報, 53 (2), 128-138.
Aarts, E., Wallace, D. L., Dang, L. C., Jagust, W. J., Cools, R., amp; D’Esposito,
M. (2014). Dopamine and the cognitive downside of a promised bonus.
Psychological Science, 25 (4), 1003-1009.
André, N., Audiffren, M., amp; Baumeister, R. F. (2019). An integrative model of
effortful control. Frontiers in Systems Neuroscience, 13, Article 79.
Arrington, C. M., amp; Logan, G. D. (2004). The cost of a voluntary task switch.
Psychological Science, 15 (9), 610-615.
Bahlmann, J., Aarts, E., amp; D’Esposito, M. (2015). Influence of motivation on
control hierarchy in the human frontal cortex. Journal of Neuroscience, 35 (7),
3207-3217.
Berlyne, D. E. (1966). Curiosity and exploration: Animals spend much of their time
seeking stimuli whose significance raises problems for psychology. Science,
153 (3731), 25-33.
Boehler, C. N., Hopf, J. M., Stoppel, C. M., amp; Krebs, R. M. (2012). Motivating
inhibition - reward prospect speeds up response cancellation. Cognition,
125 (3), 498-503.
Botvinick, M., amp; Braver, T. (2015). Motivation and cognitive control: From behavior
to neural mechanism. Annual Review of Psychology, 66(1), 83-113.
Botvinick, M. M. (2007). Conflict monitoring and decision making: Reconciling
two perspectives on anterior cingulate function. Cognitive, Affective, and
Behavioral Neuroscience, 7 (4), 356-366.
Botvinick, M. M., Braver, T. S., Barch, D. M., Carter, C. S., amp; Cohen, J. D. (2001).
Conflict monitoring and cognitive control. Psychological Review, 108 (3), 624-
652.
Bustamante, L., Lieder, F., Musslick, S., Shenhav, A., amp; Cohen, J. (2021). Learning
to overexert cognitive control in a Stroop task. Cognitive, Affective, and
Behavioral Neuroscience, 21 (3), 453-471.
Bustamante, L. A. (2022). Quantifying individual differences in the cost of cognitive
and physical effort in humans (Unpublished doctorial dissertation). Princeton
University.
Bialaszek, W., amp; Winkielman, P. (2023). Modeling the Effort Paradox: Effort can
have positive and negative impact on outcome value within an individual,
across individuals, and across choice contexts (preprint)
Cacioppo, J. T., Petty, R. E., Feinstein, J. A., amp; Jarvis, W. B. G. (1996).
Dispositional differences in cognitive motivation: The life and times of
individuals varying in need for cognition. Psychological Bulletin, 119 (2), 197-
253.
Camerer, C. F., amp; Hogarth, R. M. (1999). The effects of financial incentives in
experiments: A review and capital-labor-production framework. Journal of
Risk and Uncertainty, 19 (1), 7-42.
Carver, C. S., amp; White, T. L. (1994). Behavioral inhibition, behavioral activation,
and affective responses to impending reward and punishment: The BIS/BAS
scales. Journal of Personality and Social Psychology, 67(2), 319-333.
Charpentier, C. J., Bromberg-Martin, E. S., amp; Sharot, T. (2018). Valuation of
knowledge and ignorance in mesolimbic reward circuitry. Proceedings of
the National Academy of Sciences of the United States of America, 115 (31),
E7255-E7264.
Chew, B., Blain, B., Dolan, R. J., amp; Rutledge, R. B. (2021). A neurocomputational
model for intrinsic reward. The Journal of Neuroscience, 41(43), 8963-8971.
Chiew, K. S. (2021). Revisiting positive affect and reward influences on cognitive
control. Current Opinion in Behavioral Sciences, 39, 27-33.
Cromwell, H. C., Abe, N., Barrett, K. C., Caldwell-Harris, C., Gendolla, G. H.
E., Koncz, R., amp; Sachdev, P. S. (2020). Mapping the interconnected neural
systems underlying motivation and emotion: A key step toward understanding
the human affectome. Neuroscience and Biobehavioral Reviews, 113, 204-
226.
Cubillo, A., Makwana, A. B., amp; Hare, T. A. (2019). Differential modulation of
cognitive control networks by monetary reward and punishment. Social
Cognitive and Affective Neuroscience, 14(3), 305-317.
Davis, C., Levitan, R. D., Kaplan, A. S., Carter, J., Reid, C., Curtis, C., amp; Kennedy,
J. L. (2008). Reward sensitivity and the D2 dopamine receptor gene: A casecontrol
study of binge eating disorder. Progress in Neuro-Psychopharmacology
and Biological Psychiatry, 32 (3), 620-628.
Devine, S., Vassena, E., amp; Otto, A. R. (2023). More than a feeling: Physiological
measures of affect index the integration of effort costs and rewards during
anticipatory effort evaluation. Cognitive, Affective, and Behavioral
Neuroscience, 23 (4), 1129-1140.
Dignath, D., Eder, A. B., Steinhauser, M., amp; Kiesel, A. (2020). Conflict monitoring
and the affective-signaling hypothesis—An integrative review. Psychonomic
Bulletin and Review, 27 (2), 193-216.
Dixon, M. L., amp; Christoff, K. (2012). The decision to engage cognitive control is
driven by expected reward-value: Neural and behavioral evidence. PLoS
ONE, 7 (12), Article e51637.
Dreisbach, G., amp; Fischer, R. (2012). Conflicts as aversive signals. Brain and
Cognition, 78 (2), 94-98.
Engelmann, J. B., Damaraju, E., Padmala, S., amp; Pessoa, L. (2009). Combined
effects of attention and motivation on visual task performance: Transient and
sustained motivational effects. Frontiers in Human Neuroscience, 3, Article 4.
Fleischhauer, M., Enge, S., Brocke, B., Ullrich, J., Strobel, A., amp; Strobel, A.
(2010). Same or different? Clarifying the relationship of need for cognition
to personality and intelligence. Personality and Social Psychology Bulletin,
36 (1), 82-96.
Fr?ber, K., amp; Dreisbach, G. (2016). How sequential changes in reward magnitude
modulate cognitive flexibility: Evidence from voluntary task switching. Journal
of Experimental Psychology: Learning, Memory, and Cognition, 42 (2), 285-
295.
Frob?se, M. I., Westbrook, A., Bloemendaal, M., Aarts, E., amp; Cools, R. (2020).
Catecholaminergic modulation of the cost of cognitive control in healthy older
adults. PLoS ONE, 15 (2), Article e0229294.
Grahek, I., Leng, X., Musslick, S., amp; Shenhav, A. (2023). The cost of adjusting
cognitive control: A dynamical systems approach. Paper presented at the 2023
Conference on Cognitive Computational Neuroscience.
Grahek, I., Musslick, S., amp; Shenhav, A. (2020). A computational perspective on the
roles of affect in cognitive control. International Journal of Psychophysiology,
151, 25-34.
Hassall, C. D., Hunt, L. T., amp; Holroyd, C. B. (2022). Task-level value affects triallevel
reward processing. NeuroImage, 260, Article 119456.
Huskey, R., Craighead, B., Miller, M. B., amp; Weber, R. (2018). Does intrinsic
reward motivate cognitive control? A naturalistic-fMRI study based on
the synchronization theory of flow. Cognitive, Affective, and Behavioral
Neuroscience, 18 (5), 902-924.
Inzlicht, M., amp; Schmeichel, B. J. (2012). What is ego depletion? Toward a
mechanistic revision of the resource model of self-control. Perspectives on
Psychological Science, 7 (5), 450-463.
Inzlicht, M., Shenhav, A., amp; Olivola, C. Y. (2018). The effort paradox: Effort is both
costly and valued. Trends in Cognitive Sciences, 22(4), 337-349.
Kool, W., amp; Botvinick, M. (2018). Mental labour. Nature Human Behaviour, 2 (12),
899-908.
Kool, W., McGuire, J. T., Rosen, Z. B., amp; Botvinick, M. M. (2010). Decision making
and the avoidance of cognitive demand. Journal of Experimental Psychology:
General, 139 (4), 665-682.
Kool, W., Shenhav, A., amp; Botvinick, M. M. (2017). Cognitive control as cost-benefit
decision making. In T. Egner (Ed.), The Wiley handbook of cognitive control
(pp. 167-189). Wiley Blackwell.
Kruglanski, A. W., Fishbach, A., Woolley, K., Bélanger, J. J., Chernikova, M.,
Molinario, E., amp; Pierro, A. (2018). A structural model of intrinsic motivation:
On the psychology of means-ends fusion. Psychological Review, 125 (2), 165-
182.
Kurzban, R. (2016). The sense of effort. Current Opinion in Psychology, 7, 67-70.
Kurzban, R., Duckworth, A., Kable, J. W., amp; Myers, J. (2013). An opportunity
cost model of subjective effort and task performance. Behavioral and Brain
Sciences, 36 (6), 661-679.
Leng, X. M., Yee, D., Ritz, H., amp; Shenhav, A. (2021). Dissociable influences of
reward and punishment on adaptive cognitive control. PLoS Computational
Biology, 17 (12), Article e1009737.
Li, Q., Hu, N., Li, Y. L., Long, Q. S., Gu, Y., Tang, Y. C., amp; Chen, A. T. (2021).
Error-induced adaptability: Behavioral and neural dynamics of responsestimulus
interval modulations on posterror slowing. Journal of Experimental
Psychology: General, 150 (5), 851-863.
Lieder, F., Shenhav, A., Musslick, S., amp; Griffiths, T. L. (2018). Rational
metareasoning and the plasticity of cognitive control. PLoS Computational
Biology, 14 (4), Article e1006043.
Locke, H. S., amp; Braver, T. S. (2008). Motivational influences on cognitive control:
Behavior, brain activation, and individual differences. Cognitive, Affective,
and Behavioral Neuroscience, 8 (1), 99-112.
Marcowski, P., Winkielman, P., amp; Bia?aszek, W. (2023). Effort can have
positive and negative impact on outcome value within an individual, across
individuals, and across choice contexts. PsyArXiv (preprint).
Masís, J. A., Musslick, S., amp; Cohen, J. D. (2021). The value of learning and
cognitive control allocation. Paper presented at the 43rd Annual Meeting of
the Cognitive Science Society: Animal Minds, Virtual, Online, Austria.
Miller, E. K., amp; Cohen, J. D. (2001). An integrative theory of prefrontal cortex
function. Annual Review of Neuroscience, 24(1), 167-202.
Morris, L. S., Grehl, M. M., Rutter, S. B., Mehta, M., amp; Westwater, M. L. (2022).
On what motivates us: A detailed review of intrinsic vs. extrinsic motivation.
Psychological Medicine, 52 (10), 1801-1816.
Notebaert, W., amp; Braem, S. (2015). Parsing the effects of reward on cognitive
control. In T. S. Braver (Ed.), Motivation and cognitive control (pp. 105-122).
Routledge.
Otto, A. R., Braem, S., Silvetti, M., amp; Vassena, E. (2022). Is the juice worth the
squeeze? Learning the marginal value of mental effort over time. Journal of
Experimental Psychology: General, 151 (10), 2324-2341.
Otto, A. R., amp; Vassena, E. (2021). It' s all relative: Reward-induced cognitive
control modulation depends on context. Journal of Experimental Psychology:
General, 150 (2), 306-313.
Padmala, S., amp; Pessoa, L. (2011). Reward reduces conflict by enhancing
attentional control and biasing visual cortical processing. Journal of Cognitive
Neuroscience, 23 (11), 3419-3432.
Prével, A., Hoofs, V., amp; Krebs, R. M. (2021). Effect of non-instructed instrumental
contingency of monetary reward and positive affect in a cognitive control task.
Royal Society Open Science, 8(8), Article 202002.
Sandra, D. A., amp; Otto, A. R. (2018). Cognitive capacity limitations and Need for
Cognition differentially predict reward-induced cognitive effort expenditure.
Cognition, 172, 101-106.
Saunders, B., Lin, H., Milyavskaya, M., amp; Inzlicht, M. (2017). The emotive nature
of conflict monitoring in the medial prefrontal cortex. International Journal of
Psychophysiology, 119, 31-40.
Sayal?, C., amp; Badre, D. (2019). Neural systems of cognitive demand avoidance.
Neuropsychologia, 123, 41-54.
Sayal?, C., amp; Badre, D. (2021). Neural systems underlying the learning of cognitive
effort costs. Cognitive, Affective, and Behavioral Neuroscience, 21 (4), 698-
716.
Schouppe, N., Braem, S., De Houwer, J., Silvetti, M., Verguts, T., Ridderinkhof,
K. R., amp; Notebaert, W. (2015). No pain, no gain: The affective valence of
congruency conditions changes following a successful response. Cognitive,
Affective, and Behavioral Neuroscience, 15(1), 251-261.
Schouppe, N., Demanet, J., Boehler, C. N., Ridderinkhof, K. R., amp; Notebaert,
W. (2014). The role of the striatum in effort-based decision-making in the
absence of reward. Journal of Neuroscience, 34 (6), 2148-2154.
Sharp, P. B., Do, K. T., Lindquist, K. A., Prinstein, M. J., amp; Telzer, E. H. (2022).
Cognitive control deployment is flexibly modulated by social value in early
adolescence. Developmental Science, 25 (1), Article e13140.
Shenhav, A., Botvinick, M. M., amp; Cohen, J. D. (2013). The expected value of
control: An integrative theory of anterior cingulate cortex function. Neuron,
79 (2), 217-240.
Shenhav, A., Musslick, S., Lieder, F., Kool, W., Griffiths, T. L., Cohen, J. D., amp;
Botvinick, M. M. (2017). Toward a rational and mechanistic account of mental
effort. Annual Review of Neuroscience, 40, 99-124.
Stürmer, B. (2011). Reward and punishment effects on error processing and conflict
control. Frontiers in Psychology, 2 , Article 335.
van Steenbergen, H., Band, G. P. H., amp; Hommel, B. (2012). Reward valence
modulates conflict-driven attentional adaptation: Electrophysiological
evidence. Biological Psychology, 90 (3), 234-241.
Vermeylen, L., Braem, S., Notebaert, W., amp; Ruitenberg, M. F. L. (2022). The
subjective evaluation of task switch cues is related to voluntary task switching.
Cognition, 224 , Article 105063.
Wang, K. S., amp; Delgado, M. R. (2019). Corticostriatal circuits encode the subjective
value of perceived control. Cerebral Cortex, 29 (12), 5049-5060.
Westbrook, A., amp; Braver, T. S. (2015). Cognitive effort: A neuroeconomic approach.
Cognitive, Affective, and Behavioral Neuroscience, 15(2), 395-415.
Westbrook, A., Frank, M. J., amp; Cools, R. (2021). A mosaic of cost-benefit control
over cortico-striatal circuitry. Trends in Cognitive Sciences, 25(8), 710-721.
Westbrook, A., Kester, D., amp; Braver, T. S. (2013). What is the subjective cost
of cognitive effort? Load, trait, and aging effects revealed by economic
preference. PLoS ONE, 8 (7), Article e68210.
Westbrook, A., Van Den Bosch, R., M??tt?, J. I., Hofmans, L., Papadopetraki,
D., Cools, R., amp; Frank, M. J. (2020). Dopamine promotes cognitive effort by
biasing the benefits versus costs of cognitive work. Science, 367 (6484), 1362-
1366.
Yee, D. M., Krug, M. K., Allen, A. Z., amp; Braver, T. S. (2016). Humans integrate
monetary and liquid incentives to motivate cognitive task performance.
Frontiers in Psychology, 6 , Article 2037.
Zhang, M., Palmer, C. V., Pratt, S. R., McNeil, M. R., amp; Siegle, G. J. (2022).
Need for cognition is associated with the interaction of reward and taskload
on effort: A verification and extension study. International Journal of
Psychophysiology, 180 , 60-67.