強(qiáng)化學(xué)習(xí)模型或面臨重構(gòu)：研究揭示大腦多巴胺信號(hào)新機(jī)制

多巴胺是一種在大腦中起著重要作用的信號(hào)分子，影響著我們的情緒、動(dòng)機(jī)、運(yùn)動(dòng)等多個(gè)方面。這種神經(jīng)遞質(zhì)對(duì)基于獎(jiǎng)勵(lì)的學(xué)習(xí)至關(guān)重要，然而這一功能在許多精神疾病中可能會(huì)受到干擾，例如情緒障礙和成癮等。

近期，由美國(guó)麻省理工學(xué)院教授安·格雷比爾領(lǐng)導(dǎo)的研究團(tuán)隊(duì)發(fā)現(xiàn)了一些意想不到的多巴胺信號(hào)模式，表明神經(jīng)科學(xué)家可能需要重新審視他們關(guān)于大腦強(qiáng)化學(xué)習(xí)機(jī)制的理解。該團(tuán)隊(duì)的研究成果已發(fā)表在雜志上。

多巴胺在幫助人類和其他動(dòng)物學(xué)習(xí)如何識(shí)別與正負(fù)結(jié)果相關(guān)的線索和行為方面發(fā)揮著關(guān)鍵作用。一個(gè)經(jīng)典的例子就是伊萬(wàn)·巴甫洛夫訓(xùn)練狗通過(guò)鈴聲預(yù)測(cè)食物的到來(lái)。格雷比爾教授，同時(shí)也是麻省理工學(xué)院麥戈文研究所的研究員，解釋道：根據(jù)強(qiáng)化學(xué)習(xí)的傳統(tǒng)模型，當(dāng)動(dòng)物接收到與獎(jiǎng)勵(lì)相關(guān)的線索時(shí)，產(chǎn)生多巴胺的神經(jīng)元最初會(huì)對(duì)獎(jiǎng)勵(lì)本身做出反應(yīng)。隨著動(dòng)物逐漸學(xué)會(huì)了線索與獎(jiǎng)勵(lì)之間的關(guān)聯(lián)，多巴胺的釋放時(shí)機(jī)會(huì)發(fā)生變化，最終與線索本身（而非獎(jiǎng)勵(lì)）緊密相連。

然而，隨著新技術(shù)的出現(xiàn)，研究人員能夠更精確地分析大腦中多巴胺釋放的時(shí)機(jī)和位置。格雷比爾的團(tuán)隊(duì)發(fā)現(xiàn)，傳統(tǒng)模型并不能完全解釋多巴胺的信號(hào)模式。早在十多年前，實(shí)驗(yàn)室的研究生馬克·豪就注意到，與獎(jiǎng)勵(lì)相關(guān)的多巴胺信號(hào)并非在獎(jiǎng)勵(lì)到來(lái)的一剎那才釋放，而是在獎(jiǎng)勵(lì)之前，隨著老鼠逐漸接近獎(jiǎng)勵(lì)，信號(hào)逐步增強(qiáng)。研究人員推測(cè)，多巴胺可能是在向大腦其他區(qū)域傳遞獎(jiǎng)勵(lì)接近的信號(hào)。格雷比爾表示：“這一發(fā)現(xiàn)完全顛覆了傳統(tǒng)的經(jīng)典模型?！?/p>

多巴胺動(dòng)態(tài)變化

在其他神經(jīng)科學(xué)家探索如何將這些新發(fā)現(xiàn)融入強(qiáng)化學(xué)習(xí)模型時(shí)，格雷比爾教授和博士后研究員金敏貞決定更深入地研究多巴胺的動(dòng)態(tài)變化。格雷比爾表示：“我們想，既然如此，不如從最基本的實(shí)驗(yàn)做起來(lái)重新審視這一問(wèn)題。”

他們的實(shí)驗(yàn)采用了新型的靈敏多巴胺傳感器，追蹤小鼠大腦中多巴胺的釋放情況。在實(shí)驗(yàn)中，小鼠學(xué)習(xí)將藍(lán)光與水獎(jiǎng)勵(lì)建立關(guān)聯(lián)。研究團(tuán)隊(duì)特別關(guān)注大腦基底神經(jīng)節(jié)中的紋狀體區(qū)域，這一部分通過(guò)釋放多巴胺，參與與獎(jiǎng)勵(lì)學(xué)習(xí)等多種神經(jīng)回路的調(diào)控。

研究發(fā)現(xiàn)，多巴胺的釋放時(shí)機(jī)在紋狀體的不同部位有所差異。然而，格雷比爾團(tuán)隊(duì)并未在任何地方觀察到經(jīng)典強(qiáng)化學(xué)習(xí)模型所預(yù)測(cè)的關(guān)鍵變化，即多巴胺釋放時(shí)機(jī)從獎(jiǎng)勵(lì)時(shí)間到線索時(shí)間的轉(zhuǎn)變。

在他們的一個(gè)簡(jiǎn)單實(shí)驗(yàn)中，每當(dāng)小鼠看到燈光時(shí)，都會(huì)得到獎(jiǎng)勵(lì)。在這種情境下，紋狀體外側(cè)部分在小鼠獲得水獎(jiǎng)勵(lì)時(shí)，會(huì)可靠地釋放多巴胺。即便小鼠已經(jīng)學(xué)會(huì)了將燈光與獎(jiǎng)勵(lì)聯(lián)系起來(lái)，這種對(duì)獎(jiǎng)勵(lì)的強(qiáng)烈反應(yīng)依然沒(méi)有減弱。相反，在紋狀體的內(nèi)側(cè)部分，獎(jiǎng)勵(lì)出現(xiàn)時(shí)并未釋放多巴胺。盡管在學(xué)習(xí)初期，當(dāng)小鼠看到燈光時(shí)，神經(jīng)元會(huì)發(fā)放多巴胺信號(hào)，這與標(biāo)準(zhǔn)模型的預(yù)測(cè)相?！凑漳Ｐ停?jiǎng)勵(lì)時(shí)才會(huì)產(chǎn)生多巴胺反應(yīng)。格雷比爾表示：“這令人非常困惑，因?yàn)楦鶕?jù)理論，多巴胺應(yīng)該在獎(jiǎng)勵(lì)本身出現(xiàn)時(shí)才有所反應(yīng)。

當(dāng)研究團(tuán)隊(duì)將第二盞燈引入實(shí)驗(yàn)時(shí)，結(jié)果更加出人意料。第二盞燈的位置不同，并不代表獎(jiǎng)勵(lì)。小鼠只能將兩盞燈中的一盞作為線索，而只有第一盞燈會(huì)與水獎(jiǎng)勵(lì)相配對(duì)。

在這些實(shí)驗(yàn)中，當(dāng)小鼠看到與獎(jiǎng)勵(lì)相關(guān)的燈光時(shí)，紋狀體中央內(nèi)側(cè)的多巴胺釋放顯著增加，且持續(xù)到獎(jiǎng)勵(lì)出現(xiàn)。與此同時(shí)，在外側(cè)部分，盡管沒(méi)有直接與獎(jiǎng)勵(lì)關(guān)聯(lián)，仍然保持著持續(xù)的多巴胺釋放，并維持在一個(gè)平臺(tái)期。

格雷比爾對(duì)實(shí)驗(yàn)中引入第二盞燈后多巴胺反應(yīng)的變化感到非常驚訝。盡管每次小鼠只能看到一盞燈，但每當(dāng)另一盞燈在不同的實(shí)驗(yàn)條件下出現(xiàn)時(shí)，獎(jiǎng)勵(lì)燈的多巴胺反應(yīng)發(fā)生了不同的變化。

她說(shuō)：“這必然涉及一種認(rèn)知因素，大腦似乎希望保留線索出現(xiàn)的信息一段時(shí)間?！毖芯繄F(tuán)隊(duì)的實(shí)驗(yàn)表明，紋狀體的細(xì)胞通過(guò)持續(xù)的多巴胺釋放來(lái)完成這一過(guò)程，這種持續(xù)釋放貫穿了光亮與獎(jiǎng)勵(lì)之間的短暫延遲。格雷比爾指出，雖然這種持續(xù)的多巴胺釋放在過(guò)去并未與強(qiáng)化學(xué)習(xí)相關(guān)聯(lián)，但它與大腦其他區(qū)域，特別是與工作記憶相關(guān)的持續(xù)信號(hào)非常相似。

重新思考強(qiáng)化學(xué)習(xí)

格雷比爾表示：“我們的許多研究結(jié)果并沒(méi)有完全符合傳統(tǒng)、經(jīng)典的強(qiáng)化學(xué)習(xí)模型?！边@表明，神經(jīng)科學(xué)家對(duì)這一過(guò)程的理解將在腦科學(xué)不斷發(fā)展的過(guò)程中逐步演變。

“但這只是我們不斷完善理解的一步，目的是重新構(gòu)建大腦基底神經(jīng)節(jié)如何影響運(yùn)動(dòng)、思維和情感的模型?！彼a(bǔ)充道，“這些新模型需要納入強(qiáng)化學(xué)習(xí)系統(tǒng)中的新發(fā)現(xiàn)，尤其是關(guān)于這些平臺(tái)期的部分，同時(shí)它們也可能為我們提供關(guān)于單一經(jīng)驗(yàn)如何在大腦與強(qiáng)化相關(guān)區(qū)域中持續(xù)存在的深刻洞見(jiàn)?！?/p>