人工智能發(fā)展之AI主觀體驗(yàn)、“善良”的超級(jí)智能

“人工智能對(duì)科學(xué)的幫助是顯而易見(jiàn)的。顯然，迄今為止最令人印象深刻的例子是蛋白質(zhì)折疊，Demis Hassabis和John Jumper等人通過(guò)合理使用人工智能并付出大量努力，證明了這一點(diǎn)。他們花了5年時(shí)間，他們都是非常聰明的人。在預(yù)測(cè)蛋白質(zhì)如何折疊方面，我們（借助AI）可以做得更好。我認(rèn)為這是一個(gè)早期的標(biāo)志，表明在現(xiàn)在的許多領(lǐng)域，人工智能都將改善科學(xué)。”

7月26日，2025年世界人工智能大會(huì)（WAIC）開(kāi)幕，下午在徐匯西岸舉行的科學(xué)前沿全體會(huì)議上，“深度學(xué)習(xí)教父”，圖靈獎(jiǎng)、諾貝爾獎(jiǎng)得主杰弗里·辛頓（Geoffrey Hinton） 與上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家周伯文教授開(kāi)展了一場(chǎng)濃縮高密度智慧的尖峰對(duì)話，將Hinton的上海之行推向新高潮。

在上午WAIC主題分享中，杰弗里·辛頓作了主旨演講，指出數(shù)字智能與生物智能本質(zhì)不同，卻已在語(yǔ)言理解上趨于一致，人類甚至可以被視為“大語(yǔ)言模型”，“全球主要國(guó)家應(yīng)該構(gòu)建一個(gè)國(guó)際網(wǎng)絡(luò)，研究如何訓(xùn)練AI，使AI安于人類輔助，而不是消滅人類——即使AI終將比人聰明得多”。

在杰弗里·辛頓看來(lái)，AI的發(fā)展，最終指向一個(gè)極具現(xiàn)實(shí)緊迫感的問(wèn)題：我們是否正在養(yǎng)育一只聰明得難以關(guān)閉的小老虎？當(dāng)AI能力以指數(shù)級(jí)躍遷時(shí)，人類該如何確立主導(dǎo)地位，又如何確保技術(shù)不反噬其創(chuàng)造者？辛頓沒(méi)有給出答案，而是將這一世紀(jì)命題，鄭重地拋回了時(shí)代本身。

在與上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家周伯文教授的對(duì)話中，杰弗里·辛頓也作了精彩分享。關(guān)于減少未來(lái)AI風(fēng)險(xiǎn)的可能解決方案，他說(shuō)：“你會(huì)有既聰明又善良的AI，但如何訓(xùn)練它變得聰明和如何訓(xùn)練它變得善良是不同的問(wèn)題。你可以有讓它善良的技術(shù)和讓它聰明的技術(shù)。它將是同一個(gè)AI，但會(huì)有不同的技術(shù)。所以，國(guó)家可以分享讓它善良的技術(shù)，即使它們不愿意分享讓它聰明的技術(shù)?！?/p>

此次世界人工智能大會(huì)，杰弗里·辛頓的分享可謂被刷屏了。

據(jù)了解，77歲的杰弗里·辛頓第一次飛越重洋踏上了中國(guó)。在WAIC科學(xué)前沿全體會(huì)現(xiàn)場(chǎng)，當(dāng)他步入會(huì)場(chǎng)時(shí)，全場(chǎng)起立鼓掌，觀眾高舉手機(jī)長(zhǎng)達(dá)數(shù)分鐘，直播畫(huà)面中一度無(wú)法看到臺(tái)上的嘉賓。

在17分鐘的對(duì)話中，兩位科學(xué)家談及AI多模態(tài)大模型前沿、“主觀體驗(yàn)”和“意識(shí)”、如何訓(xùn)練“善良”的超級(jí)智能、AI與科學(xué)發(fā)現(xiàn)，以及給年輕科學(xué)家的建議。

這場(chǎng)與上海人工智能實(shí)驗(yàn)室主任周伯文的對(duì)話是Hinton此次中國(guó)行程里的唯一一場(chǎng)面向AI和科學(xué)前沿研究者的公開(kāi)對(duì)話活動(dòng)。

對(duì)話前，周伯文代表上海人工智能實(shí)驗(yàn)室作了《無(wú)盡的前沿：AGI與科學(xué)的交叉口》主題演講，介紹了“通專融合AGI”路徑，并且發(fā)布了全球領(lǐng)先的科學(xué)多模態(tài)大模型Intern-S1，它具有多學(xué)科、多模態(tài)、深思考能力，多模態(tài)綜合能力超越檔期最優(yōu)開(kāi)源模型，多學(xué)科超Grok4等前沿閉源模型。

以下為對(duì)話全文實(shí)錄

周伯文：您能親臨現(xiàn)場(chǎng)對(duì)我們所有人來(lái)說(shuō)都是莫大的榮幸。我想請(qǐng)教一個(gè)您本周早些時(shí)候提到過(guò)，但今天上午沒(méi)有時(shí)間在臺(tái)上討論的問(wèn)題——關(guān)于多模態(tài)模型的主觀體驗(yàn)。您認(rèn)為可以證明即使是當(dāng)今的多模態(tài)和語(yǔ)言模型也能發(fā)展出自己的主觀體驗(yàn)。您能詳細(xì)闡述一下嗎？

辛頓：我認(rèn)為關(guān)于它們是否具有意識(shí)或主觀體驗(yàn)的問(wèn)題，嚴(yán)格來(lái)說(shuō)不是一個(gè)科學(xué)問(wèn)題，而是取決于您如何定義“主觀體驗(yàn)”或“意識(shí)”。我們大多數(shù)人對(duì)這些概念的理解模型都是完全錯(cuò)誤的。就像人們可以正確使用詞語(yǔ)，卻對(duì)詞語(yǔ)如何運(yùn)作持有完全錯(cuò)誤的理論。

讓我用一個(gè)日常詞匯的例子來(lái)說(shuō)明。想想“水平”和“垂直”這兩個(gè)詞，大多數(shù)人都認(rèn)為自己理解它們的含義，但實(shí)際上他們的理解是錯(cuò)誤的。我來(lái)證明一下：假設(shè)我手里有很多小鋁棒，它們朝向各個(gè)方向。我把它們拋向空中，它們翻滾、碰撞，然后我突然讓時(shí)間靜止。

這時(shí)空中有很多鋁棒。問(wèn)題是：在垂直方向1度范圍內(nèi)的鋁棒更多，還是水平方向1度范圍內(nèi)的鋁棒更多？或者數(shù)量差不多？幾乎所有人都說(shuō)“差不多”，因?yàn)樗麄儗?duì)詞語(yǔ)運(yùn)作方式的理解是錯(cuò)誤的。實(shí)際上，水平方向1度范圍內(nèi)的鋁棒數(shù)量是垂直方向的約114倍。這是因?yàn)椤按怪薄笔欠浅Ｌ厥獾姆较颍八健眲t很普通。但人們不知道這一點(diǎn)。

這個(gè)例子看似與意識(shí)問(wèn)題無(wú)關(guān)，但它說(shuō)明：我們對(duì)詞語(yǔ)運(yùn)作方式的理解可能是完全錯(cuò)誤的。同樣，幾乎每個(gè)人都對(duì)“主觀體驗(yàn)”這類術(shù)語(yǔ)有著強(qiáng)烈但完全錯(cuò)誤的理論。這不是真正的科學(xué)問(wèn)題，而是源于我們對(duì)心理狀態(tài)的錯(cuò)誤模型。我們有這些用來(lái)描述心理狀態(tài)如何運(yùn)作的術(shù)語(yǔ)。有了錯(cuò)誤的模型，我認(rèn)為你會(huì)作出錯(cuò)誤的預(yù)測(cè)。所以，我的觀點(diǎn)是，當(dāng)今的多模態(tài)聊天機(jī)器人已經(jīng)具有意識(shí)。

周伯文：所以，這聽(tīng)起來(lái)讓在場(chǎng)的許多研究者感到震驚，但讓我告訴你，我剛才從另一位加拿大科學(xué)家那里聽(tīng)到的，就在這次會(huì)議上，Richard Sutton就在你之前作了一個(gè)演講，題目是《歡迎來(lái)到體驗(yàn)時(shí)代》。我認(rèn)為他的意思是，當(dāng)我們現(xiàn)在已經(jīng)耗盡人類數(shù)據(jù)時(shí)，模型可以從自己的體驗(yàn)中學(xué)習(xí)很多。您從另一個(gè)角度闡明了，Agent或多模態(tài)LLM，不僅從經(jīng)驗(yàn)中學(xué)習(xí)，它們還可以發(fā)展出自己的主觀體驗(yàn)。所以我認(rèn)為理查德今天沒(méi)有過(guò)多觸及這種從主觀體驗(yàn)中學(xué)習(xí)潛在風(fēng)險(xiǎn)。您想多說(shuō)說(shuō)這個(gè)嗎？事實(shí)，或者說(shuō)您的理論、您的假設(shè)，即到目前為止，Agent可以學(xué)習(xí)主觀體驗(yàn)，這是否會(huì)在未來(lái)帶來(lái)任何潛在風(fēng)險(xiǎn)？

辛頓：確實(shí)，目前的情況是，例如，大語(yǔ)言模型從我們提供給它們的文檔中學(xué)習(xí)。它們學(xué)會(huì)了預(yù)測(cè)一個(gè)人會(huì)說(shuō)的下一個(gè)詞。但是，一旦你有像機(jī)器人這樣的在世界中的Agent，它們就可以從自己的經(jīng)驗(yàn)中學(xué)習(xí)，而且我認(rèn)為它們最終會(huì)學(xué)到比我們多得多。我認(rèn)為它們會(huì)有經(jīng)驗(yàn)，但經(jīng)驗(yàn)不是事物。而且經(jīng)驗(yàn)不像照片，經(jīng)驗(yàn)是你和一個(gè)物體之間的關(guān)系。

周伯文：所以，幾天前當(dāng)我們?cè)贗DAIS討論前沿風(fēng)險(xiǎn)時(shí)，您提到了一種減少未來(lái)AI風(fēng)險(xiǎn)的可能解決方案，就是找到一種方法來(lái)訓(xùn)練AI的分離目標(biāo)。例如，一個(gè)善良的AI，一個(gè)聰明的AI。您有一個(gè)理論……

辛頓：我不是那個(gè)意思。我的意思是，你會(huì)有既聰明又善良的AI，但如何訓(xùn)練它變得聰明和如何訓(xùn)練它變得善良是不同的問(wèn)題。你可以有讓它善良的技術(shù)和讓它聰明的技術(shù)。它將是同一個(gè)AI，但會(huì)有不同的技術(shù)。所以，國(guó)家可以分享讓它善良的技術(shù)，即使它們不愿意分享讓它聰明的技術(shù)。

周伯文：我真的很喜歡那個(gè)想法。但是，我對(duì)我們能在這方面走多遠(yuǎn)有些疑問(wèn)。你認(rèn)為會(huì)有某種通用的AI訓(xùn)練來(lái)使AI變得善良嗎？這些方法可以應(yīng)用于任何AI模型、任何智能水平？

辛頓：那是我的希望。它可能不是真的。但這是一種可能性。我認(rèn)為我們應(yīng)該研究這種可能性。

周伯文：是的，確實(shí)如此。我提出這個(gè)問(wèn)題并不是因?yàn)槲也幌矚g這個(gè)想法，而是因?yàn)槲蚁胩岣呷藗兊囊庾R(shí)，讓更多人能在您提到的方向上進(jìn)行更多研究。而且我想在這里做一個(gè)類比，來(lái)向您展示為什么我有這個(gè)疑問(wèn)。以物理學(xué)為例，當(dāng)物體以低得多的速度運(yùn)動(dòng)時(shí)，牛頓定律是有效的。但是當(dāng)這個(gè)物體運(yùn)動(dòng)到更高的速度，接近光速時(shí)，牛頓定律就不再適用了，所以我們必須求助于愛(ài)因斯坦來(lái)獲得更好的解決方案。順便說(shuō)一下，這有點(diǎn)好笑，因?yàn)槲艺谙蛞晃恢Z貝爾物理學(xué)獎(jiǎng)得主講解物理學(xué)101（大學(xué)物理入門課）。

辛頓：但這是一個(gè)錯(cuò)誤。

周伯文：哦不，這不是錯(cuò)誤。你絕對(duì)值得獲得諾貝爾獎(jiǎng)。

辛頓：他們真的很想在人工智能領(lǐng)域頒發(fā)諾貝爾獎(jiǎng)，但他們沒(méi)有這個(gè)獎(jiǎng)項(xiàng)。所以他們拿了一個(gè)物理學(xué)的獎(jiǎng)?lì)C給人工智能（的科學(xué)家）。

周伯文：但我想用這個(gè)類比來(lái)說(shuō)明一個(gè)觀點(diǎn)，我認(rèn)為對(duì)于不同層次的智能系統(tǒng)，善意約束可能需要改變。我不知道這是否正確，但我確實(shí)希望在這個(gè)房間里或在網(wǎng)上的那些聰明的年輕人，他們可以想出辦法來(lái)實(shí)現(xiàn)這一點(diǎn)。

辛頓：是的，很有可能，隨著系統(tǒng)變得更加智能，讓它變得善良的技術(shù)也會(huì)發(fā)生變化。我們不知道。這就是我們現(xiàn)在需要對(duì)其進(jìn)行大量研究的原因之一。

周伯文：很多人對(duì)杰夫印象深刻，作為一位成就卓著的人，你經(jīng)常說(shuō)，“我不知道”。我覺(jué)得這非常誠(chéng)實(shí)和開(kāi)明。我們都要向你學(xué)習(xí)。

除了AI問(wèn)題，我們現(xiàn)場(chǎng)還有一半來(lái)自不同科學(xué)領(lǐng)域的頂尖學(xué)者——量子物理、生物學(xué)等。今天我們齊聚一堂，正是因?yàn)橄嘈臕I與科學(xué)的交叉融合將帶來(lái)突破。您如何看待用AI推動(dòng)科學(xué)進(jìn)步，或者反過(guò)來(lái)用科學(xué)促進(jìn)AI發(fā)展？

辛頓：我認(rèn)為人工智能對(duì)科學(xué)的幫助是顯而易見(jiàn)的。顯然，迄今為止最令人印象深刻的例子是蛋白質(zhì)折疊，Demis Hassabis和John Jumper等人通過(guò)合理使用人工智能并付出大量努力，證明了這一點(diǎn)。他們花了5年時(shí)間。他們都是非常聰明的人。在預(yù)測(cè)蛋白質(zhì)如何折疊方面，我們（借助AI）可以做得更好。我認(rèn)為這是一個(gè)早期的標(biāo)志，表明在現(xiàn)在的許多領(lǐng)域，人工智能都將改善科學(xué)。我聽(tīng)說(shuō)了上海AI實(shí)驗(yàn)室的例子，在預(yù)測(cè)臺(tái)風(fēng)登陸地點(diǎn)和天氣預(yù)報(bào)方面，人工智能可以做得更好一些。

你會(huì)有既聰明又善良的AI，但如何訓(xùn)練它變得聰明和如何訓(xùn)練它變得善良是不同的問(wèn)題。你可以有讓它善良的技術(shù)和讓它聰明的技術(shù)。它將是同一個(gè)AI，但會(huì)有不同的技術(shù)。所以，國(guó)家可以分享讓它善良的技術(shù)，即使它們不愿意分享讓它聰明的技術(shù)。

周伯文：對(duì)，我們用AI模型做出來(lái)的結(jié)果，比基于PDE（偏微分方程系統(tǒng)）的傳統(tǒng)物理模型表現(xiàn)更優(yōu)。

周伯文：在您卓越的學(xué)術(shù)生涯中，您不僅拓展了AI技術(shù)的疆界，更深刻影響了下一代科研工作者。我曾與許多比您更年輕的學(xué)者交流，他們都對(duì)您充滿敬仰。在上海人工智能實(shí)驗(yàn)室，我們的研究人員平均年齡只有30歲——這清晰地表明，AI的未來(lái)屬于年輕一代。

您的智慧之光正照耀著這些年輕的面孔。不知您是否愿意分享：對(duì)于AGI的下一代發(fā)展，您有何見(jiàn)解？或者，您能否愿意給這些年輕人一些加速成長(zhǎng)的建議，一些他們能帶回家、能自豪告訴父母的智慧箴言——畢竟今天與您相遇是一段珍貴的經(jīng)歷，他們將來(lái)也許還會(huì)告訴自己的子女。

您最想傳遞給他們什么？

辛頓：我想最核心的建議是：若想做出真正原創(chuàng)的研究，就要尋找那些“所有人都可能做錯(cuò)”的領(lǐng)域。通常當(dāng)你認(rèn)為“眾人皆錯(cuò)”時(shí)，經(jīng)過(guò)探索最終會(huì)發(fā)現(xiàn)傳統(tǒng)方法的合理性——但這恰恰說(shuō)明：你永遠(yuǎn)不該輕易放棄新思路，除非自己真正理解它為何行不通。即便導(dǎo)師否定你的方法，也要保持質(zhì)疑。

堅(jiān)持你所相信的，直到你自己明白為何它是錯(cuò)的。只是偶爾，你會(huì)繼續(xù)堅(jiān)持你的信仰——而它最終被證明是正確的。重大突破正是由此而來(lái)，它們從不屬于輕易放棄之人。你必須堅(jiān)持己見(jiàn)，即使他人并不認(rèn)同。

有一個(gè)邏輯支撐這一觀點(diǎn)：你要么擁有好的直覺(jué)，要么擁有壞的直覺(jué)。

若你的直覺(jué)是好的，那你顯然應(yīng)該堅(jiān)持它；

若你的直覺(jué)是壞的，你做什么其實(shí)都無(wú)關(guān)緊要——所以你依然應(yīng)該堅(jiān)持自己的直覺(jué)。

◎ 來(lái)源| 新聞晨報(bào)