研究發(fā)現(xiàn)Llama2在識(shí)別失禮行為上優(yōu)于人類(lèi)同樣場(chǎng)景下GPT頻繁出錯(cuò)

人類(lèi)是復(fù)雜的生物。我們的溝通方式是多層次的，心理學(xué)家已經(jīng)設(shè)計(jì)了多種測(cè)試來(lái)衡量我們從互動(dòng)中推斷彼此的意義和理解的能力。

人工智能模型在這些測(cè)試中的表現(xiàn)越來(lái)越好。近日，發(fā)表在《自然人類(lèi)行為》上的一項(xiàng)新研究發(fā)現(xiàn)，一些大型語(yǔ)言模型在執(zhí)行被稱(chēng)為“心智理論”的任務(wù)時(shí)，表現(xiàn)與人類(lèi)一樣好，在某些情況下甚至超越了人類(lèi)。

這并不意味著人工智能系統(tǒng)實(shí)際上能夠讀懂我們的感受，但它確實(shí)表明在評(píng)估心理學(xué)家認(rèn)為的人類(lèi)獨(dú)有能力的實(shí)驗(yàn)中，這些模型表現(xiàn)得越來(lái)越好。

為了更好地了解大型語(yǔ)言模型在這些任務(wù)中的成敗機(jī)理，研究人員希望沿用他們用來(lái)測(cè)試人類(lèi)心智理論的相同系統(tǒng)性方法。

理論上，人工智能模型越善于模仿人類(lèi)，它們?cè)谂c我們的互動(dòng)中就越有用和富有同情心。

OpenAI和谷歌最近都宣布了超級(jí)人工智能助手。GPT-4o和Astra的設(shè)計(jì)目的是提供比其之前版本更流暢、更自然的反饋。

但我們必須避免陷入相信它們擁有與“類(lèi)人”能力的陷阱，即使它們看起來(lái)是這樣。

德國(guó)漢堡-埃彭多夫大學(xué)醫(yī)學(xué)中心的神經(jīng)科學(xué)教授克里斯蒂娜·貝基奧參與了這項(xiàng)研究。

她說(shuō)：“我們有一種自然的傾向，即認(rèn)為沒(méi)有心智的實(shí)體也具備（類(lèi)W6rB5TocgPykVAOKB337ycZIEUVKRGCjl6psk9ENGhY=似人類(lèi)的）精神狀態(tài)、心智和意圖。將心智理論放在大型語(yǔ)言模型身上，這樣的風(fēng)險(xiǎn)是存在的?！?/p>

心智理論是情商和社會(huì)智力的標(biāo)志，它使我們能夠推斷他人的意圖，并與其互動(dòng)或表達(dá)同情。大多數(shù)孩子會(huì)在3到5歲之間學(xué)會(huì)這些技能。

研究人員測(cè)試了兩個(gè)大型語(yǔ)言模型家族，OpenAI的GPT-3.5和GPT-4，以及Meta的Llama的三個(gè)版本。

他們挑選的任務(wù)旨在測(cè)試人類(lèi)的心智理論，包括識(shí)別錯(cuò)誤信念、識(shí)別失禮行為以及理解隱含而非直接說(shuō)出的意思（潛臺(tái)詞）。他們還對(duì)1907名人類(lèi)參與者進(jìn)行了測(cè)試，作為分?jǐn)?shù)對(duì)照。

該小組進(jìn)行了5種類(lèi)型的測(cè)試。第一項(xiàng)是暗示任務(wù)，旨在衡量某人通過(guò)間接評(píng)論推斷他人真實(shí)意圖的能力。

第二項(xiàng)是錯(cuò)誤信念任務(wù)，評(píng)估某人是否可以推斷出他人的真實(shí)信念，而他人的信念通常與事實(shí)不符。

另一項(xiàng)測(cè)試衡量某人是否能識(shí)別出他人的行為是失禮（或?qū)擂危┑摹?/p>

而第四項(xiàng)測(cè)試包括講述奇怪的故事，故事中主人公做了一些不尋常的事情，以評(píng)估某人是否能夠解釋所說(shuō)的和所做的之間的反差。他們還測(cè)試了人們是否能理解諷刺。

人工智能模型在獨(dú)立的聊天中對(duì)每個(gè)測(cè)試進(jìn)行了15次嘗試，這樣它們就可以獨(dú)立處理每個(gè)請(qǐng)求，并且它們的回答也以與人類(lèi)相同的方式進(jìn)行評(píng)分。

研究人員隨后對(duì)人類(lèi)志愿者進(jìn)行了測(cè)試，比較了兩組的分?jǐn)?shù)。

在涉及間接評(píng)論、誤導(dǎo)和錯(cuò)誤信念的任務(wù)中，兩種版本的GPT的表現(xiàn)都追平或偶爾超越了人類(lèi)平均水平，而GPT-4在諷刺、暗示和奇怪故事測(cè)試中的表現(xiàn)優(yōu)于人類(lèi)。

Llama2的3個(gè)模型的表現(xiàn)均低于人類(lèi)平均水平。

然而，Llama2在識(shí)別失禮行為和場(chǎng)景方面的表現(xiàn)優(yōu)于人類(lèi)，而GPT總是提供錯(cuò)誤的反饋。

論文作者認(rèn)為，這是由于GPT普遍不愿意對(duì)意見(jiàn)發(fā)表結(jié)論，因?yàn)槟Ｐ徒?jīng)?；貞?yīng)說(shuō)，沒(méi)有足夠的信息讓它們以這樣或那樣的方式給出回答。

他說(shuō)：“這些模型肯定沒(méi)有展示出人類(lèi)的心智理論。但我們所展示的是，它們有能力對(duì)人物或人們的思想進(jìn)行心理推理。”

美國(guó)卡內(nèi)基梅隆大學(xué)助理教授瑪藤·薩普沒(méi)有參與這項(xiàng)研究，他對(duì)這一研究結(jié)果評(píng)價(jià)稱(chēng)，大型語(yǔ)言模型表現(xiàn)得這么好的一個(gè)可能原因是，這些心理測(cè)試已經(jīng)構(gòu)建得很好了，很可能已經(jīng)包含在模型的訓(xùn)練數(shù)據(jù)中了。他說(shuō)：“重要的是要承認(rèn)，當(dāng)你對(duì)小孩子進(jìn)行虛假信念測(cè)試時(shí)，他們可能從未見(jiàn)過(guò)類(lèi)似的測(cè)試，但語(yǔ)言模型可能見(jiàn)過(guò)了?！?/p>

然而，我們?nèi)匀徊涣私獯笮驼Z(yǔ)言模型是如何工作的。

美國(guó)哈佛大學(xué)的認(rèn)知科學(xué)家托默·烏爾曼說(shuō)，像這樣的研究可以幫助我們加深對(duì)這類(lèi)模型的理解，比如它們能做什么、不能做什么。

但重要的是，當(dāng)我們進(jìn)行這樣的大型語(yǔ)言模型測(cè)試時(shí)，要記住我們真正測(cè)試的是什么。

即使人工智能在旨在測(cè)量心智理論的測(cè)試中表現(xiàn)優(yōu)于人類(lèi)，也不意味著心智理論適用于它。

烏爾曼說(shuō)：“我并不反對(duì)基準(zhǔn)，但很多人擔(dān)心我們目前使用基準(zhǔn)的方式已經(jīng)不再有意義，我是其中之一。不管這個(gè)東西是如何通過(guò)基準(zhǔn)測(cè)試的，它并非以一種類(lèi)似人類(lèi)的方式實(shí)現(xiàn)的，至少我是這么認(rèn)為的?！保ňC合整理報(bào)道）（策劃/多洛米）