為什么我的DeepSeek總在一本正經(jīng)胡說八道

我有一位朋友小G，身為博物館策展人，受過良好學(xué)術(shù)訓(xùn)練的她對(duì)歷史考據(jù)嚴(yán)謹(jǐn)?shù)浇跗珗?zhí)。兩年前，ChatGPT嶄露頭角，不少人陷入職業(yè)焦慮，小G卻毫不在意，她將這類AI統(tǒng)統(tǒng)稱為“人工智障”，覺得它們輸出的內(nèi)容既淺薄又荒謬，根本無法撼動(dòng)她在專業(yè)領(lǐng)域的自信。但隨著DeepSeek重掀熱潮，被工作期限逼得焦頭爛額的小G，也不得不向AI求助了。她要為歷史展品編寫通俗易懂的場景解說，便向DeepSeek詢問：請(qǐng)從錢莊伙計(jì)的視角，講講在沒有科技設(shè)備的年代，在工作中會(huì)遇到哪些困難？

很快，DeepSeek便交出一份“錢莊工作手記”，其中詳細(xì)描寫了“天未亮就要在桐油燈下核對(duì)賬目”的年輕伙計(jì)，“用長柄放大鏡查驗(yàn)銀票邊角的暗記紋路”的掌柜師傅，甚至還提到了“蘇漕平每百兩扣二錢五”這樣的專業(yè)細(xì)節(jié)?！疤K漕平”可不是一般人能知曉的術(shù)語（漕平，舊時(shí)征收漕銀的衡量標(biāo)準(zhǔn)，各地標(biāo)準(zhǔn)不同，一般冠以地名）。這讓小G眼前一亮，她在聊天群里興奮夸贊：“確實(shí)啟發(fā)效果不錯(cuò)，比以前的人工智障強(qiáng)多了！”然而，僅僅5小時(shí)后，她的態(tài)度就來了個(gè)180度大轉(zhuǎn)彎：“好多內(nèi)容是它瞎編的！給我編了個(gè)錢莊使用的套色密押印章組，本來還覺得很有道理，但仔細(xì)一查，根本就沒有這個(gè)東西…”

不甘心的小G試圖要求AI在生成文本同時(shí)提供參考文獻(xiàn)，可新生成的說明里，不僅“騎縫章”“法幣券”等真實(shí)元素與“驗(yàn)鈔機(jī)”“美鈔暗記對(duì)照表”等虛構(gòu)情節(jié)交織，給出的參考文獻(xiàn)更是子虛烏有，小G只能無奈吐槽：“我現(xiàn)在不得不對(duì)它寫的東西做事實(shí)驗(yàn)證，可我又不是它導(dǎo)師….”

被AI坑過的不止小G。隨著生成式

AI的普及，越來越多的人發(fā)現(xiàn)，表面上無所不知的AI，有時(shí)會(huì)煞有介事地編造看似合理實(shí)則虛假的內(nèi)容。這種現(xiàn)象，被研究者們稱為“AI幻覺”。

要明白“AI幻覺”，得先搞清楚生成式AI的工作原理。很多人從新聞中的“大語言模型”一詞展開想象，以為ChatGPT或DeepSeek像是一個(gè)擁有龐大數(shù)據(jù)庫的搜索引擎，能像翻書查文獻(xiàn)一樣給我們的問題提供準(zhǔn)確答案。但其實(shí)，今天的生成式AI更像是一個(gè)沉浸在語料庫海洋中學(xué)習(xí)說話的學(xué)習(xí)者，它不是在查找答案，而是在預(yù)測下一個(gè)要說的最合理的詞是什么。

這個(gè)學(xué)習(xí)者有專屬的大腦結(jié)構(gòu)，就是Transformer深度學(xué)習(xí)模型。Trans-former處理語言時(shí)，首先把輸入的句子拆成一組包含位置信息的詞元，并用數(shù)字對(duì)詞元編碼，以方便計(jì)算機(jī)處理。一個(gè)詞元可能是一個(gè)單詞，也可能是一個(gè)詞根、數(shù)字或標(biāo)點(diǎn)等類似單詞的東西，比如“生成式AI”可能被拆為“生成”“式”“A”“I”，Transformer可能被拆成“Trans”“former”，這種拆分能讓AI更靈活地處理各種語言。

Transformer模型的核心是注意力機(jī)制。在處理好詞元后，它會(huì)對(duì)輸入句子中的每個(gè)詞元計(jì)算上下文中的哪些詞元與它相關(guān)，借此捕捉句子中遠(yuǎn)距離詞語的聯(lián)系。

想象一下你讀到“陰雨連綿，小伙計(jì)仍然要”這半句話時(shí)，大腦會(huì)關(guān)注“陰雨”，并依據(jù)“仍然”的轉(zhuǎn)折語義，推斷接下來小伙計(jì)應(yīng)該不會(huì)進(jìn)行一個(gè)適宜雨天的行為，由此判斷后面可能出現(xiàn)“出門”之類的戶外行動(dòng)。

AI的注意力機(jī)制也是如此，分析詞元關(guān)聯(lián)，確定“注意”重點(diǎn)，綜合注意力權(quán)重產(chǎn)生新的語義矢量，最終輸出基于前文預(yù)測的下一個(gè)詞元的概率分布。

AI訓(xùn)練時(shí)用了大量高質(zhì)量文本和書籍等資源，最基本的訓(xùn)練任務(wù)就是從這些文本中摘取段落，讓模型盡可能準(zhǔn)確地預(yù)測后續(xù)應(yīng)該出現(xiàn)的詞元。之后，還會(huì)對(duì)模型應(yīng)用領(lǐng)域內(nèi)的相關(guān)文本進(jìn)行微調(diào)。所以，從內(nèi)部結(jié)構(gòu)到訓(xùn)練過程，AI都沒有“理解詞意”這一步。

人類回答問題時(shí)會(huì)試圖基于知識(shí)進(jìn)行聯(lián)想推理，而AI則基于訓(xùn)練數(shù)據(jù)中觀察到的語言模式生成答案，它不理解問題，只是按統(tǒng)計(jì)規(guī)律給出看似合理的輸出，因此也有研究者用“隨機(jī)鸚鵡”形容大語言模型的這一特性。

這就解釋了小G為何會(huì)得到“套色密押印章組”這種幻覺回答。AI處理晚清錢莊歷史問題時(shí)，注意力機(jī)制關(guān)聯(lián)訓(xùn)練數(shù)據(jù)中與“錢莊”“防偽”等相關(guān)的所有信息。但它不理解詞元的含義，也不區(qū)分信息真假，僅按統(tǒng)計(jì)關(guān)聯(lián)性選擇看似“最可能”的組合。訓(xùn)練數(shù)據(jù)里，古代金融機(jī)構(gòu)需要防偽，印章是認(rèn)證工具，套色是印刷技術(shù)，密押是銀票防偽暗記，這些碎片信息被概率重組，就創(chuàng)造出了看似專業(yè)合理實(shí)際并不存在的歷史細(xì)節(jié)。

（摘自微信公眾號(hào)“三聯(lián)生活周刊”）