作者:[美] 艾米麗·本德(Emily M. Bender),亞歷克斯·漢娜(Alex Hanna)
出版社:Harper
出版時間:2025年5月
定價:32美元
本書犀利地剖析了AI技術的種種弊端與陷阱,揭穿了其中隱藏的權力與剝削,提供了識別AI炒作的指南。
艾米麗·本德是美國華盛頓大學計算語言學教授,亞歷克斯·漢娜是分布式AI研究所的研究主管。
2025年1月22日,美國總統(tǒng)特朗普宣布,OpenAI、甲骨文和軟銀將成立一家合資企業(yè)“星際之門計劃”(StargateProject),計劃未來4年投資5000億美元建設A I相關基礎設施。就在前一天,特朗普撤銷了前任總統(tǒng)拜登簽署的一項旨在減少AI對公眾和國家安全所構成風險的行政令,大幅減少了對于美國AI行業(yè)的監(jiān)管。
“星際之門計劃”是有史以來用于建設技術基礎設施的最大規(guī)模投資,相比之下,按2025年的通貨膨脹率計算,阿波羅登月計劃在長達13年間總投資也不過是3 8 0 0億美元。當前的AI行業(yè)正在以“誰最不顧及后果,誰就能最先開發(fā)出產(chǎn)品”的模式展開惡性競賽。這場競賽在很大程度上是由OpenAI的崛起推動的。OpenAI最初是一家非營利機構,后來轉(zhuǎn)型為“有限盈利公司”,它在2 0 2 2 年推出的ChatGPT是本輪AI炒作的起點。
然而,AI的大躍進真的帶來了經(jīng)濟與社會的進步嗎?在美國科技記者郝蕓(Karen H ao)看來,情況并非如此。事實上,當前全球大多數(shù)人都比以往面臨更大的經(jīng)濟和失業(yè)壓力,尤其是那些生活在第三世界國家的人群,他們并沒有從AI的發(fā)展中得到多少好處,反而成為AI巨頭公司的犧牲 品。
郝蕓在新近出版的《AI帝國:阿爾特曼與他的OpenAI的夢想與噩夢》一書中指出,當今AI巨頭公司的運作模式類似于殖民帝國。正如殖民者通過掠奪殖民地以支撐自身擴張,AI巨頭公司也是通過踐踏邊緣群體來實現(xiàn)自身目標。
例如,訓練大型語言模型需要巨量的電力和水資源,從而導致巨大的碳排放。按照目前AI基礎設施擴張的速度,未來5年需要投入的能源相當于加州每年能源消耗的2到6倍,而這些能源大部分將依賴化石燃料。
從水資源的角度看,AI的數(shù)據(jù)中心必須使用凈化過的淡水冷卻,不能使用其他類型的水,因為那樣會腐蝕設備,導致細菌滋生。大多數(shù)情況下,這類淡水直接取自公共飲用水供應系統(tǒng)。更有甚者,在全球范圍內(nèi),這類數(shù)據(jù)中心有2/3選址在缺水地區(qū),這意味著原本就供水緊張的當?shù)厣鐓^(qū)會更加缺水。
AI行業(yè)需要從互聯(lián)網(wǎng)上抓取海量數(shù)據(jù)來訓練,但是不能直接把這些數(shù)據(jù)輸入模型,因為數(shù)據(jù)中有很多“污染物”,需要清理和標注。當OpenAI開始考慮將產(chǎn)品商業(yè)化,把“能夠生成各種文本的機器”交到數(shù)百萬用戶手中的時候,他們在肯尼亞通過中介公司雇用合同工來提供這類數(shù)據(jù)清理和標注服務。這些肯尼亞工人需要閱讀網(wǎng)絡上最惡劣的文本內(nèi)容,以及Open A I自己的模型模擬網(wǎng)絡上最惡劣的文本所生成的內(nèi)容,然后詳細分類,比如“這是色情內(nèi)容嗎?這是暴力內(nèi)容嗎?暴力內(nèi)容有多血腥?”,以此來訓練過濾器識別各種需要屏蔽的內(nèi)容類型。這些工人每小時的工資只有幾美元,卻在工作中承受了巨大的心理創(chuàng)傷,甚至面臨人格四分五裂的風 險。
殖民帝國維持自身存在的一大法寶,就是不斷地操縱事實、操控科學,使自己得以持續(xù)。當今的AI帝國也是如此。對于AI技術,公眾連最基本的事情都不了解,不知道它們使用了多少能源、排放了多少碳,甚至連數(shù)據(jù)中心建在哪里往往都無從得知。公眾無法知道AI的算法和數(shù)據(jù)中究竟隱藏了多少歧視,但是它們已經(jīng)開始被學校用于教學、被醫(yī)院用于醫(yī)療決策。令人震驚的是,公眾對這種狀況居然已經(jīng)習以為常。郝蕓在書中強調(diào):我們不應該接受這樣的狀況。
郝蕓的呼聲并不孤單,而是代表了許多深諳AI行業(yè)內(nèi)幕的有識之士的共識和期望。幾乎就在她的新書出版的同時,兩位資深的AI批評者—也是播客《AI騙局懸疑劇場3000》的共同主持人—本德(Emily M. Bender)與漢娜(A lex Ha nna)出版了《A I騙局:如何對抗大科技炒作,創(chuàng)造我們想要的未來》一書,犀利地剖析了AI技術的種種弊端與陷阱,揭穿了其中隱藏的權力與剝削,提供了識別AI炒作的指南。
兩位作者指出,全球社會如今正處在一輪火熱的AI炒作周期中。所謂“炒作”就是對某項技術過度吹捧,使人深信非買不可、非投資不可。許多AI領袖關于未來的論調(diào),其實是借用了科幻作品中的常見套路—無論是熱衷于AI的鼓吹者,還是那些擔憂AI潛在危害的“末日論者”,他們所描繪的未來場景幾乎都來自科幻小說。前者幻想一個由AI驅(qū)動的美好未來,后者則哀嘆一個AI接管世界、毀滅人類的末日。
這兩種看似對立的觀點,實則有一個共同信念:一個由遠超人類智慧的AI主導的未來終將到來。在此基礎上,就會不斷有人宣稱,某項技術是通往這個未來的關鍵一步。這一切其實都是市場營銷。
事實上,AI是一個營銷術語,并不指代一套統(tǒng)一的技術體系。有些AI技術確實非常有效,例如能幫助放射科醫(yī)生處理圖像。但是,還有許多AI技術是被嚴重夸大的。當前被熱捧的大語言模型就是一個典型例子。兩位作者指出,這類模型,比如ChatGPT,其實質(zhì)是“合成文本擠出機器”。就像工業(yè)塑料加工一樣,龐大的文本數(shù)據(jù)庫通過復雜的機械流程,生成貌似有交流意義的語言產(chǎn)品,但背后并沒有任何意圖或思維主體。那些能生成圖像和音樂的生成式AI模型也是如此。
數(shù)據(jù)盜用是大語言模型和文本生成圖像模型的原罪,這些模型堪稱巨大的剽竊機器,會徹頭徹尾地抄襲它們的輸入內(nèi)容,目前已有多起關于AI侵犯版權的訴訟。更嚴重的是數(shù)據(jù)污染,訓練數(shù)據(jù)本該經(jīng)過精心篩選,但是現(xiàn)實中的AI公司幾乎把互聯(lián)網(wǎng)上所有能搜刮的內(nèi)容都抓了下來。
隨著AI的普及,如今的網(wǎng)絡搜索結(jié)果常常首先顯示AI生成的摘要,這會削弱用戶的批判性思維—過去用戶必須瀏覽一系列鏈接,了解有哪些信息來源,這有助于建立對信息環(huán)境的整體理解。更不用說,ChatGPT經(jīng)常編造虛假的引用來源。
勞動剝削則是AI的深層次問題。兩位作者指出,AI也許不會直接搶走你的工作,但它一定會讓你的工作變得更糟。AI經(jīng)常被包裝為效率工具,實際卻是用黑箱機器取代有資質(zhì)的工人,然后還需要大量收入微薄的外包或零工人員來照看這些機器。換言之,積極使用AI的公司常常會把正式員工裁掉,再雇用零工來從事相關工作任務。在引入AI的工作場所里,人們要么變成了AI看護者,需要隨時照看AI程序;要么得繞過它們才能完成任務。AI總體上并沒有帶來真正顯著的生產(chǎn)力提升,即使某些地方有所提升,也是因為工具引入了更多新任務,背后則依靠大量的人工勞動維持。
IBM公司曾經(jīng)有一句著名的箴言:“計算機永遠不應被追責,因此計算機絕不應該作出管理決策?!比欢?,時至今日,一些技術精英和權力精英極力主張將決策交給AI,這意味著他們本人無須為后果承擔責任。在資本和輿論熱炒AI的大環(huán)境下,不少公眾被灌輸了如下觀念:“AI很聰明,一定會作出公平、客觀的決定,因為它是在電腦里運算。”
在美國,無論是私營部門還是公共部門,現(xiàn)在越來越流行把治理責任“外包”給自動化系統(tǒng)。一個典型例證就是曾由馬斯克主導的DOGE,其全稱是“Digitization of GovernmentEnt erpri se”,即“政府職能數(shù)據(jù)化”,它試圖將美國聯(lián)邦政府服務的各個方面代碼化,從而繞過原來的民主治理程序。
隨著AI從創(chuàng)新變成基礎設施,全球既得利益階層將更容易集中財富,鞏固既有權力與地位。而普通人將承受更大的經(jīng)濟和失業(yè)壓力,邊緣群體將更加脆弱;真相也將更容易被虛假信息遮蔽。
如何不被AI毀掉,成了全球社會迫在眉睫的問題。對此,兩位作者給出了富有啟發(fā)的回答。
首先,應當警惕將AI“擬人化”。所謂“擬人化”,意指賦予無生命的物體人類獨有的特征和品質(zhì)。AI公司宣稱自己推出的聊天機器人“會看”“會思考”就是“擬人化”的典型案例。事實上,聊天機器人并不具備“看”或“思考”的能力。
AI公司之所以選擇以“擬人化”的方式推銷產(chǎn)品,是因為我們天生會假設語言的背后有一個說話者,一個“心智主體”。我們在理解語言時,不僅僅依賴字面意義,也會通過對說話者的認知賦予語言意義。所以,我們在面對像C h a tGP T這類大語言模型所生成的文本時,也會不自覺地這么做。但實際上,大語言模型并不會真正理解任何一個概念在其社會、文化、政治語境下的含義,它們只是在做“模式匹配”,這是一種思考的幻 象。
在破除了“擬人化”的幻象之后,正確的做法是不把AI叫作“AI”(人工智能),因為這個詞會讓問題變得模糊,而是應該把AI當作“自動化”來看待,然后追問:到底自動化了什么?輸入是什么?輸出是什么?能夠利用輸入得到合理的輸出嗎?
例如,如果輸入是音頻錄音,輸出是文字轉(zhuǎn)錄,從輸入到輸出的轉(zhuǎn)換就是合理的,錄音所包含的信息足以生成準確的轉(zhuǎn)錄文本。但是,如果有人聲稱他們的AI產(chǎn)品能夠通過照片判斷一個人是不是罪犯,這顯然是不可能的。因為“罪犯”是一個社會類別,不是人的固有屬性,更不可能從面相就看出來。
對于類似這樣的AI產(chǎn)品,就應當追問:這個產(chǎn)品是怎么構建的?模型的訓練數(shù)據(jù)是怎么得來的?訓練數(shù)據(jù)是否代表了用戶預期使用場景的真實情況?更關鍵的是,它是如何被評估的?評估結(jié)果是否符合用戶的使用需 求?
更進一步,為什么要把“判斷一個人是不是罪犯”這件事自動化?誰會從中受益?誰可能受到傷害?對于受害者來說,有沒有申訴手段和補救措施?這些問題與AI產(chǎn)品所采用的具體技術手段無關,而是與AI周邊的生態(tài)系統(tǒng)和社會機制有關,任何人都有權追問。如果得不到合理的答案,那么就有充分理由拒絕這類AI產(chǎn)品。
令人遺憾的是,在當今這個熱炒AI的時代,這些本應不可或缺的追問,幾乎總是被忽視。
2025年1月特朗普重返白宮之后,馬斯克主導的DOGE一度大權在握,推行了一系列激進改革,鼓吹政治透明即算法透明,宣揚AI算法的“非人化”能夠帶來客觀、公平的治理結(jié)構,試圖建立一種“算法治理”與“去官僚化”的技術統(tǒng)治。
DOGE在掌握實權的大約130天里給美國社會造成了巨大破壞。大量公務員系統(tǒng)癱瘓,傳統(tǒng)政府機構行政失能;算法偏見導致弱勢群體遭到系統(tǒng)性排除,例如AI拒絕為“低信用人群”分配醫(yī)療資源;“效率”驅(qū)動的等級制度加劇了貧富分化,數(shù)字鴻溝擴大,社會進一步分裂;大量治理決策無人負責,公信力崩塌。
馬斯克在權傾一時后迅速淡出權力中心,深刻揭示了DOGE所倡導的“算法治理”模式的失敗,也為世人敲響了警惕AI的破壞性潛能的警鐘。那種在AI熱潮中被反復灌輸?shù)摹氨仨毦o跟AI潮流”的思維,正一步步顯現(xiàn)其誤導性與操控性。唯有理性對抗資本和技術巨頭的AI炒作,才能避免走向一個艱難而黯淡的未來。
《AI帝國:阿爾特曼與他的OpenAI的夢想與噩夢》
作者:[美] 郝蕓(Karen Hao)
出版社:Penguin Press
《輕率之人:一則關于權力、貪婪與理想迷失的警示寓言》
作者:[美] 薩拉·懷恩-威廉姆斯(Sarah Wynn-Williams)
出版社:Flatiron Books
本書披露了“Facebook”令人震驚的內(nèi)幕,表達了對社交平臺深刻而毫不留情的審視。