高地雪/編譯
要計(jì)算出生成單張“教皇身著巴黎世家”AI圖片所消耗的瓦數(shù)和焦耳數(shù)并不容易。但論及人工智能的真實(shí)能耗,我們并非完全一無所知。
眾所周知,機(jī)器學(xué)習(xí)要消耗大量的能量。所有那些支持生成電子郵件摘要、弒君聊天機(jī)器人,以及動(dòng)畫角色霍默 · 辛普森(Homer Simpson)唱新金屬音樂的視頻的人工智能模型,都在以每小時(shí)數(shù)兆瓦的速度累積著巨額的服務(wù)器費(fèi)用。但似乎沒有人——甚至是這項(xiàng)技術(shù)背后的公司——能夠準(zhǔn)確地說出成本是多少。
估計(jì)數(shù)字確實(shí)存在,但專家表示,這些數(shù)字只是部分和偶然的,只能讓人們對(duì)人工智能的總能源使用情況有一個(gè)粗略的了解。這是因?yàn)闄C(jī)器學(xué)習(xí)模型具有難以置信的可變性,能夠以顯著改變其功耗的方式進(jìn)行配置。此外,那些最有條件制定法案的組織——如元平臺(tái)(Meta)、微軟(Microsoft)和開放人工智能(OpenAI)等公司——根本就沒有共享相關(guān)信息。微軟負(fù)責(zé)云運(yùn)營和創(chuàng)新的首席技術(shù)官朱迪 · 普里斯特(Judy Priest)在一封電子郵件中表示,該公司目前正在“投入研究開發(fā)方法,以量化人工智能的能源使用和碳影響,同時(shí)致力于提高大型系統(tǒng)在培訓(xùn)和應(yīng)用方面的效率”。開放人工智能和元平臺(tái)方面則沒有給出回復(fù)。
我們可以確定的一個(gè)重要因素是首次訓(xùn)練模型時(shí)和將其部署給用戶時(shí)的功耗區(qū)別。模型訓(xùn)練尤其耗能,它消耗的電力要遠(yuǎn)超傳統(tǒng)的數(shù)據(jù)中心活動(dòng)。例如,訓(xùn)練一個(gè)像GPT-3這樣的大語言模型,估計(jì)使用的電力要將近1300兆瓦時(shí),大約相當(dāng)于130戶美國家庭一年消耗的電量。對(duì)這個(gè)數(shù)據(jù)更直觀的說明是:在線觀看一小時(shí)的網(wǎng)飛視頻需要大約0.8千瓦時(shí)(0.0008兆瓦時(shí))的電。這意味著你必須觀看1 625 000小時(shí)的流媒體才能消耗與訓(xùn)練GPT-3所需的同等電量。
但是,我們很難說這樣一個(gè)數(shù)字要如何適用于目前最先進(jìn)的系統(tǒng)。實(shí)際的能耗可能會(huì)比這更大,因?yàn)槎嗄陙砣斯ぶ悄苣P偷囊?guī)模一直在穩(wěn)步上升,而更大的模型需要更多的能源。另一方面,企業(yè)可能正在使用一些已經(jīng)驗(yàn)證過的方法來讓這些系統(tǒng)變得更節(jié)能,這將抑制能源成本上升的趨勢(shì)。
法美聯(lián)合人工智能公司抱抱臉(Hugging Face)的研究員薩莎 · 盧喬尼(Sasha Luccioni)表示,計(jì)算最新估計(jì)數(shù)據(jù)的挑戰(zhàn)在于,隨著人工智能逐漸贏利,企業(yè)變得更加保密?;乜磶啄昵埃耖_放人工智能這樣的公司還會(huì)發(fā)布他們訓(xùn)練制度的細(xì)節(jié),包括使用的硬件和訓(xùn)練時(shí)長。但是盧喬尼表示,對(duì)于ChatGPT和GPT-4這樣的最新模型,同樣的信息根本不發(fā)布。
“對(duì)于ChatGPT,我們不知道它有多大,不知道它的底層模型有多少參數(shù),也不知道它在哪里運(yùn)行……它有可能是‘三只浣熊疊羅漢站在雨衣里裝成人,因?yàn)槟愀静恢蓝得毕旅媸鞘裁础!?/p>
盧喬尼撰寫了幾篇研究人工智能能源使用情況的論文,她認(rèn)為這種保密性在一定程度上是源于企業(yè)之間的競爭,但也是為了轉(zhuǎn)移批評(píng)意見。人工智能的能源使用統(tǒng)計(jì)數(shù)據(jù)——尤其是那些最無聊瑣碎的用例的數(shù)據(jù)——自然會(huì)讓人聯(lián)想到加密貨幣的能耗浪費(fèi),并將兩者相比較。她表示:“人們?cè)絹碓揭庾R(shí)到,這一切并非沒有代價(jià)。”
訓(xùn)練模型只是整個(gè)能耗問題中的一部分。在一個(gè)系統(tǒng)創(chuàng)建完成之后,它會(huì)被推向消費(fèi)者,消費(fèi)者使用它來生成輸出,這一過程被稱為“推理”。 2023年12月,盧喬尼和抱抱臉公司及美國卡內(nèi)基梅隆大學(xué)的同事發(fā)表了一篇論文(目前正在等待同行評(píng)審),其中包含了對(duì)各種人工智能模型的推理能耗的初次估計(jì)。
盧喬尼和她的同事們對(duì)88個(gè)不同的模型進(jìn)行了測(cè)試,這些模型涵蓋了從回答問題到識(shí)別對(duì)象和生成圖像的一系列用例。在每個(gè)用例下,他們運(yùn)行任務(wù)1000次,并估計(jì)能源成本。他們測(cè)試的大多數(shù)任務(wù)使用的能源較少,例如,對(duì)書面樣本分類耗能0.002千瓦時(shí),生成文本耗能0.047千瓦時(shí)。如果我們用觀看網(wǎng)飛流媒體一小時(shí)的耗能做比較,這些時(shí)間分別相當(dāng)于觀看9秒或3.5分鐘所消耗的能量。(別忘了:這是執(zhí)行每項(xiàng)任務(wù)1000次的能源成本。)圖像生成模型的能耗數(shù)據(jù)明顯更大,平均每1000次推理需耗能2.907千瓦時(shí)。這篇論文指出,智能手機(jī)充滿電所需的平均用電量為0.012千瓦時(shí),因此,利用人工智能生成一幅圖像所消耗的能量可能幾乎和給你的智能手機(jī)充電所消耗的能量一樣多。
然而,重點(diǎn)在于“可能”,因?yàn)檫@些數(shù)據(jù)并不一定適用于所有用例。盧喬尼和她的同事們測(cè)試了十種不同的系統(tǒng),包括從生成微小的64x64像素圖片的小型模型到生成4 K圖像的大模型,這導(dǎo)致最終得出的數(shù)值范圍極大。研究人員對(duì)所使用的硬件進(jìn)行了標(biāo)準(zhǔn)化,以便更好地比較不同的人工智能模型。這并不一定反映了真實(shí)世界的部署,因?yàn)樵谡鎸?shí)世界中,軟硬件通常針對(duì)能源效率進(jìn)行了優(yōu)化。
“這肯定不能代表每個(gè)人的用例,但至少現(xiàn)在我們有了一些數(shù)據(jù),”盧喬尼說,“我想在地上插一面旗子,說‘讓我們從這里開始吧?!?/p>
因此,這項(xiàng)研究提供了有用的相對(duì)數(shù)據(jù),但并非絕對(duì)數(shù)據(jù)。例如,它表明,人工智能模型在生成輸出時(shí)所需的功率比在分類輸入時(shí)更多。它還表明,任何涉及圖像的任務(wù)都比文本更耗能。盧喬尼表示,盡管這些數(shù)據(jù)的偶然性或許令人沮喪,但這種有條件的、不確定的性質(zhì)本身就說明了問題?!芭c生成性人工智能革命相伴而來的是我們一無所知的全球性代價(jià),對(duì)我而言,這種(數(shù)據(jù))差異尤其具有指示意義,”她說,“一言以蔽之:我們就是不知道?!?/p>
因此,由于變量繁雜,試圖確定生成一幅“身著巴黎世家的教皇”圖片所需的能源成本是很棘手的。但如果我們想更好地了解其中的全球性代價(jià),還有其他的方法。如果我們不專注于模型推理,而是把目光放得更遠(yuǎn)呢?
這就是荷蘭阿姆斯特丹自由大學(xué)的在讀博士生亞歷克斯 · 德弗里斯(Alex de Vries)的做法。他在自己的博客網(wǎng)站“數(shù)字經(jīng)濟(jì)學(xué)家”(Digiconomist)上初次嘗試了計(jì)算比特幣的能源消耗,并使用英偉達(dá)圖形處理器(Nvidia GPU,這是人工智能硬件的黃金標(biāo)準(zhǔn))來估算比特幣行業(yè)的全球能源消耗情況。德弗里斯2023年在《焦耳》(Joule)上發(fā)表的評(píng)論中解釋道,英偉達(dá)占據(jù)了人工智能市場銷售額的大約95%。該公司還發(fā)布了旗下硬件的能源規(guī)格和銷售預(yù)測(cè)。
通過整合這些數(shù)據(jù),德弗里斯計(jì)算出,到2027年,人工智能行業(yè)每年可能要消耗85至134太瓦時(shí)(1太瓦時(shí)=10億千瓦時(shí))的電力。這大約相當(dāng)于德弗里斯的祖國荷蘭每年的能源需求。
“也就是說,到2027年,人工智能的電力消耗可能占全球電力消耗的0.5%,”德弗里斯告訴“前沿網(wǎng)”(The Verge),“我認(rèn)為這是一個(gè)相當(dāng)巨大的數(shù)字?!?/p>
國際能源署最近的一份報(bào)告也給出了類似的估計(jì),報(bào)告表明,由于人工智能和加密貨幣的需求,數(shù)據(jù)中心的用電量將在不久的將來大幅增加。該機(jī)構(gòu)表示,當(dāng)前數(shù)據(jù)中心的能源使用量在2022年約為460太瓦時(shí),到2026年可能增加到620至1050太瓦時(shí),這分別相當(dāng)于瑞典和德國的(年度)能源需求量。
但德弗里斯表示,重要的是把這些數(shù)字放在大背景下考量。他指出,從2010年到2018年,數(shù)據(jù)中心的能源使用量一直相當(dāng)穩(wěn)定,約占全球能源消耗的1%至2%。(我們這里所說的“數(shù)據(jù)中心”指的是構(gòu)成“互聯(lián)網(wǎng)”的一切:從公司的內(nèi)部服務(wù)器到你智能手機(jī)上所有無法離線使用的應(yīng)用程序。)德弗里斯說,在這段時(shí)間內(nèi),需求確實(shí)增加了,但硬件效率也提高了,從而抵消了需求的增加。
他擔(dān)心的是,對(duì)于人工智能而言,情況可能會(huì)有所不同,這恰恰是因?yàn)槠髽I(yè)傾向于簡單地投入更大的模型和更多的數(shù)據(jù)來處理任何任務(wù)。“這對(duì)效率來說是一種真正致命的動(dòng)態(tài),”德弗里斯說,“因?yàn)樗鼮槿藗儫o腦地不斷增加計(jì)算資源創(chuàng)造了一種自然的激勵(lì),而一旦模型或硬件變得更高效,人們就會(huì)把這些模型做得比之前更大。”
效率的提高是否能夠抵消不斷增長的需求和使用量,這是個(gè)無法回答的問題。與盧喬尼一樣,德弗里斯也為缺乏可用數(shù)據(jù)而感到惋惜,但他表示,世界不能簡單地忽視這件事?!澳壳八龅臄?shù)據(jù)估計(jì)算是為了搞清楚這個(gè)問題未來走向的權(quán)宜之計(jì),它肯定不是完美的數(shù)據(jù),”他說,“但它已足以給出一些警告。”
一些涉足人工智能的企業(yè)聲稱,該技術(shù)本身可以幫助解決這些問題。代表微軟發(fā)言的普里斯特表示,人工智能“將成為推進(jìn)可持續(xù)解決方案的有力工具”,并強(qiáng)調(diào)微軟正在努力實(shí)現(xiàn)“到2030年實(shí)現(xiàn)負(fù)碳排、水資源正效益和零浪費(fèi)的可持續(xù)發(fā)展目標(biāo)”。
但是,一家企業(yè)的目標(biāo)永遠(yuǎn)無法涵蓋整個(gè)行業(yè)的需求??赡苓€需要其他的方法。
盧喬尼表示,她希望看到企業(yè)為人工智能模型引入能源星級(jí)評(píng)級(jí),讓消費(fèi)者能夠像對(duì)待家電一樣對(duì)能源效率進(jìn)行比較。對(duì)于德弗里斯來說,我們應(yīng)該采用更根本的方法:我們真的需要使用人工智能來執(zhí)行特定的任務(wù)嗎?“因?yàn)?,考慮到人工智能的各種局限性,在很多情況下,它可能根本不是正確的解決方案,而我們將走上更難的那條路、通過浪費(fèi)大量的時(shí)間和資源來搞懂這一點(diǎn)?!?/p>
資料來源 The Verge
本文作者詹姆斯 · 文森特(James Vincent)是一位專注于人工智能、機(jī)器人領(lǐng)域的資深記者