ChatGPT算力消耗驚人，中國公司誰能支撐？

吳俊宇

國內(nèi)云廠商高性能GPU芯片缺貨，正在成為限制中國生成式AI誕生的最直接因素。

2022年12月，微軟投資的AI創(chuàng)業(yè)公司OpenAI推出了聊天機(jī)器人ChatGPT。這是生成式AI在文本領(lǐng)域的實(shí)際應(yīng)用。

所謂生成式AI，是指依靠AI大模型和AI算力訓(xùn)練生成內(nèi)容。ChatGPT的本質(zhì)是OpenAI自主研發(fā)的GPT-3.5語言大模型。該大模型包含了近1800億個(gè)參數(shù)。3月15日，OpenAI將該大模型迭代至GPT-4.0。GPT-3.5只是單模態(tài)大模型，只能回復(fù)文本。但GPT-4.0是多模態(tài)大模型，能同時(shí)實(shí)現(xiàn)圖像、文本輸入。GPT-4.0回復(fù)準(zhǔn)確度、語義理解力大幅提升。

微軟的Azure云服務(wù)為ChatGPT構(gòu)建了超過1萬枚英偉達(dá)Al00 GPU芯片的AI計(jì)算集群。

美國市場(chǎng)研究機(jī)構(gòu)TrendForce在3月1日的報(bào)告中測(cè)算稱，處理1800億個(gè)參數(shù)的GPT-3.5大模型，需要的GPU芯片數(shù)量高達(dá)2萬枚。未來GPT大模型商業(yè)化所需的GPU芯片數(shù)量甚至超過3萬枚。更早前的2022年11月，英偉達(dá)在官網(wǎng)公告中提到，微軟Azure上部署了數(shù)萬枚A100/Hl00高性能芯片。這是第一個(gè)采用英偉達(dá)高端GPU構(gòu)建的大規(guī)模AI算力集群。

鑒于英偉達(dá)在高性能GPU方面的技術(shù)領(lǐng)先實(shí)力，在國內(nèi)，云計(jì)算技術(shù)人士公認(rèn)的一個(gè)說法是，1萬枚英偉達(dá)A100芯片是做好AI大模型的算力門檻。

《財(cái)經(jīng)》了解到，目前國內(nèi)云廠商擁有的GPU主要是英偉達(dá)中低性能產(chǎn)品（如英偉達(dá)Al0）。擁有超過1萬枚GPU的企業(yè)不超過五家，其中擁有1萬枚英偉達(dá)Al00芯片的企業(yè)最多只有一家。也就是說，單是從算力這個(gè)衡量指標(biāo)來看，國內(nèi)能在短期內(nèi)布局類似ChatGPT的選手十分有限。

ChatGPT看似只是聊天機(jī)器人，但這卻是微軟的AI算力、AI大模型和生成式AI在消費(fèi)市場(chǎng)的一次肌肉展示。在企業(yè)市場(chǎng)，這是云計(jì)算的新一輪增長點(diǎn)。微軟Azure ML（深度學(xué)習(xí)服務(wù)）已有200多家客戶，包括制藥公司拜耳、審計(jì)公司畢馬威。Azure ML連續(xù)四個(gè)季度收入增長超過100%。這是微軟云旗下云、軟件、AI三大業(yè)務(wù)中增長最快的板塊。

今年2月，包括阿里、百度等中國企業(yè)宣布將研發(fā)類ChatGPT產(chǎn)品，或?qū)⑼度肷墒紸I的研發(fā)。3月16日，百度發(fā)布了對(duì)標(biāo)ChatGPT的大語言模型“文心一言”。不過，目前中國企業(yè)對(duì)外發(fā)布的大模型普遍是單模態(tài)的，且普遍面臨GPU算力不足的挑戰(zhàn)。在國內(nèi)，AI算力、AI大模型和生成式AI被認(rèn)為只有云廠商才有資格下場(chǎng)。華為、阿里、騰訊、字節(jié)跳動(dòng)、百度都有云業(yè)務(wù)，理論上有跑通AI算力、AI大模型和生成式AI應(yīng)用的入場(chǎng)券。

有入場(chǎng)券不代表能跑到終點(diǎn)。這需要長期高成本投入。GPU芯片價(jià)格公開，算力成本容易衡量。大模型需要數(shù)據(jù)采集、人工標(biāo)注、模型訓(xùn)練，這些軟性成本難以簡單計(jì)算。生成式AI的投資規(guī)模通常高達(dá)百億元。

多位云計(jì)算廠商技術(shù)人士、服務(wù)器廠商人士對(duì)《財(cái)經(jīng)》表示，高性能GPU芯片短缺，硬件采購成本、運(yùn)營成本高昂，國內(nèi)市場(chǎng)中短期商業(yè)化困難，這三個(gè)問題才是真正的挑戰(zhàn)。目前認(rèn)為，具備資金儲(chǔ)備、戰(zhàn)略意志和實(shí)際能力的企業(yè)，暫時(shí)不會(huì)超過三家。

芯片數(shù)量決定“智商”

決定AI大模型“智商”的核心因素是三個(gè)，算力規(guī)模、算法模型的精巧度、數(shù)據(jù)的質(zhì)量和數(shù)量。

AI大模型的推理、訓(xùn)練高度依賴英偉達(dá)的GPU芯片。缺少芯片會(huì)導(dǎo)致算力不足。算力不足意味著無法處理龐大的模型和數(shù)據(jù)量。最終的結(jié)果是，AI存在智商差距。

3月5日，第十四屆全國人民代表大會(huì)第一次會(huì)議開幕，科技部部長王志剛在全國兩會(huì)“部長通道”接受媒體采訪時(shí)評(píng)價(jià)，ChatGPT作為一個(gè)大模型，有效結(jié)合了大數(shù)據(jù)、大算力、強(qiáng)算法。它的計(jì)算方法有進(jìn)步，特別是在保證算法的實(shí)時(shí)性與算法質(zhì)量的有效性上?！熬拖癜l(fā)動(dòng)機(jī)，大家都能做出發(fā)動(dòng)機(jī)，但質(zhì)量是有不同的。踢足球都是盤帶、射門，但是要做到梅西那么好也不容易。”

英偉達(dá)是全球知名的半導(dǎo)體廠商，在數(shù)據(jù)中心GPU市場(chǎng)占據(jù)超過90%的份額。英偉達(dá)A100芯片2020年上市，專用于自動(dòng)駕駛、高端制造、醫(yī)療制藥等AI推理或訓(xùn)練場(chǎng)景。2022年英偉達(dá)推出了性能更強(qiáng)的新一代產(chǎn)品H100。A100/H100是目前性能最強(qiáng)的數(shù)據(jù)中心專用GPU，市面上幾乎沒有可規(guī)模替代的方案。包括特斯拉、Facebook在內(nèi)的企業(yè)，都利用A100芯片組建了AI計(jì)算集群，采購規(guī)模均超過7000枚。

多位云計(jì)算技術(shù)人士對(duì)《財(cái)經(jīng)》表示，運(yùn)行ChatGPT至少需要1萬枚英偉達(dá)的A100芯片。然而，GPU芯片持有量超過1萬枚的企業(yè)不超過五家。其中，擁有1萬枚英偉達(dá)A100 GPU的企業(yè)至多只有一家。

另有某大型服務(wù)器廠商人士對(duì)《財(cái)經(jīng)》表示，即使樂觀估計(jì)，GPU儲(chǔ)備規(guī)模最大的企業(yè)也不超過5萬枚，且以英偉達(dá)中低端數(shù)據(jù)中心芯片（如英偉達(dá)A10）為主。這些GPU芯片分散在不同數(shù)據(jù)中心中，單個(gè)數(shù)據(jù)中心通常只配備了數(shù)千枚GPU芯片。

表：英偉達(dá)數(shù)據(jù)中心芯片售價(jià)

資料來源：美國硬件設(shè)備銷售商Thinkmate，《財(cái)經(jīng)》記者整理 制表：張玲

此外，由于美國政府去年8月開始實(shí)施的貿(mào)易限制，中國企業(yè)早已無法獲取英偉達(dá)A100芯片?，F(xiàn)有A100芯片儲(chǔ)備均是存貨，剩余使用壽命約為4年-6年。

2022年8月31日，英偉達(dá)、AMD兩家半導(dǎo)體企業(yè)旗下生產(chǎn)的GPU產(chǎn)品被美國列入限制范圍。英偉達(dá)被限制的產(chǎn)品包括A100和H100，AMD受管制GPU產(chǎn)品包括MI250。按照美國政府的要求，未來峰值性能等于或超過A100的GPU產(chǎn)品也被限制出售。

中國企業(yè)目前能夠獲取的最佳替代品，是英偉達(dá)的A800芯片。A800被視為是A100的“閹割版”。2022年8月，A100被禁止銷售中國市場(chǎng)后，英偉達(dá)在當(dāng)年三季度針對(duì)中國市場(chǎng)推出了特供的A800芯片。該產(chǎn)品計(jì)算性能與A100基本相同，但數(shù)據(jù)傳輸速度被降低了30%。這會(huì)直接影響AI集群的訓(xùn)練速度和效果。

不過，A800芯片目前在中國市場(chǎng)也嚴(yán)重缺貨。雖然是A100“閹割版”，A800京東官網(wǎng)定價(jià)超過8萬元／枚，甚至超過A100官方定價(jià)（1萬美元／枚）。即使如此，A800在京東官網(wǎng)仍是缺貨狀態(tài)。

有云廠商人士對(duì)《財(cái)經(jīng)》表示，A800實(shí)際售價(jià)甚至高于10萬元／枚，價(jià)格還在持續(xù)上漲。A800目前在浪潮、新華三等國內(nèi)服務(wù)器廠商手中是稀缺品，一次只能采購數(shù)百片。

GPU數(shù)量不夠或性能不夠的結(jié)果是，AI推理和模型訓(xùn)練的準(zhǔn)確度不足。這會(huì)直接導(dǎo)致中國企業(yè)即使做出類似的對(duì)話機(jī)器人，機(jī)器人的“智商”會(huì)遠(yuǎn)低于Chat-GPT。國內(nèi)云廠商高性能GPU芯片缺貨，正在成為限制中國版ChatGPT誕生的最直接因素。

成本高昂

AI算力和大模型是比云還要燒錢的吞金獸。

即使有足量的高性能GPU，中國云廠商接下來還要面臨高昂的硬件采購成本、模型訓(xùn)練成本以及日常運(yùn)營成本。面對(duì)上述成本，具備資金儲(chǔ)備、戰(zhàn)略選擇和實(shí)際能力的企業(yè)不超過三家。

OpenAI能做出ChatGPT，背后有微軟提供資金和算力。2019年微軟向Ope-nAI投資10億美元。2021年微軟再進(jìn)行了一輪未透露金額的投資。今年1月，微軟宣布將在未來數(shù)年陸續(xù)向OpenAI投資100億美元。

對(duì)云廠商來說，AI算力和大模型需要面臨高昂的硬件采購成本、模型訓(xùn)練成本以及日常運(yùn)營成本。

其一，硬件采購成本和智算集群建設(shè)成本。如果以1萬枚英偉達(dá)A800 GPU為標(biāo)準(zhǔn)構(gòu)建智能算力集群，在10萬元／枚的價(jià)格標(biāo)準(zhǔn)下，僅GPU采購成本就高達(dá)10億元。一臺(tái)服務(wù)器通常需要4枚-8枚GPU，一臺(tái)搭載A800的服務(wù)器成本超過40萬元。國內(nèi)服務(wù)器均價(jià)為4萬-5萬元。一臺(tái)GPU服務(wù)器的成本是普通服務(wù)器的10倍以上。服務(wù)器采購成本通常是數(shù)據(jù)中心建設(shè)成本的30%，一個(gè)智算集群的建設(shè)成本超過30億元。

其二，模型訓(xùn)練成本。想要算法模型足夠精準(zhǔn)，需要進(jìn)行多輪算法模型訓(xùn)練。有某外資云廠商的資深技術(shù)人士對(duì)《財(cái)經(jīng)》表示，ChatGPT一次完整的模型訓(xùn)練成本超過1200萬美元（約合8000萬元）。如果進(jìn)行10次完整的模型訓(xùn)練，成本便高達(dá)8億元。GPU芯片價(jià)格公開，算力成本相對(duì)容易衡量。但AI大模型還需要數(shù)據(jù)采集、人工標(biāo)注、模型訓(xùn)練等一系列工作，這些軟性成本難以簡單計(jì)算。不同效果的模型最終成本也不同。

其三，日常運(yùn)營成本。數(shù)據(jù)中心內(nèi)的模型訓(xùn)練需要消耗網(wǎng)絡(luò)帶寬、電力資源。此外，模型訓(xùn)練還需要算法工程師負(fù)責(zé)調(diào)教。上述成本也以億元為單位計(jì)算。

也就是說，進(jìn)入AI算力和AI大模型的賽道，前期硬件采購、集群建設(shè)成本就高達(dá)數(shù)十億元。后期模型訓(xùn)練、日常運(yùn)營以及產(chǎn)品研發(fā)成本同樣高達(dá)數(shù)十億元。一家管理咨詢公司技術(shù)戰(zhàn)略合伙人對(duì)《財(cái)經(jīng)》表示，生成式AI的投資規(guī)模高達(dá)百億元。

微軟大規(guī)模采購GPU組建智算集群，這在商業(yè)邏輯上行得通。2022年微軟在云計(jì)算基礎(chǔ)設(shè)施的支出超過250億美元，當(dāng)年微軟營業(yè)利潤828億美元，微軟云營業(yè)利潤就超過400億美元。僅微軟云利潤大于支出，大規(guī)模投資AI算力、大模型業(yè)務(wù)，這與微軟的財(cái)務(wù)現(xiàn)狀是相匹配的。

微軟的AI計(jì)算有產(chǎn)品、有客戶、有收入，形成了新的增長點(diǎn)。微軟的客戶通常會(huì)在云上租賃數(shù)千枚高性能GPU，進(jìn)行語言模型學(xué)習(xí)，以此使用自己的啟用生成式AI。

微軟旗下包括AzureML和OpenAI。Azure ML有200多家客戶，包括制藥公司拜耳、審計(jì)公司畢馬威。Azure ML連續(xù)四個(gè)季度收入增長超過100%。微軟云甚至已經(jīng)形成了“云-企業(yè)軟件-AI計(jì)算”三條輪動(dòng)增長的曲線。其中公有云Azure營收增速約為30%-400/o，軟件業(yè)務(wù)營收增速約為500%-60%，AI算力營收增速超過100%。

中國企業(yè)用于云基礎(chǔ)設(shè)施的資本支出有限，投資投資智算集群、AI大模型需要從有限的預(yù)算中分走支出。更大的挑戰(zhàn)是，中短期內(nèi)不僅無法盈利，還要虧更多錢。

科技公司的資本支出通常被用于采購服務(wù)器、建設(shè)數(shù)據(jù)中心、購置園區(qū)土地等固定資產(chǎn)。以亞馬遜為例，2022年資本支出580億美元，超過50%用于投資云基礎(chǔ)設(shè)施?！敦?cái)經(jīng)》查閱阿里、騰訊、百度最近一個(gè)財(cái)年的資本支出發(fā)現(xiàn)，三家數(shù)據(jù)分別為533億元、622億元、112億元。

三家均未披露用于投資云基礎(chǔ)設(shè)施的資本支出情況。假設(shè)三家企業(yè)與亞馬遜相同，50%的資本支出用于投資云基礎(chǔ)設(shè)施，數(shù)據(jù)分別為266億元、311億元、56億元。投資數(shù)十億元對(duì)資本支出寬裕的企業(yè)來說可以承受，但對(duì)資本支出不足的企業(yè)來說，則是負(fù)擔(dān)。

國內(nèi)宣布已建設(shè)智算集群的企業(yè)包括阿里云、華為、百度，但智算集群內(nèi)GPU芯片數(shù)量不詳。2022年，主要云廠商均把提高毛利、減少虧損作為戰(zhàn)略重點(diǎn)。在這個(gè)階段采購高性能GPU、建設(shè)智算集群需要巨額投入。不僅會(huì)加劇虧損，還需要依賴集團(tuán)輸血。這將考驗(yàn)企業(yè)管理層的戰(zhàn)略意志。

大模型沒條件，先做小模型

華為、阿里、騰訊、字節(jié)跳動(dòng)、百度都有云業(yè)務(wù)，理論上有做出中國版Chat-GPT的入場(chǎng)券。

有云計(jì)算技術(shù)人士評(píng)價(jià)，有入場(chǎng)券的幾家企業(yè)也會(huì)有實(shí)際的戰(zhàn)略考量。比如，騰訊、百度、字節(jié)跳動(dòng)有云也有大量數(shù)據(jù)，但云業(yè)務(wù)在虧損，長期投入的資金儲(chǔ)備、戰(zhàn)略意志存疑。華為靠自研異騰芯片建立了大模型技術(shù)，但因“斷供”影響無法獲得英偉達(dá)的GPU芯片，而且作為硬件廠商缺少互聯(lián)網(wǎng)公司的數(shù)據(jù)積累。

由于上述限制，能實(shí)現(xiàn)AI大模型商業(yè)化的企業(yè)少之又少。最終同時(shí)具備資金儲(chǔ)備、戰(zhàn)略意志和實(shí)際能力的企業(yè)將寥寥無幾。

目前，沒有一家中國云廠商像微軟一樣擁有數(shù)萬枚A100/H100芯片。中國云廠商的高性能GPU算力目前暫時(shí)不足。一種更務(wù)實(shí)的觀點(diǎn)是，中國云廠商即使真的獲取1萬枚英偉達(dá)高性能GPU后，也不應(yīng)該簡單投入到中國版ChatGPT這種大眾的消費(fèi)場(chǎng)景。

算力資源稀缺時(shí)，優(yōu)先考慮是投入行業(yè)市場(chǎng)，為企業(yè)客戶提供服務(wù)。一家管理咨詢公司技術(shù)戰(zhàn)略合伙人對(duì)《財(cái)經(jīng)》表示，ChatGPT只是對(duì)話機(jī)器人，商業(yè)應(yīng)用場(chǎng)景展示暫時(shí)有限。用戶規(guī)模越大，成本也就越高，帶來的虧損也會(huì)越大。AI算力和大模型如何在細(xì)分領(lǐng)域?qū)崿F(xiàn)商業(yè)化，獲取正向現(xiàn)金流才是關(guān)鍵。

中國市場(chǎng)的AI算力、大模型的商業(yè)化尚處于起步期。目前國內(nèi)自動(dòng)駕駛、金融等領(lǐng)域的少數(shù)客戶開始采用AI算力。比如，小鵬汽車目前已經(jīng)采用阿里云的智算中心進(jìn)行自動(dòng)駕駛的模型訓(xùn)練。

有數(shù)據(jù)中心產(chǎn)品經(jīng)理對(duì)《財(cái)經(jīng)》表示，國內(nèi)銀行金融客戶反欺詐已經(jīng)大量運(yùn)用模型訓(xùn)練技術(shù)，通常只需要租賃使用數(shù)百枚性能更低的GPU調(diào)教模型。同樣是AI計(jì)算和模型訓(xùn)練，這是更低成本的解決方案。事實(shí)上，通用大模型無法解決行業(yè)具體問題，無論是金融、汽車、消費(fèi)等各個(gè)領(lǐng)域都需要行業(yè)模型。

中國暫時(shí)沒有足夠的高性能GPU做大規(guī)模AI模型訓(xùn)練，可以先在細(xì)分領(lǐng)域做小模型。AI技術(shù)發(fā)展之快速超越了人們的認(rèn)知，對(duì)中國公司來說，持續(xù)布局戰(zhàn)略性發(fā)力才是根本之道。