圖形處理器：人工智能時代的算力核心

| 圖形處理器：從游戲圖形渲染到人工智能計算 |

如今，圖形處理器（GPU）在人工智能通用計算領(lǐng)域中扮演著不可或缺的角色，是支持聊天生成式預(yù)訓(xùn)練轉(zhuǎn)換器（ChatGPT）等深度學習模型進行高效計算的關(guān)鍵技術(shù)之一，被譽為“人工智能時代的算力核心”。

GPU起初被稱為“顯示芯片”或“圖形芯片”，是顯卡上執(zhí)行圖像和視頻輸出任務(wù)的核心元件，其歷史可追溯到20世紀70年代。那時，圖形顯示技術(shù)尚處于萌芽階段，并首次在家庭游戲機上得到商業(yè)應(yīng)用。到了1999年，英偉達推出了革命性的精視256產(chǎn)品，是首款正式被稱為GPU的設(shè)備，專注于游戲圖形渲染，以提供更為逼真的視覺效果和更加流暢的游戲體驗。

21世紀初，英偉達推出了“酷達”并行計算架構(gòu)，極大地擴展了GPU的功能，使其能夠高效解決之前只能用中央處理器（CPU）處理的大規(guī)模并行計算任務(wù)。此項創(chuàng)新為人工智能領(lǐng)域帶來了革命性的變化，因為深度學習模型的設(shè)計和訓(xùn)練需要進行大量矩陣運算，而這正是GPU擅長的。

GPU的廣泛應(yīng)用范圍幾乎覆蓋了所有高端技術(shù)領(lǐng)域。在科學研究中，它被用于物理模擬、化學分子建模、生物信息學數(shù)據(jù)分析和氣候模型模擬等。在媒體產(chǎn)業(yè)，它為視頻編輯、特效制作和色彩校正等后期處理作業(yè)提供動力。在醫(yī)療領(lǐng)域，它處理復(fù)雜的成像數(shù)據(jù)，同時也被用于藥物發(fā)現(xiàn)和基因研究。在汽車工業(yè)，特別是在自動駕駛技術(shù)中，GPU負責處理傳感器數(shù)據(jù)、執(zhí)行機器視覺任務(wù)以及支持決策制定。而在金融領(lǐng)域，GPU被用于加速風險評估、市場模擬及高頻交易策略的回測工作。

在現(xiàn)代數(shù)字娛樂領(lǐng)域，GPU為虛擬現(xiàn)實與增強現(xiàn)實打造沉浸式的體驗。桌面虛擬化技術(shù)也從GPU強大的圖形支持能力中受益良多。同時，隨著向量處理、光線追蹤和量子計算等前沿技術(shù)的持續(xù)發(fā)展，以及它們與人工智能及機器學習應(yīng)用的不斷融合，GPU的角色預(yù)計將越發(fā)重要：它不僅是推動當前技術(shù)發(fā)展的引擎，也會是開啟未來革新之門的鑰匙。

| 巨頭英偉達 |

作為全球GPU巨頭，英偉達從游戲市場起步，近年搭上元宇宙、加密貨幣以及人工智能的東風，牢牢掌握了深度學習芯片市場的主導(dǎo)權(quán)。時至今日，GPU已成為全球數(shù)據(jù)中心支持人工智能應(yīng)用的必備硬件資源，被譽為“英偉達大金磚”的A100與H100芯片系列在市場上大受追捧。2020年7月，英偉達首次超越英特爾，成為美國市值最高的半導(dǎo)體廠商。2022年11月，開放人工智能公司推出ChatGPT聊天機器人，引爆了全球?qū)ι墒饺斯ぶ悄艽竽Ｐ偷臒崆?，而英偉達的GPU產(chǎn)品在大模型訓(xùn)練方面幾乎沒有可以與之匹敵的競品。到了2024年2月，英偉達市值攀升至1.83萬億美元，僅次于微軟和蘋果，位列美股市值第三。僅僅4個月后的6月18日，英偉達市值達到3.34萬億美元，超越微軟和蘋果，成為全球市值最高的公司。

英偉達設(shè)備的毛利率接近70%，這個比率對競爭者的吸引力，就像血腥的魚餌吸引鯊魚。近年來，豐厚的利潤吸引著越來越多的廠商紛紛涌入人工智能芯片領(lǐng)域。英特爾、超威半導(dǎo)體等半導(dǎo)體界的重量級玩家陸續(xù)公布了它們的人工智能芯片研發(fā)計劃，而開放人工智能、微軟等下游廠商也在自主研發(fā)芯片，試圖挑戰(zhàn)英偉達的市場統(tǒng)治地位。2024年春，英偉達布萊克維爾GPU架構(gòu)和超級芯片GB200以及英特爾高迪3相繼亮相，當前人工智能芯片市場呈現(xiàn)出英偉達GB200、英特爾高迪3和超威半導(dǎo)體MI300系列三巨頭競爭的格局，但英偉達依然一家獨大，競爭對手無法望其項背。英偉達首席執(zhí)行官黃仁勛稱，英偉達的GPU“如此出色，即使競爭對手的芯片免費，也還不夠便宜”。一位華爾街分析師感嘆道：“在人工智能的戰(zhàn)場上，英偉達是唯一的軍火商?！?/p>

| 起自游戲顯卡 |

1993年，畢業(yè)于俄勒岡州立大學電氣工程專業(yè)的黃仁勛聯(lián)手資深微芯片設(shè)計師克里斯·馬拉科夫斯基和柯蒂斯·普里姆共同創(chuàng)立了英偉達。當時，馬拉科夫斯基和普里姆希望設(shè)計出一款能讓競爭對手“嫉妒得眼紅”的芯片。黃仁勛建議將公司命名為英偉達——這個名字源自拉丁語，意指“嫉妒”。莎士比亞有句名言：“嫉妒是一個綠眼的妖魔?！倍ミ_的標志就被設(shè)計為一只綠色的眼睛。

GPU是英偉達的主要產(chǎn)品。起初，英偉達將它們賣給電子游戲玩家。到了2006年，黃仁勛開始向超級計算機論壇推銷它們。2013年，他把英偉達的未來押在了人工智能上。長期以來，人工智能一直讓投資者失望，時任英偉達首席深度學習研究員布萊恩·卡坦扎羅回憶說：“我曾擔心他會陷入人工智能的困境，但十余年過去了，事實證明，他的選擇是正確的?！?/p>

黃仁勛是一位實際派，不喜歡空談理論或冒險投機，從未讀過一本科幻小說。他從最基本的原理出發(fā)，憑借對芯片現(xiàn)有能力的準確判斷，堅信它們將在未來大放異彩?！拔冶M我所能不讓公司倒閉，竭盡全力不讓自己失敗。”他說。

在加州圣克拉拉市的英偉達總部中心，有兩座巨大的建筑，每座都呈修剪過角的三角形。這一設(shè)計元素貫穿建筑內(nèi)外，從沙發(fā)和地毯到小便池的防濺板，無處不在。員工們將這兩座建筑稱作“宇宙飛船”，其寬敞明亮的空間給人空曠而神秘的感覺。

在股價飆升前，英偉達就已被列為美國最佳工作場所之一。每座建筑頂部都設(shè)有酒吧，定期舉辦派對，員工們被鼓勵將辦公室視為多功能空間，在此用餐、編程和社交。盡管如此，大樓內(nèi)部依然一塵不染——英偉達利用視頻監(jiān)控系統(tǒng)和人工智能全天候監(jiān)控員工動態(tài)。如果有員工在會議桌上用餐，人工智能會在一小時內(nèi)安排清潔工前來打掃。黃仁勛曾表示，他期待一個機器人像家用電器一樣普及的世界，“未來所有帶動力的設(shè)備都將實現(xiàn)自主移動。”

在英偉達，可能唯一看起來不那么開心的人便是質(zhì)量控制技術(shù)員了。在沒有窗戶的實驗室里，面色蒼白的年輕男子們戴著耳塞、穿著短袖，在用于冷卻GPU的高速風扇發(fā)出的尖銳噪音中工作。而正是這些電路板使得人工智能革命成為可能。

在傳統(tǒng)的計算機架構(gòu)中，CPU承擔了大部分的工作。程序員編寫程序，將計算任務(wù)交給CPU去處理，CPU作為計算機的核心，負責解釋和執(zhí)行程序指令以及管理系統(tǒng)資源。傳統(tǒng)CPU的核心數(shù)量較少，但它們通常擁有更強的單線程處理能力。多年來，CPU的主要制造商是英特爾，而英特爾曾多次試圖將英偉達逼出市場?！拔译x英特爾遠遠的，”黃仁勛將兩家公司的關(guān)系比作貓鼠游戲，“每當英特爾靠近，我就抱起我的芯片狂奔。”

英偉達決定另辟蹊徑。1999年，公司上市后不久，便推出了名為“精視”的顯卡，公司市場部負責人丹·維沃利稱之為“圖形處理器”?！拔覀儎?chuàng)造了這一類別，所以我們能在此領(lǐng)域遙遙領(lǐng)先。”維沃利說。與CPU不同，GPU含有成百上千個小核心，專門用來同時處理多個并行操作，適合用于執(zhí)行簡單但高度重復(fù)的計算任務(wù)。簡而言之，CPU就像一位多才多藝的廚師，能夠巧妙地處理每道獨特而精致的菜肴；而GPU則更像是一隊整齊劃一的快餐店員工，專門負責快速而批量地制作相同的漢堡，高效地滿足大量客戶的同一需求。在需要大規(guī)模并行處理的領(lǐng)域，GPU能帶來巨大的性能優(yōu)勢。它最初主要被用于圖形密集型的電子游戲和圖形設(shè)計應(yīng)用，比如三維建模、動畫渲染和圖形效果的實現(xiàn)。

精視系列大獲成功。它的流行正是得益于《雷神之錘》系列游戲，它們利用并行計算來渲染玩家可以用榴彈發(fā)射器射擊的怪物。游戲中還推出了多人對戰(zhàn)的“死亡競賽”模式。為獲得最佳體驗，游戲玩家在每次精視卡更新?lián)Q代時都會搶先購入。2000年，斯坦福大學計算機圖形學的研究生伊恩·巴克將32張精視卡串聯(lián)起來，搭配八臺投影儀玩《雷神之錘》?！斑@是第一個8K分辨率的游戲設(shè)備，它將整面墻變成了屏幕。簡直太美了?！卑涂苏f。

| 為超級計算打造的酷達平臺 |

巴克想知道精視卡是否適用于游戲之外的其他領(lǐng)域。在美國國防高級研究計劃局的資助下，他開始探索GPU執(zhí)行通用并行計算任務(wù)的可能性。之后，巴克加入了英偉達。作為計算機科學的狂熱愛好者，禿頂?shù)陌涂藥е腔鄣纳癫?。過去20年，他一直在測試英偉達芯片的極限?！叭祟惲晳T于線性思考?！彼f，“例如，如果需要告訴某人如何從這里到星巴克，我們會給他一步步的指令，而不會教他如何從任意地點到達任意一家星巴克。對我們來說，并行思考就是很難。”

自2004年以來，巴克一直負責英偉達的并行計算平臺酷達的開發(fā)?？徇_是一種創(chuàng)新的編程模型，它允許開發(fā)者直接利用英偉達的GPU進行高性能計算，極大地擴展了GPU的應(yīng)用范圍。

在巴克開發(fā)軟件的同時，英偉達的硬件團隊開始在微芯片上為超級計算操作分配空間。這些芯片密布著數(shù)十億個電子晶體管，通過錯綜復(fù)雜的電路實現(xiàn)高速運算。英偉達的首席芯片工程師阿爾賈·普拉布將微芯片設(shè)計比作城市規(guī)劃，芯片的不同區(qū)域?qū)ｉT負責不同的任務(wù)。2006年底酷達發(fā)布時，華爾街的反應(yīng)卻并不熱烈。黃仁勛將超級計算的概念帶給了大眾，但大眾并未表現(xiàn)出他們需要這種技術(shù)?！坝ミ_為這種新的芯片架構(gòu)投入了巨資，大概數(shù)十億美元，”科技播客節(jié)目《獲得》的主持人本·吉爾伯特評價說，“瞄準的卻是科學計算領(lǐng)域一個不起眼的角落?！秉S仁勛堅信，酷達的出現(xiàn)將擴展超級計算領(lǐng)域的邊界。這種觀點最初并未獲得廣泛認同，到2008年底，英偉達的股價暴跌70%。

酷達下載量在2009年達到頂峰，隨后連續(xù)三年持續(xù)下滑。董事會成員們憂心忡忡，擔心英偉達低迷的股價可能會吸引“企業(yè)掠奪者”的覬覦?！拔覀儽M力保護公司，防止有激進的股東試圖拆分公司。”資深董事會成員吉姆·蓋瑟如是說。2013年剛加入董事會的市場營銷高管道恩·哈德森則評價道，“那時，英偉達的發(fā)展明顯處于停滯狀態(tài)?！?/p>

在推廣酷達時，英偉達努力開拓包括股票交易員、石油勘探員和分子生物學家在內(nèi)的多元化客戶群體。他們甚至與通用磨坊食品公司合作，借助模擬技術(shù)來研究冷凍披薩在烹飪過程中的熱物理學過程。與此同時，英偉達在人工智能領(lǐng)域的投入并不多，在21世紀的前十年，這個領(lǐng)域被大多數(shù)人所忽視，圖像和語音識別這些核心技術(shù)的發(fā)展幾近停滯。在這個不被看好的學科中，有一個更被邊緣化的領(lǐng)域——神經(jīng)網(wǎng)絡(luò)，它是一種受人類大腦啟發(fā)的計算模型。許多計算機科學家認為神經(jīng)網(wǎng)絡(luò)已被證明不可信。“我的導(dǎo)師勸我不要投身神經(jīng)網(wǎng)絡(luò)領(lǐng)域，因為它們當時被視為過時且無用?！笨ㄌ乖_深深地記得這段經(jīng)歷。

他將繼續(xù)從事神經(jīng)網(wǎng)絡(luò)研究的人稱為“荒野中的先知”，其中一位便是多倫多大學教授杰弗里·辛頓。2009年，辛頓的研究小組使用酷達平臺訓(xùn)練了一個能識別人類語音的神經(jīng)網(wǎng)絡(luò)。他對出色的研究成果感到驚訝，并在同年晚些時候的一次學術(shù)會議上作了展示。然后，他聯(lián)系了英偉達?！拔野l(fā)了一封電子郵件說，‘看！我剛剛和1000名機器學習研究人員說，他們都應(yīng)該去買英偉達的顯卡。你們能給我贈送一張嗎？’”辛頓說，“他們拒絕了?！?/p>

盡管受到冷遇，辛頓仍然鼓勵他的學生們使用酷達，包括他的一位烏克蘭出生的門徒——天才程序員亞歷克斯·克里澤夫斯基。2012年，克里澤夫斯基和他的研究伙伴伊利亞·蘇茨克弗在經(jīng)費拮據(jù)的情況下，從亞馬遜購買了兩張精視顯卡。然后，克里澤夫斯基在酷達平臺上訓(xùn)練一個圖像識別神經(jīng)網(wǎng)絡(luò)，并在一周內(nèi)對其輸入了數(shù)百萬張圖片?！八谧约旱呐P室里讓那兩塊GPU板卡嗡嗡作響?！毙令D說，“而支付相當可觀的電費的，是他的父母?！?/p>

蘇茨克弗和克里澤夫斯基對這些顯卡帶來的性能感到震驚。就在那年早些時候，谷歌訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)來識別貓咪視頻，用了大約1.6萬個CPU。而蘇茨克弗和克里澤夫斯基僅用兩塊英偉達的電路板就取得了世界級的成果。

| 神經(jīng)網(wǎng)絡(luò) |

克里澤夫斯基在他父母家中訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)——“亞歷克斯網(wǎng)絡(luò)”（AlexNet），如今可以與萊特兄弟的飛行器和愛迪生的燈泡齊名。2012年，克里澤夫斯基攜帶亞歷克斯網(wǎng)絡(luò)參加年度“圖像網(wǎng)”數(shù)據(jù)集圖像分類競賽?！皥D像網(wǎng)”數(shù)據(jù)集是當前世界上最大的圖像識別數(shù)據(jù)集之一，自2010年起每年都會舉辦一次與數(shù)據(jù)集同名的圖像分類競賽，吸引全球圖像識別領(lǐng)域的頂尖選手同臺競技。2012年，神經(jīng)網(wǎng)絡(luò)還不夠流行，克里澤夫斯基是唯一使用這種技術(shù)的參賽者。亞歷克斯網(wǎng)絡(luò)在比賽中的超凡表現(xiàn)最初讓組織者質(zhì)疑克里澤夫斯基是否作弊了?！澳鞘且粋€大爆炸時刻，是范式的轉(zhuǎn)移?！毙令D說。

十年來，描述亞歷克斯網(wǎng)絡(luò)架構(gòu)的那篇九頁的論文被引用超十萬次，成為計算機科學史上最重要的論文之一。亞歷克斯網(wǎng)絡(luò)能正確識別摩托車、豹子和集裝箱船等的圖像。克里澤夫斯基不僅開創(chuàng)了許多重要的編程技術(shù)，更重要的是，他發(fā)現(xiàn)用專用GPU進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，其速度能比用通用CPU快上數(shù)百倍?！叭绻麤]有酷達，做機器學習研究可就太困難了?！毙令D不無感慨地說。

僅僅幾年時間，圖像分類競賽的每一位參賽者都轉(zhuǎn)向使用神經(jīng)網(wǎng)絡(luò)。到了2015年左右，借助GPU加速，神經(jīng)網(wǎng)絡(luò)在圖像識別的準確率上已達到了令人難以置信的96%，超越了人類。黃仁勛深知神經(jīng)網(wǎng)絡(luò)將徹底改變社會。英偉達副總裁格雷格·埃斯特斯回憶道：“周五晚上，黃仁勛發(fā)出一封電子郵件，宣布我們不再是一家圖形處理公司。到了周一早上，我們就已變身成為一家人工智能公司。真的，就是這么快。”

2017年，谷歌研究員推出“轉(zhuǎn)換器”神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)，翌年它便被開放人工智能公司用來構(gòu)建首個生成式預(yù)訓(xùn)練轉(zhuǎn)換器（GPT）。GPT模型在英偉達的超級計算機上接受訓(xùn)練，利用GPU大幅提升訓(xùn)練速度、處理龐大的數(shù)據(jù)集、優(yōu)化模型的性能和準確度。在推理階段，即ChatGPT響應(yīng)用戶提問時，GPU同樣發(fā)揮著重要作用，能夠高速處理數(shù)據(jù)，提供流暢的交互體驗。

2022年底，經(jīng)過多次迭代的ChatGPT對外發(fā)布。而在人工智能技術(shù)迅猛發(fā)展的大背景下，英偉達的人工智能芯片開始出現(xiàn)供不應(yīng)求的局面。公司2022年3月推出人工智能訓(xùn)練模塊DGX H100——一個重達370磅的金屬盒子，售價高達50萬美元，預(yù)訂量很快就排到了數(shù)月后。DGX H100的運行速度是先前訓(xùn)練ChatGPT所用硬件的五倍，能在不到一分鐘的時間內(nèi)完成亞歷克斯網(wǎng)絡(luò)的訓(xùn)練。

前臉書首席技術(shù)官亞當·德安格洛曾說：“人工智能熱潮之所以被人低估，一個重要原因便是GPU和TPU（張量處理器，谷歌專為深度學習定制的硬件加速器）的短缺。這種短缺正在限制產(chǎn)品的發(fā)布和模型的訓(xùn)練，而這些限制并不明顯。相反，我們所看到的，僅僅是英偉達市值的飆升。一旦供應(yīng)跟上需求，人工智能將會加速發(fā)展?！?/p>

對于高端的人工智能模型，英偉達會銷售裝配有數(shù)十臺DGX H100的全套系統(tǒng)。如果這還不夠，公司會將這些計算器像圖書館的書架一樣排列，用價值數(shù)千萬美元的超級計算設(shè)備填滿整個數(shù)據(jù)中心。人工智能的能力似乎無窮無盡。“如果你愿意相信人工神經(jīng)元能像生物神經(jīng)元一樣運作，這就意味著你其實在訓(xùn)練一個大腦?！碧K茨克弗這樣說，“那么理論上，它們應(yīng)當能做到我們能做到的一切?！?/p>

ChatGPT的后繼者GPT-4可以將餐巾紙上的草圖變成一個網(wǎng)站。它在美國法學院入學考試中的得分高于88%的考生。在接下來的幾年里，英偉達的硬件將高速訓(xùn)練更多類似的人工智能模型，它們可以管理投資組合、駕駛無人機、竊取并復(fù)制肖像、模仿逝者的聲音、充當自主機器人的大腦，甚至創(chuàng)造基因定制藥物、創(chuàng)作音樂與詩歌。如果我們不夠小心，或許很快就會有一天，其中一個將比我們更聰明。

| 工業(yè)元宇宙 |

黃仁勛說：“我從不滿足。不管是什么，我只看到不完美之處?！碑敱粏柕侥壳笆欠裨谶M行任何類似20年前那樣的冒險時，他立刻用一個詞回答：“全息宇宙。”

全息宇宙代表了英偉達為精細模擬現(xiàn)實世界所作的嘗試，黃仁勛稱之為“工業(yè)元宇宙”，旨在通過高度精確的仿真技術(shù)，創(chuàng)建一個虛擬數(shù)字孿生體，以在虛擬世界中精細地再現(xiàn)真實世界的物理規(guī)律和業(yè)務(wù)流程。“工業(yè)元宇宙”借助GPU加速，實時分析并處理海量數(shù)據(jù)，使得企業(yè)和研發(fā)團隊能在一個絕對可控且安全的仿真環(huán)境中測試、優(yōu)化和驗證其設(shè)計和系統(tǒng)，可用于制造業(yè)、建筑業(yè)、自動駕駛車輛測試、機器人技術(shù)等諸多領(lǐng)域。

自2018年以來，英偉達的顯卡引入了“光線追蹤”技術(shù)，該技術(shù)能夠精細模擬光線在各種表面的反射，以實現(xiàn)極為逼真的視覺效果。在一次產(chǎn)品演示中，英偉達的演示專家向觀眾展示了一家日本拉面店的三維渲染場景。當視角切換時，可以觀察到金屬柜臺上的光線反射，以及一鍋沸騰湯面上升起的蒸汽。這個場景如此真實，以至于幾乎無法辨認出這并非一個現(xiàn)實中的場所。

接著，專家展示了名為“黛安”的數(shù)字化頭像，這個頭像能說五種語言，并且外觀異常逼真。這是由一個強大的生成式人工智能在分析數(shù)百萬人的視頻后創(chuàng)造的角色。最令人印象深刻的是那些不完美之處——黛安鼻尖的黑頭和上唇的細小汗毛。唯一能表明黛安不是真人的線索，是她眼白中不自然的閃光?！拔覀冋卺槍@一問題進行改進?！睂＜艺f。

黃仁勛的愿景是將英偉達的計算機圖形研究與其生成式人工智能研究結(jié)合起來。在他看來，圖像生成式人工智能將很快變得如此先進，以至于它們不僅能夠渲染出可居住的三維世界，還能在這些世界中注入栩栩如生的虛擬人。與此同時，語言處理人工智能可以實時解釋口令，這些技術(shù)一旦與光線追蹤技術(shù)融為一體，便能通過語言來創(chuàng)造宇宙。

至于這些技術(shù)背后隱藏的風險，黃仁勛表示他并不憂心。2023年5月，數(shù)百位行業(yè)領(lǐng)袖支持一項將失控人工智能與核戰(zhàn)爭的風險相提并論的聲明，黃仁勛沒有簽署它。有經(jīng)濟學家觀察到，工業(yè)革命導(dǎo)致全球馬匹數(shù)量相對下降，希望知道人工智能是否可能對人類產(chǎn)生同樣的影響?！榜R匹的職業(yè)選擇本就有限，比如，它們不會打字?！秉S仁勛說，“我了解人工智能是怎么工作的，它和微波爐的工作原理并無二致，所以沒什么好擔心的?！?/p>

編輯：周丹丹