AI新“王炸”，來自東方的神秘力量
2025-01-16 00:00:00朱秋雨
南風(fēng)窗 2025年2期
2024年末，一個(gè)中國(guó)AI小廠，憑借過硬的技術(shù)，獲得了全球鋪天蓋地的關(guān)注。
圣誕節(jié)過后，海外社交媒體以及技術(shù)論壇Github都在討論一個(gè)最新發(fā)布的開源大模型，DeepSeek-V3。它被外國(guó)網(wǎng)友冠以名號(hào)——“來自東方的神秘力量”。
多個(gè)評(píng)測(cè)報(bào)告里，DeepSeek-V3在世界開源模型之中處在第一梯隊(duì)，超過扎克伯格的LLaMa3.1。拿它比GPT-4o以及Claude3.5兩個(gè)最頂尖大模型也毫不遜色，甚至，其在數(shù)學(xué)推理、代碼生成和長(zhǎng)文本處理等指標(biāo)上，表現(xiàn)更強(qiáng)。
這還不是中國(guó)AI公司DeepSeek（中文名：深度求索）全部的“拿手好戲”。更讓美國(guó)硅谷等同行摸不著頭腦的是，DeepSeek公布的53頁技術(shù)報(bào)告顯示，其訓(xùn)練頂尖大模型只用了2048張H100的GPU集群，花費(fèi)53天，共計(jì)耗費(fèi)557.6萬美元。有專業(yè)人員指出，同等水平之下，世界AI大廠至少要用1.6萬張以上的GPU，有的甚至需要10萬張GPU并行訓(xùn)練。
OpenAI早期成員安德烈·卡帕西感慨，DeepSeek-V3的出現(xiàn)意味著，今后也許不需要大型GPU集群來訓(xùn)練前沿的大語言模型了。ScaleAI的華裔CEO亞歷山大·王更感慨道，DeepSeek-V3帶給美國(guó)最大的教訓(xùn)是，“當(dāng)美國(guó)人休息時(shí)，中國(guó)正在努力工作，最終以更低的成本、更快的速度迎頭趕上，變得更強(qiáng)”。
這一以低成本聞名的小團(tuán)隊(duì)顛覆了國(guó)外AI巨頭發(fā)展的固定范式，是被外界認(rèn)為最像（早期）OpenAI的開源機(jī)構(gòu)。事實(shí)上，這家小廠位于杭州，創(chuàng)始人從浙江大學(xué)畢業(yè)，2015年創(chuàng)立了公司幻方量化，幾年之間，成為中國(guó)少有的突破千億規(guī)模的量化私募機(jī)構(gòu)。
一家金融公司搞出了一個(gè)最有氣質(zhì)的AI大模型公司，本身已經(jīng)令人稱奇。與此同時(shí)，DeepSeek堅(jiān)持技術(shù)開源，每次模型發(fā)布后，都會(huì)公布細(xì)節(jié)滿滿的技術(shù)報(bào)告。多年來，他們?cè)贏I大模型領(lǐng)域默默斬棘，不談商業(yè)化，不發(fā)布新產(chǎn)品，對(duì)外保持低調(diào)。
“神秘的東方力量”，到底想做什么？
AI界拼多多，來了
2024年末，一則“雷軍千萬年薪挖角‘95后’AI天才少女”的熱帖火遍全網(wǎng)。人們驚訝地發(fā)現(xiàn)，名為羅福莉的天才少女，此前供職于在公眾面前寂寂無聞的AI公司——DeepSeek深度求索。
事實(shí)上，早在這之前，成立剛滿一年的DeepSeek就已經(jīng)在AI業(yè)內(nèi)出了圈。半年多前，2024年5月，DeepSeek發(fā)布開源第二代MoE大模型DeepSeek-V2。這是它進(jìn)入業(yè)界主流視野的標(biāo)志事件。
在這個(gè)誠(chéng)意到位的開源大模型中，DeepSeek-V2沒有沿用國(guó)際主流的“類LLaMA的Dense結(jié)構(gòu)”和“類Mistral的Sparse結(jié)構(gòu)”，而是對(duì)模型框架進(jìn)行創(chuàng)新，采用MLA（Multi-headLatentAttention，多頭潛在注意力）架構(gòu)。
創(chuàng)新提高了計(jì)算效率，降低了AI運(yùn)行的高昂成本。作為開源大模型，DeepSeek同時(shí)公布了使用其API的價(jià)目表：每百萬tokens輸入1元、輸出2元（32K上下文）。作為對(duì)比，GPT-4Turbo每百萬tokens的輸入、輸出價(jià)格分別為72元、217元。
“真正的國(guó)產(chǎn)之光出現(xiàn)了?！盇I圈內(nèi)人士驚喜地評(píng)價(jià)。從此，DeepSeek有了“AI界拼多多”的外號(hào)。
如此低的價(jià)格，令國(guó)內(nèi)AI巨頭紛紛降價(jià)。
與“高大上”的實(shí)力形成鮮明反差的是，幻方量化內(nèi)部人員對(duì)南風(fēng)窗透露，DeepSeek管理“非常扁平”，以技術(shù)人員為主。
誰也沒能預(yù)料到的是，這個(gè)重塑業(yè)界生態(tài)的AI公司，背后是一家量化基金公司?！拔覀兊脑瓌t是不貼錢，也不賺取暴利。這個(gè)價(jià)格也是在成本之上稍微有點(diǎn)利潤(rùn)?！被梅搅炕瘜?shí)控人、DeepSeek創(chuàng)始人梁文鋒在受訪時(shí)解釋。
這是深度求索在2024年第一次引發(fā)AI行業(yè)震動(dòng)。OpenAI前政策主管、Anthropic聯(lián)合創(chuàng)始人JackClark評(píng)價(jià)：“（DeepSeek）雇傭了一批高深莫測(cè)的奇才?！?/p>
主要操盤手梁文鋒，來自廣東五線城市，“80后”，畢業(yè)于浙江大學(xué)電子工程系人工智能方向。2015年，他成立了量化基金公司幻方量化，創(chuàng)始成員多來自浙大。他們共同堅(jiān)信，利用AI進(jìn)行風(fēng)險(xiǎn)對(duì)沖，計(jì)算機(jī)也可以像人類一樣投資。
梁文鋒曾為“量化投資之父”西蒙斯的傳記作序。他寫道：“每當(dāng)在工作中遇到困難時(shí)，我都想起西蒙斯說的，‘一定有辦法對(duì)價(jià)格建?！！?018年，量化私募因高頻交易策略在股市迅速崛起，幻方成為了中國(guó)“量化四大天王”之一，一度管理資金規(guī)模超過千億。
對(duì)AI大模型的堅(jiān)定部署，來自創(chuàng)始人對(duì)AI技術(shù)的相信，也源于現(xiàn)實(shí)業(yè)務(wù)的需要。2020年，幻方聯(lián)合創(chuàng)始人徐進(jìn)在知乎發(fā)招募帖，回顧了幻方AI的發(fā)展歷程：早在2008年開始，幻方創(chuàng)始團(tuán)隊(duì)通過AILab招募全球頂尖人工智能專家，在經(jīng)濟(jì)金融領(lǐng)域開展研究。
隨著數(shù)據(jù)量的爆發(fā)式增長(zhǎng)，模型越來越龐大，傳統(tǒng)的計(jì)算集群已經(jīng)很難適應(yīng)大型神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的需求。
2020年3月，幻方量化推出了超級(jí)計(jì)算機(jī)“螢火一號(hào)”，占地面積相當(dāng)于一個(gè)籃球場(chǎng)，由一個(gè)存儲(chǔ)集群和一個(gè)計(jì)算集群組成，并開出百萬年薪招聘深度學(xué)習(xí)工程師。
一年后，2021年，幻方推出了“螢火二號(hào)”，投資增加到10億元，搭載了約1萬張英偉達(dá)顯卡。這一大手筆的投入后來被外界認(rèn)為，是幻方最有前瞻性的部署之一。
畢竟，僅僅一年后，2022年8月，美國(guó)宣布其停止向中國(guó)出口A100和H100兩款芯片。成立于2023年的DeepSeek，成為了除字節(jié)跳動(dòng)、商湯科技等大廠以外，少有的擁有萬卡集群的中國(guó)公司。
與“高大上”的實(shí)力形成鮮明反差的是，幻方量化內(nèi)部人員對(duì)南風(fēng)窗透露，DeepSeek管理“非常扁平”，以技術(shù)人員為主。公司沒有正式的公關(guān)人員，也沒有對(duì)外“融過錢”。創(chuàng)始人梁文鋒基本不接受采訪，公司也沒有對(duì)外公關(guān)的需求。
團(tuán)隊(duì)也秉承著小而美的設(shè)計(jì)?！霸然梅搅炕蟾庞袃砂偃俗笥遥―eepSeek）其實(shí)財(cái)務(wù)、法務(wù)、行政都是幻方量化支持的，大模型團(tuán)隊(duì)算法工程團(tuán)隊(duì)有八九十人?！痹搩?nèi)部人士介紹。
創(chuàng)新的秘訣
是時(shí)候看一看這個(gè)驚艷國(guó)內(nèi)外的全新開源大模型了。
南風(fēng)窗記者通過實(shí)測(cè)發(fā)現(xiàn)，DeepSeek-V3在數(shù)學(xué)、編程領(lǐng)域展示出較好的答題能力，打破過去人們對(duì)“AI不擅長(zhǎng)數(shù)學(xué)”的印象。除了傳統(tǒng)的文本對(duì)話，DeepSeek-V3有一個(gè)相比其他AI大模型更特別的功能——“深度思考”。意思是，在AI生成正式答案之前，DeepSeek-V3會(huì)展示機(jī)器進(jìn)行推理、“思考”的過程。
例如，對(duì)著DeepSeek-V3，記者輸入了問題：“請(qǐng)給我影響人們工作積極性的分析框架，并提出面對(duì)職業(yè)倦怠的解決方案?！?/p>
DeepSeek在11秒間生成了答案的思考過程：“嗯。首先，我得想想工作積極性受哪些因素影響?？赡苡袃?nèi)部因素和外部因素吧。內(nèi)部因素比如個(gè)人的興趣、價(jià)值觀、情緒狀態(tài)等。外部因素包括工作環(huán)境、薪酬福利、晉升機(jī)會(huì)、同事關(guān)系、領(lǐng)導(dǎo)風(fēng)格……”
這些“思考”頗具人類的思維過程。它繼續(xù)生成道：“我記得馬斯洛的需求層次理論，生理、安全、社交、尊重和自我實(shí)現(xiàn)需求，都可能影響工作積極性。還有赫茲伯格的雙因素理論，區(qū)分了保健因素和激勵(lì)因素。保健因素如工資、工作條件，如果不好會(huì)引起不滿，但即使好也不會(huì)直接激勵(lì)；激勵(lì)因素如認(rèn)可、責(zé)任、成長(zhǎng)機(jī)會(huì)，這些才能真正提升工作積極性……”
經(jīng)歷這番“思考”后，DeepSeek-V3生成了八個(gè)方面的內(nèi)容，供人參考。其中也不乏套話，也有些給人靈感的內(nèi)容。比如，它寫道：“‘生活不是我們活過的日子，而是我們記住的日子?！R爾克斯提醒著我們，生活的意義在于我們?nèi)绾钨x予它意義。工作亦是如此?！?/p>
涌現(xiàn)的智能不只是大參數(shù)暴力美學(xué)的體現(xiàn)，更重要的是，這是一個(gè)效率奇高、由眾多前所未有的設(shè)計(jì)組合而成的超級(jí)工程。
簡(jiǎn)單而言，DeepSeek實(shí)現(xiàn)降本增效，并沒有提出前所未有的新技術(shù)，而是首次成功將各個(gè)技術(shù)，通過巧妙地設(shè)計(jì)與優(yōu)化，完美地搭配并實(shí)現(xiàn)落地。這是一次來自工程層面的勝利。
人們閱讀一篇文章時(shí)，眼睛和大腦會(huì)自然地關(guān)注文章中的關(guān)鍵句和段落，忽略不那么重要的信息。多層注意力機(jī)制在AI中的作用也非常類似。在模型處理大量數(shù)據(jù)時(shí)，它能夠更加有效地識(shí)別和處理關(guān)鍵信息和特征。
用該團(tuán)隊(duì)自己的話來解釋，幫助DeepSeek-V3實(shí)現(xiàn)降本的方法無非兩個(gè)，一是算力需求降低，二是訓(xùn)練AI時(shí)間減少。
所謂算力需求降低，一個(gè)主要的辦法是在訓(xùn)練模型時(shí)，對(duì)數(shù)據(jù)進(jìn)行壓縮。壓縮之后，運(yùn)算單元（GPU和CPU）進(jìn)行運(yùn)算的數(shù)據(jù)量就會(huì)減少，運(yùn)算速率也會(huì)提升。為此，DeepSeek運(yùn)用的一個(gè)主要辦法是——MLA多層注意力架構(gòu)。
簡(jiǎn)單的一個(gè)例子是，人們閱讀一篇文章時(shí)，眼睛和大腦會(huì)自然地關(guān)注文章中的關(guān)鍵句和段落，忽略不那么重要的信息。多層注意力機(jī)制在AI中的作用也非常類似。在模型處理大量數(shù)據(jù)時(shí)，它能夠更加有效地識(shí)別和處理關(guān)鍵信息和特征。一旦AI確定了關(guān)鍵特征，它就可以將特征壓縮成一個(gè)更小的向量，從而節(jié)省運(yùn)算需求。
除此之外，據(jù)騰訊科技報(bào)道，DeepSeek-V3還引入了一種名叫FP8混合精度訓(xùn)練的框架，并首次在超大模型上驗(yàn)證了其有效性。
所謂FP8，就是用8個(gè)二進(jìn)制位來表示數(shù)字的格式，相比傳統(tǒng)的32位（FP32）和16位（FP16）格式，精度低了很多，但是占用空間小，計(jì)算快。
而在節(jié)約計(jì)算時(shí)間上，DeepSeek也很有一手。DeepSeek-V3的預(yù)訓(xùn)練階段僅需要266.4萬個(gè)GPU小時(shí)。相較之下，LLaMa3405B的大模型預(yù)訓(xùn)練花費(fèi)了共計(jì)3080萬個(gè)GPU小時(shí)，大約是DeepSeek-V3的11倍。
這其中的一個(gè)創(chuàng)新在于，DeepSeek克服了傳統(tǒng)GPU運(yùn)算中的“計(jì)算氣泡”。所謂氣泡，是指GPU在流水線并行處理中，不同的神經(jīng)網(wǎng)絡(luò)層有不同的處理時(shí)間。當(dāng)一個(gè)階段完成其計(jì)算任務(wù)后，如果另一個(gè)階段還在運(yùn)算，沒準(zhǔn)備好接收數(shù)據(jù)，就會(huì)產(chǎn)生等待時(shí)間，即“氣泡”?！坝?jì)算氣泡”會(huì)導(dǎo)致GPU資源的浪費(fèi)。
而DeepSeek采用了DualPipe跨節(jié)點(diǎn)通信優(yōu)化流水線流程，簡(jiǎn)單而言，便是通過雙重流水線的并行設(shè)計(jì)，讓多個(gè)計(jì)算任務(wù)同時(shí)進(jìn)行，計(jì)算氣泡大大減少。
DeepSeek一系列操作，仿佛一個(gè)本身成績(jī)不錯(cuò)的尖子生，在一些無人在意但重要的細(xì)節(jié)上，追求極致，死磕到底。最終，經(jīng)過全方位的小步提升，它的水平又上了一個(gè)新臺(tái)階，如同DeepSeek在官方微信號(hào)上的介紹：“不做中庸的事。”
技術(shù)理想主義者的追求
憑借硬實(shí)力，DeepSeek正吸引著全球的目光與關(guān)注。前英偉達(dá)機(jī)器學(xué)習(xí)專家BojanTunguz公開評(píng)價(jià)，DeepSeek讓人可以看到，所有針對(duì)高端半導(dǎo)體的出口禁令，實(shí)際上可能以可以想象到的“最壞”方式產(chǎn)生了反效果?！八鼈兯坪跗仁怪袊?guó)研究人員變得比正常情況下更加聰明和資源高效?！?/p>
一位AI從業(yè)人員告訴南風(fēng)窗，DeepSeek最驚人的是讓AI業(yè)界認(rèn)識(shí)到，大模型的ScalingLaw（規(guī)模效應(yīng)）不完全意味著燒錢堆資源，通過不算太復(fù)雜的優(yōu)化之后，1/10的開銷就能做出大模型。
“所以現(xiàn)在（多數(shù)AI大廠）訓(xùn)大語言模型（LLM）的資源利用率是很低的，優(yōu)化一下，就有機(jī)會(huì)以相同的開銷把規(guī)模再擴(kuò)大10倍。”
小廠的實(shí)力，讓Meta、谷歌、xAI等不缺資源、不缺顯卡的超級(jí)大廠相形見絀。2024年，多家硅谷大廠都進(jìn)入了AI算力的軍備競(jìng)賽之中。
“大部分中國(guó)公司習(xí)慣follow，而不是創(chuàng)新。中國(guó)創(chuàng)新缺的不是資本，而是缺乏信心以及不知道怎么組織高密度的人才?！?/blockquote>2024年10月，馬斯克在田納西州僅耗時(shí)19天，就建設(shè)了史上最大超級(jí)計(jì)算機(jī)廠，內(nèi)部配備了10萬塊液冷英偉達(dá)芯片。而早在2024年3月，微軟和OpenAI聯(lián)合宣布，將建造一臺(tái)名為“星門”的超級(jí)計(jì)算機(jī)，預(yù)計(jì)將使用數(shù)百萬專用服務(wù)器芯片，總投資高達(dá)1000億美元。
這些資金充足、“儲(chǔ)備”同樣充足的頭部公司，在AI的進(jìn)程上理應(yīng)先人一步。而事實(shí)上，它們中許多陷入了表現(xiàn)為效率低下、內(nèi)部混亂的“大公司病”之中。
扎克伯格的Meta是其中最典型的例證。2023年，Meta的首席技術(shù)官（CTO）約翰·卡馬克辭任前，在公司的內(nèi)部信中大篇幅地傾吐了對(duì)小扎管理的不滿。他說，Meta效率低下，只有“5%的GPU利用率”；內(nèi)斗嚴(yán)重，即便他“在這擁有最高等級(jí)的聲音”，依舊力不從心。
相比之下，對(duì)于中國(guó)AI初創(chuàng)公司而言，資源匱乏已經(jīng)是板上釘釘。在有限的GPU和芯片集群中，他們中很多只能將資源與研究重心，放在第一重要的事情上。
只是，不同于多數(shù)中國(guó)公司強(qiáng)調(diào)商業(yè)化、做爆款產(chǎn)品，DeepSeek創(chuàng)始人梁文鋒在接受“暗涌wave”采訪時(shí)說：“我們覺得現(xiàn)在最重要的是，參與到全球創(chuàng)新的浪潮里去?！?/p>
他強(qiáng)調(diào)，團(tuán)隊(duì)希望實(shí)現(xiàn)的是一種原始性創(chuàng)新。
“過去很多年，中國(guó)公司習(xí)慣了別人做技術(shù)創(chuàng)新，我們拿過來做應(yīng)用變現(xiàn)，但這并非是一種理所當(dāng)然。這一波浪潮里，我們的出發(fā)點(diǎn)，就不是趁機(jī)賺一筆，而是走到技術(shù)的前沿，去推動(dòng)整個(gè)生態(tài)發(fā)展?！绷何匿h說。
這個(gè)保持低調(diào)和神秘的創(chuàng)新團(tuán)隊(duì)，鮮少對(duì)外發(fā)聲，只在開源大模型公布時(shí)，發(fā)布了技術(shù)細(xì)節(jié)報(bào)告和人才招攬?zhí)?。但?chuàng)始人梁文鋒透露，在DeepSeek團(tuán)隊(duì)里，“并沒有什么高深莫測(cè)的奇才，都是一些Top高校的應(yīng)屆畢業(yè)生、沒畢業(yè)的博四、博五實(shí)習(xí)生，還有一些畢業(yè)才幾年的年輕人”。團(tuán)隊(duì)沒有海外回來的人，員工都是本土的人才。
而據(jù)科技媒體《量子位》爆料，DeepSeek的員工很多都是畢業(yè)于清華北大的應(yīng)屆生，“最大的特點(diǎn)是年輕”。
“大部分中國(guó)公司習(xí)慣follow，而不是創(chuàng)新。中國(guó)創(chuàng)新缺的不是資本，而是缺乏信心以及不知道怎么組織高密度的人才。前50名頂尖人才可能不在中國(guó)，但也許，我們能自己打造這樣的人?！彼f。
年輕的團(tuán)隊(duì)將如何實(shí)現(xiàn)AGI夢(mèng)想？這一次，是中國(guó)小廠開始讓人期待了。
猜你喜歡一半模型 童話王國(guó)·奇妙邏輯推理(2024年5期)2024-06-19 16:03:38奇妙的“惡魔幻方” 數(shù)學(xué)小靈通·3-4年級(jí)(2022年6期)2022-06-17 01:09:08重要模型『一線三等角』 中學(xué)生數(shù)理化·七年級(jí)數(shù)學(xué)人教版(2020年10期)2020-11-26 08:24:50神奇的幻方 學(xué)生天地(2020年35期)2020-06-09 03:01:12重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布 數(shù)學(xué)物理學(xué)報(bào)(2020年2期)2020-06-02 11:29:24五毛錢能買多少頭牛 創(chuàng)新作文(1-2年級(jí))(2019年3期)2019-09-03 05:14:073D打印中的模型分割與打包 光學(xué)精密工程(2016年6期)2016-11-07 09:07:19大家說：開源、人工智能及創(chuàng)新 辦公自動(dòng)化(2016年18期)2016-08-20 12:50:20開源中國(guó)開源世界高峰論壇圓桌會(huì)議縱論開源與互聯(lián)網(wǎng)+創(chuàng)新2.0 辦公自動(dòng)化(2016年18期)2016-08-20 12:50:18開源計(jì)算機(jī)輔助翻譯工具研究 上海理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)(2015年3期)2015-11-30 03:02:13
