先進封裝Chiplet 技術(shù)與AI 芯片發(fā)展

張志偉 田 果 王世權(quán)

（1.日月新（蘇州）半導(dǎo)體有限公司,江蘇 蘇州 215000；2.亞太芯谷科技研究院（香港）有限公司,中國 香港 999077）

1 AI芯片發(fā)展的歷史與現(xiàn)狀

AI（人工智能）芯片是被專門設(shè)計用于加速人工智能計算任務(wù)的集成電路。在過去幾十年里，AI芯片經(jīng)歷了持續(xù)的演進和突破，為人工智能領(lǐng)域發(fā)展作出了巨大貢獻。

1.1 AI芯片演進與重大突破

AI芯片的歷史可以追溯到20世紀(jì)80年代初。最早的AI計算任務(wù)是采用通用微處理器進行人工智能計算而完成的，但由于計算需求與通用處理器性能之間不匹配，計算效率并不高。隨著人工智能領(lǐng)域的迅速發(fā)展，社會對高效計算的需求越來越迫切，AI芯片研究逐漸受到重視。在20世紀(jì)90年代，圖形處理單元（GPU）成為AI計算的主要加速器。GPU在圖形渲染方面表現(xiàn)出色，但其架構(gòu)對于一些特定的AI計算任務(wù)并不高效。然而，GPU的并行計算能力為AI芯片發(fā)展奠定了基礎(chǔ)。隨著人工智能的興起，20世紀(jì)末和21世紀(jì)初一些專用AI加速硬件出現(xiàn)了，如FPGA（現(xiàn)場可編程門陣列）和ASIC（專用集成電路）。這些芯片采用定制化的架構(gòu)，能夠更好地滿足AI計算的需求，但設(shè)計和生產(chǎn)成本較高，限制了其廣泛應(yīng)用。

2010年，深度學(xué)習(xí)興起推動了AI芯片技術(shù)重大突破。GPU在深度學(xué)習(xí)中的應(yīng)用取得了巨大成功，但為了更好地適應(yīng)深度學(xué)習(xí)模型的特點，研究人員開始探索新的AI芯片架構(gòu)。ASIC出現(xiàn)進一步提高了AI計算的性能和能效，諸如Google的TPU（張量處理單元）和NVIDIA的Tensor Cores就是這一時期的代表。

1.2 當(dāng)前的主流AI芯片技術(shù)與其應(yīng)用場景

目前，AI芯片技術(shù)呈現(xiàn)多樣化的發(fā)展趨勢，主要包括以下幾種類型。

（1）圖形處理單元。GPU因其并行計算能力成為早期AI計算的主流加速器?，F(xiàn)代GPU在深度學(xué)習(xí)訓(xùn)練和推理方面表現(xiàn)出色，廣泛應(yīng)用于計算機視覺、自然語言處理等領(lǐng)域。

（2）張量處理單元。TPU是Google推出的專用AI加速器，特別優(yōu)化了張量計算。TPU在大規(guī)模深度學(xué)習(xí)模型訓(xùn)練中表現(xiàn)出色，廣泛應(yīng)用于云端AI服務(wù)。

（3）神經(jīng)處理單元（NPU）。NPU是一類專門用于神經(jīng)網(wǎng)絡(luò)計算的AI芯片，廣泛應(yīng)用于智能手機和移動設(shè)備中，用于加速圖像識別、語音識別等任務(wù)。

（4）量子芯片。量子芯片是一種革命性的AI芯片，利用量子位來進行計算。盡管目前處于早期階段，但量子芯片在解決某些特定問題上顯示出巨大潛力，如優(yōu)化問題和密碼學(xué)。

（5）腦神經(jīng)芯片。腦神經(jīng)芯片研發(fā)受到人腦神經(jīng)元結(jié)構(gòu)的啟發(fā)，試圖模擬神經(jīng)元之間的連接和信息傳遞。這種芯片在模擬類腦計算和智能機器方面具有潛在應(yīng)用。

從廣義上講，能運行AI算法的芯片都叫AI芯片。CPU、GPU、FPGA、NPU、ASIC都能執(zhí)行AI算法，但執(zhí)行效率有巨大的差異。CPU可以快速執(zhí)行復(fù)雜的數(shù)學(xué)計算，但同時執(zhí)行多項任務(wù)時，CPU性能開始下降，目前行業(yè)內(nèi)基本確認CPU不適用于AI計算。CPU+xPU的異構(gòu)方案成為大算力場景標(biāo)配，GPU為應(yīng)用最廣泛的AI芯片。目前業(yè)內(nèi)廣泛認同的AI芯片類型包括GPU、FPGA、NPU等。當(dāng)前主流AI芯片廣泛應(yīng)用于各個領(lǐng)域，包括但不限于自動駕駛、智能語音助手、醫(yī)療圖像識別、金融風(fēng)控等。隨著技術(shù)的不斷進步，AI芯片的應(yīng)用場景將進一步拓展[1]。

1.3 ChatGPT引燃AI及半導(dǎo)體產(chǎn)業(yè)及資本市場熱情

瑞銀集團（UBS）發(fā)布的研究報告顯示，ChatGPT在2023年1月份的月活躍用戶數(shù)已達1億，對比各大熱門平臺月活躍用戶數(shù)破億所需時長，ChatGPT只花了2個月的時間（見圖1），成為史上用戶數(shù)增長最快的消費者應(yīng)用。在資本市場上，知情人士透露，聊天機器人ChatGPT背后的研究實驗室OpenAI正談判以收購要約的形式出售現(xiàn)有股份，交易對該公司的估值達到290億美元左右，使其在沒有收入的情況下成為賬面上最值錢的美國初創(chuàng)公司之一。國內(nèi)外科技巨頭都非常重視ChatGPT引發(fā)的科技浪潮，積極布局生成式AI。與此同時，全球半導(dǎo)體資本市場也迎來大幅上漲，費城半導(dǎo)體指數(shù)自2023年1月至今已上漲約30%（見圖2）。

圖1 各大熱門平臺月活躍用戶數(shù)破億所需時長

圖2 費城半導(dǎo)體2023年1月指數(shù)

1.4 短期內(nèi)GPU增量與市場規(guī)模

參考OpenAI算法，假設(shè)每日1億用戶，每人進行10條交互，每個問題的回答長度為50詞，算力利用率30%，則單個大語言模型（LLM）的日常需求有望帶來2.13萬片A100芯片的增量，對應(yīng)市場規(guī)模2.13億美元。假設(shè)有5家大企業(yè)推出此類LLM，則總增量為10.7萬片A100芯片，對應(yīng)市場規(guī)模10.7億美元。短期服務(wù)器增量與市場規(guī)模：單個服務(wù)器包含8個GPU，因此單個LLM帶來2 669臺服務(wù)器需求，對應(yīng)市場規(guī)模3.39億美元，5家大企業(yè)共需要13 345臺，對應(yīng)市場規(guī)模20億美元。長期市場空間：參考谷歌，若每日訪問30億次，需要106.74萬片A100芯片，對應(yīng)13.3萬臺服務(wù)器DGX A100，帶來市場空間200億美元。根據(jù)Verified Market Research數(shù)據(jù)，2020年，全球GPU市場規(guī)模為254.1億美元（約1 717.2億人民幣）。隨著需求的不斷增長，預(yù)計到2027年全球?qū)⑦_到1 853億美元，年復(fù)合增長率為32.82%，如圖3（左）。2020年中國大陸的獨立GPU市場規(guī)模為47.39億美元，GPU市場廠商NVIDIA、Intel、AMD份額占比分別為79%、1%、20%，如圖3（右），預(yù)計2027年將超過345.57億美元。

圖3 GPU市場規(guī)模與市場各廠商份額占比

1.5 AI芯片發(fā)展所面臨的挑戰(zhàn)與問題

雖然AI芯片在過去幾十年取得了顯著的進展，但在其發(fā)展過程中仍然面臨一些挑戰(zhàn)與問題。

（1）復(fù)雜的算法與模型。隨著深度學(xué)習(xí)等復(fù)雜算法的出現(xiàn)，其對AI芯片計算能力和存儲要求提出了更高的挑戰(zhàn)。一些大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型需要海量的計算資源才能高效運行，因此，如何在芯片設(shè)計中實現(xiàn)高度并行和高效的計算，是亟待解決的問題。

（2）能耗和散熱問題。隨著AI芯片計算規(guī)模的增加，能耗和散熱問題變得日益嚴(yán)峻。高功耗會導(dǎo)致芯片發(fā)熱過多，進而影響計算性能和穩(wěn)定性。因此，如何在保證性能的同時降低能耗，并解決散熱問題，是AI芯片發(fā)展中需要攻克的難題。

（3）可編程性與定制化。通用處理器如GPU雖然在AI計算中有一定的應(yīng)用，但其可編程性相對較弱，不能完全適應(yīng)各類AI任務(wù)的需求。與此同時，定制化AI芯片雖然能提供更高效的計算性能，但其開發(fā)和生產(chǎn)成本較高。如何在可編程性與定制化之間找到平衡，是AI芯片發(fā)展的一個重要課題[2]。

（4）安全與隱私問題。AI芯片在智能設(shè)備和云端服務(wù)中廣泛應(yīng)用，但這也帶來了安全和隱私方面的問題。一些AI算法可能會面臨對抗攻擊，導(dǎo)致模型輸出錯誤。同時，個人隱私保護也成為AI芯片應(yīng)用的一大挑戰(zhàn)。

（5）國際競爭與政策制約。AI芯片領(lǐng)域的競爭日益激烈，許多國家都在加大投入進行技術(shù)研發(fā)。在國際競爭中，如何保持技術(shù)領(lǐng)先優(yōu)勢，以及應(yīng)對不同國家對AI芯片技術(shù)的政策限制，都是需要面對的問題。

2 先進封裝Chiplet技術(shù)概述

2.1 Chiplet技術(shù)的定義與特性

Chiplet是一種先進封裝技術(shù)，它將芯片功能分割成多個獨立的模塊，稱為Chiplet（小芯片）。每個Chiplet都具有特定的功能，例如處理器核心、存儲器控制器或其他外圍設(shè)備。這些獨立的Chiplet可以單獨設(shè)計、測試和生產(chǎn)，并在封裝過程中組合在一起，形成一個完整的芯片。這種模塊化的設(shè)計使得芯片開發(fā)更具靈活性和可擴展性，同時也提高了生產(chǎn)效率。

2.2 Chiplet的主要應(yīng)用與發(fā)展趨勢

Chiplet技術(shù)在現(xiàn)代半導(dǎo)體行業(yè)中具有廣泛的應(yīng)用和良好的發(fā)展趨勢。其中一個主要應(yīng)用領(lǐng)域是高性能計算領(lǐng)域，例如數(shù)據(jù)中心和超級計算機。通過組合多個特定功能的Chiplet，可以實現(xiàn)更高的計算能力和效能。此外，將芯片分割成多個模塊還可以提高整體芯片的可靠性和可維護性。另一個重要的應(yīng)用是在物聯(lián)網(wǎng)（IoT）設(shè)備和移動設(shè)備中。這些設(shè)備通常需要集成多種功能，如無線通信、傳感器、處理器和存儲器。通過使用Chiplet技術(shù)，可以獨立開發(fā)和升級不同功能的模塊，從而提供更大的靈活性和可擴展性[3]。

2.3 與傳統(tǒng)芯片封裝的比較

相比傳統(tǒng)的單一芯片封裝方式，Chiplet技術(shù)具有一些顯著的優(yōu)勢。首先，可以實現(xiàn)更高的整體芯片集成度，因為不同的模塊可以在較小的面積上組合。其次，芯片的開發(fā)周期可以更短（見表1），因為各個功能模塊可以同步開發(fā)和測試，而不需要等待整個芯片的開發(fā)完成。此外，由于不同模塊可以由不同的制造商提供，因此可以實現(xiàn)更多元化的供應(yīng)鏈（見圖4），從而提高生產(chǎn)效率并降低成本[4]。使用Chiplet技術(shù)將不同設(shè)計公司中的不同Wafer 制程的芯片集成為一個系統(tǒng)或子系統(tǒng)中。

表1 Chiplet技術(shù)、SoC和分立器件的優(yōu)缺點對比

圖4 Chiplets技術(shù)典型應(yīng)用——異構(gòu)集成

3 AI芯片與Chiplet結(jié)合

3.1 解決AI芯片發(fā)展問題的Chiplet方案

隨著人工智能應(yīng)用的不斷發(fā)展，AI芯片面臨著一些挑戰(zhàn)，例如計算能力提升、能源效率提高和更高的集成度要求。在這些挑戰(zhàn)中，Chiplet技術(shù)可以提供解決方案。例如，TSMC工藝和Xilinx的新一代Virtex系列FPGA產(chǎn)品（見圖5），基于硅基板進行集成[5]。通過將不同的功能模塊作為獨立的Chiplet集成在一個AI芯片上，可以實現(xiàn)更高的計算能力。例如，將處理器核心、神經(jīng)網(wǎng)絡(luò)加速器和存儲器控制器作為獨立的模塊，可以獨立開發(fā)和升級，同時在封裝過程中組合在一起，形成一個高性能的AI芯片。

圖5 Xilinx/TSMC的芯片設(shè)計和異構(gòu)集成封裝

3.2 AI芯片與Chiplet結(jié)合的實例分析

GPU性能提升與功能豐富逐步滿足AI運算需要。2010年NVIDIA提出的Fermi架構(gòu)是首個完整的GPU計算架構(gòu)，其中提出的許多新概念沿用至今。Kepler架構(gòu)在硬件上擁有了雙精度計算單元（FP64），并提出GPU Direct技術(shù)，繞過CPU/System Memory，與其他GPU直接進行數(shù)據(jù)交互。Pascal架構(gòu)應(yīng)用了第一代NVLink。Volta架構(gòu)開始應(yīng)用Tensor Core，對AI計算加速具有重要意義。簡要回顧NVIDIA GPU硬件變革歷程，工藝、計算核心數(shù)增加等基礎(chǔ)特性的升級持續(xù)推動性能提升，同時每一代架構(gòu)所包含的功能特性也在不斷豐富，逐漸更好地適配AI運算的需要。

目前已經(jīng)有一些實際的AI芯片與Chiplet技術(shù)結(jié)合的實例。AMD公司的與Chiplet技術(shù)結(jié)合的實例是AMD在其Zen 2架構(gòu)的Ryzen 3000系列CPU中采用了Chiplet設(shè)計[6]。該設(shè)計允許AMD將更多的CPU核心集成到單個CPU中。同樣，AMD也計劃將Chiplet技術(shù)應(yīng)用于GPU設(shè)計中，以解決GPU制造中遇到的一些挑戰(zhàn)，比如增加芯片尺寸導(dǎo)致產(chǎn)量下降和成本增加。在這個GPU的Chiplet設(shè)計中，AMD使用了高帶寬互連（HBX）來促進不同Chiplet之間的通信，該互連類似于Zen 3 CPU中使用的互連方式。這種設(shè)計通過一個被稱為HBX的交叉連接來解決在GPU計算工作負載中并行性難以跨多個Chiplet傳輸?shù)膯栴}。而這種設(shè)計使得CPU與GPU交互時，看起來就像是與一個大型的單一GPU通信，而不是與許多小型GPU通過控制器通信。

3.3 AI芯片與Chiplet結(jié)合展望

AI芯片與Chiplet技術(shù)結(jié)合在未來將繼續(xù)發(fā)展和擴展。隨著人工智能應(yīng)用的不斷演進，對于更高的計算能力、更低的功耗和更高的集成度的需求將持續(xù)增加。因此，進一步改進和發(fā)展Chiplet技術(shù)，并與AI芯片相結(jié)合，將是未來的發(fā)展方向。此外，隨著物聯(lián)網(wǎng)設(shè)備的普及，對于更靈活、可擴展的芯片解決方案的需求也將增加。因此，將AI芯片與各種不同的Chiplet結(jié)合，以滿足不同物聯(lián)網(wǎng)設(shè)備的需求，將成為未來的一個重要發(fā)展方向。

4 結(jié)論

Chiplet技術(shù)是一種模塊化的封裝方法，其優(yōu)勢在于提供了更高的靈活性、可擴展性和生產(chǎn)效率。AI芯片面臨著一些挑戰(zhàn)，如計算能力提升、能源效率提高和更高的集成度要求。

為了更好地發(fā)展AI芯片與先進封裝Chiplet技術(shù)結(jié)合，提出以下建議。

（1）加強合作。鼓勵芯片制造商、封裝技術(shù)供應(yīng)商和研究機構(gòu)之間合作，促進技術(shù)共享和交流，以加速AI芯片與Chiplet技術(shù)結(jié)合發(fā)展。

（2）技術(shù)創(chuàng)新。持續(xù)投入研發(fā)，不斷創(chuàng)新先進封裝Chiplet技術(shù)，以滿足AI芯片不斷提高的性能要求。

（3）標(biāo)準(zhǔn)化。制定相關(guān)的技術(shù)標(biāo)準(zhǔn)，以確保不同廠商生產(chǎn)的芯片和Chiplet之間的互換性，推動整個行業(yè)健康發(fā)展。

隨著人工智能應(yīng)用的不斷擴展和技術(shù)的進步，AI芯片與先進封裝Chiplet技術(shù)結(jié)合將會得到更廣泛的應(yīng)用。這種結(jié)合將不僅僅用于高性能計算領(lǐng)域，也將廣泛應(yīng)用于物聯(lián)網(wǎng)設(shè)備、智能手機和其他各種人工智能應(yīng)用中，為人們的生活和工作帶來更多的便利。