光進(jìn)入芯片能為高性能計(jì)算帶來(lái)什么？

劉洪

導(dǎo)讀

在硅光子學(xué)進(jìn)步的推動(dòng)下，深度光子學(xué)集成已經(jīng)在某些數(shù)據(jù)中心應(yīng)用中證明了其可行性，CPO架構(gòu)肯定會(huì)在數(shù)據(jù)通信之外的領(lǐng)域繼續(xù)它的故事。GPT爆火，算力“芯慌”，而數(shù)據(jù)中心HPC的功率效率也備受關(guān)注，據(jù)悉共封裝器件（CPO，Co-packaged optics）能將功耗降低30%，每比特成本降低40%。真有這樣的好事？條件成熟了嗎？我們往下看。

CPO市場(chǎng)預(yù)期如何？

CPO是將交換芯片和光引擎共同組裝在同一個(gè)插槽上，形成芯片和模組的共封裝（圖1）。這樣就可以盡可能降低網(wǎng)絡(luò)設(shè)備的工作功耗及散熱功耗，在OIF（光互聯(lián)網(wǎng)絡(luò)論壇）的主導(dǎo)下，業(yè)界多家廠商才共同推出了近CPO器件（NPO）和CPO技術(shù)。

根據(jù)Yole預(yù)測(cè)，伴隨未來(lái)人工智能（AI）的發(fā)展，數(shù)據(jù)通信光學(xué)器件一直在增長(zhǎng)，2022～2028年其CAGR將為24%，2028～2033年為80%，收入預(yù)計(jì)將從2022年的3 800萬(wàn)美元增長(zhǎng)到2033年的26億美元。得益于AI/ML設(shè)備數(shù)據(jù)移動(dòng)的加速，2022～2033年CAGR為46%。其中，CPO將從2022年的600萬(wàn)美元增長(zhǎng)到2033年的2.87億美元，CAGR為69%。

2023年，GPT引發(fā)了驅(qū)動(dòng)力和應(yīng)用范式的轉(zhuǎn)變（圖2）。高帶寬、每機(jī)架高功率預(yù)算、HPC新型光鏈路捉襟見(jiàn)肘。隨著從聯(lián)網(wǎng)（交換）到處理（AI/ML（機(jī)器學(xué)習(xí)））的范式轉(zhuǎn)變，預(yù)計(jì)2024年將推出首個(gè)基于光學(xué)I/O的封裝內(nèi)Al系統(tǒng)，而CPO的批量交付預(yù)計(jì)將在2029年之后。

CPO為何能受到青睞？

CPO受到關(guān)注是由于其在數(shù)據(jù)中心高性能計(jì)算的功率效率。由于近年來(lái)宏觀經(jīng)濟(jì)不利，網(wǎng)絡(luò)應(yīng)用CPO的大多數(shù)支持者已暫停了對(duì)CPO項(xiàng)目的支持。其主要原因包括：一是可插拔產(chǎn)品的工業(yè)生態(tài)系統(tǒng)需要完善：二是可插拔尺寸的集成電光調(diào)制器可以實(shí)現(xiàn)所需的低功耗，且可在不改變現(xiàn)有網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)的情況下引入市場(chǎng)。

Yole Intelligence光子學(xué)和傳感部門(mén)高級(jí)分析師Martin Vallo博士則表示：“在所需的電密度和光密度、熱管理和能源效率方面，可插拔尺寸將限制其支持6.4 TB和12.8 TB容量的能力，使用硅光子學(xué)技術(shù)平臺(tái)的共封裝能夠應(yīng)對(duì)上述挑戰(zhàn)。”

隨著技術(shù)的進(jìn)步，在商業(yè)系統(tǒng)中更緊密地集成通信和計(jì)算技術(shù)的網(wǎng)絡(luò)硬件組件越來(lái)越常見(jiàn)。不過(guò)，CPO對(duì)AI/ML系統(tǒng)仍保持吸引力。AI模型的規(guī)模正在以前所未有的速度增長(zhǎng)，傳統(tǒng)架構(gòu)（銅基電互連）的芯片對(duì)芯片或板對(duì)板能力將成為擴(kuò)展ML的主要瓶頸。因此，HPC及其新的分散架構(gòu)出現(xiàn)了新的、非常短的光互連。分散設(shè)計(jì)將服務(wù)器卡上的計(jì)算、內(nèi)存和存儲(chǔ)組件分開(kāi)，并分別對(duì)其進(jìn)行池化。

通過(guò)先進(jìn)的封裝內(nèi)光學(xué)I/O技術(shù)將基于光學(xué)的互連用于xPU（CPU、DPU、GPU、TPU、FPGA和ASIC）、內(nèi)存和存儲(chǔ)器，以實(shí)現(xiàn)必要的傳輸速度和帶寬。

另外，未來(lái)數(shù)十億光學(xué)互連（芯片、電路板）的潛力正在推動(dòng)大型代工廠為大規(guī)模生產(chǎn)做準(zhǔn)備。由于大多數(shù)光子制造lP由非代工公司（AyarLabs、Ranovus、思科、Nvidia、Marvell、Lightmatter和許多其他公司）持有，Tower Semiconductor、GlobalFoundries、ASEGroup和三星等大型代工公司正在準(zhǔn)備硅光子工藝流程，以接受設(shè)計(jì)公司的任何PIC架構(gòu)。所有這些代工廠都在加入PCle、CXL和UCle等行業(yè)聯(lián)盟。

小芯片（chiplet）互連的通用規(guī)范允許構(gòu)建超過(guò)最大掩模尺寸的大型片上系統(tǒng)（ SoC）封裝。這有助于在同一封裝內(nèi)混合來(lái)自不同供應(yīng)商的組件（圖3），并通過(guò)使用較小的片芯來(lái)提高制造產(chǎn)量。每個(gè)小芯片可以使用適合特定器件類型或計(jì)算性能／功耗要求的不同硅制造工藝。

對(duì)快速增長(zhǎng)的訓(xùn)練數(shù)據(jù)集的預(yù)測(cè)表明，數(shù)據(jù)將成為擴(kuò)展ML模型的主要瓶頸，因此，AI的進(jìn)展可能會(huì)放緩。在AI/ML設(shè)備中加速數(shù)據(jù)移動(dòng)是下一代HPC系統(tǒng)采用光學(xué)互連的主要驅(qū)動(dòng)因素，在ML硬件中使用光學(xué)I/O有助于應(yīng)對(duì)數(shù)據(jù)的爆炸性增長(zhǎng)。怎樣重拾CPO？

事實(shí)上，在過(guò)去50年里，每10年都會(huì)有一次移動(dòng)技術(shù)創(chuàng)新。移動(dòng)帶寬需求已經(jīng)從語(yǔ)音通話和短信發(fā)展到超高清（UHD）視頻和各種增強(qiáng)現(xiàn)實(shí)／虛擬現(xiàn)實(shí)（AR/VR）應(yīng)用。盡管疫情對(duì)電信基礎(chǔ)設(shè)施供應(yīng)鏈產(chǎn)生了較大影響，但全球消費(fèi)者和商業(yè)用戶不斷對(duì)網(wǎng)絡(luò)和云服務(wù)產(chǎn)生新的需求。社交網(wǎng)絡(luò)、商務(wù)會(huì)議、UHD視頻流、電子商務(wù)和游戲應(yīng)用將繼續(xù)推動(dòng)增長(zhǎng)。

每個(gè)家庭和人均連接到互聯(lián)網(wǎng)的設(shè)備數(shù)量正在增加。隨著功能和智能不斷增強(qiáng)的新型數(shù)字設(shè)備的出現(xiàn)，每年的采用率都在上升。此外，不斷擴(kuò)展的機(jī)器對(duì)機(jī)器應(yīng)用，如智能電表、視頻監(jiān)控、醫(yī)療保健監(jiān)控、連接驅(qū)動(dòng)器和自動(dòng)化物流，極大地促進(jìn)了設(shè)備和連接的增長(zhǎng)，并推動(dòng)了數(shù)據(jù)中心基礎(chǔ)設(shè)施的擴(kuò)張。

由于預(yù)算削減，CPO社區(qū)處于困難時(shí)期，只有在可插拔設(shè)備精疲力竭時(shí)CPO的全面部署才會(huì)發(fā)生。至少在接下來(lái)兩代交換機(jī)系統(tǒng)中，CPO很難與可插拔模塊競(jìng)爭(zhēng)，在很長(zhǎng)一段時(shí)間內(nèi)可插拔模塊仍將是首選。由于在數(shù)據(jù)中心中的網(wǎng)絡(luò)功率效率，CPO最近受到了很多關(guān)注。思科、Meta、IBM、英特爾和微軟等行業(yè)重量級(jí)公司一直在努力推動(dòng)CPO;博通、GlobalFoundries、Marvell、Quanta Cloud Technology等公司也加入了進(jìn)來(lái)。

分析表明，與數(shù)據(jù)中心總功耗相比，聯(lián)網(wǎng)節(jié)省的功耗可以忽略不計(jì)。只有博通、英特爾、Marvell和其他CPO公司會(huì)將專有解決方案推向市場(chǎng)。

隨著6.4 TB光學(xué)模塊最晚在2029年到來(lái)，CPO和可插拔光學(xué)器件之間可能發(fā)生激烈的競(jìng)爭(zhēng)，預(yù)計(jì)CPO系統(tǒng)中的多個(gè)技術(shù)障礙將在此時(shí)得到解決。不過(guò)，收發(fā)器行業(yè)正在不斷創(chuàng)新，以推動(dòng)可插拔光學(xué)器件市場(chǎng)擴(kuò)張。在CPO系統(tǒng)實(shí)現(xiàn)網(wǎng)絡(luò)應(yīng)用的批量交付之前，將在可插拔設(shè)備中使用CPO方法，且光學(xué)引擎將在高性能計(jì)算的未來(lái)系統(tǒng)中越來(lái)越受歡迎。行業(yè)生態(tài)系統(tǒng)，包括Ayar Labs、Intel、Ranovus、Lightmatter、AMD、GlobalFoundries和其他圍繞機(jī)器學(xué)習(xí)（ML）系統(tǒng)供應(yīng)商N(yùn)vidia和HPE，已經(jīng)取得了相當(dāng)大的進(jìn)展，計(jì)劃在2024～2026年間批量交付產(chǎn)品。

光子集成電路可以實(shí)現(xiàn)高功率和成本效益的光學(xué)互連CPO，可以預(yù)計(jì)，800 GB和1.6 TB可插拔模塊將備受歡迎，因?yàn)樗鼈兙哂?00 GB和200 GB單波長(zhǎng)光學(xué)器件的優(yōu)勢(shì)，因此可以在QSFP-DD和OSFP-XD尺寸中實(shí)現(xiàn)技術(shù)和成本效益。

光纖距離芯片組也越來(lái)越近，用光將數(shù)據(jù)引入集中處理點(diǎn)是架構(gòu)設(shè)計(jì)師的主要目標(biāo)之一。這一趨勢(shì)始于10年前安裝在PCB上的光學(xué)組件專有設(shè)計(jì)。這些嵌入式光學(xué)互連（EOI）的想法在板載光學(xué)聯(lián)盟（COBO）中得到了延續(xù)，其制定的規(guī)范允許在網(wǎng)絡(luò)設(shè)備制造中使用板載光學(xué)模塊。

CPO是一種創(chuàng)新方法，可以將光學(xué)器件和交換機(jī)ASIC緊密結(jié)合在一起。由于在50 TB交換芯片中使用16個(gè)3.2 Tbps光學(xué)模塊是當(dāng)今技術(shù)的挑戰(zhàn)，NPO通過(guò)使用高性能PCB基板（一種內(nèi)插器）解決了這一問(wèn)題。NPO內(nèi)插器更寬，使芯片和光學(xué)模塊之間的信號(hào)路由更容易，同時(shí)仍能滿足信號(hào)完整性要求。相比之下.CPO能以更低的信道損耗和更低功耗使模塊和主機(jī)ASIC更接近。

運(yùn)營(yíng)商喜歡怎樣的方案？

如今，光可插拔模塊市場(chǎng)供應(yīng)鏈已經(jīng)完善，包括分立或集成組件供應(yīng)商、生產(chǎn)發(fā)射器和接收器光學(xué)組件（TOSA和ROSA）、多路復(fù)用器、DSP和PCB的光學(xué)公司以及組裝／測(cè)試集成商。此外，一個(gè)交換機(jī)盒中多個(gè)不同可插拔模塊的互操作性有助于提升行業(yè)的靈活性。高度集成的光學(xué)器件和硅片非常需要新的工程能力和代工廠，這對(duì)于傳統(tǒng)的中型企業(yè)來(lái)說(shuō)是不可接受的。只有價(jià)值數(shù)十億美元的光學(xué)供應(yīng)商才能負(fù)擔(dān)得起從可插拔產(chǎn)品轉(zhuǎn)向CPO的費(fèi)用。

需要指出的是，盡管主流部署了主要針對(duì)大型云運(yùn)營(yíng)商的CPO解決方案，但仍有許多小型企業(yè)數(shù)據(jù)中心未采用最新的互連技術(shù)。這意味著即使CPO成為主流技術(shù)，可插拔模塊仍將對(duì)CPO在技術(shù)或經(jīng)濟(jì)上不可行的幾個(gè)應(yīng)用（如長(zhǎng)途應(yīng)用和邊緣數(shù)據(jù)中心）有很高的需求。預(yù)計(jì)可插拔技術(shù)在未來(lái)10年內(nèi)不會(huì)逐步淘汰。不過(guò)，可插拔光學(xué)行業(yè)可能會(huì)整合，而CPO市場(chǎng)將形成多供應(yīng)商商業(yè)模式。

市場(chǎng)調(diào)研公司CIR表示，數(shù)據(jù)中心CPO的部署將在很大程度上受到交換演進(jìn)的驅(qū)動(dòng)，到2025年，將達(dá)到102.4 Tbps。CIR表示，與使用可插拔光學(xué)器件相比，CPO可以將功耗降低30%，每比特的成本降低40%。

在組件層面，與前板可插拔產(chǎn)品（FPP）相比，CPO具有潛在的經(jīng)濟(jì)效益，如圖4所示。例如，正如Ranovus董事長(zhǎng)兼CEO Hamid Arabzadeh所說(shuō)：“成本是一個(gè)關(guān)鍵因素，因?yàn)椴恍枰狿AM4 lC定時(shí)器，不需要時(shí)鐘和數(shù)據(jù)恢復(fù)（CDR）芯片和其他FPP項(xiàng)目也可能帶來(lái)節(jié)約。”

串行器和解串器（SerDes）鏈路是CPO的熱門(mén)話題。Martin Vallo博士認(rèn)為，224 Gbps數(shù)據(jù)速率的標(biāo)準(zhǔn)化SerDes鏈路是使CPO成為主流的必備條件之一，可以通過(guò)多種鏈路類型提供信號(hào)，包括片對(duì)片（D2D）、芯片到芯片、芯片到模塊（C2M）、中距離芯片到芯片（MR）和長(zhǎng)距離芯片到片（LR）。

與此同時(shí)，思科和OIF成員Jock Bovington強(qiáng)調(diào)，共封裝的好處之一是降低整體功耗?！安捎霉卜庋b時(shí)——無(wú)論是在同一基板（ CPO）上還是在高密度中間層（HDI）基板（NPO）上——通道的損耗都會(huì)大幅減少，能夠使用明顯更低功耗的SerDes，如XSR（10 dB）或XSR+（13 dB）。OIF開(kāi)發(fā)了2種類型的電氣接口?！?/p>

寫(xiě)在最后

2020年，開(kāi)始出現(xiàn)了第一批CPO概念驗(yàn)證并創(chuàng)建了規(guī)范。4大超大型云運(yùn)營(yíng)商中的2家——Meta和微軟積極支持CPO融入云網(wǎng)絡(luò)中。

2022年，交付了數(shù)千臺(tái)CPO引擎進(jìn)行試點(diǎn)測(cè)試。2023年，盡管遇到一些宏觀經(jīng)濟(jì)逆風(fēng)，將對(duì)預(yù)算密集型項(xiàng)目產(chǎn)生負(fù)面影響，但在硅光子學(xué)進(jìn)步的推動(dòng)下，深度光子學(xué)集成已經(jīng)在某些數(shù)據(jù)中心應(yīng)用中證明了可行性。CPO架構(gòu)也肯定會(huì)在數(shù)據(jù)通信之外的領(lǐng)域繼續(xù)它的故事。