毋懼炎炎高溫：OCP如何應(yīng)對下一代數(shù)據(jù)中心的散熱設(shè)計(jì)挑戰(zhàn)

莫仕公司

隨著數(shù)據(jù)密集應(yīng)用不斷增長，超大規(guī)模數(shù)據(jù)中心的工作負(fù)荷日益繁重。數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量顯著增加，促使架構(gòu)師開始尋找新方法以實(shí)現(xiàn)更高的數(shù)據(jù)速率和吞吐量。

目前，最先進(jìn)的網(wǎng)絡(luò)適配器（NIC）達(dá)到每端口200 G速率。然而，為了滿足數(shù)據(jù)中心日益增長的需求，業(yè)界正朝向使用400 G NIC方向發(fā)展，但前提是相關(guān)的支持技術(shù)需要同時(shí)進(jìn)步，而這絕非易事。Molex（莫仕）深入探討伴隨這項(xiàng)轉(zhuǎn)變而來的散熱挑戰(zhàn)，以及我們的合作工作小組解決這些難題的獨(dú)特方法。

400G運(yùn)作的散熱挑戰(zhàn)

下一代數(shù)據(jù)中心會過渡至400G網(wǎng)絡(luò)適配器，因而面臨各種散熱方面的難題。

我們面對的第一項(xiàng)挑戰(zhàn)是更高的數(shù)據(jù)速率會消耗更多的功率。通過廣泛的研究、試驗(yàn)和仿真，我們發(fā)現(xiàn)數(shù)據(jù)速率和熱量產(chǎn)生之間的關(guān)系大致是線性的，其中數(shù)據(jù)速率提高一倍，將使得系統(tǒng)發(fā)熱量增加兩倍以上。結(jié)論是什么？那就是網(wǎng)絡(luò)適配器速率從200 G轉(zhuǎn)變成400 G后，系統(tǒng)熱量將會大幅增加。

第二項(xiàng)挑戰(zhàn)則在于需要可支持400 G NIC的基礎(chǔ)設(shè)施。與使用無源直接連接電纜（DAC）的200 G NIC不同，有時(shí)400 G NIC可能需要使用大功率有源光纜（AOC）來支持高數(shù)據(jù)速率。這些大功率AOC的功耗可高達(dá)8W，會將自身的熱量導(dǎo)入系統(tǒng)，再加上以高速率運(yùn)送數(shù)據(jù)，使得溫度不斷升高。

質(zhì)疑基礎(chǔ)設(shè)施

這些迫在眉睫的散熱挑戰(zhàn)，使得我們對目前NIC環(huán)境基礎(chǔ)架構(gòu)中某些零組件的可行性產(chǎn)生懷疑。我們與英偉達(dá)（NVIDIA）和Meta兩家公司合作，更加深入地研究這個(gè)難題。

一項(xiàng)研究重點(diǎn)是外形尺寸。具體而言，我們調(diào)研了使用OCP NIC 3.0業(yè)界標(biāo)準(zhǔn)小型光纖連接頭（small form factor，SFF）產(chǎn)品的可行性，看看它能否匹敵早前提出的TSFF（tall SFF）。眾所周知，TSFF可以提供更多空間，因此能實(shí)現(xiàn)更優(yōu)異的I/O散熱解決方案。在理想情況，系統(tǒng)架構(gòu)師可以在可能的情況下繼續(xù)采用SFF。真正的問題在于，SFF是否能為400 G NIC提供可行的解決方案？或者我們是否需要轉(zhuǎn)而將TSFF定為業(yè)界標(biāo)準(zhǔn)？

這個(gè)問題很難給予直接的答復(fù)，因?yàn)橛袔讉€(gè)變量可能會對結(jié)論有所影響。出于這個(gè)原因，我們的研究工作考慮了許多可能顯著影響散熱性能的因素，包括以下幾個(gè)方面。

·外形尺寸：TSFF對比SFF。

·NIC ASIC功率限制（僅限使用DAC電纜）。

·模塊類型：QSFP-DD Type 1對比Type 2 A。

·監(jiān)測位置點(diǎn)：機(jī)箱后部上方的平均溫度、散熱器底座溫度和前端溫度。

·測試裝置類型：有/無測試裝置。

·冷信道對比熱信道。

模擬試驗(yàn)的設(shè)置與假設(shè)

每一攝氏度溫度的變化，都對結(jié)論有影響。由于涉及到可行性，因此有必要確保模擬試驗(yàn)反映著現(xiàn)實(shí)且合理的使用狀況。

對此，我們的模擬試驗(yàn)同時(shí)使用了TSFF和SFF兩種外形尺寸的OCP NIC 3.0網(wǎng)絡(luò)適配器來建立模型。英偉達(dá)公司慷慨地為研究提供了進(jìn)行模擬試驗(yàn)的ASIC原型設(shè)計(jì)散熱模型ConnectX-6 DX。為了進(jìn)行模擬試驗(yàn)，我們假設(shè)功率上限為23 W，并根據(jù)配備標(biāo)準(zhǔn)鋁制散熱器的裝置建立了模型。

對于QSFP-DD類型模塊，我們使用了常態(tài)功耗為10.2 W的多信道散熱模型。與ASIC原型設(shè)計(jì)相似，我們選擇為QSFP-DD模型配備了標(biāo)準(zhǔn)鋁制散熱器，使得覆蓋的受熱表面積最大化，但不采用任何先進(jìn)的冷卻技術(shù)或材料，目的是了解前面所強(qiáng)調(diào)的變量之間的相對影響。

對于模擬試驗(yàn)的環(huán)境，我們同時(shí)測試了熱信道和冷信道兩種環(huán)境。熱信道的環(huán)境溫度為55℃，氣流速度范圍為200至1 000 LFM（每分鐘線性英尺），氣流方向從后至前。所有這些都符合OCP 3.0技術(shù)規(guī)范。另一個(gè)不同環(huán)境是冷信道，模型環(huán)境溫度為35℃，氣流速度范圍為200到600 LFM，氣流方向從前至后。如圖1所示，我們的模擬實(shí)驗(yàn)使用了符合英偉達(dá)OCP NIC 3.0規(guī)范的測試裝置，包括安裝在測試盒內(nèi)的兩個(gè)相同的網(wǎng)絡(luò)適配器。

調(diào)研結(jié)果：外形尺寸的影響

通過模擬試驗(yàn)結(jié)果，我們了解到數(shù)個(gè)邊界條件和變量如何對散熱性能產(chǎn)生了非零影響（即是超過幾攝氏度）。

在調(diào)研中，第一個(gè)值得注意的結(jié)果是，外形尺寸對QSFP-DD模型的散熱性能造成了重要的影響。如圖2 所示，我們發(fā)現(xiàn)TSFF的散熱性能明顯優(yōu)于SFF，尤其是在氣流速度較低的時(shí)候。在這種情況下，散熱性能提升了多達(dá)6℃。盡管這個(gè)結(jié)果并不令人驚訝，但6℃的改進(jìn)幅度確實(shí)很突出。

同樣地，我們的研究結(jié)果顯示，在熱信道應(yīng)用中使用TSFF尺寸時(shí)，ASIC原型設(shè)計(jì)的散熱性能提高了10℃之多。另外，關(guān)于NIC ASIC原型設(shè)計(jì)的功率限制參數(shù)（無源DAC應(yīng)用），與在熱信道條件下使用SFF 相比，采用TSFF的模塊功率限制增加了約2.5 W。

調(diào)研結(jié)果：還須考慮其他變量

除了外形尺寸，我們的調(diào)研還深入了解模塊類型和監(jiān)測位置點(diǎn)對于散熱結(jié)果的影響。在比較兩款業(yè)界標(biāo)準(zhǔn)模塊時(shí)，我們發(fā)現(xiàn)QSFP-DD Type 2 A模塊具有出色的散熱性能，改進(jìn)了大約4℃。這項(xiàng)性能改進(jìn)的主要原因是Type 2A模塊本身前端有一個(gè)外部整合散熱器。同樣地，這個(gè)結(jié)果并不令人驚訝，但非常突出。

最后，我們發(fā)現(xiàn)不同的監(jiān)測位置點(diǎn)（也就是模塊上的探測點(diǎn)）之間存在溫度偏差。例如，仿真試驗(yàn)顯示，散熱器底座的監(jiān)測溫度相比前端的監(jiān)測溫度降低5℃。如圖3所示，在量化NIC模塊的熱性能時(shí)，監(jiān)測位置點(diǎn)顯然是不可忽視的考慮因素。

調(diào)研結(jié)論

我們的調(diào)研深入了解了幾個(gè)特定變量和邊界條件對散熱性能的影響，但結(jié)果并不是主要的結(jié)論。相比發(fā)現(xiàn)哪些設(shè)置“合理呈現(xiàn)真實(shí)環(huán)境”而言，更重要的是，這項(xiàng)研究表明業(yè)界迫切需要就這些變量和邊界條件達(dá)成共識。

以模塊類型和監(jiān)測位置點(diǎn)等變量為示例，試驗(yàn)結(jié)果顯示，模塊類型對于散熱性能會造成重大的影響（≌4℃），這個(gè)發(fā)現(xiàn)帶來一個(gè)問題：除了排除SFF尺寸在400G NIC的可用性之外，是否可以保留SFF尺寸但改用Type 2 A QSFP-DD模塊呢？到目前為止，業(yè)界尚未達(dá)成共識。如要對SFF的可行性得出真正的結(jié)論，首先要進(jìn)行定義并在業(yè)界達(dá)成共識。

同樣地，業(yè)界目前也沒有針對監(jiān)測位置點(diǎn)達(dá)成一致的標(biāo)準(zhǔn)。調(diào)研顯示，監(jiān)測散熱性能的位置點(diǎn)會對仿真試驗(yàn)結(jié)果產(chǎn)生重大影響，差距甚至可高達(dá)5℃。如果我們不能就監(jiān)測位置點(diǎn)達(dá)成一致共識，那么所有的研究數(shù)據(jù)之間就缺乏一致性，這將導(dǎo)致無法真正地比較試驗(yàn)結(jié)果。這里再次強(qiáng)調(diào)，OCP和整個(gè)業(yè)界要邁向400G NIC發(fā)展，首先必須達(dá)成共識。

呼吁采取行動

如何才能達(dá)成關(guān)鍵的業(yè)界共識？我們認(rèn)為模塊、I/O、NIC、系統(tǒng)和數(shù)據(jù)中心多個(gè)專業(yè)領(lǐng)域需要參與更多。這樣的合作將幫助OCP更好地協(xié)調(diào)可實(shí)現(xiàn)的目標(biāo)，并確定最合適的環(huán)境來進(jìn)行這些可行性研究。而且，到目前為止的研究所涵蓋的范圍并不全面，我們還必須考慮其他的變量，包括采用QSFP-DD有源電纜（AEC）的可行性，預(yù)計(jì)其耗散熱量低于AOC。

如果業(yè)界發(fā)現(xiàn)SFF無法適用于AOC，下一步可能考慮使用AEC。此外，如果發(fā)展采用TSFF尺寸網(wǎng)絡(luò)適配器，就需要擴(kuò)展研究內(nèi)容，涵蓋采用整合散熱器的八個(gè)SFF可插拔模塊（OSFP-RHS）端口的可行性。

業(yè)界多方合作對于達(dá)成散熱設(shè)計(jì)共識極為重要，而OCP將會發(fā)揮關(guān)鍵的作用。Molex莫仕非常榮幸能與Meta和英偉達(dá)合作，針對相關(guān)的下一代解決方案進(jìn)行試驗(yàn)研究。我們?nèi)胶献髟O(shè)計(jì)測試方案，并仔細(xì)進(jìn)行模擬以量化每一個(gè)已定義變量的影響，然后共同分析結(jié)果，并且在數(shù)據(jù)中心需要援手時(shí)，尋求達(dá)到新性能水平的方法。