浸沒式液冷服務(wù)器PCB的信號完整性仿真分析

摘 要：浸沒式液冷散熱在高密度發(fā)熱功率的服務(wù)器上得到廣泛關(guān)注，為了探究液冷環(huán)境對服務(wù)器PCB信號完整性的影響，對常規(guī)風(fēng)冷到液冷環(huán)境變換對PCB信號完整性的影響進(jìn)行了研究；針對空氣介質(zhì)和冷卻液介質(zhì)因介電常數(shù)變化，影響PCB走線信號的傳輸特性阻抗問題，采用軟件SI9000構(gòu)建了仿真模型，對兩種介質(zhì)下PCB微帶線單端信號、差分信號的阻抗進(jìn)行仿真分析，模擬服務(wù)器從空氣介質(zhì)到浸沒冷卻液介質(zhì)的PCB信號走線阻抗變化，并對冷卻液不同介電常數(shù)對阻抗變化進(jìn)行仿真分析，結(jié)果表明，當(dāng)冷卻液介電常數(shù)小于2.2時，PCB微帶線走線阻抗變化較小，對其信號完整性影響較小，仍滿足相關(guān)規(guī)范的誤差要求，對數(shù)據(jù)中心浸沒式液冷行業(yè)中冷卻液的選擇應(yīng)用提供參考。

關(guān)鍵詞：浸沒式液冷；信號完整性；冷卻液；介電常數(shù)

中圖分類號：TN911.7；TP391.9 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2024）20-0015-05

Signal Integrity Simulation Analysis of Submerged Liquid Cooling Server PCB

HUANG Ziyang， DANG Guangyue， CHEN Zhilie

（Shenzhen Yiwanke Data Equipment Co.， Ltd.， Shenzhen 518106， China）

Abstract： Immersed liquid cooling heat dissipation has been widely concerned in the server with high density heating power. In order to explore the influence of liquid cooling environment on the server PCB signal integrity， the influence of conventional air cooling to liquid cooling environment transformation on the PCB signal integrity is studied. In view of the problem that the transmission characteristic impedance of PCB routing signal is affected by the change of dielectric constant of air medium and coolant medium， a simulation model is constructed by using software SI9000 to simulate and analyze the impedance of PCB microstrip line single-end signal and differential signal under the two kinds of media. It simulates the PCB signal routing impedance change from air medium to immersed coolant medium of server， and the simulation analysis of the change of impedance with different dielectric constants of coolant is carried out. The results show that when the dielectric constant of the coolant is less than 2.2， the PCB microstrip wire routing impedance changes a little， which has a little impact on the signal integrity， and it still meets the error requirements of relevant specifications， which provides a reference for the selection and application of coolant in the data center submerged liquid cooling industry.

Keywords： submerged liquid cooling; signal integrity; coolant; dielectric constant

0 引 言

隨著科學(xué)技術(shù)的發(fā)展，服務(wù)器的算力越來越高，單顆CPU的TDP目前已經(jīng)高達(dá)上百瓦，加上高算力GPU的熱功率，單機柜功率密度逐年增長，傳統(tǒng)的風(fēng)冷散熱逐漸難以滿足服務(wù)器的正常散熱要求，而服務(wù)器散熱不良，會導(dǎo)致服務(wù)器設(shè)備溫度持續(xù)增加，達(dá)到臨界溫度后整機系統(tǒng)會采取強制降低工作頻率等措施降低發(fā)熱量，影響到服務(wù)器的計算性能。將服務(wù)器浸泡在液冷機柜上，由不導(dǎo)電的冷卻液將服務(wù)器板卡中芯片產(chǎn)生的熱量帶走，稱為浸沒式液冷。浸沒式液冷和傳統(tǒng)風(fēng)冷相比有如下優(yōu)勢[1]：

1）更可靠：減少了震動，灰塵等環(huán)境因素。

2）密度高：單位體積能實現(xiàn)更大功率計算。

3）噪聲低：由于沒有了風(fēng)扇，顯著降低噪音。

4）傳熱快：冷卻液具有比空氣更高的傳熱系數(shù)。

由于浸沒式液冷的多種優(yōu)勢，采用液冷散熱將成為未來高功率服務(wù)器產(chǎn)品散熱的主要方式[2]，這種散熱方式將整個服務(wù)器完全浸沒在冷卻液中，目前還沒有專門設(shè)計于液冷的服務(wù)器，各大服務(wù)器廠商采用將原設(shè)計與風(fēng)冷的服務(wù)器改造為液冷服務(wù)器的方式進(jìn)行液冷散熱[3]，而冷卻液介電常數(shù)大于1，與空氣不同，此參數(shù)的變化影響到服務(wù)器關(guān)鍵部件PCB的走線信號傳輸，對此參數(shù)的選擇非常重要，相關(guān)研究較少，為了更好地了解浸沒式液冷對PCB信號完整性的影響，本文以數(shù)據(jù)仿真為基礎(chǔ)，研究的重點是將原設(shè)計與風(fēng)冷的服務(wù)器產(chǎn)品浸沒在液冷環(huán)境中對服務(wù)器內(nèi)部PCB板表層走線產(chǎn)生的阻抗影響，確定對冷卻液介電常數(shù)的選擇，為實際運用提供理論基礎(chǔ)。

1 PCB信號完整性問題分析

信號完整性問題主要包括信號反射、串?dāng)_、信號延遲和時序錯誤。在浸沒式液冷系統(tǒng)中，PCB周圍環(huán)境為冷卻液流體介質(zhì)[4]，流體的介電常數(shù)不同于空氣，空氣的介電常數(shù)為1.000 6，接近1，工程師按照這個介電常數(shù)進(jìn)行PCB走線阻抗的控制，進(jìn)而完成PCB板的設(shè)計生產(chǎn)，若將此設(shè)計產(chǎn)品放在浸沒式液冷介質(zhì)中散熱，由于冷卻液的介電常數(shù)比空氣介電常數(shù)要大，這會引起PCB傳輸線的阻抗變化，電路板的信號從發(fā)送端TX經(jīng)過傳輸線到達(dá)接收端RX，當(dāng)傳輸線阻抗發(fā)生變化，會引起信號的反射，衰減信號的能量，影響信號到達(dá)接收端的質(zhì)量，進(jìn)一步影響信號判決，提高誤碼率，降低板卡的性能。

而在PCB的疊層結(jié)構(gòu)中進(jìn)行分類，分為微帶線和帶狀線[5]，微帶線指的是PCB的頂層和底層的走線，一側(cè)為空氣，另一側(cè)為板材介質(zhì)；帶狀線指的是PCB內(nèi)層走線，走線的上下兩側(cè)緊鄰板材介質(zhì)，從信號完整性歸類，微帶線只有一側(cè)參考平面，而帶狀線有上下兩層參考平面。由于微帶線只有一側(cè)參考平面，另一側(cè)環(huán)境的介電常數(shù)對微帶傳輸線的阻抗影響較大，當(dāng)外側(cè)的介電常數(shù)增加，導(dǎo)致其電容率增加，而特征阻抗的值受到該點的電感率和電容率影響，與電感率呈正相關(guān)，與電容率呈負(fù)相關(guān)。因此，有必要對PCB板的表層微帶線進(jìn)行仿真驗證。而處于板材內(nèi)部的帶狀線，帶狀傳輸線上下均有完整的參考平面，PCB周圍的冷卻液介質(zhì)距離帶狀傳輸線更遠(yuǎn)，在電磁場理論中，距離遠(yuǎn)則互相耦合、互相影響就越小，因此，冷卻液對板內(nèi)帶狀線信號完整性的影響小于對微帶線的影響。

PCB的表層微帶線疊層設(shè)計如圖1所示，由涂覆介質(zhì)、銅走線、基材組成[6]。對于PCB走線來說，走線的寬度W、厚度T1、參考地的寬度G、涂覆介質(zhì)C、相鄰介質(zhì)的厚度H1、介質(zhì)的介電常數(shù)Er1及接地距離D參數(shù)都會影響走線的特性阻抗。

（1）

在傳輸線當(dāng)中，依據(jù)式（1）的信號反射公式，ZL為后端阻抗，Z0為前端阻抗，ρ為反射系數(shù)[7]。如果傳輸線阻抗均勻，沒有變化，即對于整個傳輸線而言，細(xì)分為若干個點，任意點的前端阻抗等于后端阻抗，這一理論在傳輸線一側(cè)到另一側(cè)端點之間都適用，則ZL = Z0，反射系數(shù)ρ等于0，不會發(fā)生反射，信號在發(fā)送端的波形能完好的傳遞到接收端，不會發(fā)生信號的畸變；如果ZL ≠ Z0，存在信號反射的情況，當(dāng)傳輸線某一點的后端阻抗大于前端阻抗，則ρ＞0，信號在該點處發(fā)生正反射，原本應(yīng)該傳遞到后端的信號能量，一部分反射到發(fā)送端，反射的大小跟反射系數(shù)相關(guān)；當(dāng)后端阻抗小于前端阻抗，則ρ小于0，信號發(fā)生負(fù)反射。不論是發(fā)生正反射還是負(fù)反射，發(fā)送端的信號波形沒有辦法完美的傳遞到接收端，若前端阻抗和后端阻抗差別越大，則反射系數(shù)的絕對值越大[8]，接收端的信號波形和發(fā)送端會有更大的區(qū)別，對信號的正確傳輸產(chǎn)生影響，提高通信誤碼率，降低設(shè)備的計算性能。

如圖2六層PCB疊層所示，由上至下分別為L1層、L2層、L3層、L4層、L5層和L6層，在PCB設(shè)計中，基于空間位置、性能等原因，信號走線會經(jīng)過不同疊層[9]，這里以傳輸線經(jīng)過L1層和L2層為例，如圖2中標(biāo)示其中的L1層、L2層及其之間的圓柱體過孔，過孔起到信號連接作用。若傳輸線傳輸常見的DDR5信號，其要求的特征阻抗為40 Ω，原本工程師已按照40 Ω進(jìn)行了疊層設(shè)計，即L1層、L2層的走線特征阻抗都為40 Ω，但如果采用了浸沒式液冷，L1層上方由空氣環(huán)境變?yōu)榱死鋮s液環(huán)境，會導(dǎo)致L1層走線的相對電容率增加，引起L1層的傳輸線特征阻抗降低，導(dǎo)致L1和L2的阻抗不連續(xù)，突變點發(fā)生在L1和L2交界處，即過孔位置，整段傳輸線產(chǎn)生了信號完整性問題。

對于PCB微帶線上的信號，存在單端信號和差分信號兩種形態(tài)。單端信號，即以一根PCB走線傳遞數(shù)據(jù)；而差分信號，常見于USB、PCIe、SATA等高速信號協(xié)議，在PCB中采用兩根走線為一組的方式傳遞數(shù)據(jù)[10]，有必要對這兩類信號都進(jìn)行仿真分析。

2 信號完整性仿真模型建立

在仿真軟件中選擇如圖3所示的模型，不同于圖1中的普通疊層結(jié)構(gòu)，此模型增加了一層CS層，定義CS為冷卻液部分，覆蓋在PCB涂覆介質(zhì)上方，模擬整個PCB板浸泡在冷卻液當(dāng)中，CSEr即為冷卻液的介電常數(shù)，改變CSEr，可以模擬不同介電常數(shù)的冷卻液。具體來說，CS1為在走線外側(cè)模擬的冷卻液的厚度，CS2為傳輸線兩側(cè)共面參考地的冷卻液厚度，CS3為傳輸線和共面參考地之間的冷卻液厚度，其他部分與常規(guī)疊層一致。

3 阻抗仿真分析

針對空氣介質(zhì)和冷卻液介質(zhì)介電常數(shù)不一樣對PCB信號反射的影響，基于以上仿真模型，仿真分析在兩種介質(zhì)中的PCB表層單端走線阻抗和PCB表層差分走線阻抗變化以及冷卻液不同介電常數(shù)對阻抗的影響，從而判斷冷卻液介電常數(shù)對PCB表層傳輸線的影響。

3.1 仿真環(huán)境及流程介紹

仿真環(huán)境為在Windows 10系統(tǒng)中使用Polar Si9000軟件，Polar Si9000是專業(yè)計算阻抗的軟件，計算精度高，耗時短，有完善的模型，操作簡單。本文選擇圖3模型，輸入常規(guī)PCB疊層參數(shù)，包括基材介質(zhì)厚度、基材介電常數(shù)、走線上線寬、走線下線寬、接地線線距、線路厚度、基材上涂覆、線路上涂覆、線路間涂覆、涂覆介質(zhì)介電常數(shù)、基板上第2層涂覆、線路上第2層涂覆、線路間第2層涂覆和第2層涂覆介質(zhì)介電常數(shù)參數(shù)，界面樣式選擇標(biāo)準(zhǔn)，收斂選擇精細(xì)，這樣得出的數(shù)據(jù)會更準(zhǔn)確。先仿真空氣中的阻抗值，再根據(jù)對照實驗的方法，只改變單一變量的方式，改變外部環(huán)境的介電常數(shù)CSEr，模擬PCB由空氣介質(zhì)浸沒到冷卻液場景，其他參數(shù)不變，確保數(shù)據(jù)有效性，得出阻抗值，進(jìn)行對比分析。

3.2 空氣介質(zhì)阻抗仿真

3.2.1 表層單端走線阻抗仿真

服務(wù)器PCB于風(fēng)冷環(huán)境下，空氣中的介電常數(shù)約為1，對應(yīng)圖4的疊層設(shè)計中的第二層涂覆介質(zhì)CSEr設(shè)定為1，其他各項參數(shù)按照常規(guī)標(biāo)準(zhǔn)的服務(wù)器PCB疊層參數(shù)進(jìn)行錄入，經(jīng)過軟件運算，得出該參數(shù)下的微帶線單端走線的阻抗Z0為50 Ω。

3.2.2 表層差分走線阻抗仿真

在如圖5所示的表層差分走線疊層設(shè)計中，同樣設(shè)定第2層涂覆介質(zhì)CSEr為1，即仿真在空氣環(huán)境中的傳輸線阻抗，經(jīng)過仿真得出該差分走線的差動阻抗Zdiff為99.99 ohm。

3.3 冷卻液阻抗仿真

3.3.1 表層單端走線阻抗仿真

服務(wù)器PCB放置于冷卻液環(huán)境下，基于目前主流的冷卻液介電常數(shù)為2左右，如圖6這里設(shè)定冷卻液的介電常數(shù)為2，對應(yīng)圖6仿真中的第2層涂覆介質(zhì)CSEr，其他參數(shù)包括基材厚度、基材介質(zhì)介電常數(shù)、線寬、線厚度，基材上涂覆的厚度及其涂覆介質(zhì)CEr等參數(shù)不變的情況下，微帶線單端走線的阻抗Zo變?yōu)?7.73 Ω。

3.3.2 表層差分走線阻抗仿真

當(dāng)冷卻液的介電常數(shù)為2，在如圖7的疊層設(shè)計中第2層涂覆介質(zhì)CSEr設(shè)定為2，其他參數(shù)保持不變，仿真得出差分走線的差動阻抗Zdiff為95.16 ohm。

3.4 不同介質(zhì)阻抗仿真對比分析

如表1所示，表層單端信號走線，如果環(huán)境由風(fēng)冷變?yōu)榱私殡姵?shù)為2的冷卻液環(huán)境，則走線特征阻抗降低了2.27 Ω，偏差比例4.54%。如表1所示，表層差分信號走線，如果環(huán)境由風(fēng)冷變?yōu)榱私殡姵?shù)為2的冷卻液環(huán)境，則走線特征阻抗降低了4.83 Ω，偏差比例4.83%。

原設(shè)計于風(fēng)冷散熱的服務(wù)器，浸泡在液冷環(huán)境中，由于PCB表層外側(cè)的介質(zhì)發(fā)生改變，不論是對表層單端信號阻抗還是表層差分信號阻抗，影響的偏差都在5%以內(nèi)，匯總數(shù)據(jù)如表1所示。而服務(wù)器PCB的主要信號阻抗要求及其允許的誤差范圍如表2所示，允許10%甚至15%的誤差，說明在冷卻液介電常數(shù)為2的浸沒式散熱環(huán)境中，對走線的阻抗影響較小，仍然滿足設(shè)計要求。

3.5 冷卻液介電常數(shù)對阻抗影響分析

PCB中高速信號主要以差分形式傳輸，基于PCB對主要高速信號UPI、DDR5、SATA3.0、USB2.0、USB3.0的阻抗誤差要求，為了確認(rèn)冷卻液介電常數(shù)的變化或不同介電常數(shù)的冷卻液對阻抗的影響，根據(jù)目前市場上主流的冷卻液介電常數(shù)在1.6到2.6之間，分別仿真了介電常數(shù)在此范圍內(nèi)，步進(jìn)為0.2的介電常數(shù)和微帶差分線阻抗誤差的關(guān)系，如表3所示。

如圖8所示為表層差分走線阻抗誤差隨冷卻液不同介電常數(shù)的影響，可以看出即使冷卻液的介電常數(shù)達(dá)到了2.6，差分阻抗誤差仍在10%以內(nèi)，但由于PCB板材阻抗加工時存在4%～5%誤差，即允許的設(shè)計阻抗變化在5%～6%，建議選取介電常數(shù)小于2.2為優(yōu)。

4 結(jié) 論

PCB傳輸線阻抗變化是服務(wù)器在液冷環(huán)境中性能下降的重要因素，為了保證在浸沒式液冷環(huán)境中的傳輸性能，有必要在服務(wù)器改造階段將冷卻液的介電常數(shù)導(dǎo)入信號完整性仿真，確保所選的冷卻液滿足設(shè)計要求。

參考文獻(xiàn)：

[1] 鐘楊帆，郭銳，張京，等.基于電子氟化液的單相浸沒液冷服務(wù)器長期可靠性評估 [J].中國電信業(yè)，2021（S1）：55-60.

[2] 鐘楊帆，劉丹，文芳志，等.數(shù)據(jù)中心單相浸沒液冷規(guī)模化應(yīng)用關(guān)鍵技術(shù)研究 [J].信息通信技術(shù)與政策，2023，49（5）：65-72.

[3] 柯媛華，成軍，楊瑛潔，等.數(shù)據(jù)中心液冷技術(shù)研究 [J].郵電設(shè)計技術(shù)，2023（12）：35-41.

[4] 曾少鴻，吳偉雄，劉吉臻，等.鋰離子電池浸沒式冷卻技術(shù)研究綜述 [J].儲能科學(xué)與技術(shù)，2023，12（9）：2888-2903.

[5] 房蘭霞.PCB信號完整性設(shè)計和測試應(yīng)用 [J].電子工藝技術(shù)，2022，43（6）：349-353.

[6] 代秀云，何洪，白志剛，等.浸沒式液冷環(huán)境下的高速連接器信號完整性 [J].機電元件，2023，43（5）：33-37.

[7] 王佐，李清春，劉小偉，等.高密度互聯(lián)PCB制作技術(shù)研究 [J].印制電路信息，2024，32（S1）：227-233.

[8] 葉志紅，汝夢祖，吳小林，等.PCB上微帶線的電磁耦合時域建模分析方法 [J].微波學(xué)報，2022，38（4）：7-11+36.

[9] 聶俊英.利用SigXplorer進(jìn)行高速信號仿真研究 [J].科技與創(chuàng)新，2023（17）：92-94+97.

[10] 房蘭霞.PCB信號完整性設(shè)計和測試應(yīng)用 [J].電子工藝技術(shù)，2022，43（6）：349-353.

作者簡介：黃子洋（1997.08—），男，漢族，廣西南寧人，助理工程師，本科，研究方向：硬件設(shè)計及信號完整性分析。