面向液冷降溫技術的光模塊技術研究

［歐月華 任艷 陳璁］

1 引言

PUE對數據中心和算力網絡的運營影響巨大，高PUE可能導致高能源成本、環(huán)境污染、競爭不利等問題，因此數據中心和算力網絡的運營者通常會積極尋求方法來降低PUE，以提高其能源效率并降低運營成本[1]。此外，國家相關部委發(fā)布的東數西算、智能算力網絡、數字中國等國家戰(zhàn)略政策都對綠色節(jié)能提出了重要目標任務[2]。

目前，傳統的散熱方式如風冷和空調制冷，已經無法滿足當前高密數據中心和算力網絡在降低PUE和業(yè)務擴展方面的需求[3]。此外，很多高功率設備具有高能耗和高密度特征，使用風冷散熱不僅能耗大，還會產生高噪音。因此，液冷技術成為一種備受關注的新興制冷技術，有效解決了高密度設備散熱的難題，目前已在數據中心中得到廣泛應用[4]。通信運營商也在邊緣計算和BBU集中部署等場景積極研究和試點液冷散熱技術，并取得了顯著的節(jié)能效果。

光模塊是數據中心和通信機房網絡通信設備的核心配件之一，隨著各種設備為了滿足流量增長的需求不斷迭代升級，需要使用傳輸速率更高的光模塊，比如較早的40 Gbit/s、100 Gbit/s和現在的400 Gbit/s，800 Gbit/s，甚至是將來的1.6 Tbit/s光模塊[5]，光模塊的使用數量和功耗也隨之增加，光模塊自身也需要液冷技術進行功耗控制和散熱。

2 光模塊在液冷系統中的應用

為了滿足當前高密數據中心和算力網絡對降低PUE的需求，需要考慮通過替代或者升級目前風冷應用的光模塊，以適應液冷系統的應用場景。根據冷卻液與信息通信設備發(fā)熱器件之間的換熱方式，液冷系統通常分為冷板式、浸沒式和噴淋式液冷系統[6]。由于冷板式液冷系統中的冷卻液不與發(fā)熱電子部分直接接觸，所以目前液冷應用的光模塊在冷板式液冷系統中應用時，一般無需考慮兼容性方面問題。浸沒式和噴淋式液冷系統都是使用冷卻液和散熱器件直接接觸，從而進行熱交換。噴淋式液冷系統只需在噴淋模塊調整噴淋頭，實現噴淋設備與散熱器件的對應即可[7]；浸沒式液冷系統直接將散熱器件浸泡在冷卻液里，冷卻液吸收散熱器件產生的熱量后，將熱量傳遞給熱交換中的水，然后通過水循環(huán)將熱量傳遞到室外的散熱裝置中[8]。由于光模塊以往的設計都是基于風冷的應用場景，因此對于浸沒式和噴淋式液冷系統的應用場景，光模塊需要對滿足該場景的環(huán)境進行相應的設計，并且在應用中規(guī)范技術要求，以實現在液冷場景下的正常工作和數據傳輸。

3 光模塊散熱及在液冷系統影響分析

3.1 液冷環(huán)境下光模塊散熱效果

中國電信和華為組成聯合創(chuàng)新實驗局，在OTN設備中應用了冷板式液冷解決方案，其中OTN設備采用兩套相同的CFP封裝光模塊的樣品，分別在高效散熱、復雜業(yè)務場景下的溫度穩(wěn)定性和風冷方案對比試驗結果如下。

①液冷方案中，在40 ℃進液前提下，光模塊全部依靠液冷散熱，殼溫保持在70 ℃以下，溫度穩(wěn)定無超溫，滿足OTN散熱要求。

②液冷方案相對于風冷方案在光模塊散熱上大部分收益5℃以上，功率保持不變。

具體試驗數據如表1所示。

表1 風冷光模塊散熱與冷板式液冷光模塊散熱對比數據

液冷光模塊通過在液冷降溫環(huán)境下工作，從而降低光模塊的工作溫度和熱應力，預估可以提高其穩(wěn)定性和可靠性，并且提高其使用壽命。

液冷方案比較傳統風冷方案，對整機環(huán)境散熱更優(yōu)，光模塊運行管殼溫度更低，規(guī)模應用下功耗較風冷環(huán)境預計會有一定比例的降低。

其他液冷方案比如噴淋式、浸泡式液冷和冷板式液冷雖然實現原理不一樣，但是噴淋式、浸泡式液冷系統由于冷卻劑直接與發(fā)熱器件接觸，將熱量直接帶走，預估控溫效果更佳。

3.2 光模塊在液冷場景中可能影響

3.2.1 可能的失效模式

液冷光模塊的失效模式涉及多個方面，這些方面可能會影響其性能、可靠性和持續(xù)正常運行。以下是一些可能的液冷光模塊失效模式。

①泄漏或滲漏：光模塊光電器件與光接口、光接口與尾纖之中存在著光路，由于光模塊與液體介質接觸，可能會出現泄漏或滲漏的情況，導致冷卻液進入光路中，對光信號的傳輸造成一定的影響。因此，液冷光模塊重要的挑戰(zhàn)之一便是光模塊的關鍵封裝器件的密封性程度，如驅動器、TIA、激光器光電探測器、還有多通道模塊用的波分復用器、V型槽陣列、SOA放大器，相干模塊中的光波導元件以及光接口部分的密封性程度等。

②腐蝕：如果使用的冷卻液與模塊內部的材料不兼容，可能會引起腐蝕，導致元件失效或損壞。

③雜質：溶解后的顆粒（尤其是金屬顆粒），隨著液體的循環(huán)流動，附著在光模塊的電路部件，導致元件或電路失效、劣化。

3.2.2 光模塊在液冷機柜接線

液冷機柜是液冷生態(tài)系統的基本構建模塊，噴淋式和浸沒式液冷機柜將整個服務器噴淋或者浸入液體中進行散熱，因此需要一定的密封性。光模塊作為通信設備數據傳輸器件，需要考慮光模塊與液冷機柜之間的走線、出入纖兼容性，以及日常的維護管理。

4 液冷光模塊技術分析和建議

4.1 液冷光模塊整體封裝結構

4.1.1 封裝外觀

目前，有源光纜光模塊（簡稱AOC光模塊）因其具有功耗低、體積小、重量輕和抗電磁干擾等優(yōu)勢[9]，可為數據中心內部服務器到交換機間的短距離連接提供高密度、低成本和小功耗的解決方案。

基于AOC光模塊的封裝為基礎，目前有兩種光模塊封裝外觀滿足液冷環(huán)境應用的要求，本文中稱為線纜雙端液冷光模塊和線纜單端尾纖型液冷光模塊，其中線纜雙端液冷光模塊參考傳統AOC光模塊的封裝外觀，即光纜兩端都連接有光模塊的封裝外觀；線纜單端尾纖型液冷光模塊為光纜一端連接光模塊，另一端為光纖活動連接器的封裝外觀。

線纜雙端液冷光模塊和線纜單端尾纖型液冷光模塊由于在液冷環(huán)境中應用（線纜單端尾纖型液冷光模塊的光纖活動連接器一端不浸泡在液體中），需要保證設計光路（模塊自身、光纜和模塊之間）足夠密閉，以滿足浸沒在冷卻液中工作的情況。

4.1.2 液冷光模塊線纜

線纜雙端液冷光模塊和線纜單端尾纖型液冷光模塊都包括有線纜，類型包括B6類單模光纖和多模光纖，多模光纖類型包括OM2、OM3、OM4、OM5等。AOC線纜標準目前有行標YD/T 3537-2019《通信有源光纜（AOC）用線纜》，根據AOC光模塊在通信機房和數據中心的使用，多模光纜長度可以任意長度交貨，一般在150 m以內。線纜的護套材料包括低煙無鹵（LSZH）、聚氯乙烯（PVC）、熱塑性聚氨酯橡膠（TPU）、中密度聚乙烯（MDPE）等。

4.1.3 光接口類型（線纜單端尾纖型液冷光模塊）

線纜單端尾纖型液冷光模塊的光纜的一端是光接口，其光接口的類型按照實際使用場景分別包括有FC、SC、LC和MPO等。

比如液冷光模塊100G SR4 接口類型有多模 MPO-12、液冷光模塊100G PSM4 接口有單模 MPO-12，如圖1所示。線纜單端尾纖型液冷光模塊光接口的MPO 是公頭，線序和接收端類型的 MPO的線序不同。

圖1 MPO接口示意圖

4.2 極限條件和工作條件

液冷光模塊的極限工作條件指標包括貯存溫度、相對濕度、供電電壓等要求，建議與封裝、速率一樣的AOC光模塊保持一致。

液冷光模塊工作條件的指標包括：供電電壓、管殼溫度、并且由于在密封的機柜中工作，同時可考慮液冷光模塊的光纖彎曲半徑、液體浸泡深度等，如表2所示。

表2 推薦工作條件

對于光模塊的插、拔力和插拔次數要求，目前CCSA行標給出了100 Gbit/s、200 Gbit/s、800 Gbit/s 等速率的AOC光模塊相應要求，但是CCSA行標AOC光模塊是針對風冷的應用場景，而液冷光模塊來說，由于浸沒在液體中受到液體某方向的壓力，可能需要更多的力來插入或拔出，液冷光模塊的設計和生產方面，可能需重新評估冷卻液浸沒下模塊的插、拔力和插拔次數。

4.3 密封分析

4.3.1 密封技術概述

對于液冷光模塊可以采用的密封技術包括有氣密性封裝和液密性封裝或者兩者的相結合，以保持光模塊的密封性，防止氣體或液體從內部泄漏到外部或從外部進入內部的過程。氣密封裝專門用于阻止氣體的滲透，而液密封裝則專門用于阻止液體的滲透，兩種技術主要區(qū)別如下。

①封裝所使用的材料和技術可能會有所不同，氣密封裝可能使用氣密性高的材料，而液密封裝可能使用防水或耐腐蝕的材料。

②封裝設計差異，液密封裝可能需要更強的結構以抵抗液體壓力，而氣密封裝可能更注重氣密性，處理較大的氣體壓力差。

③封裝外觀上，氣密性封裝通常在封裝的蓋板和底座之間采用平行封焊或者儲能焊的方式進行焊接；而液冷光模塊需要整體實現密閉封裝（液封），以此實現同外部冷卻液的完全隔離。

4.3.2 模塊內部密封方式和工藝

目前風冷應用的光模塊內部密封包括有氣密性封裝和非氣密性封裝。光模塊氣密封裝的目的是為了防止外部的水汽和其他有害氣體進入封裝內部。氣密封裝和非氣密封裝器件在外觀上有很明顯的區(qū)別。目前來說，只有陶瓷、玻璃、金屬這三類材料能夠做氣密封裝，其他的材料比如塑料只能做非氣密封裝。其次，即使用了上述3種材料，還需要看封裝的蓋板和底座之間的結合方式，只有采用了平行封焊或者儲能焊這兩種結合方式，才算氣密封裝。如果使用的是其他結合方式比如點膠，還是屬于非氣密封裝。

電信級光模塊多采用氣密性的TO-CAN[10]或BOX[11]封裝技術，而數據中心光模塊多采用非氣密性COB[12]封裝技術，但是當數據中心中采用浸沒或者噴淋式液冷系統時，非氣密性封裝COB工藝的光模塊在液體環(huán)境中無法直接使用，因此在液冷數據中心中宜使用BOX和TOCAN兩種氣密性封裝光模塊，又或者對于光電部分COB封裝的光模塊進行整體的全塑封設計（液封），以有效阻止液冷環(huán)境中的冷卻液對光模塊光路部分的污染及對光學通路的干擾。

對于目前光模塊的發(fā)送器件和接收器件封裝方式和工藝介紹如下。

①TO-CAN同軸封裝（氣密性封裝）

殼體通常為圓柱形，一般用于40 Gbit/s內的傳輸系統。因為其體積小的特點，實現內置制冷比較困難，散熱是亟待解決的問題，難以用于大電流下的高功率輸出，因此難以用于長距離傳輸，最主要的用途還在于2.5 Gbit/s及10 Gbit/s短距離傳輸。TO-CAN的氣密封裝使用儲能焊，通過脈沖電流融化縫隙實現氣密性焊封。

②蝶形封裝（氣密性封裝）

蝶形封裝主要是為了解決散熱問題，可以提供更大的熱沉，同時也可以加配帶溫度控制的TEC溫控模塊，內部還有陶瓷基塊、芯片、熱敏電阻、背光監(jiān)控等。因此一個蝶形封裝器件相當于一個OSA，是比 TO-CAN更高一級的器件。

③BOX（盒式）封裝（氣密性封裝）

BOX封裝用于多通道并行封裝，可做成氣密性和非氣密性封裝，常用于中長距離高速光學設備傳輸，價格較昂貴。BOX封裝采用平行封焊設備實現氣密封裝。

④COB(Chip On Board)封裝（非氣密性封裝）

光模塊的COB封裝簡單來說是將激光芯片粘附在PCB基板上，包括TIA/LA芯片、激光陣列和接收器陣列等集成封裝在一個小空間內，以實現小型化，此為非氣密性封裝。

4.3.3 整體密封方案

液冷光模塊需要同時防止冷卻液進入光模塊的光路，即光器件與光接口、光接口與尾纖之中存在的光路中，因此液冷光模塊需要整體實現密閉封裝（液封），以此實現同外部冷卻液的完全隔離，如圖2所示。

圖2 整體密封方案示例圖

目前有些液冷光模塊產品使用膠水進行密封以實現光模塊整體的密閉封裝，結合業(yè)內液冷系統常用的冷卻液特性，液冷光模塊的封裝膠水與氟化液體和油類的這類常用的冷卻液需要良好兼容性能。

目前液冷光模塊通常采用的有UV膠以及低壓注塑材料作為密封膠[13]，例如：①利用環(huán)氧體系膠水作為液冷光模塊的封膠；②采用泰格士9109、漢高5375、漢高6208S或OM657等材料制作塑封層，分別以很低的注射壓力(1.5～40 bar)將封裝材料注入模具并快速固化成型(5～50 s)封裝。

4.4 液冷光模塊性能評價考慮

在光模塊基礎性能要求方面，線纜雙端液冷光模塊性能指標須考慮其發(fā)送端和接收端電氣特性，線纜單端尾纖型液冷光模塊除了考慮發(fā)送端的電氣特性，還須考慮出尾纖接頭后的光學性能。

在光模塊可靠性測試中，機械完整性和溫度耐久性測試一般依據Telcordia GR-468-CORE，但是Telcordia GR-468-CORE主要面向的是一般風冷環(huán)境包括工業(yè)級應用的光模塊，沒有完全考慮到液冷光模塊的應用要求對應的測試方法。因此對于在液體噴淋或者浸沒下環(huán)境工作的光模塊，可能需要考慮相應適用的測試方法，以確保其性能和可靠性。

建議液冷光模塊在風冷AOC光模塊的可靠性試驗基礎上，除了需要在通過風冷AOC光模塊對應的機械試驗和非工作環(huán)境試驗（主要非工作環(huán)境存儲試驗）外，可以考慮單獨的液冷工作環(huán)境的試驗，包括液冷壽命（高溫）、液冷溫度循環(huán)和液冷浸沒的測試方法（可考慮通過加壓模擬在液體浸泡到達一定深度），以檢測液冷光模塊的早期失效和推測長期壽命。

4.5 材料兼容性測試

光模塊在噴淋液冷或者浸沒式液冷環(huán)境中，光模塊的外殼、尾纖及接口的材料，由于與冷卻液接觸，存在與冷卻液發(fā)生反應的可能，包括兩個方面：一是光模塊的材料吸收冷卻液，二是光模塊材料的一些成分的析出。因此，光模塊中使用的所有材料應考慮和冷卻液的兼容性，以確保光模塊的正常運行和壽命。此外冷卻液的清潔和更換也是確保光模塊性能和壽命的重要因素，光模塊在使用過程中，建議定期更換冷卻液，并在更換前清洗和沖洗光模塊中的液體通道，以防止雜質和沉積物的積累。

總的來說，在材料兼容性方面，需要考察冷卻液是否與光模塊的材料發(fā)生反應或產生溶解萃取等影響，如果光模塊的使用材料在冷卻液廠商兼容性清單之外的物料，應進行兼容性測試，包括浸泡實驗和萃取實驗，通過測試對冷卻液進行粘度、介電常數和擊穿電壓等物性常數分析，同時對殘留物、顆粒度等液體成分進行測試。

浸泡實驗測試方法可參考:

①ASTM-D3455-2011《變壓器油與材料相容性標準進行測試》；

②GB/T 14832-2008《標準彈性體材料與液壓液體的相容性》。

萃取實驗測試方法可參考索式萃取測試相關標準:

①GB5512-85《糧食、油料檢驗粗脂肪測定法》；

②GB5009.6-2016《食品安全國家標準食品中脂肪的測定》。

另外，光纜的護套材料兼容性：護套材料與液冷系統冷卻液（比如油類），目前的測試標準有GB/T 2951.21-2008《電纜和光纜絕緣和護套材料通用試驗方法第21部分：彈性體混合料專用試驗方法——耐臭氧試驗——熱延伸試驗——浸礦物油試驗》的浸礦物油試驗。

4.6 成本分析

液冷光模塊相比常規(guī)光模塊在成本方面的增加主要包括兩個方面：一個是物料成本，來自于密封材料，需要絕緣、導熱性能好、穩(wěn)定性強的密封材料；另外一個是來自加工成本，需要通過較高的工藝水平和制造水平實現密封但是不能影響原來的性能參數、電磁兼容特性等要求。

5 技術展望

液冷光模塊在國內外的應用主要集中在數據中心、通信設備和高性能計算領域。這些應用領域需要高性能的光傳輸解決方案，并且越來越重視能效和散熱管理，因此液冷技術在這些領域中具有廣泛的市場前景。

為了滿足高性能計算和通信應用中提高性能、能效、可靠性和適應未來技術等多方面的需求，液冷光模塊技術還需要進一步促進了技術的標準化，包括液冷光模塊的技術要求、密封技術要求、可靠性測試方法和運維管理技術方面的標準化工作，以指導液冷光模塊的開發(fā)、設計、生產和保證液冷光模塊量產階段可靠性，促進技術和產業(yè)鏈的發(fā)展成熟，更好的支撐高密數據中心和算力網絡采用液冷系統降低PUE和業(yè)務擴展方面的需求和綠色低碳發(fā)展。