高密度存儲服務(wù)器熱設(shè)計*

?

高密度存儲服務(wù)器熱設(shè)計*

通信地址：100193 北京市海淀區(qū)東北旺西路8號中關(guān)村軟件園36號曙光信息產(chǎn)業(yè)(北京)有限公司Address:Dawning Information Industry Co.,Ltd.,36 Zhongguancun Software Park,8 Dongbeiwang Rd West,Haidian District,Beijing 100193,P.R.China

沙超群1，尤揚2，胡長軍1，鄭臣明1，劉興奎3

(1.北京科技大學(xué)計算機與通信工程學(xué)院，北京 100083；

2.解放軍信息工程大學(xué)國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002；

3.曙光信息產(chǎn)業(yè)(北京)有限公司，北京 100193)

摘要：云計算和大數(shù)據(jù)時代對高密度存儲服務(wù)器的需求越來越大。由于溫度對電子元器件的性能和壽命有很大的影響，而高密度存儲服務(wù)器的功率密度更大，故必須對其進(jìn)行合理的熱設(shè)計，以確保服務(wù)器工作時的溫度在合理可控范圍內(nèi)。介紹了高密度存儲服務(wù)器的結(jié)構(gòu)，以及散熱風(fēng)道、散熱器、風(fēng)扇等關(guān)鍵散熱部件的熱設(shè)計方法。熱設(shè)計整體方案采用吸風(fēng)式的強迫風(fēng)冷散熱方式；基于Flotherm熱仿真軟件對整機系統(tǒng)進(jìn)行了仿真優(yōu)化；在35℃實際應(yīng)用環(huán)境下對產(chǎn)品樣機進(jìn)行了熱測試。測試結(jié)果表明，該熱設(shè)計方案滿足熱設(shè)計要求。

關(guān)鍵詞：高密度；強迫風(fēng)冷；熱設(shè)計；熱仿真；熱測試

1引言

人類已經(jīng)步入數(shù)字化的信息時代。隨著科技的進(jìn)步，越來越多的數(shù)據(jù)采集、移動設(shè)備、社交多媒體等使得近幾年數(shù)據(jù)存儲量幾乎呈幾何級增加，尤其是非結(jié)構(gòu)化數(shù)據(jù)(音頻、視頻、電子郵件等)占了存儲總量的80%，數(shù)據(jù)存儲已經(jīng)滲透到社會生活中的各個方面[1]。而云計算和大數(shù)據(jù)時代的到來，對存儲提出了更高的要求：高性能、高吞吐率、大容量、高安全性，這使得市場對高密度存儲服務(wù)器需求越來越大[2]。

電子元器件工作溫度對其性能和壽命有很大的影響，隨著溫度的增加，元器件的失效率呈指數(shù)關(guān)系增長[3]。所以，要提高電子設(shè)備的可靠性，必須使電子元器件工作在規(guī)定溫度范圍內(nèi)[4]。高密度存儲服務(wù)器意味著功率密度大，且溫度偏高會嚴(yán)重影響硬盤的讀寫性能和壽命，所以必須對其進(jìn)行合理的熱設(shè)計，保證服務(wù)器在要求的環(huán)境下能正常工作。

2服務(wù)器結(jié)構(gòu)組成

本文中高密度存儲服務(wù)器由4U硬盤倉和1U計算節(jié)點倉組成，總高度為5U。4U硬盤倉主要組成：80塊3.5寸硬盤，2塊Expander卡[5]，2塊SAS卡，4塊電源。1U計算節(jié)點倉主要組成：1塊主板，2塊2.5寸硬盤，6塊SSD固態(tài)硬盤，2塊標(biāo)準(zhǔn)PCIE卡，1塊10 G網(wǎng)卡。4U硬盤倉和1U計算節(jié)點倉結(jié)構(gòu)模型如圖1和圖2所示。

Figure 1　Structure model of the 4U HDD storage圖1　4U硬盤倉結(jié)構(gòu)模型

Figure 2　Structure model of the 1U computing node圖2　1U計算節(jié)點倉結(jié)構(gòu)模型

3熱設(shè)計目標(biāo)

該服務(wù)器要求使用環(huán)境溫度為35 ℃。各主要功率元器件的功耗及熱設(shè)計目標(biāo)見表1。本文通過制定熱設(shè)計方案、熱仿真優(yōu)化、測試驗證來實現(xiàn)熱設(shè)計目標(biāo)。為提高設(shè)備的可靠性，各元器件的熱設(shè)計要求采用降額設(shè)計，降額系數(shù)為0.9，則本文中熱設(shè)計溫度目標(biāo)為元器件允許的最高溫度Tmax乘以降額系數(shù)0.9。

系統(tǒng)散熱方式選擇應(yīng)充分考慮系統(tǒng)的功耗、溫度、體積、價格等要求，最終選擇適合自己產(chǎn)品的有效散熱方式。目前常見的散熱方式主要有自然散熱、強迫風(fēng)冷、液體冷卻等。

自然散熱是利用空氣的對流將熱量帶到周圍空間，這種散熱方式的優(yōu)點是結(jié)構(gòu)簡單、無噪音、價格低廉，但散熱效果較差，一般用于發(fā)熱功率不大、溫度要求不高的場合。

強迫風(fēng)冷是利用風(fēng)機加速空氣流動，從而帶走更多熱量。強迫風(fēng)冷方式熱交換效率高，一般是自然散熱方式的數(shù)倍，在需要散熱的電子設(shè)備冷卻系統(tǒng)中被廣泛采用[6]。但是，設(shè)計確定強迫風(fēng)冷參數(shù)的計算相對復(fù)雜，管殼溫度、散熱器和風(fēng)機之間的相關(guān)關(guān)系較為復(fù)雜。

液體冷卻是利用液體將熱量帶走從而降低溫度的散熱方式。由于液體的比熱容大大超過空氣，其散熱效率也比上述兩種方式高。液體冷卻噪音低，在噪音控制要求高的場合有無可比擬的優(yōu)勢。但是，液體冷卻成本高，且一旦液體漏液，可能造成電子元器件損壞。

綜合考慮各種散熱方式，本系統(tǒng)采用強迫風(fēng)冷方式。

4散熱風(fēng)道設(shè)計

4U硬盤倉采用分布式電源系統(tǒng)供電：4塊電源分別位于機箱的兩側(cè)。各個電源相對獨立，局部電源功率較小，減少了大電流傳輸線路，有利于提高可靠性和電磁兼容性。此外，由于單個電源的功率較小，散熱要求相對較低，采用分布式電源有利于系統(tǒng)散熱設(shè)計。

強迫風(fēng)冷系統(tǒng)風(fēng)道的設(shè)計很關(guān)鍵，風(fēng)道一般分為送風(fēng)和吸風(fēng)兩種方式。送風(fēng)方式風(fēng)扇出口附近局部換熱強烈，宜用于發(fā)熱器件較集中的情況，一般是將風(fēng)扇出風(fēng)口直接對準(zhǔn)發(fā)熱器件。送風(fēng)時設(shè)備內(nèi)形成正壓，可有效防止灰塵進(jìn)入設(shè)備；風(fēng)扇工作在較低溫度下，壽命較長。吸風(fēng)方式空氣流動均勻，只用于發(fā)熱器件分布較均勻、風(fēng)道較復(fù)雜的情況。吸風(fēng)時在設(shè)備內(nèi)形成負(fù)壓，灰塵容易進(jìn)入設(shè)備；由于工作在較高溫度下，風(fēng)扇壽命受影響。

4.1　4U硬盤倉散熱風(fēng)道設(shè)計

由圖1可見，硬盤倉中的發(fā)熱部件是均勻分布在整個結(jié)構(gòu)內(nèi)的，適合采用吸風(fēng)方式。4U硬盤倉分為硬盤散熱風(fēng)道和電源散熱風(fēng)道2個獨立散熱風(fēng)道，如圖3所示。位于右側(cè)中間位置的風(fēng)扇為硬盤提供吸風(fēng)式散熱。硬盤在倉中的分布使得風(fēng)流均勻通過各硬盤，從而保證各個硬盤的散熱較為均衡。

機箱兩側(cè)為電源設(shè)計的散熱風(fēng)道，為電源單獨送風(fēng)。原因是如果電源風(fēng)道和硬盤風(fēng)道相通，硬盤散熱的系統(tǒng)風(fēng)扇風(fēng)壓較大，而電源的散熱風(fēng)扇風(fēng)壓較小，這樣電源會倒吸風(fēng)而導(dǎo)致電源過熱，本文中設(shè)計獨立風(fēng)道可解決此問題。

4.2　1U計算節(jié)點倉風(fēng)道設(shè)計

1U計算節(jié)點倉也采用吸風(fēng)式散熱風(fēng)道。設(shè)計了3個獨立散熱風(fēng)道區(qū)：PCIE卡散熱風(fēng)道、CPU散熱風(fēng)道、10 G網(wǎng)卡散熱風(fēng)道。每個風(fēng)道都有風(fēng)扇對相應(yīng)的功率元器件進(jìn)行有效冷卻，風(fēng)道設(shè)計如圖4所示。

Figure 3　Diagram of air duct in the 4U HDD storage圖3　4U硬盤倉風(fēng)道設(shè)計示意圖

Figure 4　Diagram of air duct in the 1U computing node圖4　1U計算節(jié)點倉風(fēng)道設(shè)計示意圖

5散熱器設(shè)計

從上述表1可知，SAS Expander芯片和SAS 3108芯片的功耗都比較大，所以需要設(shè)計散熱器，使芯片的工作溫度滿足熱設(shè)計要求。散熱器的設(shè)計要綜合考慮設(shè)備的結(jié)構(gòu)需求、散熱效率、加工工藝等約束條件[6]。散熱器肋片越薄越好，但越薄加工越困難。在散熱器的外形尺寸確定的情況下，肋片間距越小則熱阻越小，但過小的間距會增大風(fēng)阻，反而影響散熱。肋片高度越大則散熱面積越大，散熱效果越好，但肋片達(dá)到一定高度后，散熱量就趨于恒定。

綜合考慮以上各因素，本文中這兩個芯片都采用鋁擠散熱器，通過仿真優(yōu)化，確定散熱器尺寸70*70*20 mm，肋片厚度1 mm，肋片數(shù)量17，可以滿足熱設(shè)計要求。

由于1U計算節(jié)點倉主板上的兩顆CPU功耗達(dá)到120 W且是前后布局，冷卻空氣吹過上游CPU后會被加熱，再次吹過下游CPU會導(dǎo)致下游CPU的溫度很高。本文通過降低上游CPU散熱器的高度，并通過仿真優(yōu)化使兩顆CPU的溫度值接近一致，仿真結(jié)果為：上游散熱器的尺寸90*90*18 mm，下游散熱器的尺寸90*90*25 mm。肋片厚度為0.3 mm，肋片數(shù)量為47。散熱器基板采用鋁基板中埋熱管的工藝，肋片采用銅材料，可以滿足熱設(shè)計要求。

6冷卻風(fēng)扇選擇

假設(shè)所選散熱器是合理的，散熱器可以將各發(fā)熱部件發(fā)出的熱量傳遞到散熱空間。由于采用強迫風(fēng)冷散熱方式，系統(tǒng)發(fā)熱量應(yīng)全部由風(fēng)扇輸送的風(fēng)帶走，熱量平衡方程[7]為：

(1)

其中，Q為總發(fā)熱量(W)，Cp為空氣的比熱容(J/(kg·K)),ρ為空氣的密度(kg/m3)，Δt為進(jìn)出風(fēng)口的空氣的溫度差(℃)，V為帶走熱量需要的風(fēng)量(m3/s)。

硬盤總發(fā)熱量為1 060 W，進(jìn)出風(fēng)口溫差取12 ℃，Cp取值為1 005 J/(kg·K)，空氣的密度為1.14 kg/m3，根據(jù)公式(1)計算得到4U硬盤倉所需要的總風(fēng)量為0.077 m3/s，平均每個風(fēng)扇工作點風(fēng)量需達(dá)到0.009 96 m3/s。

1U計算節(jié)點倉的總發(fā)熱量為600 W，進(jìn)出風(fēng)口溫差取12 ℃，則根據(jù)公式(1)計算得到1U計算倉所需的總風(fēng)量為0.043 6 m3/s，平均每個風(fēng)扇工作點的風(fēng)量需達(dá)到0.007 27 m3/s。

上述計算出的風(fēng)量為帶走發(fā)熱量所需的最小值?？紤]到風(fēng)量的泄漏損失，同時為了提高散熱的可靠性，選用的風(fēng)扇要留有一定的裕量。

由于整個系統(tǒng)風(fēng)阻很大，所以要選擇高靜壓的風(fēng)扇才能滿足散熱要求，且要避開風(fēng)扇的不穩(wěn)定工作區(qū)，所選風(fēng)扇的P-Q特性曲線如圖5和圖6所示。圖中縱坐標(biāo)Static Pressure即為風(fēng)阻。

Figure 6　Fan P-Q curves applied in the 1U computing nodes圖6　1U計算倉所選風(fēng)扇P-Q曲線

7仿真結(jié)果分析

本文利用Flotherm熱仿真軟件對該服務(wù)器進(jìn)行了仿真模擬。根據(jù)服務(wù)器的架構(gòu)建立了詳細(xì)的散熱仿真模型，設(shè)定環(huán)境溫度為35 ℃，并進(jìn)行仿真計算。仿真結(jié)果可為風(fēng)扇選型、散熱器優(yōu)化設(shè)計提供依據(jù)，也可為實際散熱效果提供較為直觀的分析。

7.1　仿真云圖分析

從如圖7和圖8所示的仿真結(jié)果可以直觀看到機箱內(nèi)部溫度分布和局部過熱區(qū)域，從而為散熱優(yōu)化提供依據(jù)。從圖7可以看出，第6排的硬盤的溫度最高，這個結(jié)果符合理論預(yù)期。因為空氣從左向右流動，從第1排硬盤到第6排硬盤被逐漸加熱，吹到第6排的空氣溫度達(dá)到最高，因此第6排硬盤的溫度也最高。冷風(fēng)經(jīng)機箱兩側(cè)設(shè)計的風(fēng)道供給了電源，不受系統(tǒng)風(fēng)扇的影響。從圖8可以看出，1U機箱內(nèi)不存在局部過熱區(qū)或回流，符合風(fēng)道設(shè)計要求。

Figure 7　Temperature nephogram of the 4U HDD storage圖7　4U硬盤倉溫度云圖

Figure 8　Temperature nephogram of 1U computing nodes圖8　1U計算節(jié)點倉溫度云圖

7.2　仿真結(jié)果分析

4U硬盤倉風(fēng)扇工作點風(fēng)量為0.012 m3/s，而根據(jù)理論計算每個風(fēng)扇工作點需達(dá)到的風(fēng)量需達(dá)到0.009 96 m3/s,4U硬盤倉所選風(fēng)扇性能滿足散熱設(shè)計要求，且留有20%以上的裕量。

1U計算節(jié)點倉風(fēng)扇工作點風(fēng)量為0.008 7 m3/s，而根據(jù)理論計算每個風(fēng)扇工作點需達(dá)到的風(fēng)量為0.007 27 m3/s，裕量接近20%，1U計算節(jié)點倉所選風(fēng)扇性能也滿足散熱設(shè)計要求。

主要發(fā)熱元器件的溫度仿真結(jié)果如表2所示。從表2可知，兩顆CPU的溫差僅為2.2 ℃，這得益于為兩顆處理器分別設(shè)計了高度不同的散熱器，仿真結(jié)果符合預(yù)期。各元器件的溫度都滿足熱設(shè)計要求，且有一定的溫度余量。

Table 2　Simulation resluts of key components’ temperature

8熱測試

按照此設(shè)計方案加工制作了工程樣機，在35℃的實際應(yīng)用環(huán)境下，對該樣機進(jìn)行了散熱測試，各元器件的溫度的測試結(jié)果如表3所示。從實際測試結(jié)果與仿真結(jié)果對比可知，最大誤差為3.3 ℃，說明散熱仿真可以較準(zhǔn)確地估算熱設(shè)計方案的結(jié)果。

Table 3　Test and simulation results comparison

9結(jié)束語

本文中高密度存儲服務(wù)器采用強迫風(fēng)冷的散熱方式，通過風(fēng)道設(shè)計使空氣有效冷卻主要功率元器件，從而提高了冷卻效率。具有散熱器的強迫風(fēng)冷散熱設(shè)計比較復(fù)雜，需要根據(jù)系統(tǒng)的結(jié)構(gòu)以及發(fā)熱部件的熱功耗計算發(fā)熱量，從而選擇合適的散熱器和風(fēng)扇。熱設(shè)計過程是一個不斷設(shè)計優(yōu)化的過程，在這過程中熱仿真軟件可比較準(zhǔn)確地模擬散熱方案的效果，可為散熱方案不斷優(yōu)化提供依據(jù)。在實際環(huán)境下對樣機進(jìn)行了散熱測試，結(jié)果表明此高密度存儲服務(wù)器的散熱設(shè)計方案可行，且工作溫度滿足降額設(shè)計要求，提高了設(shè)備的工作可靠度。

參考文獻(xiàn):附中文

[1]Large capacity data storage solutions [EB/OL]. [2014- 10-18].http://www.nexsan.com.cn/chinese/DataBase/Up loadFile/20 130401142251669.pdf．

[2]Chen Jie.Cloud storage technology and application in big data [J].ZTE Technology Journal,2012,18(6):47-51.(in Chinese)

[3]Xu Wei-xin.Design guide for electronic equipment reliability thermal[M].Beijing:Publishing House of Electronics Industry,1995.(in Chinese)

[4]GJB/Z 35-93[S].Derating criteria for electrical,electronic and electromechanical parts:National Military Standard of the People’s Repulic of China,1993.(in Chinese)

[5]LSI SAS3X48 expander datasheet[EB/OL].[2014-10-18] http://www.lsi.com/products/sas-expanders/page s/lsi-sas-3x48.aspx#tab/tab3.

[6]Zhang Zhong-hai. Thermal design of forced air cooling of high-power components in electronic equipments [J].Electro-Mechanical Engineering,2005,21(3):18-21.(in Chinese)

[7]Wang Jian-shi,Zhu Bing-lin.Manual for structural design of electronic equipment [M].Beijing:China Zhijian Publishing House,2011.(in Chinese)

[2]陳杰.大數(shù)據(jù)場景下的云存儲技術(shù)與應(yīng)用[J].中興通訊技術(shù),2012,18(6):47-51．

[3]徐維新.電子設(shè)備可靠性熱設(shè)計指南[M].北京:電子工業(yè)出版社,1995．

[4]GJB/Z 35-93,元器件降額準(zhǔn)則[S].北京：中華人民共和國國家軍用標(biāo)準(zhǔn),1993.

[6]張忠海.電子設(shè)備中高功率器件的強迫風(fēng)冷散熱設(shè)計[J].電子機械工程,2005,21(3):18-21．

[7]王健時,朱炳林.電子設(shè)備結(jié)構(gòu)設(shè)計標(biāo)準(zhǔn)手冊[M].第三版.北京:中國質(zhì)檢出版社,2011．

沙超群(1977-),男，江蘇邳州人，博士生，高級工程師，研究方向為計算機體系結(jié)構(gòu)。E-mail:scq@sugon.com

SHA Chao-qun,born in 1977,PhD candidate,senior engineer,his research interest includes computer architecture.

A thermal design for high density storage servers

SHA Chao-qun1,YOU Yang2,HU Chang-jun1,ZHENG Chen-ming1,LIU Xing-kui3

(1.School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083；

2.National Digital Switching System Engineering & Technological Research Center,

PLA Information Engineering University，Zhengzhou 450002；

3.Dawning Information Industry Co.,Ltd.,Beijing 100193,China)

Abstract:Big data and cloud computing applications have a booming demand for high density storage servers by in recent years. Since temperature has a great influence on the performance and lifecycle of electronic components, and high density storage servers have higher power density, desired cooling solution design is in great need, so the servers can work at a proper temperature. We introduce a thermal design method for high density storage servers, in which the forced air cooling method is adopted. The thermal simulation software Flotherm is used to guarantee the cooling effect. We construct an engineering project and test the proposal under 35℃ ambient temperature. The results show that this solution can meet the thermal design requirements.

Key words:high density;forced air cooling;thermal design;thermal simulation;thermal test

作者簡介:

doi:10.3969/j.issn.1007-130X.2015.12.006

中圖分類號：TP302

文獻(xiàn)標(biāo)志碼：A

基金項目：國家863高技術(shù)研究發(fā)展計劃資助項目(2013AA01A209)；北京市科委計劃資助項目(D141100003414001)

收稿日期：修回日期：2015-10-21

文章編號：1007-130X(2015)12-2228-05