HPC平臺(tái)支撐清華大學(xué)原子結(jié)構(gòu)研究

清華大學(xué)蛋白質(zhì)研究技術(shù)中心（以下簡(jiǎn)稱“清華蛋白質(zhì)技術(shù)中心”）需要利用高性能并行計(jì)算手段解決生命科學(xué)領(lǐng)域的前沿性問(wèn)題。通過(guò)構(gòu)建生物計(jì)算平臺(tái)（以下簡(jiǎn)稱“HPC平臺(tái)”），承載和支撐大規(guī)模生物學(xué)、醫(yī)學(xué)領(lǐng)域的研究計(jì)算任務(wù)，充分利用HPC平臺(tái)海量數(shù)據(jù)處理和并行計(jì)算能力，為生物大數(shù)據(jù)的高效處理和分析提供創(chuàng)新機(jī)制，滿足生命科學(xué)、生物學(xué)、醫(yī)學(xué)和其它交叉科學(xué)不斷提出的新要求和挑戰(zhàn)。

清華蛋白質(zhì)技術(shù)中心引入了戴爾PowerEdge FX2 FC430融合架構(gòu)方案，構(gòu)建了一個(gè)擁有250個(gè)物理計(jì)算節(jié)點(diǎn)，5000個(gè)計(jì)算核心、存儲(chǔ)總?cè)萘繛?.92PB、理論計(jì)算能力為208Tflops、融合了英特爾 Lustre技術(shù)的HPC平臺(tái)，戴爾為HPC平臺(tái)提供了端到端的配置安裝服務(wù)。

長(zhǎng)期以來(lái)，解析剪接體三維結(jié)構(gòu)被認(rèn)為是生物學(xué)里的熱門研究，因?yàn)槠鋺?yīng)用場(chǎng)景很多。例如：許多疾病源于基因的錯(cuò)誤剪接或針對(duì)剪接體的調(diào)控錯(cuò)誤，如果能夠識(shí)別這些錯(cuò)誤，人類眾多不治之癥的治愈將成為可能。而中國(guó)科學(xué)家在世界上首次捕獲真核細(xì)胞剪接體復(fù)合物的3.6埃米（1埃米等于100億分之一米，已經(jīng)接近原子級(jí)尺度）高分辨率空間三維結(jié)構(gòu)，其研究成果可為人類識(shí)別上述錯(cuò)誤提供幫助，被尊稱為諾獎(jiǎng)級(jí)成果。清華蛋白質(zhì)技術(shù)中心構(gòu)建的HPC平臺(tái)，則為上述世界頂級(jí)的生物學(xué)研究提供了計(jì)算層面的支持。

突破生物研究的計(jì)算瓶頸

研究生物蛋白質(zhì)結(jié)構(gòu)有三種主要方法：X射線晶體衍射、核磁共振以及單顆粒冷凍電子顯微鏡（以下簡(jiǎn)稱“冷凍電鏡”）。清華大學(xué)研究團(tuán)隊(duì)所采用的冷凍電鏡技術(shù)在過(guò)去兩年里取得了革命性的進(jìn)展，具體來(lái)說(shuō)就是照相機(jī)技術(shù)實(shí)現(xiàn)了飛躍，將采集數(shù)據(jù)的能力提升了10多倍，甚至上百倍，大幅提高了冷凍電鏡的解析能力，由此使得研究蛋白質(zhì)結(jié)構(gòu)的源數(shù)據(jù)呈幾何級(jí)數(shù)增加，這就要求清華蛋白質(zhì)技術(shù)中心必須全面提升后期的數(shù)據(jù)處理與計(jì)算能力。這是清華蛋白質(zhì)技術(shù)中心與戴爾合作，引入戴爾PowerEdge FX2 FC430構(gòu)建HPC平臺(tái)的戰(zhàn)略性原因之一。

推進(jìn)生物研究發(fā)展 并利用HPC平臺(tái)提供計(jì)算服務(wù)

在論文的撰寫(xiě)過(guò)程中，清華大學(xué)的研究團(tuán)隊(duì)利用HPC平臺(tái)完成了許多重要數(shù)據(jù)的處理。其中最為重要的就是對(duì)裂殖酵母進(jìn)行了對(duì)象分析，通過(guò)冷凍電鏡收集上百TB的數(shù)據(jù)，通過(guò)HPC的計(jì)算，在近原子分辨率上看到了剪接體的細(xì)節(jié)。這些細(xì)節(jié)讓研究人員發(fā)現(xiàn)，剪接體的外形輪廓十分不對(duì)稱，各個(gè)蛋白相互纏繞，形成了分子量和體積巨大的復(fù)合物。這是自1993年RNA（核糖核酸）剪接發(fā)現(xiàn)以來(lái)，科學(xué)家率先對(duì)剪接體近原子分辨率結(jié)構(gòu)進(jìn)行解析，為人類進(jìn)一步揭示與剪接體相關(guān)疾病的機(jī)理，提供了結(jié)構(gòu)基礎(chǔ)和理論。

利用HPC平臺(tái)，清華蛋白質(zhì)技術(shù)中心建立了一個(gè)面向生物研究的工程研究平臺(tái)，提升了蛋白質(zhì)結(jié)構(gòu)解析水平，幫助國(guó)際一流的生物研究團(tuán)隊(duì)高精度地測(cè)定蛋白質(zhì)分子結(jié)構(gòu)、各類細(xì)胞的三維結(jié)構(gòu)，并在此基礎(chǔ)上揭示蛋白質(zhì)及其復(fù)合體的功能，為規(guī)模化制備蛋白或抗體，提供科學(xué)計(jì)算層面的支持。

引入戴爾極限規(guī)?；A(chǔ)架構(gòu)

談到引入戴爾PowerEdge FX2融合架構(gòu)方案的原因時(shí)，清華蛋白質(zhì)技術(shù)中心生物計(jì)算平臺(tái)負(fù)責(zé)人楊濤博士介紹說(shuō)：“此次我們引入的戴爾融合架構(gòu)具有戴爾最先進(jìn)的ESI（ESI- Extreme Scale Infrastructure）特質(zhì)，在ESI特質(zhì)的基礎(chǔ)上PowerEdge FX2集合了刀片和多節(jié)點(diǎn)機(jī)架式服務(wù)器的技術(shù)優(yōu)勢(shì)。

首先是計(jì)算密度大，在2U空間內(nèi)可以支持8個(gè)配置雙插槽英特爾至強(qiáng)處理器的計(jì)算節(jié)點(diǎn);其次是靈活性好，不僅可以選擇FC430而且還可選用其他多種服務(wù)器節(jié)點(diǎn);再次是擴(kuò)展性好，支持可拆分的DAS存儲(chǔ)節(jié)點(diǎn)、多種網(wǎng)絡(luò)直通/交換模塊;最后是管理性好，提供高效的CMC機(jī)箱集中式管理方案?！?/p>

此次引入的計(jì)算節(jié)點(diǎn)服務(wù)器是戴爾PowerEdge FC430，F(xiàn)C430采用了英特爾·至強(qiáng)TM處理器，單U空間的計(jì)算性能密度達(dá)到業(yè)界領(lǐng)先的4.1TFLOPS。楊濤介紹說(shuō)：“我們引入戴爾PowerEdge FX融合基礎(chǔ)架構(gòu)方案，可以說(shuō)重新定義了清華蛋白質(zhì)技術(shù)中心生物計(jì)算平臺(tái)的靈活性。戴爾PowerEdge FX將經(jīng)過(guò)模塊化設(shè)計(jì)的不同規(guī)模的計(jì)算資源融合在一起，將服務(wù)器、存儲(chǔ)和10Gb網(wǎng)絡(luò)無(wú)縫地融合在2U機(jī)架式機(jī)箱內(nèi)，同時(shí)提供共享的散熱、電源、網(wǎng)絡(luò)、管理和PCIe擴(kuò)展插槽，幫助我們獲得了良好的成本效益?！?/p>

高速網(wǎng)絡(luò)確保HPC平臺(tái)的 I/O網(wǎng)絡(luò)性能

此次清華蛋白質(zhì)技術(shù)中心HPC平臺(tái)采用了Lustre分布式文件系統(tǒng)，這種并行文件系統(tǒng)可以在單一命名空間內(nèi)，快速增加節(jié)點(diǎn)數(shù)來(lái)擴(kuò)展容量和性能，并支持在線擴(kuò)展，支持多個(gè)客戶端并發(fā)讀寫(xiě)，并可以幫助IT人員利用分布式鎖機(jī)制保障數(shù)據(jù)一致性。

在網(wǎng)絡(luò)方面，戴爾為HPC平臺(tái)核心計(jì)算網(wǎng)絡(luò)提供了具有高吞吐量低延遲特性的Force10 Z9500 40Gbps交換機(jī)，為管理和I/O網(wǎng)絡(luò)提供了包括S6000、N3048、PCT2848、Brocade 6505在內(nèi)的全套網(wǎng)絡(luò)方案;在存儲(chǔ)方面，戴爾提供了HPC平臺(tái)所需要的全部存儲(chǔ)設(shè)備，包括MDS元數(shù)據(jù)服務(wù)器R630+R730+MD3860F雙控光纖陣列，OSS對(duì)象存儲(chǔ)服務(wù)器R820+MD3860F雙控光纖陣列+MD3060E高密磁盤擴(kuò)展柜。

完整的企業(yè)管理功能，幫助IT人員簡(jiǎn)化管理

可有效地簡(jiǎn)化IT管理，是清華蛋白質(zhì)技術(shù)中心選擇戴爾HPC平臺(tái)方案的另外一個(gè)重要原因。 戴爾PowerEdge FX2融合基礎(chǔ)架構(gòu)體系，提供了傳統(tǒng)機(jī)架式服務(wù)器單獨(dú)管理方式和與刀片服務(wù)器類似的綜合管理方式，前者可以幫助IT人員解決局部性問(wèn)題，后者可以幫助IT人員解決全局性問(wèn)題。

楊濤介紹說(shuō)：“借助帶生命周期控制器的集成戴爾遠(yuǎn)程訪問(wèn)控制器（iDRAC）和戴爾機(jī)箱管理控制器（CMC）的免代理程序，我們可以實(shí)現(xiàn)快速的系統(tǒng)部署、更新、監(jiān)視和維護(hù)，大大簡(jiǎn)化了IT人員的管理工作，提升了管理效率?！?/p>

具體來(lái)說(shuō)，CMC可以幫助IT人員在單一界面內(nèi)監(jiān)視20個(gè)FX系統(tǒng)，以一對(duì)多的態(tài)勢(shì)完成BIOS和固件程序更新，并維護(hù)基于FX機(jī)箱插槽的服務(wù)器配置文件。

當(dāng)安裝新的FC430服務(wù)器時(shí)，IT人員可以通過(guò)配置文件下發(fā)的方式，讓系統(tǒng)自動(dòng)完成更新BIOS和固件程序的工作。所有這些管理，均具有自動(dòng)化的特點(diǎn)，比傳統(tǒng)管理方法更節(jié)省時(shí)間更省成本，尤其是通過(guò)自動(dòng)執(zhí)行配置文件，避免了重復(fù)輸入配置參數(shù)的繁瑣，也減少了由于人工輸入錯(cuò)誤而導(dǎo)致的系統(tǒng)故障?？傊?，戴爾方案完整的企業(yè)管理功能，幫助IT人員簡(jiǎn)化管理，讓“面向未來(lái)就緒”的理念穩(wěn)健落地。

完美呈現(xiàn)蛋白質(zhì)的三維結(jié)構(gòu)

10GB以上的計(jì)算量，科研人員一般交給HPC平臺(tái)處理，3-5GB的小計(jì)算任務(wù)和HPC平臺(tái)計(jì)算后的數(shù)據(jù)成像工作，則由戴爾的圖形工作站完成。清華蛋白質(zhì)技術(shù)中心采用了戴爾Precision T7910工作站，配置了NVIDIA· Quadro· K620專業(yè)級(jí)圖形顯卡和SSD高速硬盤。

借助NVIDIA Quadro? K620所具備的 128位顯存帶寬、384個(gè)流處理單元、2GB DDR顯存的超強(qiáng)圖形處理能力，清華大學(xué)的科研人員可在2-3秒內(nèi)呈現(xiàn)2K清晰度的蛋白質(zhì)平面圖，在15-20秒內(nèi)呈現(xiàn)出4K清晰度的三維結(jié)構(gòu)圖。