石油HPC:成熟平臺(tái)架構(gòu)需把握“平衡”

劉洪宇

平衡是一門藝術(shù),在石油行業(yè)HPC這樣的技術(shù)領(lǐng)域,平衡也越發(fā)顯現(xiàn)出藝術(shù)的魅力。速度、容量和靈活性講究平衡,性能、能耗和效率也要講究平衡,這樣的架構(gòu)思維才能使石油HPC迎接未來(lái)更高精度、更快速度的挑戰(zhàn)。

近年來(lái)每年上億元的IT建設(shè)資金投入,讓中石油東方地球物理公司研究院(BGP)的高性能計(jì)算(HPC)部署規(guī)模迅速擴(kuò)大。據(jù)該研究院副總工程師兼處理中心總工程師賴能和介紹,BGP的計(jì)算機(jī)規(guī)模已達(dá)到28014個(gè)核,運(yùn)算能力為230T,存儲(chǔ)也有3600 TB,整裝、規(guī)?；浻布Y源,為保證處理周期、及時(shí)提交成果提供了很好的保障?！斑@三年來(lái),各油田的HPC都發(fā)展得很快,基本上達(dá)到了一定規(guī)模?！辟嚹芎驼f(shuō)。

這個(gè)被稱為“給地球做CT”的石油物探行業(yè)在商用HPC應(yīng)用中相對(duì)成熟,對(duì)前沿技術(shù)的接受程度也很高。然而,也正是因?yàn)槌墒?石油行業(yè)對(duì)于HPC的未來(lái)思考也就更為深入。未來(lái)石油業(yè)的HPC發(fā)展要抓住哪些大的技術(shù)趨勢(shì),以適應(yīng)地震資料成像應(yīng)用的快速發(fā)展?上規(guī)模后的軟硬件資源又該如何進(jìn)行科學(xué)化管理?

平衡的思維

BGP曾經(jīng)為大港油田的3200平方米的地區(qū)做過(guò)模擬,投入近1萬(wàn)顆CPU計(jì)算,7天就完成了任務(wù),而在幾年前,這樣的效率幾乎是不可想象的。對(duì)于物探部門來(lái)說(shuō),硬件提供的是基礎(chǔ)能力支撐,軟件應(yīng)用則是直接決定產(chǎn)出的關(guān)鍵。

客觀地說(shuō),同樣是“做CT”,但最后片子的成像質(zhì)量會(huì)有不同,差別在于算法。算法的發(fā)展是從二維向三維、從聲波向彈性波發(fā)展?！拔覀兊钠品椒◤某Ｒ?guī)疊后、積分化的時(shí)間偏移到了現(xiàn)在的單層波振動(dòng)偏移,與國(guó)外相比還有差距。我們正在實(shí)驗(yàn)雙層波,再下一步才是彈性波?！辟嚹芎驼f(shuō)。相應(yīng)地,地震資料處理模型演進(jìn),對(duì)計(jì)算平臺(tái)資源的需求呈急劇增長(zhǎng)趨勢(shì)。

英特爾軟件與服務(wù)集團(tuán)高性能計(jì)算及工作站應(yīng)用總監(jiān)Paresh Pattani指出:“石油行業(yè)用戶不但要考慮軟件在多核上面的性能,還要看到將來(lái)在眾核、在異構(gòu)多核上的發(fā)展?！蓖瑫r(shí),在系統(tǒng)需求方面,用戶也應(yīng)從平衡的角度出發(fā),考慮單位面積投資的性能、每瓦性能,要考慮到系統(tǒng)能不能適應(yīng)未來(lái)的系統(tǒng)架構(gòu)……這一切都需要一個(gè)平衡系統(tǒng)?！暗卣鹳Y料處理的算法逐步發(fā)展,對(duì)計(jì)算能力提出高要求的不僅僅是CPU性能,還包括內(nèi)存、帶寬、I/O、互聯(lián),這一切都是需要共同平衡發(fā)展的性能?！盤aresh Pattani說(shuō)。

為了確保設(shè)計(jì)的均衡性,英特爾在高性能計(jì)算上其實(shí)做了很多方面的工作,不僅在處理器和服務(wù)器平臺(tái)上,在軟件工具、互聯(lián),甚至數(shù)據(jù)中心設(shè)計(jì)方面,也都有相應(yīng)的資源投入。其中,軟件方面的支持,對(duì)于發(fā)揮平臺(tái)潛能起著關(guān)鍵作用。Paresh Pattani表示:“在我們的多核到眾核,再到將來(lái)異構(gòu)核發(fā)展的藍(lán)圖里,我們希望軟件的發(fā)展能始終向后兼容,不需要用戶再次投資,將原有積累打破?！?這樣做的好處,在Larrabee問(wèn)世后就可以感受得到。

作為平臺(tái)廠商,英特爾的軟硬件先天就具有相互優(yōu)化的優(yōu)勢(shì),比如在后續(xù)路線圖中,SSE擴(kuò)展的下一代產(chǎn)品AVX現(xiàn)在已經(jīng)獲得支持,它可以更好地支持通用的向量計(jì)算。Paresh Pattani估計(jì),在HPC領(lǐng)域,尤其是在用到大量向量運(yùn)算的結(jié)構(gòu)力學(xué)、航天航空、地震資料處理方面,收益將達(dá)到10%以上。為了充分釋放多核潛能,英特爾提供了相應(yīng)工具,以實(shí)現(xiàn)更高程度的并行化。在中國(guó),由何萬(wàn)青博士領(lǐng)導(dǎo)的英特爾支持團(tuán)隊(duì),就為HPC用戶做了大量?jī)?yōu)化工作,幫助用戶改進(jìn)MPI應(yīng)用,最大程度地提高應(yīng)用效率。

可預(yù)期的平臺(tái)演進(jìn)

從硬件平臺(tái)來(lái)說(shuō),高性能計(jì)算對(duì)硬件平臺(tái)的需求主要聚焦于浮點(diǎn)性能、內(nèi)存帶寬和I/O?；贜ehalem架構(gòu)的英特爾至強(qiáng)5500處理器正因在這三方面的出色表現(xiàn),走進(jìn)越來(lái)越多的石油用戶的機(jī)房?！皬募夹g(shù)架構(gòu)和實(shí)際表現(xiàn)來(lái)看,至強(qiáng)5500平臺(tái)不僅面向今天的需求,還面向未來(lái)地震資料處理模型對(duì)計(jì)算資源、I/O資源、內(nèi)存帶寬的需求。”英特爾服務(wù)器平臺(tái)產(chǎn)品經(jīng)理顧凡表示。

從技術(shù)角度來(lái)看,至強(qiáng)5500通過(guò)架構(gòu)改進(jìn),無(wú)疑在浮點(diǎn)計(jì)算方面取得了更大突破,AVX加速了這一進(jìn)程。而同時(shí),在與內(nèi)存帶寬及I/O帶寬的平衡搭配方面,也因?yàn)槠浼夹g(shù)的先進(jìn)性得到了充分發(fā)揮。顧凡介紹說(shuō),在內(nèi)存帶寬方面,引入QPI之前,英特爾從單條前端總線到兩條獨(dú)立總線,再到把每條總線的主頻提升到1600MHz,直到Nehalem架構(gòu)去除前端總線,代之以點(diǎn)對(duì)點(diǎn)串行總線,充分釋放CPU性能?！癚PI是一個(gè)標(biāo)志性的時(shí)間點(diǎn),未來(lái)的QPI會(huì)向下一代繼續(xù)演進(jìn),提高QPI帶寬,增加QPI可支持的串行連接數(shù)量?！痹贗/O方面,PCI-E的演進(jìn)仍在繼續(xù),預(yù)計(jì)在2011年左右,第三代PCI-E也將面世,保證I/O的通道暢通。而SSD的推廣使用,無(wú)論是替代內(nèi)存、硬盤或是作為啟動(dòng)硬盤,也都會(huì)在I/O方面帶來(lái)巨大提升。

油藏模擬、地震資料處理等應(yīng)用對(duì)內(nèi)存帶寬的依賴都非常大。對(duì)于內(nèi)存帶寬敏感型的應(yīng)用來(lái)說(shuō),至強(qiáng)5500相比前代的性能提升接近2倍,甚至2.5倍?！盀槭裁凑f(shuō)至強(qiáng)5500也能滿足未來(lái)需求呢?我們目前采用的地震資料處理模型也許提升幅度不一定達(dá)到兩倍,約為在30%~40%。但當(dāng)模型向前演進(jìn)后,內(nèi)存帶寬一定是重中之重。至強(qiáng)5500會(huì)持續(xù)帶來(lái)性能提升。”顧凡說(shuō)。

科學(xué)地管理好資源

快速擴(kuò)大規(guī)模之后,軟硬件資源管理成為擺在石油行業(yè)用戶面前的一道難題。在這方面,BGP以數(shù)字化手段進(jìn)行集中管理,成為行業(yè)標(biāo)桿。“過(guò)去我們管理一二百個(gè)CPU很容易,現(xiàn)在是幾萬(wàn)顆CPU,按照過(guò)去的方式管理就會(huì)出問(wèn)題。計(jì)算機(jī)機(jī)房達(dá)到一定規(guī)模后,我們的生產(chǎn)和設(shè)備的安全問(wèn)題也無(wú)法得到保障,究竟怎么管理?”賴能和道出了這樣做的初衷。

困難還不止于此,軟件相對(duì)跟不上造成應(yīng)用效率比較低,這又連帶造成了大規(guī)模投資。后來(lái)BGP意識(shí)到,持續(xù)通過(guò)硬件擴(kuò)充來(lái)增加產(chǎn)值并非高明的策略。這會(huì)造成折舊非常驚人?！癇GP 在2008年折舊費(fèi)達(dá)到1.2億元,全年電費(fèi)又是1100多萬(wàn)元,我們的運(yùn)作壓力非常大?！?賴能和牽頭開發(fā)了一整套數(shù)字化管理系統(tǒng),來(lái)解決這樣的難題。

據(jù)介紹,BGP共開發(fā)了四套系統(tǒng),對(duì)機(jī)房實(shí)現(xiàn)了全面管理。一是用數(shù)字化管理平臺(tái)管理所有生產(chǎn)項(xiàng)目,項(xiàng)目進(jìn)度和所用資源都一目了然,每個(gè)項(xiàng)目運(yùn)作的每個(gè)階段用了多少成本,很容易進(jìn)行統(tǒng)計(jì)。二是開發(fā)CPU資源管理平臺(tái),對(duì)集群實(shí)行統(tǒng)一協(xié)調(diào)管理,在一個(gè)板面上可以實(shí)時(shí)監(jiān)控到一百多個(gè)機(jī)柜的運(yùn)行狀況,再加上視頻會(huì)議系統(tǒng),就可以實(shí)現(xiàn)前后方遠(yuǎn)程質(zhì)量監(jiān)控專家協(xié)同工作,軟硬件技術(shù)支持和系統(tǒng)維護(hù)。三是開發(fā)存儲(chǔ)和網(wǎng)絡(luò)管理平臺(tái),實(shí)現(xiàn)所有存儲(chǔ)資源的遠(yuǎn)程集中監(jiān)控。四是開發(fā)UPS空調(diào)配電實(shí)時(shí)監(jiān)控軟件,確保設(shè)備安全。

不僅如此,BGP還致力于提高數(shù)據(jù)中心的效能。他們不僅采用最新的節(jié)能設(shè)備,在基礎(chǔ)建設(shè)方面也下足了功夫,如水冷技術(shù)、風(fēng)道節(jié)能設(shè)計(jì)。在計(jì)算設(shè)備上,BGP最大的一筆開支節(jié)省是借助開發(fā)的自適應(yīng)節(jié)能軟件。“用這個(gè)軟件動(dòng)態(tài)調(diào)整服務(wù)器狀態(tài),節(jié)能達(dá)到25%左右。一萬(wàn)顆CPU一年光是電費(fèi)就可以節(jié)電200多萬(wàn)元?！辟嚹芎驼f(shuō)。