Ｌｉｎｕｘ集群在石油行業(yè)的應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)

戴　猛

摘要因在性能價(jià)格比、可靠性、可擴(kuò)展性、可管理性和應(yīng)用支持性等方面的明顯優(yōu)勢(shì)，Linux集群正成為石油行業(yè)的主要解決方案。介紹Linux集群的相關(guān)概念，論述石油行業(yè)選擇Linux集群作為應(yīng)用平臺(tái)的綜合因素，分析Linux集群在國(guó)內(nèi)石油行業(yè)的應(yīng)用現(xiàn)狀，概括總結(jié)Linux集群應(yīng)用的相關(guān)結(jié)論并預(yù)測(cè)其發(fā)展趨勢(shì)。

關(guān)鍵詞Linux集群高性能計(jì)算Pc Cluster地震資料處理油藏?cái)?shù)值模擬發(fā)展趨勢(shì)

中圖分類號(hào)：TP3文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1671—7597(2009)0410115—02

一、概述

集群(Cluster)指利用高速通信網(wǎng)絡(luò)將一組高性能工作站或高檔Pc機(jī)連接起來(lái)形成松耦合的多處理機(jī)系統(tǒng)。對(duì)于用戶來(lái)說(shuō)，集群就是一個(gè)整體的并行計(jì)算系統(tǒng)，其主要通過(guò)消息傳遞方式實(shí)現(xiàn)各節(jié)點(diǎn)之間的通信。集群的研究是由美國(guó)國(guó)家航空和航天管理局于1994年上半年發(fā)起的。當(dāng)初只有16個(gè)節(jié)點(diǎn)，主要用來(lái)進(jìn)行地球、空間科學(xué)的研究，其目的是使用普通的、相對(duì)廉價(jià)的計(jì)算機(jī)構(gòu)建能夠處理繁重計(jì)算的集群。此后這種思想迅速被世界上許多研究機(jī)構(gòu)認(rèn)同和接受。其中Linux以其自由開放、經(jīng)濟(jì)和高效成為不可或缺的一種主要集群類型。

所謂Linux集群，就是利用商品化的工業(yè)標(biāo)準(zhǔn)互聯(lián)網(wǎng)絡(luò)將各種普通Linux服務(wù)器連接起來(lái)，通過(guò)特定的方法向用戶提供更高的系統(tǒng)計(jì)算性能、存儲(chǔ)性能和I／O性能，并具備單一系統(tǒng)映像(SSI)特征的分布式存儲(chǔ)多指令流多數(shù)據(jù)流(M1MD)并行計(jì)算機(jī)系統(tǒng)。Linux有多種集群系統(tǒng)可供選擇，適合于不同的用途和需要。最常見的3種集群類型是高性能科學(xué)集群、負(fù)載均衡集群和高可用性集群。目前，集群式高性能計(jì)算系統(tǒng)是油田三維地震疊前深度偏移和油藏?cái)?shù)值模擬的高性價(jià)比解決方案。

二、Linux集群作為石油勘探開發(fā)平臺(tái)的綜合因素

隨著技術(shù)的發(fā)展和進(jìn)步，石油公司需要處理的數(shù)據(jù)量呈指數(shù)級(jí)速度增長(zhǎng)，用戶對(duì)高性能計(jì)算的擴(kuò)展性、穩(wěn)定性以及先進(jìn)技術(shù)的需求性日趨增高，地球物理勘探、油藏描述等長(zhǎng)期大量使用高性能計(jì)算機(jī)的專業(yè)更是如此。石油行業(yè)選擇Linux集群作為應(yīng)用平臺(tái)主要基于以下4個(gè)方面的原因。

1基于Linux平臺(tái)的Pc Cluster更適于疊前偏移等密集型算法。隨著油田勘探開發(fā)工作的不斷深入，大量的地震資料疊前偏移處理任務(wù)需要花費(fèi)越來(lái)越多的CPU時(shí)間，如果完全選擇基于Unix的超級(jí)計(jì)算機(jī)系統(tǒng)則需要巨大投資。正是由于Pc集群高性能并行機(jī)的性能價(jià)格比優(yōu)于基于Unix的并行機(jī)并且具有極強(qiáng)的可用性、可擴(kuò)展性和可管理性，用它來(lái)完成密集算法將大大節(jié)省昂貴的CPU資源費(fèi)用。

2數(shù)據(jù)處理面臨Unix并行機(jī)老化且常規(guī)處理能力嚴(yán)重不足的實(shí)際問(wèn)題。目前國(guó)內(nèi)使用的Unix大型機(jī)已經(jīng)很難解決數(shù)據(jù)處理過(guò)程中所面臨的難度越來(lái)越大、處理周期越來(lái)越短、數(shù)據(jù)量越來(lái)越大和資料所在區(qū)地質(zhì)構(gòu)造越來(lái)越復(fù)雜等實(shí)際問(wèn)題。如果進(jìn)行升級(jí)，其高昂的投資成本卻離用戶的實(shí)際承受能力越來(lái)越遠(yuǎn)。而如果采用基于Linux平臺(tái)的Pc Cluster，不僅能大大降低成本，而且性價(jià)比遠(yuǎn)遠(yuǎn)優(yōu)于昂貴的大型計(jì)算系統(tǒng)。

3許多新的處理算法需要消耗更多寶貴的CPU資源。如地震數(shù)據(jù)處理中的模擬退火靜校正(ARSCSA)、傾角時(shí)差校正(DMO)、地表一致性反褶積(SCD)、地表一致性振幅補(bǔ)償(SCAC)、疊前時(shí)間／深度偏移(PSTM／PSDM)等都需要大量的CPU資源。目前的Unix并行機(jī)主頻太低、內(nèi)存太小，很難實(shí)現(xiàn)新的處理流程，而Pc Cluster正好適合于這種密集型的科學(xué)計(jì)算。

4基于Linux平臺(tái)的高性能價(jià)格比Pc專業(yè)圖形工作站、配備高性能圖形卡、安裝配置本地化交互軟件與Pc Cluster一起構(gòu)成了地震數(shù)據(jù)交互處理的有效解決方案。既可實(shí)現(xiàn)交互軟件與服務(wù)器節(jié)點(diǎn)獨(dú)立使用又可在本地PC工作站上直接運(yùn)行應(yīng)用程序，從而有效解決了在遠(yuǎn)程主機(jī)上運(yùn)行應(yīng)用軟件導(dǎo)致交互速度響應(yīng)慢的問(wèn)題。

三、Linux集群在石油行業(yè)的應(yīng)用現(xiàn)狀

目前，Linux集群在石油行業(yè)的應(yīng)用主要集中在地震資料處理和油藏?cái)?shù)值模擬兩大領(lǐng)域。因數(shù)據(jù)量大、計(jì)算量大、通信量大等專業(yè)特點(diǎn)，地震資料處理成為L(zhǎng)inux集群發(fā)揮自身優(yōu)勢(shì)最主要的平臺(tái)。

(一)地震資料處理平臺(tái)

早些時(shí)候，遼河油田、新疆油田、青海油田等企業(yè)采用了IBMLCl300集群系統(tǒng)。2002年10月，中國(guó)石油東方地球物理公司涿州物探研究院將曙光4000L Linux／PC Cluster作為應(yīng)用平臺(tái)。2004年涿州物探研究院和新疆油田公司把由IBM eServer BladeCenter刀片服務(wù)器組成的Linux集群用于石油勘探地震資料處理的高性能計(jì)算，分別共194個(gè)節(jié)點(diǎn)和200多個(gè)節(jié)點(diǎn)。同年7月，東方地球物理公司研究院大港分院采用HP ProLiantBL20P G2刀片式服務(wù)器搭建的Linux集群地震資料處理系統(tǒng)正式投產(chǎn)。整個(gè)系統(tǒng)共133個(gè)節(jié)點(diǎn)、266個(gè)處理器，浮點(diǎn)計(jì)算能力達(dá)到1.4x1012次／s，能夠提供更精準(zhǔn)的地下構(gòu)造及地下成像。

2006年10月，國(guó)內(nèi)最大規(guī)模的集群地震資料處理系統(tǒng)在大慶油田勘探開發(fā)研究院正式投入使用。該系統(tǒng)采用了刀片服務(wù)器集群架構(gòu)，集成了692臺(tái)惠普公司的第三代服務(wù)器產(chǎn)品HPBL20PG3、HPDL380G3和HPDL580G3服務(wù)器，選用了1432個(gè)英特爾至強(qiáng)處理器，浮點(diǎn)計(jì)算能力峰值超過(guò)9.8x1012次／s，位居中國(guó)刀片服務(wù)器集群系統(tǒng)榜首，是國(guó)內(nèi)處理規(guī)模最大、系統(tǒng)配置最優(yōu)、技術(shù)性能最好的地震資料處理系統(tǒng)。

中國(guó)海洋石油東方數(shù)據(jù)處理中心和南海西部計(jì)算中心在2004年分別采用兩套曙光4000L Linux／PC Cluster超級(jí)計(jì)算機(jī)構(gòu)建了位于天津塘沽和廣西湛江的兩大地震數(shù)據(jù)處理系統(tǒng)：一個(gè)面向渤海，一個(gè)面向南海。2005年，中海油引進(jìn)的Linux集群系統(tǒng)共81個(gè)節(jié)點(diǎn)，主要用于地震資料疊前深度偏移及時(shí)間偏移資料處理工作。

2004年，中石化的一個(gè)大型勘探開發(fā)集群項(xiàng)目采用了IBM Lc1350集群系統(tǒng)，規(guī)模是452個(gè)節(jié)點(diǎn)。在中石化北京勘探開發(fā)研究院、勝利物探研究院、江漢物探分院、西南物探分院4個(gè)不同地域搭建了一個(gè)大型的刀片集群系統(tǒng)。

中石化勝利油田物探研究院早在2001年就開始使用Linux集群進(jìn)行地震資料處理。目前，該院擁有Rebel、IBM LCl350、IBM eServer BladeCenter、RackSaver、Verari、IBM BladeCenter HS21、曙光天潮集群等多套Linux集群系統(tǒng)。2007~6月，物探研究院完成處理系統(tǒng)第三次升級(jí)，整個(gè)系統(tǒng)微機(jī)集群節(jié)點(diǎn)達(dá)到2000個(gè)，處理系統(tǒng)由過(guò)去的IBM sP并行機(jī)為主升級(jí)為具有國(guó)際先進(jìn)水平的Pc Cluster計(jì)算機(jī)集群為主：系統(tǒng)浮點(diǎn)運(yùn)算速度由1998年的340x108次／S、2002年的ixl012次／s、2004年的近5x1012次／s到目前50x1012次

／s的理論計(jì)算能力：配備有Omega、GeoCluster、Views、GeoDepth等世界先進(jìn)的地震資料處理軟件，能夠進(jìn)行三維常規(guī)連片、疊前偏移成像、多波多分量、迭前屬性等處理工作，其技術(shù)水平同步于國(guó)際先進(jìn)水平。

(二)油藏?cái)?shù)值模擬的主要解決方案

油藏?cái)?shù)值模擬在空間上可以描述油田全貌，在時(shí)間上可以重現(xiàn)油田開發(fā)歷史、評(píng)價(jià)開發(fā)效果并預(yù)測(cè)油田未來(lái)的開發(fā)動(dòng)態(tài)，實(shí)現(xiàn)對(duì)油田開發(fā)過(guò)程的仿真模擬。它對(duì)于研究剩余油分布、促進(jìn)我國(guó)相當(dāng)部分已進(jìn)入高含水后期老油田的高產(chǎn)／穩(wěn)產(chǎn)具有重要意義。隨著油田開發(fā)的深入，油藏?cái)?shù)值模擬對(duì)硬件系統(tǒng)的性能需求越來(lái)越高：開發(fā)后期的油藏剩余油分布和壓力分布等越來(lái)越復(fù)雜，模擬這種復(fù)雜的油藏需要把以前的模型網(wǎng)格尺寸成倍縮小，網(wǎng)格數(shù)也呈數(shù)量級(jí)增加，這就要求計(jì)算機(jī)有足夠大的內(nèi)存和足夠快的處理速度。而這些正是Linux集群的優(yōu)勢(shì)所在。

2006年6月，大慶油田選用60片IBM BIadeCenter JS20：U片服務(wù)器搭建的高性能Linux集群應(yīng)用于油藏?cái)?shù)值模擬系統(tǒng)項(xiàng)目。JS20對(duì)運(yùn)行于Linux并基于AltiVec技術(shù)優(yōu)化的高性能計(jì)算工作負(fù)載來(lái)說(shuō)是十分理想的。該油藏?cái)?shù)值模擬系統(tǒng)能夠在很小的物理空間內(nèi)部署強(qiáng)大的計(jì)算力，可大大提高汕藏?cái)?shù)值模擬結(jié)果的生成速度，改善油藏的勘測(cè)能力。

2006年10月，國(guó)內(nèi)最先進(jìn)、全國(guó)石油系統(tǒng)性能第一的數(shù)值模擬微機(jī)集群系統(tǒng)在勝利油田地質(zhì)科學(xué)研究院投產(chǎn)，標(biāo)志著勝利油田油藏?cái)?shù)值模擬中心初步建成，開發(fā)計(jì)算機(jī)手段達(dá)到國(guó)內(nèi)領(lǐng)先水平。該集群系統(tǒng)共137個(gè)節(jié)點(diǎn)，274個(gè)英特爾安騰處理器，系統(tǒng)雙精度浮點(diǎn)峰值達(dá)1.7536x1012次／s，實(shí)際峰值達(dá)1.33x1012次／s。它使常規(guī)水驅(qū)模擬模型規(guī)模擴(kuò)大到百萬(wàn)級(jí)，實(shí)現(xiàn)了整體建模、整體模擬和大規(guī)模并行化數(shù)值模擬。它使熱采及三采模型規(guī)模由井組、小區(qū)塊擴(kuò)大到全油藏。它提高了動(dòng)態(tài)模型的可靠性和描述精度-實(shí)現(xiàn)了整裝大油藏多指標(biāo)擬合的單井化，實(shí)現(xiàn)了整裝大油藏老區(qū)調(diào)整歷史擬合的精細(xì)化。

(三)拓展的Linux集群應(yīng)用領(lǐng)域

伴隨基于Linux集群技術(shù)的應(yīng)用軟件的推陳出新，Linux集群在石油勘探開發(fā)過(guò)程中的盆地模擬、三維可視化解釋等領(lǐng)域的應(yīng)用得到了進(jìn)一步開拓和豐富。盆地模擬是從盆地沉積、動(dòng)力、物理化學(xué)機(jī)理出發(fā)，將油氣的生成、運(yùn)移、聚集合為一體，在建立地質(zhì)模型的基礎(chǔ)上建立數(shù)學(xué)模型，并形成一維至三維的計(jì)算機(jī)軟件，從而在時(shí)空概念下計(jì)算機(jī)定量地模擬沉積盆地的形成和演化過(guò)程，主要用于勘探開發(fā)初期、油氣資源評(píng)價(jià)和發(fā)現(xiàn)新油田等階段。而Linux集群完全符合盆地模擬所需龐大數(shù)據(jù)量和計(jì)算量的要求。

2005年9月，大慶油田勘探研究院與法國(guó)斯倫貝謝公司共同承建的亞太地區(qū)首個(gè)微機(jī)集群三維可視化勘探平臺(tái)正式在大慶建成投入使用。該平臺(tái)首次采用8個(gè)CPU的Linux微機(jī)集群做后臺(tái)，運(yùn)行斯倫貝謝公司的GigaViz三維可視化綜合解釋集群軟件，能夠快捷地使用多學(xué)科資料、提取多種信息、實(shí)時(shí)交互解釋，能夠快速發(fā)現(xiàn)復(fù)雜地質(zhì)目標(biāo)和隱蔽的油氣藏。主要用于地震處理解釋、成果驗(yàn)收評(píng)審、井位部署和技術(shù)培訓(xùn)。

四、Linux集群的應(yīng)用結(jié)論及發(fā)展趨勢(shì)

根據(jù)Linux集群在石油行業(yè)的應(yīng)用情況，綜合對(duì)比分析實(shí)際應(yīng)用效果，總結(jié)出以下應(yīng)用結(jié)論：(1)Pc Cluster在地震數(shù)據(jù)常規(guī)處理和深度域處理中已得到成功應(yīng)用；(2)高性能Pc Cluster并行機(jī)很適合密集型運(yùn)算，可以為解決復(fù)雜區(qū)地震成像問(wèn)題提供有效的計(jì)算環(huán)境；(3)相同運(yùn)算能力下，Cluster的投資僅需Unix并行機(jī)的1／10左右，而速度卻能提高3倍以上：(4)Pc Cluster與應(yīng)用軟件的有效集成是實(shí)現(xiàn)地震數(shù)據(jù)并行處理成功應(yīng)用的關(guān)鍵：(5)主頻的提高、CPU數(shù)的增加與駐機(jī)時(shí)間減少的關(guān)系不是線性的。

縱觀Linux集群技術(shù)的現(xiàn)狀及其在各領(lǐng)域的應(yīng)用情況，Linux集群呈現(xiàn)出5大發(fā)展趨勢(shì)。

1基于刀片式服務(wù)器的集群架構(gòu)成為主流。刀片式服務(wù)器產(chǎn)品在多核、低功耗技術(shù)的推動(dòng)下已完成從最初一味追求高計(jì)算密度發(fā)展到強(qiáng)調(diào)整體綜合性能和高生產(chǎn)力。由此預(yù)期刀片式服務(wù)器將以其高服務(wù)密度、敏捷式部署維護(hù)、全方位監(jiān)控管理融合、高可擴(kuò)展性、高可用性全面取代傳統(tǒng)的基于機(jī)架式服務(wù)器的Linux集群體系架構(gòu)。

2集群標(biāo)準(zhǔn)化進(jìn)程日趨深入完善。標(biāo)準(zhǔn)化是行業(yè)應(yīng)用成熟化的標(biāo)志。曙光公司把泛高性能計(jì)算時(shí)代下的集群技術(shù)總結(jié)出10大標(biāo)準(zhǔn)：(1)遠(yuǎn)程／異地操作控制技術(shù)；(2)一體化監(jiān)控技術(shù)；(3)智能機(jī)柜技術(shù)：(4)異構(gòu)平臺(tái)整合技術(shù)：(5)復(fù)雜集群簡(jiǎn)易管理技術(shù)；(6)集群安全管理技術(shù)；(7)集群負(fù)載均衡技術(shù)；(8)集群快速部署技術(shù)；(9)集群并行吞吐技術(shù)：(i0)行業(yè)定制優(yōu)化技術(shù)。這些標(biāo)準(zhǔn)為L(zhǎng)inux集群技術(shù)及應(yīng)用推廣普及打下了非常好的基礎(chǔ)。

3虛擬計(jì)算技術(shù)在集群應(yīng)用中向更深層次發(fā)展。伴隨Microsoft VirtualServer、VMwareWorkstation、Xensource Xen、Intel Vanderpool、AMD Pacifica等部件級(jí)及系統(tǒng)級(jí)虛擬技術(shù)的興起，預(yù)期基于應(yīng)用級(jí)集群虛擬計(jì)算技術(shù)不僅將帶來(lái)更高的集群部件利用率，同時(shí)也會(huì)帶來(lái)支持應(yīng)用動(dòng)態(tài)遷移、故障自動(dòng)隔離、系統(tǒng)自動(dòng)重構(gòu)的高可靠集群應(yīng)用環(huán)境，以及更為簡(jiǎn)潔、統(tǒng)一的Linux集群管理模式。

4集群可信計(jì)算環(huán)境構(gòu)造技術(shù)浮出水面。隨著基于商業(yè)計(jì)算及信息化應(yīng)用對(duì)集群架構(gòu)的普及推動(dòng)，預(yù)期基于內(nèi)外網(wǎng)隔離、統(tǒng)一身份認(rèn)汪、訪問(wèn)控制、分布式入侵檢測(cè)、流量分析、應(yīng)用層及傳輸層加密傳輸協(xié)議、主動(dòng)防護(hù)等技術(shù)將催生全新的集群應(yīng)用可信計(jì)算環(huán)境構(gòu)造技術(shù)框架，從而打造從物理層到應(yīng)用層全方位的、多層次的、立體的集群應(yīng)用安全環(huán)境。

5細(xì)分專用導(dǎo)向。近年來(lái)，曙光公司相繼推出了面向不同行業(yè)的專用Linux集群產(chǎn)品。預(yù)期今后Linux集群的發(fā)展將繼續(xù)以滿足行業(yè)細(xì)分應(yīng)用為導(dǎo)向、以高生產(chǎn)力為驅(qū)動(dòng)、以行業(yè)應(yīng)用軟件整合為契機(jī)，將出現(xiàn)更多行業(yè)專用的Linux集群。

五、結(jié)束語(yǔ)

綜上所述，Linux集群已經(jīng)在石油行業(yè)得到了廣泛應(yīng)用，分布于盆地模擬、地震資料處理、全三維可視化解釋、油藏?cái)?shù)值模擬等石油勘探開發(fā)各個(gè)階段。采用Linux構(gòu)建的高性能集群系統(tǒng)可以在短時(shí)間內(nèi)幫助石油公司完成海量的復(fù)雜地震數(shù)據(jù)處理、解釋和油藏模擬應(yīng)用；提高生產(chǎn)效率和開采成功率，降低發(fā)現(xiàn)成本，實(shí)現(xiàn)深度計(jì)算可視化；適時(shí)對(duì)設(shè)備／油藏?cái)?shù)據(jù)進(jìn)行收集、整理及分析以提高操作決策的智能化。此外，對(duì)于醫(yī)藥、生命科學(xué)、基因解析、天氣分析等有密集運(yùn)算需求的企業(yè)和研究機(jī)構(gòu)來(lái)說(shuō)，Linux集群系統(tǒng)也是最佳選擇?？梢韵嘈?，無(wú)論是現(xiàn)在還是將來(lái)，Linux集群都會(huì)在石油及其他行業(yè)中發(fā)揮更大的作用。