數(shù)值模擬并行處理技術(shù)及應(yīng)用研究

李中建 劉靖安 馬玉霞，李 謳 朱玉澎

(中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司南陽石蠟精細(xì)化工廠，河南 南陽 473132) (中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司通信公司，河南 南陽 473132)

數(shù)值模擬并行處理技術(shù)及應(yīng)用研究

李中建 劉靖安 馬玉霞，李 謳 朱玉澎

(中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司南陽石蠟精細(xì)化工廠，河南 南陽 473132) (中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司通信公司，河南 南陽 473132)

并行數(shù)值模擬是高含水后期調(diào)整挖潛，提高水驅(qū)采收率的重要手段之一。簡(jiǎn)述了數(shù)值模擬并行處理技術(shù)，介紹了構(gòu)建高性能的計(jì)算平臺(tái)、構(gòu)建數(shù)據(jù)安全存儲(chǔ)區(qū)域網(wǎng)的思路和做法以及運(yùn)用高性能計(jì)算實(shí)現(xiàn)百萬節(jié)點(diǎn)并行數(shù)值模擬處理的應(yīng)用實(shí)例。

并行計(jì)算；數(shù)值模擬；油藏

油藏?cái)?shù)值模擬的核心是求解大型偏微分方程組形成的大型稀疏線性代數(shù)方程組，這類問題需要大量的計(jì)算時(shí)間，計(jì)算費(fèi)用高昂。是適合于在各種并行計(jì)算機(jī)上求解的并行計(jì)算問題。高性能并行計(jì)算機(jī)的出現(xiàn)使油藏?cái)?shù)值模擬技術(shù)進(jìn)入了一個(gè)嶄新的階段。油藏?cái)?shù)值模擬并行技術(shù)研究已經(jīng)成為一大研究熱點(diǎn)。并行處理在高性能計(jì)算方面應(yīng)用很廣，近幾年在石油勘探開發(fā)中的地震資料處理方面應(yīng)用迅速。數(shù)值模擬并行處理技術(shù)與計(jì)算機(jī)技術(shù)的發(fā)展是緊密相關(guān)的，如開發(fā)后期采集數(shù)據(jù)量的劇增帶來地質(zhì)資料處理計(jì)算量的劇增。為獲得準(zhǔn)確的地下剩余油分布情況，應(yīng)采取更為復(fù)雜的數(shù)值模擬處理技術(shù)如多維多相數(shù)模處理技術(shù)等，而這些都需要大量的計(jì)算機(jī)計(jì)算。以往，囿于計(jì)算機(jī)設(shè)備的限制，許多先進(jìn)的精細(xì)數(shù)模、三次采油、稠油熱采、大規(guī)模整狀油藏并行數(shù)模處理技術(shù)無法得到充分應(yīng)用，影響了石油勘探開發(fā)的發(fā)展。近年來，一些咨詢公司的油藏?cái)?shù)值模擬軟件已推出并行版，如ECLIPSE及VIP并行軟件。而國(guó)外許多石油公司及咨詢公司用并行處理技術(shù)來降低生產(chǎn)成本，提高工作效率。我國(guó)自“九五”期間就開展了多項(xiàng)包括國(guó)家“863”計(jì)劃在內(nèi)有關(guān)并行計(jì)算的重大科研項(xiàng)目。中科院、國(guó)家智能計(jì)算中心、清華大學(xué)、南京大學(xué)等均開展了油藏?cái)?shù)值模擬并行計(jì)算研究。這些并行數(shù)模軟件在應(yīng)用上不斷挑戰(zhàn)大型油田開發(fā)過程和多層厚油層的精細(xì)數(shù)值模擬，軟件系統(tǒng)也逐步得到完善，功能也越來越強(qiáng)大[1-2]。

目前，人們對(duì)并行數(shù)值模擬的優(yōu)勢(shì)已有了充分的認(rèn)識(shí)。它不僅有助于油田開發(fā)大型一體化流程的實(shí)現(xiàn)，同時(shí)更能夠提高油藏模擬的精細(xì)度；節(jié)約計(jì)算時(shí)間，加快決策速度；優(yōu)化方案設(shè)計(jì)，提高油田開發(fā)整體效益。所以并行處理技術(shù)將是油藏?cái)?shù)值模擬應(yīng)用發(fā)展的主要方向。我國(guó)石油行業(yè)先后引進(jìn)了一些并行計(jì)算機(jī)和并行處理系統(tǒng)，如大慶、勝利等油田已在科研生產(chǎn)中發(fā)揮很大作用。并行處理技術(shù)必將成為大規(guī)?？茖W(xué)計(jì)算的主要工具，而并行數(shù)值模擬技術(shù)也得到更為廣泛的應(yīng)用。

1 建立油藏?cái)?shù)值模擬高性能計(jì)算并行處理環(huán)境

要解決河南油田后期開采階段細(xì)分調(diào)整、稠油熱采方案編制、三次采油潛力評(píng)價(jià)及規(guī)劃等的精細(xì)油藏描述、精細(xì)數(shù)值模擬及整裝油藏大規(guī)模計(jì)算、并行處理問題，縮短數(shù)模處理周期和處理精度,必須進(jìn)一步加強(qiáng)油藏描述、數(shù)值模擬技術(shù)的綜合配套，利用多節(jié)點(diǎn)并行計(jì)算機(jī)的高性能計(jì)算解決數(shù)值模擬處理過程中求解大型偏微分方程組形成的大型稀疏線性代數(shù)方程組類大量的計(jì)算問題，以適應(yīng)當(dāng)前以及今后生產(chǎn)和科研的需求。并行計(jì)算環(huán)境需要解決以下3個(gè)方面的問題：

1)構(gòu)建高性能的計(jì)算平臺(tái) 并行計(jì)算可稱為高性能計(jì)算或超級(jí)計(jì)算，它把并行計(jì)算處理的大任務(wù)依據(jù)并行算法的要求，分解為多個(gè)子任務(wù)，然后分給并行機(jī)不同處理單元，通過并行計(jì)算、協(xié)同合作而快速求解。并行計(jì)算的主要目標(biāo)是提高求解速度、擴(kuò)大處理規(guī)模。基本條件是硬件(并行機(jī))、并行算法設(shè)計(jì)、并行編程環(huán)境。 硬件(并行機(jī))是IBM p5 570服務(wù)器。它技術(shù)先進(jìn)、性能超強(qiáng)。具有同步多線程、獨(dú)特的可伸縮性和構(gòu)建塊封裝技術(shù)的 IBM POWER5TM處理器，非常適合于服務(wù)器整合項(xiàng)目、數(shù)據(jù)庫與應(yīng)用程序服務(wù)。p5的并發(fā)多線程(SMT)技術(shù)可以大幅提高處理能力,將并行處理性能發(fā)揮到最佳；p5的虛擬化技術(shù)可以根據(jù)策略自動(dòng)調(diào)整每個(gè)分區(qū)負(fù)載；虛擬引擎(VE)將IBM現(xiàn)有的邏輯分區(qū)功能提高到了一個(gè)新的水平，能夠?yàn)榭蛻籼峁┛缙脚_(tái)的異構(gòu)虛擬和系統(tǒng)管理功能。

綜合考慮數(shù)值模擬未來幾年的發(fā)展，筆者應(yīng)用IBM p5 570并行機(jī)，2臺(tái)SUN Blase2500 UNIX工作站,6臺(tái)DELL P670 PC工作站和2套并行數(shù)值模擬軟件Landmark. VIP、Schlumberger ECLIPSE構(gòu)建了高性能的計(jì)算平臺(tái)。

2)構(gòu)建高性能的大容量數(shù)據(jù)安全存儲(chǔ) 并行計(jì)算在處理作業(yè)過程中將產(chǎn)生大量的中間計(jì)算結(jié)果和最終計(jì)算結(jié)果，這些階段性的數(shù)據(jù)需要占用大量的在線存儲(chǔ)空間，這其中一些數(shù)據(jù)是可以被刪除的，但也有一部分?jǐn)?shù)據(jù)需要長(zhǎng)時(shí)間保存，以便進(jìn)行后續(xù)的數(shù)據(jù)計(jì)算，所以數(shù)值模擬高性能并行運(yùn)算的存儲(chǔ)容量必須配置達(dá)到10TB左右。

數(shù)值模擬高性能并行運(yùn)算的每個(gè)節(jié)點(diǎn)就是一個(gè)服務(wù)器，系統(tǒng)整體效率的發(fā)揮是通過多個(gè)節(jié)點(diǎn)協(xié)同并行工作達(dá)到的，通常每個(gè)節(jié)點(diǎn)所配置的磁盤存儲(chǔ)容量有限，一般只能滿足操作系統(tǒng)的安裝、極少部分的用戶數(shù)據(jù)的存儲(chǔ)，大量的數(shù)據(jù)需要存儲(chǔ)在大容量的磁盤陣列上，由于不可能為每個(gè)節(jié)點(diǎn)配置一個(gè)大容量的存儲(chǔ)系統(tǒng)，所以大部分的時(shí)候采用了多個(gè)節(jié)點(diǎn)共用一個(gè)磁盤陣列方式來為計(jì)算節(jié)點(diǎn)提供數(shù)據(jù)支持。前兩年引進(jìn)的計(jì)算機(jī)系統(tǒng)中，大多沒有充分的考慮數(shù)據(jù)I/O的復(fù)雜性，只是簡(jiǎn)單的配置了一定數(shù)量的存儲(chǔ)系統(tǒng)，所以這些系統(tǒng)目前就暴露出存在I/O瓶徑的問題，因此，更好地解決高性能并行運(yùn)算存儲(chǔ)問題是高性能計(jì)算環(huán)境的一個(gè)關(guān)鍵。

通過上述分析可知，并行計(jì)算在數(shù)據(jù)處理過程中需求大容量的存儲(chǔ)系統(tǒng)，對(duì)于高性能并行運(yùn)算平臺(tái)通常需要10TB左右的高速在線存儲(chǔ)，以支持頻繁進(jìn)行的I/O，還需要4TB的近線存儲(chǔ)，作為中間計(jì)算結(jié)果、成果數(shù)據(jù)、原始數(shù)據(jù)的存儲(chǔ)以及用戶數(shù)據(jù)的備份。而且，還須將這些存儲(chǔ)納入統(tǒng)一規(guī)劃的存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)，實(shí)現(xiàn)為多個(gè)服務(wù)器、用戶提供數(shù)據(jù)的存儲(chǔ)子系統(tǒng)。

3)計(jì)算平臺(tái)、存儲(chǔ)系統(tǒng)、用戶終端高度融合 高性能的計(jì)算平臺(tái)必須充分地融合，才能為用戶提供高性能的計(jì)算服務(wù)。在高性能計(jì)算平臺(tái)內(nèi)部，主力的IBM p5 570大型機(jī)、SUN Blase2500工作站, DELL P670 微機(jī)工作站要通過SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)共享存儲(chǔ)池中的存儲(chǔ)，這就需要建立高性能的存儲(chǔ)區(qū)域網(wǎng)，規(guī)劃一個(gè)簡(jiǎn)單的SAN環(huán)境是必要的，構(gòu)成一級(jí)網(wǎng)絡(luò)環(huán)境。為了是用戶使用高性能計(jì)算平臺(tái)，需要改造或者建立TCP/IP網(wǎng)絡(luò)環(huán)境，使之成為主干千兆的二級(jí)網(wǎng)絡(luò)環(huán)境，加入企業(yè)局域網(wǎng)絡(luò)供用戶使用。

存儲(chǔ)層面采用存儲(chǔ)管理戰(zhàn)略，通過存儲(chǔ)管理平臺(tái)，使用統(tǒng)一的存儲(chǔ)管理工作站通過同一窗口和界面進(jìn)行所有存儲(chǔ)資源的管理。通過圖形化的界面，實(shí)現(xiàn)數(shù)值模擬高性能并行運(yùn)算關(guān)鍵數(shù)據(jù)資源開放的、簡(jiǎn)單的、自動(dòng)化的管理。

2 百萬節(jié)點(diǎn)并行數(shù)值模擬的實(shí)現(xiàn)

并行計(jì)算應(yīng)用配套的是ECLIPSE和VIP并行數(shù)值模擬軟件，兩者都是世界上較為領(lǐng)先水平的油藏?cái)?shù)值模擬系統(tǒng)，并行性能穩(wěn)定，速度快，效果好。有較高的并行加速比和并行效率。這次并行計(jì)算采用8CPU并行Eclipse05版，它具有一整套無縫模擬工作流程，可以完成從網(wǎng)格建模到自動(dòng)歷史擬合，到開發(fā)預(yù)測(cè)，生產(chǎn)優(yōu)化的一系列功能。在大模型模擬運(yùn)算方面具有無可比擬的優(yōu)越性。下面以河南油田一個(gè)區(qū)塊(Ⅴ下層系)為例，介紹高性能計(jì)算實(shí)現(xiàn)大規(guī)模并行數(shù)值模擬的過程和方法。

1)并行數(shù)值模擬的目的 運(yùn)用并行數(shù)值模擬技術(shù)及油藏工程方法，對(duì)剩余油進(jìn)行定量化描述，研究特高含水期油藏剩余油分布規(guī)律,為完善Ⅴ下層系開發(fā)井網(wǎng)與注采系統(tǒng)、調(diào)整產(chǎn)液結(jié)構(gòu)、改善油田開發(fā)效果、進(jìn)一步提高采收率提供科學(xué)的挖潛依據(jù)。

2)應(yīng)用實(shí)現(xiàn)內(nèi)容方法 ①針對(duì)Ⅴ下層系油層多，儲(chǔ)層物性差異較大，非均質(zhì)嚴(yán)重，平面、層間矛盾突出的特點(diǎn)，確定數(shù)值模擬范圍、建立雙河Ⅴ下層系主體區(qū)精細(xì)三維油藏地質(zhì)模型，模型的總網(wǎng)格數(shù)為308×203×35=2188340，是河南油田有史以來數(shù)據(jù)量最大的地質(zhì)模型，充分體現(xiàn)儲(chǔ)層的非均質(zhì)性；②根據(jù)精細(xì)地質(zhì)研究細(xì)分層系儲(chǔ)量，進(jìn)行地質(zhì)儲(chǔ)量擬合；③搜集整理基礎(chǔ)資料，結(jié)合生產(chǎn)動(dòng)態(tài)監(jiān)測(cè)對(duì)合采井劈產(chǎn)，進(jìn)行生產(chǎn)歷史擬合；④運(yùn)用并行數(shù)值模擬技術(shù)，對(duì)剩余油進(jìn)行定性、定量化描述，根據(jù)剩余油分布規(guī)律，結(jié)合儲(chǔ)層物性、動(dòng)用狀況與井網(wǎng)現(xiàn)狀等，利用三維定量化模型開展特高含水期開發(fā)單元重新劃分與組合研究, 設(shè)計(jì)井網(wǎng)組合方案。針對(duì)Ⅴ下層系存在的問題及潛力，進(jìn)行10年數(shù)值模擬開發(fā)指標(biāo)預(yù)測(cè)對(duì)比，提出最優(yōu)調(diào)整部署方案。

3)并行計(jì)算技巧(分塊歷史擬合、整體并行計(jì)算) ①把斷層作為封閉邊界，嚴(yán)格滿足定解條件；②在油藏地質(zhì)模型中選取有代表性的分區(qū)做詳細(xì)歷史擬合，得到的參數(shù)作為總體模型的基礎(chǔ)參數(shù)；③每小塊單獨(dú)歷史擬合；④將每小塊擬合的結(jié)果放入并行數(shù)據(jù)中，做整體并行計(jì)算，主要工作是調(diào)整邊界數(shù)據(jù)，最終得到整體并行計(jì)算結(jié)果。

4)技術(shù)指標(biāo)效益 IBM P570 16CPU服務(wù)器并行應(yīng)用環(huán)境安全、穩(wěn)定，滿足了多用戶Eclipse并行數(shù)值模擬軟件高效運(yùn)行、并行處理高性能計(jì)算的需要。擬合指標(biāo)的計(jì)算值與實(shí)際值吻合較好，單元?dú)v史擬合符合率達(dá)96%以上；單井?dāng)M和符合率達(dá)75%以上。進(jìn)行組合單元內(nèi)注采井網(wǎng)的整體優(yōu)化部署及開發(fā)水驅(qū)效果數(shù)值模擬預(yù)測(cè)對(duì)比。優(yōu)化方案延長(zhǎng)穩(wěn)產(chǎn)期6年，增產(chǎn)原油10.04×104t，提高采收率1.76%，綜合含水率降低0.97%。

[1]車學(xué)林，李翠玲，趙國(guó)忠，等.百萬節(jié)點(diǎn)油藏?cái)?shù)值模擬技術(shù)應(yīng)用[J].大慶石油地質(zhì)與開發(fā)，2002(3):32-35,86.

[2] 曹建文，潘峰，姚繼鋒，等.并行油藏模擬軟件的實(shí)現(xiàn)及在國(guó)產(chǎn)高性能計(jì)算機(jī)上的應(yīng)用[J].計(jì)算機(jī)研究與發(fā)展，2002(8)：78-85.

[編輯] 洪云飛

10.3969/j.issn.1673-1409(N).2012.06.031

TE319

A

1673-1409(2012)06-N093-03