大規(guī)模計算機集群在地震勘探資料處理中的應(yīng)用探討

尹龍　張衛(wèi)華　程實　郭冶　梁妍　牛犇

摘 要： 隨著“兩寬一高”采集技術(shù)的應(yīng)用，原始地震勘探數(shù)據(jù)呈指數(shù)級增長，數(shù)據(jù)體越來越大，結(jié)構(gòu)越來越復(fù)雜，地震資料開始進入大數(shù)據(jù)時代。文章基于海量地震數(shù)據(jù)的資料處理特點，分析HPC技術(shù)趨勢，探討并設(shè)計適合自身需求的超大規(guī)模HPC集群。

關(guān)鍵詞： 大數(shù)據(jù)； 高性能計算； 地震數(shù)據(jù)； 兩寬一高

中圖分類號：TP311 文獻標(biāo)志碼：A 文章編號：1006-8228（2016）08-01-03

Abstract： With the application of "2W1H" （wide-band， wide azimuth and high-density） acquisition technology in oil exploration， the original seismic data is growing exponentially， the data volume is getting bigger and bigger， the structure is more and more complex， seismic data has begun to enter the big data era. Based on the characteristics of massive seismic data， this paper analyzes the trend of HPC technology， and discusses and designs the ultra large scale HPC system fitting for our own development.

Key words： big data； HPC； seismic data； 2W1H

0 引言

近幾年來，隨著勘探技術(shù)的不斷進步，野外地震采集的精度在不斷提高，“兩寬一高”地震技術(shù)開始得到全面推廣和使用。以我國某地為例，覆蓋次數(shù)大于200次，高達數(shù)千次，橫縱比為0.5-1，采用寬頻可控震源激發(fā)，掃描頻率大于5個倍頻程[1]。相應(yīng)地，東方地球物理公司研究院逐步完善了對高密度、寬方位數(shù)據(jù)資料配套的處理技術(shù)，形成多波多分量、三維連片、高密度寬方位數(shù)據(jù)處理等技術(shù)特色。方法有了，作為資料處理運行工具的高性能計算集群應(yīng)如何設(shè)計，本文主要探討這個問題。

1 發(fā)展難點

高性能計算系統(tǒng)用于解決復(fù)雜的大量數(shù)據(jù)計算，如常用于石油勘探、分子模擬、天氣預(yù)報等很多科學(xué)計算領(lǐng)域。高性能計算通常使用并行算法，即通過并行軟件將數(shù)據(jù)及計算任務(wù)分解并分發(fā)到各個計算節(jié)點上完成計算，最后將計算結(jié)果進行匯總。因此，高性能計算系統(tǒng)要求有高計算性能、高I/O吞吐率、大規(guī)模數(shù)據(jù)存儲及高可用性等特點[2]。

2012年，東方公司在海外油氣勘探市場承接的十萬道級別高效采集項目就已經(jīng)進入實施，數(shù)十萬道甚至百萬道也在不遠的將來實現(xiàn)。隨之而來的是原始地震勘探數(shù)據(jù)呈指數(shù)級增長，數(shù)據(jù)體越來越大，結(jié)構(gòu)越來越復(fù)雜，地震資料數(shù)據(jù)動輒幾十甚至幾百TB（如圖1）。地震處理軟件也在不斷更新升級，陸續(xù)出現(xiàn)基于大規(guī)模甚至超大規(guī)模地震數(shù)據(jù)開發(fā)的地震資料處理模塊。然而，超大規(guī)模的數(shù)據(jù)存儲，超高性能的計算要求，再加上有限的項目周期，給地震資料處理帶來巨大的挑戰(zhàn)。在進行高性能計算資源管理設(shè)計時，不但要考慮能滿足PB級數(shù)據(jù)存儲和吞吐能力，還要設(shè)計和構(gòu)建能夠處理大規(guī)模的高性能計算集群系統(tǒng)。

2 超算集群系統(tǒng)設(shè)計

2.1 CPU+GPU協(xié)同工作

協(xié)同工作是將CPU和GPU兩種不同架構(gòu)的處理器組成在一起，通過程序讓其協(xié)同工作。為了追求通用性，CPU將其中大部分晶體管主要用于控制單元（比如分支預(yù)測等）和存儲單元（Cache），只有少部分的晶體管來完成實際的運算工作（如圖2），因此CPU在邏輯判斷、非線性尋址等復(fù)雜邏輯運算有非常高的效率[3]。而GPU最初是為了完成圖形處理，因此它的更多單元用于執(zhí)行計算，這也讓GPU更加適合密集型的計算任務(wù)，隨著硬件技術(shù)的發(fā)展，GPU的計算能力已經(jīng)遠遠超出了其自身圖形功能，同時GPU的可編程性也讓其完成浮點計算的科學(xué)研究逐漸活躍起來。從圖3可以知道，在浮點計算方面GPU的計算能力已經(jīng)遠遠優(yōu)于CPU。

GPU參與的運算應(yīng)用有如下特征：

⑴ 運算密集性；

⑵ 高度并行性；

⑶ 控制簡單性。

從目前來看，單純使用CPU進行大規(guī)模計算已經(jīng)不再擁有吸引力，更為科學(xué)的是采用CPU+GPU協(xié)同工作，由CPU負責(zé)執(zhí)行復(fù)雜的邏輯處理和事務(wù)處理，GPU負責(zé)計算密集型的大規(guī)模數(shù)據(jù)計算。這種利用GPU強大處理能力和高帶寬而彌補單純使用CPU計算時性能不足的計算方式可以進一步挖掘計算機潛在能力，在成本和性價比方面有顯著的優(yōu)勢。

2.2 文件存儲系統(tǒng)

文件存儲系統(tǒng)是影響整個集群系統(tǒng)性能的關(guān)鍵因素，針對地震處理數(shù)據(jù)高密度并行讀寫的特點，首先需要考慮存儲容量，就目前野外工區(qū)高密度采集特點，覆蓋次數(shù)達上萬甚至幾萬道，單炮的數(shù)據(jù)量可達上百MB，因此PB級容量的存儲是必然選擇。其次，地震資料處理軟件與其他應(yīng)用軟件相比，特別之處在于文件I/O量巨大，尤其大規(guī)模偏移計算時需要滿足各計算節(jié)點對共享存儲的訪問，I/O系統(tǒng)的性能將嚴(yán)重影響整個系統(tǒng)的性能，因此存儲系統(tǒng)的高效訪問至關(guān)重要[4]。

分布式文件系統(tǒng)是C/S架構(gòu)的文件系統(tǒng)，用戶數(shù)據(jù)沒有直接連接到本地主機，而是存儲在“集群服務(wù)器”（存儲中定義了統(tǒng)一的命名及Cluster概念）上，由“集群服務(wù)器”為整個計算系統(tǒng)提供I/O服務(wù)。分布式文件系統(tǒng)包括主控服務(wù)器、數(shù)據(jù)服務(wù)器及客戶端[5]（如圖4）。

目前許多大型計算機公司如Google、IBM及科研院校都正致力于分布式存儲的研究開發(fā)和使用，從而形成了多種模式的分布式文件系統(tǒng)，包括GFS（googleFS）、Lustre、GPFS等等。隨著大數(shù)據(jù)時代的到來，分布式文件系統(tǒng)受到了更多的歡迎。對于高性能計算而言，分布式存儲有以下幾方面優(yōu)點。