基于PB級(jí)地震數(shù)據(jù)的GeoEast云平臺(tái)架構(gòu)研究

馬迅飛 曹士炳 張進(jìn)鐸 陳翔 李華松

摘? 要： GeoEast系統(tǒng)是東方公司獨(dú)立開發(fā)的處理解釋一體化平臺(tái)，在面對(duì)處理PB級(jí)的地震數(shù)據(jù)時(shí)，該系統(tǒng)的處理能力已明顯不足，構(gòu)建面向大數(shù)據(jù)的GeoEast云平臺(tái)勢在必行。通過對(duì)大二層網(wǎng)絡(luò)架構(gòu)、規(guī)?；杭軜?gòu)、存儲(chǔ)大文件系統(tǒng)、雙軟件統(tǒng)一調(diào)度等技術(shù)的研究，構(gòu)建一個(gè)基于PB級(jí)地震數(shù)據(jù)的GeoEast云平臺(tái)，以實(shí)現(xiàn)前后方資源共享，滿足PB級(jí)數(shù)據(jù)計(jì)算能力要求，并達(dá)到提高設(shè)備利用率的目的。

關(guān)鍵詞： GeoEast系統(tǒng); PB級(jí); 地震數(shù)據(jù); 云平臺(tái); 大二層網(wǎng)絡(luò)

中圖分類號(hào)：TP-31? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：1006-8228（2020）02-36-03

Research on GeoEast cloud platform architecture for seismic data of PB

order of magnitude

Ma Xunfei， Cao Shibing， Zhang Jinduo， Chen Xiang， Li Huasong

（BGP， CNPC， Zhuozhou， Hebei 072750， China）

Abstract： GeoEast system is an integrated platform for processing and interpretation developed independently by BGP. When dealing with seismic data of PetaByte （PB） order of magnitude， the processing ability of the system is obviously insufficient. It is imperative to build a GeoEast cloud platform for the big data. A GeoEast cloud platform for PB order of magnitude seismic data is constructed through the research of big two layer network architecture， large-scale cluster architecture，storage of large file system and dual-software unified scheduling technology， so as to realize the sharing of resources between front and background，meet the requirement of PB order of magnitude data computing capacity， and achieve the purpose of improving the utilization rate of equipment.

Key words： GeoEast system; PB order of magnitude; seismic data; cloud platform; big two layer network

0 前言

為了提高油氣勘探精度，國內(nèi)外各探區(qū)都加大了三維高密度勘探部署，勘探數(shù)據(jù)量越來越大，個(gè)別勘探項(xiàng)目的數(shù)據(jù)量已經(jīng)達(dá)到了2PB以上，而油公司對(duì)數(shù)據(jù)的處理周期要求卻越來越短。以往計(jì)算中心為了提升數(shù)據(jù)的處理能力，一般只能依靠擴(kuò)大設(shè)備規(guī)模來實(shí)現(xiàn)，這無疑又增加了運(yùn)營成本。

目前，東方公司研究院處理集群仍然采用傳統(tǒng)的硬件架構(gòu)，主要由小規(guī)模集群組成，已無法滿足PB級(jí)項(xiàng)目的計(jì)算能力。同時(shí)，現(xiàn)有的存儲(chǔ)資源不僅分散且文件系統(tǒng)偏小，無法滿足PB級(jí)項(xiàng)目I/O性能及空間的要求。

如今，國內(nèi)外的地球物理公司都有海量地震數(shù)據(jù)處理技術(shù)的研究，云計(jì)算和大數(shù)據(jù)技術(shù)已經(jīng)成為解決海量數(shù)據(jù)處理難題的有效手段。研究構(gòu)建面向大數(shù)據(jù)的GeoEast云平臺(tái)是為了實(shí)現(xiàn)資源集中統(tǒng)一管理，提高資源使用效率，提升海量數(shù)據(jù)的處理能力。

1 研究現(xiàn)狀分析

1.1 本領(lǐng)域行業(yè)現(xiàn)狀

在油氣勘探地震資料處理行業(yè)，高精度復(fù)雜處理技術(shù)和高密度勘探數(shù)據(jù)都需要海量運(yùn)算能力;高精度處理技術(shù)已經(jīng)對(duì)現(xiàn)有的計(jì)算能力提出了挑戰(zhàn)，而海量數(shù)據(jù)的處理需求，又進(jìn)一步加劇了資源不足的矛盾。

高密度采集的海量數(shù)據(jù)運(yùn)算能力不足，其原因有以下幾方面。

⑴ 軟硬件架構(gòu)不合理。大多數(shù)地震資料處理中心，依然采用傳統(tǒng)的軟件及硬件架構(gòu)，配置不合理，難以滿足目前對(duì)海量數(shù)據(jù)處理的需求。

⑵ 相關(guān)技術(shù)落后。2014年11月，權(quán)威機(jī)構(gòu)曾經(jīng)利用Hadoop技術(shù)對(duì)100TB數(shù)據(jù)使用206個(gè)EC2節(jié)點(diǎn)，耗時(shí)僅23分鐘就完成了專用目的排序工作，其優(yōu)勢可見非同一般。據(jù)最新報(bào)道，騰訊利用其云計(jì)算技術(shù)，可在9.8秒內(nèi)完成上述測試。

⑶ 需要不斷增加投入。由于高密度采集而獲得的海量數(shù)據(jù)在不斷增大，采用擴(kuò)大傳統(tǒng)PC集群規(guī)模來提升處理能力的做法，必將造成對(duì)PC集群更大需求，資金投入也必將增加。

1.2 東方公司技術(shù)現(xiàn)狀

2013年，東方公司研究院同浪潮公司合作，充分考慮石油勘探的應(yīng)用特點(diǎn)，在大規(guī)模PC集群系統(tǒng)上，針對(duì)統(tǒng)一監(jiān)控和運(yùn)維管理，構(gòu)建統(tǒng)一集成式服務(wù)平臺(tái)，優(yōu)化I/O線程池和負(fù)載均衡，提升并發(fā)性能。

2017年，研究院開展了GeoEast在復(fù)雜生產(chǎn)環(huán)境下的性能調(diào)優(yōu)技術(shù)研究與應(yīng)用，深入研究疊前深度偏移作業(yè)時(shí)的系統(tǒng)硬件資源優(yōu)化問題，分析PC集群不同內(nèi)存、內(nèi)置硬盤、數(shù)據(jù)存儲(chǔ)、網(wǎng)絡(luò)、CPU、異構(gòu)計(jì)算模塊等資源，對(duì)疊前深度偏移模塊的運(yùn)行效率進(jìn)行優(yōu)化研究與測試，系統(tǒng)運(yùn)行效率得到明顯提升[1～2]。

2 云平臺(tái)架構(gòu)研究

2.1 海量數(shù)據(jù)的集成應(yīng)用研究

主要通過大二層網(wǎng)絡(luò)架構(gòu)、PB級(jí)并行文件系統(tǒng)、分布式存儲(chǔ)等技術(shù)研究，構(gòu)建規(guī)?；疨C集群，提高資源使用效率，以適應(yīng)海量勘探數(shù)據(jù)應(yīng)用。

研究內(nèi)容主要包含以下三個(gè)方面。

⑴ 大二層網(wǎng)絡(luò)架構(gòu)研究

目前，計(jì)算中心的核心層與匯聚層在物理設(shè)備上只是兩個(gè)并聯(lián)的交換機(jī)。一個(gè)服務(wù)器和另一個(gè)服務(wù)器間的傳輸，則需要經(jīng)過兩個(gè)匯聚層交換機(jī)和一個(gè)核心層交換機(jī)，這無疑將產(chǎn)生較大的延遲，甚至?xí)l(fā)生阻塞數(shù)據(jù)傳輸?shù)那闆r。

大二層架構(gòu)中的任何一臺(tái)服務(wù)器和另一臺(tái)服務(wù)器間的數(shù)據(jù)傳輸，只需要經(jīng)過一臺(tái)葉交換機(jī)和一臺(tái)脊交換機(jī)，這種模式提高了數(shù)據(jù)傳輸?shù)男?，更適合云計(jì)算應(yīng)用，能滿足規(guī)模更大、且速度更快的計(jì)算中心需求（圖1）。

⑵ 并行文件系統(tǒng)應(yīng)用研究

PB級(jí)并行文件系統(tǒng)有著非常穩(wěn)定的I/O性能，且具有較高的帶寬;在同時(shí)運(yùn)行多個(gè)輸入輸出作業(yè)時(shí)，其性能穩(wěn)定可靠;對(duì)于輸入輸出、疊前深度偏移等作業(yè)，都有較好的性能表現(xiàn)。

多組集群共享存儲(chǔ)，減少了傳輸數(shù)據(jù)的時(shí)間，并且不同集群、不同類型的作業(yè)，可以有效的利用磁盤的帶寬。

部署全局共享存儲(chǔ)系統(tǒng)，對(duì)并行文件系統(tǒng)進(jìn)行優(yōu)化研究，解決多種并行文件系統(tǒng)之間的沖突，優(yōu)化存儲(chǔ)網(wǎng)絡(luò)，提高存儲(chǔ)訪問帶寬（圖2）。

⑶ 分布式存儲(chǔ)研究

為了提升系統(tǒng)的穩(wěn)定性，將數(shù)據(jù)和元數(shù)據(jù)分離，減少了元數(shù)據(jù)操作與數(shù)據(jù)讀寫操作之間的互相干擾;元數(shù)據(jù)操作時(shí)間短、簡單，不對(duì)數(shù)據(jù)服務(wù)器產(chǎn)生任何影響，保障了系統(tǒng)的穩(wěn)定性。

為了提高數(shù)據(jù)的安全性，采用數(shù)據(jù)冗余與恢復(fù)技術(shù)，把數(shù)據(jù)和相對(duì)應(yīng)的奇偶校驗(yàn)信息存儲(chǔ)到不同磁盤，當(dāng)一個(gè)磁盤數(shù)據(jù)發(fā)生損壞后，可以利用剩下的數(shù)據(jù)和相應(yīng)的奇偶校驗(yàn)信息恢復(fù)被損壞的數(shù)據(jù)。

實(shí)現(xiàn)數(shù)據(jù)的高速讀寫，在寫數(shù)據(jù)時(shí)，將數(shù)據(jù)切成多塊，然后并行傳輸存儲(chǔ)到多個(gè)存儲(chǔ)機(jī)群節(jié)點(diǎn)的全部磁盤上;在讀取數(shù)據(jù)時(shí)，從全部磁盤上同時(shí)讀取數(shù)據(jù)不同部分，然后合成為一個(gè)數(shù)據(jù)體。

分布式集群存儲(chǔ)，即多個(gè)磁盤及網(wǎng)絡(luò)同時(shí)讀寫，實(shí)現(xiàn)了高速的聚合讀寫功能;存儲(chǔ)系統(tǒng)使用的存儲(chǔ)越多，則控制器、磁盤和網(wǎng)絡(luò)端口則越多，存儲(chǔ)性能就越強(qiáng)。在線擴(kuò)展容量時(shí)不影響使用;智能平衡以避免熱島效應(yīng)，增加硬盤的壽命[3]。

2.2 智能化管理技術(shù)研究

⑴ 應(yīng)用軟件自動(dòng)調(diào)度研究

GeoEast和Paradigm兩種應(yīng)用軟件統(tǒng)一調(diào)度，考慮模塊特性和需求，合理安排資源，合理創(chuàng)建單線程、多線程，以求均衡資源;基于用戶、部門和項(xiàng)目組的配額管理、彈性調(diào)度，提高資源利用率;自動(dòng)負(fù)載均衡、用戶隔離;多用戶協(xié)作，一鍵部署、資源自動(dòng)發(fā)現(xiàn)，批量化配置。

⑵ 集群統(tǒng)一管理和大數(shù)據(jù)分析

大規(guī)模集群的CPU、GPU利用率統(tǒng)計(jì);節(jié)點(diǎn)內(nèi)存使用統(tǒng)計(jì)、網(wǎng)絡(luò)流量統(tǒng)計(jì)、I/O數(shù)據(jù)讀寫速率、閾值預(yù)警機(jī)制;適用于各類型設(shè)備及不同版本操作系統(tǒng)的監(jiān)控工具，并對(duì)信息的歷史記錄進(jìn)行追蹤。

⑶ 基于手機(jī)APP運(yùn)維平臺(tái)研究

開發(fā)基于手機(jī)APP的IT運(yùn)維平臺(tái)，使得用戶能夠在第一時(shí)間反饋故障信息，并能全程監(jiān)控維護(hù)過程，同運(yùn)維人員溝通并參與評(píng)價(jià)，從而提高運(yùn)維人員工作效率，縮短故障處理時(shí)間。

2.3 云平臺(tái)測試與優(yōu)化研究

測試Hadoop分布式存儲(chǔ)應(yīng)用，以及多軟件適應(yīng)性測試;智能化云調(diào)度測試;常規(guī)偏移系統(tǒng)、作業(yè)類型自動(dòng)識(shí)別;服務(wù)器負(fù)載均衡測試、關(guān)鍵模塊效率測試。

形成基于物探處理行業(yè)標(biāo)準(zhǔn)的GeoBench技術(shù)測試集，其中BigBench技術(shù)開展大數(shù)據(jù)分布式存儲(chǔ)性能測試，測試DFS的I/O性能，驗(yàn)證task的mapper的數(shù)量與性能的關(guān)系;IozoneBench技術(shù)測試不同文件系統(tǒng)的讀寫性能;SpeedupBench技術(shù)通過不同數(shù)據(jù)體、不同軟件，在相同軟硬件和文件系統(tǒng)平臺(tái)上進(jìn)行對(duì)比測試。

根據(jù)測試結(jié)果，通過人工智能、神經(jīng)網(wǎng)絡(luò)等方法，預(yù)測在大規(guī)模并行情況下，不同應(yīng)用平臺(tái)的加速比、運(yùn)算效率等，從而對(duì)云計(jì)算、大數(shù)據(jù)平臺(tái)的硬件架構(gòu)和軟件開發(fā)、應(yīng)用給出科學(xué)的優(yōu)化建議（圖3）[4-6]。

3 云平臺(tái)關(guān)鍵技術(shù)

3.1 主從數(shù)據(jù)庫應(yīng)用技術(shù)

在高并發(fā)讀寫、負(fù)載逼近極限情況下，性能指標(biāo)仍可以維持雙曲線甚至對(duì)數(shù)曲線，且到達(dá)頂峰之后不再下降，因?yàn)樗胸S富的幾何類型，實(shí)際上不止幾何類型，PG有大量字典、數(shù)組、bitmap等數(shù)據(jù)類型，“無鎖定”特性非常突出，甚至包括vacuum這樣的整理數(shù)據(jù)空間的操作，可以使用函數(shù)和條件索引，這使得數(shù)據(jù)庫的調(diào)優(yōu)非常靈活。

有極其強(qiáng)大的SQL編程能力，有非常豐富的統(tǒng)計(jì)函數(shù)和統(tǒng)計(jì)語法支持，比如分析函數(shù)，還可以用多種語言來寫存儲(chǔ)過程，對(duì)于R的支持也很好。

有多種集群架構(gòu)可供選擇，plproxy可以支持語句級(jí)的鏡像或分片，slony可以進(jìn)行字段級(jí)的同步設(shè)置，standby可以構(gòu)建WAL文件級(jí)或流式的讀寫分離集群，同步頻率和集群策略調(diào)整方便，操作非常簡單。TEXT類型可以直接訪問，SQL語法內(nèi)置正則表達(dá)式，可以索引，還可以全文檢索，或使用xml xpath[7]。

3.2 大二層網(wǎng)絡(luò)架構(gòu)應(yīng)用技術(shù)

其整體扁平化的架構(gòu)設(shè)計(jì)，使得計(jì)算節(jié)點(diǎn)之間高速通過交互，之間不再有匯聚交換機(jī)增加轉(zhuǎn)發(fā)延時(shí)。

支持智能運(yùn)維管理和可編程化管理，可根據(jù)高性能計(jì)算的要求，批量下發(fā)腳本，配合高性能計(jì)算，彈性擴(kuò)展計(jì)算所需要的計(jì)算網(wǎng)絡(luò)資源，或者回收計(jì)算網(wǎng)絡(luò)資源。

4 結(jié)束語

構(gòu)建PB級(jí)的地震數(shù)據(jù)處理系統(tǒng)，創(chuàng)新大二層網(wǎng)絡(luò)架構(gòu)，可以滿足規(guī)模更大且速度更快的地震數(shù)據(jù)共享存儲(chǔ)及計(jì)算集群應(yīng)用。

在GeoEast云平臺(tái)搭建之后，可形成地質(zhì)解釋云，實(shí)現(xiàn)異地瀏覽、信息交流、技術(shù)支持等功能;數(shù)據(jù)偏移處理云則可跨區(qū)域?qū)崿F(xiàn)資源共享，提高作業(yè)運(yùn)行效率，從而節(jié)約運(yùn)營成本。

參考文獻(xiàn)（References）：

[1] 詹毅，趙波，劉建紅等.GeoEastV3.0地震數(shù)據(jù)處理解釋一體化軟件系統(tǒng)[J].石油科技論壇，2017（增刊）：4-7

[2] 文佳敏，趙長海，侯紅軍等.GeoEast海量地震數(shù)據(jù)高效處理技術(shù)[J].石油工業(yè)計(jì)算機(jī)應(yīng)用，2016.24（3）：12-18

[3] 馬軍，滑維鑫.分布式云平臺(tái)架構(gòu)及管理技術(shù)[J].數(shù)字通信世界，2018.2：183-185

[4] 原建偉，何玉輝，丁潔.大數(shù)據(jù)實(shí)驗(yàn)云平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息技術(shù)，2018.2：68-71

[5] 于由美，劉小斌，江明等.地質(zhì)綜合研究云平臺(tái)運(yùn)維管理[J].中國管理信息化，2019.22（7）：163-165

[6] 李養(yǎng)生，謝立冬，任紅民等.勘探開發(fā)專業(yè)云平臺(tái)的建設(shè)及應(yīng)用效果[J].復(fù)雜油氣藏，2017.10（4）：32-35

[7] 陳麗麗.大數(shù)據(jù)時(shí)代的數(shù)據(jù)庫技術(shù)應(yīng)用之我見[J].信息系統(tǒng)工程，2016.6：83-85