地震資料處理集群系統(tǒng)的設(shè)計與應(yīng)用

◆孫 超

地震資料處理集群系統(tǒng)的設(shè)計與應(yīng)用

◆孫 超

（中海油研究總院有限責(zé)任公司 北京 100028）

隨著地震勘探采集技術(shù)精度和密度的不斷提高，地震資料處理計算量和數(shù)據(jù)量迅速增加，對硬件資源的要求越來越高。如何將計算、存儲、網(wǎng)絡(luò)資源有效整合在一起，構(gòu)建一套面向地震資料處理的集群系統(tǒng)成為難題。本文提出了一套地震資料處理集群的設(shè)計方案，重點介紹了服務(wù)器、存儲、網(wǎng)絡(luò)設(shè)備的選型以及集群管理系統(tǒng)，最后從性能和應(yīng)用兩方面對集群系統(tǒng)做了詳細的測試。

地震資料處理；集群系統(tǒng)；并行計算；分布式存儲

地震資料處理是利用計算機對野外采集的地震波數(shù)據(jù)進行復(fù)雜的數(shù)學(xué)運算，轉(zhuǎn)換為可供地震解釋的地質(zhì)數(shù)據(jù)的過程，是地球物理勘探中重要的組成部分。隨著地震勘探采集技術(shù)精度和密度的不斷提高，勘探開發(fā)數(shù)據(jù)具備更高分辨率和保真度，這就帶來數(shù)據(jù)量的迅速膨脹[1]。由于石油勘探工作以區(qū)塊作為基本的作業(yè)單位，項目組往往會將盡可能多的區(qū)塊數(shù)據(jù)加載至生產(chǎn)存儲，同時為提高數(shù)據(jù)顯示精度，研究人員還會利用特殊的處理方法產(chǎn)生大量臨時的中間數(shù)據(jù)[2]。因此，根據(jù)地震資料處理的龐大的計算工作量以及海量的數(shù)據(jù)的應(yīng)用特點，需要設(shè)計一套服務(wù)器及存儲集群系統(tǒng)，從而滿足地震處理科研生產(chǎn)的需要。

1 技術(shù)方案設(shè)計

1.1 設(shè)計原則

（1）高性能

集群系統(tǒng)是一個包括服務(wù)器、存儲及交換機的復(fù)雜系統(tǒng)，其整體性能取決于計算、存儲、網(wǎng)絡(luò)交換的綜合體現(xiàn)[3]，在設(shè)計時一定要考慮到木桶原理，避免單一因素成為制約整體系統(tǒng)的瓶頸。所有計算節(jié)點均配備最新多核CPU，保證充足的計算能力；存儲采用分布式架構(gòu)及并行文件系統(tǒng)，滿足高帶寬、高IOPS應(yīng)用的需求；計算、存儲節(jié)點之間采用萬兆光纖網(wǎng)絡(luò)，保證通信密集型作業(yè)的數(shù)據(jù)交換效率。

（2）高安全

高安全主要體現(xiàn)為系統(tǒng)穩(wěn)定性和數(shù)據(jù)安全性。

系統(tǒng)穩(wěn)定性指集群系統(tǒng)的關(guān)鍵部件故障時不影響整體系統(tǒng)的運行，這就要求對管理節(jié)點、交換機、存儲系統(tǒng)的電源、風(fēng)扇、磁盤等硬件均做冗余配置；部署集群監(jiān)控系統(tǒng)，實時掌握集群健康狀態(tài)；部署遠程管理工具，可迅速批量修復(fù)故障節(jié)點，統(tǒng)一分發(fā)配置等。

數(shù)據(jù)安全性指關(guān)鍵業(yè)務(wù)數(shù)據(jù)不丟失、不損壞，通過存儲文件保護技術(shù)、快照技術(shù)以及遠程復(fù)制備份技術(shù)，必要時可建立容災(zāi)備份系統(tǒng)以保障數(shù)據(jù)的安全性。

（3）易擴展

集群系統(tǒng)的一大優(yōu)勢就是高擴展性，一方面可根據(jù)業(yè)務(wù)需求隨時新增計算節(jié)點和存儲節(jié)點，即不影響應(yīng)用的情況下擴展整個系統(tǒng)的計算和存儲能力[4]。另一方面，隨著時間的推移，也可對老舊設(shè)備進行分階段更新?lián)Q代，保證集群系統(tǒng)整體的高性能、高可靠性。

1.2 總體架構(gòu)

地震資料處理集群系統(tǒng)的總體架構(gòu)包括刀片服務(wù)器為主的計算節(jié)點、機架式服務(wù)器為主的管理節(jié)點和I/O節(jié)點、分布式NAS存儲系統(tǒng)以及管理網(wǎng)絡(luò)和計算網(wǎng)絡(luò)，如圖1所示。

圖1 總體架構(gòu)示意圖

1.3 詳細設(shè)計方案

1.3.1服務(wù)器

服務(wù)器是整套集群系統(tǒng)的核心，承擔(dān)著集群管理和計算的任務(wù)。按照功能服務(wù)器可劃分為計算節(jié)點、I/O節(jié)點和管理節(jié)點。

計算節(jié)點一般選用刀片服務(wù)器，刀片服務(wù)器具有體積小、成本低、易批量管理等優(yōu)點。由于地震資料處理屬于計算密集型應(yīng)用，因此建議采用大內(nèi)存（不低于256GB）、雙路多核CPU（不少于10核）；同時由于處理過程中會產(chǎn)生大量臨時的中間文件，對IOPS有非常高的要求，SSD被認(rèn)為是近年來存儲領(lǐng)域最為重要的技術(shù)進步，打破了傳統(tǒng)磁介質(zhì)硬盤I/O性能在技術(shù)發(fā)展上與處理器和內(nèi)存嚴(yán)重脫節(jié)的禁錮[5]，因此建議配備大容量SSD作為緩存盤（不低于1TB）。

GPU的性能發(fā)揮與節(jié)點本地內(nèi)存和本地硬盤性能密切相關(guān)。因此應(yīng)根據(jù)項目大小、數(shù)據(jù)量多少和算法的復(fù)雜程度，綜合確定計算節(jié)點的硬件配置[6]。

I/O節(jié)點和管理節(jié)點一般選用機架服務(wù)器，機架服務(wù)器具有穩(wěn)定性高、擴展性強等優(yōu)點。其中，I/O節(jié)點作為地震處理人員和計算節(jié)點交互的橋梁，處理人員不直接訪問計算節(jié)點，而是通過IO節(jié)點使用軟件、編輯作業(yè)以及發(fā)送交互作業(yè)等。由于地震處理軟件中三維應(yīng)用的增多，建議I/O節(jié)點配備高性能顯卡，以滿足三維顯示及交互等需求；管理節(jié)點負(fù)責(zé)集群系統(tǒng)的用戶管理、節(jié)點狀態(tài)監(jiān)控及管理等工作，管理節(jié)點對整個集群系統(tǒng)的健康狀態(tài)十分重要，因此建議其各個配件均做高冗余配置，必要時可做雙活服務(wù)，以確保關(guān)鍵服務(wù)持續(xù)、穩(wěn)定運行。

1.3.2存儲

針對地震資料處理高密度I/O、多應(yīng)用共享數(shù)據(jù)的應(yīng)用特點，建議采用分布式NAS存儲系統(tǒng)。分布式NAS存儲具有高并發(fā)讀寫訪問、容量性能線性增長等優(yōu)點，支持單一文件系統(tǒng)及NFS、CIFS、FTP等多種協(xié)議接口，可以滿足地震資料處理的各種應(yīng)用需求。元數(shù)據(jù)均勻分布在各個存儲節(jié)點上，一方面消除單獨的元數(shù)據(jù)節(jié)點訪問瓶頸，另一方面也大大增強了數(shù)據(jù)的安全性[7]。

傳統(tǒng)的硬盤RAID模式將數(shù)據(jù)存放在單節(jié)點的不同硬盤，當(dāng)整個節(jié)點出現(xiàn)故障時，無法有效恢復(fù)數(shù)據(jù)。分布式NAS存儲采用N+M的數(shù)據(jù)保護模式，其中，N為原始數(shù)據(jù)分片份數(shù)，M為冗余數(shù)據(jù)分片份數(shù)。在N+M模式下，最多可允許M塊硬盤或M個節(jié)點故障，數(shù)據(jù)仍可正常訪問，并支持自動恢復(fù)。

1.3.3網(wǎng)絡(luò)

網(wǎng)絡(luò)是集群系統(tǒng)的關(guān)鍵組成部分，針對地震資料處理高數(shù)據(jù)吞吐量、高密度數(shù)據(jù)交換的特點，以及集群系統(tǒng)遠程管理維護的需求，設(shè)計兩套相互獨立的網(wǎng)絡(luò)，第一是面向處理人員的萬兆計算網(wǎng)絡(luò)，第二是面向運維人員的千兆管理網(wǎng)絡(luò)。

計算網(wǎng)絡(luò)采用萬兆光纖，主要用于地震數(shù)據(jù)的訪問、傳輸和并行計算處理等；管理網(wǎng)絡(luò)采用千兆銅纜，連接到各個服務(wù)器的遠程管理接口（如HP的ILO、Dell的iDRAC），主要用于整個集群系統(tǒng)的日常維護管理等。兩套網(wǎng)絡(luò)彼此獨立、互不影響。

1.3.4集群管理

集群系統(tǒng)中往往包含數(shù)百臺服務(wù)器，因此必須搭建一套集群管理系統(tǒng)，通過管理網(wǎng)絡(luò)將服務(wù)器的遠程管理接口連接起來，實現(xiàn)服務(wù)器的遠程控制，包括BIOS設(shè)置、RAID設(shè)置、操作系統(tǒng)安裝、健康狀態(tài)監(jiān)控等功能[8]。

目前，一些成熟的集群管理軟件（如HP CMU）支持服務(wù)器的系統(tǒng)配置映像克隆。運維人員在安裝某一臺服務(wù)器后，可以將其備份為模板，然后向剩余的同類型節(jié)點分發(fā)模板實現(xiàn)克隆。利用該技術(shù)可以方便地批量部署、管理集群節(jié)點，實現(xiàn)集群節(jié)點的標(biāo)準(zhǔn)化、規(guī)范化、統(tǒng)一化。

另外，集群管理軟件還需實時監(jiān)測集群的健康狀態(tài)，包括服務(wù)器的網(wǎng)絡(luò)連接狀態(tài)、CPU及內(nèi)存的使用率、關(guān)鍵服務(wù)狀態(tài)等，并通過可視化的方式呈現(xiàn)給運維人員。當(dāng)集群中的設(shè)備發(fā)生故障時，通過郵件、短信的方式發(fā)送告警通知運維人員，以便及時修復(fù)各種軟硬件故障。

2 集群系統(tǒng)測試

2.1 性能測試

2.1.1測試環(huán)境

（1） 服務(wù)器：16個計算節(jié)點，單節(jié)點內(nèi)存256 GB；

（2） 存儲：10個存儲節(jié)點；

（3） 測試工具：iozone。

2.1.2測試方法

每臺服務(wù)器起10個線程，各節(jié)點分別讀寫512 GB大小文件（內(nèi)存兩倍，防止內(nèi)存造成的測試誤差）。

（1） 掛載測試目錄

mount –t nfs –o noatime，nodiratime，nordirplus，vers=3，wsize=1048576，rsize=1048576，noacl，nocto，proto=tcp，async storage：/test /test

（2） 運行iozone

./iozone -i 0 -i 1 -r 1024k -s 50G -Recb iozonetest1.xls -t 160 -w -+n -+m nodelist -C |tee iozone1.log

2.1.3測試結(jié)果

存儲讀帶寬為5.7GB/s，寫帶寬為5.3GB/s，可以看到網(wǎng)絡(luò)帶寬的利用率非常高，沒有出現(xiàn)網(wǎng)絡(luò)傳輸、I/O等瓶頸，整體性能表現(xiàn)良好，性能測試結(jié)果見圖2。

2.2 并行計算應(yīng)用測試

使用Omega地震資料處理軟件進行應(yīng)用測試，選取某海域的一束300條地震測線，共約7TB數(shù)據(jù)的道集處理。使用集群13個計算節(jié)點（共計256核CPU）進行并行計算，使用效率見圖3?？梢钥吹剿杏嬎愎?jié)點CPU負(fù)載均衡，100%高負(fù)荷運轉(zhuǎn)，應(yīng)用情況良好。

圖2 性能測試結(jié)果

圖3 Omega軟件測試結(jié)果

3 結(jié)束語

本文針對地震資料處理應(yīng)用對高性能計算的需求，分別從設(shè)計原則、總體架構(gòu)、硬件選型和集群管理等方面展開論述，提出了一套地震資料處理集群系統(tǒng)的設(shè)計與實現(xiàn)方案。最后使用iozone和Omega軟件對集群系統(tǒng)進行了性能測試和應(yīng)用測試，驗證該集群系統(tǒng)在高性能計算方面的優(yōu)勢。

[1]劉建穎.高分辨率地震資料處理技術(shù)探討[J].信息系統(tǒng)工程，2019（1）：47.

[2]丁超逸.淺談地震數(shù)據(jù)處理問題[J].中國化工貿(mào)易， 2015，7（33）：440.

[3]金第，薛中州，楊俊.面向地震資料處理的集群系統(tǒng)設(shè)計與實現(xiàn)[J].計算機系統(tǒng)應(yīng)用，2010，19（5）：19-23.

[4]葉虹余，陳升義.集群系統(tǒng)在地震資料處理中的應(yīng)用[J]. 電子技術(shù)與軟件工程，2018（13）：126-127.

[5]董玉敏，塔依爾·伊布拉音，關(guān)宇.石油地震資料處理系統(tǒng)中固態(tài)盤應(yīng)用分析[J].信息技術(shù)，2013（1）：132-135.

[6]張紅杰，馬迅飛，李華松，等.地震數(shù)據(jù)處理業(yè)務(wù)對高性能計算機需求分析及配置技術(shù)研究[J].信息系統(tǒng)工程， 2019 （6）：156-157，159.

[7]張俊，馬迅飛，張進鐸，等.海量數(shù)據(jù)的分布式并行集群存儲技術(shù)研究與應(yīng)用[J].信息系統(tǒng)工程，2019（2）：126-128.

[8]李家俊，付喜春，王昊，等. HP PC集群計算機系統(tǒng)集成解決方案[J].石油儀器，2008，22（6）：83-85.