GeoEast項(xiàng)目高效遷移技術(shù)研究與應(yīng)用

張潔 趙玉梅 張紅杰 史哲 張衛(wèi)華 段文曉

DOI：10.16644/j.cnki.cn33-1094/tp.2021.11.004

摘? 要： 隨著GeoEast軟件版本和計(jì)算機(jī)集群設(shè)備的不斷更新?lián)Q代，在地震勘探生產(chǎn)中經(jīng)常面臨著大規(guī)模的項(xiàng)目數(shù)據(jù)遷移，所涉及的數(shù)據(jù)量往往高達(dá)數(shù)百TB甚至PB級(jí)。而GeoEast傳統(tǒng)的交互式遷移方法用時(shí)長(zhǎng)、效率低、占用磁盤空間大，對(duì)項(xiàng)目生產(chǎn)的影響較大，已不能滿足日趨頻繁的項(xiàng)目遷移需求。文章針對(duì)以上現(xiàn)狀，結(jié)合實(shí)際生產(chǎn)場(chǎng)景從GeoEast數(shù)據(jù)存放結(jié)構(gòu)方式以及遷移手段改進(jìn)等方面著手，實(shí)現(xiàn)不同應(yīng)用場(chǎng)景下GeoEast項(xiàng)目安全、高效遷移。

關(guān)鍵詞： GeoEast; Oracle數(shù)據(jù)庫(kù); 項(xiàng)目遷移; 備份策略

中圖分類號(hào)：TP311.5? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2021）11-13-03

Research and application of efficient migration technology for GeoEast project

Zhang Jie， Zhao Yumei， Zhang Hongjie， Shi Zhe， Zhang Weihua， Duan Wenxiao

（BGP， CNPC， Zhuozhou， Hebei 072750， China）

Abstract： With the continuous update of GeoEast software version and computer cluster equipment， large-scale project data migration is often faced in seismic exploration and production， the amount of data involved is often as high as hundreds of terabytes or even petabytes. However， the traditional interactive migration of GeoEast takes a long time， has low efficiency and takes up a large amount of disk space， which has a greater impact on project production， and can no longer meet the needs of increasingly frequent project migration. In view of the above current situation， this article starts with the improvement of GeoEast data storage structure and migration methods in combination with actual production scenarios， and realizes the safe and efficient migration of GeoEast projects in different application scenarios.

Key words： GeoEast; Oracle database; project migration; backup strategy

0 引言

GeoEast系統(tǒng)作為國(guó)內(nèi)首款由中國(guó)石油集團(tuán)東方地球物理公司自主研發(fā)的大型地震資料處理解釋一體化軟件[1]，從2004年v1.0版本對(duì)外發(fā)布以來(lái)，經(jīng)過(guò)十七年的發(fā)展目前已經(jīng)升級(jí)到v3.5版本。而在大規(guī)模地震資料處理實(shí)際生產(chǎn)使用過(guò)程中，常常會(huì)面臨高性能集群設(shè)備的更新?lián)Q代、操作系統(tǒng)及軟件的不斷升級(jí)與更新、單位設(shè)備的調(diào)整和調(diào)撥、項(xiàng)目更迭需要更換集群及存儲(chǔ)等情況。而隨著地震勘探精度不斷提高、野外勘探數(shù)據(jù)量不斷增大，GeoEast系統(tǒng)中單個(gè)處理項(xiàng)目的數(shù)據(jù)往往有幾百TB，大型項(xiàng)目數(shù)據(jù)量甚至達(dá)到PB級(jí)。而傳統(tǒng)的GeoEast遷移方式需要將整個(gè)項(xiàng)目數(shù)據(jù)打包遷移，單節(jié)點(diǎn)單任務(wù)交互式的遷移需要耗費(fèi)大量的時(shí)間，一旦失敗就要重新開(kāi)始，對(duì)項(xiàng)目生產(chǎn)的影響很大。為了提高GeoEast項(xiàng)目的遷移效率，需要結(jié)合生產(chǎn)現(xiàn)狀對(duì)GeoEast項(xiàng)目數(shù)據(jù)組成部分進(jìn)行分析與研究，對(duì)數(shù)據(jù)遷移的方式進(jìn)行優(yōu)化與改進(jìn)，以滿足GeoEast海量項(xiàng)目數(shù)據(jù)高效遷移的需求。

1 存在的問(wèn)題

目前GeoEast項(xiàng)目傳統(tǒng)的遷移方式主要有三種：①使用交互遷移工具DBcontrol;②使用GeoEast主控界面上的Backup/Restore工具;③將原項(xiàng)目數(shù)據(jù)導(dǎo)出成外部格式（如segy等），再在目標(biāo)項(xiàng)目中導(dǎo)入數(shù)據(jù)。這些方式的核心都是將整個(gè)項(xiàng)目數(shù)據(jù)在原機(jī)柜進(jìn)行打包備份，并導(dǎo)出到中間磁盤上，再解壓恢復(fù)到新機(jī)柜上（如圖1）。以上方法操作簡(jiǎn)便、易于上手，有交互界面對(duì)用戶較為友好，但還存在著以下問(wèn)題。

⑴ 效率低：地震數(shù)據(jù)占用空間往往很大，大量數(shù)據(jù)的備份恢復(fù)以及導(dǎo)入導(dǎo)出所用的時(shí)間是系統(tǒng)級(jí)拷貝時(shí)間的數(shù)倍，并且傳統(tǒng)的遷移方式只能在單節(jié)點(diǎn)上單進(jìn)程操作，耗時(shí)長(zhǎng)。

⑵ 失敗率高：項(xiàng)目數(shù)據(jù)的備份恢復(fù)、導(dǎo)入導(dǎo)出只能通過(guò)交互界面進(jìn)行操作，無(wú)法中斷，否則遷移失敗只能重新開(kāi)始，且當(dāng)項(xiàng)目數(shù)據(jù)量大時(shí)成功率很低。

⑶ 浪費(fèi)空間：項(xiàng)目數(shù)據(jù)備份或者導(dǎo)出需要額外占用一份磁盤空間，除原有項(xiàng)目占用的磁盤空間外，還需要兩倍以上的空間才能完成遷移。

2 高效遷移技術(shù)研究

2.1 GeoEast項(xiàng)目數(shù)據(jù)結(jié)構(gòu)

在GeoEast系統(tǒng)中，用戶的項(xiàng)目數(shù)據(jù)一部分存放在數(shù)據(jù)庫(kù)中（一般為數(shù)據(jù)的信息部分），一部分存放在文件系統(tǒng)中（一般為數(shù)據(jù)實(shí)體文件）。數(shù)據(jù)的表現(xiàn)形式有兩種，一種是主控的數(shù)據(jù)樹(shù)，是以項(xiàng)目/工區(qū)/測(cè)線為結(jié)構(gòu)的，反映了數(shù)據(jù)庫(kù)數(shù)據(jù)的應(yīng)用邏輯結(jié)構(gòu)。另一種是數(shù)據(jù)目錄結(jié)構(gòu)（也以項(xiàng)目/工區(qū)/測(cè)線為結(jié)構(gòu)），存儲(chǔ)的是數(shù)據(jù)實(shí)體、動(dòng)態(tài)數(shù)據(jù)。創(chuàng)建一個(gè)新項(xiàng)目時(shí)，在數(shù)據(jù)庫(kù)中就記錄了該項(xiàng)目的信息，包括項(xiàng)目的用戶、創(chuàng)建時(shí)間、道數(shù)、采樣間隔等信息，同時(shí)在磁盤上創(chuàng)建了整個(gè)項(xiàng)目的目錄結(jié)構(gòu)[2]。GeoEast主控界面上顯示的數(shù)據(jù)信息即為卷頭數(shù)據(jù)庫(kù)表中的信息，地震數(shù)據(jù)的道頭和數(shù)據(jù)體較大，分成若干二進(jìn)制文件存儲(chǔ)在磁盤中，道頭和數(shù)據(jù)體的列表則是通過(guò)以“.header”和“.dat”為后綴的文本文件存放在項(xiàng)目主盤工區(qū)目錄下（如圖2）[3]。

由此可知，在GeoEast系統(tǒng)中，如果沒(méi)有數(shù)據(jù)庫(kù)中的數(shù)據(jù)標(biāo)識(shí)信息，實(shí)體數(shù)據(jù)則不能被GeoEast系統(tǒng)所識(shí)別;如果沒(méi)有磁盤部分的實(shí)體數(shù)據(jù)，那么這個(gè)項(xiàng)目?jī)H僅在數(shù)據(jù)庫(kù)里存在一個(gè)標(biāo)識(shí)，無(wú)法進(jìn)行實(shí)際使用。因此，如果要實(shí)現(xiàn)項(xiàng)目完整遷移，必須同時(shí)遷移數(shù)據(jù)庫(kù)數(shù)據(jù)和磁盤數(shù)據(jù)。

2.2 遷移模式的改進(jìn)

針對(duì)效率低、失敗率高的傳統(tǒng)遷移方法主要的痛點(diǎn)，我們對(duì)項(xiàng)目遷移的模式進(jìn)行改進(jìn)，創(chuàng)新了并行分層多任務(wù)的新方法（如圖3），改進(jìn)的遷移方法主要有以下幾點(diǎn)思路：

⑴ 因項(xiàng)目數(shù)據(jù)庫(kù)文件占用空間小，而磁盤文件占用空間大，可將整個(gè)項(xiàng)目拆分為數(shù)據(jù)庫(kù)遷移和磁盤文件遷移兩個(gè)部分;

⑵ 僅針對(duì)操作較為復(fù)雜的數(shù)據(jù)庫(kù)部分進(jìn)行交互式備份和恢復(fù)操作;

⑶ 占空間量很大的磁盤文件采用多節(jié)點(diǎn)多任務(wù)并行的方式進(jìn)行遷移;

⑷ 編寫程序?qū)?shù)據(jù)完整性進(jìn)行檢查，保證遷移數(shù)據(jù)正確、完整;

⑸ 編寫程序自動(dòng)修改與數(shù)據(jù)庫(kù)相關(guān)的磁盤文件，確保數(shù)據(jù)庫(kù)與項(xiàng)目數(shù)據(jù)內(nèi)容一一對(duì)應(yīng)。

該方法主要有以下優(yōu)點(diǎn)。

● 效率高 只將數(shù)據(jù)量非常小的項(xiàng)目數(shù)據(jù)庫(kù)信息做備份、恢復(fù)操作，數(shù)據(jù)量極大的磁盤數(shù)據(jù)采用多節(jié)點(diǎn)并行的方式遷移到目標(biāo)機(jī)柜。

● 節(jié)省磁盤空間 由于磁盤數(shù)據(jù)直接遷移到目標(biāo)機(jī)柜，節(jié)省了中間數(shù)據(jù)額外占用的一份磁盤空間。

● 成功率高 數(shù)據(jù)庫(kù)的備份可以使用后臺(tái)命令在集群上完成，磁盤數(shù)據(jù)遷移也是在集群上以命令行方式后臺(tái)執(zhí)行，一般不會(huì)被中斷。

2.3 地震數(shù)據(jù)遷移優(yōu)化

地震數(shù)據(jù)因占用磁盤空間大，遷移耗時(shí)長(zhǎng)，單節(jié)點(diǎn)單任務(wù)串行的遷移方式會(huì)對(duì)遷移節(jié)點(diǎn)和存儲(chǔ)造成很大的壓力和負(fù)載。在遷移前應(yīng)該對(duì)原磁盤的地震數(shù)據(jù)進(jìn)行切分，再分成多節(jié)點(diǎn)多進(jìn)程將切分后的數(shù)據(jù)同時(shí)進(jìn)行遷移[4]。數(shù)據(jù)切分的并行遷移方式不僅緩解了單個(gè)節(jié)點(diǎn)遷移所導(dǎo)致的IO瓶頸，還有效地縮短了遷移時(shí)間，提高了遷移效率。在對(duì)大數(shù)據(jù)量地震數(shù)據(jù)遷移之前，要先對(duì)整個(gè)項(xiàng)目的地震數(shù)據(jù)總量進(jìn)行估算，結(jié)合預(yù)計(jì)的遷移周期，根據(jù)真實(shí)遷移環(huán)境中的硬件情況：如節(jié)點(diǎn)數(shù)量、網(wǎng)絡(luò)帶寬、目標(biāo)存儲(chǔ)性能等進(jìn)行合理配置。整個(gè)流程分為以下幾步：

⑴ 遷移前估算并統(tǒng)計(jì)整個(gè)項(xiàng)目的地震數(shù)據(jù)量，并根據(jù)數(shù)據(jù)量分配遷移硬件環(huán)境;

⑵ 針對(duì)遷移地震數(shù)據(jù)量預(yù)估遷移所需時(shí)長(zhǎng)，若超出預(yù)期值，則對(duì)地震數(shù)據(jù)進(jìn)行切分;

⑶ 切分成功后多節(jié)點(diǎn)多線程并行遷移;

⑷ 遷移完成后自動(dòng)校驗(yàn)合并后的數(shù)據(jù)是否完整，目錄及文件的屬性是否完整;

⑸ 在GeoEast中加載遷移后的地震數(shù)據(jù)，完成遷移。

多節(jié)點(diǎn)多進(jìn)程并行遷移方法可有效地提高超大地震數(shù)據(jù)項(xiàng)目的遷移效率。在實(shí)際生產(chǎn)中多個(gè)項(xiàng)目遷移過(guò)程中，在滿足性能和成本的雙重條件下，還可以根據(jù)不同項(xiàng)目數(shù)據(jù)的訪問(wèn)熱度設(shè)定規(guī)則，將訪問(wèn)頻次和熱度較高的項(xiàng)目數(shù)據(jù)遷移至高速硬盤中，保證系統(tǒng)對(duì)熱點(diǎn)項(xiàng)目數(shù)據(jù)遷移的響應(yīng)速度;將訪問(wèn)頻次和熱度較低的數(shù)據(jù)自動(dòng)遷移至低速硬盤中，減少這部分?jǐn)?shù)據(jù)在高速硬盤中占用的空間，從而提升整個(gè)系統(tǒng)的遷移性能[5]，最大化存儲(chǔ)的使用價(jià)值，高效、安全地完成大數(shù)據(jù)項(xiàng)目的遷移工作。

3 應(yīng)用效果

并行分層多任務(wù)高效遷移技術(shù)，可以支持多種場(chǎng)景的項(xiàng)目遷移：①支持單個(gè)項(xiàng)目遷移場(chǎng)景;②支持整組機(jī)柜遷移至新機(jī)柜場(chǎng)景;③支持整組機(jī)柜遷移至已有項(xiàng)目機(jī)柜場(chǎng)景。對(duì)單個(gè)項(xiàng)目遷移情況進(jìn)行測(cè)試，測(cè)試情況如表1，從對(duì)比結(jié)果可以看出，并行分層多任務(wù)遷移方式的用時(shí)幾乎是原遷移方法所需時(shí)間的1/5。對(duì)整組機(jī)柜項(xiàng)目遷移至全新機(jī)柜的情況進(jìn)行測(cè)試，將八個(gè)項(xiàng)目總數(shù)據(jù)量為210TB的一組機(jī)柜進(jìn)行遷移，分別采用原有的遷移方式以及創(chuàng)新的高效遷移方式進(jìn)行對(duì)比測(cè)試，情況如表2，從對(duì)比結(jié)果可以看出，使用新遷移方法的效率較原有方法提高了七倍。

4 結(jié)束語(yǔ)

隨著地震資料采集野外原始數(shù)據(jù)量的不斷增大，GeoEast系統(tǒng)中運(yùn)行的項(xiàng)目數(shù)據(jù)量也越來(lái)越大，海量數(shù)據(jù)的項(xiàng)目遷移一直是GeoEast系統(tǒng)運(yùn)維工作的一個(gè)痛點(diǎn)。我們對(duì)實(shí)際生產(chǎn)中大規(guī)模地震數(shù)據(jù)遷移進(jìn)行多次測(cè)試，摸索出了不同遷移場(chǎng)景下GeoEast項(xiàng)目安全、高效的遷移方法。通過(guò)高效遷移技術(shù)的應(yīng)用，目前已完成數(shù)百個(gè)項(xiàng)目的數(shù)據(jù)遷移，所遷移的項(xiàng)目軟件版本從v2.6跨越到v3.5，涉及到的設(shè)備節(jié)點(diǎn)超過(guò)5000臺(tái)，遷移數(shù)據(jù)量達(dá)PB級(jí)。每次項(xiàng)目遷移在保證項(xiàng)目數(shù)據(jù)完整、有效的情況下均能高效完成，大大縮短了項(xiàng)目遷移花費(fèi)的時(shí)間，提高了地震處理項(xiàng)目生產(chǎn)效率。該技術(shù)適用于目前所有的GeoEast項(xiàng)目遷移場(chǎng)景，具有良好的推廣應(yīng)用前景。此外，針對(duì)未來(lái)GeoEast系統(tǒng)PostgreSQL數(shù)據(jù)庫(kù)環(huán)境下的項(xiàng)目遷移方面還有待于我們結(jié)合實(shí)際生產(chǎn)進(jìn)一步探索與研究。

參考文獻(xiàn)（References）：

[1] 徐少波，白雪蓮，曾強(qiáng)，林茂春，黃燕，潘煥革.GeoEast地震數(shù)據(jù)處理解釋一體化軟件系統(tǒng)[J].石油工業(yè)計(jì)算機(jī)應(yīng)用，2016.3（24）：6-11

[2] 張恩莉.基于GeoEast的解釋項(xiàng)目數(shù)據(jù)庫(kù)研究與設(shè)計(jì)[J].信息系統(tǒng)工程，2020.1.

[3] 東方地球物理物探技術(shù)研究中心.GeoEast v3.5系統(tǒng)管理手冊(cè)，2020.

[4] 劉宇.數(shù)據(jù)遷移部署系統(tǒng)設(shè)計(jì)與優(yōu)化研究[D].華南理工大學(xué)，2019.

[5] 周陽(yáng).云存儲(chǔ)中冷熱數(shù)據(jù)的混合冗余方法研究[J].移動(dòng)通信，2018.8.