地震解釋系統(tǒng)中集群并行存儲系統(tǒng)研究與應(yīng)用

侯朋輝/中石化河南油田分公司石油物探技術(shù)研究院

地震解釋系統(tǒng)中集群并行存儲系統(tǒng)研究與應(yīng)用

侯朋輝/中石化河南油田分公司石油物探技術(shù)研究院

本文討論了全局統(tǒng)一命名空間的集群并行并行存儲系統(tǒng)在地震資料解釋中的應(yīng)用。針對高性能計算技術(shù)中地震資料解釋系統(tǒng)中成功運用分布式并行存儲系統(tǒng)、建立存儲池、優(yōu)化存儲存取鏈路、基于全局統(tǒng)一命名空間對存儲管理以及存儲整合。

地震解釋；集群；存儲；并行存儲；存儲池

1、引言

隨著地震勘探技術(shù)的發(fā)展，產(chǎn)生海量地震數(shù)據(jù)飛速的增長，對數(shù)據(jù)存儲帶來的挑戰(zhàn)也是非常明顯的，由此地震解釋系統(tǒng)中對存儲系統(tǒng)對高性能、穩(wěn)定性、和可擴展性等也提出了更高等要求。運用集群并行存儲技術(shù)、將存儲資源池化、從而有效的優(yōu)化存儲鏈路、存儲資源整合、存儲I／O帶寬性能、滿足了地震解釋對存儲的新的需求。

2、集群并行存儲構(gòu)建

1）使用環(huán)境

河南油田物探院地震資料處理中心擁有多套計算機集群和近2PB的分布式集群并行存儲系統(tǒng)。在本文中我們討論一個地震資料解釋項目應(yīng)用分布式并行存儲系統(tǒng)的案例。

在該地震解釋項目中我們使用的地震資料解釋硬件平臺是31節(jié)點刀片服務(wù)器集群系統(tǒng)、并針對地震資料解釋系統(tǒng)的需求對該集群系統(tǒng)環(huán)境進行了相應(yīng)對優(yōu)化。

存儲系統(tǒng)使用BaseCluster分布式并行存儲集群中抽取4個存儲控制器提供200TB對存儲系統(tǒng)。

所有的集群計算節(jié)點和存儲系統(tǒng)全部采用全線速萬兆網(wǎng)絡(luò)連接。

2）BaseCluster并行存儲簡介

怡立BaseCluster并行存儲系統(tǒng)，是一個集群設(shè)計和全局命名空間的基于對象的并行文件系統(tǒng)，采用并行共享文件系統(tǒng)，來統(tǒng)一管理存儲，為在網(wǎng)的各類計算機主機提供統(tǒng)一的存儲，當一個項目和工作組需要存儲時，動態(tài)地分配所需存儲空間，項目完成釋放存儲空間給其他項目使用，非常便捷。

怡立BaseCluster并行存儲系統(tǒng)是一個多功能結(jié)構(gòu)一體化存儲解決方案，在每存儲個設(shè)備上集成了并行存儲控制器、磁盤陣列控制器、并行存儲管理軟件等，使用彈性Hash算法定位數(shù)據(jù)位置，摒棄元數(shù)據(jù)服務(wù)，高效穩(wěn)定。在配置條帶化的數(shù)據(jù)卷，所有并行存儲控制器同時并行讀寫數(shù)據(jù)，具有很高的效率。

3）存儲規(guī)劃

在使用BaseCluster之前，要根據(jù)本單位的實際進行存儲規(guī)劃，把用戶和所使用的空間（Volume）、數(shù)據(jù)塊對應(yīng)起來，以便設(shè)置和日后的維護。

BaseCluster并行存儲的RAID控制器是基于空間的RAID技術(shù)，除了具有優(yōu)越的讀寫性能外，在使用的靈活性方面也比較優(yōu)秀。它可以在一個控制器里設(shè)置多個任意容量任意級別RAID組，所以我們只需考慮一個最小和最大的用戶卷所需的數(shù)據(jù)塊的大小設(shè)置。通過不同的chunk數(shù)據(jù)塊，為用戶生成不同容量的并行存儲卷。

zoning規(guī)劃：

每臺并行存儲分為兩個zoning， 分別為zoning Group8、zoning Group9。

Zoning Group8包含1到12槽位磁盤驅(qū)動器、Master并行控制器、Master RAID控制器。

Group8的Zoning端口:phy0-phy3，phy12-phy23。

Zoning Group9包含13到24槽位磁盤驅(qū)動器、Slave并行控制器、Slave RAID控制器。

Group9的Zoning端口:phy4-phy7，phy24-phy35。

RAID規(guī)劃：

每個zoning中化分一個RAID組，每個RAID組建立兩個20TB的RAID卷和一個10TB的RAID卷。

生成用戶卷規(guī)劃見表2-1：

用戶卷規(guī)劃表2 -1

一般情況下，一個用戶卷設(shè)定后，你可以在Volume管理中增加chunk的方式來增加用戶卷的容量容量，在使用過程是不可以進行減少容量，更不能進行刪除操作，這是防止管理員誤刪數(shù)據(jù)而設(shè)定的機制。如果你需要減少容量的話，需要先確認你當前的容量的數(shù)據(jù)量大小和你減少之后的存儲容量大小是否能夠匹配。也就是說你的數(shù)據(jù)能不在您的減少之后的存儲設(shè)備里存儲下的問題。

3、基于并行存儲的統(tǒng)一命名空間的存儲資源池化管理

通過存儲資源池化，使得多個文件存儲設(shè)備的環(huán)境中的文件訪問和管理得以簡化。如圖3-1管理員除了可以管理目標為單個命名空間的文件映射，還可配置目標為統(tǒng)一全局命名空間的文件映射。此外，因為客戶端通過全局命名空間訪問文件，所以其文件可跨統(tǒng)一存儲池中的多個設(shè)備存儲。存儲容量的這種聯(lián)合，讓組織可以高效利用存儲容量，并集成現(xiàn)有基礎(chǔ)架構(gòu)中的各種存儲技術(shù)，將文件的邏輯訪問與文件的物理位置相脫離，使文件的物理位置變更能以對客戶端系統(tǒng)透明的方式進行。因此，管理員在執(zhí)行需對物理環(huán)境進行更改的管理任務(wù)時，僅會造成最少的中斷和停機。

圖3-1 管理界面

在本項目中我們將其中的兩臺并行存儲劃進一個存儲池中，每臺并行存儲都具備雙并行控制器，分別把每個控制器都加入到該存儲池中，根據(jù)之前到規(guī)劃，我們分別在存儲池中到各個控制器里取不同到chunk數(shù)據(jù)塊分別建立一個80TB的分布式卷，一個80TB的條帶化卷和一個備份卷輸出給用戶使用。

4、并行存儲在地震解釋系統(tǒng)中的應(yīng)用場景

在最初測試我們把landmark 應(yīng)用直接安裝在BaseCluster集群并行存儲系統(tǒng)之上并且把landmark地震工區(qū)也創(chuàng)建在BaseCluster集群并行存儲系統(tǒng)之上。我打開任意大小的拋面時發(fā)現(xiàn)會比較慢的現(xiàn)象，我對系統(tǒng)進行里讀寫測試發(fā)現(xiàn)速度并不慢如圖4-1。

圖4-1 速度測試

后來我通過排查發(fā)現(xiàn)，landmark應(yīng)用在運行時會頻繁對向系統(tǒng)寫入很小對log日志。每次寫入并行存儲都要進行哈希計算，從而影響里并行存儲的性能。

最后我們我們把landmark 應(yīng)用安裝在計算節(jié)點系統(tǒng)本地，只把landmark地震工區(qū)創(chuàng)建在BaseCluster集群并行存儲系統(tǒng)之上。再打開范圍大小內(nèi)的地震剖面時就很理想。如圖4-2

在該項目中我們，按照之前的規(guī)劃，我們創(chuàng)建的的三個存儲卷，我們把80TB的分布式卷用做lanmark的存儲數(shù)據(jù)的主存儲，另外80TB的條帶化的存儲，我們做做三維或者時在做jason應(yīng)用的反演時用該存儲卷，因為條帶化的卷的I／O存取帶寬較高，做三維或反演時用戶體檢較好。另外的20TB的備份卷，它具有自動對寫入對數(shù)據(jù)進行分布式對備份復(fù)制功能，我們主要將該卷用做存儲成果數(shù)據(jù)和安全級別較高的數(shù)據(jù)。

5、結(jié)束語

通過對并行存儲在地震解釋系統(tǒng)中的應(yīng)用研究，不斷的完善和改進了并行存儲的使用方法過程并且優(yōu)化了并行存儲系統(tǒng)應(yīng)用效果達到最優(yōu)I／O，進一步提高了集群并行存儲系統(tǒng)在地震解釋系統(tǒng)中的利用率和工作效率。

圖4-2 地震剖面圖

[1] Rajkumar Buyya.鄭緯民,石威,江東升等譯.高性能集群[M].電子科技.2010.5

[2] 戴志敏.存儲虛擬化技術(shù)研究[M ]高性能計算.2012.12

[3] 劉仲,章文嵩,王召福等.基于對象存儲的集群存儲系統(tǒng)[M].計算機工程與科學.2009.4