基于邊緣計(jì)算的大地電磁法三維反演分布式計(jì)算實(shí)現(xiàn)

梁 萌,吳文鸝,馮 斌,陳 實(shí),劉艷麗

(1.中國地質(zhì)科學(xué)院 地球物理地球化學(xué)勘查研究所，廊坊 065000；2.國土資源部 地球物理電磁法探測(cè)技術(shù)重點(diǎn)實(shí)驗(yàn)室，廊坊 065000)

0 引言

在地球物理方法的應(yīng)用中，大地電磁法勘探作為一種有效的技術(shù)手段，應(yīng)用在我國經(jīng)濟(jì)社會(huì)發(fā)展包括能源、礦產(chǎn)勘查和深部探測(cè)等一系列重要領(lǐng)域。隨著勘探技術(shù)的提高和勘探目標(biāo)的日趨復(fù)雜，驅(qū)使大地電磁法三維勘探及處理技術(shù)逐步推廣，由剖面二維測(cè)量發(fā)展到了多剖面測(cè)區(qū)三維測(cè)量，從而導(dǎo)致數(shù)據(jù)量成倍增長?？紤]到項(xiàng)目實(shí)施周期及綜合解釋等要求，對(duì)數(shù)據(jù)處理周期的要求越來越短，以往的串行處理方式已經(jīng)不能完全滿足項(xiàng)目實(shí)施的要求，采用并行計(jì)算已經(jīng)成為數(shù)據(jù)處理的必然趨勢(shì)[1]。以往基于單臺(tái)計(jì)算機(jī)多線程的并行程序,對(duì)計(jì)算效率的提高也極其有限，近兩年在地球物理數(shù)據(jù)處理研究方面，尤其是電磁法三維正反演方面，多采用分布式并行編程模式(MPI)實(shí)現(xiàn)地球物理多進(jìn)程并行計(jì)算[2]，相比單機(jī)運(yùn)行程序可以有效提高計(jì)算效率，但其對(duì)計(jì)算機(jī)的計(jì)算能力要求也越來越高，甚至需要采用具有超性能計(jì)算機(jī)來進(jìn)行三維反演并行計(jì)算，但這樣無疑會(huì)增加項(xiàng)目實(shí)施的成本[3]。

邊緣計(jì)算是為應(yīng)用開發(fā)者和服務(wù)提供商在網(wǎng)絡(luò)的邊緣側(cè)提供云服務(wù)和軟件環(huán)境服務(wù)，在靠近數(shù)據(jù)輸入的地方提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)帶寬[4]?；谶吘売?jì)算的理念，可以將原本需要由超性能計(jì)算機(jī)來處理的數(shù)據(jù)計(jì)算移往網(wǎng)絡(luò)邏輯上的邊緣節(jié)點(diǎn)進(jìn)行分布式處理，由于高性能工作站及高速網(wǎng)絡(luò)設(shè)備已經(jīng)成為科研院所及高級(jí)院校中的必備設(shè)備，將已有的高性能工作站通過單位內(nèi)部的局域網(wǎng)絡(luò)聯(lián)接形成分布式計(jì)算環(huán)境，為分布式并行計(jì)算提供一個(gè)可供研發(fā)及數(shù)據(jù)處理的平臺(tái)。

1 分布式計(jì)算環(huán)境構(gòu)建

依托中國地質(zhì)科學(xué)院地球物理地球化學(xué)勘查研究所(物化探所)地質(zhì)云物理分節(jié)點(diǎn)硬件設(shè)備，采用虛擬化技術(shù)構(gòu)建具有一定計(jì)算與存儲(chǔ)規(guī)模的硬件資源池[5]，結(jié)合3臺(tái)曙光工作站和3臺(tái)華為服務(wù)器，形成分布式計(jì)算環(huán)境的硬件環(huán)境(圖1)?；谶吘売?jì)算的理念將以上計(jì)算機(jī)通過局域網(wǎng)絡(luò)互相連接后，形成可以集中調(diào)度計(jì)算資源的分布式計(jì)算環(huán)境[6]，用于分布式并行計(jì)算研發(fā)和高性能計(jì)算服務(wù)。

圖1 分布式計(jì)算環(huán)境架構(gòu)圖Fig.1 Architecture of distributed computing environment

以往多采用手動(dòng)配置方式將若干臺(tái)計(jì)算機(jī)連接形成分布式計(jì)算環(huán)境，涉及到網(wǎng)絡(luò)配置、節(jié)點(diǎn)間無密碼登錄和程序手動(dòng)部署等一系列繁雜的操作，隨著計(jì)算機(jī)數(shù)量的增加其操作的繁雜程度會(huì)成倍增長，造成了計(jì)算機(jī)集群難以快速擴(kuò)展?？傊?，未形成有效的分布式計(jì)算環(huán)境構(gòu)建、程序的部署與運(yùn)行方案，在一定程度上阻礙了分布式并行程序的研發(fā)和推廣應(yīng)用。

區(qū)別于以往的手動(dòng)配置方式，筆者提出基于容器編排系統(tǒng)Kubernetes構(gòu)建分布式計(jì)算環(huán)境。Kubernetes是一款開源的容器編排系統(tǒng)，旨在提供一個(gè)用于跨主機(jī)集群自動(dòng)部署、擴(kuò)展和操作容器(Docker)的平臺(tái)，其運(yùn)行核心是將分布在不同主機(jī)的應(yīng)用容器，通過網(wǎng)絡(luò)組件連接實(shí)現(xiàn)服務(wù)的分布式計(jì)算[7]。Docker是一個(gè)基于Linux技術(shù)構(gòu)建容器的容器引擎，以Docker容器為程序運(yùn)行的載體，與基于物理實(shí)體計(jì)算機(jī)方式相比，在流程化的開發(fā)、測(cè)試、部署和維護(hù)具有較高的優(yōu)勢(shì)[8]。

采用Kubernetes容器編排系統(tǒng)將圖1所示計(jì)算機(jī),通過局域網(wǎng)絡(luò)進(jìn)行連接形成在物理空間上相互獨(dú)立，但在邏輯上相互統(tǒng)一的計(jì)算平臺(tái)。具體操作包括4個(gè)步驟：①計(jì)算機(jī)安裝Linux操作系統(tǒng)；②計(jì)算機(jī)安裝Kubernetes容器編排系統(tǒng)；③選擇其中1臺(tái)計(jì)算機(jī)作為主節(jié)點(diǎn)且初始化;④其他節(jié)點(diǎn)通過網(wǎng)絡(luò)加入主節(jié)點(diǎn)，形成由主節(jié)點(diǎn)統(tǒng)一調(diào)度的計(jì)算資源池。基于以上4個(gè)步驟可快速構(gòu)建分布式計(jì)算環(huán)境，若需要進(jìn)一步擴(kuò)展計(jì)算資源只要執(zhí)行第2步和第4步操作，解決了以往手動(dòng)配置分布式計(jì)算環(huán)境的操作繁雜問題。

2 三維反演程序部署與運(yùn)行

手動(dòng)配置分布式計(jì)算環(huán)境的主要缺點(diǎn)是缺少統(tǒng)一調(diào)度計(jì)算資源的能力，且由于各臺(tái)計(jì)算機(jī)存在操作系統(tǒng)版本與環(huán)境配置的差異，需要在每一臺(tái)計(jì)算機(jī)上分別部署和調(diào)試應(yīng)用程序。采用Kubernetes容器編排系統(tǒng)構(gòu)建的分布式計(jì)算環(huán)境，可以通過由主節(jié)點(diǎn)統(tǒng)一調(diào)度的計(jì)算資源池快速部署以Docker容器為載體的應(yīng)用程序，由于部署后的Docker容器運(yùn)行時(shí)包括應(yīng)用程序及其依賴的運(yùn)行環(huán)境，不必再進(jìn)一步調(diào)試應(yīng)用程序。

在計(jì)算資源池上通過主節(jié)點(diǎn)部署大地電磁法三維反演程序，筆者采用基于MPI的美國俄勒岡州立大學(xué)的ModEM大地電磁法三維反演并行程序[9]，首先構(gòu)建包含大地電磁法三維反演程序的Docker容器鏡像，構(gòu)建步驟如表1所示。此構(gòu)建步驟具有通用性，若部署其他程序，只需在第2步中將執(zhí)行程序以及依賴環(huán)境進(jìn)行替換。

表1 Docker鏡像構(gòu)建步驟表Tab.1 Building steps of Docker image

構(gòu)建大地電磁法三維反演程序的鏡像后，通過主節(jié)點(diǎn)在計(jì)算資源池中部署此鏡像形成多個(gè)計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)由Kubernetes的網(wǎng)絡(luò)組件連接形成分布式計(jì)算環(huán)境，基于計(jì)算節(jié)點(diǎn)內(nèi)部的MPI環(huán)境實(shí)現(xiàn)大地電磁法三維反演分布式并行計(jì)算。分布式計(jì)算環(huán)境由主節(jié)點(diǎn)提供的接口服務(wù)模塊進(jìn)行調(diào)度與運(yùn)行，接口服務(wù)模塊基于Kubernetes提供的Python語言API接口編寫，具體功能函數(shù)包括計(jì)算節(jié)點(diǎn)發(fā)現(xiàn)，數(shù)據(jù)文件上傳與結(jié)果回傳，計(jì)算啟動(dòng)、計(jì)算進(jìn)度監(jiān)控與停止?；诜植际接?jì)算環(huán)境提供的計(jì)算服務(wù)接口，進(jìn)一步研發(fā)大地電磁法三維反演分布式計(jì)算軟件。

3 三維反演分布式計(jì)算軟件

大地電磁法三維反演分布式計(jì)算軟件由系統(tǒng)集成框架與計(jì)算服務(wù)接口兩部分組成(圖2)，系統(tǒng)集成框架基于物化探所電法工作站和三維電磁探測(cè)數(shù)據(jù)處理與反演解釋軟件系統(tǒng)[10]等已有研究成果實(shí)現(xiàn)，集成框架框架以數(shù)據(jù)驅(qū)動(dòng)為核心，采用插件模式設(shè)計(jì)，由多維圖形可視化、人機(jī)交互操作界面和插件管理模塊組成，底層采用數(shù)據(jù)庫管理大地電磁法數(shù)據(jù)和反演模型。計(jì)算服務(wù)接口基于插件開發(fā)模式集成于系統(tǒng)框架中，通過按鈕、列表、曲線和進(jìn)度條等人機(jī)交互方式實(shí)現(xiàn)和使用相應(yīng)的接口功能，實(shí)現(xiàn)方法處理過程監(jiān)控，反演結(jié)果查看和分析(圖3)。由圖3可以看出，大地電磁法三維反演分布式計(jì)算軟件的數(shù)據(jù)計(jì)算與用戶操作兩部分完全分離，其區(qū)別于傳統(tǒng)電磁法軟件主要特點(diǎn)包括：①軟件部署在客戶端，用戶直接操作軟件不必登錄到計(jì)算服務(wù)器上使用，減少不必要的操作流程;②數(shù)據(jù)計(jì)算與軟件操作分離，可進(jìn)行離線計(jì)算，不會(huì)造成因軟件關(guān)閉造成反演計(jì)算進(jìn)程終止的問題;③當(dāng)反演程序更新時(shí),不必更新客戶端軟件,只需要在服務(wù)端重新部署應(yīng)用程序,可實(shí)現(xiàn)程序的快速部署與集成。

圖2 大地電磁法三維反演分布式計(jì)算軟件架構(gòu)圖Fig.2 Architecture of three-dimensional magnetotelluric inversion distributed computing software

圖3 大地電磁法三維反演分布式計(jì)算軟件操作界面Fig.3 Interface of three-dimensional magnetotelluric inversion distributed computing software

4 應(yīng)用實(shí)例

為了對(duì)研發(fā)的大地電磁法三維反演分布式計(jì)算軟件的有效性和并行效率進(jìn)行測(cè)試，設(shè)計(jì)了一個(gè)2層理論模型，用其合成數(shù)據(jù)在分布式計(jì)算環(huán)境上進(jìn)行試算。模型為2層模型，模型為每層含4個(gè)異常體(如圖4所示)，第一層每個(gè)異常體規(guī)模相同：長為500 m，寬為500 m，高為100 m。頂界面位于-100 m處，4個(gè)異常體的中心點(diǎn)分別位于(-500，-500)、(500，-500)、(-500，500)、(500，500)，電阻率分別為30 Ω·m、300 Ω·m、300 Ω·m、30 Ω·m；第二層每個(gè)異常體規(guī)模相同：長為500 m，寬為500 m，高為300 m。頂界面位于-300 m處，4個(gè)異常體的中心點(diǎn)分別位于(-500，-500)、(500，-500)、(-500，500)、(500，500)，電阻率分別為2 000 Ω·m、20 Ω·m、20 Ω·m、3 000 Ω·m。背景電阻率為100 Ω·m。正演采用的地面測(cè)點(diǎn)規(guī)模描述如下，測(cè)線21條，測(cè)線間隔為100 m，每條測(cè)線上21個(gè)測(cè)點(diǎn)，測(cè)點(diǎn)間隔為100 m，共441個(gè)測(cè)點(diǎn)。正演頻率采用0.031 25 Hz至8 192 Hz共38個(gè)頻點(diǎn)。理論模型經(jīng)正演得到合成數(shù)據(jù)后進(jìn)行反演，反演參數(shù)與初始模型描述如下，正則化因子為2，搜索半徑為50 m，迭代次數(shù)30次；模型網(wǎng)格數(shù)三個(gè)方向分別為40、40和44個(gè)，初始模型電阻率為100 Ω·m。從圖5、圖6中看出，反演結(jié)果可以很好地反映模型上下2層8個(gè)異常體的形態(tài)與位置。

圖4 模型示意圖Fig.4 Diagram of model(a)模型在y=-500 m垂直方向斷面圖；(b)模型在y=500 m垂直方向斷面圖；(c)模型在z=-150 m平面俯視圖；(d)模型在z=-450 m平面俯視圖。

圖5 反演結(jié)果在不同深度的水平切片圖Fig.5 Horizontal slice of inversion results at different depths(a)反演結(jié)果在深度150 m的水平切片圖；(b)反演結(jié)果在深度450 m的水平切片圖

圖6 反演結(jié)果的垂直斷面圖Fig.6 Vetical section of inversion results(a)y=-500 m；(b)y=500 m

為保證并行效率統(tǒng)計(jì)的計(jì)算性能一致性，基于容器編排系統(tǒng)的標(biāo)簽技術(shù)，在相同配置的6臺(tái)計(jì)算機(jī)上部署16個(gè)計(jì)算節(jié)點(diǎn)，測(cè)試結(jié)果如表2所示，其中加速比=單節(jié)點(diǎn)運(yùn)算時(shí)間/并行運(yùn)算時(shí)間，計(jì)算效率=加速比/參加計(jì)算的節(jié)點(diǎn)數(shù)量。

表2 MT 三維反演并行計(jì)算效率Tab.2 Parallel computation efficiency of MT 3-D inversion

從表2分析得出，隨著計(jì)算節(jié)點(diǎn)個(gè)數(shù)的增加計(jì)算時(shí)間會(huì)相應(yīng)縮短，并行計(jì)算的加速比隨著計(jì)算節(jié)點(diǎn)數(shù)的增加而提高，當(dāng)計(jì)算節(jié)點(diǎn)是16個(gè)時(shí)，加速比達(dá)到9.92倍。隨著計(jì)算節(jié)點(diǎn)個(gè)數(shù)的增加計(jì)算效率會(huì)不斷下降，當(dāng)計(jì)算節(jié)點(diǎn)是16個(gè)時(shí)，計(jì)算效率只有62.02%，這是由于計(jì)算節(jié)點(diǎn)是通過容器編排系統(tǒng)Kubernetes構(gòu)建的虛擬局域網(wǎng)絡(luò)進(jìn)行通信，在并行計(jì)算過程中程序的數(shù)據(jù)通信時(shí)間隨著計(jì)算節(jié)點(diǎn)的增加，其所占的比例逐漸增大，造成計(jì)算效率逐步下降。

5 結(jié)束語

基于邊緣計(jì)算的理念，采用Kubernetes和Docker兩項(xiàng)容器技術(shù)構(gòu)建具有大規(guī)模計(jì)算資源的分布式計(jì)算環(huán)境，實(shí)現(xiàn)了將大地電磁法三維反演的并行計(jì)算任務(wù)分配到網(wǎng)絡(luò)邊緣設(shè)備上，通過高性能工作站協(xié)同完成三維反演分布式并行計(jì)算。通過模型合成數(shù)據(jù)進(jìn)行反演試算，分析了在增加計(jì)算規(guī)模的情況下對(duì)分布式并行計(jì)算的影響，結(jié)果表明，分布式計(jì)算環(huán)境解決了三維反演計(jì)算速度和資源需求問題?；谒神詈戏绞降能浖軜?gòu)設(shè)計(jì)，研發(fā)了大地電磁法三維反演分布式計(jì)算軟件，實(shí)現(xiàn)了人機(jī)交互操作和反演結(jié)果可視化，進(jìn)一步推動(dòng)了大地電磁法三維反演程序的實(shí)用化。在下一步的研究工作中，將細(xì)化三維反演算法的并行任務(wù)，以適應(yīng)分布式計(jì)算環(huán)境，進(jìn)一步提高反演程序的并行計(jì)算效率。

致謝

感謝美國俄勒岡州立大學(xué)Gary Egbert教授提供的ModEM大地電磁法三維反演源程序。