摘 要: 隨著地球物理數(shù)據(jù)處理計(jì)算量的快速增加,使得單機(jī)運(yùn)算已難以滿足其計(jì)算需求。采用并行計(jì)算技術(shù)來提高處理速度是主要發(fā)展方向。為了解決地球物理數(shù)據(jù)處理中的大規(guī)模計(jì)算問題,提出基于工作站集群的并行系統(tǒng)架構(gòu),采用JPPF的網(wǎng)格計(jì)算框架,構(gòu)建地球物理并行計(jì)算平臺(tái)。JPPF易于使用、代碼開源,利用其在并行任務(wù)管理和負(fù)載均衡方面的優(yōu)勢(shì),設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)2.5維可控源音頻大地電磁正演并行系統(tǒng)。在實(shí)驗(yàn)中對(duì)頻率并行和非并行的計(jì)算效率進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果表明在并行計(jì)算平臺(tái)硬件一定的情況下,隨著頻點(diǎn)個(gè)數(shù)的增多,該系統(tǒng)能夠較為明顯地提高計(jì)算效率。
關(guān)鍵詞: 地球物理; 網(wǎng)格計(jì)算; 工作站集群; 正演模型計(jì)算; 可控音頻源大地電磁
中圖分類號(hào): TN911?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2016)02?0018?04
Study on parallel computation platform in geophysics
ZHANG Wei1, 2, YANG Jin1
(1. School of Geophysics and Information Technique, China University of Geosciences, Beijing 100083, China;
2. College of Computer, North China Institute of Science and Technology, Beijing 101601, China)
Abstract: Because of the quick increase of calculated amount for geophysics data processing, it is rather difficult for one single computer to meet various kinds of computational requirements. Currently, it is a main trend to adopt the parallel computation techniques to enhance the processing speed. In order to deal with the large scale of computation work in geophysical data processing, a parallel system architecture based on workstation clusters is put forward, and JPPF grid computation framework is adopted to construct a parallel computation platform for geophysics. JPPF has open source code, and is easy to use. It is quite convenient to take its advantages in parallel task management and load balance to design and implement a forward modeling parallel system for 2.5?D CSAMT. A contrast between parallel computation efficiency and serial computation efficiency was performed in an experiment. Its results show that the system can improve its computation efficiency obviously with the increase of frequency points under a certain hardware environment of parallel computing platform.
Keywords: geophysics; grid computation; workstation cluster; forward model calculation; controlled source audio?frequency magnetotellurics
0 引 言
隨著我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展,能源、環(huán)境、地下水等一系列關(guān)乎國(guó)計(jì)民生的領(lǐng)域都有地球物理勘查的身影[1];同時(shí)隨著電子技術(shù)和信息技術(shù)的發(fā)展,使得重、磁、電、震、放射性、測(cè)井等傳統(tǒng)的地球物理方法不斷發(fā)展。其中一個(gè)重要特點(diǎn)就是地球物理數(shù)據(jù)的的精度越來越高,信息量也成幾何級(jí)數(shù)增長(zhǎng),例如地震波法勘探收集的數(shù)據(jù)通常都以TB計(jì),在海洋勘探過程中收集到的數(shù)據(jù)容量更是會(huì)突破PB級(jí)別量[2]。同時(shí)各種反演算法也不斷推陳出新,其中大多數(shù)算法對(duì)于計(jì)算機(jī)的計(jì)算能力有較高要求,地球物理的數(shù)據(jù)處理對(duì)于計(jì)算機(jī)的計(jì)算效率提出了新的要求。為了提高地球物理數(shù)據(jù)處理的計(jì)算效率,人們主要從以下兩個(gè)方面著手去解決:
(1) 提高算法本身的改進(jìn)。在精度可控的情況下,對(duì)算法進(jìn)行改進(jìn),提高算法效率。
(2) 對(duì)于處理平臺(tái)的改進(jìn)。在硬件方面,不斷創(chuàng)造速度更快的計(jì)算機(jī),提高主頻速度到多核心處理器;在軟件方面,探索并行計(jì)算的處理技術(shù),提高計(jì)算速度。
本文主要是在處理平臺(tái)層次,對(duì)處理軟件的并行性進(jìn)行研究,研究目標(biāo)是利用計(jì)算機(jī)集群系統(tǒng)和網(wǎng)格計(jì)算方法設(shè)計(jì)一個(gè)具有通用性特點(diǎn),能夠適應(yīng)不同地球物理方法的數(shù)據(jù)處理的并行計(jì)算平臺(tái)。
1 地球物理數(shù)據(jù)處理現(xiàn)狀
對(duì)于地球物理數(shù)據(jù)處理而言,隨著儀器精度和操作便捷性的提升,野外采集數(shù)據(jù)的規(guī)模動(dòng)輒數(shù)十GB,加之各種正反演算法也不斷演化,使得地球物理數(shù)據(jù)處理的計(jì)算量已經(jīng)超出了單臺(tái)PC機(jī)的計(jì)算能力。而我國(guó)計(jì)算機(jī)的發(fā)展現(xiàn)狀以及固體礦產(chǎn)和工程地球物理勘探的投資也不足以廣泛使用高速的大規(guī)模并行計(jì)算機(jī)[3]。
目前地球物理數(shù)據(jù)處理的軟件基本上還處于單臺(tái)計(jì)算機(jī)運(yùn)行的狀態(tài),處理軟件大多是儀器設(shè)備自帶,也有第三方公司開發(fā)的優(yōu)秀處理軟件。然而這些軟件通常僅限于單機(jī)運(yùn)行,這主要是由于地球物理數(shù)據(jù)處理本身就很復(fù)雜,如果在去考慮并行計(jì)算和分布式的問題,就會(huì)使處理軟件本身的設(shè)計(jì)面臨巨大的挑戰(zhàn),而且在地球物理數(shù)據(jù)處理軟件內(nèi)部再集成并行運(yùn)算會(huì)形成高度耦合的系統(tǒng),這樣高度耦合的軟件系統(tǒng)從軟件工程的角度來看會(huì)給軟件系統(tǒng)后期的運(yùn)行和維護(hù)帶來巨大的風(fēng)險(xiǎn)和挑戰(zhàn),嚴(yán)重的耦合甚至?xí)?dǎo)致整個(gè)系統(tǒng)的失敗。因此,必須將地球物理數(shù)據(jù)處理軟件和并行計(jì)算平臺(tái)進(jìn)行解耦,正確的系統(tǒng)架構(gòu)如圖1所示。
圖1 地球物理數(shù)據(jù)并行處理架構(gòu)
如何能夠在保證運(yùn)算速度提升的情況下,又可以最大限度的利用現(xiàn)有計(jì)算資源便成為一個(gè)擺在地球物理工作者面前一個(gè)亟待解決的問題?;谟?jì)算機(jī)集群系統(tǒng)的網(wǎng)格計(jì)算從一定程度上解決了這個(gè)投入與產(chǎn)出的平衡問題。
2 并行計(jì)算機(jī)系統(tǒng)在地球物理數(shù)據(jù)處理中的應(yīng)用
目前并行計(jì)算機(jī)系統(tǒng)主要有三大趨勢(shì),對(duì)稱多處理機(jī)(Symmetric Multiprocessor,SMP),大規(guī)模并行處理機(jī)(Massively Parallel Processor,MPP)和工作站集群(COW)[4]。對(duì)稱多處理機(jī)系統(tǒng)(SMP)通常使用商用處理器,其采用對(duì)稱式的處理器布局和共享存儲(chǔ)器系統(tǒng),通過高速的總線將處理器和存儲(chǔ)器相連,但由于采用共享存儲(chǔ)器,系統(tǒng)中的處理器數(shù)目不得超過64個(gè)[5]。例如Sun公司的Enterprise服務(wù)器。
大規(guī)模并行處理機(jī)(MPP)一般是指由成百上千個(gè)分布式處理機(jī)用高速網(wǎng)絡(luò)連接而成的超大型計(jì)算機(jī)系統(tǒng)。MPP的可擴(kuò)展性很好,通常采用專用的商用處理器,計(jì)算速度一般為千億次量級(jí),例如我國(guó)的曙光系列超計(jì)算機(jī)。工作站集群,也被稱為“非正式的超級(jí)計(jì)算機(jī)”[6],通常是指將具有較高性能的PC機(jī)通過獨(dú)立、專門的網(wǎng)絡(luò)進(jìn)行連接,例如Ethernet,F(xiàn)DDI,ATM等,從而形成一個(gè)在物理空間上相互獨(dú)立,但通過專門的軟件系統(tǒng)連接后卻又在邏輯上相互統(tǒng)一的計(jì)算平臺(tái)。
對(duì)于地球物理數(shù)據(jù)處理而言,能夠?qū)F(xiàn)有實(shí)驗(yàn)室中的高性能工作站互聯(lián),充分發(fā)揮其計(jì)算效能是最經(jīng)濟(jì)、最便捷的手段。因此研究工作的目標(biāo)就是設(shè)計(jì)一個(gè)將若干個(gè)普通計(jì)算機(jī)通過Ethernet進(jìn)行互聯(lián)接后,從系統(tǒng)架構(gòu)上形成一個(gè)工作站集群,再通過網(wǎng)格計(jì)算平臺(tái)的集中調(diào)度,使其成為一個(gè)具備地球物理數(shù)據(jù)處理功能的并行計(jì)算平臺(tái)。
集成的計(jì)算與資源環(huán)境則稱為網(wǎng)格[7]。網(wǎng)格計(jì)算技術(shù)則通過將各個(gè)計(jì)算節(jié)點(diǎn)上的計(jì)算資源、存儲(chǔ)資源、通信資源進(jìn)行整合從而形成一個(gè)虛擬的、并行的計(jì)算平臺(tái)。網(wǎng)格計(jì)算中允許節(jié)點(diǎn)具有高度的自治能力,各個(gè)節(jié)點(diǎn)資源配置基本不具有對(duì)稱性,因此往往需要一定的資源共享和負(fù)載平衡機(jī)制。網(wǎng)格計(jì)算消除了資源的孤島,可以最大化地使用節(jié)點(diǎn)的資源,使得網(wǎng)格內(nèi)的閑置資源得以充分利用。網(wǎng)格計(jì)算系統(tǒng)主要包括:節(jié)點(diǎn)、系統(tǒng)軟件和網(wǎng)格應(yīng)用軟件。在工作站集群的架構(gòu)下,網(wǎng)格節(jié)點(diǎn)通常是指計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源等相互獨(dú)立的完整的計(jì)算機(jī)系統(tǒng),例如PC機(jī)、高性能的服務(wù)器,甚至可以使用一臺(tái)智能手機(jī),如圖2所示。
圖2 集群模式下的網(wǎng)格計(jì)算節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)
系統(tǒng)軟件則是指對(duì)網(wǎng)格計(jì)算系統(tǒng)中的各種資源進(jìn)行調(diào)配、各個(gè)節(jié)點(diǎn)的負(fù)載進(jìn)行均衡的管理軟件,而且這種軟件應(yīng)當(dāng)具有相當(dāng)?shù)目缙脚_(tái)特性,這樣才能夠保證其在各種異構(gòu)網(wǎng)格節(jié)點(diǎn)上正常工作。網(wǎng)格應(yīng)用軟件則是面向某一個(gè)特定的應(yīng)用領(lǐng)域而專門研發(fā)的軟件,例如水利、石油、能源、飛機(jī)制造等對(duì)大規(guī)模計(jì)算和數(shù)據(jù)處理具有需求的行業(yè)。網(wǎng)格計(jì)算框架對(duì)于地球物理數(shù)據(jù)處理軟件而言是完全透明的,其在功能上專注于網(wǎng)格計(jì)算中涉及到的計(jì)算任務(wù)的劃分、任務(wù)的分配、計(jì)算結(jié)果的收集、計(jì)算節(jié)點(diǎn)的管理、冗余計(jì)算、異常處理等機(jī)制。
3 網(wǎng)格計(jì)算框架的實(shí)現(xiàn)與選擇
Java語(yǔ)言具有與生俱來的跨平臺(tái)特性,因此對(duì)于需要在異構(gòu)系統(tǒng)上運(yùn)行的網(wǎng)格計(jì)算框架,優(yōu)先考慮Java語(yǔ)言實(shí)現(xiàn)的網(wǎng)格計(jì)算框架。JPPF是一個(gè)完全采用Java語(yǔ)言編寫,開源的網(wǎng)格計(jì)算框架[8]。JPPF不僅可以方便地構(gòu)建網(wǎng)格計(jì)算的平臺(tái),而且還支持J2EE集成,從而將網(wǎng)格計(jì)算框架內(nèi)資源向分布式應(yīng)用開放。
JPPF的網(wǎng)格計(jì)算的邏輯結(jié)構(gòu)如圖3所示[9]。
圖3 JPPF框架的基本邏輯結(jié)構(gòu)
Clinet是網(wǎng)格計(jì)算資源的入口點(diǎn),計(jì)算任務(wù)通過Client提交到網(wǎng)格進(jìn)行計(jì)算,并通過Client查看最終的計(jì)算結(jié)果。Server是整個(gè)網(wǎng)格計(jì)算的調(diào)度中心,它負(fù)責(zé)接收Client提交的計(jì)算任務(wù),并將任務(wù)分解成獨(dú)立的計(jì)算單元,隨后根據(jù)調(diào)度算法將計(jì)算單元分配到各個(gè)Node。Node完成計(jì)算任務(wù)后會(huì)將計(jì)算結(jié)果返回給Server,Server整理計(jì)算任務(wù)后再返回給Client。Node是計(jì)算資源節(jié)點(diǎn),在JPPF框架下對(duì)于Node沒有明確的軟硬件要求,只要能運(yùn)行Java程序就可以,因此Node甚至可以使一臺(tái)智能手機(jī)。Client與Node之間沒有直接聯(lián)系,相互均處于黑盒狀態(tài)。Server對(duì)提交的任務(wù)全權(quán)負(fù)責(zé),提供負(fù)載均衡、錯(cuò)誤恢復(fù)、安全保障、計(jì)算任務(wù)傳輸、計(jì)算結(jié)果反饋等一系列核心功能。
JPPF還可以進(jìn)行多級(jí)方式的擴(kuò)展,即將多個(gè)JPPF Server進(jìn)行相互連接,從而形成一個(gè)龐大的網(wǎng)格計(jì)算資源,拓?fù)浣Y(jié)構(gòu)如圖4所示。在這種拓?fù)浣Y(jié)構(gòu)中,發(fā)起連接的ServerA被視為一個(gè)Client,而被連接的ServerB被視為一個(gè)Node。對(duì)于單個(gè)Server其理論上可以連接3 000個(gè)Node,而在n個(gè)Server的拓?fù)浣Y(jié)構(gòu)中,整個(gè)網(wǎng)格計(jì)算資源中的Node可以達(dá)到3 000 n個(gè)。因此采用這種方式后整個(gè)網(wǎng)格計(jì)算的資源從邏輯上講是沒有上限的。
圖4 經(jīng)過級(jí)聯(lián)后的JPPF網(wǎng)格的邏輯結(jié)構(gòu)
4 架構(gòu)設(shè)計(jì)
由于JPPF提供了網(wǎng)格計(jì)算中可擴(kuò)展性、負(fù)載平衡、錯(cuò)誤恢復(fù)等一系列核心功能,因此對(duì)于地球物理數(shù)據(jù)處理軟件而言,只需要將大規(guī)模計(jì)算任務(wù)分解后提交給JPPF計(jì)算就可以,整個(gè)JPPF對(duì)于地球物理數(shù)據(jù)處理軟件而言是透明的。圖5所示為一種基于JPPF的地球物理網(wǎng)格計(jì)算系統(tǒng)的架構(gòu)。
圖5 基于JPPF的地球物理網(wǎng)格計(jì)算系統(tǒng)
整個(gè)地球物理數(shù)據(jù)并行計(jì)算系統(tǒng)主要分為兩大部分:地球物理數(shù)據(jù)處理框架和JPPF框架。野外采集的數(shù)據(jù)根據(jù)數(shù)據(jù)類型、地球物理方法類別、儀器的設(shè)備種類等不同條件進(jìn)行數(shù)據(jù)的預(yù)處理和歸一化。處理后的數(shù)據(jù)存入數(shù)據(jù)庫(kù)或文件系統(tǒng),這里統(tǒng)一稱之為“持久化存儲(chǔ)系統(tǒng)”。接下來,根據(jù)數(shù)據(jù)處理的具體要求和項(xiàng)目的實(shí)際需要,選擇合適的地球物理正反演方法,并對(duì)算法中的用到的各種矩陣、參數(shù)等進(jìn)行初始化。之后就可以根據(jù)預(yù)處理好的數(shù)據(jù)和算法進(jìn)行并行算法的任務(wù)分解,并經(jīng)過Client提交給MainServer進(jìn)行網(wǎng)格計(jì)算。
在網(wǎng)格計(jì)算框架的拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)上,采用了星形級(jí)聯(lián)的方式,所有的并行計(jì)算任務(wù)都統(tǒng)一發(fā)送到MainServer進(jìn)行調(diào)度和分配。由于網(wǎng)絡(luò)基礎(chǔ)條件的限制,為了防止網(wǎng)絡(luò)擁塞的頻繁發(fā)生,通常采取在物理空間上相近的計(jì)算機(jī),采用1臺(tái)計(jì)算機(jī)為Server,5~10臺(tái)為Node的子網(wǎng)格配置方式。所有子網(wǎng)格中Server均連接到MainServer,作為邏輯上Node節(jié)點(diǎn)。從而實(shí)現(xiàn)并行計(jì)算任務(wù)的逐級(jí)分解。當(dāng)Node完成計(jì)算工作后,計(jì)算結(jié)果也會(huì)通過逐級(jí)組合的形式,匯總到MainServer形成一個(gè)與原始并行任務(wù)對(duì)應(yīng)的計(jì)算結(jié)果,再通過JPPFClient返回給地球物理數(shù)據(jù)處理框架。
5 實(shí)驗(yàn)結(jié)果及分析
基于上述設(shè)計(jì)結(jié)果,進(jìn)行了驗(yàn)證性實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境采用1個(gè)Server,1個(gè)Client,5個(gè)Node構(gòu)成JPPF網(wǎng)格計(jì)算平臺(tái)。計(jì)算機(jī)配置如下:處理器為(英特爾)Intel[?] CoreTM 2 Duo CPU T8300 2.40 GHz,內(nèi)存為512 MB。地球物理數(shù)據(jù)處理框架采用Java語(yǔ)言編寫,實(shí)現(xiàn)了水平地形條件下2.5維可控源音頻大地電磁CSAMT有限單元正演算法[10?11],經(jīng)過改進(jìn)后的并行算法流程如圖6所示。
圖6 CSAMT 2.5維正演并行計(jì)算程序流程圖
對(duì)于上述算法,存在3種粒度的并行性:按照頻率進(jìn)行、按照波數(shù)進(jìn)行、按照單元進(jìn)行。以F個(gè)頻點(diǎn)、L個(gè)波數(shù)、N個(gè)單元的程序?yàn)槔O(shè)計(jì)算單元矩陣的運(yùn)行時(shí)間為U s(為使問題簡(jiǎn)化,其他計(jì)算任務(wù)時(shí)間可忽略不計(jì)),則總計(jì)算時(shí)間T=F×L×N×U。在最理想的條件下,假設(shè)所有并行的任務(wù)同時(shí)開始,同時(shí)結(jié)束,即假設(shè)JPPF的并行計(jì)算能力無限大,可以同時(shí)進(jìn)行無窮多個(gè)并行任務(wù),則在不同粒度的并行效率分析如表1所示??梢姴⑿行宰詈玫牡?中方法運(yùn)行時(shí)間最短,而第1中方法則屬于串行算法。針對(duì)上述并行性分析,在對(duì)JPPF的并行任務(wù)分解時(shí)就涉及到8中不同的維度進(jìn)行,考慮到實(shí)驗(yàn)環(huán)境的網(wǎng)絡(luò)基礎(chǔ)條件和實(shí)際的計(jì)算機(jī)配置,實(shí)驗(yàn)用的任務(wù)分配策略采用第5種,即僅在頻率域進(jìn)行并行計(jì)算任務(wù)的劃分。
表1 CSAMT 2.5維有限單元正演算法并行性分析
實(shí)驗(yàn)中采用計(jì)算了均勻半空間中的TE模式的視電阻率,頻點(diǎn)采用從1~8 192 Hz的范圍取值,根據(jù)頻點(diǎn)個(gè)數(shù)由程序自動(dòng)等間隔劃分。實(shí)驗(yàn)結(jié)果如圖7所示。
圖7 CSAMT 2.5維正演模型頻點(diǎn)并行與非并行算法比較
由圖7分析可知,隨著頻點(diǎn)個(gè)數(shù)的增加頻率并行計(jì)算時(shí)間和非并行計(jì)算時(shí)間的差距逐漸增大,網(wǎng)格計(jì)算平臺(tái)的優(yōu)勢(shì)逐漸顯現(xiàn)。但同時(shí)也發(fā)現(xiàn)并行計(jì)算的時(shí)間與對(duì)照表中的理想情況存在較大差距,這主要是因?yàn)榫W(wǎng)格計(jì)算框架中Server和Client的通信質(zhì)量嚴(yán)重依賴于基礎(chǔ)網(wǎng)絡(luò)的通信,當(dāng)并行任務(wù)較小時(shí),網(wǎng)絡(luò)通信的代價(jià)會(huì)高于并行計(jì)算帶來的收益;當(dāng)并行任務(wù)增多,則會(huì)帶來網(wǎng)絡(luò)通信的擁塞問題,這也會(huì)對(duì)并行計(jì)算的效率產(chǎn)生影響。因此,對(duì)于一個(gè)硬件條件固定的網(wǎng)格計(jì)算平臺(tái)而言,并行任務(wù)的數(shù)量存在一個(gè)閾值,當(dāng)超過或低于這個(gè)閾值時(shí)網(wǎng)格計(jì)算的效率都會(huì)降低,只有在此閾值附近時(shí)才能使網(wǎng)格計(jì)算平臺(tái)發(fā)揮最大的計(jì)算效率。
6 結(jié) 語(yǔ)
采用工作站集群的并行系統(tǒng)結(jié)構(gòu),利用開源的JPPF網(wǎng)格計(jì)算框架,實(shí)現(xiàn)了一個(gè)地球物理并行計(jì)算平臺(tái)。實(shí)驗(yàn)結(jié)果顯示,利用JPPF的并行計(jì)算平臺(tái)能夠顯著提高CSAMT 2.5維正演程序的計(jì)算效率。但是,對(duì)于不同的地球物理算法,并行性任務(wù)的劃分有很大不同,在下一步的研究工作中,將研究地球物理算法并行任務(wù)的自動(dòng)識(shí)別與劃分。
參考文獻(xiàn)
[1] 徐觀來.地球物理勘探技術(shù)發(fā)展現(xiàn)狀與實(shí)際應(yīng)用研究[J].科技創(chuàng)新與應(yīng)用,2014(8):35.
[2] 李敏.高性能并行計(jì)算機(jī)的發(fā)展及其在石油勘探中的應(yīng)用[J].科技導(dǎo)報(bào),2014(2):80?83.
[3] 陳金窗,戴光明.微機(jī)網(wǎng)絡(luò)并行計(jì)算及2.5維CSAMT正演的并行實(shí)現(xiàn)[J].物探化探計(jì)算技術(shù),1997(2):8?12.
[4] 劉羽,王家映.地球物理數(shù)據(jù)處理與并行計(jì)算[J].桂林工學(xué)院學(xué)報(bào),2004(4):412?416.
[5] 牛小鵬,李清寶,曾光裕.SMP對(duì)稱多處理機(jī)系統(tǒng)中交叉開關(guān)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息工程大學(xué)學(xué)報(bào),2009(2):191?194.
[6] 武耀輝,崔永謙,時(shí)健民,等.工作站集群系統(tǒng)的建立與應(yīng)用[J].中國(guó)石油勘探,2002(2):57?59.
[7] 都志輝,陳渝,劉鵬.網(wǎng)格計(jì)算[M].北京:清華大學(xué)出版社,2002.
[8] 許力,牟曉光,馬云存.JPPF在構(gòu)建高性能ETL過程中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2008(z2):223?225.
[9] Anon. A first taste of JPPF [EB/OL]. [2014?05?01]. http://www.jppf.org/doc/v3/index.php?title=A_first_taste_of_JPPF.
[10] 葛偉男.2.5?D CSAMT有限元正演模擬[D].長(zhǎng)沙:中南大學(xué),2012.
[11] 馮萬杰.可控源音頻磁場(chǎng)測(cè)深法2.5D正演計(jì)算[D].長(zhǎng)沙:中南大學(xué),2012.