基于主成分-正則化極限學(xué)習(xí)機(jī)的超高密度電法非線性反演

江沸菠, 戴前偉， 董莉

1 中南大學(xué)地球科學(xué)與信息物理學(xué)院， 長沙 410083 2 湖南師范大學(xué)物理與信息科學(xué)學(xué)院， 長沙 410081 3 湖南涉外經(jīng)濟(jì)學(xué)院信息科學(xué)與工程學(xué)院， 長沙 410205

?

基于主成分-正則化極限學(xué)習(xí)機(jī)的超高密度電法非線性反演

江沸菠1,2, 戴前偉1*， 董莉1,3

1 中南大學(xué)地球科學(xué)與信息物理學(xué)院， 長沙 410083 2 湖南師范大學(xué)物理與信息科學(xué)學(xué)院， 長沙 410081 3 湖南涉外經(jīng)濟(jì)學(xué)院信息科學(xué)與工程學(xué)院， 長沙 410205

超高密度電法是一種新的地球物理探測技術(shù)，它通過多通道數(shù)據(jù)采集和多裝置數(shù)據(jù)聯(lián)合反演，極大地提高了電法勘探的成像精度.本文提出一種主成分-正則化極限學(xué)習(xí)機(jī)(PC-RELM)非線性反演方法，該方法針對超高密度電法所獲取的高維勘探數(shù)據(jù)進(jìn)行反演建模，通過隨機(jī)設(shè)定隱層參數(shù)來簡化模型的學(xué)習(xí)過程，通過主成分分析方法來進(jìn)行高維數(shù)據(jù)降維，最后引入正則化因子提高反演模型的泛化能力.論文給出了超高密度電法的原理、樣本構(gòu)造方法和非線性反演流程，使用交叉驗證方法獲得了優(yōu)化的隱節(jié)點數(shù)目和正則化參數(shù)，構(gòu)造了優(yōu)化的反演模型.通過兩個經(jīng)典的超高密度模型的反演結(jié)果表明，該方法能夠較好地解決超高密度電法反演的高維數(shù)據(jù)非線性建模問題，能夠彌補(bǔ)單一裝置數(shù)據(jù)反演的不足，同時相較其他的非線性反演方法(ELM, BPNN和GRNN)具有更加準(zhǔn)確的反演結(jié)果.

超高密度電法； 正則化； 極限學(xué)習(xí)機(jī)； 主成分分析

1 引言

超高密度電法是高密度電法在采集方式上的改進(jìn)，其勘探原理與常規(guī)的電法相同，均以巖礦石的電性差異為基礎(chǔ)，通過觀測和研究人工建立穩(wěn)定電場的分布規(guī)律來解決水文、環(huán)境和工程地質(zhì)問題.然而在傳統(tǒng)的高密度電法勘探中，不同排列類型的裝置具有不同的分辨率和勘探深度，在相同的地質(zhì)結(jié)構(gòu)上，不同裝置的視電阻率偽截面有著較大的不同.為了重構(gòu)更加精確的地下地質(zhì)結(jié)構(gòu)，改進(jìn)傳統(tǒng)的電法勘探采集數(shù)據(jù)的方式，通過多裝置數(shù)據(jù)融合來提高電阻率成像的分辨率成為了電阻率反演的一個重要方向.Stummer等(2004)較早進(jìn)行了復(fù)雜電法數(shù)據(jù)采集的實驗，該實驗給出了一種包含標(biāo)準(zhǔn)裝置數(shù)據(jù)和非標(biāo)準(zhǔn)裝置數(shù)據(jù)的綜合電法數(shù)據(jù)采集方法，可以在多電極系統(tǒng)中獲取更多的數(shù)據(jù)以提高電阻率成像的精度(Stummer et al., 2004).Athanasiou等 (2007)根據(jù)不同裝置數(shù)據(jù)的反演特點，提出了一種混合權(quán)重的綜合反演方法.該方法通過附加權(quán)重因子的方式來綜合偶極-偶極，單極-偶極，溫拿-斯倫貝格，溫拿裝置的反演結(jié)果，從而充分利用各種裝置反演中的有效信息，得到更加可靠的地質(zhì)模型(Athanasiou et al., 2007).Zhe等 (2007)提出了一種多通道，多電極的電阻率采集系統(tǒng).該系統(tǒng)能夠提供一種“泛裝置”的數(shù)據(jù)采集方法，通過提高采集電阻率數(shù)據(jù)的數(shù)量來獲取更高精度的反演成像質(zhì)量，該方法在國內(nèi)也稱為“超高密度電法”或“超高密度電阻率成像”(Zhe et al., 2007).

目前，超高密度電法已在國內(nèi)多個工程項目中得到了廣泛的應(yīng)用(馮德山等, 2014; 雷旭等, 2009)，但是其反演方法主要沿用傳統(tǒng)高密度電法中的2.5維線性或擬線性反演方法(鐘韜, 2008)，存在著依賴初始模型、易陷入局部極值、偏導(dǎo)數(shù)矩陣求解困難等問題.完全非線性反演方法是電阻率法反演領(lǐng)域新的研究方向，Neyamadpour等(2010)研究了人工神經(jīng)網(wǎng)絡(luò)在反演三維直流電阻率成像數(shù)據(jù)中的應(yīng)用.他使用有限單元法生成偶極-偶極裝置的正演數(shù)據(jù)，并用其來進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；針對BP神經(jīng)網(wǎng)絡(luò)的不足，他通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使用動量因子來改善神經(jīng)網(wǎng)絡(luò)的反演性能，取得了較好的反演結(jié)果(Neyamadpour et al., 2010)；Shaw和Srivastava (2007)評估了粒子群優(yōu)化算法在地球物理反演中的應(yīng)用能力，實現(xiàn)了粒子群優(yōu)化算法對DC數(shù)據(jù)，IP數(shù)據(jù)和MT數(shù)據(jù)的反演(Shaw and Srivastava, 2007). Sharma (2012)使用快速模擬退火算法來解釋一維直流電測深數(shù)據(jù)，并通過概率密度函數(shù)來評估所獲得的反演模型(Sharma, 2012)；Liu等(2012)提出了一種可控變異方向的遺傳算法，該方法使用三維有限元法進(jìn)行正演建模，在遺傳算法的目標(biāo)函數(shù)中加入平滑約束和不等約束，通過該算法在解空間中搜索模型參數(shù)，大大地提高了遺傳算法的求解速度，并成功地應(yīng)用于廣州地鐵的地下勘探中，其反演結(jié)果與鉆孔資料基本吻合(Liu et al., 2012).

以上非線性方法均在電阻率反演中得到了較為廣泛的應(yīng)用，但應(yīng)用至超高密度電法反演中均存在不足，一方面，粒子群優(yōu)化、模擬退火、遺傳算法等蒙特卡洛類算法的原理是以一定的規(guī)則引導(dǎo)反演算法在全局解空間內(nèi)搜索最優(yōu)解，通過反復(fù)調(diào)用正演算法來評估解的質(zhì)量，并最終收斂于全局最優(yōu)解，但由于超高密度電法的解空間規(guī)模大、正演算法計算時間長，該類方法的計算效率很低；另一方面，神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)類方法的原理是通過正演算法來產(chǎn)生一系列用于學(xué)習(xí)的樣本，然后使用一種機(jī)器學(xué)習(xí)模型來對樣本進(jìn)行學(xué)習(xí)，通過學(xué)習(xí)來調(diào)整模型的結(jié)構(gòu)和參數(shù)，并最終產(chǎn)生能夠正確解釋觀測數(shù)據(jù)的反演模型，但由于超高密度電法學(xué)習(xí)樣本的維度大，參數(shù)多，其訓(xùn)練過程往往難以收斂并極易陷入局部極值.因此尋找一種合適的非線性反演方法進(jìn)行超高密度電法數(shù)據(jù)的反演和解釋勢在必行.

極限學(xué)習(xí)機(jī)是一種具有高效學(xué)習(xí)性能的機(jī)器學(xué)習(xí)新算法，已廣泛應(yīng)用于回歸與分類(Huang et al., 2012; Luo et al., 2014)、圖像識別(Mohammed et al., 2011; Zong and Huang, 2011)和決策支持(Sun et al., 2008)等領(lǐng)域.本文針對超高密度電法反演的高維、非凸及非線性特征，提出了一種主成分-正則化極限學(xué)習(xí)機(jī)算法，該方法通過隨機(jī)設(shè)定隱層參數(shù)來簡化反演模型的學(xué)習(xí)過程，通過主成分分析對超高密度電法采集的電位差數(shù)據(jù)進(jìn)行降維，提高了反演算法的計算效率.同時極限學(xué)習(xí)機(jī)的Moore-Penrose廣義逆計算過程和正則化因子的引入從理論上保證了反演算法的全局最優(yōu)和泛化能力，較好地解決了超高密度電法的局部收斂問題.本文還給出了超高密度電法的有限體積正演方法及非線性反演模型的設(shè)計流程，并通過兩個經(jīng)典的超高密度電法模型反演驗證了本文算法的有效性.

2 超高密度電法的原理

傳統(tǒng)的電阻率成像勘探中，由于受到不同裝置電極排列規(guī)律的限制，在同一條件下，用不同的裝置進(jìn)行數(shù)據(jù)采集實驗所得到的原始視電阻率數(shù)據(jù)圖和反演后的電阻率圖均不相同.而超高密度電法實際上是一種基于“泛裝置”的陣列勘探方法，雖然它仍沿用高密度電法勘探的電極陣列，但突破原有程式化單裝置模式的束縛，不再分裝置方式觀測和反演.以30個電極為例，4極泛裝置超高密度電法的工作過程如下：將測線上排列的30個電極分為奇數(shù)組15個電極(1, 3, 5,…,29)和偶數(shù)組15個電極(2, 4, 6,…,30)2組，然后在這兩組電極中各選取一個作為供電電極A和B，在一次通電過程中同時測量其他電極(27個N極)相對于某一電極M的電位差，就可得到27個電位差.奇數(shù)組15個電極和偶數(shù)組15個電極互相配對(全排列)作為供電電極，即一條測線上的所有電極有15×15種AB電極排列，每種排列可同時采集27個電位差數(shù)據(jù)，所以總的數(shù)據(jù)量為15×15×27=6075，遠(yuǎn)大于傳統(tǒng)的高密度電法所獲取的數(shù)據(jù)量.超高密度電法的裝置示意圖如圖 1所示.

圖1 超高密度電法(30電極)的裝置示意圖Fig.1 Ultra-high density resistivity method equipment (including 30 electrodes)

本文以上述裝置為基礎(chǔ)，采用有限體積法進(jìn)行2.5維電阻率成像的正演計算(Pidlisecky and Knight, 2008)，得到各測量電極的電位矩陣，結(jié)合圖1中超高密度電法4極裝置的電極坐標(biāo)矩陣，即可求解各MN電極之間的電位差，從而實現(xiàn)超高密度電法4極裝置的2.5維正演數(shù)值模擬，為進(jìn)一步研究超高密度電法的非線性反演提供支持.同時為測試反演算法的穩(wěn)定性和泛化能力，在正演數(shù)據(jù)中加入了3%的隨機(jī)噪聲.

3 極限學(xué)習(xí)機(jī)理論

3.1 標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)是Huang提出的一種機(jī)器學(xué)習(xí)新方法(Huang et al., 2006).該方法以單隱層前饋神經(jīng)網(wǎng)絡(luò)為模型，對網(wǎng)絡(luò)的輸入權(quán)值和偏置進(jìn)行隨機(jī)賦值，并在最小二乘準(zhǔn)則的基礎(chǔ)之上，利用Moore-Penrose廣義逆計算輸出權(quán)值，因此克服了基于梯度下降學(xué)習(xí)理論的學(xué)習(xí)機(jī)器的固有缺陷，具有收斂迅速、不易陷入局部極值等優(yōu)點，適合對高維輸入輸出的超高密度電法反演問題進(jìn)行建模.標(biāo)準(zhǔn)的極限學(xué)習(xí)機(jī)工作原理如下.

對于給定的訓(xùn)練樣本集{(xi,ti)|i=1,2,…,N}，xi=(xi1,xi2,…,xin)T∈Rn，ti=(ti1,ti2,…,tim)T∈Rm.具有L個隱節(jié)點并采用激活函數(shù)g的單隱層前饋神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型可描述為

j=1,2,…,N,

(1)

式中wi=(wi1,wi2,…,win)T為第i個隱節(jié)點與輸入節(jié)點間的權(quán)值向量，βi=(βi1,βi2,…,βi m)T為第i個隱節(jié)點與輸出節(jié)點間的權(quán)值向量，bi為第i個隱節(jié)點閾值.

為了最小化極限學(xué)習(xí)機(jī)的目標(biāo)函數(shù)

‖oj-tj‖,

(2)

傳統(tǒng)的梯度下降學(xué)習(xí)算法主要采用迭代的方式來更新網(wǎng)絡(luò)參數(shù)，其迭代過程為

(3)

式中W為參數(shù)(w,β,b)的集合，η為學(xué)習(xí)率.但該方法存在收斂緩慢，容易陷入局部極值等問題.

極限學(xué)習(xí)機(jī)通過尋求最優(yōu)的網(wǎng)絡(luò)參數(shù)以使得目標(biāo)函數(shù)最小，即

‖H(w1,w2,…,wL,b1,b2,…,bL,x1,x2,…,xN)β-T‖,

(4)

因此極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)訓(xùn)練過程可等效為一個非線性優(yōu)化問題，當(dāng)激活函數(shù)無限可微時，網(wǎng)絡(luò)的輸入權(quán)值和隱節(jié)點閾值可隨機(jī)賦值，則(4)式等效為

‖H(w1,w2,…,wL,b1,b2,…,bL,x1,x2,…,xN)β-T‖.

(5)

(6)

式中H+為H的Moore-Penrose廣義逆矩陣.

3.2 主成分-正則化極限學(xué)習(xí)機(jī)

根據(jù)標(biāo)準(zhǔn)ELM算法的基本理論可知，ELM的優(yōu)點主要體現(xiàn)為以下兩點：(1)ELM通過隨機(jī)賦值的方式指定了隱層參數(shù)，僅需對神經(jīng)網(wǎng)絡(luò)的輸出層參數(shù)進(jìn)行學(xué)習(xí)和調(diào)整，極大地提高了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度；(2)ELM通過求解廣義逆的方式來得到輸出層參數(shù)的最小范數(shù)二乘解，避免了傳統(tǒng)梯度算法的局部極值問題.相較于傳統(tǒng)的電阻率成像，超高密度電法的反演數(shù)據(jù)量更大，需要更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)進(jìn)行非線性映射，而復(fù)雜的隱層結(jié)構(gòu)必然導(dǎo)致學(xué)習(xí)參數(shù)的增加以及學(xué)習(xí)過程的緩慢，同時也更容易產(chǎn)生局部最小值.因此ELM從理論上解決了超高密度電法反演的主要問題，適合進(jìn)行超高密度電法的非線性反演.

然而標(biāo)準(zhǔn)的ELM算法主要存在兩個問題：(1)輸出層參數(shù)求解采用Moore-Penrose廣義逆矩陣的方式，容易導(dǎo)致過擬合現(xiàn)象，影響了ELM的泛化能力；(2)隱節(jié)點的個數(shù)與學(xué)習(xí)精度直接相關(guān)，在求解復(fù)雜的應(yīng)用問題時，ELM網(wǎng)絡(luò)的結(jié)構(gòu)往往過于龐大(Luo et al., 2014).為解決過擬合問題，Huang在標(biāo)準(zhǔn)的ELM中引入了正則化參數(shù)(Huang et al., 2011)，以增強(qiáng)ELM的穩(wěn)定性和泛化能力，此時極限學(xué)習(xí)機(jī)的目標(biāo)函數(shù)為

‖Hβ-T‖+λ‖β‖,

(7)

式中λ為正則化參數(shù)，此時的β為

(8)

正則化ELM通過引入正則化參數(shù)，提高了ELM在小樣本學(xué)習(xí)條件下的泛化能力，符合超高密度電法反演中訓(xùn)練樣本的構(gòu)造特點，然而由于超高密度電法采用“泛裝置”進(jìn)行數(shù)據(jù)采集，采集的電位差無法根據(jù)裝置系數(shù)轉(zhuǎn)化為視電阻率，反演模型的輸入為采集的所有電位差，因此其輸入維數(shù)過高，以30個電極的超高密度電法裝置為例，其輸入維數(shù)就達(dá)到了6075，這對于任何機(jī)器學(xué)習(xí)方法而言都需要龐大的結(jié)構(gòu)對其進(jìn)行學(xué)習(xí)，降低了反演算法的效率和可靠性.主成分分析(Principal Component Analysis, PCA)和機(jī)器學(xué)習(xí)模型結(jié)合是對高維數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的一種新方法(Ghosh-Dastidar et al., 2008; Ravi and Pramodh, 2008; Reddy and Ravi, 2013).本文結(jié)合PCA和正則化ELM技術(shù)，提出了一種主成分-正則化ELM(PC-RELM)反演模型，其基本結(jié)構(gòu)如圖 2所示.

PC-RELM反演模型分為四層，其中輸入層用于采集的超高密度電法的電位差數(shù)據(jù)輸入；PCA層用于對高維電位數(shù)據(jù)進(jìn)行降維，按照預(yù)先設(shè)定的閾值選擇合適數(shù)量的主成分，從而簡化極限學(xué)習(xí)機(jī)的隱層結(jié)構(gòu)；隱層主要用來對超高密度電法的電位差數(shù)據(jù)和反演的模型參數(shù)之間的非線性關(guān)系進(jìn)行學(xué)習(xí)和擬合；輸出層則對反演的模型參數(shù)進(jìn)行輸出.本反演模型通過主成分分析進(jìn)行特征提取和降維，避免了在高維特征空間運(yùn)算時存在的“維數(shù)災(zāi)難”問題，適合超高密度電法采集的高維數(shù)據(jù)在進(jìn)行反演解釋時的ELM結(jié)構(gòu)設(shè)計.因此本文采用基于主成分-正則化的ELM進(jìn)行超高密度電法非線性反演的建模.

圖2 含PCA層的ELM結(jié)構(gòu)Fig.2 The architecture of ELM with PCA layer

4 反演建模

本章主要針對超高密度電法進(jìn)行極限學(xué)習(xí)機(jī)非線性反演的理論研究，其獲取樣本的正演模型參數(shù)設(shè)置如下：測量電極為30個，極距為1 m，一條測線上共采集6075個電位差數(shù)據(jù).

4.1 樣本構(gòu)造

考慮到極限學(xué)習(xí)機(jī)樣本學(xué)習(xí)的流程與神經(jīng)網(wǎng)絡(luò)類似，通過借鑒神經(jīng)網(wǎng)絡(luò)反演中對樣本的構(gòu)造方式來完成極限學(xué)習(xí)機(jī)的反演建模.針對電阻率反演的神經(jīng)網(wǎng)絡(luò)建模，目前的文獻(xiàn)中主要有兩種方法，一種是使用視電阻率的水平位置、垂直位置和視電阻率值為輸入節(jié)點，對應(yīng)位置的真電阻率值為輸出節(jié)點，將每次測量的所有數(shù)據(jù)點設(shè)為一個數(shù)據(jù)集進(jìn)行訓(xùn)練(Neyamadpour et al., 2009).該方法的特點是神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)簡單、訓(xùn)練迅速.但視電阻率和真電阻率一一對應(yīng)，無法充分反映視電阻率是電場作用范圍內(nèi)地下電性不均勻體的綜合反映這一視電阻率的本質(zhì)特征；另一種是將所有測量的視電阻率作為輸入節(jié)點，所有模型參數(shù)作為輸出節(jié)點(Ho, 2009).該方法建立的神經(jīng)網(wǎng)絡(luò)輸入輸出節(jié)點數(shù)量大，且隱含層結(jié)構(gòu)復(fù)雜，如此大規(guī)模的神經(jīng)網(wǎng)絡(luò)不僅需要通過大量的時間來進(jìn)行訓(xùn)練和確定隱含層的最優(yōu)節(jié)點數(shù)、而且訓(xùn)練和測試需要更多的樣本數(shù)據(jù).根據(jù)超高密度電法的工作原理可知，超高密度電法沒有特定的裝置，所以無法根據(jù)裝置系數(shù)計算視電阻率，只能使用電位差作為極限學(xué)習(xí)機(jī)的輸入，因此本文只能采用第二種方法進(jìn)行極限學(xué)習(xí)機(jī)的建模，其中極限學(xué)習(xí)機(jī)的輸入維度為采集的超高密度電位差數(shù)據(jù)6075，輸出維度為地電模型有限體積法正演網(wǎng)格化后的模型參數(shù)數(shù)目2880.訓(xùn)練樣本和測試樣本的構(gòu)造如圖 3所示.

圖3 ELM訓(xùn)練樣本及測試樣本構(gòu)造Fig.3 The generation of training data sets and testing data sets for ELM

由圖3可知，在模型空間上按照測量電極間隔劃分構(gòu)造樣本的網(wǎng)格，x軸的網(wǎng)格間隔為1 m，y軸的網(wǎng)格間隔隨著深度的增加逐漸遞增，本文中y軸的網(wǎng)格間隔依次為1 m,1 m,1 m,1 m,2 m,2 m.然后使用最小分辨率的單異常體遍歷模型空間，求解不同位置時的正演數(shù)據(jù)獲得訓(xùn)練樣本.同理，參照探測目標(biāo)大小建立測試異常體，使用測試異常體遍歷模型空間，求解不同位置時的正演數(shù)據(jù)獲得測試樣本.測試樣本不參加訓(xùn)練，僅用來檢測算法的泛化能力.

4.2 PCA 降維

Ho(2009)采用上述樣本構(gòu)造方法進(jìn)行了簡單的三維電阻率成像神經(jīng)網(wǎng)絡(luò)反演的樣本構(gòu)造.然而該方法直接應(yīng)用于超高密度電法反演存在兩點不足：(1)超高密度電法反演模型的輸入為采集的所有電位差，輸出為全部模型參數(shù)，因此其輸入輸出的維數(shù)過高；(2)采用遍歷模型空間產(chǎn)生訓(xùn)練和測試樣本的方法，在電極數(shù)較多時將產(chǎn)生大量的訓(xùn)練和測試樣本.以上缺點直接影響了極限學(xué)習(xí)機(jī)進(jìn)行非線性建模時的計算效率和穩(wěn)健性.

雖然在樣本構(gòu)造階段超高密度電法為機(jī)器學(xué)習(xí)模型提供了大量的高維特征數(shù)據(jù)和樣本，但是這些高維特征數(shù)據(jù)的特征中存在著大量與目標(biāo)異常體無關(guān)的特征和噪聲，同時特征間存在著強(qiáng)列的冗余，因此本文在進(jìn)行極限學(xué)習(xí)機(jī)反演建模前首先對超高密度電法產(chǎn)生的高維特征數(shù)據(jù)進(jìn)行降維處理.針對超高密度電法采集的電位差數(shù)據(jù)，本文采用PCA層對高維特征數(shù)據(jù)進(jìn)行降維.PCA降維的Pareto圖如圖4a所示，從圖4a可知，前7個主成分已經(jīng)包括了95%左右的原始數(shù)據(jù)信息，一般情況下只要大于7個主成分，均能夠較好地描述超高密度電法所產(chǎn)生的高維特征數(shù)據(jù).為了進(jìn)一步確定降維的主成分個數(shù)，仿真了極限學(xué)習(xí)機(jī)隨維度增加的訓(xùn)練誤差變化曲線，如圖4b所示.從圖4b可知，在初始主成分較少的情況下，由于降維后的樣本無法充分反映高維特征數(shù)據(jù)的相關(guān)信息，極限學(xué)習(xí)機(jī)的訓(xùn)練誤差相對較高；隨著維度的增加，所選主成分所包含的高維數(shù)據(jù)特征更加豐富，極限學(xué)習(xí)機(jī)的訓(xùn)練誤差迅速下降，到達(dá)19維時開始逐漸穩(wěn)定，同時由Pareto圖可知，19個主成分已經(jīng)包括了99%以上的原始信息，因此為了盡可能地保留高維數(shù)據(jù)的原始特征，同時兼顧ELM的反演效率，選擇前19個主成分作為降維后的輸入訓(xùn)練樣本.

4.3 參數(shù)尋優(yōu)

在正則化極限學(xué)習(xí)機(jī)學(xué)習(xí)的過程中，有三個參數(shù)影響ELM的學(xué)習(xí)和反演性能，它們分別是激活函數(shù)類型、隱節(jié)點個數(shù)和正則化參數(shù).因此為構(gòu)造優(yōu)化的ELM反演模型，需要對激活函數(shù)類型、隱節(jié)點個數(shù)和正則化參數(shù)進(jìn)行優(yōu)選.考慮到激活函數(shù)類型對ELM的直接影響，優(yōu)先對激活函數(shù)的類型進(jìn)行選擇.常見的ELM激活函數(shù)列舉如下(Fernández-Navarro et al., 2011)：

(1) Sigmoidal function: Sigmoid(n)=1/(1+exp(-n)).

圖4 超高密度電法電位數(shù)據(jù)主成分降維(a)Pareto圖；(b)測試誤差曲線.Fig.4 PCA dimensionality reduction for the potential data of ultra-high density resistivity method(a) Pareto Chart; (b) Testing error curve.

(2) Sine function: Sine(n)=(ein-e-in)/2i.

(3) Hard-limit transfer function: Hardlim(n)=1 ifn≥0; =0, otherwise.

(4) Triangular basis function: Tribas(n)=1-abs(n) if -1≤n≤1; =0, otherwise.

(5) Radial basis function: Radbas(n)=exp(-n2).

在不同的激活函數(shù)下，選擇隱節(jié)點個數(shù)L和正則化參數(shù)λ的方法是讓L和λ在一定范圍內(nèi)進(jìn)行取值，在不同的L和λ參數(shù)下利用交叉驗證(Cross Validation, CV)的方式進(jìn)行訓(xùn)練，并將取得驗證誤差最低的那一組L和λ作為ELM的最佳參數(shù).

CV是用來驗證分類器性能的一種統(tǒng)計分析方法，基本思想是把在某種意義下將原始數(shù)據(jù)(dataset)進(jìn)行分組，一部分作為訓(xùn)練集(train set)，另一部分作為驗證集(validation set).其方法是首先用訓(xùn)練集對模型進(jìn)行訓(xùn)練，再利用驗證集來測試訓(xùn)練得到的模型，以得到的擬合誤差作為評價模型的性能指標(biāo).采用交叉驗證的思想可以有效地避免過學(xué)習(xí)和欠學(xué)習(xí)狀態(tài)的發(fā)生，最終得到較為理想的擬合模型.本文采用K-CV的方式進(jìn)行交叉驗證，將原始訓(xùn)練數(shù)據(jù)均分為K組，將每個子集數(shù)據(jù)分別做一次驗證集，同時其余的K-1組子集數(shù)據(jù)作為訓(xùn)練集，這樣會得到K個模型，用這K個模型最終的驗證集的驗證誤差的平均數(shù)作為此K-CV下擬合模型的性能指標(biāo).綜合考慮參數(shù)尋優(yōu)的時間和性能，通過湊試法本文設(shè)置K=5，L=[1,2,…,76]，λ=[2-6,2-5.5,…,25.5,26].最后分別求解在不同激活函數(shù)下，L和λ的歸一化誤差曲面如圖 5所示.為便于顯示，λ在圖 5中取log2對數(shù).

圖5 不同激活函數(shù)下隱節(jié)點數(shù)目和正則化參數(shù)變化的歸一化誤差曲面(a) Sigmoid; (b) Sine; (c) Hardlim; (d) Tribas; (e) Radbas.Fig.5 Normalized error surface for hidden unit number and regularization factor value in the transformed space with different activation functions

表1進(jìn)一步給出了不同激活函數(shù)下，最優(yōu)L和λ參數(shù)的訓(xùn)練誤差、測試誤差和交叉驗證計算時間.其中交叉驗證計算時間的運(yùn)行環(huán)境如下：CPU為Core(TM)i5-2450，內(nèi)存為2GB，操作系統(tǒng)為Windows XP SP4.

由圖5可知，雖然不同激活函數(shù)的誤差曲面各異，但隨著隱節(jié)點數(shù)目的增加和正則化參數(shù)的減小，交叉驗證的誤差曲面均開始下降，并逐漸收斂于某一特定區(qū)域，該現(xiàn)象表明：(1)隨著隱節(jié)點數(shù)量的增加，使得ELM的隱層結(jié)構(gòu)趨于復(fù)雜，非線性學(xué)習(xí)能力增強(qiáng)，數(shù)據(jù)擬合能力增加；當(dāng)隱節(jié)點數(shù)目過低時(低于20時)，ELM的工作不穩(wěn)定，誤差曲面存在一定的振蕩；(2)隨著正則化參數(shù)的減小，ELM在學(xué)習(xí)過程中更加偏重于擬合誤差，因此誤差曲面逐漸下降，但當(dāng)下降到一定程度時，為保證泛化能力，在交叉驗證下，ELM模型的驗證誤差開始逐漸上升；(3)如果隱節(jié)點數(shù)量過大，則會產(chǎn)生過擬合；同理，如果正則化參數(shù)過小則會產(chǎn)生過約束，因此誤差曲面最終收斂于隱節(jié)點較大和正則化參數(shù)較小的某一特定區(qū)域，獲得了擬合精度和泛化能力的較好均衡；(4)相較于其他激活函數(shù)，Sigmoid函數(shù)的誤差曲線更為平滑，表明在建模的過程中，ELM的輸出隨參數(shù)的變化更加穩(wěn)定；其他激活函數(shù)由于ELM隱層參數(shù)指定的隨機(jī)性，在收斂過程中均出現(xiàn)了不同程度的振蕩.由表1可知，Sigmoid函數(shù)在參數(shù)L=68,λ=0.0625時取得了最低的交叉驗證誤差，建模性能最佳，同時幾種激活函數(shù)的交叉驗證計算時間相當(dāng)，沒有太大的差別.綜上，本文采用Sigmoid激活參數(shù)進(jìn)行ELM反演建模，其隱節(jié)點個數(shù)和正則化參數(shù)分別設(shè)置為68和0.0625.

4.4 反演流程

通過以上的研究和分析，使用PC-RELM反演超高密度電法數(shù)據(jù)的基本步驟如下：

(1)初始化電極數(shù)目、電極距等正演參數(shù)和PC-RELM反演參數(shù)；

(2)使用有限體積法正演產(chǎn)生電位數(shù)據(jù)；

(3)根據(jù)超高密度泛裝置生成電極矩陣，并由電極矩陣和電位數(shù)據(jù)計算超高密度電法的采集電位差數(shù)據(jù)；

表1 不同參數(shù)下ELM反演的性能比較Table 1 Comparison on performance of ELM inversion using different parameters

圖6 基于PC-RELM的超高密度電法反演流程圖Fig.6 Flowchart for ultra-high density resistivity method inversion based on PC-RELM

(4)根據(jù)超高密度電法的采集數(shù)據(jù)規(guī)劃訓(xùn)練和測試樣本；

(5)對樣本中的高維特征數(shù)據(jù)進(jìn)行PCA降維，選擇滿足閾值設(shè)定的主成分構(gòu)成新的訓(xùn)練和測試樣本；

(6)輸入訓(xùn)練數(shù)據(jù)集，在當(dāng)前的訓(xùn)練與測試環(huán)境下，通過K-CV方法對ELM的參數(shù)進(jìn)行優(yōu)選，其主要包括激活函數(shù)類型的選擇，L和λ參數(shù)的尋優(yōu)；

(7)對參數(shù)尋優(yōu)后的ELM進(jìn)行訓(xùn)練，并保存訓(xùn)練后的ELM；

(8)輸入測試數(shù)據(jù)集，使用構(gòu)造好的ELM進(jìn)行反演，輸出并評估反演結(jié)果.

上述步驟對應(yīng)的反演流程如圖 6所示.

5 模型反演

為了驗證本文所提出的PC-RELM方法的反演性能，本文對兩個經(jīng)典的超高密度電法理論模型進(jìn)行了反演研究，并比較與分析了本文方法與其他經(jīng)典反演方法的反演結(jié)果.

模型1主要用來檢驗超高密度電法在垂直方向上對深部異常體的分辨能力，由四個不同深度的高阻異常體構(gòu)成(Loke et al., 2010; Wilkinson et al., 2006)，引入該模型來驗證超高密度電法分辨深部異常的能力.本文通過將超高密度電法的泛裝置與Wenner，Wenner-Schlumberger和Dipole-Dipole三種四極裝置的反演結(jié)果進(jìn)行比較，驗證本文所提出的超高密度成像非線性反演算法的性能.四種裝置的參數(shù)設(shè)置和反演誤差如表2所示.超高密度電法裝置采用本文的反演方法，其他三種四極裝置采用最小二乘法(RES2DINV軟件)進(jìn)行反演.四種裝置的反演結(jié)果如圖7所示.

由圖7可知，傳統(tǒng)的Wenner，Wenner-Schlumberger和Dipole-Dipole三種裝置均能夠較好地反演出淺層的三個高阻異常體的位置和形態(tài)，但對于5 m以下的高阻異常體，三種裝置均無法獲得滿意的反演結(jié)果，而基于PC-RELM方法的超高密度電法反演由于采集的數(shù)據(jù)量大、信息豐富，為深部異常體的反演提供了更多的依據(jù)，能夠較好地反演出5 m以下的高阻異常體的位置及形態(tài)，其反演結(jié)果優(yōu)于三種傳統(tǒng)裝置的最小二乘反演.

模型2主要用來檢驗超高密度電法在高對比度模型下對低對比度異常體的分辨能力，它包含了一個高阻異常體、一個低阻層狀介質(zhì)和一個組合低阻異常體.對該模型進(jìn)行深入研究表明，傳統(tǒng)的Wenner和Dipole-Dipole裝置均無法反演出模型2的組合低阻異常體，而基于多電極裝置的超高密度電法反演則能夠獲得較好的反演結(jié)果(Stummer et al., 2004; Wilkinson et al., 2006; Zhe et al., 2007).本文在上述研究的基礎(chǔ)之上，構(gòu)建了4種超高密度電法的非線性反演模型，以驗證非線性反演方法在超高密度反演中的性能.四種非線性反演方法中，BPNN為BP神經(jīng)網(wǎng)絡(luò)方法，已廣泛地應(yīng)用于電阻率成像反演；GRNN為廣義回歸神經(jīng)網(wǎng)絡(luò)，是RBF神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)，在一維電測深中已有初步的應(yīng)用(Srinivas et al, 2012)；ELM為標(biāo)準(zhǔn)的極限學(xué)習(xí)機(jī)模型，PC-RELM為本文根據(jù)超高密度電法反演所提出的主成分正則化極限學(xué)習(xí)機(jī)模型，四種非線性反演方法的參數(shù)設(shè)置如表3所示.

圖7 模型1的模型示意圖及不同裝置的反演結(jié)果(a)模型1示意圖；(b)Wenner裝置；(c)Wenner-Schlumberger裝置；(d) Dipole-Dipole裝置；(e)超高密度電法裝置.Fig.7 Model one and inversion results by different configurations(a) Model 1; (b) Wenner configuration; (c) Wenner-Schlumberger configuration; (d) Dipole-Dipole configuration; (e) Ultra-high density resistivity method configuration.

圖8 模型2的模型示意圖及不同非線性方法的反演結(jié)果(a)模型2示意圖；(b)PC-RELM；(c)ELM；(d) BPNN；(e)GRNN.Fig.8 Model two and inversion results by different nonlinear inversion methods(a) Model 2; (b) PC-RELM； (c) ELM； (d) BPNN； (e) GRNN.

表2 不同裝置反演結(jié)果比較Table 2 Comparison of inversion results form different configurations

表3 不同非線性反演方法的參數(shù)設(shè)置Table 3 Parameters for different nonlinear inversion methods

由圖 8可知，四種非線性反演方法均能夠在不同程度上反演出組合低阻異常體，相對而言，PC-RELM 和BPNN反演得到的組合低阻異常體其形態(tài)更加準(zhǔn)確，但是BPNN對低阻層狀介質(zhì)的反演結(jié)果不佳，這是因為BPNN的全局響應(yīng)特性使得低阻層狀介質(zhì)的反演結(jié)果受高阻異常體的影響較大而造成的；GRNN也能夠獲得模型中的各個異常體，但由于網(wǎng)絡(luò)收斂于樣本量聚集較多的優(yōu)化回歸面，因此其反演結(jié)果中高低阻異常體的阻值較為接近，與實際模型存在較大誤差；標(biāo)準(zhǔn)的ELM因為未考慮正則化因子，受噪聲的影響，ELM的反演結(jié)果在高低阻異常體的形態(tài)上存在一定的失真.本文所提出的PC-RELM算法則能夠較好地反演模型中的各個異常體，在形態(tài)和電阻率值上均與理論模型更為接近.

表4進(jìn)一步給出了四種非線性反演方法在訓(xùn)練和測試階段的均方誤差MSE和決定系數(shù)R2以及PCA降維(閾值設(shè)定為99%)前后的計算時間.其中均方誤差MSE代表預(yù)測誤差，其值越小，表示反演模型的預(yù)測誤差越?。粵Q定系數(shù)R2代表預(yù)測值與測量值之間的相關(guān)度，其值越大，表示兩種數(shù)據(jù)間存在著越明顯的線性相關(guān)性；計算時間的運(yùn)行環(huán)境如下：CPU為Core(TM)i5-2450，內(nèi)存為2GB，操作系統(tǒng)Windows XP SP4.通過PCA降維后的樣本因為壓縮了輸入維度，降低了神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度，因此四種非線性反演方法的計算時間均少于降維前的計算時間，同時由于RELM、ELM都是隨機(jī)獲取隱層參數(shù)并通過求解Moore-Penrose廣義逆矩陣得到輸出參數(shù)，其計算時間均優(yōu)于需要計算隱層參數(shù)的GRNN和基于迭代的BPNN算法.在訓(xùn)練階段，由于ELM算法是通過求解廣義逆矩陣直接擬合訓(xùn)練樣本，因此訓(xùn)練誤差最小；RELM雖然引入了正則化因子，但基于和標(biāo)準(zhǔn)的ELM算法同樣的訓(xùn)練方式，訓(xùn)練誤差也相對較??；BPNN和GRNN的訓(xùn)練誤差則相對較大；在測試階段，RELM表現(xiàn)出較高的泛化性能，得到了最小的訓(xùn)練誤差，BPNN由于其全局響應(yīng)的能力，將誤差的影響均分至了各個網(wǎng)絡(luò)節(jié)點，也獲得了較小的訓(xùn)練誤差，而標(biāo)準(zhǔn)的ELM和GRNN的測試誤差則相對較大.以上結(jié)論也可以從R2指標(biāo)中得到進(jìn)一步驗證.

表4 不同非線性反演方法的性能比較Table 4 Comparisons on performance using different nonlinear inversion methods

6 結(jié)論

超高密度電法一方面為地質(zhì)資料的解釋提供了更為豐富的高維數(shù)據(jù)，高維數(shù)據(jù)中所蘊(yùn)含的電位差信息能夠為高精度的電阻率成像提供信息基礎(chǔ)；另一方面維數(shù)的增長又帶來了“維數(shù)災(zāi)難”問題，為通過高維數(shù)據(jù)學(xué)習(xí)和建立非線性反演模型帶來極大的挑戰(zhàn).本文根據(jù)超高密度電法的特點，提出了一種基于主成分-正則化技術(shù)的ELM非線性快速反演方法，該方面采用ELM學(xué)習(xí)模型，其隱層參數(shù)隨機(jī)獲得，輸出層參數(shù)通過求解Moore-Penrose廣義逆矩陣獲得，極大地簡化了樣本的學(xué)習(xí)過程；針對超高密度電法采集的高維樣本數(shù)據(jù)，采用主成分分析法對輸入樣本進(jìn)行降維，簡化了樣本的結(jié)構(gòu)；加入了正則化因子，以克服樣本中噪聲對反演模型的影響，提高ELM學(xué)習(xí)模型的泛化能力；最后采用交叉驗證的方法對建模中的三個核心參數(shù)：激活函數(shù)類型、隱節(jié)點數(shù)目和正則化因子進(jìn)行了優(yōu)選，得到了優(yōu)化的PC-RELM非線性反演模型，給出了超高密度電法的正演方法和反演流程.通過兩個經(jīng)典的超高密度電法理論模型的反演結(jié)果可知，超高密度電法較傳統(tǒng)的四極裝置具有更高的分辨率，能夠解決一些傳統(tǒng)四極裝置無法解決的特殊問題；非線性反演方法能夠減少對初始模型的依賴，不易陷入局部極值，在超高密度電法反演中具有廣泛的應(yīng)用前景，但同時也需要解決高維樣本數(shù)據(jù)所帶來的計算效率問題；本文提出的PC-RELM非線性反演方法實現(xiàn)簡單，計算效率高，泛化能力強(qiáng)，其反演結(jié)果優(yōu)于最小二乘線性反演方法以及ELM、BPNN、GRNN等其他非線性反演方法.

Athanasiou E N, Tsourlos P I, Papazachos C B, et al. 2007. Combined weighted inversion of electrical resistivity data arising from different array types.JournalofAppliedGeophysics, 62(2): 124-140.

Feng D S, Wang P F, Yang B K. 2014. Finite element forward simulation and least square generalized inversion of ultra-high density resistivity method.TheChineseJournalofNonferrousMetals(in Chinese), 24(3): 793-800.

Fernández-Navarro F, Hervás-Martínez C, Sanchez-Monedero J, et al. 2011. MELM-GRBF: a modified version of the extreme learning machine for generalized radial basis function neural networks.Neurocomputing, 74(16): 2502-2510. Ghosh-Dastidar S, Adeli H, Dadmehr N. 2008. Principal component analysis-enhanced cosine radial basis function neural network for robust epilepsy and seizure detection.IEEETransactionsonBiomedicalEngineering, 55(2): 512-518.

Ho T L. 2009. 3-D inversion of borehole-to-surface electrical data using a back-propagation neural network.JournalofAppliedGeophysics, 68(4): 489-499.

Huang G B, Wang D H, Lan Y. 2011. Extreme learning machines: a survey.InternationalJournalofMachineLearningandCybernetics, 2(2): 107-122.

Huang G B, Zhu Q Y, Siew C K. 2006. Extreme learning machine: theory and applications.Neurocomputing, 70(1-3): 489-501.

Huang G B, Zhou H M, Ding X J, et al. 2012. Extreme learning machine for regression and multiclass classification.IEEETransactionsonSystems,Man,andCybernetics,PartB:Cybernetics, 42(2): 513-529.

Lei X Y, Li Z W, Zhe J P. 2009. Applications and research of the high resolution resistivity method in explovation of caves,minecned regions and Karst region.ProgressinGeophysics(in Chinese), 24(1): 340-347.

Liu B, Li S C, Nie L C, et al. 2012. 3D resistivity inversion using an improved Genetic Algorithm based on control method of mutation direction.JournalofAppliedGeophysics, 87: 1-8.

Loke M H, Wilkinson P B, Chambers J E. 2010. Fast computation of optimized electrode arrays for 2D resistivity surveys.Computers&Geosciences, 36(11): 1414-1426.

Luo J H, Vong C M, Wong P K. 2014. Sparse Bayesian extreme learning machine for multi-classification.IEEETransactionsonNeuralNetworksandLearningSystems, 25(4): 836-843.

Mohammed A A, Minhas R, Jonathan Wu Q M, et al. 2011. Human face recognition based on multidimensional PCA and extreme learning machine.PatternRecognition, 44(10-11): 2588-2597.

Neyamadpour A, Taib S, Wan Abdullah W A T. 2009. Using artificial neural networks to invert 2D DC resistivity imaging data for high resistivity contrast regions: A MATLAB application.Computers&Geosciences, 35(11): 2268-2274.Neyamadpour A, Wan Abdullah W A T, Taib S. 2010. Inversion of quasi-3D DC resistivity imaging data using artificial neural networks.JournalofEarthSystemScience, 119(1): 27-40.

Pidlisecky A, Knight R. 2008. FW2_5D: A MATLAB 2.5-D electrical resistivity modeling code.Computers&Geosciences, 34(12): 1645-1654.

Ravi V, Pramodh C. 2008. Threshold accepting trained principal

component neural network and feature subset selection: Application to bankruptcy prediction in banks.AppliedSoftComputing, 8(4): 1539-1548.

Reddy K N, Ravi V. 2013. Differential evolution trained kernel principal component WNN and kernel binary quantile regression: Application to banking.Knowledge-BasedSystems, 39: 45-56.Sharma S P. 2012. VFSARES—a very fast simulated annealing FORTRAN program for interpretation of 1-D DC resistivity sounding data from various electrode arrays.Computers&Geosciences, 42: 177-188.

Shaw R, Srivastava S. 2007. Particle swarm optimization: A new tool to invert geophysical data.Geophysics, 72(2): F75-F83.

Srinivas Y, Raj A S, Oliver D H, et al. 2012. A robust behavior of Feed Forward Back propagation algorithm of Artificial Neural Networks in the application of vertical electrical sounding data inversion.GeoscienceFrontiers, 3(5): 729-736.

Stummer P, Maurer H, Green A G. 2004. Experimental design: Electrical resistivity data sets that provide optimum subsurface information.Geophysics, 69(1): 120-139.

Sun Z L, Choi T M, Au K F, et al. 2008. Sales forecasting using extreme learning machine with applications in fashion retailing.DecisionSupportSystems, 46(1): 411-419.

Wilkinson P B, Meldrum P I, Chambers J E, et al. 2006. Improved strategies for the automatic selection of optimized sets of electrical resistivity tomography measurement configurations.GeophysicalJournalInternational, 167(3): 1119-1126.

Zhe J P, Greenhalgh S, Marescot L. 2007. Multichannel, full waveform and flexible electrode combination resistivity-imaging system.Geophysics, 72(2): F57-F64.

Zhong T. 2008. The applied research into the exploration of the gob by multi-channel, full waveform and flxible electrode combination resistivity imaging system [Ph.D.thesis] (in Chinese). Chengdu: Chengdu University of Technology.Zong W W, Huang G B. 2011. Face recognition based on extreme learning machine.Neurocomputing, 74(16): 2541-2551.

附中文參考文獻(xiàn)

馮德山, 王鵬飛, 楊炳坤. 2014. 超高密度電法有限單元法正演與廣義最小二乘反演. 中國有色金屬學(xué)報, 24(3): 793-800.

雷旭友, 李正文, 折京平. 2009. 超高密度電阻率法在土洞、煤窯采空區(qū)和巖溶勘探中應(yīng)用研究. 地球物理學(xué)進(jìn)展, 24(1): 340-347.

鐘韜. 2008. 超高密度電法在探測采空區(qū)中的應(yīng)用研究[博士論文]. 成都: 成都理工大學(xué).

(本文編輯 胡素芳)

Ultra-high density resistivity nonlinear inversion based on principal component-regularized ELM

JIANG Fei-Bo1,2， DAI Qian-Wei1*， DONG Li1,3

1SchoolofGeosciencesandInfo-Physics，CentralSouthUniversity，Changsha410083，China2CollegeofPhysicsandInformationScience,HunanNormalUniversity,Changsha410081,China3SchoolofInformationScienceandEngineering,HunanInternationalEconomicsUniversity,Changsha410205,China

Ultra-high density resistivity inversion is a complicated non-linear inversion problem, which is high dimensional and non-convex. The traditional approaches suffer from some common drawbacks: they are mostly linear approximations of nonlinear problems and critically depend on the initial models chosen for them. A principal component-regularized extreme learning machine (PC-RELM) nonlinear inversion method for high dimensional ultra-high density resistivity data is analyzed.An additional principal component analysis layer is used for dimensionality reduction of the data to increase the computational efficiency of ELM inversion. Then, random hidden layer parameters are used to simplify the learning process of ELM. Additionally, the regularization factor is introduced to improve the generalization ability of the inversion model.The experimental results demonstrate that the proposed method exhibits high inversion accuracy and can solve the ultra-high density resistivity inversion problem efficiently: (1) The effect of using PCA for reducing the dimensions of ultra-high density resistivity data is obvious, and variance contribution rate of the first principal component reaches up to 40% or more. The ultra-high density resistivity data are reduced to 19 dimensions through the PCA layer with little information loss. (2) Optimized number of hidden nodes and value of regularization factor are obtained by cross validation. ELM with Sigmoid kernel, which reaches the lowest training MSE 28.3762 and testing MSE 83.9386, is used for inversion modeling. (3) The proposed inversion method reconstructs the size, location and sharpness of the anomalous body better than Least-squares inversion results of Wenner, Wenner-Schlumberger and Dipole-Dipole configurations with the same electrode number. (4) The proposed inversion method is also compared with BPNN, RBFNN and GRNN for nonlinear inversion. The results show that the proposed method reaches the lowest testing MSE 128.1303, and achieves the highest testingR20.8508.In this study an implementation framework of PCA dimension compression and ELM modeling with regularization for ultra-high density resistivity inversion is proposed. PCA layer is used for dimension compression and principal component selection, and then an improved RELM with Sigmoid kernel is used for ultra-high density resistivity inversion. The proposed method is accurate, fast, and easy for implementation. Another advantage of our proposed method is the direct approach to the nonlinear task, which avoids linearization and the choice of appropriate starting models necessary for classical minimization methods. Despite this contribution, there are many remaining challenges for the future work. Firstly, the way to optimize the parameters of ELM with optimal structure could be studied more deeply including the examination of theoretical implications of the associated choices. Secondly, the extension of the method to more complex field data set could be of interest, both from theoretical and practical viewpoints. Finally, GPU parallel computation will be introduced to the proposed inversion method to improve calculation efficiency. Our future research will be directed toward the development of fast and effective inversion algorithm for large-scale ultra-high density resistivity data inference.

Ultra-high density resistivity method； Regularization； Extreme learning machine; Principal component analysis

10.6038/cjg20150928.

Jiang F B, Dai Q W, Dong L. 2015. Ultra-high density resistivity nonlinear inversion based on principal component-regularized ELM.ChineseJ.Geophys. (in Chinese),58(9):3356-3369,doi:10.6038/cjg20150928.

10.6038/cjg20150928

P631

2014-11-13，2015-07-03收修定稿

國家自然科學(xué)基金(41374118),教育部博士點基金(20120162110015)，湖南省教育廳科研優(yōu)秀青年資助項目(15B138)，湖南省科技計劃資助項目(2015JC3067)，中南大學(xué)博士后基金聯(lián)合資助.

江沸菠，男，1982年生，博士，講師，主要從事電磁法非線性反演，人工智能工程應(yīng)用等方向的研究.E-mail:jiangfeibo@126.com

*通訊作者 戴前偉，男，1968年生，博士，教授，1997年畢業(yè)于中南工業(yè)大學(xué)資源環(huán)境與建筑工程學(xué)院，主要從事電磁法方法及理論、工程地球物理勘探等方向的研究.E-mail: qwdai@csu.edu.cn

江沸菠, 戴前偉,董莉等. 2015. 基于主成分-正則化極限學(xué)習(xí)機(jī)的超高密度電法非線性反演.地球物理學(xué)報，58(9):3356-3369,