基于高斯過程的混凝土強(qiáng)度預(yù)測(cè)

林利森，肖義龍

（1.江西省安瀾工程咨詢有限公司，江西 南昌330001；2.河海大學(xué)設(shè)計(jì)研究院有限公司江西分公司，江西 南昌330006）

0 引言

隨著我國經(jīng)濟(jì)的快速發(fā)展，工程建設(shè)項(xiàng)目中對(duì)混凝土的應(yīng)用也將更加廣泛?；炷恋目箟簭?qiáng)度是混凝土的主要力學(xué)性質(zhì)之一，在混凝土施工過程中經(jīng)常會(huì)碰到澆筑各種配合比的大量混凝土而不知道其強(qiáng)度是否可以滿足設(shè)計(jì)要求的問題。如何才能在短時(shí)間內(nèi)得到所澆筑的混凝土預(yù)期的28 d強(qiáng)度是一個(gè)值得探究的科學(xué)問題，其對(duì)提高和控制施工質(zhì)量具有重要的實(shí)際意義。

然而，混凝土強(qiáng)度的影響因素包括水泥的強(qiáng)度等級(jí)、水灰比、骨灰比、坍落度、水泥用量、粗骨料的最大尺寸、砂的細(xì)度模數(shù)、砂率等等，這些因素的共同作用決定了混凝土最終的強(qiáng)度。但是，這些影響因素與混凝土強(qiáng)度之間存在復(fù)雜的高維度非線性關(guān)系。多年來，為了探究各種因素之間的影響關(guān)系，國內(nèi)外學(xué)者采用試驗(yàn)法、數(shù)值法、回歸分析、隨機(jī)模型等方法對(duì)混凝土強(qiáng)度的預(yù)測(cè)問題開展了大量的研究，并取得了一定的成效[1-2]。但由于該問題的高度復(fù)雜性，上述方法很難克服如數(shù)據(jù)有限，參數(shù)給不準(zhǔn)的瓶頸問題。近年來，一些學(xué)者將神經(jīng)網(wǎng)絡(luò)（ANN）[3-4]、支持向量機(jī)（SVM）[5]等機(jī)器學(xué)習(xí)方法應(yīng)用于混凝土強(qiáng)度的預(yù)測(cè)，取得了很好的研究成果，而由于這些方法本身還存在著一定的局限性，如：ANN對(duì)于小樣本問題推廣能力有限、SVM的核函數(shù)、核函數(shù)參數(shù)和損失函數(shù)難以確定等[6]。為此，探討一種新的有效預(yù)測(cè)方法是很有必要的。

高斯過程（Gaussian Process，GP）是近年發(fā)展起來的一種新的機(jī)器學(xué)習(xí)方法，具有嚴(yán)格的統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)，對(duì)處理高維數(shù)、小樣本、非線性等復(fù)雜的問題具有很好的適應(yīng)性[7～10]，現(xiàn)已成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)，并在許多領(lǐng)域都得到了成功的應(yīng)用。

本文將高斯過程機(jī)器學(xué)習(xí)方法應(yīng)用于混凝土強(qiáng)度預(yù)測(cè)，為混凝土強(qiáng)度的合理預(yù)測(cè)提供了一個(gè)有效的解決思路和方法。

1 高斯過程的原理簡(jiǎn)介

高斯過程是一種建立在高斯隨機(jī)過程和貝葉斯學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。對(duì)于高斯過程機(jī)器學(xué)習(xí)原理存在兩種不同的闡述方式，其一從函數(shù)空間觀點(diǎn)[9-10]；其二從權(quán)重空間觀點(diǎn)。本文從權(quán)重觀點(diǎn)的角度進(jìn)行闡述。

高斯過程回歸模型實(shí)質(zhì)上也是一種廣義線性回歸模型。首先假設(shè)有k個(gè)固定基函數(shù)的形式如｛φi（X）｝，則復(fù)雜的高維度非線性回歸函數(shù)也可以通過基函數(shù)的線性組合表示，即：

根據(jù)貝葉斯原理，需要先設(shè)定一個(gè)先驗(yàn)參數(shù)權(quán)重w為滿足均值為0，協(xié)方差矩陣為Σw的高斯分布，即：

假設(shè)有m個(gè)觀測(cè)值的訓(xùn)練樣本集為D=｛（xi，ti）｜i=1，2，…，m｝，噪聲ε服從相互獨(dú)立且分布相同的高斯分布，其均值為零，方差為σ2n：

則含假設(shè)參數(shù)w的似然函數(shù)為：

于是，基于權(quán)重w的后驗(yàn)分布為：

根據(jù)嶺回歸原理，權(quán)重w的最大后驗(yàn)概率的平均值wMAP可以通過求解下式的最小化獲得：

令β=1/σ2n，t=（t1，t2，…，tm）T，Φ表示為m×k的矩陣，即：

則式（6）也可以表示為：

使式（8）最小化，則由E對(duì)權(quán)重w偏導(dǎo)數(shù)等于零（令A(yù)=βΦTΦ+Σ-1ww）得：

由上面的推導(dǎo)，獲得了權(quán)重w的后驗(yàn)分布的具體形式，對(duì)測(cè)試樣本x＊進(jìn)行預(yù)測(cè)，則目標(biāo)值的平均值表示為（設(shè)a=βA-1ΦTt）：

方差表示為：

在高斯過程機(jī)器學(xué)習(xí)中，常用的基函數(shù)形式為如下3種：

①平方指數(shù)協(xié)方差函數(shù)：

②當(dāng)馬特恩協(xié)方差函數(shù)中的參數(shù)v=3/2時(shí)，表達(dá)式形如：

③線性協(xié)方差函數(shù)

式中最優(yōu)超參數(shù)l、σf、σn即θ=（l，σf，σn），可通過極大似然法自適應(yīng)獲得。當(dāng)其中xp=xj和xq=x＊時(shí)，則式（12）可表示為：

所以式（10）可寫成：

2 高斯過程的性能測(cè)試

為了更好地反映出高斯過程在處理小樣本、非線性等復(fù)雜問題中具有很好的適應(yīng)性的性能，在此引用一個(gè)經(jīng)典的數(shù)學(xué)算例sinC函數(shù)進(jìn)行分析[11～12]：

其中，學(xué)習(xí)樣本由在x∈［-10，10］范圍內(nèi)等間距離散為10個(gè)隨機(jī)變量x，然后對(duì)x對(duì)應(yīng)的函數(shù)值y加上服從0.1倍的標(biāo)準(zhǔn)正態(tài)隨機(jī)分布的噪音，最后分別采用四次多項(xiàng)式、ANN模型（BP神經(jīng)網(wǎng)絡(luò)）和GP模型對(duì)加噪后生成的10個(gè)學(xué)習(xí)樣本（x，y）分別進(jìn)行回歸擬合分析（比較上述模型在學(xué)習(xí)樣本被噪音腐蝕的情況下的擬合效果見圖1）。

四次多項(xiàng)式函數(shù)形式為圖1（a）；ANN回歸時(shí)，其隱含層的神經(jīng)元數(shù)目為5的擬合效果見圖1（b）；神經(jīng)元數(shù)目為15的擬合效果見圖1（c）；采用GPR模型進(jìn)行訓(xùn)練學(xué)習(xí)，自適應(yīng)獲取最優(yōu)超參數(shù)對(duì)數(shù)后擬合效果見圖 1（d）。

圖1 不同模型的擬合效果比較

采用多項(xiàng)式擬合時(shí)，由于該函數(shù)的非線性較強(qiáng)，擬合曲線與真實(shí)函數(shù)的曲線相差甚遠(yuǎn)。即使增加學(xué)習(xí)樣本的數(shù)量對(duì)其擬合效果亦無大的改進(jìn)，其主要原因是多項(xiàng)式模型存在對(duì)高度非線性函數(shù)的擬合局限性問題。

采用ANN擬合時(shí)，其擬合效果較多項(xiàng)式擬合具有很大的改進(jìn)，但也存在隨著神經(jīng)元數(shù)目的增加均會(huì)出現(xiàn)“過擬合”現(xiàn)象，而且擬合效果的精度與神經(jīng)元數(shù)目存在很大的隨機(jī)性（網(wǎng)絡(luò)結(jié)構(gòu)難以確定）。另外，值得指出的是，在算例的研究過程中發(fā)現(xiàn)，ANN的回歸效果存在不穩(wěn)定性，即使是同樣的網(wǎng)絡(luò)結(jié)構(gòu)以及相同的參數(shù)，其回歸效果也會(huì)存在較大的差異性。

采用GP擬合時(shí)，其擬合效果較ANN擬合精度具有一定的提高，同時(shí)不存在ANN的參數(shù)影響以及擬合效果不穩(wěn)定性等問題。因?yàn)槠渥顑?yōu)超參數(shù)都是通過自適應(yīng)獲取，而且在算例的研究過程中發(fā)現(xiàn)，GP模型的參數(shù)一旦確定了，其最后的擬合效果就基本保持不變。因此，GP模型對(duì)于這種高度非線性函數(shù)的擬合效果更加令人滿意。

3 工程實(shí)例研究

3.1 主要影響指標(biāo)的確定

影響混凝土強(qiáng)度的因素眾多，各因素之間又存在錯(cuò)綜復(fù)雜的高度非線性關(guān)系。根據(jù)大量試驗(yàn)數(shù)據(jù)綜合評(píng)定，最終選定了水泥強(qiáng)度、水泥用量、水灰比、骨灰比等9個(gè)指標(biāo)作為主要影響因素。

3.2 高斯過程模型的建立步驟

（1）根據(jù)文獻(xiàn)［3］中表2提供的33組混凝土試驗(yàn)數(shù)據(jù)（鑒于篇幅有限，不予以列出）建立學(xué)習(xí)樣本（xi，yi）（i=1，2，…9），輸入向量xi代表影響混凝土強(qiáng)度的 9個(gè)主要影響因素?cái)?shù)值，輸出標(biāo)量yi代表混凝土強(qiáng)度。

（2）為了消除各主要影響因素之間存在的數(shù)量級(jí)差異，并提高GP的學(xué)習(xí)效果，有必要對(duì)樣本數(shù)據(jù)進(jìn)行如下的標(biāo)準(zhǔn)化處理：

（3）對(duì)學(xué)習(xí)樣本進(jìn)行學(xué)習(xí)，通過學(xué)習(xí)樣本的對(duì)數(shù)似然（式（4））極大化獲得最優(yōu)的超參數(shù)。

（4）根據(jù)式（16）獲得測(cè)試樣本x＊（影響混凝土強(qiáng)度的9個(gè)主要因素組合）對(duì)應(yīng)的混凝土強(qiáng)度的預(yù)測(cè)均值y＊。

根據(jù)上述步驟，采用MATLAB語言編制相應(yīng)程序。

3.3 預(yù)測(cè)效果分析

采用文獻(xiàn)［3］表5中的10個(gè)試驗(yàn)數(shù)據(jù)作為預(yù)測(cè)樣本（見表 1）。

對(duì)學(xué)習(xí)樣本進(jìn)行學(xué)習(xí)，超參數(shù)對(duì)數(shù)初始值設(shè)為lnl=［-1，-1，-1，-1，-1，-1，-1］，lnσf=ln1.0，lnσn=ln0.01，以訓(xùn)練樣本的極大似然為目標(biāo)，采用共軛梯度優(yōu)化算法搜索最優(yōu)超參數(shù)。收斂標(biāo)準(zhǔn)設(shè)為最大迭代步數(shù)為300或迭代步之間的絕對(duì)目標(biāo)值差值小于1×10-6。經(jīng)過迭代得 到 最 優(yōu) 超 參 數(shù) 值 為 ：l=［0.37，88.25，128.26，0.92，1.73，3.41，0.37，0.37，1.38］，σf=8.841，σn=0.49。

GP模型的預(yù)測(cè)結(jié)果見表2，從中可看出，GP模型預(yù)測(cè)樣本的預(yù)測(cè)最大相對(duì)誤差為2.06%。而文獻(xiàn)［3］采用神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)時(shí)，其精度明顯不如GP。由此可見，兩種模型相比較，GP模型對(duì)小樣本問題的適應(yīng)性較強(qiáng)，更簡(jiǎn)單實(shí)用，且精度高。

表1 混凝土試驗(yàn)數(shù)據(jù)實(shí)測(cè)值（預(yù)測(cè)樣本）

表2 混凝土強(qiáng)度的實(shí)測(cè)值與預(yù)測(cè)值比較

4 結(jié)語

（1）傳統(tǒng)方法難以處理混凝土強(qiáng)度與其影響因素之間存在高維度的復(fù)雜非線性關(guān)系，高斯過程機(jī)器學(xué)習(xí)方法能夠很好的處理這種復(fù)雜關(guān)系。通過實(shí)例分析表明，混凝土強(qiáng)度的GP預(yù)測(cè)模型是可行的，且可以給出準(zhǔn)確可靠的預(yù)測(cè)結(jié)果，對(duì)混凝土強(qiáng)度的預(yù)測(cè)具有很強(qiáng)的適用性。

（2）GP模型僅需有限個(gè)實(shí)測(cè)試驗(yàn)數(shù)據(jù)作為學(xué)習(xí)樣本，就能建立相應(yīng)的預(yù)測(cè)模型并預(yù)測(cè)出準(zhǔn)確可靠的預(yù)測(cè)結(jié)果。然而，該方法預(yù)測(cè)精度的高低仍然會(huì)依賴于學(xué)習(xí)樣本的質(zhì)量好壞，如何獲取高質(zhì)量的學(xué)習(xí)樣本將是該方法的下一步主要研究熱點(diǎn)之一。

（3）高斯過程機(jī)器學(xué)習(xí)方法具有嚴(yán)格的統(tǒng)計(jì)理論基礎(chǔ)、優(yōu)良的學(xué)習(xí)和預(yù)測(cè)性能且實(shí)現(xiàn)容易等優(yōu)點(diǎn)，現(xiàn)已成為當(dāng)今機(jī)器學(xué)習(xí)領(lǐng)域的標(biāo)準(zhǔn)工具之一，在工程預(yù)測(cè)方面擁有廣泛的應(yīng)用前景。

［1］周慧麟，余永禎譯.日本建筑學(xué)會(huì)，混凝土早期快速試驗(yàn)方法集（第一版）［M］.北京：中國建筑工業(yè)出版社，1991 年，6-11.

［2］吳中偉，康慧珍.高性能混凝土（第一版）［M］.北京：中國鐵道出版社，1999，3-9.

［3］王繼宗，倪鴻光，何錦云，等.混凝土強(qiáng)度預(yù)測(cè)和模擬的智能化方法［J］.土木工程學(xué)報(bào)，2003，36（10）：24-29.

［4］周 梅，劉 松，王海超，等.利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)混凝土的抗壓強(qiáng)度［J］.遼寧工程技術(shù)大學(xué)學(xué)報(bào)（自然科學(xué)版），1998，17（3）：275-277.

［5］武換娥，丁圣果，鞏玉志，等.支持向量回歸機(jī)在混凝土強(qiáng)度預(yù)測(cè)中的應(yīng)用研究［J］.工業(yè)建筑，2007，37（增刊）： 991-995.

［6］肖義龍.基于高斯過程機(jī)器學(xué)習(xí)的結(jié)構(gòu)可靠度分析方法研究［D］.廣西大學(xué)， 2011，5-9.

［7］ M.Girolami and S.Rogers.Variational Bayesian multinomial probit regression with Gaussian process priors ［J］.Neural Computation，2006，18（8）：1790-1817.

［8］ R.B.Gramacy.tgp：An R package for Bayesian nonstationary， semiparametric nonlinear regression and design by treed Gaussian process models ［J］.Journal of Statistical Software， 2007，19 （19）：1-46.

［9］蘇國韶，宋詠春，燕柳斌.巖體爆破效應(yīng)預(yù)測(cè)的一種新方法［J］.巖石力學(xué)與工程學(xué)報(bào)，2007，26（增 1）：3509-3514.

［10］蘇國韶，張 研，張小飛.高斯過程機(jī)器學(xué)習(xí)方法在地下水位預(yù)測(cè)中的應(yīng)用［J］.中國農(nóng)村水利水電， 2008（12）：48～50.

［11］鄧萬宇，鄭慶華，陳 琳，等.神經(jīng)網(wǎng)絡(luò)極速學(xué)習(xí)方法研究［J］.計(jì)算機(jī)學(xué)報(bào)， 2010（2）：279～287.

［12］朱國強(qiáng)，劉士榮，俞金壽.支持向量機(jī)及其在函數(shù)逼近中的應(yīng)用［J］.華東理工大學(xué)學(xué)報(bào)， 2002（5）：555-559.