基于混沌云量子蝙蝠CNN-GRU大壩變形智能預(yù)報(bào)方法研究

陳以浩, 李明偉, 安小剛, 王宇田, 徐瑞喆

(1.交通運(yùn)輸部水運(yùn)科學(xué)研究院, 北京 100088; 2.哈爾濱工程大學(xué) 船舶工程學(xué)院,黑龍江 哈爾濱 150001)

大壩安全關(guān)乎國(guó)民經(jīng)濟(jì)和人民生命財(cái)產(chǎn)安全,大壩變形預(yù)報(bào)是大壩安全管理的重要組成部分,然而,大壩變形受庫(kù)水位、材料特性、溫度、時(shí)效、氣候等[1]多種因素耦合影響,變形主控因素變化頻繁,內(nèi)在影響機(jī)理錯(cuò)綜復(fù)雜,導(dǎo)致很難對(duì)其做出精確的預(yù)報(bào)。因此,大壩變形預(yù)報(bào)一直是被廣泛關(guān)注的熱點(diǎn)問(wèn)題。

傳統(tǒng)預(yù)報(bào)方法主要包括:時(shí)間序列模型、灰色GM模型、回歸預(yù)測(cè)模型和混合模型等[2],傳統(tǒng)預(yù)報(bào)方法因?yàn)榇髩巫冃螘r(shí)間序列的高非線性和不確定性,很難滿足大壩變形預(yù)測(cè)精度的要求[3]。隨著機(jī)器學(xué)習(xí)和人工智能技術(shù)的快速發(fā)展,目前極限學(xué)習(xí)機(jī)、支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)等多種機(jī)器學(xué)習(xí)和人工智能算法[4-11]開(kāi)始被用于大壩變形預(yù)報(bào)。李明等[12]應(yīng)用綜合自回歸移動(dòng)平均(auto-regressive integrated moving average,ARIMA)模型,構(gòu)建非平穩(wěn)時(shí)間序列模型對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析處理。羅德河等[13]應(yīng)用時(shí)間序列原理建立變形預(yù)報(bào)自回歸滑動(dòng)平均(auto-regressive moving average, ARMA)模型研究大壩變形預(yù)報(bào)。范千等[14]針對(duì)大壩變形具有強(qiáng)非線性的特點(diǎn),基于SVM方法建立大壩變形預(yù)報(bào)模型。此類方法能較好地解決傳統(tǒng)方法難以解決的問(wèn)題,但以上模型均具有一定的局限性?；谔荻认陆捣˙PNN方法容易陷入局部極值,而導(dǎo)致過(guò)早收斂,收斂速度較慢;支持向量機(jī)模型的超參選擇決定著模型的預(yù)報(bào)精度,但目前尚未出現(xiàn)統(tǒng)一的支持向量機(jī)超參優(yōu)選方法,因此上述方法的不足限制了其在工程中的大規(guī)模應(yīng)用。

近年來(lái)深度學(xué)習(xí)因其良好的數(shù)據(jù)挖掘能力已經(jīng)被嘗試用于預(yù)報(bào)領(lǐng)域,并且取得了優(yōu)異的效果[9]。沈細(xì)中等[15]結(jié)合模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)提出了自適應(yīng)神經(jīng)模糊系統(tǒng)預(yù)報(bào)模型。張豪等[16]結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解和SVM來(lái)進(jìn)行大壩變形預(yù)報(bào)。梁嘉琛等[17]提出了一種結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解和自回歸滑動(dòng)平均模型的大壩變形預(yù)報(bào)模型。為進(jìn)一步提高大壩變形預(yù)報(bào)精度,本文針對(duì)大壩變形非線性動(dòng)力系統(tǒng)的強(qiáng)非線性特點(diǎn),引入CNN和GRU深度學(xué)習(xí)網(wǎng)絡(luò),設(shè)計(jì)面向大壩變形數(shù)據(jù)空間特征提取的卷積深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)和基于GRU的大壩變形時(shí)間序列特征提取深度學(xué)習(xí)網(wǎng)路,完成構(gòu)建面向大壩變形預(yù)報(bào)的CNN-GRU組合深度學(xué)習(xí)網(wǎng)絡(luò);為獲取組合深度學(xué)習(xí)網(wǎng)絡(luò)超參,引入CCQBA算法對(duì)超參進(jìn)行優(yōu)選,建立了CNN-GRU-CCQBA大壩變形組合深度學(xué)習(xí)智能預(yù)報(bào)方法。基于大壩實(shí)測(cè)變形數(shù)據(jù)開(kāi)展預(yù)報(bào)試驗(yàn)研究,測(cè)試建立方法的可行性和優(yōu)越性。

1 CNN-GRU-CCQBA大壩變形組合深度學(xué)習(xí)預(yù)報(bào)方法提出

1.1 基于CNN的大壩變形數(shù)據(jù)特征提取

(1)

式中的“*”號(hào)實(shí)質(zhì)是讓卷積核f在第n-1層所有關(guān)聯(lián)的特征圖上做卷積運(yùn)算,然后求和,再加上一個(gè)偏置參數(shù),并取激活函數(shù)得到最終激勵(lì)值的過(guò)程:

卷積前與卷積后的特征圖尺寸對(duì)應(yīng)關(guān)系為:

Wb=(Wf-F+2Z)/S+1

(2)

Hb=(Hf-F+2Z)/S+1

(3)

式中:W為寬度;H為高度;下標(biāo)b表示后方,下標(biāo)f表示前方;F為濾波器的尺寸;S為卷積步長(zhǎng);Z為零填充的圈數(shù)。

CNN的誤差反向傳播分為卷積層和池化層2種不同的情況,卷積層見(jiàn)式(4)。

(4)

由于池化層沒(méi)有權(quán)重參數(shù),因此,誤差項(xiàng)只需要向前傳播即可,對(duì)于最大池化,下一層的誤差項(xiàng)的值會(huì)自動(dòng)傳遞到上一層對(duì)應(yīng)區(qū)塊中的最大值所對(duì)應(yīng)的神經(jīng)元,而其他神經(jīng)元的誤差項(xiàng)的值都是0,對(duì)于平均池化,下一層的誤差項(xiàng)的值會(huì)平均分配到上一層對(duì)應(yīng)區(qū)塊中的所有神經(jīng)元。因此,只需要由輸出層開(kāi)始計(jì)算誤差項(xiàng),按層反向計(jì)算,即可完成CNN的權(quán)重參數(shù)更新。

1.2 基于GRU的大壩變形數(shù)據(jù)特征提取

影響大壩變形的溫度、水壓力、時(shí)效分量等因素各自呈現(xiàn)出一定的周期性變化,一般來(lái)說(shuō),各個(gè)影響分量的周期是不規(guī)則變化的、變周期的,難以具體去描述,這也造成了其周期特征人工表示的困難?？紤]到這種情況,本文利用RNN深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)自動(dòng)提取大壩變形非線性動(dòng)力系統(tǒng)的時(shí)間特征。經(jīng)過(guò)CNN卷積和池化操作處理的序列變成了高維張量,在輸入到RNN之前,將其進(jìn)行展平操作,變成一維序列。一維序列經(jīng)過(guò)GRU循環(huán)處理,最終輸出為多個(gè)時(shí)刻不同的特征張量。

常用的RNN有LSTM和GRU 2種。考慮到GRU在處理序列建模問(wèn)題時(shí),在網(wǎng)絡(luò)內(nèi)部引入重置門(mén)和更新門(mén),效果優(yōu)于傳統(tǒng)RNN,當(dāng)使用固定數(shù)量參數(shù)時(shí),在CPU時(shí)間的收斂性以及參數(shù)更新和泛化方面,GRU要?jiǎng)龠^(guò)LSTM[19],為此,本文選用GRU網(wǎng)絡(luò)挖掘大壩變形非線性動(dòng)力系統(tǒng)的時(shí)間特征。此時(shí),GRU控制門(mén)以及狀態(tài)計(jì)算為:

zt=φ(Wz·xt+Uz·ht-1)

(5)

rt=φ(Wr·xt+Ur·ht-1)

(6)

(7)

(8)

GRU的訓(xùn)練算法是沿時(shí)間反向傳播算法(back-propagation through time, BPTT)。GRU的誤差項(xiàng)與DNN和CNN有所不同,定義為損失函數(shù)對(duì)隱藏輸出的偏導(dǎo)數(shù),即如式(9)所示。誤差項(xiàng)沿時(shí)間的反向傳播如式(10)和(11)推導(dǎo)所示。

(9)

(10)

(11)

1.3 CNN-GRU大壩變形深度組合預(yù)報(bào)網(wǎng)絡(luò)建立

基于CNN和GRU的大壩變形深度組合預(yù)報(bào)網(wǎng)絡(luò)由3個(gè)部分組成:1)CNN網(wǎng)絡(luò)的空間特征提取層,包括CNN輸入層、CNN卷積層、CNN池化層;2)GRU網(wǎng)絡(luò)的時(shí)間特征提取層,包括GRU輸入層、GRU隱藏層和GRU輸出層;3)在GRU輸出層后設(shè)置一個(gè)全連接層,映射為大壩變形值。在學(xué)習(xí)過(guò)程中,首先,對(duì)大壩變形多因素變量組成的二維矩陣進(jìn)行數(shù)據(jù)的初步處理,將處理后數(shù)據(jù)作為CNN的輸入層,經(jīng)過(guò)卷積操作后完成特征提取,獲取多個(gè)特征圖。將特征圖利用最大池化進(jìn)行采樣,實(shí)現(xiàn)其維度的自動(dòng)壓縮,獲取一個(gè)二維張量,然后將這個(gè)二維張量進(jìn)行重塑操作,即將二維向量展開(kāi)為一維向量,使其符合GRU學(xué)習(xí)網(wǎng)路的輸出格式,完成大壩變形非線性動(dòng)力系統(tǒng)的空間特征提取。然后,將新構(gòu)造的大壩變形特征向量作為GRU層的輸入,由GRU的隱藏層完成循環(huán)和門(mén)控計(jì)算,實(shí)現(xiàn)大壩變形非線性動(dòng)力系統(tǒng)的時(shí)間特征提取。深度組合預(yù)報(bào)網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 CNN-GRU大壩變形組合學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)Fig.1 CNN-GRU dam deformation combination learning network architecture

1.4 基于CCQBA的預(yù)報(bào)網(wǎng)絡(luò)超參優(yōu)選方法

深度學(xué)習(xí)模型的參數(shù)分為2種,層與層之間的連接權(quán)重參數(shù)和模型的超參。一般來(lái)說(shuō),權(quán)重參數(shù)的調(diào)節(jié)可以通過(guò)深度學(xué)習(xí)框架來(lái)設(shè)置某種權(quán)重參數(shù)優(yōu)化算法,本文設(shè)置的為反向傳播算法。而模型的超參數(shù)則需要人為去設(shè)定,并通過(guò)不斷地嘗試修改,最終選擇合理的超參。人工調(diào)參不僅需要大量的實(shí)踐經(jīng)驗(yàn),而且耗費(fèi)的時(shí)間也較長(zhǎng)。為此,本文采用智能優(yōu)化算法替代人工調(diào)參,實(shí)現(xiàn)超參數(shù)自動(dòng)優(yōu)選。

蝙蝠算法(bat algorithm, BA)具有收斂速度快,結(jié)構(gòu)簡(jiǎn)單,搜索能力強(qiáng)等特點(diǎn),是廣大學(xué)者研究的重點(diǎn)算法之一。針對(duì)BA的不足,本文基于量子理論、混沌理論和云模型提出了混沌云量子蝙蝠算法(chaotic cloud quantum bat algorithm, CCQBA)[20],及經(jīng)典測(cè)試函數(shù)開(kāi)展優(yōu)化試驗(yàn),效果良好,為此本文嘗試將其應(yīng)用于CNN-GRU大壩變形深度組合預(yù)報(bào)網(wǎng)絡(luò)的超參優(yōu)選,以進(jìn)一步提高預(yù)報(bào)精度。

CCQBA算法的優(yōu)化過(guò)程如下:種群內(nèi)每一個(gè)個(gè)體為CNN-GRU的超參組合,對(duì)CCQBA進(jìn)行編碼;種群位置、頻率和響度初始化后,采用量子蝙蝠算法進(jìn)行位置更新。經(jīng)過(guò)一定的迭代次數(shù),將每個(gè)個(gè)體當(dāng)前的最優(yōu)位置視為一個(gè)新種群,并根據(jù)適應(yīng)度對(duì)新種群進(jìn)行排序。將新種群分為2部分,具有較好適應(yīng)度值的部分繼續(xù)在云模型中進(jìn)行局部搜索,以加快搜索速度;具有較差適應(yīng)度值的部分進(jìn)行混沌全局?jǐn)_動(dòng),以增加種群多樣性。CCQBA算法的實(shí)現(xiàn)過(guò)程如下,具體信息請(qǐng)參考文獻(xiàn)[20]。

1)基本參數(shù)設(shè)置。設(shè)置蝙蝠種群的大小(n)、迭代循環(huán)的最大數(shù)目(gen)、頻率范圍([fmin,fmax])、擾動(dòng)尺度因子(dissca)、混合執(zhí)行參數(shù)(mixexe)、聚合參數(shù)(σ)、停止條件(tol)。

4)迭代代數(shù)初始化。令t=1,tt=1。

6)更新迭代循環(huán)。更新t=t+1,tt=tt+1。

7)計(jì)算新精英種群的適應(yīng)度值。Iftt≤mixexe×n,則轉(zhuǎn)到步驟5);否則,使用每個(gè)個(gè)體當(dāng)前的最佳位置生成一個(gè)新的種群,該種群使用個(gè)體的適應(yīng)值進(jìn)行排序。新種群分為2部分:一部分由較好個(gè)體組成,大小為(1-dissca)×n,另一部分由較差個(gè)體組成,大小為dissca×n。通過(guò)局部云搜索在較小范圍內(nèi)搜索較好的個(gè)體,以產(chǎn)生新的優(yōu)秀個(gè)體。對(duì)較差個(gè)體施加全局?jǐn)_動(dòng),且在這種新的擾動(dòng)后會(huì)得到優(yōu)秀個(gè)體。形成精英種群的規(guī)模為n,從而可以計(jì)算每個(gè)個(gè)體的適應(yīng)度值。

8)計(jì)算新精英種群的適應(yīng)度值。令tt=1;然后,返回步驟5)。

CCQBA流程圖如圖2所示。

圖2 CCQBA優(yōu)化流程Fig.2 CCQBA optimization flowchart

1.5 CNN-GRU-CCQBA大壩變形集成預(yù)報(bào)方法建立

隨著CNN-GRU組合深度學(xué)習(xí)網(wǎng)絡(luò)的不斷訓(xùn)練,網(wǎng)絡(luò)損失會(huì)不斷降低,但是僅僅能說(shuō)明獲得網(wǎng)絡(luò)不斷逼近所用的訓(xùn)練數(shù)據(jù),不能說(shuō)明在其他時(shí)刻數(shù)據(jù)也表現(xiàn)良好。因此,將訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的回歸誤差值作為CCQBA的適應(yīng)度函數(shù)顯然不充分。為此,本文將試驗(yàn)數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集、檢驗(yàn)數(shù)據(jù)集和測(cè)試數(shù)據(jù)集3部分。訓(xùn)練數(shù)據(jù)集用于CNN-GRU組合深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練,訓(xùn)練完成后,計(jì)算檢驗(yàn)數(shù)據(jù)集的回歸誤差,為了提高優(yōu)化得到組合深度學(xué)習(xí)網(wǎng)絡(luò)的泛化性能,將訓(xùn)練數(shù)據(jù)集回歸誤差和檢驗(yàn)數(shù)據(jù)集回歸誤差之和作為CCQBA的適應(yīng)度函數(shù)值,用于CNN-GRU組合深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)化。CNN-GRU-CCQBA集成預(yù)報(bào)流程設(shè)計(jì)如下,流程圖如圖3所示。

圖3 CNN-GRU-CCQBA大壩變形預(yù)報(bào)方法流程Fig.3 Flow chart of CNN-GRU-CCQBA dam deformation prediction method

1)數(shù)據(jù)預(yù)處理。大壩變形時(shí)間序列以及影響因素序列經(jīng)過(guò)數(shù)據(jù)歸一化,使其值域變?yōu)閇0,1]。然后處理其格式,使其滿足CNN-GRU-CCQBA的訓(xùn)練要求。

2)模型結(jié)構(gòu)及參數(shù)初始化。初始化CNN-GRU組合學(xué)習(xí)網(wǎng)絡(luò)的輸入維度、卷積核數(shù)量、卷積核尺寸、池化尺寸、GRU隱藏節(jié)點(diǎn)數(shù)等網(wǎng)絡(luò)超級(jí)參數(shù);設(shè)置CNN-GRU組合學(xué)習(xí)網(wǎng)絡(luò)的卷積層數(shù)、池化層數(shù)、卷積與循環(huán)結(jié)合方式和激活函數(shù)等網(wǎng)絡(luò)結(jié)構(gòu)參數(shù);根據(jù)算法參數(shù)上下限,初始化CCQBA各參數(shù)的上下限。

3)內(nèi)置模型訓(xùn)練。將1)訓(xùn)練數(shù)據(jù)輸入到CNN-GRU模型中獲得模型輸出;根據(jù)模型的輸出值和標(biāo)簽值計(jì)算每層網(wǎng)絡(luò)的誤差項(xiàng);按照梯度更新公式,對(duì)每層的權(quán)重梯度進(jìn)行更新。判斷是否達(dá)到訓(xùn)練輪數(shù),若沒(méi)有達(dá)到,則重復(fù)上述網(wǎng)絡(luò)訓(xùn)練流程,反之則停止訓(xùn)練,跳轉(zhuǎn)到5)。

4)CCQBA演化迭代。根據(jù)3)中訓(xùn)練完成的CNN-GRU組合學(xué)習(xí)網(wǎng)絡(luò),將1)中的訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集分別代入到新網(wǎng)絡(luò)中,獲得網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)上的損失函數(shù)值,將兩者加和作為適應(yīng)度值反饋給CCQBA算法,進(jìn)行演化迭代。

5)最優(yōu)超參數(shù)訓(xùn)練與驗(yàn)證。將所得的最優(yōu)超參賦值給新的CNN-GRU組合學(xué)習(xí)網(wǎng)絡(luò),基于訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,基于驗(yàn)證數(shù)據(jù)對(duì)其進(jìn)行驗(yàn)證。當(dāng)其滿足訓(xùn)練輪數(shù)時(shí),判斷是否存在過(guò)擬合(訓(xùn)練集預(yù)測(cè)誤差很小,測(cè)試集預(yù)測(cè)誤差較大)或欠擬合(訓(xùn)練集與測(cè)試集預(yù)測(cè)誤差均較大)現(xiàn)象。若存在,則對(duì)模型進(jìn)行微調(diào)并重復(fù)5);若不存在,則獲得優(yōu)化后的深度組合學(xué)習(xí)網(wǎng)絡(luò)。

6)模型精度測(cè)試。使用測(cè)試數(shù)據(jù)對(duì)5)中所得到的模型進(jìn)行預(yù)報(bào)實(shí)驗(yàn),測(cè)試預(yù)報(bào)精度,獲取預(yù)報(bào)模型。

2 實(shí)例分析

(12)

式中:Di為第i個(gè)數(shù)據(jù)歸一化后的結(jié)果;di為時(shí)間序列中的第i個(gè)數(shù)據(jù);dmax為時(shí)間序列中的最大值;dmin為時(shí)間序列中的最小值。

2.1 對(duì)比模型及算法選取

1)對(duì)比模型選取。

為了對(duì)比分析本文建立的預(yù)報(bào)模型的預(yù)報(bào)性能,選用ANN、CNN、GRU、CNN-GRU 4種預(yù)報(bào)網(wǎng)絡(luò)分別開(kāi)展預(yù)報(bào)試驗(yàn)。為了確保超參優(yōu)選可比性,利用CCQBA算法分別優(yōu)化上述4類網(wǎng)絡(luò)的超參,其中,優(yōu)化變量包括:輸入維度、卷積核數(shù)量、卷積核尺寸、池化尺寸和GRU的隱藏節(jié)點(diǎn)數(shù)。利用ANN-CCQBA、CNN-CCQBA、GRU-CCQBA和CNN-GRU-CCQBA 4種預(yù)報(bào)方法分別開(kāi)展預(yù)報(bào)試驗(yàn)。經(jīng)優(yōu)化獲得上述4種預(yù)報(bào)模型參數(shù)如表1所示。

表1 對(duì)比模型超參數(shù)設(shè)置Table 1 Compare model superparameter settings

2)對(duì)比算法選取。

為了測(cè)試CCQBA算法在優(yōu)選CNN-GRU大壩變形深度組合預(yù)報(bào)網(wǎng)絡(luò)超參過(guò)程中的性能,本文選取隨機(jī)搜索(RS)、網(wǎng)格搜索(GS)、蝙蝠算法(BA)、量子蝙蝠算法(QBA)和CCQBA 5種算法開(kāi)展超參優(yōu)選對(duì)比試驗(yàn)。基于試驗(yàn)樣本數(shù)據(jù),經(jīng)試算確定上述5種算法的參數(shù)設(shè)置如表2所示。

表2 對(duì)比算法參數(shù)設(shè)置Table 2 Comparison algorithm parameter setting

2.2 預(yù)報(bào)精度評(píng)估指標(biāo)

本文選取均方根誤差(root mean square error,RMSE)和平均絕對(duì)百分比誤差(mean absolute percentage errors,MAPE)作為預(yù)報(bào)精度評(píng)估指標(biāo),計(jì)算公式為:

(13)

(14)

2.3 預(yù)報(bào)表現(xiàn)及算法優(yōu)化性能分析

1)模型預(yù)報(bào)表現(xiàn)分析。

在進(jìn)行深度學(xué)習(xí)之初,其權(quán)重參數(shù)通常是隨機(jī)生成的較小實(shí)數(shù),在具體的訓(xùn)練過(guò)程中,隨機(jī)梯度下降算法不斷迭代至合適值,但是即使對(duì)應(yīng)于相同的回歸結(jié)果,其權(quán)重也極有可能不同,再具體測(cè)試過(guò)程中很可能產(chǎn)生不同的結(jié)果。因此,為了減弱波動(dòng)性對(duì)預(yù)報(bào)性能測(cè)試的影響,所以,在相同的超參數(shù)設(shè)置下,獨(dú)立的進(jìn)行了20次預(yù)報(bào)實(shí)驗(yàn),并將這20次結(jié)果取平均,作為模型的最終預(yù)報(bào)結(jié)果?；贑CQBA算法確定的模型超參,依次完成了ANN、CNN、GRU、CNN-GRU 4種網(wǎng)絡(luò)的預(yù)報(bào)實(shí)驗(yàn),預(yù)報(bào)結(jié)果與真實(shí)值對(duì)比見(jiàn)圖4,預(yù)報(bào)精度評(píng)估值見(jiàn)表3。

表3 預(yù)報(bào)模型的精度評(píng)估表Table 3 Accuracy evaluation table of prediction model

圖4 預(yù)報(bào)模型結(jié)果對(duì)比Fig.4 Comparison chart of prediction model results

從表3可以看出,單獨(dú)使用CNN和GRU深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)大壩變形進(jìn)行預(yù)報(bào)時(shí),其EMAP精度指標(biāo)分別達(dá)到了2.207 9%和2.133 3%,而在ERMS指標(biāo)上,分別達(dá)到了2.043 3和1.975 1,與ANN模型的2.689 4%和2.486 7相比有了明顯改善,但CNN和GRU模型之間相差不大。當(dāng)使用CNN-GRU組合預(yù)報(bào)網(wǎng)路進(jìn)行大壩變形預(yù)報(bào)時(shí),預(yù)報(bào)精度評(píng)估指標(biāo)EMAP和ERMS分別為1.649 0%和1.524 6,其取值明顯小于CNN和GRU單獨(dú)預(yù)報(bào)網(wǎng)絡(luò)。這表明針對(duì)大壩變形非線性動(dòng)力系統(tǒng)演化特點(diǎn),基于CNN模型深度挖掘序列空間特征和基于GRU模型深度挖掘序列時(shí)間特征,有效提升了CNN-GRU組合預(yù)報(bào)網(wǎng)絡(luò)對(duì)大壩變形非線性動(dòng)力系統(tǒng)的模擬精度,進(jìn)而獲得了更精確預(yù)報(bào)結(jié)果。由此可見(jiàn),根據(jù)大壩變形非線性動(dòng)力系統(tǒng)特點(diǎn),通過(guò)對(duì)CNN和GRU深度學(xué)習(xí)網(wǎng)絡(luò)的優(yōu)化組合實(shí)現(xiàn)大壩變形預(yù)測(cè),對(duì)于提升大壩變形預(yù)報(bào)精度的嘗試是可行的。

2)算法優(yōu)化性能分析。

考慮到群智能優(yōu)化算法的隨機(jī)性,分別使用RS、GS、BA、QBA和CCQBA 5種算法對(duì)CNN-GRU模型優(yōu)化20次,取20次4種算法每一代的適應(yīng)度值的平均值繪制進(jìn)化曲線,4種算法在優(yōu)化CNN-GRU組合網(wǎng)絡(luò)超參過(guò)程中的進(jìn)化曲線如圖5所示。

從圖5不難看出,在對(duì)CNN-GRU組合網(wǎng)絡(luò)超參進(jìn)行優(yōu)選時(shí),GS和RS算法前期的收斂速度較慢,而B(niǎo)A算法前期的收斂速度快。這主要是因?yàn)镚S和RS算法是一種隨機(jī)搜索算法,隨機(jī)性較強(qiáng)。而對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò),不同的參數(shù)對(duì)預(yù)報(bào)精度的影響程度是不同的,當(dāng)某個(gè)重要超參數(shù)收斂在一個(gè)小范圍內(nèi)時(shí),網(wǎng)絡(luò)的精度可能會(huì)相對(duì)較高,如果在此時(shí)使用的是隨機(jī)搜索,很容易直接跳出這個(gè)局部而錯(cuò)過(guò)較優(yōu)參數(shù),而B(niǎo)A算法是啟發(fā)式搜索算法,它們?cè)谒阉鞯倪^(guò)程中會(huì)根據(jù)固定的規(guī)則去執(zhí)行全局搜索或是局部搜索,因此更加適合深度學(xué)習(xí)網(wǎng)絡(luò)的超參數(shù)優(yōu)選。因此導(dǎo)致BA算法收斂速度大于GS和RS算法。

對(duì)比BA算法和QBA算法,不難發(fā)現(xiàn),在進(jìn)化初期,因?yàn)榱孔佑?jì)算的引入,增加了每代計(jì)算耗時(shí),所以降低了收斂速度,但是也正式量子計(jì)算的引入,使得種群當(dāng)陷入邊界局部最優(yōu)時(shí),種群會(huì)自動(dòng)跳離邊界,從而跳出局部最優(yōu)位置,避免了陷入局部最優(yōu),持續(xù)搜索到更優(yōu)解。與QBA相比,CCQBA通過(guò)基于混沌映射的全局?jǐn)_動(dòng)和基于云模型的局部加速,獲得了更優(yōu)秀的進(jìn)化曲線,混沌擾動(dòng)使算法在進(jìn)化后期能夠不斷跳出局部極值,解決了進(jìn)化后期易陷入局部最優(yōu)的難題,云模型在進(jìn)化后期能夠加速最優(yōu)解局部搜索,進(jìn)而提升收斂速度。同時(shí),從CCQBA迭代曲線可以發(fā)現(xiàn),該算法前50次迭代收斂速度較快,因此,模型若在前50代停止訓(xùn)練,將降低CNN-GRU超參組合的優(yōu)化結(jié)果;而在50～200次迭代,因收斂已趨于平穩(wěn),所以模型訓(xùn)練停止條件對(duì)優(yōu)化結(jié)果影響不大。

因此,基于CCQBA進(jìn)行CNN-GRU大壩變形深度組合預(yù)報(bào)網(wǎng)絡(luò)超參優(yōu)選用于提高預(yù)報(bào)精度的嘗試是可行的。

3 結(jié)論

1)本文從大壩變形非線性動(dòng)力系統(tǒng)時(shí)間序列的強(qiáng)非線性出發(fā),提出了一種基于CNN網(wǎng)絡(luò)、GRU網(wǎng)絡(luò)和CCQBA算法的CNN-GRU-CCQBA大壩變形組合深度學(xué)習(xí)智能預(yù)報(bào)方法。

2)與ANN、CNN和GRU模型對(duì)比,CNN-GRU網(wǎng)絡(luò)模型顯著降低了預(yù)測(cè)誤差,極大地提升了預(yù)測(cè)精度。

3)與RS、GS、BA和QBA算法對(duì)比,CCQBA算法具有更好的收斂性能,能夠?yàn)镃NN-GRU模型提供更優(yōu)質(zhì)的超參組合。

4)實(shí)際應(yīng)用結(jié)果表明,本文方法有效預(yù)測(cè)了大壩變形趨勢(shì),且與監(jiān)測(cè)數(shù)據(jù)具有較好的擬合性,能夠?yàn)榇髩巫冃蔚木珳?zhǔn)預(yù)報(bào)提供了新的方法參考。

5)模型精度提高勢(shì)必會(huì)導(dǎo)致模型復(fù)雜度增加,優(yōu)化時(shí)間會(huì)有所提高,可進(jìn)一步開(kāi)展基于并行計(jì)算方法開(kāi)展大壩預(yù)測(cè)模型加速訓(xùn)練優(yōu)化方法研究。