級聯(lián)遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)的湍流時(shí)空預(yù)測模型

郭 昊，董 雪?，孫志偉?，周 波

(1.上海交通大學(xué)中英國際低碳學(xué)院，上海 200240；2.澳大利亞阿德萊德大學(xué)能源研究中心，澳大利亞 SA5005；3.南方科技大學(xué)力學(xué)與航空系，廣東 深圳 518000)

1 引言

湍流流動(dòng)因其結(jié)構(gòu)具有復(fù)雜的時(shí)空特性，至今仍是學(xué)術(shù)界最受關(guān)注的研究方向之一。為捕捉高度湍流火焰中渦流和中間產(chǎn)物的瞬態(tài)特性，亟需發(fā)展適用于湍流燃燒測量的具有高時(shí)空分辨率的診斷技術(shù)。在過去的數(shù)十年中，采用非侵入式光學(xué)診斷方法研究湍流-火焰相互作用是比較主流的實(shí)驗(yàn)方法[1]。為了通過實(shí)驗(yàn)手段可視化湍流火焰結(jié)構(gòu)，通常采用平面激光誘導(dǎo)熒光(PLIF)[2，3]方法對燃燒中間產(chǎn)物的濃度分布進(jìn)行測量。這是一種用于診斷燃燒過程的有效的成像技術(shù)，具有很高的空間分辨率。OH自由基(羥基)是燃燒過程中的一個(gè)重要自由基，它的分布通常被用作火焰中反應(yīng)區(qū)的標(biāo)志。

然而，平面激光成像技術(shù)雖然可提供高時(shí)空分辨率以及高保真度的湍流結(jié)構(gòu)[4-8]，現(xiàn)階段尚且難以對湍流火焰的中間產(chǎn)物開展高頻連續(xù)診斷，其原因在于對于很多用于測量燃燒中間產(chǎn)物的激光診斷方法，現(xiàn)有的實(shí)驗(yàn)設(shè)備仍然不滿足高頻連續(xù)測量的需求。近年來高速脈沖激光(multi-kHz)和探測器的發(fā)展為高時(shí)空分辨率的湍流結(jié)構(gòu)測量提供了有利條件[9-11]?？捎糜诟咚偃紵\斷的激光器包括突發(fā)模式激光器(burst-modelasers)，其原理為基于高重復(fù)率種子激光器的順序放大；此外 Nd：YAG團(tuán)簇也可以產(chǎn)生極短的脈沖間隔(理論上沒有最小脈沖間隔)，并且能量與10Hz激光相當(dāng)。雖然高速 Nd-YAG激光器與染料激光器或者 OPO聯(lián)合使用可用于高速(百 kHz級別)OH-PLIF測量，然而以上兩種激光器均受制于有限的連續(xù)脈沖數(shù)(如 burst-modelaser的連續(xù)脈沖數(shù)為100左右)，因此通過實(shí)驗(yàn)獲得的有效PLIF圖像序列都比較短，對于湍流火焰結(jié)構(gòu)變化的時(shí)序分析提出了挑戰(zhàn)。

鑒于此，若能通過計(jì)算成像的方法利用過去的多幀 OH自由基火焰序列圖像預(yù)測未來多幀 OH自由基火焰序列圖像，不僅可以一定程度彌補(bǔ)激光光源在時(shí)序序列之間的間斷，還可以利用獲得的預(yù)測圖像判斷火焰燃燒狀態(tài)，對未來可能發(fā)生的異常情況進(jìn)行判斷和處理。因此對火焰狀態(tài)的時(shí)序預(yù)測，對于獲得連續(xù)高速的成像、實(shí)現(xiàn)燃燒狀態(tài)的動(dòng)態(tài)調(diào)控和燃燒室故障預(yù)警均起到重要作用。

近年來，基于深度學(xué)習(xí)的計(jì)算成像方法受到越來越多的重視。隨著 2015年Shi 等人提出卷積長短期記憶網(wǎng)絡(luò)(ConvLSTM)[12]并將其成功應(yīng)用到降雨量的預(yù)測上，ConvLSTM在未來多幀圖像預(yù)測研究領(lǐng)域的應(yīng)用也越來越廣泛。該模型以過去的一段衛(wèi)星云圖序列為輸入，預(yù)測未來的一段時(shí)間的衛(wèi)星云圖，這種方法很好地捕捉了靜態(tài)和移動(dòng)物體的相對運(yùn)動(dòng)，但預(yù)測的圖像有明顯的模糊和預(yù)測對象的逐漸消失的缺點(diǎn)[13]。隨后，F(xiàn)inn等人[14]基于該模型構(gòu)造了一個(gè)網(wǎng)絡(luò)，用于預(yù)測前一幀圖像序列在下一幀的變換。Lotter等人[15]在ConvLSTM的基礎(chǔ)上建立了預(yù)測模型，重點(diǎn)在于提高下一幀的預(yù)測質(zhì)量。然而，以上研究都只專注于預(yù)測下一幀圖像，而本研究的目標(biāo)是一個(gè)以過去的 OH自由基成像序列為輸入，以未來一定數(shù)量(大于 1)的 OH自由基成像序列為輸出的時(shí)空序列預(yù)測問題。

為了提升預(yù)測時(shí)序序列的長度以及預(yù)測圖像的準(zhǔn)確度，Patraucean等人[16]通過引入光流模型來改進(jìn)遞歸神經(jīng)網(wǎng)絡(luò)模型。然而由于光流模型計(jì)算量的增加，這種方法很難應(yīng)用。近期，Wang等人首先提出Predrnn[17]并在其基礎(chǔ)上加以改進(jìn)提出Predrnn++[18]，使得未來多幀預(yù)測結(jié)果的準(zhǔn)確率得到了顯著的提升。

本文的目標(biāo)是基于Predrnn++模型構(gòu)建一種新的神經(jīng)網(wǎng)絡(luò)時(shí)序預(yù)測模型——CasecadeRNN模型，以實(shí)現(xiàn)對高頻OH-PLIF圖像的未來多幀預(yù)測，并使模型在預(yù)測空間特征迅速變化的火焰時(shí)能保證較高的準(zhǔn)確率。該模型在前人工作基礎(chǔ)上做的改進(jìn)主要在于：①修改了CausalLSTM單元的時(shí)間記憶單元空間記憶單元的級聯(lián)結(jié)構(gòu)；②將Causal LSTM單元空間記憶單元內(nèi)部的激活函數(shù)由tanh 修改為ReLU[19]；③將CausalLSTM中時(shí)間記憶單元和空間記憶單元融合時(shí)所使用的激活函數(shù)由tanh修改為ReLU；④修改了Predrnn++模型的層數(shù)和各層隱藏狀態(tài)的個(gè)數(shù)；⑤模型訓(xùn)練時(shí)融合MeanAbsoluteError(MAE)和結(jié)構(gòu)相似性指數(shù)(SSIM)作為損失函數(shù)。除模型創(chuàng)新之外，通過真實(shí)實(shí)驗(yàn)數(shù)據(jù)自建了 OH-PLIF圖像數(shù)據(jù)集，填補(bǔ)了燃燒診斷多幀預(yù)測方面計(jì)算成像研究的數(shù)據(jù)空缺。

2 湍流燃燒自由基成像時(shí)空預(yù)測模型的構(gòu)建

2.1 模型結(jié)構(gòu)

本研究所構(gòu)建的計(jì)算成像模型CascadeRNN主要基于CausalLSTM框架。該框架與傳統(tǒng)的LSTM模型相比增加了前一個(gè)時(shí)間步到下一個(gè)時(shí)間步的遞歸深度，并通過這種機(jī)制獲得了空間相關(guān)性和更強(qiáng)的時(shí)序變化建模能力。但由于 Causal LSTM 內(nèi)部采用級聯(lián)操作以及多個(gè)指數(shù)激活函數(shù)，使網(wǎng)絡(luò)參數(shù)和深度急劇上升，在實(shí)踐中比較耗時(shí)。此外，網(wǎng)絡(luò)在實(shí)際訓(xùn)練中也會(huì)出現(xiàn)過擬合現(xiàn)象。本文基于此，通過修改內(nèi)部結(jié)構(gòu)和激活函數(shù)，提出了CausalLSTM++。其次，為了實(shí)現(xiàn)更長時(shí)序序列的未來幀預(yù)測，本文嘗試解決反向傳播梯度消失的問題。具體技術(shù)路線為建造了一條可供選擇的梯度高速傳播路徑——GradientHighwayUnit(GHU)，即一條從輸出到遠(yuǎn)距離輸入的較短路線。CausalLSTM++與GradientHighwayUnit經(jīng)過級聯(lián)形成了本研究所構(gòu)建的獨(dú)特的級聯(lián)遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)CascadeRNN。該模型的訓(xùn)練模塊和預(yù)測模塊的神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)示意圖如圖1所示。

圖1 CascadeRNN模型結(jié)構(gòu)示意圖

2.1.1 CausalLSTM++結(jié)構(gòu)

圖2 CausalLSTM++結(jié)構(gòu)示意圖

與Wang等人最初提出的ST-LSTM[17]有明顯不同的是，CausalLSTM++在采用級聯(lián)機(jī)制的基礎(chǔ)上，通過在多個(gè)信息傳播路徑上加入ReLU激活函數(shù)引入了稀疏性，降低了梯度反向傳播的計(jì)算量，并且緩解了過擬合。第k層CausalLSTM++的更新方程如下

(6)

2.1.2 GradientHighwayUnit

此前研究表明，Srivastava等人提出的梯度高速公路層[20]能夠在非常深的前饋網(wǎng)絡(luò)中有效地傳遞梯度。這一思想應(yīng)用到遞歸網(wǎng)絡(luò)中，可以防止長傳梯度的快速消失，Wang等人[17]在此基礎(chǔ)上提出了一種新的時(shí)空遞歸結(jié)構(gòu)梯度高速公路單元(GHU)，GHU的方程式如下

Pt=tanh(Wpx*Xt+Wpz*Zt-1)

(7)

St=σ(Wsx*Xt+Wsz*Zt-1)

(8)

Zt=St⊙Pt+(1-St)⊙Zt-1

(9)

2.2 損失函數(shù)的改進(jìn)

另外Wang等人[21]指出，單一的MAE作為損失函數(shù)并不能直觀準(zhǔn)確地表征與人類視覺系統(tǒng)所感受到的一致性。因此本研究也引入SSIM指標(biāo)來衡量圖像之間的相似性。SSIM從顏色亮度、對比度和結(jié)構(gòu)相似性三個(gè)測量尺度分別衡量了兩張圖片之間的相似性更加符合人類視覺系統(tǒng)的評估標(biāo)準(zhǔn)。基于此，本文使用了一個(gè)新的損失函數(shù)，定義如下

Loss=α×MAE(f，g)+(1-α)×SSIM(f，g)

(10)

式中α是0到1之間的常數(shù)，f和g分別表示原始圖像和預(yù)測圖像。

3 數(shù)據(jù)的采集與預(yù)處理

3.1 數(shù)據(jù)采集

本研究的燃燒診斷實(shí)驗(yàn)部分于瑞典隆德大學(xué)激光診斷實(shí)驗(yàn)室完成，實(shí)驗(yàn)裝置如圖3 所示。與slipchenko 等人研究開發(fā)的PLIF 實(shí)驗(yàn)裝置相似但不完全相同，本實(shí)驗(yàn)中使用了超高速激光器(Quasimodo by spectral energy，LLC)，該激光系統(tǒng)被用來與光學(xué)參量振蕩器(OPO)耦合以形成 OH 自由基的激發(fā)光。在本研究中，進(jìn)行了從 282.3nm 到 284.5nm 的 OH 激發(fā)掃描。A-X(0，0)躍遷的 OH 自由基熒光信號(hào)由安裝在 CMOS 相機(jī)(photoron sa-z)前面的干涉濾波片(λt=310 ± 10nm)在 308nm 處進(jìn)行收集。同時(shí)該相機(jī)配有與鏡頭耦合的高速增強(qiáng)器[22]。

圖3 高速OH-PLIF 實(shí)驗(yàn)裝置圖

本研究采用的燃燒器為混合多孔塞噴式燃燒器，詳見文獻(xiàn)[3]。其主要部件包括直徑為61毫米的多孔燒結(jié)不銹鋼塞和中心直徑為1.5毫米的噴嘴。預(yù)混合的CH4和空氣混合物通過中央噴嘴形成噴射火焰。氣體流量由6個(gè)質(zhì)量流量控制器進(jìn)行調(diào)節(jié)，并在300下進(jìn)行校準(zhǔn)，精度可以達(dá)到98.5%以上。

3.2 數(shù)據(jù)預(yù)處理

原始的OH-PLIF數(shù)據(jù)中有很多高速相機(jī)啟動(dòng)但未有火焰信號(hào)的圖像以及信噪比特別低的圖像，這些圖像都需要被清除。另外由于原始圖像中存在較多噪點(diǎn)，如果直接將其作為輸入將對模型的結(jié)果的準(zhǔn)確率造成很大的不利影響。所以需要對其進(jìn)行二值化，本研究中所有的OH-PLIF圖像都是通過自適應(yīng)閾值二值化進(jìn)行預(yù)處理的，從圖4 可以看出，通過自適應(yīng)閾值二值化，有效地提高了原始圖像的信噪比。

圖4 自適應(yīng)閾值二值化效果圖

4 結(jié)果與討論

4.1 評價(jià)指標(biāo)

除了均方誤差(MSE)外，本研究還使用SSIM 來量化預(yù)測圖像和實(shí)驗(yàn)結(jié)果之間的相似程度；此外，本文還采用了另一項(xiàng)相關(guān)性指標(biāo)——Correlation來量化預(yù)測與測量之間的相似性。Correlation定義如下

(11)

其中Pi，j和Ti，j分別代表圖像P和T在第i行第j列的像素值，ε=10-9。

4.2 模型訓(xùn)練與預(yù)測

本實(shí)驗(yàn)的數(shù)據(jù)集包含1575 個(gè)長度為24 幀(前16 幀為輸入，后8 幀為輸出)，共37776張圖像的OH-PLIF 圖像序列，其中1385 個(gè)圖像序列作為訓(xùn)練樣本對CascadeRNN 進(jìn)行訓(xùn)練與參數(shù)調(diào)整，190 個(gè)圖像序列作為測試集用于模型的性能測試。模型計(jì)算環(huán)境為：Python 3.5.0、兩塊Nvidia Tesla V100 GPU(32GB)、Intel(R) Xeon(R) Gold 6130 CPU，主頻2.10GHz、Ubuntu 16.4 系統(tǒng)。模型訓(xùn)練優(yōu)化器為Adam[23]，學(xué)習(xí)率為0.001，衰減因子設(shè)置為0.01，batch size 均為8。

4.3 CascadeRNN模型的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)分析

首先對CascadeRNN模型與其它幾類經(jīng)典的時(shí)空預(yù)測模型Predrnn++[24]，Conv-GRU[25]，和Conv-LSTM[13]在相同的實(shí)驗(yàn)條件下進(jìn)行了參數(shù)分析，實(shí)驗(yàn)條件為每個(gè)模型都包含四個(gè)隱藏層，每個(gè)隱藏層包含16 個(gè)隱狀態(tài)，損失函數(shù)為上一章中介紹的L1+SSIM損失函數(shù)(式10)，并設(shè)置參數(shù)α為0.5，訓(xùn)練輪數(shù)為100 個(gè)epoch。結(jié)果如圖5和表1 所示。

表1 不同模型的性能分析

從圖5 中可以看出：①Conv-GRU 預(yù)測的圖像除了前兩幀的火焰具有流動(dòng)性之外，剩下的六幀圖像幾乎是不變的，這是由于Conv-GRU 模型內(nèi)部只有兩個(gè)門控單元，記憶信息的能力有限。②Conv-LSTM 預(yù)測的圖像記憶了較多噪聲并且在后幾幀中出現(xiàn)了圖像模糊的情況。③Predrnn++模型預(yù)測的圖像與前兩個(gè)模型相比，具有更好的記憶火焰流動(dòng)和結(jié)構(gòu)變化的能力，但與CascadeRNN 模型對比稍有不足，通過調(diào)整CascadeRNN 模型的層數(shù)和隱藏層的個(gè)數(shù)，并且在CascadeRNN 模型的Causal LSTM++單元的多個(gè)信息傳播路徑上加入ReLU 激活函數(shù)引入了稀疏性，不僅降低了梯度反向傳播的計(jì)算量，并且緩解了過擬合，從而取得了比Predrnn++更好的實(shí)驗(yàn)結(jié)果。由表1發(fā)現(xiàn)CascadeRNN模型在OH-PLIF 測試集上與實(shí)驗(yàn)真值的圖像的誤差值為0.1097，優(yōu)于原始模型的0.1227，在所有模型中具有最高的相似度。

圖5 100kHzOH-PLIF數(shù)據(jù)集上不同模型的預(yù)測結(jié)果

從表1可以看出CascadeRNN模型與其它模型相比，在訓(xùn)練誤差和測試誤差上都有所降低，并且訓(xùn)練速度比原Predrnn++要快，模型參數(shù)大小與原模型相差無幾。另外從表2可以看出，CascadeRNN模型測試集上202組數(shù)據(jù)上的MSE和SSIM指標(biāo)上都優(yōu)于Predrnn++模型，Correlation指標(biāo)優(yōu)于Conv-GRU和Conv-LSTM，與Predrnn++模型幾乎一致。

表2 不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下深度學(xué)習(xí)模型的性能分析

本文還對CascadeRNN 模型在不同網(wǎng)絡(luò)層數(shù)下的表現(xiàn)進(jìn)行了實(shí)驗(yàn)分析，發(fā)現(xiàn)如圖6 和表3所示，隨著網(wǎng)絡(luò)層數(shù)的增加，雖然隱藏狀態(tài)的總和降低了：兩層網(wǎng)絡(luò)為128 個(gè)，三層網(wǎng)絡(luò)為96 個(gè)，四層網(wǎng)絡(luò)為64 個(gè)。但是網(wǎng)絡(luò)的訓(xùn)練誤差和測試誤差都有所降低，說明更深的網(wǎng)絡(luò)具有更強(qiáng)的擬合能力。另外由于兩層網(wǎng)絡(luò)之間無法加入GHU，可以發(fā)現(xiàn)模型的訓(xùn)練誤差為0.1053，與三層網(wǎng)絡(luò)的0.1005 相比多了0.0048，而三層網(wǎng)絡(luò)的誤差僅比四層網(wǎng)絡(luò)的0.0984 多了0.0019。說明GHU 對于網(wǎng)絡(luò)梯度回傳從而降低梯度消失是非常有效的。

圖6 CascadeRNN在不同隱藏狀態(tài)個(gè)數(shù)上的訓(xùn)練loss

4.4 CascadeRNN模型在OH-PLIF數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

本文使用上面提到的最優(yōu)模型對OH-PLIF數(shù)據(jù)集進(jìn)行了訓(xùn)練和測試，實(shí)驗(yàn)所采用的CascadeRNN模型包括4個(gè)隱層，每個(gè)隱藏包含16個(gè)隱狀態(tài)，損失函數(shù)為上文中介紹的L1+SSIM損失函數(shù)，訓(xùn)練輪數(shù)為100個(gè)epoch。

從表3 可以看出，CascadeRNN 模型在測試集202 組數(shù)據(jù)上相比于其它模型，取得了最高的模型準(zhǔn)確度。在圖7 中給出了隨機(jī)抽取的幾個(gè)預(yù)測結(jié)果的實(shí)例，從圖中可以看出CascadeRNN 模型對于火焰結(jié)構(gòu)的流動(dòng)性和結(jié)構(gòu)變化都有較好的建模能力，如圖像紅色虛線框中的部分所示，預(yù)測的圖像不僅成功預(yù)測了火焰的結(jié)構(gòu)及其變化，并且成功預(yù)測了火焰的大小變化。

圖7 CascadeRNN在100 kHzOH-PLIF數(shù)據(jù)集上的預(yù)測結(jié)果

表3 不同模型條件下相似指數(shù)的平均值

5 結(jié)論

本文通過建立基于Predrnn++的湍流火焰自由基成像時(shí)空預(yù)測模型——級聯(lián)遞歸神經(jīng)網(wǎng)絡(luò)CascadeRNN，以實(shí)現(xiàn)利用百kHz的歷史OH-PLIF圖像生成同頻率的未來多幀OH-PLIF圖像，以解決超高速激光的間歇性導(dǎo)致其時(shí)序序列之間存在間斷的問題。本文的主要結(jié)論為以下3 點(diǎn)：

1)通過實(shí)驗(yàn)數(shù)據(jù)自建OH-PLIF圖像數(shù)據(jù)集，填補(bǔ)目前OH-PLIF圖像多幀預(yù)測方面的數(shù)據(jù)空缺；數(shù)據(jù)集包含的1575 個(gè)長度為24幀(前16幀為輸入，后8幀為輸出)的OH-PLIF圖像序列能夠滿足模型訓(xùn)練的要求。進(jìn)一步增加數(shù)據(jù)集大小將有助于提升模型精度。

2)基于Predrnn++建立CascadeRNN模型實(shí)現(xiàn)多幀圖像預(yù)測，并調(diào)整CascadeRNN模型結(jié)構(gòu)和參數(shù)，激活函數(shù)和損失函數(shù)等對數(shù)據(jù)集中的圖像序列進(jìn)行預(yù)測，提高了預(yù)測的準(zhǔn)確率。

3)對預(yù)測的結(jié)果進(jìn)行了多個(gè)指標(biāo)的分析，評估模型應(yīng)用于OH-PLIF圖像多幀預(yù)測的可行性和精度。發(fā)現(xiàn)CascadeRNN模型與幾個(gè)經(jīng)典的時(shí)空預(yù)測模型Conv-GRU、Conv-LSTM以及Predrnn++相比都有性能上的提升，對于火焰結(jié)構(gòu)的流動(dòng)性和結(jié)構(gòu)變化均有較好的建模能力，其MSE、SSIM和Correlation分別為0.0448、0.761 和0.901，均優(yōu)于其它模型。

結(jié)果表明，CascadeRNN模型不僅成功預(yù)測了火焰的結(jié)構(gòu)和大小，并且成功預(yù)測了其隨時(shí)間的變化規(guī)律，具有較好的時(shí)空預(yù)測能力。