基于CNN-LSTM深度學(xué)習(xí)的燃燒不穩(wěn)定性檢測方法研究

閭曾怡，王高峰，楊?瑤，張非非

基于CNN-LSTM深度學(xué)習(xí)的燃燒不穩(wěn)定性檢測方法研究

閭曾怡，王高峰，楊?瑤，張非非

(浙江大學(xué)航空航天學(xué)院，杭州 310027)

提出了一種基于高速火焰圖像序列的深度學(xué)習(xí)模型來檢測燃燒不穩(wěn)定性．模型以高速火焰圖像序列作為輸入，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長短期記憶網(wǎng)絡(luò)(LSTM)同時學(xué)習(xí)圖像序列的空間特征和時間相關(guān)性，輸出燃燒不穩(wěn)定性檢測結(jié)果．利用旋流燃燒室多種工況下穩(wěn)態(tài)和非穩(wěn)態(tài)的瞬態(tài)火焰圖像數(shù)據(jù)集驗證模型的魯棒性和準(zhǔn)確性．該深度學(xué)習(xí)模型被證明是一種潛在的燃燒不穩(wěn)定性檢測工具，并有望成為一種很有前途的燃燒不穩(wěn)定性預(yù)測工具．

旋流預(yù)混燃燒；燃燒不穩(wěn)定性；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

燃燒不穩(wěn)定性是一個存在于包括燃?xì)廨啓C在內(nèi)的各種系統(tǒng)中的復(fù)雜問題．燃燒不穩(wěn)定通常由熱釋放率脈動和壓力脈動的正耦合引起．燃燒時流動擾動引起熱釋放率的波動，產(chǎn)生聲學(xué)振蕩．如果熱釋放率波動與聲壓場波動相一致，則可能建立一個正反饋，導(dǎo)致燃燒不穩(wěn)定[1]．燃燒不穩(wěn)定的發(fā)生難以預(yù)料，并且極有可能導(dǎo)致結(jié)構(gòu)破壞和災(zāi)難性故障，造成巨大的經(jīng)濟損失．因此，檢測燃燒不穩(wěn)定性具有重要研究價值．研究發(fā)現(xiàn)，相干結(jié)構(gòu)的存在是熱聲反饋產(chǎn)生的一個重要機制[2-6]．相干結(jié)構(gòu)是與渦度相干相位、高渦度等定義相關(guān)的流體力學(xué)結(jié)構(gòu)[2]，通過彎曲和拉伸引起大范圍的速度振蕩和整體火焰形狀振蕩.相干結(jié)構(gòu)的發(fā)展及分解會導(dǎo)致周期性的熱釋放[3].對相干結(jié)構(gòu)的檢測，目前已經(jīng)提出并成功實現(xiàn)了幾種方法，包括適當(dāng)?shù)恼环纸?proper orthogonal decomposition，POD)[7]和動態(tài)模態(tài)分解(dynamic mode decomposition，DMD)[8]．盡管相干結(jié)構(gòu)可能是一個強烈的不穩(wěn)定性指標(biāo)，但很難從視覺上直觀表征這種結(jié)構(gòu)．此外，由于缺乏對相干結(jié)構(gòu)的物理理解，識別燃燒不穩(wěn)定性的前兆變得困難．

神經(jīng)網(wǎng)絡(luò)的靈感來源于諾貝爾獎得主Hubel和Wiesel對貓初級視覺皮層的研究．2012年，Krizhevsky等[9]利用豐富的圖像數(shù)據(jù)，基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)學(xué)習(xí)到了有意義的圖像空間特征．隨著計算能力的持續(xù)增長和處理超大數(shù)據(jù)集能力的增強，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)正在迅速成為處理高維數(shù)據(jù)和提取特征的關(guān)鍵工具．基于CNN的應(yīng)用包括自然語言處理[10]、圖像增強[11]和視頻描述[12]等．基于深度學(xué)習(xí)的燃燒不穩(wěn)定性檢測是近年新出現(xiàn)的一個研究課題．Sarkar等[4]提出了一種神經(jīng)符號框架，使用CNN從圖像中提取低維特征，并使用符號時間序列分析捕捉圖像提取特征的時間演化，通過分析大量連續(xù)的高速燃燒圖像進行早期不穩(wěn)定性檢測．Ghosal等[5]采用3D CNN網(wǎng)絡(luò)模型架構(gòu)，利用連續(xù)圖像幀之間的時間相關(guān)性，將燃燒圖像序列分為穩(wěn)定和不穩(wěn)定兩類．Gangopadhyay等[13]提出了一種結(jié)合二維卷積神經(jīng)網(wǎng)絡(luò)提取空間特征和長短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)捕捉數(shù)據(jù)時間相關(guān)性的高效檢測框架．Choi等[14]基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種基于高速火焰圖像的深度學(xué)習(xí)模型檢測燃?xì)廨啓C的燃燒不穩(wěn)定性，模型建立了兩個網(wǎng)絡(luò)融合層，早期融合層學(xué)習(xí)圖像序列功率譜密度，后期融合層結(jié)合不同時間步輸出預(yù)測當(dāng)前燃燒狀態(tài)．

論文提出了一種基于高速火焰圖像序列的深度監(jiān)督學(xué)習(xí)燃燒不穩(wěn)定性檢測模型．與以往單圖像輸入或固定長度圖像序列輸入不同，該模型可接受可變長度圖像序列輸入，更具靈活性．模型以連續(xù)的火焰圖像序列作為輸入，將卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)相結(jié)合，底層卷積網(wǎng)絡(luò)層提取輸入圖像序列的空間特征并作為其上布置的長短期記憶網(wǎng)絡(luò)的時間步輸入．長短期記憶網(wǎng)絡(luò)通過學(xué)習(xí)序列全局時間特征來捕捉特征演化，全連接層接收長短期記憶網(wǎng)絡(luò)的輸出，并將檢測問題變?yōu)槎诸悊栴}(穩(wěn)定或不穩(wěn)定)，輸出圖像序列的類標(biāo)簽．利用高速相機拍攝旋流燃燒室不同工況下穩(wěn)態(tài)和非穩(wěn)態(tài)的瞬態(tài)火焰圖像對模型進行驗證測試，確保模型的準(zhǔn)確性和檢測不同燃燒工況的魯棒性．

1?實驗裝置

訓(xùn)練深度學(xué)習(xí)模型需要大量的數(shù)據(jù)來確保最終模型的準(zhǔn)確性與可靠性．為了采集足夠多的處于不同工況下的火焰圖像數(shù)據(jù)，建立如圖1所示的丙烷-空氣旋流預(yù)混燃燒實驗臺．整個實驗臺由配氣室和燃燒室兩大部分組成，丙烷和空氣經(jīng)充分預(yù)混后在旋流噴嘴出口被點燃．旋流器噴嘴出口直徑為10mm，其旋流數(shù)約為0.71[15]．出口上方裝有直徑50mm的圓柱形石英玻璃視窗以便在系統(tǒng)中實現(xiàn)聲反饋．為采集不同燃燒工況的數(shù)據(jù)，調(diào)節(jié)流速與當(dāng)量比，以期獲得穩(wěn)定燃燒的火焰和處于不同模態(tài)下的不穩(wěn)定火焰．根據(jù)不同工況下收集的火焰圖像數(shù)據(jù)，提出了火焰不穩(wěn)定性的檢測問題．

圖1?實驗系統(tǒng)示意

石英玻璃視窗處配備高速相機(PCO dimax HD)，相機采集頻率為2000幀/s，圖像分辨率為1200×976像素．神經(jīng)網(wǎng)絡(luò)采用監(jiān)督學(xué)習(xí)，圖像需要有屬性標(biāo)簽(穩(wěn)定或不穩(wěn)定)．在實驗時，同時記錄聲壓脈動，結(jié)合聲壓脈動和火焰抖動情況[13]，同步標(biāo)注火焰圖像視頻(穩(wěn)定或不穩(wěn)定)，見圖2．

采集得到的大量不同工況的火焰圖像序列被用來訓(xùn)練深度學(xué)習(xí)模型，以及測試基于圖像的檢測框架的魯棒性．表1為數(shù)據(jù)集的工況表，分為訓(xùn)練集和測試集．訓(xùn)練集為模型構(gòu)建訓(xùn)練時的數(shù)據(jù)樣本，作為調(diào)整參數(shù)、特征選擇等算法相關(guān)的選擇依據(jù)．訓(xùn)練集共有120組穩(wěn)定和不穩(wěn)定旋流火焰圖像序列，每組包含200幀連續(xù)圖像序列．測試集與訓(xùn)練集的采集工況不同，用于評估最終模型的檢測能力．測試集共106組穩(wěn)定和不穩(wěn)定圖像，每組同樣為200幀連續(xù)圖像序列．關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的研究已證明圖像大小的調(diào)整對結(jié)果沒有影響[13,16]，為了保證訓(xùn)練速度和控制內(nèi)存消耗，圖像調(diào)整為320×240像素．

圖2?燃燒火焰圖像序列部分采樣

表1?燃燒火焰圖像數(shù)據(jù)集工況

Tab.1?Experimental conditions for flame datasets

2?深度學(xué)習(xí)檢測模型

論文提出的深度學(xué)習(xí)模型將卷積神經(jīng)網(wǎng)絡(luò)和LSTM[17]相結(jié)合．圖3為論文提出的深度學(xué)習(xí)模型，包括輸入層、CNN層、LSTM層、全連接層和輸出層．將連續(xù)的火焰圖像序列逐幀輸入CNN層，利用卷積特征提取器學(xué)習(xí)圖像空間特征，檢測火焰圖像中的相干結(jié)構(gòu)．由于燃燒不穩(wěn)定性是動態(tài)行為，理解各種相干結(jié)構(gòu)之間的演化過程是很重要的．在CNN層上布置LSTM網(wǎng)絡(luò)，它以上層CNN層的卷積輸出作為時間步的輸入．LSTM層學(xué)習(xí)圖像序列全局時間特征，檢測相干結(jié)構(gòu)的演化．CNN和LSTM的組合保證了網(wǎng)絡(luò)可以從輸入的圖像序列中學(xué)習(xí)到空間特征和時間相關(guān)性．網(wǎng)絡(luò)將燃燒不穩(wěn)定檢測轉(zhuǎn)化為二分類問題(穩(wěn)定或不穩(wěn)定)，輸出檢測結(jié)果．模型具體細(xì)節(jié)在下面小節(jié)描述．

圖3?深度學(xué)習(xí)模型

2.1?卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[16,18]是一種使用非線性映射對局部鄰域數(shù)據(jù)降維的深度學(xué)習(xí)網(wǎng)絡(luò)模型，它是一種有效的復(fù)雜非線性模型建模工具，在多維數(shù)據(jù)處理上具有優(yōu)勢．卷積神經(jīng)網(wǎng)絡(luò)通過局部連接和參數(shù)共享在減少網(wǎng)絡(luò)參數(shù)數(shù)量的同時，降低過擬合的風(fēng)險[16]．多維圖像可以直接作為網(wǎng)絡(luò)輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程．卷積神經(jīng)網(wǎng)絡(luò)能自行提取圖像特征，包括顏色、紋理、形狀及圖像的拓?fù)浣Y(jié)構(gòu)，并且不受圖像縮放、扭曲等操作影響，具有良好的魯棒性，如圖4所示．

網(wǎng)絡(luò)輸入圖像通常由像素的2D網(wǎng)格表示，卷積神經(jīng)網(wǎng)絡(luò)的非線性映射為對所有像素進行線性濾波，對圖像進行2D卷積．卷積核的大小一般在1×1像素到7×7像素之間．對于一個含有通道總數(shù)的圖像，2D卷積操作如下[14]：

圖4?卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[20]

圖5?CNNnet-18 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2?長短期記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)[24-25](recurrent neural network，RNN)是專門為處理時序數(shù)據(jù)提出的神經(jīng)網(wǎng)絡(luò)，利用“內(nèi)部狀態(tài)”(隱藏層神經(jīng)元各權(quán)重矩陣)記憶來學(xué)習(xí)系統(tǒng)狀態(tài)的時間依賴關(guān)系，從而能夠?qū)討B(tài)系統(tǒng)的演化進行建模．根據(jù)Haykin提出的通用近似定理[26]，如果一個完全連接的循環(huán)神經(jīng)網(wǎng)絡(luò)有足夠數(shù)量的sigmoid型隱藏神經(jīng)單元，它可以以任意的準(zhǔn)確率去近似任何一個非線性動力系統(tǒng)，即

圖6?LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)[20]

模型訓(xùn)練時使用隨機優(yōu)化方法的Adam優(yōu)化器[28]，在整個訓(xùn)練集上訓(xùn)練網(wǎng)絡(luò)模型，同時監(jiān)測驗證精度．論文用不同的隨機種子重復(fù)了3次訓(xùn)練過程，并存儲了驗證精度最高的最佳模型參數(shù)．

3?結(jié)果與討論

實驗采集了多種工況下穩(wěn)定和不穩(wěn)定瞬態(tài)燃燒火焰圖像測試模型．圖像序列依序輸入網(wǎng)絡(luò)，在卷積層提取圖像空間特征．CNN已經(jīng)被證明能夠捕捉火焰中相干結(jié)構(gòu)的碎片[4-5, 13]．

每層中單個卷積核只感受局部鄰域并輸出特征映射，特征映射和原始圖像具有空間上的對應(yīng)關(guān)系，隨著層數(shù)加深，更高層將這些局部信息進行綜合得到全局信息．圖7給出了前兩層卷積中部分特征映射的可視化輸出，在第二層可視化中顯示了它捕獲了火焰相干結(jié)構(gòu)的碎片．

圖7 燃燒火焰圖像原圖及第1層和第2層部分卷積特征映射的可視化輸出

為了評估模型性能，使用測試集(表1)進行測試，在圖像序列(視頻級別)評估模型準(zhǔn)確度，測試序列從圖像序列中隨機采樣．輸入序列每一幀都會輸出根據(jù)當(dāng)前時刻與之前時刻的信息輸出分類結(jié)果(穩(wěn)定或不穩(wěn)定)，準(zhǔn)確度定義為正確檢測幀數(shù)占總圖像數(shù)目中的比例．從準(zhǔn)確度的角度，卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加有利于提升準(zhǔn)確度，但同時增加參數(shù)量會減慢運算速度，降低效率．不同卷積網(wǎng)絡(luò)模型測試結(jié)果見表2，每個模型均用不同的隨機種子重復(fù)3次訓(xùn)練過程，存儲精度最高的最佳模型參數(shù)．最終模型卷積網(wǎng)絡(luò)為CNNnet-18最佳準(zhǔn)確度可達(dá)98.77%，同時在NVIDIAGPU實時計算，每幀平均計算時間約1.23ms.與先前工作模型相比[13-14]，準(zhǔn)確度已達(dá)到檢測精度要求．檢測結(jié)果以視頻形式可視化輸出，見圖8．

在準(zhǔn)確性指標(biāo)外，論文提出敏感度和特異度指標(biāo)來評估模型的有效性．通常情況，二分類問題檢測結(jié)果有4種情況，見表3．

表2?不同模型檢測準(zhǔn)確度

Tab.2?Detection accuracy of different models

圖8?燃燒火焰圖像序列檢測結(jié)果

表3?二分類問題檢測結(jié)果

Tab.3?Categoryof model detection results

在證明模型可以應(yīng)用于論文實驗采集的旋流火焰不穩(wěn)定檢測后，論文驗證了模型的泛化能力，即一個已經(jīng)學(xué)習(xí)圖像特征的預(yù)訓(xùn)練網(wǎng)絡(luò)能否應(yīng)用于解決另一個不同但相關(guān)領(lǐng)域的問題，比如層流火焰不穩(wěn)定性檢測．在筆者的實驗中，使用了如圖9的本生燈火焰圖像序列．利用遷移學(xué)習(xí)知識[29]，輸入穩(wěn)定和不穩(wěn)定本生燈火焰圖像序列各200幀作為樣本數(shù)據(jù)，對論文的神經(jīng)網(wǎng)絡(luò)模型進行微調(diào)．采集多種工況下本生燈火焰圖像序列共2000幀進行測試，模型準(zhǔn)確率為94.75%，敏感度為100%，特異度為94.17%．測試結(jié)果驗證了得到的模型可用于層流火焰不穩(wěn)定性檢測.

圖9?本生燈火焰圖像序列采樣

4?結(jié)?論

本文提出了一個用于燃燒熱聲不穩(wěn)定性檢測的深度學(xué)習(xí)模型，通過將不穩(wěn)定性檢測轉(zhuǎn)為二分類問題，實現(xiàn)了對不同長度輸入序列的檢測分類(穩(wěn)定或不穩(wěn)定)．高速燃燒火焰圖像序列被輸入多層CNN來提取空間特征，學(xué)習(xí)火焰中相干結(jié)構(gòu)，并在CNN卷積器中可視化觀察相干結(jié)構(gòu)碎片．由于燃燒不穩(wěn)定性是動態(tài)行為，理解各種相干結(jié)構(gòu)之間的演化過程是很重要的，模型使用LSTM學(xué)習(xí)燃燒火焰圖像序列時間演變．筆者在旋流燃燒室上進行了大量的實驗，并根據(jù)聲脈沖頻率對采集圖像序列進行分類(穩(wěn)定或不穩(wěn)定)，驗證了模型準(zhǔn)確度(98.77%)，敏感度(99.9%)，特異度(97.5%)．在證明模型用于燃燒不穩(wěn)定性檢測的魯棒性與可靠性后，使用本生燈火焰遷移學(xué)習(xí)，驗證了模型的泛化能力．

在未來研究中，燃燒火焰圖像序列將包括穩(wěn)態(tài)到非穩(wěn)態(tài)或非穩(wěn)態(tài)到穩(wěn)態(tài)轉(zhuǎn)變過程．利用LSTM學(xué)習(xí)輸入序列的時間演變過程，可視化LSTM內(nèi)部計算，找到向失穩(wěn)過渡時的單元結(jié)構(gòu)變化．模型有望成為燃燒不穩(wěn)定的早期預(yù)測工具，通過有效檢測臨界過渡實現(xiàn)主動控制，從而可以消除燃燒不穩(wěn)定的不利影響．

［1］ Rayleigh L. The explanation of certain acoustical phenomena[J].，1878，18(455)：319-321.

［2］ Hussain F. Coherent structures—Reality and myth[J].，1983，26(10)：2816-2850.

［3］ Schadow K C，Gutmark E. Combustion instability related to vortex shedding in dump combustors and their passive control[J].，1992，18(2)：117-132.

［4］ Sarkar S，Lore K G，Sarkar S. Early detection of combustion instability by neural-symbolic analysis on hi-speed video[C]//2015：. Montreal，Canada，2015.

［5］ Ghosal S，Akintayo A，Boor P，et al. High-speed video-based health monitoring using 3D deep learning[C]//2017. Cambridge，MA，2017.

［6］ Chakravarthy S R，Shreenivasan O J，Bhm B，et al. Experimental characterization of onset of acoustic instability in a non-premixed half-dump combustor[J].，2007，122(1)：120-127.

［7］ Berkooz G，Holmes P，Lumley J L. The proper orthogonal decomposition in the analysis of turbulent flows[J].，1993，25(1)：539-575.

［8］ Schmid P J. Dynamic mode decomposition of numerical and experimental data[J].，2010，656：5-28.

［9］ Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks[J].，2017，60(6)：84-90.

［10］ Collobert R，Weston J. A unified architecture for natural language processing：Deep neural networks with multitasks learning[C]//. Helsinki，F(xiàn)inland，2008：160-167.

［11］ Lore K G，Akintayo A，Sarkar S. LLNet：A deep autoencoder approach to natural low-light image enhancement[J].，2017，61：650-662.

［12］ Venugopalan S，Rohrbach M，Donahue J，et al. Sequence to sequence—Video to text[C]//(). Santiago，Chile，2016.

［13］ Gangopadhya T，Locurto A，Michael J B，et al. Deep learning algorithms for detecting combustion instabilities[G].. Singapore：Springer，2002：183-300.

［14］ Choi O，Choi J，Kim N，et al. Combustion instability monitoring through deep-learning-based classification of sequential high-speed flame images[J].，2020，9(5)：848.

［15］ Durox D，Prieur K，Schuller T，et al. Different flame patterns linked with swirling injector interactions in an annular combustor[J].，2016，138(10)：101504.

［16］ Arbib M A.[M]. Massachusetts，USA：MIT Press，1995.

［17］ Hochreiter S，Schmidhuber J. Long short-term memory[J].，1997，9(8)：1735-1780.

［18］ Kim P.[M]. CA：Apress，2017.

［19］ Canny J. A computational approach to edge detection[J].，1986，8(6)：679-698.

［20］ 邱錫鵬. 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M]. 北京：機械工業(yè)出版社，2020.

Qiu Xipeng.[M]. Beijing：China Machine Press，2020(in Chinese).

［21］ Ioffe S，Szegedy C. Batch normalization：Accelerating deep network training by reducing internal covariate shift[C]//. Lille，F(xiàn)rance，2015.

［22］ Boureau Y，Bach F，LeCun Y，et al. Learning mid-level features for recognition[C]// 2010. San Francisco，CA，2010.

［23］ Redmon J，F(xiàn)arhadi A. YOLO9000：Better，faster，stronger[C]//2017. Honolulu，USA，2017.

［24］ Rumelart D E，Hinton G E，Williams R J. Learning representations by back-propagating errors[J].，1986，323：533-536.

［25］ Lang K J. A Time-Delay Neural Network Architecture for Speech Recognition[D]. USA：Carnegie Mellon University，1988.

［26］ Haykin S.[M]. USA：Prentice Hall，2008.

［27］ de Boer P T，Kroese D P，Mannor S. A tutorial on the cross-entropy method[J].，2005，134：19-67.

［28］ Kingma D P，Ba J. Adam：A method for stochastic optimization[C]//. San Diego，USA，2015.

［29］ Tajbakhsh N，Shin J Y，Gurudu S，et al. Convolutional neural networks for medical image analysis：Fine tuning or full training? [J].，2016，35(5)：1299-l312.

Combustion Instability Detection Method Based on CNN-LSTM Deep Learning

Lü Zengyi，Wang Gaofeng，Yang Yao，Zhang Feifei

(School of Aeronautics and Astronautics，Zhejiang University，Hangzhou 310027，China)

The paper proposed a deep learning model based on high-speed flame image sequences to detect combustion instability. Taking high-speed flame image sequence as input，and combining convolutional neural network(CNN)and long short-term memory(LSTM) network，the model was adopted to study spatial features and time correlation of image sequences，with the combustion instability detection results as the final output. Robustness and accuracy of the model were verified by transient steady and unsteady flame image datasets in a swirl combustion chamber under various working conditions. The deep learning model has been proved to be a potential tool for detecting combustion instability and is expected to be a promising tool for predicting combustion instability.

swirl premixed combustion；combustion instability；deep learning；convolutional neural network

TK11

A

1006-8740(2022)02-0119-07

10.11715/rskxjs.R202202012

2021-04-09．

國家重大科技專項資助項目(J2019-Ⅲ-0006-0049)；國家重點研發(fā)計劃資助項目(2021YFA0716202).

閭曾怡（1996—??），女，博士，lzyi@zju.edu.cn.

王高峰，男，博士，教授，gfwang@zju.edu.cn.

(責(zé)任編輯：隋韶穎)