面向光場火焰溫度場重建的特征提取優(yōu)化方法

單良，華夏杰，牛玉風，趙騰飛，洪波，孔明

（1 中國計量大學信息工程學院，浙江省電磁波信息技術與計量檢測重點實驗室，浙江 杭州 310018；2 中國計量大學計量測試工程學院，浙江 杭州 310018）

火焰作為人類最早接觸和利用的能源，是支撐人類生存與發(fā)展的原動力之一?；鹧鏈囟葓鲋亟ㄔ陔娏ιa(chǎn)[1]、材料加工[2]和航天發(fā)動系統(tǒng)[3]等領域發(fā)揮著重要作用，也在推演能量損耗[4]、確定組分產(chǎn)物[5]、維穩(wěn)鍋爐狀態(tài)[6]等工作中具有指導意義。在熱電偶[7]為代表的接觸式測溫中，測溫器件直接接觸火焰，測溫范圍受材料限制。而以激光干涉[8]為代表的主動探測，設備較為昂貴，系統(tǒng)復雜，常搭建于實驗室環(huán)境。隨著儀器科學[9]和光學傳感技術[10]的發(fā)展，基于輻射測溫的溫度場重建[11]逐漸趨于主流，相比其他測溫方法具有獨特的優(yōu)勢。光場相機測溫[12]不會干擾燃燒環(huán)境，并且搭建簡便，同時具備靈敏的輻射響應能力與較高的準確度，受到國內(nèi)外研究者的青睞。

近年來，基于深度學習的溫度場重建在工業(yè)環(huán)境中得到了廣泛的應用[13]。唐廣通等[14]提出了多層感知機重建爐膛溫度場的方法，通過機組調(diào)峰測算了用料量與風強對溫度的影響；李智聰?shù)萚15]選用多層感知機預測了乙烯層流擴散火焰的溫度與碳煙體積分布，具有良好的抗噪能力。多層感知機在測量燃燒參數(shù)表現(xiàn)優(yōu)異，但當重建對象為火焰三維溫度場時，需要重建的數(shù)據(jù)量較大，訓練所需開銷過高。卷積神經(jīng)網(wǎng)絡（CNN）對于圖像類型的輸入具有廣泛的適用性[16]。Wang等[17]提出了一種集成火焰特征提取與分類的端到端框架，實現(xiàn)了高效的爐膛燃燒狀態(tài)檢測；Jin 等[18]根據(jù)12 個傳統(tǒng)相機構成的火焰層析成像系統(tǒng)，提出一種基于CNN 的火焰形態(tài)重建網(wǎng)絡，相比傳統(tǒng)投影迭代算法，重建速度顯著提升；張杰等[19]采用精簡的卷積-池化結構，提出了基于光場圖像的火焰溫度場快速重建網(wǎng)絡，相比傳統(tǒng)的非負最小二乘法[20]重建單峰火焰，平均相對誤差降低了一個數(shù)量級。

現(xiàn)有的CNN 用于三維溫度場重建時已取得了良好效果，但在對宏像素圖像（MPI）進行特征提取時使用了3×3卷積核，沒有考慮光場圖像中光線角度的動態(tài)分布情況[21]。在計算機視覺領域，如何設計合適的圖像特征提取方法是實現(xiàn)超分辨率的重要思路。WAFA等[22]提出了一種利用全四維光場空間和角度信息進行光場空間超分辨的網(wǎng)絡，同時考慮所有的子孔徑圖像（SAI），利用極線像平面信息平滑視圖誤差；Wang 等[23]設計了一種基于宏像素表示的光場圖像超分辨率聚合網(wǎng)絡，使用兩種特殊卷積分別提取空間信息和角度信息，并對殘差模塊混合信息進行聚合，在超分辨率領域取得了優(yōu)于CNN 的性能。結果表明，根據(jù)光場圖像的像素排列規(guī)則對卷積方法進行改進，可以更準確地提取圖像特征，提高重建精度。Yue 等[24]考慮到單幅圖像的不同縮放尺寸對特征提取的貢獻不同，提出了信道注意力模塊來估計權重，構建了漸進通道注意的超分辨率網(wǎng)絡。通過在CUFED5 等數(shù)據(jù)集上的驗證，與IENet、EDSR 等先進方法相比，該網(wǎng)絡獲得了更高的峰值信噪比，表明優(yōu)化特征分類對重建精度具有顯著影響。

本文整合深度學習燃燒診斷與火焰形態(tài)識別框架，根據(jù)超分辨率領域對光場特征提取的優(yōu)化思想，對特征提取過程進行了改進，提高溫度場的重建精度。具體體現(xiàn)在使用SAI圖像代替MPI圖像作為輸入；設計了一種雙分支卷積方法來提取光場圖像的空間和角度特征；進一步利用通道注意機制[25]來優(yōu)化不同特征的權重，實現(xiàn)光場圖像先驗信息的補充，并使端到端映射更加嚴格，提高了溫度場重建的精度。最后以MRE 和MMRE 為指標，設計了正交試驗與K折交叉試驗，驗證上述因素對重建精度的影響。

1 光場特征的優(yōu)化提取方法

1.1 傳統(tǒng)的溫度場重建網(wǎng)絡結構

CNN 是一種用于二維形態(tài)特征識別的多層感知機。在火焰溫度場重建任務中，神經(jīng)網(wǎng)絡通過識別火焰圖像各尺度的特征，學習得到灰度值信息與溫度場的映射關系?；诠鈭鰣D像的傳統(tǒng)三維火焰溫度場重建網(wǎng)絡[19]如圖1所示。

圖1 溫度場重建網(wǎng)絡結構

這類網(wǎng)絡以光場MPI圖像為輸入，通過5次卷積和池化操作，將特征樣式整理成復數(shù)的小圖像塊。將圖像塊中的元素展平成一維向量，并與同樣展平的三維溫度場數(shù)據(jù)相連接，形成一個展平-全連接模塊，如圖1(b)所示。卷積層負責提取當前層級的特征，使用較小的卷積核對圖像中的每個像素進行正相關運算，識別感受野內(nèi)的特征樣式。池化層負責對圖像進行降采樣，減小其尺寸并擴展感受野。全連接層負責關聯(lián)向量對，將展平的元素作為特征向量，解碼為三維溫度場數(shù)據(jù)，最終完成重建。

然而，這類網(wǎng)絡的特征提取方法主要面向二維平面圖像，還不能很好地理解光場圖像的三維信息。當該網(wǎng)絡直接用于光場火焰圖像時，僅僅抓取了相鄰像素包含的追跡光線角度特征，沒有考慮視角間距下像素所代表的另一類追跡光線空間特征。并且卷積核下像素對應的物點坐標呈不規(guī)則排列，特征向量的數(shù)物特性不夠嚴謹。

1.2 優(yōu)化的溫度場重建網(wǎng)絡結構

本文優(yōu)化后的溫度場重建網(wǎng)絡如圖2(a)所示，以光場SAI圖像為輸入，整體框架沿用特征提取模塊與池化層重復搭建，最后進行元素展平連接溫度場數(shù)據(jù)。設計優(yōu)化后的特征分流提取模塊（OHFEM）如圖2(b)所示。該模塊采用兩個分支去提取光場圖像的空間特征和角度特征，并使用注意力模塊（CBAM）[26]優(yōu)化角度特征的提取。

圖2 基于SAI特征分流的溫度場重建網(wǎng)絡結構

1.3 基于SAI圖像的特征分流原理

在使用圖1所示的傳統(tǒng)網(wǎng)絡重建溫度場時，常使用大小為3×3 的卷積核，導致提取的特征雜糅。圖3(a)為選擇中心視角為6×6的火焰MPI圖像，圖3(b)為圖3(a)紅色框中的放大圖像。黃色框表示每個微透鏡下對應的像素簇。藍色、紫色和綠色框都是3×3卷積核的處理對象。圖3(c)為對應顏色框下3×3像素對應的物點位置，該坐標可由光線追跡與火焰切面的交點關系得到。

圖3 MPI圖像的3×3次卷積信息偏移

從圖3(b)中藍色框和紫色框中的像素對應物點關系可知，當卷積核下的像素均位于同一個微透鏡下時，這些像素接收到的光線在物面呈規(guī)則的等距分布。然而，當卷積核下的像素不屬于同一微透鏡時，如圖3(b)中綠框所示，虛線框內(nèi)的物面交點并非等距排列在黑點處，而是落在實線框內(nèi)的綠點處。這種偏移來自于光場相機主透鏡-微透鏡陣列-傳感器的獨特結構，并受到像素簇對應的微透鏡位置的影響。因此在對火焰MPI圖像進行3×3卷積處理時，提取的特征混淆了物理映射關系，忽略了不同微透鏡下相同坐標像素的空間特征。為解決上述問題，本文將MPI圖像的像素重新排列得到SAI圖像，其中包含36張不同視角的子圖像，如圖4所示。

圖4 SAI圖像

特征分流首先需要將不同角度的SAI圖像疊放在通道維度，作為優(yōu)化的溫度場重建網(wǎng)絡輸入。當采用1×1卷積核對光場圖像進行采樣時，可以得到光場的角度特征。同理采用3×3卷積核采樣時，可以得到光場的空間特征。將得到的兩類特征繼續(xù)在通道維度上疊放，并傳遞到下一個層級。這一過程可以歸納為基于SAI圖像的特征分流模塊（HFEM），如圖5所示。

圖5 特征分流提取原理

SAI圖像的1×1卷積核下的像素來自不同視角、相同坐標的像素，對應的物點分布間距相對較短，便于獲取目標像素與局部區(qū)域的關系，反映小范圍灰度值變化的細節(jié)。該處理相當于MPI圖像的3×3卷積特征提取，但不存在跨像素簇的特征雜糅。SAI 圖像的3×3 卷積核下像素為同一視角、相鄰坐標的像素，對應的物點分布間距較遠，便于目標像素在環(huán)境中的定位，反映了廣域的空間位置信息，彌補了傳統(tǒng)重建網(wǎng)絡中空間特征提取的不足。

1.4 基于注意力的權重分配原理

本文提出通過注意力機制進一步優(yōu)化光場火焰圖像的特征提取。其中通道注意力用于強調(diào)不同類型特征的權重差異；空間注意力則用于過濾火焰背景部分，凸顯特征樣式主體，其計算方法如圖6所示。

圖6 注意力權重分配原理

在通道注意力處理階段，對于輸入的圖像或特征樣式，使用每個通道的最大和平均池化結果代表自身，通過兩次卷積整理得到通道權重編碼。將結果與輸入相乘完成通道尺度的加權后，傳遞到空間注意力階段，基于通道求解全局的最大值和平均值，可以得到特征邊緣和主體的分布信息，通過3×3卷積壓縮將兩類信息到單一通道，將結果與輸入相乘完成空間尺度的加權。

與MPI 圖像相比，SAI 圖像具有更小的分辨率，并且可以使用3×3卷積核更快地遍歷全局，無需CBAM模塊的輔助即可實現(xiàn)較完備的空間特征提取工作。為使神經(jīng)網(wǎng)絡輕量化，減少訓練開銷，本文僅將CBAM置于角度特征提取中。

2 溫度場重建結果與分析

本文采用正交試驗分析輸入圖像格式、光場特征提取方法和注意力機制優(yōu)化三個因素的主體間效應。為了避免深度學習訓練結果的隨機波動，進一步采用K折交叉試驗[27]，隨機劃分訓練樣本。對每組試驗進行10 次訓練，并對各因素的顯著性進行評價。本文的評價方法MRE 和MMRE 基于測量值與真值的比較，分別求解相對誤差的平均值與最大值，計算方法可表示為式（1）。

2.1 實驗條件

溫度場重建網(wǎng)絡的輸入設定為360×360分辨率的火焰光場圖像合計1600 組。網(wǎng)絡的輸出是模擬的軸對稱單峰火焰溫度場，尺寸為24mm×24mm×30mm，采樣步長為2mm?；鹧鏈囟葓錾晒絒20]如式(2)所示，溫度分布情況如圖7所示。

圖7 軸對稱火焰溫度分布圖

式中，H、R為火焰尺寸基準值；h、r為物點的軸向坐標和徑向坐標；m、n為調(diào)整火焰大小的變易參數(shù)。采用公式模擬火焰溫度場是一種有效的數(shù)字孿生方法。先前研究[19]已經(jīng)通過實驗證明了這種方法在實際火焰溫度場重建的有效性。如果該網(wǎng)絡在模擬數(shù)據(jù)集上具有較低的重建誤差，則該網(wǎng)絡在真實實驗中也可以具備較好的重建精度。

本文的重建網(wǎng)絡基于PyTorch 框架，在配備NVIDIA GeForce RTX 3080Ti GPU 的服務器進行訓練，分別設計了8個代表性組合對上述3個因素進行析因試驗。具體方案見表1。

表1 正交試驗方案表

表1 中試驗號1 是傳統(tǒng)的火焰溫度場重建網(wǎng)絡，試驗號8是本文提出的優(yōu)化網(wǎng)絡，兩者構成對比試驗。試驗號2至試驗號7為不同優(yōu)化方案的排列組合，共同組成多因素的消融試驗。

2.2 K折交叉試驗分析

在深度學習中，神經(jīng)網(wǎng)絡的每次訓練結果不盡相同，模型在驗證數(shù)據(jù)集的重建精度會在一個小范圍波動。為使評價指標更接近實際模型性能，設計了隨機K折交叉試驗。將樣本數(shù)據(jù)集中90%的數(shù)據(jù)隨機劃分為訓練集，剩余數(shù)據(jù)作為測試集。每組試驗均進行10 次，不同試驗次數(shù)下模型在驗證數(shù)據(jù)集中重建的溫度場MRE和MMRE如圖8所示。

圖8 隨機K折交叉試驗箱線圖

圖8根據(jù)拉依達準則，加號代表數(shù)據(jù)中的異常值，T形標記代表極值，藍框由上四分位數(shù)和下四分位數(shù)組成，反映數(shù)據(jù)的主體分布，紅線代表數(shù)據(jù)的中位數(shù)，反映數(shù)據(jù)的偏態(tài)分布。由此可知，試驗號8的兩個指標都明顯小于試驗號1。并且試驗號8的MRE 箱體狹窄，穩(wěn)定性強。MMRE 的最小結果顯著低于其他試驗號，反映了最佳模型能有效抑制較高誤差的產(chǎn)生。由于單項因素在不同方案下對重建精度存在不同程度的抑制或放大作用，需要通過正交試驗探討不同因素組合對重建精度的影響。

2.3 正交試驗分析

采用MRE 和MMRE 指標對進行主體間效應分析，計算結果如表2所示。

表2 相對誤差計算表

表2中，Kji為j列水平為i的測試指標之和，重建任務的目的是減少誤差，因此Kji越小，對應的因子水平越好。如表中K22＜K21和K42＜K41，該結果表明無論是CBAM還是HFEM都能有效降低重建溫度場的MRE。對截距進行校正后，其因子顯著性如表3所示。

表3 相對誤差方差分析表

給定因素的顯著性代表了其對重建精度的影響程度，顯著性越小，影響越大。由表3可知交互效應A×B對MRE 的影響最為顯著。進一步討論計算A×B的效應誤差如表4所示。

表4 MRE因素效應搭配表

表4中效應誤差由同一水平組合的試驗指標相加得到，并且溫度場重建任務希望效應誤差盡可能低。由此可知，A2B2組的效應誤差小于A×B的其他組，代表最好的解決方案是使用SAI 圖像作為輸入，并通過CBAM優(yōu)化權重分配。這一結論與交叉試驗的分析一致，結合表2中HFEM能夠有效降低MRE 的結論，即同時采用本文提出的三種優(yōu)化因素是MRE重建任務的最佳解決方案。

同理通過表2、表3中MMRE指標的計算結果，可知該指標下使用CBAM 仍然可以有效地降低MMRE，并且HFEM、交互效應A×C和交互效應B×C三者對MMRE 指數(shù)的影響均較為顯著。為考慮交互效應之間是否存在方案沖突，需要進一步討論不同因素間相互作用的因素搭配如表5所示。

表5 MMRE因素效應搭配表

從表5 可知，A2C2組和B2C2組的效應誤差小于其他組，滿足C2采用HFEM與B2采用CBAM的單因素最佳方案。即對于MMRE 指標，最好解決方案仍是同時采用本文提出的三種優(yōu)化因素。

2.4 網(wǎng)絡收斂速度

在深度學習中，網(wǎng)絡收斂速度是衡量網(wǎng)絡性能的另一個標準，圖9 為試驗1 傳統(tǒng)網(wǎng)絡和試驗8 優(yōu)化網(wǎng)絡隨周期迭代的MRE變化趨勢。

圖9 MRE隨訓練周期變化趨勢

圖中橫坐標為訓練周期數(shù)，縱坐標為對應周期下模型在測試集的MRE。優(yōu)化網(wǎng)絡在15 周期后MRE 均優(yōu)于傳統(tǒng)網(wǎng)絡，并且在訓練前期有更顯著的下降趨勢，在50 周完成收斂。均訓練150 周期后，傳統(tǒng)網(wǎng)絡耗時1155s，對應MRE 為0.286%。優(yōu)化網(wǎng)絡耗時1395s，對應的MRE 為0.150%，重建精度提高了44.82%。

3 結論

本文提出了一種基于SAI圖像輸入、光場特征分流提取和注意力機制優(yōu)化的火焰溫度場重建網(wǎng)絡。與以往的方法相比，溫度場重建精度更高。

本文以SAI圖像為輸入，利用不同的卷積核分別提取光場角度特征和空間特征，解決了傳統(tǒng)網(wǎng)絡特征混淆和信息片面的問題。再將注意力機制與特征分流過程相結合，自主分配不同尺度的特征權重，強化重要特征對溫度計算的貢獻。

采用K折交叉試驗和正交試驗分析了本文提出因素的交互效應。結果表明，3個因素通過交互作用顯著提高了溫度場的重建精度，同周期下將平均相對誤差從0.286%降低到0.16%，最大相對誤差從3.51%降低到2.29%，并且網(wǎng)絡訓練的收斂速度更快。