基于卷積網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)溫度測量方法

虞思思李文軍崔志文金敏俊

(中國計(jì)量大學(xué)計(jì)量測試工程學(xué)院，浙江 杭州 310018)

工業(yè)、農(nóng)業(yè)、國防等領(lǐng)域中存在測量動(dòng)態(tài)溫度的需求[1]。熱電偶因其成本低、可靠性高等優(yōu)點(diǎn)被廣泛應(yīng)用[2]。但熱電偶存在熱慣性，動(dòng)態(tài)響應(yīng)存在遲滯，動(dòng)態(tài)溫度測量存在動(dòng)態(tài)誤差[3]。為了減小動(dòng)態(tài)誤差，通常采用硬件補(bǔ)償法和軟件補(bǔ)償法。硬件補(bǔ)償法采用硬件電路進(jìn)行補(bǔ)償，存在通用性差等缺點(diǎn)。軟件補(bǔ)償法利用數(shù)據(jù)驅(qū)動(dòng)的方式建立模型，對測量值進(jìn)行修正，重建動(dòng)態(tài)溫度，具有補(bǔ)償精度高、通用性強(qiáng)等特點(diǎn)。

雙偶法通常使用兩支具有不同時(shí)間常數(shù)的熱電偶來重建真實(shí)溫度[4]。Yanfeng Li等使用雙熱電偶來測量等速流動(dòng)環(huán)境中的動(dòng)態(tài)氣體溫度，并利用小時(shí)間常數(shù)熱電偶的輸出數(shù)據(jù)重構(gòu)輸入動(dòng)態(tài)溫度[5]。Xingyu Ren等用兩個(gè)不同直徑的細(xì)絲熱電偶組成雙熱電偶探頭對湍流乙烯擴(kuò)散火焰進(jìn)行高頻溫度測量，并補(bǔ)償湍流氣體溫度[6]。Peter C Hung等提出了一種差分方程sDEd方法，利用兩支熱電偶的輸出以解決高頻波動(dòng)的損失[7]。

物理傳感器測量的動(dòng)態(tài)流量、壓力和溫度[8]都可以看作時(shí)間序列。熱電偶是測量溫度的傳感器，其測量的溫度數(shù)據(jù)也可以看作時(shí)間序列。在時(shí)間序列研究中，自回歸滑動(dòng)平均模型(autoregressive moving average，ARMA)以及差分整合移動(dòng)平均自回歸模型(autoregressive integrated moving average，ARIMA)應(yīng)用廣泛。但是，這兩種模型都屬于線性數(shù)學(xué)模型，存在著諸多局限性，如線性模型只在線性關(guān)系問題中表現(xiàn)良好[9]。近年來，深度學(xué)習(xí)方法日益成為研究的熱點(diǎn)。Lucas等通過卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)提取氣象數(shù)據(jù)特征以計(jì)算日參考蒸散量[10]；Shi等將長短期記憶人工神經(jīng)網(wǎng)絡(luò)模型(long short-term memory，LSTM)引入降水量研究；Pradeep He wage等使用時(shí)間卷積網(wǎng)絡(luò)模型(temporal convolutional networks，TCN)對氣象數(shù)據(jù)進(jìn)行分析[11]。

本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)和基于時(shí)間卷積網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)測溫模型。將偽隨機(jī)二值序列作為激勵(lì)溫度[12]，獲得兩支時(shí)間常數(shù)互異的熱電偶在高低溫雙溫度源激勵(lì)下的理論測量值。將兩支熱電偶的理論測量值視為時(shí)間序列并作為CNN和TCN的輸入，通過CNN和TCN重建動(dòng)態(tài)溫度，采用RMSE和R2對CNN模型和TCN模型的動(dòng)態(tài)溫度重建進(jìn)行評價(jià)。搭建了雙熱電偶動(dòng)態(tài)溫度測量實(shí)驗(yàn)系統(tǒng)，以兩支K型鎳鉻鎳硅熱電偶為實(shí)驗(yàn)對象，給出了一個(gè)算例。

1 雙熱電偶動(dòng)態(tài)測溫模型

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)測溫模型

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)是包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一[13]。在時(shí)間序列建模中，CNN也表現(xiàn)出了良好的性能。

CNN的基本結(jié)構(gòu)一般由輸入層、隱藏層、全連接層以及輸出層構(gòu)成，隱藏層主要包含卷積層和池化層?；诰矸e神經(jīng)網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)測溫模型如圖1所示。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)測溫模型

假設(shè)熱電偶1測量值序列T1為{T1(k)｜k＝1，2，…，n}，熱電偶2測量值序列T2為{T2(k)｜k＝1，2，…，n}，真實(shí)溫度序列T r為{T r(k)｜k＝1，2，…，n}。CNN將序列問題轉(zhuǎn)化為根據(jù)T1、T2去預(yù)測T r。

卷積層(Convlution)體現(xiàn)了局部連接和權(quán)值共享兩種核心思想，有效的減少了網(wǎng)絡(luò)的參數(shù)數(shù)量，緩解了模型的過擬合問題，使運(yùn)算變得簡潔、高效[14]。

局部連接，即卷積層中的節(jié)點(diǎn)只與前一層的局部節(jié)點(diǎn)相連，只學(xué)習(xí)局部特征。

權(quán)值共享意味著整個(gè)溫度時(shí)間序列的元素都共享了相同的權(quán)值，即每個(gè)卷積核在遍歷整個(gè)時(shí)間序列時(shí)，卷積核的參數(shù)值不變。不僅減小了模型復(fù)雜度，且很好的利用了元素間的局部相關(guān)性。

卷積操作可以看作在溫度時(shí)間序列上應(yīng)用和滑動(dòng)卷積核[15]。與圖像不同的是，卷積核只顯示一維(時(shí)間)而不是二維(寬度和高度)，輸入溫度時(shí)間序列T1的卷積運(yùn)算表達(dá)式為:

式中:“*”為卷積運(yùn)算，k為時(shí)間序列長度，b為偏置參數(shù)，f為非線性函數(shù)例如校正的線性單元

(ReLU)。

池化層一般在卷積層之后。池化層通過池化操作進(jìn)一步減少參數(shù)的數(shù)量，通過在溫度時(shí)間序列的滑動(dòng)窗口上聚合來減少其長度，簡化模型的復(fù)雜性、提高計(jì)算速度以及提高所提取特征的魯棒性。最常用的池化方法有最大池化(max-pooling)和平均池化(mean-pooling)。池化在防止過度訓(xùn)練和減少計(jì)算復(fù)雜度方面起著至關(guān)重要的作用。

卷積層參數(shù)誤差會(huì)造成估計(jì)均值的偏移，而采用最大池化操作能夠減小偏移帶來的誤差。假設(shè)輸入為n H×n W×n C，經(jīng)過最大池化操作后輸出為:

式中:l為池化核大小，s為步長。

扁平化層(Flatten)將提取的特征轉(zhuǎn)化為一維特征向量，然后使用聯(lián)合層(Concatenate)將兩個(gè)特征向量進(jìn)行融合，最后通過全連接層(Fully-connected)進(jìn)行輸出。

1.2 基于時(shí)間卷積網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)測溫模型

時(shí)間卷積網(wǎng)絡(luò)(Temporal Convolutional Network，TCN)，是一種能夠處理時(shí)間序列數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)，是將CNN思想引入時(shí)序數(shù)據(jù)處理的一種新方法[16]。與CNN相比，TCN具有時(shí)間因果性和更靈活的感受野?；跁r(shí)間卷積網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)測溫模型如圖2所示。

圖2 基于時(shí)間卷積網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)測溫模型

與CNN方法類似，TCN也將序列問題轉(zhuǎn)化為根據(jù)T1、T2去預(yù)測T r。

TCN中的因果卷積與普通卷積不同，其一個(gè)時(shí)間的輸出僅與前一層中更早時(shí)間的元素卷積，不考慮未來的信息。一個(gè)簡單的因果卷積只能回顧一個(gè)網(wǎng)絡(luò)深度上呈線性大小的歷史，這使得將上述因果卷積應(yīng)用于需要較長歷史的溫度時(shí)間序列時(shí)卷積層數(shù)會(huì)增加，而卷積層數(shù)增加會(huì)帶來梯度消失、訓(xùn)練復(fù)雜及擬合效果不好等問題。為解決這一問題，TCN引入擴(kuò)張卷積，使感受野成倍增大。擴(kuò)張卷積又稱膨脹卷積或空洞卷積，除卷積核大小外，擴(kuò)張卷積還有一個(gè)參數(shù)即擴(kuò)張因子d，用來表示擴(kuò)張的大小，擴(kuò)張因子d通常以2的指數(shù)形式增加，d＝2m，m∈{0，1，…，n}。輸入溫度時(shí)間序列T1中元素s的擴(kuò)張卷積運(yùn)算表達(dá)式為

式中:“*”為卷積運(yùn)算，d為擴(kuò)張因子，l為卷積核大小。選擇更大的卷積核和增加擴(kuò)張因子d都可以增加感受野，使頂層的輸出代表更廣泛的輸入。因果擴(kuò)張卷積如圖3所示，其中d＝2m，m∈{0，1，2}。

圖3 因果擴(kuò)張卷積

TCN的感受野取決于網(wǎng)絡(luò)深度、卷積核大小和擴(kuò)張因子，當(dāng)輸入數(shù)據(jù)量更大時(shí)，模型仍會(huì)非常深，因此提高模型精度、避免特征信息丟失過多，進(jìn)而穩(wěn)定更深層的時(shí)間卷積網(wǎng)絡(luò)變得非常重要。TCN增加了殘差連接使輸入數(shù)據(jù)可以跨層被直接添加到輸出中，因輸入與輸出數(shù)據(jù)可能維度不同，使用1×1卷積來確保維度的一致。

TCN通過堆疊若干個(gè)殘差塊來構(gòu)造完整結(jié)構(gòu)，每個(gè)殘差塊通常由若干層因果擴(kuò)張卷積以及與之配套的權(quán)值規(guī)范化(WeightNorm)、激活函數(shù)、隨機(jī)失活率(Dropout)和殘差連接組成[17]。圖4所示的殘差塊包含兩層因果卷積以及與之配套的權(quán)值規(guī)范化、ReLU、隨機(jī)失活率和殘差連接。

圖4 殘差塊

1.3 評價(jià)指標(biāo)

為了比較CNN和TCN模型動(dòng)態(tài)溫度重建的精度，采用統(tǒng)計(jì)指標(biāo)均方根誤差(Root Mean Square Error，RMSE)和擬合優(yōu)度(Goodness of Fit)對兩種模型進(jìn)行評價(jià)。

均方根誤差是模型預(yù)測值與真值偏差的平方與時(shí)間序列長度n比值的平方根，用來衡量模型預(yù)測值同真值之間的偏差。其表達(dá)式為

式中:n為時(shí)間序列長度，T r為真值，T p為模型預(yù)測值。均方根誤差越小，說明模型預(yù)測的越準(zhǔn)確；均方根誤差越大，則越不準(zhǔn)確。

擬合優(yōu)度指模型預(yù)測值對真值的擬合程度。度量擬合優(yōu)度的統(tǒng)計(jì)指標(biāo)是可決系數(shù)R2，其表達(dá)式為

2 雙熱電偶動(dòng)態(tài)測溫仿真

2.1 熱電偶理論測量數(shù)據(jù)集

Victor在測試熱電偶動(dòng)態(tài)響應(yīng)性能時(shí)，采用偽隨機(jī)二值序列(pseudo-random binary sequence，PRBS)作為激勵(lì)溫度[18]。因此，使用偽隨機(jī)二值序列作為熱電偶在高低溫雙溫度源下的無量綱激勵(lì)溫度。如圖5所示，y坐標(biāo)表示無量綱溫度，其中0代表低溫溫度源，1代表高溫溫度源。設(shè)定的采樣頻率為50 Hz，采樣時(shí)間長度為200 s，數(shù)據(jù)長度為10 000。

圖5 激勵(lì)溫度

根據(jù)Li[19]，假設(shè)熱電偶1的時(shí)間常數(shù)τ1＝0.045s，則其傳遞函數(shù)為

將圖5中的激勵(lì)溫度應(yīng)用于式(7)的熱電偶1，得到理想情況下的響應(yīng)，如圖6所示。

圖6 熱電偶1理想響應(yīng)

為了使理論測量數(shù)據(jù)集更接近實(shí)際應(yīng)用數(shù)據(jù)集，在上述數(shù)值中加入不同強(qiáng)度的高斯噪聲，噪聲大小可由信噪比(signal-to-noise ratio，SNR)控制，信噪比的定義如下

式中:P s和P n分別代表信號和噪聲的有效功率。

本文以步長為10 dB，SNR在20 dB至60 dB范圍內(nèi)，獲得多組熱電偶理論測量值。熱電偶1在SNR為20 dB和60 dB時(shí)的理論測量值如圖7(a)、(b)所示。

圖7 熱電偶1在SNR為20 dB和60 dB時(shí)的理論測量值

類似地，假設(shè)熱電偶2的時(shí)間常數(shù)τ2＝0.135s，則其傳遞函數(shù)為

將熱電偶1和熱電偶2的測量值序列T1、T2作為模型的輸入，真實(shí)溫度序列T r作為輸出。如圖8所示，T1(k)、T2(k)分別為在k時(shí)刻熱電偶1和熱電偶2的測量值，Tr(k＋1)為在k＋1時(shí)刻的真實(shí)溫度。具體而言，取[T1(k－1)，T1(k)，T1(k＋1)]和[T2(k－1)，T2(k)，T2(k＋1)]作為輸入樣本，T r(k＋1)作為輸出樣本，滑動(dòng)窗口每次移動(dòng)的距離為1。

圖8 模型的輸入輸出樣本

滑動(dòng)窗口遍歷序列后得到輸入輸出樣本數(shù)據(jù)集，將其70%劃分為訓(xùn)練集用于訓(xùn)練模型，30%劃分為測試集用于測試模型。

2.2 卷積網(wǎng)絡(luò)模型參數(shù)設(shè)置

2.2.1 CNN模型參數(shù)

兩個(gè)序列利用卷積層和最大池化層完成特征的提取，經(jīng)扁平化層將特征映射為一個(gè)一維向量，合并兩個(gè)一維向量，通過適當(dāng)?shù)碾S機(jī)失活率緩解模型的過擬合問題，再通過全連接層進(jìn)行輸出。CNN模型的參數(shù)設(shè)置如表1所示。

表1 CNN模型參數(shù)設(shè)置

2.2.2 TCN模型參數(shù)

擴(kuò)張因子d＝2m，m∈{0，1，2，3，4，5}。兩個(gè)序列經(jīng)因果擴(kuò)張卷積完成提取特征后，利用權(quán)值規(guī)范化簡化計(jì)算，再通過適當(dāng)?shù)碾S機(jī)失活率緩解模型的過擬合問題。TCN模型的參數(shù)設(shè)置如表2所示。

表2 TCN模型參數(shù)設(shè)置

2.3 計(jì)算結(jié)果

對熱電偶1和熱電偶2的測量值序列T1、T2進(jìn)行CNN和TCN建模，重建動(dòng)態(tài)溫度。在SNR為20 dB時(shí)兩種模型的動(dòng)態(tài)溫度重建如圖9(a)所示，兩種模型在3.2 s～12.8 s的動(dòng)態(tài)溫度重建與激勵(lì)溫度的局部放大如圖9(b)所示。

在SNR為30 dB～60 dB范圍內(nèi)，步長為10 dB，兩種模型在3.2 s～12.8 s的動(dòng)態(tài)溫度重建與激勵(lì)溫度的局部放大如圖10所示。

由圖9～圖10可以看出，在SNR為20 dB～60 dB噪聲環(huán)境下，兩種模型的動(dòng)態(tài)溫度重建誤差主要在溫度階躍處。且與CNN模型相比，TCN模型的動(dòng)態(tài)溫度重建更接近激勵(lì)溫度。

圖9 SNR為20 dB時(shí)的動(dòng)態(tài)溫度重建

圖10 SNR為30 dB～60 dB時(shí)的動(dòng)態(tài)溫度重建局部放大圖

根據(jù)式(4)和式(6)，計(jì)算RMSE和R2，用于評價(jià)模型的精度，結(jié)果如表3所示。

由表3可以看出，在SNR為20 dB～60 dB噪聲環(huán)境下，與CNN模型相比，TCN模型的RMSE更低，R2更高，表明TCN模型的動(dòng)態(tài)溫度重建精度更高。且隨著信噪比的減小，與CNN模型相比，TCN模型的RMSE和R2更為穩(wěn)定，表明TCN模型具有更強(qiáng)大的抗噪聲能力。

表3 在SNR為20 dB～60 dB噪聲環(huán)境下兩種模型的RMSE和R2

3 雙熱電偶動(dòng)態(tài)測溫實(shí)驗(yàn)

3.1 實(shí)驗(yàn)裝置

搭建了雙熱電偶動(dòng)態(tài)溫度測量實(shí)驗(yàn)系統(tǒng)。實(shí)驗(yàn)裝置包括上位機(jī)、數(shù)據(jù)采集卡、熱風(fēng)槍以及熱電偶。雙熱電偶動(dòng)態(tài)溫度測量實(shí)驗(yàn)系統(tǒng)如圖11所示。

圖11 雙熱電偶動(dòng)態(tài)溫度測量實(shí)驗(yàn)系統(tǒng)

K型熱電偶具有靈敏度高、熱電性能穩(wěn)定等特點(diǎn)。因此，采用兩支絲徑比為2的K型鎳鉻鎳硅熱電偶為實(shí)驗(yàn)對象[20]，熱電偶A的絲徑為0.3 mm，熱電偶B的絲徑為0.15 mm。由于實(shí)驗(yàn)中真實(shí)溫度變化未知，所以以高精度熱電偶的測量值為標(biāo)準(zhǔn)，高精度熱電偶的絲徑為0.1 mm。

實(shí)驗(yàn)原理是利用兩支熱風(fēng)槍A、B產(chǎn)生低溫氣流和高溫氣流，熱電偶測溫結(jié)點(diǎn)在兩種氣流間來回?cái)[動(dòng)，數(shù)據(jù)采集卡采集熱電偶A、B的測量值TA、TB以及高精度熱電偶的測量值Tr。

3.2 實(shí)驗(yàn)結(jié)果

設(shè)定熱風(fēng)槍A溫度為50℃，熱風(fēng)槍B溫度為250℃。采樣頻率為50 Hz，采樣時(shí)間長度為200 s，數(shù)據(jù)長度為10 000。熱電偶的實(shí)驗(yàn)測量值如圖12所示。

圖12 熱電偶實(shí)驗(yàn)測量值

在建立模型前，對熱電偶A、B的測量值TA、TB以及高精度熱電偶的測量值Tr進(jìn)行歸一化處理，其表達(dá)式為

式中:Tmin為溫度序列數(shù)據(jù)的最小值，Tmax為溫度序列數(shù)據(jù)的最大值。熱電偶測量值歸一化如圖13所示。

圖13 熱電偶測量值歸一化

由圖13可以看出，高精度熱電偶的動(dòng)態(tài)響應(yīng)優(yōu)于熱電偶A、B，熱電偶B的動(dòng)態(tài)響應(yīng)優(yōu)于熱電偶A。

對熱電偶A、B歸一化后的測量值進(jìn)行CNN和TCN建模，重建動(dòng)態(tài)溫度。兩種模型的動(dòng)態(tài)溫度重建與高精度熱電偶測量值對比如圖14所示。

由圖14可以看出，CNN模型的動(dòng)態(tài)溫度重建誤差主要在溫度階躍處。

圖14 模型輸出與高精度熱電偶測量值對比

根據(jù)式(4)和式(6)，計(jì)算RMSE和R2，用于評價(jià)模型的精度，結(jié)果如表4所示。

表4 兩種模型的RMSE和R2

表4中的實(shí)驗(yàn)數(shù)據(jù)處理結(jié)果是在與仿真一致的模型參數(shù)條件下獲得的。由表4可知，采用雙熱電偶測量動(dòng)態(tài)溫度時(shí)，TCN模型的RMSE為0.028 4，R2為0.994 0，優(yōu)于CNN模型，表明TCN模型的動(dòng)態(tài)溫度重建精度更高。且根據(jù)計(jì)算結(jié)果可知，熱電偶B測量值與高精度熱電偶測量值之間的RMSE為0.092 9，R2為0.938 9，因此TCN模型輸出溫度應(yīng)優(yōu)于熱電偶B。

在相同的實(shí)驗(yàn)環(huán)境下，其他條件不變，改變兩支熱風(fēng)槍的溫度分別為50℃、300℃和150℃、250℃，獲得兩組新的實(shí)驗(yàn)數(shù)據(jù)，將得到的新的實(shí)驗(yàn)數(shù)據(jù)代入已訓(xùn)練好的TCN模型中進(jìn)行預(yù)測，兩組實(shí)驗(yàn)的RMSE分別為0.044 1和0.034 8，R2分別為0.983 3和0.989 2。因此已訓(xùn)練好的TCN模型對于其他真實(shí)實(shí)驗(yàn)溫度，其預(yù)測效果同樣較好。

4 結(jié)論

為了獲得更精確的動(dòng)態(tài)溫度，提出了基于卷積網(wǎng)絡(luò)的雙熱電偶動(dòng)態(tài)溫度測量方法。采用卷積網(wǎng)絡(luò)中的CNN和TCN對兩支同一材質(zhì)不同絲徑熱電偶的測量值序列進(jìn)行建模，重建真實(shí)溫度。計(jì)算結(jié)果和實(shí)驗(yàn)結(jié)果表明，與CNN模型相比，TCN模型的RMSE更低，R2更高。因此，基于時(shí)間卷積網(wǎng)絡(luò)的測量方法能夠提高動(dòng)態(tài)溫度測量的精度，且結(jié)果優(yōu)于基于卷積神經(jīng)網(wǎng)絡(luò)的方法。