基于殘差連接的Conv1D-BiGRU動(dòng)態(tài)稱重模型

史柏迪，莊曙東，蔡 鳴，江志偉

(1.河海大學(xué)機(jī)電工程學(xué)院，江蘇常州 213022； 2.南京航空航天大學(xué)，江蘇省精密儀器重點(diǎn)實(shí)驗(yàn)室，江蘇南京 213009； 3.梅特勒·托利多測(cè)量技術(shù)有限公司,江蘇常州 213022)

0 研究背景及現(xiàn)狀

在物流需求和勞動(dòng)力缺口矛盾面前[1-2]，動(dòng)態(tài)稱重技術(shù)是物流業(yè)發(fā)展的必然之路。在當(dāng)前工業(yè)5.0與大數(shù)據(jù)模式下，復(fù)雜機(jī)電耦合系統(tǒng)的精確監(jiān)控與狀態(tài)預(yù)測(cè)[3-4]直接依賴于傳感器實(shí)時(shí)返回的高維時(shí)序數(shù)據(jù)，但隨之而來(lái)便是高維時(shí)序數(shù)據(jù)處理所帶來(lái)的挑戰(zhàn)。統(tǒng)計(jì)學(xué)回歸[5]、全連接層DNN網(wǎng)絡(luò)[6]、機(jī)器學(xué)習(xí)模型受限于模型特征，需將時(shí)序數(shù)據(jù)Flatten重組為1D數(shù)據(jù)進(jìn)行處理，一方面忽略數(shù)據(jù)維度意義，且協(xié)同打包處理直接丟失采樣信號(hào)的時(shí)序性，極大影響模型的監(jiān)控與預(yù)測(cè)精度。

在動(dòng)態(tài)測(cè)量中各壓力傳感器以1 024 Hz的速率進(jìn)行信號(hào)采集，可將其改寫(xiě)為格式為Rn×t×s的數(shù)據(jù)，n為傳感器數(shù)、t為時(shí)間維度、s為每秒采樣頻率，Hz。低速下傳動(dòng)穩(wěn)定、壓力信號(hào)平緩，使用DNN[7]或機(jī)器學(xué)習(xí)模型加權(quán)處理采樣點(diǎn)信號(hào)便可精確輸出質(zhì)量。但在高速重載下，貨物沖擊[8]、電機(jī)振動(dòng)及環(huán)境干擾[9](風(fēng)力、空氣對(duì)流、溫度)等時(shí)序非線性干擾信號(hào)均被放大[10]，此外，傳感器信號(hào)經(jīng)過(guò)濾波處理后依舊存在較大噪度。上述時(shí)序系統(tǒng)具有無(wú)序性與復(fù)雜度，使用傳統(tǒng)DNN網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)類模型處理壓力信號(hào)無(wú)法有效獲取其時(shí)域與頻域特性，最終加權(quán)輸出精確質(zhì)量。上述問(wèn)題其本質(zhì)為高維時(shí)間序列分析，因數(shù)據(jù)量大、維度高、且數(shù)據(jù)點(diǎn)之間的相互耦合，基于統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)算法的模型無(wú)法有效進(jìn)行分析處理。

近年來(lái)，國(guó)內(nèi)外諸多學(xué)者一直致力于研究更優(yōu)的時(shí)間序列預(yù)測(cè)方法。當(dāng)前以CNN[11]、DNN、RNN[12]為主的深度學(xué)習(xí)模型因其強(qiáng)大的多元非線性擬合能力在復(fù)雜時(shí)序系統(tǒng)分析中有著廣泛的使用。但在CNN、DNN中模型輸出僅由當(dāng)前時(shí)刻輸入決定，破壞了數(shù)據(jù)的序列完整性。 RNN使用橫向自展開(kāi)結(jié)構(gòu)建立了不同序列之間的聯(lián)系，因此RNN網(wǎng)絡(luò)在自然語(yǔ)言處理[13]、股票預(yù)測(cè)[14]等序列分析中有著廣泛使用，但當(dāng)輸入數(shù)據(jù)維度較大、序列較長(zhǎng)時(shí)，伴隨著多次前向傳播極易導(dǎo)致梯度消失[15]、模型超參數(shù)過(guò)多、梯度彌散等問(wèn)題，最終導(dǎo)致模型難以訓(xùn)練。LSTM網(wǎng)絡(luò)通過(guò)引入遺忘門(mén)、輸入門(mén)和輸出門(mén)式結(jié)構(gòu)進(jìn)行記憶限定，有效緩解RNN網(wǎng)絡(luò)中”長(zhǎng)期遺忘”問(wèn)題，但與此同時(shí)也增大模型運(yùn)算復(fù)雜度，且對(duì)高維數(shù)據(jù)預(yù)測(cè)精度依舊不佳。針對(duì)此問(wèn)題，施行健[16]在2015年首次將CNN與LSTM模型相結(jié)合，提出ConvLSTM模型，通過(guò)輸入以時(shí)間為維度雷達(dá)波形圖便可以精確預(yù)測(cè)當(dāng)?shù)亟邓俊Ｔ贑onvLSTM模型中，CNN[17-18]通過(guò)卷積池化抽取高維數(shù)據(jù)特征，有效降低高維數(shù)據(jù)的冗余問(wèn)題，同時(shí)避免了高維數(shù)據(jù)直接輸入DNN、RNN網(wǎng)絡(luò)帶來(lái)的維度災(zāi)難問(wèn)題；為解決維度災(zāi)難問(wèn)題，文獻(xiàn)[19]在2018年提出三維卷積CNN與LSTM的組合模型，首次對(duì)視頻內(nèi)容進(jìn)行了有效預(yù)測(cè)；在2019年，文獻(xiàn)[20]提出GAN-LSTM模型，使用對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN)對(duì)衛(wèi)星云圖圖片降維處理后輸入LSTM網(wǎng)絡(luò)實(shí)現(xiàn)了衛(wèi)星位置的精確預(yù)測(cè)。上述時(shí)序模型均使用特定算法對(duì)高維數(shù)據(jù)特征提取后輸入LSTM模型，最終預(yù)測(cè)精度良好。

參考上述模型，在本動(dòng)態(tài)模型中為保留輸入時(shí)間序列的信號(hào)特性，使用7個(gè)一維卷積網(wǎng)絡(luò)(Conv1D)分別對(duì)4個(gè)壓力與三軸加速度信號(hào)進(jìn)行處理。此外，GRU模型作為L(zhǎng)STM模型的一種變體，通過(guò)將記憶門(mén)與輸出門(mén)整合為重置門(mén)，在保證精度不變的前提下，降低了模型復(fù)雜度，使用BiGRU模型處理經(jīng)一維卷積的高維信號(hào)。

1 試驗(yàn)設(shè)計(jì)與準(zhǔn)備

測(cè)試系統(tǒng)由傳動(dòng)級(jí)(前)、TW155動(dòng)態(tài)秤及傳動(dòng)級(jí)(后)組成，見(jiàn)圖1，貨物進(jìn)入動(dòng)態(tài)秤觸發(fā)光電傳感器時(shí)，壓力與振動(dòng)傳感器開(kāi)始采集數(shù)據(jù)，其采樣頻率為1 024 Hz。各傳感器以及主要零部件裝配圖如圖2所示。

圖1 三級(jí)傳動(dòng)系統(tǒng)

圖2 TW155裝配圖

對(duì)測(cè)試貨物使用高精度天平進(jìn)行質(zhì)量(m)檢定依次為:1.004 1、5.124 9、19.978 4、30.074 1、49.997 1 kg，動(dòng)態(tài)秤在靜止時(shí)測(cè)量最大誤差為0.015 kg，圖2所示各壓力傳感器靜態(tài)精度準(zhǔn)確。設(shè)置帶速v為120 m/min,動(dòng)態(tài)下對(duì)各質(zhì)量進(jìn)行1 000次測(cè)定，將樣本數(shù)據(jù)記錄為式(1):

xi=[ax,ay,az,n1,n2,n3,n4]T

(1)

式中：i為樣本索引(1≤i≤5 000)；x為特定索引下的一個(gè)樣本；a為加速度向量，a=[a1,…,as]；n為壓力向量，n=[n1,…,ns]；s為采樣信號(hào)長(zhǎng)度，本模型中為128;訓(xùn)練樣本集X=[5 000×7×128]。

此外，預(yù)留質(zhì)量為40.478 4 kg的砝碼，作為測(cè)試集。

2 信號(hào)一維卷積處理

2.1 信號(hào)相關(guān)性檢驗(yàn)

為有效對(duì)加速度與壓力信號(hào)進(jìn)行相關(guān)性分析，在大小為[7×128]各組樣本中，基于式(2)求解其合成平均加速度，并將壓力信號(hào)改寫(xiě)為平均信號(hào)。

(2)

式中i為采樣點(diǎn)索引(1≤i≤s)。

可將樣本集降維為XDR=[5 000×2],基于皮爾遜相關(guān)性檢驗(yàn)式(3)可直接求解其相關(guān)系數(shù)。

(3)

式中：N為樣本數(shù)目；i為其索引；μn，μa依次為N個(gè)樣本的平均壓力與加速度信號(hào)。

計(jì)算得出其相關(guān)系數(shù)R為0.94，具有高度相關(guān)性，因此引入三軸加速度信號(hào)與壓力信號(hào)共同作為輸入可對(duì)動(dòng)態(tài)測(cè)量系統(tǒng)進(jìn)行更為精確的描述。

2.2 信號(hào)一維卷積處理

為有效獲取信號(hào)特征，使用7個(gè)卷積網(wǎng)絡(luò)分別對(duì)ax,ay,az,n1,n2,n3,n4進(jìn)行處理，設(shè)輸入層為傳感器采集的信號(hào)向量,信號(hào)一維卷積層(Conv1D)位于輸入層之后，若卷積核參數(shù)為向量k，則Conv1D操作可由式(4)表示。

(4)

式中：*為卷積符號(hào);l為卷積核向量長(zhǎng)度；xi為第i個(gè)輸入特征(1≤i≤s-l)；kij為第j個(gè)卷積核在輸入xi對(duì)應(yīng)的值；bj為其偏置;Relu為線性激活函數(shù)。

卷積層通過(guò)共享權(quán)值簡(jiǎn)化模型待訓(xùn)練的超參數(shù)，但當(dāng)卷積核數(shù)目為u,對(duì)輸入x將產(chǎn)生u種卷積輸出，將增大運(yùn)算復(fù)雜度。為化簡(jiǎn)運(yùn)算卷積，卷積層后通常伴隨著最大池化操作(MaxPooling)來(lái)提取并壓縮特征，設(shè)采樣大小為λ，其操作數(shù)學(xué)表達(dá)式可定義為式(5)。

maxdown(H,λ)=max{hi,i≤i≤iλ}

(5)

式中：maxdown為最大池化操作,H為由式(4)組成的輸入向量。

經(jīng)處理后，可將輸入尺寸H壓縮為原先的1/λ。信號(hào)分別進(jìn)行3次卷積與2次池化處理,此外,為避免CNN網(wǎng)絡(luò)產(chǎn)生退化現(xiàn)象，參考?xì)埐钌窠?jīng)網(wǎng)絡(luò)(ResNet[21])設(shè)置跨層連接，通過(guò)引入殘差模塊來(lái)避免深度網(wǎng)絡(luò)的梯度消失問(wèn)題，可得模型前向表達(dá)式(6):

out=F(x,W)+Wsx

(6)

式中:W為3次卷積與2次最大池化所包含的超參數(shù)；F為其對(duì)應(yīng)前向傳播處理；Ws為恒等變換所對(duì)應(yīng)權(quán)重的矩陣。

結(jié)合式(4)～式(6)中依次對(duì)應(yīng)的卷積、最大池化以及殘差連接操作，則在卷積網(wǎng)絡(luò)中各輸入信號(hào)的前向傳播流程如圖3所示。

圖3 ResCNN信號(hào)處理

圖中，filter為濾波器的數(shù)目；size在卷積層中為卷積核的長(zhǎng)度，在池化層中為采樣大小λ。并且通過(guò)在卷積網(wǎng)絡(luò)中引入跨層連接Wsax，使模型梯度著重于輸入與卷積處理后的殘差，有效緩解在傳統(tǒng)深層VGG和AlexNet網(wǎng)絡(luò)中因多次卷積池化帶來(lái)的梯度彌散問(wèn)題。

2.3 局部響應(yīng)歸一化(LRN)處理

為有效保證模型的收斂，設(shè)k、α、β為歸一化調(diào)參數(shù)，基于局部響應(yīng)原則使用式(7)處理最終網(wǎng)絡(luò)輸出值Out。

bi=outi/(M)β

(7)

式中：N為卷積過(guò)濾器的數(shù)目；n為相鄰數(shù)據(jù)數(shù)。

基于復(fù)合求導(dǎo)計(jì)算可得模型誤差E梯度傳播如式(8)。

(8)

通過(guò)引入歸一化調(diào)參數(shù)k、α、β,可有效在誤差反向傳播時(shí)對(duì)局部神經(jīng)元引入競(jìng)爭(zhēng)機(jī)制，輸出權(quán)值比重較大的神經(jīng)元，有助于模型快速收斂，并可抑制反饋較小的神經(jīng)元來(lái)增強(qiáng)模型泛化性能力。

3 時(shí)間序列層BiGRU網(wǎng)絡(luò)的建立

3.1 門(mén)控循環(huán)單元原理

門(mén)控循環(huán)單元(GRU)其結(jié)構(gòu)如圖4所示,通過(guò)引入更新與重置門(mén)來(lái)限定輸入輸出有效解決了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)長(zhǎng)期依賴問(wèn)題。且相對(duì)于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)擁有更少的訓(xùn)練參數(shù)，模型更易收斂。

圖4 門(mén)控循環(huán)單元

圖中，xt為t時(shí)刻模型的輸入;ht-1為t-1時(shí)刻隱藏層的輸出，GRU單元通過(guò)式(9)～式(12)計(jì)算t時(shí)刻輸出。

zt=Sigmoid(W(z)xt+U(z)ht-1)

(9)

rt=Sigmoid(W(r)xt+U(r)ht-1)

(10)

(11)

(12)

3.2 BiGRU序列層的建立

圖5 BiGRU結(jié)構(gòu)

圖中，GRU單元即為如圖4所示結(jié)構(gòu)；i為樣本序列索引,若k為步長(zhǎng)則會(huì)產(chǎn)生n(s-k+1)個(gè)BiGRU序列輸入與輸出。GRU(L)、GRU(R)依次為正向與逆向門(mén)控循環(huán)單元。

最終為進(jìn)一步強(qiáng)化模型非線性擬合能力，對(duì)BiGRU所產(chǎn)生的n個(gè)輸出將其送入神經(jīng)元依次為64、1的2層DNN網(wǎng)絡(luò)加權(quán)處理。綜上可以得到Conv1D-BiGRU模型處理流程圖如圖6所示。

圖6 Conv1D-BiGRU模型

圖中，ax,ay,az,n1,n2,n3,n4依次為圖2中各傳感器返回信號(hào)。N為訓(xùn)練集樣本數(shù)目；s為采樣點(diǎn)數(shù)目，k為步長(zhǎng)，即GRU單元所讀取數(shù)據(jù)點(diǎn)數(shù)；最終模型待訓(xùn)練超參數(shù)為137 754。

4 Conv1D-BiGRU模型性能測(cè)試

4.1 模型訓(xùn)練

選用最大誤差errmax、平均絕對(duì)誤差mae、方差std作為性能評(píng)價(jià)指標(biāo):

errmax=max{erri},err=y-f(x)

(12)

(13)

(14)

式中:y為貨物真實(shí)質(zhì)量；f為Conv1D-BiGRU的前向傳播處理；x為傳感器返回的壓力與振動(dòng)信號(hào)。

指標(biāo)std在5個(gè)質(zhì)量級(jí)中分別測(cè)定，測(cè)量模型在同一質(zhì)量下的穩(wěn)定性與收斂能力。

對(duì)5 000個(gè)樣本進(jìn)行分層隨機(jī)抽樣，5個(gè)質(zhì)量點(diǎn)各自抽取800個(gè)樣本作為訓(xùn)練集，余下為驗(yàn)證集驗(yàn)證模型泛化性誤差，使用Adam算法優(yōu)化器，設(shè)置迭代次數(shù)為200進(jìn)行模型訓(xùn)練。此外,為保證梯度損失的穩(wěn)定傳播使用均方誤差(MSE)作為損失函數(shù)，圖7為訓(xùn)練集與驗(yàn)證集波動(dòng)曲線。

圖7 模型訓(xùn)練

圖中，隨著迭代進(jìn)行，訓(xùn)練集與驗(yàn)證集均方誤差同步下降，最終訓(xùn)練誤差(val_loss)為4.314×10-4，驗(yàn)證集當(dāng)?shù)螖?shù)(t)大于100時(shí)，誤差穩(wěn)定收斂于區(qū)間[6×10-4,7×10-4],Conv1D-BiGRU模型已經(jīng)有效訓(xùn)練。

此外，為證明突出Conv1D-BiGRU性能的優(yōu)越性，在計(jì)算機(jī)配置為CPU(i7 9750h)、RAM(32 GB)、GPU(GTX1660Ti)，編譯環(huán)境為python(3.7.5)、keras(2.2.4)的背景下使用Nvdia cuda進(jìn)行GPU加速運(yùn)算。CuDnn版本為7.1.1,cuda版本為9.1的條件下，同步訓(xùn)練了經(jīng)Cov1D處理后進(jìn)行堆疊操作的BP、BiLSTM、BiRNN模型，表1中對(duì)各模型在1 000個(gè)驗(yàn)證集樣本中的性能表現(xiàn)進(jìn)行了記錄。

表1 模型性能對(duì)比

表1中，BP[128,64,1]為各隱藏層神經(jīng)元數(shù)為128，64，1的誤差反向傳播網(wǎng)絡(luò)。綜合各模型驗(yàn)證集表現(xiàn)，可知經(jīng)過(guò)Conv1D處理提取高維特征輸入模型時(shí)，可以較小的時(shí)間復(fù)雜度為代價(jià)，來(lái)有效提高模型稱重預(yù)測(cè)精度。此外，在本模型中，Conv1D-BiGRU與Conv1D-BiLSTM模型預(yù)測(cè)誤差幾乎一致，但BiGRU因化簡(jiǎn)了門(mén)控單元故有著更小的時(shí)間復(fù)雜度。綜上，Conv1D-BiGRU有著最優(yōu)的性能表現(xiàn)。

4.2 模型測(cè)試

使用上述訓(xùn)練完成的卷積網(wǎng)絡(luò)模型，在傳動(dòng)系統(tǒng)中使用與訓(xùn)練集樣本不相關(guān)，質(zhì)量為40.478 4 kg的圓盤(pán)砝碼，在帶速135 m/min下進(jìn)行200次質(zhì)量檢定，表2對(duì)各模型實(shí)際工程誤差進(jìn)行了記錄。

表2 模型測(cè)試性能對(duì)比

表2中，測(cè)試集誤差雖較驗(yàn)證集誤差(表1)有所放大，但各模型誤差范圍基本可控。且在實(shí)際工程使用過(guò)程中，Conv1D-BiGRU模型有著最小的最大誤差與平均絕對(duì)誤差，且方差較小數(shù)值波動(dòng)可控，所以該模型有著最佳的動(dòng)態(tài)稱重精度。

5 結(jié)束語(yǔ)

(1)設(shè)計(jì)了采用殘差連接的一維卷積網(wǎng)絡(luò)處理各傳感器信號(hào)，經(jīng)實(shí)驗(yàn)對(duì)比，較傳統(tǒng)循環(huán)神經(jīng)類網(wǎng)絡(luò)與全連接層網(wǎng)絡(luò)可以獲得更好的動(dòng)態(tài)稱重精度并有效抽取信號(hào)的高維特征。

(2)驗(yàn)證集樣本表明，BiGRU模型訓(xùn)練時(shí)間復(fù)雜度與BiRNN一致，性能也與BiLSTM模型基本持平。

(3)使用改進(jìn)的Conv1D-BiGRU模型處理來(lái)自ax,ay,az,n1,n2,n3,n4傳感器信號(hào)時(shí)，可以在動(dòng)態(tài)模式下實(shí)現(xiàn)貨物質(zhì)量的精確測(cè)量，并且當(dāng)工況改變時(shí)模型泛化性良好。