動(dòng)態(tài)因素下時(shí)序稱重模型的建立

史柏迪， 莊曙東， 陳 威， 陳天翔， 朱楠楠

(1. 河海大學(xué)機(jī)電工程學(xué)院，江蘇 常州 213022;2. 南京航空航天大學(xué) 江蘇省精密與微細(xì)制造技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210016)

0 引 言

在日益增長的物流需求和人工勞動(dòng)力缺口矛盾面前[1-2]，自動(dòng)化動(dòng)態(tài)稱重技術(shù)是物流業(yè)發(fā)展的必然之路。動(dòng)態(tài)物流秤在貨物運(yùn)輸?shù)倪^程中對(duì)貨物質(zhì)量進(jìn)行了測(cè)量，減少了人工成本，化簡了物流流程。其測(cè)量大多依賴電阻應(yīng)變型壓力傳感器，作為典型的機(jī)電復(fù)合系統(tǒng)傳動(dòng)過程中，壓力傳感器會(huì)受到各類干擾信號(hào)，例如秤體自身傳動(dòng)電機(jī)產(chǎn)生的振動(dòng)干擾[3]、貨物在傳動(dòng)過程中的振動(dòng)干擾[4]及環(huán)境因素(氣溫、濕度、空氣對(duì)流)等，作為典型的多元非線性過程[5]具有復(fù)雜性與無序性，壓力信號(hào)包含靜態(tài)載荷[6]、動(dòng)態(tài)載荷[7]以及動(dòng)態(tài)時(shí)序噪聲，因頻段信號(hào)的重疊，僅憑借濾波處理無法獲取精確的壓力信號(hào)。為有效分析各對(duì)測(cè)量精度的影響，設(shè)計(jì)了三因素兩水平的正交試驗(yàn)，以此結(jié)果作為數(shù)據(jù)集建立Xgboost[8]模型進(jìn)行特征增益分析。

動(dòng)態(tài)補(bǔ)償系統(tǒng)[9]為目前一種可行的解決方案，國內(nèi)外已經(jīng)有了諸多成果。劉元坤[3]基于高斯過程建立了輪廓誤差分布概率函數(shù)，在加工中實(shí)現(xiàn)了輪廓測(cè)量誤差的柔性化補(bǔ)償。Irwansyah[8]基于機(jī)器學(xué)習(xí)中最近鄰算法實(shí)現(xiàn)了聲納噪音信號(hào)的聚類，通過頻率篩選有效提取有效信號(hào)；Hussain Muntazir[9]使用支持向量機(jī)算法建立一種 Lipschitz系統(tǒng)的抗飽和補(bǔ)償模型。此外神經(jīng)網(wǎng)絡(luò)算法因其強(qiáng)大的多元非線性擬合能力，在動(dòng)態(tài)稱重系統(tǒng)[10-12]中也有著廣泛的使用。但上述模型均以數(shù)據(jù)為導(dǎo)向，使用特定算法對(duì)采樣點(diǎn)內(nèi)信號(hào)進(jìn)行處理，輸出補(bǔ)償值。忽略動(dòng)態(tài)測(cè)量在時(shí)序上的連續(xù)性，將時(shí)段內(nèi)的采樣點(diǎn)與采樣點(diǎn)內(nèi)的信號(hào)作為整個(gè)輸入源。本論文使用的神經(jīng)網(wǎng)絡(luò)模型在LSTM模型門式結(jié)構(gòu)之中加入全連接層，一方面避免了循環(huán)神經(jīng)網(wǎng)絡(luò)“長期依賴問題”在長時(shí)段下有效訓(xùn)練，此外通過在橫向門式結(jié)構(gòu)中增加全連接層增強(qiáng)了模型非線性擬合能力，提高了預(yù)測(cè)精度。本論文分析對(duì)象為某公司的TW155型動(dòng)態(tài)秤，目前在國內(nèi)多家物流以及航空公司動(dòng)態(tài)稱重計(jì)費(fèi)系統(tǒng)中有著廣泛使用，分析對(duì)象具有普遍性。

1 試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理

1.1 正交試驗(yàn)設(shè)計(jì)

使用STMicroelectronics公司生產(chǎn)的LIS3DH型振動(dòng)傳感器采集秤體的三軸加速度信號(hào)。其采樣頻率為 [10，367] Hz，壓力傳感器為 MettLer-Toledo公司的0745A型，其采樣頻率與振動(dòng)傳感器一致。測(cè)試貨物質(zhì)量M依次為 9.876 kg、19.761 kg；運(yùn)行速度V為 40 m/min、60 m/min；采樣頻率H為 100 Hz以及200 Hz，MAE為補(bǔ)償絕對(duì)誤差。表1為3因素2水平標(biāo)準(zhǔn)正交組合表。

表1 正交試驗(yàn)表及補(bǔ)償誤差

為避免隨機(jī)誤差各組序列進(jìn)行100次測(cè)量，表1中W為對(duì)采樣平穩(wěn)段內(nèi)信號(hào)基于式(1)處理的結(jié)果

式中：N——每組組合下測(cè)量次數(shù)；

t——其樣本索引；

s——上秤區(qū)間所采集數(shù)據(jù)的數(shù)量；

i——其索引。

s與傳送帶速，傳感器采樣頻率相關(guān)，因此各類因素組合下各不相同，n為四組壓力傳感器采集到的壓力信號(hào)，其安裝位置與試驗(yàn)環(huán)境圖1。

圖1(a)為放置20 kg貨物時(shí)測(cè)試環(huán)境圖，TW155型動(dòng)態(tài)秤放置為中間級(jí)，每輪皮帶正反轉(zhuǎn)貨物上秤時(shí)對(duì)加速與壓力傳感器信號(hào)進(jìn)行采集，各傳感器放置位置圖1(b)。最終按表1因素組合進(jìn)行試驗(yàn)，共計(jì)獲取了400組樣本，各模型訓(xùn)練集與測(cè)試集從表1各因素組合中分層隨機(jī)抽樣取得，各模型最優(yōu)超參數(shù)使用訓(xùn)練集樣本基于五折交叉驗(yàn)證確定。

圖1 測(cè)試工況

1.2 嶺回歸補(bǔ)償模型

在機(jī)器學(xué)習(xí)算法中常使用嶺回歸[13]來度量問題的復(fù)雜度，在本問題中可得式(2)優(yōu)化目標(biāo)。

式中：W——待求回歸系數(shù)矩陣；

λ——嶺回歸系數(shù)；

n——訓(xùn)練集樣本數(shù)目；

m——自變量數(shù)目；

y——真實(shí)質(zhì)量；

xi——貨物上秤區(qū)間內(nèi)各信號(hào)均值組成的向量；

Wj——第j項(xiàng)自變量的系數(shù)項(xiàng)。

基于凸優(yōu)化原理，在嶺回歸系數(shù)確定的情況下使用最小二乘法一定有最優(yōu)解式(3)。

式中：I——單位對(duì)角矩陣；

X——樣本矩陣；

λ在區(qū)間(0，1)內(nèi)設(shè)置步長0.01在五折交叉驗(yàn)證下基于網(wǎng)格化搜索原則確定。圖2為λ設(shè)置0.14最佳情況下，測(cè)試集擬合狀況。

圖2 測(cè)試集擬合絕對(duì)損失

圖中，為使增強(qiáng)可對(duì)比性，直接給出多元線性回歸補(bǔ)償損失；可知采用嶺回歸補(bǔ)償相對(duì)線性回歸損失顯著降低，通過引入嶺回歸系數(shù)雖放棄了對(duì)于已知數(shù)據(jù)的無偏性與擬合精度，但對(duì)于未知樣本具有更好的泛化性，擁有更好的補(bǔ)償精度。嶺回歸與線性回歸模型最終平均損失依次為0.317 kg與0.671 kg，較平均采樣法提升明顯。通過python基于式 (3)求解出各項(xiàng)系數(shù)依次為 12.4132、–49.9237、–16.1591、–36.6708、45.2027、33.1397、36.2274。

2 Xgboost模型與特征分析

2.1 Xgboost回歸原理

在章節(jié)1中基于嶺回歸建立了補(bǔ)償模型，但其本質(zhì)依舊為線性回歸類模型，無法有效對(duì)多元非線性系統(tǒng)進(jìn)行精確補(bǔ)償。Xgboost作為集成學(xué)習(xí)類算法，在T輪迭代中通過集成回歸樹f優(yōu)化上輪殘差使模型不斷逼近真實(shí)值，此外通過引入正則化項(xiàng)目Ω(f)有效約束各回歸樹的深度以及葉子節(jié)點(diǎn)分裂數(shù)目有效避免了過擬合，目前Xgboost在各類數(shù)據(jù)分析類競賽Kaggle、天池等有著廣泛使用，本模型在python語言環(huán)境使用 scikit-learn[14]以及 Xgboost工具箱實(shí)現(xiàn)。與嶺回歸相似，其優(yōu)化目標(biāo)由目標(biāo)函數(shù)與正則化項(xiàng)組成可表示為式(4)：

式中：θ——Xgboost待修正超參數(shù)；

n——訓(xùn)練集樣本數(shù)目；

l——均方誤差，其有兩個(gè)輸入：樣本真實(shí)值y與模型輸出；

g，h——模型的一階與二階損失梯度函數(shù)；

C(f)——正則化函數(shù)；

K——集成回歸樹的數(shù)目；

T——葉子節(jié)點(diǎn)數(shù)；

γ——正則化系數(shù)；

w——葉子節(jié)點(diǎn)權(quán)重；

x——輸入信號(hào)矩陣，其中a、n為加速度與壓

力傳感器信號(hào)組成的向量，各自包含采樣區(qū)

間內(nèi)的s個(gè)數(shù)據(jù)點(diǎn)。

Xgboost算法在每輪迭代中各回歸樹直接作用優(yōu)化殘差，基于泰勒公式可以將第t輪目標(biāo)函數(shù)Objt二階展開為式(5)：

其中g(shù)i、hi為基于式(5)求得樣本i的特征的梯度與偏置；結(jié)合式(6)減去引入該葉子節(jié)點(diǎn)的代價(jià)γ即可得各特征對(duì)應(yīng)葉子節(jié)點(diǎn)所占輸出權(quán)重。

2.2 基于Xgboost的特征分析與測(cè)量補(bǔ)償

基于式(4)～ (7)對(duì)表1數(shù)據(jù)進(jìn)行處理可得圖3形式的壓力傳感器與加速度特征權(quán)重分布規(guī)律。

圖3 Xgboost特征分析

圖中，x軸坐標(biāo)為各特征對(duì)最終輸出值的F檢驗(yàn)結(jié)果為無綱量參數(shù)。y軸為各特征；最終補(bǔ)償輸出測(cè)量結(jié)果的精度，主要依賴于壓力傳感器信號(hào)，其次因帶面的不平整，運(yùn)動(dòng)中z軸加速度對(duì)最終補(bǔ)償結(jié)果有較大影響。圖4為該模型測(cè)試集樣本損失。

圖4 Xgboost特征分析

圖中，雖存在部分樣本補(bǔ)償誤差大于嶺回歸，但總體誤差量顯著降低，最終平均損失為0.219 kg。

3 長短期記憶神經(jīng)網(wǎng)絡(luò)

3.1 輸入信號(hào)時(shí)序化處理

上述嶺回歸與Xgboost模型，本質(zhì)上依舊只是一種監(jiān)督回歸模型通過輸入特征輸出補(bǔ)償值對(duì)比真實(shí)觀測(cè)量，基于誤差修正模型超參數(shù)，從而不斷提高模型精度。但上敘模型特征輸入時(shí)沒有考慮采樣時(shí)段內(nèi)壓力與傳感器信號(hào)在時(shí)間序列上的連續(xù)性。當(dāng)時(shí)間序列樣本長度為n，回顧步長為k，即t（k≤t≤n–k）時(shí)刻的狀態(tài)，依賴區(qū)間 [t–k,t）時(shí)刻的狀態(tài)，且直接區(qū)間（t,t+k]時(shí)刻狀態(tài)產(chǎn)生影響。在LSTM算法之下可得時(shí)序遞推關(guān)系式(8)：

式中：LSTM——網(wǎng)絡(luò)正向傳播處理，其輸入為k個(gè)采樣信號(hào)點(diǎn)x；

FM——經(jīng)LSTM處理后取得的預(yù)測(cè)值。

步長k決定使用多少個(gè)先前狀態(tài)來推導(dǎo)下一時(shí)刻的狀態(tài),在一定范圍內(nèi)k越大，模型越精確。本模型根據(jù)采樣頻率 100，200 Hz，設(shè)置為 3、5。

3.2 改進(jìn)LSTM模型的建立

LSTM結(jié)構(gòu)中通過遺忘門、輸入門和輸出門來控制細(xì)胞狀態(tài)。門結(jié)構(gòu)中通過sigmoid層對(duì)數(shù)據(jù)進(jìn)行點(diǎn)乘完成數(shù)據(jù)特征的添加與刪除。有效解決在長時(shí)段情況下循環(huán)神經(jīng)網(wǎng)絡(luò)的在上述產(chǎn)生的長期依賴性問題。設(shè)當(dāng)前時(shí)間序列為t；數(shù)據(jù)輸入為x；預(yù)測(cè)輸出為h；c為記憶單元可得圖5網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖中，σ為 sigmoid激活函數(shù)；[ht–1,xt]為上一輪預(yù)測(cè)結(jié)果ht–1與本輪輸入?yún)?shù)xt的復(fù)合矩陣；xt為第t時(shí)刻輸入?yún)?shù)；Wf為遺忘門權(quán)重矩陣；Wi為當(dāng)前輸入門權(quán)重矩陣；Wc為輸出權(quán)重矩陣；Wo當(dāng)前狀態(tài)控制矩陣。遺忘、輸入、控制與輸出門其數(shù)值表達(dá)可表達(dá)為：

其中其余各項(xiàng)參數(shù)均已說明。bf、bi、bc、bo為遺忘、輸入、控制與輸出門的偏置向量。

通過將式(10)～ (13)中各項(xiàng)門的權(quán)重矩陣W設(shè)置為0、1通過點(diǎn)乘操作可有效對(duì)輸入?yún)?shù)添加與刪除特征且sigmoid函數(shù)輸出值域?yàn)?0,1)，任意門的狀態(tài)均為于半開半閉,可以有效控制其算法復(fù)雜度。LSTM在t時(shí)刻的最終輸出由輸出門與單元狀態(tài)共同決定式(13)。

結(jié)合式(8)～ (13)為LSTM神經(jīng)網(wǎng)絡(luò)在處理時(shí)間序列任務(wù)時(shí)前向傳播過程結(jié)合圖5可知在每個(gè)時(shí)段模型的輸出不僅為本輪預(yù)測(cè)值且將預(yù)測(cè)值與該時(shí)間段內(nèi)記憶單元作為下時(shí)刻網(wǎng)絡(luò)的輸入。

易知在n個(gè)采樣點(diǎn)中，若步長為k，LSTM網(wǎng)絡(luò)會(huì)產(chǎn)生n–k個(gè)輸出，為增強(qiáng)模型非線性處理能力，對(duì)其輸出堆疊經(jīng)典BP神經(jīng)網(wǎng)絡(luò)中全連接層結(jié)構(gòu)。該方法浙大學(xué)者張劍[13]在其博士論文中也有所使用，對(duì)傳感器信號(hào)使用了濾波與自適應(yīng)處理來降低噪度隨后將采樣點(diǎn)內(nèi)有效信號(hào)輸入BP模型，高維數(shù)據(jù)矩陣交由網(wǎng)絡(luò)加權(quán)輸出得出最終預(yù)測(cè)值，預(yù)測(cè)精度較各類傳統(tǒng)模型提升明顯。本模型將BP神經(jīng)網(wǎng)絡(luò)的輸入設(shè)置為已由LSTM神經(jīng)網(wǎng)絡(luò)輸出預(yù)測(cè)值，其規(guī)格僅為長度為n-k的行向量。網(wǎng)絡(luò)包含三層結(jié)構(gòu)，輸入層、全連接層、輸出層，其中數(shù)據(jù)的多元非線性關(guān)系交由全連接層進(jìn)行映射，輸入層與輸出層僅包含數(shù)據(jù)的歸一標(biāo)準(zhǔn)化與反歸一化處理。設(shè)置BP神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元數(shù)目(m)為64簡寫其為u；LSTM神經(jīng)網(wǎng)絡(luò)使用tanh激活函數(shù)，基于kaiminghe[14]初始化神經(jīng)網(wǎng)絡(luò)為避免過擬合設(shè)置dropout系數(shù)為0.5，圖6為本模型簡圖。

圖6 改進(jìn)的LSTM結(jié)構(gòu)

圖中，LSTM神經(jīng)網(wǎng)絡(luò)其詳細(xì)內(nèi)置結(jié)構(gòu)為圖5，其前向傳播即為式(9)～ (12)；cell為隱層神經(jīng)神經(jīng)元，i為其序列索引，m為神經(jīng)元數(shù)目，X為包含k列x形式如式(3)的矩陣；O（mg）為最終輸出質(zhì)量。

本模型基于pytorch庫進(jìn)行構(gòu)建，因?yàn)槠鋭?dòng)態(tài)圖的特征，在本堆疊模型之下依舊可以快速求得誤差反向傳播時(shí)各神經(jīng)元的誤差梯度進(jìn)行超參數(shù)修正。使用RMSprop算法優(yōu)化器自適應(yīng)學(xué)習(xí)率，迭代次數(shù)為500，采用5折交叉驗(yàn)證處理，圖7為模型訓(xùn)練訓(xùn)練時(shí)，訓(xùn)練集與驗(yàn)證集均方誤差波動(dòng)。

圖7 LSTM-BP訓(xùn)練誤差波動(dòng)

圖中,驗(yàn)證集損失每100次跌倒進(jìn)行驗(yàn)證，當(dāng)驗(yàn)證集損失大于上輪發(fā)生過擬合現(xiàn)象時(shí)，停止訓(xùn)練。易知隨著當(dāng)設(shè)置迭代次數(shù)為500時(shí)，訓(xùn)練集與驗(yàn)證集誤差同步下降，學(xué)習(xí)效果良好。最終迭代終止時(shí)，訓(xùn)練集誤差為 0.147 kg，驗(yàn)證集損失為 0.164 kg。

最終80個(gè)測(cè)試集樣本損失如圖8。

圖8 LSTM-BP補(bǔ)償損失

圖中所有樣本誤差均被約束在[–0.2,0.2]kg之間，最終補(bǔ)償平均損失為0.142 kg，誤差最小。結(jié)合圖2與圖4，誤差波動(dòng)較小，且測(cè)試集樣本從表 1四種因素中均勻抽取，有理由相信，LSTM-BP模型在各類工況(采樣頻率、速度、貨物質(zhì)量等)有著更好的適應(yīng)能力進(jìn)行可進(jìn)行更為精確的動(dòng)態(tài)補(bǔ)償。本模型訓(xùn)練環(huán)境為普通家用計(jì)算機(jī)配置如下：i7 9750H，RAM 16G，GPU GTX2060，使用 cuda進(jìn)行加速運(yùn)算，最終耗時(shí) 3415.13 s，對(duì)比嶺回歸與 Xgboost可得表2結(jié)論。

表2 算法對(duì)比

表中，Ridge作為線性回歸類算法其訓(xùn)練耗時(shí)大多用于交叉驗(yàn)證下尋找最優(yōu)超參數(shù)，其運(yùn)算時(shí)間復(fù)雜度大致可以忽略不計(jì)，因其有明確數(shù)學(xué)表達(dá)形式可以直接編單片機(jī)等嵌入式開發(fā)設(shè)備。Xgboost算法，其訓(xùn)練耗時(shí)與Ridge一致用于確認(rèn)極限回歸樹模型最佳參數(shù)(迭代次數(shù)、最大葉子節(jié)點(diǎn)分裂次數(shù)、正則化系數(shù)等)。LSTM-BP模型作為一種時(shí)間序列模型，將各時(shí)間點(diǎn)輸入特征作為一個(gè)獨(dú)立輸入，且將各時(shí)間點(diǎn)輸出與網(wǎng)絡(luò)狀態(tài)進(jìn)行橫向連接，相對(duì)傳統(tǒng)模型將區(qū)間內(nèi)數(shù)據(jù)“打包”一體化處理，此改進(jìn)的LSTM-BP更能挖掘貨物上秤時(shí)間段內(nèi)的非線性特征，輸出更為精確的貨物質(zhì)量，但正如機(jī)器學(xué)習(xí)中“沒有免費(fèi)的午餐”[15]定律，因輸入數(shù)據(jù)的時(shí)序化，LSTM層在各時(shí)間序列點(diǎn)中均需進(jìn)行迭代參數(shù),且其運(yùn)行需要依賴特定編譯環(huán)境，在單片機(jī)乃至FPGA等嵌入式開發(fā)設(shè)備中難以運(yùn)行。

4 結(jié)束語

1）基于嶺回歸原理的補(bǔ)償測(cè)量較線性回歸模型提升顯著，算法復(fù)雜度較低，可直接求解其線性數(shù)學(xué)表達(dá)式可直接寫入單片機(jī)等設(shè)備中，但線性解釋類模型在多特征稱重補(bǔ)償系統(tǒng)中精度難以得到保證。

2）使用Xgboost算法建立的補(bǔ)償模型其精度較線性回歸類模型提升明顯，且基于樹型結(jié)構(gòu)可以分析其各葉子節(jié)點(diǎn)對(duì)特征的誤差貢獻(xiàn)率，提供一種基于F檢驗(yàn)來量化誤差的方式，在本模型中說明秤體x、z軸方向加速度對(duì)測(cè)量精度具有較大影響。

3）此改進(jìn)的LSTM模型具有最好預(yù)測(cè)精度，本文雖說明其模型的訓(xùn)練與測(cè)試的可行性，但該補(bǔ)償模型在目前市面上嵌入式開發(fā)板中受限于編譯環(huán)境與配置難以進(jìn)行。線性回歸類模型，具有最好的可開發(fā)性與可解釋性，但其精度直接受限于傳感器精度，測(cè)量修正精度難以達(dá)到精度要求。

4）針對(duì)LSTM-BP神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練時(shí)間較長的問題，可考慮在精度允許的范圍之內(nèi)，縮小輸入特征數(shù)據(jù)規(guī)格；或縮小LSTM層與BP層尺寸。