基于工業(yè)實時數(shù)采數(shù)據(jù)缺失值填充的研究及實現(xiàn)

李達，許仁杰，劉智宇，趙晨，馬潔，袁湘云

摘要：工業(yè)大數(shù)據(jù)在生產(chǎn)實際數(shù)采的過程中，存在的實時數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變等風(fēng)險，嚴(yán)重影響現(xiàn)有設(shè)備的控制效能及信息系統(tǒng)的分析結(jié)果，傳統(tǒng)意義上采取增加傳感器進行多級驗證的方法存在信道干擾噪聲加大帶來的數(shù)據(jù)缺失值無法有效滿足的問題。文章將目前針對此類的最有效的多元回歸分析智能診斷建模、SVM智能診斷建模進行了分析，發(fā)現(xiàn)其對應(yīng)的R2、MSE、RMSE均無法解決現(xiàn)有存在的問題，通過新建一套基于ISODATA的預(yù)測算法，經(jīng)實時預(yù)測結(jié)果，其對應(yīng)的R2、MSE、RMSE均能滿足實時數(shù)采數(shù)據(jù)填充的要求，并將預(yù)測的值作為工業(yè)實時數(shù)采數(shù)據(jù)缺失值的填充。經(jīng)訓(xùn)練迭代200次后，MSE為0.013、RMSE為0.008。經(jīng)實踐可知，本算法可以實現(xiàn)工業(yè)實時數(shù)采數(shù)據(jù)缺失值的填充。

關(guān)鍵詞：實時數(shù)采；缺失值；均方根誤差

中圖分類號：TP311? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2022）32-0055-03

1 工業(yè)大數(shù)據(jù)在數(shù)采過程中存在的痛點

現(xiàn)階段的煙草生產(chǎn)一線，已從傳統(tǒng)意義上的機械化、自動化向智能化、智慧化進行發(fā)展，尤其是工業(yè)互聯(lián)網(wǎng)的進一步推廣，現(xiàn)階段已不僅僅是傳統(tǒng)意義上的RS232、RS485、Profinet、Profibus、Profibus-DP、PLC子網(wǎng)、Wincc中控網(wǎng)絡(luò)等內(nèi)容[1]。在此基礎(chǔ)上，新增了物聯(lián)網(wǎng)、NBIoT網(wǎng)絡(luò)、工業(yè)以太網(wǎng)等網(wǎng)絡(luò)，隨著設(shè)備數(shù)量、傳感器數(shù)量的海量劇增，傳統(tǒng)意義上對應(yīng)的數(shù)采協(xié)議收到工業(yè)現(xiàn)場干擾噪聲信號的影響將逐漸加大，造成實時數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變等風(fēng)險，嚴(yán)重影響現(xiàn)有設(shè)備的控制效能及信息系統(tǒng)的分析結(jié)果[2]。例如：

1.1數(shù)據(jù)頻繁閃斷

如圖1所示，卷包機組在數(shù)采的過程中出現(xiàn)了多次數(shù)據(jù)頻繁閃斷的情況。

1.2數(shù)據(jù)異常跳變

如圖2所示，制絲的葉絲在數(shù)采的過程中出現(xiàn)了多次數(shù)據(jù)頻繁閃斷的情況。

目前采用的方法是加大傳感器數(shù)量的校驗，加裝多級校驗機制，但由于設(shè)備數(shù)量的增多，本身設(shè)備檢測有5%的誤差，數(shù)量的增加會導(dǎo)致誤差的累計，且如果過程中，個別傳感器出現(xiàn)差錯，將導(dǎo)致數(shù)據(jù)錯誤的“蝴蝶效應(yīng)”，使得檢測校驗效能失效[3]。

綜上所述，目前在運用工業(yè)大數(shù)據(jù)進行數(shù)采的工業(yè)企業(yè)中，因數(shù)據(jù)量巨大、通信協(xié)議復(fù)雜多變、傳感器數(shù)量級劇增，導(dǎo)致工業(yè)大數(shù)據(jù)在數(shù)采過程中因信道干擾造成數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變的問題[4]。該問題目前采用傳統(tǒng)手段無法解決，是一個所有運用工業(yè)大數(shù)據(jù)企業(yè)均需解決的共性問題[5]。

2 基于該類痛點目前的主要做法及效果分析

針對此類問題，目前已知的解決方案有如下兩種，分別是基于多元回歸分析、SVM智能診斷建模的解決方法來解決[6]。

針對以上兩類方法，為驗證是否能解決以上存在的問題，使用在預(yù)測領(lǐng)域常用的評價指標(biāo)：均方誤差（MSE）、均方根誤差（RMSE）、平均絕對誤差（MAE）和判定系數(shù)（[R2]）來衡量方法的有效性結(jié)果[7]。

現(xiàn)將如下兩種方式進行說明：

2.1 多元回歸分析建模

2.1.1建模過程

利用數(shù)理統(tǒng)計中的回歸分析，來確定兩種或兩種以上變數(shù)間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法之一。因變量的變化往往受幾個重要因素的影響，此時就需要用兩個或兩個以上的影響因素作為自變量來解釋因變量的變化，這就是多元回歸亦稱多重回歸。當(dāng)多個自變量與因變量之間是線性關(guān)系時，所進行的回歸分析就是多元線性回歸。

2.1.2 基于多元回歸分析的智能診斷建模分析結(jié)果

通過運用MSE、RMSE、[R2]對多元回歸分析建模的情況進行分析，其效果如表1所示：

結(jié)論：通過分析可以看出，目前基于多元回歸分析的智能診斷建模，因T-Pre時長為192s，MSE為0.535>0.05，RMSE為0.374>0.05，[R2]為92%<95%。因此，該方案對于現(xiàn)有存在的工業(yè)數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變的問題有效性不足。

2.2 SVM智能診斷建模

2.2.1建模過程

從本質(zhì)上看，數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變的識別是屬于二分類的范疇，所以在建模的過程中，為了提高分類器的處理速度及精度，建立了5個二分類SVM模型。二分類SVM智能診斷模型的建模過程，如圖3所示：

2.2.2 基于SVM的智能診斷建模分析結(jié)果

通過運用MSE、RMSE、[R2]對SVM智能診斷建模的情況進行分析，其效果如表2所示：

結(jié)論：通過分析可以看出，目前基于SVM的智能診斷建模，因T-Pre時長為154s，MSE為0.219>0.05，RMSE為0.137>0.05，[R2]為94%<95%。因此，該方案對于現(xiàn)有存在的工業(yè)數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變的問題有效性不足。

綜上所述：目前已知的基于多元回歸分析智能診斷建模的解決方法、SVM智能診斷建模解決方案無法有效解決工業(yè)大數(shù)據(jù)運用過程中數(shù)采數(shù)據(jù)出現(xiàn)的頻繁閃斷、數(shù)據(jù)異常跳變的問題。

3 基于ISODATA算法解決痛點的具體實現(xiàn)

由于目前已知的基于多元線性回歸智能診斷建模的解決方法、SVM智能診斷建模解決方案無法有效解決工業(yè)大數(shù)據(jù)運用過程中數(shù)采數(shù)據(jù)出現(xiàn)的頻繁閃斷、數(shù)據(jù)異常跳變的問題。為解決以上存在的問題，經(jīng)研發(fā)，擬采用ISODATA（迭代自組織數(shù)據(jù)分析）算法來解決，該算法有效解決了傳統(tǒng)的K-Means算法在運算過程中參數(shù)迭代對于高維度無法集中的問題，實現(xiàn)了對現(xiàn)有數(shù)采數(shù)據(jù)的聚類、預(yù)測、分析，具體做法如下：

3.1 ISODATA智能診斷建模

建模過程：

①選取不同的參數(shù)指標(biāo)，以將N個數(shù)據(jù)樣本按指標(biāo)分配到各個聚類中心中去。

②計算各類中每個樣本的距離指標(biāo)函數(shù)。

③-⑤按給定的要求，將前一次獲得的聚類集進行分裂和合并處理（④為分裂處理，⑤為合并處理），獲得新的聚類中心。

⑥重新進行迭代運算，計算各項指標(biāo)，判斷聚類結(jié)果是否符合要求。經(jīng)過多次迭代后，若結(jié)果收斂，則運算結(jié)束。

3.2 基于ISODATA分析的智能診斷建模分析結(jié)果

通過運用MSE、RMSE、[R2]對ISODATA智能診斷建模的情況進行分析，其效果如表3所示：

結(jié)論：通過分析可以看出，ISODATA的智能診斷建模，因T-Pre時長為27s，MSE為0.0.032<0.05，RMSE為0.019<0.05，[R2]為98%>95%。因此，該方案可以有效解決現(xiàn)有存在的工業(yè)數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變的問題。

將該方法用于工業(yè)大數(shù)據(jù)實時數(shù)據(jù)數(shù)采缺失值填充，基于如圖4的算法流程：

結(jié)合產(chǎn)量數(shù)據(jù)、瞬時速度等數(shù)采點存在的工業(yè)數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變?nèi)笔У臄?shù)據(jù)點，以ISODATA智能診斷預(yù)測的擬合數(shù)據(jù)作為填充值，進行數(shù)據(jù)補全，形成正確、完整、有效的數(shù)據(jù)，如圖5所示：

通過以上方法，實現(xiàn)了基于工業(yè)實時數(shù)采數(shù)據(jù)缺失值的有效填充，并能實現(xiàn)預(yù)測值與真實值的一一對應(yīng)，將該類方法與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測填充對比，可見，基于ISODATA智能診斷預(yù)測的方式，能夠有效填充工業(yè)實時數(shù)采數(shù)據(jù)的缺失值，并能確保填充的數(shù)采缺失值與真實情況做到98%的滿足度。

選取不同迭代次數(shù)，誤差結(jié)果不同，本文提出算法與傳統(tǒng)ISODATA的比較結(jié)果見表4所示：

由上表可以看出BP算法的誤差較大，ISODATA的誤差較小；隨著訓(xùn)練的迭代次數(shù)的增多，其對應(yīng)的準(zhǔn)確性越好，預(yù)測的精度越高，RMSE、MSE越小，更接近于真實值，因迭代次數(shù)達到200次時，[R2]為1，即最優(yōu)的迭代次數(shù)為200次。

4 結(jié)束語

在運用工業(yè)大數(shù)據(jù)進行數(shù)采的工業(yè)企業(yè)中，確保工業(yè)大數(shù)據(jù)數(shù)采數(shù)據(jù)有效、真實、好用，是各工業(yè)企業(yè)基于數(shù)據(jù)基礎(chǔ)開展大數(shù)據(jù)應(yīng)用的前提，面臨著因數(shù)據(jù)量巨大、通信協(xié)議復(fù)雜多變、傳感器數(shù)量級劇增，導(dǎo)致工業(yè)大數(shù)據(jù)在數(shù)采過程中因信道干擾造成數(shù)據(jù)頻繁閃斷、數(shù)據(jù)異常跳變的問題，傳統(tǒng)的意義上的方法無法解決。

經(jīng)查詢驗證目前針對此類問題的解決方法：基于多元回歸分析智能診斷建模的解決方法、SVM智能診斷建模解決方法，由于MSE、RMSE、[R2]指標(biāo)不理想，致使當(dāng)前已知的先進算法無法解決該類問題。

本文通過建立一套ISODATA的算法，構(gòu)建各類數(shù)據(jù)集；隨后將數(shù)據(jù)集分成訓(xùn)練集和測試集，對這些數(shù)據(jù)進行歸一化處理以提高訓(xùn)練速度和計算精度；接著構(gòu)建ISODATA結(jié)構(gòu)，輸入訓(xùn)練數(shù)據(jù)進行訓(xùn)練；經(jīng)實踐驗證可知，MSE、RMSE、 指標(biāo)滿足要求，證明了該方法的有效性，與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測填充對比，可見，基于ISODATA智能診斷預(yù)測的方式，能夠有效填充工業(yè)實時數(shù)采數(shù)據(jù)的缺失值，并能確保填充的數(shù)采缺失值與真實情況做到98%的滿足度。該方法在云南中煙紅云紅河集團工業(yè)互聯(lián)網(wǎng)平臺進行了使用，為全面推進大數(shù)據(jù)應(yīng)用打下了堅實的數(shù)據(jù)基礎(chǔ)。

該方法有效解決了所有工業(yè)企業(yè)在運用工業(yè)大數(shù)據(jù)均面臨的棘手的共性問題，推廣應(yīng)用前景廣闊。

參考文獻：

[1] 戴彥文，于艾清.基于健康特征參數(shù)的CNN-LSTM＆GRU組合鋰電池SOH估計[J].儲能科學(xué)與技術(shù)，2022，11（5）：1641-1649.

[2] 劉立邦，楊頌，王志堅，等.基于改進WOA-LSTM的焦炭質(zhì)量預(yù)測[J].化工學(xué)報，2022，73（3）：1291-1299.

[3] 吳春鵬，馮姣.結(jié)合AMS的C-LSTM船舶軌跡預(yù)測[J].船海工程，2021，50（6）：141-146，152.

[4] 張芳叢，秦秋莉，姜勇，等.基于RoBERTa-WWM-BiLSTM-CRF的中文電子病歷命名實體識別研究[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2022，6（S1）：251-262.

[5] 鄧思源，周蘭庭，王飛，等.大壩變形的XGBoost-LSTM變權(quán)組合預(yù)測模型及應(yīng)用[J].長江科學(xué)院院報，2022，39（10）：72-79.

[6] 夏炳森，唐元春，汪智平.基于AMCNN-LSTM的電力無線接入專網(wǎng)異常流量檢測[J].重慶郵電大學(xué)學(xué)報（自然科學(xué)版），2021，33（6）：939-945.

[7] 于雅潔，劉賢達，蔣啟梅，等.融合LSTM-DNN的工業(yè)安全態(tài)勢預(yù)測模型[J].小型微型計算機系統(tǒng)：1-8[2021-12-17].

【通聯(lián)編輯：光文玲】