工業(yè)物聯(lián)網(wǎng)中基于機(jī)器學(xué)習(xí)方法的預(yù)測(cè)技術(shù)

江元 楊波 鄭黎明 武悅 王鋼

摘 要：隨著傳感器網(wǎng)絡(luò)等技術(shù)在工業(yè)領(lǐng)域的不斷拓展，工業(yè)物聯(lián)網(wǎng)技術(shù)得到了長(zhǎng)足發(fā)展。工業(yè)物聯(lián)網(wǎng)及基于工業(yè)物聯(lián)網(wǎng)的數(shù)據(jù)分析與預(yù)測(cè)是工業(yè)智能系統(tǒng)的基礎(chǔ)。文中關(guān)注在工業(yè)互聯(lián)網(wǎng)環(huán)境下，工業(yè)智能系統(tǒng)在訓(xùn)練階段利用有監(jiān)督的機(jī)器學(xué)習(xí)方法，將工藝參數(shù)以及環(huán)境參數(shù)作為輸入，將生產(chǎn)過(guò)程關(guān)注的關(guān)鍵性能指標(biāo)作為輸出，從而對(duì)生產(chǎn)線復(fù)雜系統(tǒng)進(jìn)行建模;在生產(chǎn)階段利用訓(xùn)練階段的系統(tǒng)模型及當(dāng)前輸入對(duì)關(guān)鍵性能指標(biāo)進(jìn)行預(yù)測(cè)。分別利用多元線性回歸和非線性BP神經(jīng)網(wǎng)絡(luò)方法建模，并利用當(dāng)前輸入對(duì)輸出結(jié)果進(jìn)行預(yù)測(cè)，從而對(duì)關(guān)鍵性能指標(biāo)進(jìn)行預(yù)警及預(yù)處理操作。同時(shí)還利用真實(shí)的工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行了仿真和驗(yàn)證，證明了基于BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法性能優(yōu)于線性預(yù)測(cè)技術(shù)。

關(guān)鍵詞：工業(yè)物聯(lián)網(wǎng);機(jī)器學(xué)習(xí);神經(jīng)網(wǎng)絡(luò);預(yù)測(cè);工業(yè)智能;線性回歸

中圖分類(lèi)號(hào)：TP391.7文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2020）02-00-04

0 引 言

2015年5月中國(guó)政府發(fā)布了《中國(guó)制造2025》發(fā)展規(guī)劃，將其作為我國(guó)推行制造業(yè)強(qiáng)國(guó)制造業(yè)立國(guó)戰(zhàn)略的重要行動(dòng)綱領(lǐng)。本輪工業(yè)技術(shù)革命通過(guò)制造業(yè)與信息技術(shù)行業(yè)的融合來(lái)推動(dòng)，從而實(shí)現(xiàn)我國(guó)制造業(yè)產(chǎn)業(yè)能力的不斷升級(jí)[1]。利用物聯(lián)網(wǎng)技術(shù)，制造業(yè)可以將具備感知功能的生產(chǎn)設(shè)備通過(guò)私有網(wǎng)絡(luò)或共有4G/5G公共網(wǎng)絡(luò)接入互聯(lián)網(wǎng)，實(shí)現(xiàn)生產(chǎn)制造實(shí)時(shí)數(shù)據(jù)信息的感知、傳送及智能處理，與生產(chǎn)環(huán)節(jié)的實(shí)時(shí)監(jiān)控與預(yù)警、生產(chǎn)資源優(yōu)化配置及智能化管理[2]。

各類(lèi)應(yīng)用帶來(lái)的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，傳統(tǒng)人工設(shè)置假設(shè)前提并利用統(tǒng)計(jì)等方法來(lái)探索數(shù)據(jù)規(guī)律的方式已無(wú)法滿足當(dāng)下發(fā)展需求，同時(shí)數(shù)據(jù)量的爆發(fā)式增長(zhǎng)也為機(jī)器學(xué)習(xí)方法的發(fā)展和大規(guī)模應(yīng)用提供了有利的前提條件。在金融和互聯(lián)網(wǎng)領(lǐng)域如用戶信用狀況評(píng)價(jià)、計(jì)算廣告、智能推薦、機(jī)器翻譯、自然語(yǔ)言識(shí)別乃至無(wú)人駕駛領(lǐng)域都取得了突破性進(jìn)展。麥肯錫全球研究院報(bào)告中也認(rèn)為基于海量傳感器數(shù)據(jù)的機(jī)器學(xué)習(xí)將主導(dǎo)未來(lái)工業(yè)領(lǐng)域的革命性創(chuàng)新[3-4]。

工業(yè)互聯(lián)網(wǎng)技術(shù)伴隨我國(guó)工業(yè)化信息化的融合取得了長(zhǎng)足的發(fā)展。雖然針對(duì)不同客體物聯(lián)網(wǎng)應(yīng)用各不相同，但從數(shù)據(jù)及信息采集、通信傳輸、處理與有效使用等方面來(lái)看，可以大致將物聯(lián)網(wǎng)分為四層，即感知層、傳輸層、數(shù)據(jù)層及應(yīng)用層[2]。其中數(shù)據(jù)層實(shí)現(xiàn)數(shù)據(jù)的匯聚、管理及分析處理等相關(guān)工作，考慮到工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)實(shí)時(shí)性要求高、數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜且異構(gòu)等特點(diǎn)，研究對(duì)數(shù)據(jù)進(jìn)行有效加工的相關(guān)算法是工業(yè)智能系統(tǒng)的關(guān)鍵技術(shù)，也是工業(yè)國(guó)未來(lái)競(jìng)爭(zhēng)力的重要體現(xiàn)。本文主要探索了學(xué)習(xí)方法在工業(yè)互聯(lián)網(wǎng)系統(tǒng)預(yù)測(cè)技術(shù)中的應(yīng)用。

1 預(yù)測(cè)模型建模方法

1.1 多元線性回歸模型

回歸分析（Regression Analysis）[5]是由高爾頓（Galton）于19世紀(jì)末提出，其中最簡(jiǎn)便的分析方法—線性回歸方法是通過(guò)最小二乘法對(duì)線性回歸方程進(jìn)行求解，從而得到一個(gè)或數(shù)個(gè)自變量同因變量之間的簡(jiǎn)單線性關(guān)系并進(jìn)行建模的一種回歸分析。單自變量的回歸分析也被稱(chēng)為簡(jiǎn)單線性回歸。但在具體應(yīng)用中，某個(gè)因變量通常會(huì)受多個(gè)因素的影響，簡(jiǎn)單的單獨(dú)變量的回歸方法不足以解決問(wèn)題，所以引入處理多個(gè)變量的多元線性回歸方法，大于一個(gè)自變量的稱(chēng)為多元線性回歸（Multivariate Linear Regression Modeling，MLRM）。多元線性回歸模型的一般表達(dá)式如下：

1.2 非線性BP神經(jīng)網(wǎng)絡(luò)模型

隨著生物學(xué)研究者對(duì)人類(lèi)及動(dòng)物神經(jīng)系統(tǒng)的深入研究，通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)模擬人腦處理信息的機(jī)能越來(lái)越受到研究者的重視。對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行快速有效的訓(xùn)練成為神經(jīng)網(wǎng)絡(luò)技術(shù)的關(guān)鍵。誤差反向傳播（Back Propagation，BP）算法[6]于20世紀(jì)80年代被相關(guān)學(xué)者提出，推動(dòng)了神經(jīng)網(wǎng)絡(luò)技術(shù)的成熟并帶動(dòng)了該技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用，使得人工神經(jīng)網(wǎng)絡(luò)成為機(jī)器學(xué)習(xí)領(lǐng)域的重要方法之一。通過(guò)反向傳播算法，人工神經(jīng)網(wǎng)絡(luò)在利用歷史數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)的過(guò)程中會(huì)自適應(yīng)調(diào)整網(wǎng)絡(luò)參數(shù)，使得經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)能夠在盡可能最小化代價(jià)函數(shù)的意義上擬合訓(xùn)練數(shù)據(jù)，從歷史數(shù)據(jù)中洞悉蘊(yùn)含的統(tǒng)計(jì)規(guī)律，使得網(wǎng)絡(luò)具備預(yù)測(cè)未知事件的可能性。同傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，神經(jīng)網(wǎng)絡(luò)方法在處理大規(guī)模數(shù)據(jù)及非線性問(wèn)題上顯示出了極大的優(yōu)越性。雖然其當(dāng)時(shí)也被稱(chēng)作多層感知器，但同現(xiàn)代的深度學(xué)習(xí)方法相比，它一般是具備一層隱藏層節(jié)點(diǎn)的淺層模型。

反向傳播神經(jīng)網(wǎng)絡(luò)通常具備輸入層、隱層和輸出層三層結(jié)構(gòu)，其簡(jiǎn)單的拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1所示為反向傳播神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，包括正向傳播的代價(jià)函數(shù)計(jì)算過(guò)程和基于代價(jià)或誤差結(jié)果的反向傳播過(guò)程。前者數(shù)據(jù)通過(guò)輸入層經(jīng)隱層到達(dá)輸出層，這一過(guò)程逐級(jí)對(duì)數(shù)據(jù)進(jìn)行處理，并通過(guò)比較實(shí)際輸出結(jié)果和期望結(jié)果進(jìn)行誤差計(jì)算。在反向過(guò)程中，對(duì)正向過(guò)程中計(jì)算得到的誤差進(jìn)行反向傳播，從而自適應(yīng)調(diào)整各神經(jīng)元的加權(quán)值及閾值，以降低誤差值并使其最小化。

輸入層同隱層間的加權(quán)值為vki，隱層同輸出層之間的加權(quán)值為wjk，隱層傳遞函數(shù)為f1，輸出層傳遞函數(shù)為f2。隱層節(jié)點(diǎn)與輸出層節(jié)點(diǎn)的輸出分別為：

2 性能仿真

本文采用一組7輸入2輸出的食品工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行仿真，輸入為工業(yè)物聯(lián)網(wǎng)傳感器采集的性能指標(biāo)，共7項(xiàng)，分別為溫度、濕度、烘干時(shí)間、原件配比、各原料加工時(shí)間、環(huán)境及工業(yè)參數(shù)，輸出值中的y1為產(chǎn)品的含水量，y2為營(yíng)養(yǎng)含量。數(shù)據(jù)集規(guī)模為5 000條，分別用多元線性回歸模型及BP神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行擬合與趨勢(shì)分析，通過(guò)擬合的模型對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)檢驗(yàn)，并用均方誤差（MSE）對(duì)兩種不同模型的性能進(jìn)行評(píng)估（用3 725條數(shù)據(jù)進(jìn)行模型學(xué)習(xí)，用1 225條數(shù)據(jù)進(jìn)行驗(yàn)證）。

3 結(jié) 語(yǔ)

本文探討了機(jī)器學(xué)習(xí)方法在工業(yè)互聯(lián)網(wǎng)中的應(yīng)用，并對(duì)多元線性回歸模型和非線性BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了介紹，給出了以上兩種模型在工業(yè)互聯(lián)網(wǎng)關(guān)鍵性能指標(biāo)輸出預(yù)測(cè)技術(shù)中的應(yīng)用。最后通過(guò)真實(shí)的生產(chǎn)環(huán)境數(shù)據(jù)對(duì)模型進(jìn)行驗(yàn)證與線性方法和非線性方法均方誤差性能的定量比較。經(jīng)過(guò)分析與數(shù)據(jù)仿真驗(yàn)證得知非線性BP神經(jīng)網(wǎng)絡(luò)模型相對(duì)于線性多元回歸性能能夠得到明顯改善。

注：本文通訊作者為鄭黎明。

參 考 文 獻(xiàn)

[1]王喜文.中國(guó)制造2015：從工業(yè)大國(guó)到工業(yè)強(qiáng)國(guó)[J].物聯(lián)網(wǎng)技術(shù)，2015，5（5）：3-4.

[2]劉云浩.物聯(lián)網(wǎng)導(dǎo)論[M]. 2版. 北京：科學(xué)出版社，2013.

[3] CONWAY D，WHITE J. Machine learning for hackers[M].OReilly Media，Inc.，2012.

[4] DOMINGOS P. A few useful things to know about machine learning[J].Communications of the ACM，2012，55（10）：78-87.

[5]包研科.數(shù)據(jù)分析教程[M].北京：清華大學(xué)出版社，2011.

[6] HECHT NIELSEN R. Theory of the back propagation neural network[C]// Neural Networks，1989. IJCNN.，International Joint Conference on. IEEE，1989：593-605.

[7]晁虹.基于人工智能的計(jì)算機(jī)自動(dòng)控制系統(tǒng)優(yōu)化研究[J].物聯(lián)網(wǎng)技術(shù)，2018，8（8）：31-32.

[8]張濤，宋建濤.基于馬爾科夫模型和卷積神經(jīng)網(wǎng)絡(luò)的異常數(shù)據(jù)檢測(cè)方法[J].物聯(lián)網(wǎng)技術(shù)，2018，8（8）：80-82.

[9]王展鵬，吳紅光，馬蓓嬌，等.基于機(jī)器學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)技術(shù)研究[J].智能物聯(lián)技術(shù)，2018，1（2）：13-17.

[10]張溶芳，許丹丹，王元光，等.機(jī)器學(xué)習(xí)在物聯(lián)網(wǎng)虛假用戶識(shí)別中的應(yīng)用[J].電信科學(xué)，2019（7）：136-144.