工業(yè)大數(shù)據(jù)體系結(jié)構(gòu)設(shè)計與分析

田波

摘 要：針對目前工業(yè)大數(shù)據(jù)體系結(jié)構(gòu)不完善、尚未形成標(biāo)準(zhǔn)統(tǒng)一的理論架構(gòu)的問題，文中就如何將大數(shù)據(jù)技術(shù)與工業(yè)生產(chǎn)場景進(jìn)行整合，如何建設(shè)工業(yè)大數(shù)據(jù)系統(tǒng)等問題展開了討論。文中闡述了工業(yè)大數(shù)據(jù)的特點與基本體系結(jié)構(gòu)，對相關(guān)技術(shù)處理體系及流程進(jìn)行了歸納，總結(jié)了工業(yè)大數(shù)據(jù)架構(gòu)的發(fā)展現(xiàn)狀，并探討了實施工業(yè)大數(shù)據(jù)過程中需要注意的問題，對后續(xù)工業(yè)大數(shù)據(jù)的應(yīng)用及發(fā)展具有一定的參考意義。

關(guān)鍵詞：工業(yè)大數(shù)據(jù);體系結(jié)構(gòu);處理體系;計算引擎;理論架構(gòu);計算分析

中圖分類號：TP274文獻(xiàn)標(biāo)識碼：A文章編號：2095-1302（2019）04-00-03

0 引 言

眾所周知，大數(shù)據(jù)平臺是以海量數(shù)據(jù)存儲為基礎(chǔ)，通過分布式實時計算引擎、在線數(shù)據(jù)分析以及離線批處理引擎提供數(shù)據(jù)的計算分析，通過大數(shù)據(jù)和人工智能技術(shù)，幫助用戶實現(xiàn)海量數(shù)據(jù)分析的任務(wù)[1]。隨著工業(yè)互聯(lián)網(wǎng)的完善，工業(yè)大數(shù)據(jù)作為一種大數(shù)據(jù)的應(yīng)用生態(tài)，得到了廣泛重視。然而，在工業(yè)互聯(lián)網(wǎng)環(huán)境下，如何從用戶角度出發(fā)，設(shè)計出技術(shù)細(xì)節(jié)透明、交互操作簡單、高效的工業(yè)大數(shù)據(jù)平臺及其上層應(yīng)用，成為工業(yè)大數(shù)據(jù)開發(fā)和應(yīng)用中的關(guān)鍵問題。本質(zhì)上，工業(yè)大數(shù)據(jù)是指在工業(yè)領(lǐng)域中，圍繞整個工業(yè)產(chǎn)品全生命周期所產(chǎn)生的各類數(shù)據(jù)以及相關(guān)技術(shù)和應(yīng)用的總稱，分為企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)和外部跨界數(shù)據(jù)等幾類，涵蓋工業(yè)產(chǎn)品研發(fā)過程中的設(shè)計資料、產(chǎn)品生產(chǎn)過程中的監(jiān)控與管理、產(chǎn)品銷售與服務(wù)過程的經(jīng)營和維護(hù)數(shù)據(jù)，具有數(shù)據(jù)量大、類型豐富、實時性強(qiáng)等特點。工業(yè)大數(shù)據(jù)在產(chǎn)品研發(fā)、故障診斷與預(yù)測、供應(yīng)鏈優(yōu)化和產(chǎn)品營銷等環(huán)節(jié)能夠極大地促進(jìn)傳統(tǒng)制造向智能制造轉(zhuǎn)型，降低成本，提高產(chǎn)品質(zhì)量，顯著增強(qiáng)工業(yè)企業(yè)的競爭力。

工信部于2017年發(fā)表了《工業(yè)大數(shù)據(jù)白皮書》，明確了工業(yè)大數(shù)據(jù)的相關(guān)技術(shù)、應(yīng)用以及發(fā)展路線，描述了工業(yè)大數(shù)據(jù)發(fā)展的整體輪廓，并制定了工業(yè)大數(shù)據(jù)的發(fā)展規(guī)劃與建設(shè)路線。可以看出，無論是白皮書，還是《中國制造2025》規(guī)劃，數(shù)據(jù)是靈魂，工業(yè)互聯(lián)網(wǎng)是基礎(chǔ)，大數(shù)據(jù)技術(shù)是關(guān)鍵。然而，工業(yè)大數(shù)據(jù)目前并沒有形成標(biāo)準(zhǔn)統(tǒng)一的體系結(jié)構(gòu)，其理論體系也并不完善。文獻(xiàn)[2-3]對工業(yè)大數(shù)據(jù)的技術(shù)體系及其實施路徑進(jìn)行了分析，詳細(xì)闡述了工業(yè)大數(shù)據(jù)的體系結(jié)構(gòu)。文獻(xiàn)[4]對制造執(zhí)行系統(tǒng)進(jìn)行了介紹，并將其作為制造企業(yè)大數(shù)據(jù)的聚集分發(fā)中心，分析了其頂層設(shè)計，論述了工業(yè)大數(shù)據(jù)的功能，總結(jié)了工業(yè)大數(shù)據(jù)的建設(shè)和具體應(yīng)用?？傮w來說，我國工業(yè)大數(shù)據(jù)的研究和應(yīng)用處于初級階段，企業(yè)內(nèi)外部對數(shù)據(jù)利用不足，對工業(yè)大數(shù)據(jù)的應(yīng)用缺乏積累。對此，本文探討了將大數(shù)據(jù)技術(shù)與工業(yè)生產(chǎn)場景進(jìn)行整合的問題，就如何建設(shè)和應(yīng)用工業(yè)大數(shù)據(jù)系統(tǒng)問題進(jìn)行了討論，分析了工業(yè)大數(shù)據(jù)的體系結(jié)構(gòu)，對更好地挖掘和利用工業(yè)大數(shù)據(jù)具有一定的理論和實際意義。

1 工業(yè)大數(shù)據(jù)的基本功能

工業(yè)大數(shù)據(jù)是配置和利用大數(shù)據(jù)這一資源的平臺及其應(yīng)用系統(tǒng)，其功能主要表現(xiàn)在如下幾方面：

（1）促進(jìn)工業(yè)大數(shù)據(jù)應(yīng)用。構(gòu)建工業(yè)大數(shù)據(jù)平臺來推動數(shù)據(jù)的融合和應(yīng)用，有利于通過工業(yè)大數(shù)據(jù)來分析和預(yù)測市場需求，整合產(chǎn)業(yè)鏈和價值鏈，為用戶提供定制化產(chǎn)品和服務(wù)，實現(xiàn)工業(yè)生產(chǎn)模式和服務(wù)體系的創(chuàng)新。

（2）挖掘工業(yè)大數(shù)據(jù)的潛在價值，實現(xiàn)工業(yè)大數(shù)據(jù)增值，促進(jìn)工業(yè)大數(shù)據(jù)的應(yīng)用。

（3）工業(yè)大數(shù)據(jù)應(yīng)用服務(wù)平臺通過對企業(yè)生產(chǎn)過程的優(yōu)化，引導(dǎo)企業(yè)認(rèn)識和利用數(shù)據(jù)，逐步培養(yǎng)企業(yè)的數(shù)據(jù)利用意識，不但能夠促使企業(yè)深入挖掘自身積累的工業(yè)數(shù)據(jù)，而且可以充分利用其它企業(yè)的大數(shù)據(jù)來推進(jìn)企業(yè)自身發(fā)展，增強(qiáng)企業(yè)應(yīng)用大數(shù)據(jù)的動力。通過大數(shù)據(jù)采集、存儲、分析、交易過程中的一系列專業(yè)化服務(wù)，將有效拓展大數(shù)據(jù)產(chǎn)業(yè)的市場容量，有利于培育出一批專業(yè)化的大數(shù)據(jù)開發(fā)和服務(wù)公司，吸引第三方數(shù)據(jù)服務(wù)商向工業(yè)大數(shù)據(jù)領(lǐng)域聚焦，更好地體現(xiàn)出工業(yè)大數(shù)據(jù)的應(yīng)用價值。

（4）工業(yè)大數(shù)據(jù)應(yīng)用服務(wù)平臺還可以通過數(shù)據(jù)交易衍生出圍繞工業(yè)大數(shù)據(jù)的金融產(chǎn)品，實現(xiàn)“企業(yè)+金融+數(shù)據(jù)”的融合。

（5）提升工業(yè)大數(shù)據(jù)配置效率。很多企業(yè)由于規(guī)模、資金、人才等方面的原因，缺乏充分利用大數(shù)據(jù)的技術(shù)手段和交易平臺，導(dǎo)致對自身擁有的數(shù)據(jù)采集、存儲、分析等處于較低水平。工業(yè)大數(shù)據(jù)平臺能夠通過提供數(shù)據(jù)采集、清洗、確權(quán)、產(chǎn)品開發(fā)等服務(wù)，使數(shù)據(jù)得以資產(chǎn)化，讓其價值得到充分體現(xiàn)。

2 工業(yè)大數(shù)據(jù)典型體系結(jié)構(gòu)

工業(yè)大數(shù)據(jù)平臺包含數(shù)據(jù)采集、存儲、加工、處理、分析等方面的功能，在很多應(yīng)用場合中，還設(shè)置了數(shù)據(jù)分析及控制系統(tǒng)，以充分發(fā)揮大數(shù)據(jù)在預(yù)測、控制方面的作用，更好實現(xiàn)以大數(shù)據(jù)技術(shù)提高工藝精度或良品率的目的，其典型結(jié)構(gòu)如圖1所示[3]。

決策與控制子系統(tǒng)采用數(shù)據(jù)挖掘、預(yù)測分析手段實現(xiàn)對生產(chǎn)的精確控制，是上層決策和控制的技術(shù)基礎(chǔ)，是實現(xiàn)智能制造的核心部分。數(shù)據(jù)建模聚焦于為工藝、設(shè)備、用戶等建立分析模型，設(shè)計并部署不同的應(yīng)用系統(tǒng)，挖掘出特定的模式和知識，最終生成決策指令，實現(xiàn)生產(chǎn)流程的優(yōu)化與產(chǎn)品生產(chǎn)的智能化。一般來講，工業(yè)大數(shù)據(jù)的來源涵蓋了生產(chǎn)、銷售、管理、市場等方面的數(shù)據(jù)，應(yīng)根據(jù)數(shù)據(jù)來源的不同，在組建工業(yè)互聯(lián)網(wǎng)的基礎(chǔ)上，設(shè)計合適的數(shù)據(jù)采集與交換系統(tǒng)。目前，由于已經(jīng)有了較為成熟的數(shù)據(jù)采集與數(shù)據(jù)預(yù)處理及存儲技術(shù)，工業(yè)大數(shù)據(jù)的主要技術(shù)難點在于如何準(zhǔn)確采集數(shù)據(jù)，準(zhǔn)確處理結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如何設(shè)計和實現(xiàn)成熟的挖掘算法，這是工業(yè)大數(shù)據(jù)走向成熟、實現(xiàn)其應(yīng)用價值的關(guān)鍵。此外，與企業(yè)已有的ERP系統(tǒng)進(jìn)行互聯(lián)，充分整合和利用現(xiàn)有各類系統(tǒng)的數(shù)據(jù)，也是工業(yè)大數(shù)據(jù)平臺的一個重要功能。

3 工業(yè)大數(shù)據(jù)的基本技術(shù)架構(gòu)分析

工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)涉及底層數(shù)據(jù)采集、預(yù)處理和存儲、建模、決策等各類技術(shù)組件的開發(fā)和應(yīng)用，從功能角度可以將這些技術(shù)組件分為三類，即采集、存儲及分析利用。一些文獻(xiàn)和某些應(yīng)用案例中提出的四層技術(shù)架構(gòu)的功能實現(xiàn)可以由這三種技術(shù)組合得到[5-7]。一般情況下，工業(yè)大數(shù)據(jù)系統(tǒng)在設(shè)計時要重點考慮數(shù)據(jù)采集及其準(zhǔn)確性保證、數(shù)據(jù)存儲和實時性展示、數(shù)據(jù)挖掘能力及數(shù)據(jù)的應(yīng)用（控制、預(yù)測）等。其中最核心的是如何建模，如何在生產(chǎn)質(zhì)量控制、工藝流程優(yōu)化等方面應(yīng)用這些數(shù)據(jù)。這需要融合建模、數(shù)據(jù)挖掘、流程管理等方面的處理模塊。本質(zhì)上，設(shè)計并實現(xiàn)數(shù)據(jù)分析模塊，更好地利用數(shù)據(jù)挖掘技術(shù)發(fā)揮工業(yè)大數(shù)據(jù)在智能制造中的優(yōu)勢，是目前工業(yè)大數(shù)據(jù)應(yīng)用研究中面臨的關(guān)鍵問題。

3.1 數(shù)據(jù)采集

隨著工業(yè)制造中各個工藝流程的精細(xì)化與制程的高密度化，所產(chǎn)生的數(shù)據(jù)將呈指數(shù)級增長。面對如此龐大與異構(gòu)的數(shù)據(jù)資源，其整合和應(yīng)用問題十分突出。企業(yè)必須有一套完整的數(shù)據(jù)采集、匯聚與應(yīng)用策略，設(shè)計通用可靠的數(shù)據(jù)采集機(jī)制來滿足各方面的數(shù)據(jù)采集需求。本質(zhì)上，數(shù)據(jù)采集的完整性、準(zhǔn)確性，決定了工業(yè)大數(shù)據(jù)能否真實可靠地發(fā)揮作用。因此，在設(shè)計和部署數(shù)據(jù)采集系統(tǒng)時，建議著重考慮以下要求：

（1）實用性和通用性。由于技術(shù)的更新?lián)Q代越來越頻繁，需要進(jìn)行科學(xué)的版本管理，并定期更新接口，建議使用統(tǒng)一的數(shù)據(jù)交換規(guī)格來適應(yīng)接口頻繁更新的情況，增強(qiáng)系統(tǒng)的自我調(diào)整和優(yōu)化能力;

（2）數(shù)據(jù)來源的廣泛性。企業(yè)要針對各類不同的數(shù)據(jù)來源，如生產(chǎn)、銷售、質(zhì)控等數(shù)據(jù)，采用不同的傳感器和接口技術(shù)，支持盡可能多的數(shù)據(jù)源端;

（3）擴(kuò)展性。數(shù)據(jù)采集系統(tǒng)應(yīng)能很好地適應(yīng)設(shè)備的增加，合理地控制和管理工藝系統(tǒng)升級，其性能瓶頸能通過橫向擴(kuò)展的方式解決。

3.2 數(shù)據(jù)準(zhǔn)確性

采集過程中須確保數(shù)據(jù)準(zhǔn)確、完整地送達(dá)處理層與儲存層，這是工業(yè)大數(shù)據(jù)平臺的一項重要工作。同時，為避免增加工業(yè)物聯(lián)網(wǎng)建設(shè)的復(fù)雜度，在不斷擴(kuò)充各類設(shè)備的情況下，采集技術(shù)不應(yīng)增加基礎(chǔ)建設(shè)的負(fù)擔(dān)，數(shù)據(jù)來源的準(zhǔn)確性應(yīng)由工業(yè)大數(shù)據(jù)平臺本身進(jìn)行驗證。從工業(yè)數(shù)據(jù)的來源進(jìn)行分類，主要包括管理系統(tǒng)、生產(chǎn)系統(tǒng)、外部數(shù)據(jù)等數(shù)據(jù)來源。此外，從數(shù)據(jù)采集的全面性看，不僅要涵蓋基礎(chǔ)的結(jié)構(gòu)化交易數(shù)據(jù)，還將逐步包括半結(jié)構(gòu)化的用戶行為數(shù)據(jù)，網(wǎng)狀的社交關(guān)系數(shù)據(jù)，文本或音視頻類型的用戶意見和反饋數(shù)據(jù)，這些數(shù)據(jù)的準(zhǔn)確性應(yīng)在系統(tǒng)中由專門的模塊驗證。具體來講，數(shù)據(jù)的準(zhǔn)確性可以通過工業(yè)大數(shù)據(jù)平臺進(jìn)行循環(huán)驗證：

（1）現(xiàn)有傳感器采集的周期性數(shù)據(jù);

（2）企業(yè)管理系統(tǒng)數(shù)據(jù)涵蓋工業(yè)產(chǎn)品中設(shè)計資料、價值鏈管理、售后服務(wù)等方面;

（3）與生產(chǎn)經(jīng)營相關(guān)的業(yè)務(wù)數(shù)據(jù)主要來源于企業(yè)內(nèi)部的信息化系統(tǒng);

（4）企業(yè)工藝設(shè)備數(shù)據(jù)來源于企業(yè)自動化控制程度相對較高的DCS，PLC等系統(tǒng)的感知數(shù)據(jù);

（5）企業(yè)外部數(shù)據(jù)主要來源于互聯(lián)網(wǎng)行業(yè)、市場和競爭對手等。

3.3 數(shù)據(jù)存儲及展示

通常情況下，工業(yè)大數(shù)據(jù)系統(tǒng)應(yīng)根據(jù)應(yīng)用場景采用不同的存儲方案，并滿足以下要求：

（1）實時性。采集的數(shù)據(jù)在進(jìn)行預(yù)處理后應(yīng)結(jié)合實時顯示技術(shù)展示出產(chǎn)品生產(chǎn)的狀態(tài)，對于這類數(shù)據(jù)應(yīng)使用在線機(jī)器學(xué)習(xí)或數(shù)據(jù)挖掘技術(shù)進(jìn)行深入挖掘和分析，尋找潛在規(guī)律，加以處理和利用;

（2）數(shù)據(jù)的高效利用。適應(yīng)海量數(shù)據(jù)的探索和挖掘分析，能夠有效對生產(chǎn)線中的異常進(jìn)行分析和預(yù)測，進(jìn)而優(yōu)化參數(shù)、降低生產(chǎn)和管理成本，盡可能消除人為誤判的可能性，進(jìn)而達(dá)到智能化生產(chǎn)和管理的目標(biāo);

（3）數(shù)據(jù)多樣化。工業(yè)大數(shù)據(jù)系統(tǒng)不但能處理各類結(jié)構(gòu)化數(shù)據(jù)，也應(yīng)能支持各類非結(jié)構(gòu)化數(shù)據(jù)，并充分利用在線分析、分布式存儲等技術(shù);

（4）海量存儲能力。考慮到工業(yè)大數(shù)據(jù)的數(shù)據(jù)源較廣，存儲周期較長，其存儲能力至少應(yīng)達(dá)到P級。

3.4 數(shù)據(jù)挖掘能力

工業(yè)大數(shù)據(jù)的主要目標(biāo)是采集并利用生產(chǎn)、銷售、管理等方面的數(shù)據(jù)，加以建模和處理后，使之能夠適應(yīng)高層的決策與控制。這要求在系統(tǒng)上部署機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等模塊，使之具備完善的學(xué)習(xí)、分類、挖掘等功能。如基于開源Spark框架上的算法庫MLlib和 Graph X等學(xué)習(xí)模塊，Tensor Flow，Caffe等深度學(xué)習(xí)模塊，Weka，Matlab等計算和挖掘平臺，其處理模式一般也應(yīng)具備在線和離線兩種類型。

4 結(jié) 語

隨著大數(shù)據(jù)技術(shù)與應(yīng)用的日益廣泛，其在制造企業(yè)信息化過程中越來越重要，數(shù)據(jù)平臺已是制造企業(yè)工業(yè)大數(shù)據(jù)的聚集和應(yīng)用中心。企業(yè)信息化水平在很大程度上將取決于大數(shù)據(jù)平臺體系是否完善有效，是否能有效挖掘和應(yīng)用企業(yè)工業(yè)大數(shù)據(jù)。隨著“中國制造 2025”計劃的不斷推進(jìn)，企業(yè)的生產(chǎn)經(jīng)營將越來越依賴大數(shù)據(jù)技術(shù)。本文對工業(yè)大數(shù)據(jù)的體系結(jié)構(gòu)進(jìn)行了分析，介紹了其典型結(jié)構(gòu)，為企業(yè)應(yīng)用工業(yè)大數(shù)據(jù)提供了一定參考。

參 考 文 獻(xiàn)

[1]孫為軍，謝勝利，汪谷銀.智能工廠工業(yè)大數(shù)據(jù)云平臺的設(shè)計與實現(xiàn)[J].廣東工業(yè)大學(xué)學(xué)報，2018，35（3）：68-72.

[2]萬良，張兆娟，高楠. 基于人工智能技術(shù)的大數(shù)據(jù)分析方法研究進(jìn)展[J].計算機(jī)集成制造系統(tǒng)，2018（8）：1-12.

[3]王妙瓊，馬鵬瑋，魏凱，等.工業(yè)大數(shù)據(jù)架構(gòu)分析[J].系統(tǒng)與方案，2018（3）：49-56.

[4]綦云華.基于工業(yè)大數(shù)據(jù)的制造執(zhí)行系統(tǒng)頂層設(shè)計[J].通信設(shè)計與應(yīng)用，2018（8）：89-91.

[5]張貝貝.面向工業(yè)4.0的直升機(jī)制造大數(shù)據(jù)平臺的應(yīng)用研究[J].軟件工程，2018，21（8）：24-27.

[6]王海峰.基于工業(yè)大數(shù)據(jù)的智能化能耗管理與故障預(yù)診系統(tǒng)[J].電氣自動化，2018，40（4）：109-110.

[7]段成.聯(lián)想工業(yè)大數(shù)據(jù)解決方案及賦能體系[J].機(jī)械設(shè)計與制造工程，2018，47（2）：13-16.

[8]趙嘉凌，蔡文偉，白偉華.關(guān)于大數(shù)據(jù)框架中底層數(shù)據(jù)傳輸和網(wǎng)絡(luò)的分析與研究[J].物聯(lián)網(wǎng)技術(shù)，2017，7（7）：27-32.

[9]王兆慶，賀勇.以大數(shù)據(jù)為支撐的智慧城市建設(shè)研究[J].物聯(lián)網(wǎng)技術(shù)，2018，8（1）：46-48.

[10]王淑芬.基于大數(shù)據(jù)的制造運(yùn)行監(jiān)測與分析平臺研究[D].廣州：廣東工業(yè)大學(xué)，2014.