工業(yè)大數(shù)據(jù)架構(gòu)分析

王妙瓊 馬鵬瑋 魏 凱 姜春宇

中國(guó)信息通信研究院 北京 100191

引言

工業(yè)大數(shù)據(jù)是指在工業(yè)領(lǐng)域中，圍繞整個(gè)工業(yè)生產(chǎn)全生命周期所產(chǎn)生的各類數(shù)據(jù)以及相關(guān)技術(shù)和應(yīng)用的總稱。其中工業(yè)數(shù)據(jù)包括產(chǎn)品研發(fā)過(guò)程中的設(shè)計(jì)資料；產(chǎn)品生產(chǎn)過(guò)程中的監(jiān)控與管理數(shù)據(jù)；產(chǎn)品銷售與服務(wù)過(guò)程的經(jīng)營(yíng)和維護(hù)數(shù)據(jù)等。從業(yè)務(wù)領(lǐng)域來(lái)看，可以分為企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)和外部跨界數(shù)據(jù)。

工業(yè)領(lǐng)域的數(shù)據(jù)應(yīng)用具備典型的大數(shù)據(jù)5V特征：數(shù)據(jù)量大；種類來(lái)源多樣化；數(shù)據(jù)價(jià)值密度較低；數(shù)據(jù)增長(zhǎng)速度快；數(shù)據(jù)具有真實(shí)性。工業(yè)大數(shù)據(jù)的價(jià)值逐漸被發(fā)現(xiàn)和重視，越來(lái)越多的工業(yè)企業(yè)開(kāi)始利用數(shù)據(jù)來(lái)提升產(chǎn)品生產(chǎn)效率以及服務(wù)質(zhì)量等，但工業(yè)數(shù)據(jù)的分析應(yīng)用尚處于起步階段，存在數(shù)據(jù)來(lái)源分散、數(shù)據(jù)結(jié)構(gòu)多樣、數(shù)據(jù)質(zhì)量參差不齊等情況，難以高效挖掘數(shù)據(jù)的價(jià)值。

工業(yè)大數(shù)據(jù)系統(tǒng)的部署應(yīng)用，其核心目標(biāo)是全方位采集工業(yè)產(chǎn)品各個(gè)環(huán)節(jié)的數(shù)據(jù)，并將這些數(shù)據(jù)匯聚起來(lái)進(jìn)行深度分析，利用數(shù)據(jù)分析結(jié)果重新指導(dǎo)工業(yè)產(chǎn)品全生命周期各個(gè)環(huán)節(jié)的控制與管理決策[1]。通過(guò)效果監(jiān)測(cè)的反饋閉環(huán)，實(shí)現(xiàn)工業(yè)產(chǎn)品全生命周期決策控制持續(xù)不斷的優(yōu)化。如果將工業(yè)互聯(lián)網(wǎng)的網(wǎng)絡(luò)比做神經(jīng)系統(tǒng)，那工業(yè)大數(shù)據(jù)的匯聚與分析即為工業(yè)互聯(lián)網(wǎng)的大腦，是工業(yè)互聯(lián)網(wǎng)的智能中樞。

建設(shè)工業(yè)級(jí)的大數(shù)據(jù)系統(tǒng)，往往需要解決多個(gè)層面的問(wèn)題，業(yè)務(wù)層面需要對(duì)各個(gè)環(huán)節(jié)的數(shù)據(jù)進(jìn)行梳理和分析，形成完善的數(shù)據(jù)體系，來(lái)描述完整的工業(yè)生產(chǎn)流程；技術(shù)層面則需要建立統(tǒng)一的系統(tǒng)來(lái)匯集和處理工業(yè)全流程的數(shù)據(jù)，其中需要根據(jù)具體的業(yè)務(wù)場(chǎng)景選擇合適的技術(shù)架構(gòu)，考慮到工業(yè)級(jí)系統(tǒng)龐大的規(guī)模和復(fù)雜的屬性，更是需要在建設(shè)的初期就做好完善的架構(gòu)規(guī)劃。

1 工業(yè)大數(shù)據(jù)規(guī)劃建設(shè)的關(guān)鍵問(wèn)題

現(xiàn)階段工業(yè)大數(shù)據(jù)的建設(shè)仍處于發(fā)展極不均衡的狀態(tài)，部分先進(jìn)大型工業(yè)企業(yè)已經(jīng)利用大數(shù)據(jù)技術(shù)形成成熟的解決方案，整合各環(huán)節(jié)數(shù)據(jù)資源，為生產(chǎn)和服務(wù)提供精準(zhǔn)的數(shù)據(jù)支撐，但仍有部分工業(yè)企業(yè)尚未實(shí)現(xiàn)信息化或信息化程度不高，需要從最底層的設(shè)備開(kāi)始更新與改造，以適應(yīng)新的數(shù)字化生產(chǎn)流程，規(guī)范各環(huán)節(jié)數(shù)據(jù)資料，從而結(jié)合大數(shù)據(jù)技術(shù)進(jìn)一步地優(yōu)化生產(chǎn)過(guò)程和服務(wù)質(zhì)量[2]。在發(fā)展工業(yè)大數(shù)據(jù)的各階段下主要出現(xiàn)了以下三個(gè)問(wèn)題。

1)設(shè)備老舊導(dǎo)致數(shù)據(jù)采集困難。在許多制造行業(yè)中，仍然使用傳統(tǒng)的生產(chǎn)設(shè)備，并且因?yàn)楦黝愒驅(qū)ιa(chǎn)線設(shè)備進(jìn)行更新?lián)Q代較為困難，造成一些關(guān)鍵的生產(chǎn)數(shù)據(jù)無(wú)法采集，不能全面監(jiān)控生產(chǎn)線的生產(chǎn)情況。這種情況下，需要在設(shè)備上加裝外置傳感器，并對(duì)傳感器采集到的生產(chǎn)數(shù)據(jù)進(jìn)行實(shí)時(shí)地匯集監(jiān)控，來(lái)全面感知生產(chǎn)情況。

2)數(shù)據(jù)跨平臺(tái)跨部門整合耗時(shí)。在工業(yè)領(lǐng)域進(jìn)行業(yè)務(wù)分析時(shí)，由于工業(yè)系統(tǒng)龐大且復(fù)雜，往往需要整合多個(gè)數(shù)據(jù)源的信息，這些數(shù)據(jù)種類繁多、數(shù)據(jù)量大、數(shù)據(jù)質(zhì)量參差不齊，有時(shí)甚至需要跨部門溝通，走繁瑣的審批流程，在經(jīng)過(guò)了一系列關(guān)卡收集并整理好數(shù)據(jù)后，由于耗費(fèi)時(shí)間太長(zhǎng)，一些具有時(shí)效性的數(shù)據(jù)就會(huì)產(chǎn)生價(jià)值流失。需要建設(shè)持續(xù)的、自動(dòng)化的、全量的數(shù)據(jù)采集機(jī)制，來(lái)保證數(shù)據(jù)的價(jià)值被有效地利用。

3)初期缺乏規(guī)劃導(dǎo)致應(yīng)用豎井。在開(kāi)展大數(shù)據(jù)應(yīng)用的初期，由于大部分是業(yè)務(wù)驅(qū)動(dòng)，各項(xiàng)目單獨(dú)建設(shè)大數(shù)據(jù)系統(tǒng)，缺乏統(tǒng)一規(guī)劃，容易造成應(yīng)用豎井，數(shù)據(jù)重復(fù)采集、基礎(chǔ)信息不一致，從而不可避免地出現(xiàn)資源浪費(fèi)、數(shù)據(jù)關(guān)聯(lián)性差，無(wú)法高效地利用數(shù)據(jù)價(jià)值；所以需要企業(yè)有全面的大數(shù)據(jù)系統(tǒng)建設(shè)規(guī)劃，對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一采集和管理，為后續(xù)各種場(chǎng)景的分析應(yīng)用提供良好的數(shù)據(jù)環(huán)境。

在工業(yè)級(jí)大數(shù)據(jù)系統(tǒng)的建設(shè)初期，需要對(duì)系統(tǒng)的技術(shù)架構(gòu)進(jìn)行合理規(guī)劃，根據(jù)實(shí)際應(yīng)用場(chǎng)景下的需求選擇技術(shù)組件實(shí)現(xiàn)應(yīng)用的搭建，考慮的問(wèn)題主要總結(jié)為以下五點(diǎn)：①如何采集來(lái)自多種數(shù)據(jù)源的異構(gòu)數(shù)據(jù)；②如何按照不同的數(shù)據(jù)留存需求進(jìn)行高效存儲(chǔ)；③如何按照業(yè)務(wù)需求選擇數(shù)據(jù)計(jì)算引擎和處理工具；④如何保障系統(tǒng)的安全和穩(wěn)定運(yùn)行；⑤工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)分析。

1.1 工業(yè)大數(shù)據(jù)系統(tǒng)技術(shù)架構(gòu)介紹

本文中描述的工業(yè)大數(shù)據(jù)架構(gòu)體系，參考了2016年工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟[1]發(fā)布的《工業(yè)互聯(lián)網(wǎng)體系架構(gòu)(1.0)》中對(duì)工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)體系架構(gòu)的描述[3]，見(jiàn)圖1。工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟(Alliance of Industrial Internet，AII)是在工業(yè)和信息化部指導(dǎo)下，于2016年2月1日由國(guó)內(nèi)外工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)相關(guān)的企、事業(yè)單位、社團(tuán)組織、高等院校、科研院所等自愿結(jié)成的跨行業(yè)、開(kāi)放性、非營(yíng)利性的社會(huì)組織。

其架構(gòu)可以總結(jié)為數(shù)據(jù)采集與交換、數(shù)據(jù)集成與處理、數(shù)據(jù)建模與分析和數(shù)據(jù)驅(qū)動(dòng)下的決策與控制應(yīng)用四個(gè)層次[4]，對(duì)應(yīng)到具體的技術(shù)架構(gòu)實(shí)現(xiàn)見(jiàn)圖2。

圖2 工業(yè)大數(shù)據(jù)功能架構(gòu)

采集交換層：主要完成數(shù)據(jù)從傳感器、SCADA、MES、ERP等內(nèi)部系統(tǒng)，以及企業(yè)外部數(shù)據(jù)源獲取數(shù)據(jù)的功能，并實(shí)現(xiàn)在不同系統(tǒng)之間數(shù)據(jù)的交互。這一層涉及到采集工具、數(shù)據(jù)預(yù)處理工具、以及數(shù)據(jù)交換工具的選型建設(shè)。

集成處理層：從功能上，這一層主要是將物理系統(tǒng)實(shí)體進(jìn)行抽象和虛擬化，建立產(chǎn)品、產(chǎn)線、供應(yīng)鏈等各種主題數(shù)據(jù)庫(kù)，建立合理的數(shù)據(jù)模型，將清洗轉(zhuǎn)換后的數(shù)據(jù)與虛擬制造中的產(chǎn)品、設(shè)備、產(chǎn)線等實(shí)體相互關(guān)聯(lián)起來(lái)。從技術(shù)上，實(shí)現(xiàn)原始數(shù)據(jù)的抽取轉(zhuǎn)換和存儲(chǔ)管理，提供計(jì)算引擎服務(wù)，完成海量數(shù)據(jù)的交互查詢、批量計(jì)算、流式計(jì)算等任務(wù)，并對(duì)上層建模工具提供數(shù)據(jù)訪問(wèn)和計(jì)算接口。這一層主要涉及數(shù)據(jù)的抽取轉(zhuǎn)換加載、數(shù)據(jù)的存儲(chǔ)與管理、數(shù)據(jù)計(jì)算與查詢，以及數(shù)據(jù)服務(wù)接口的提供。

建模分析層：功能上主要是在虛擬化的實(shí)體之上構(gòu)建仿真測(cè)試、流程分析、運(yùn)營(yíng)分析等分析模型，用于在原始數(shù)據(jù)中提取特定的模式和知識(shí)，為各類決策的產(chǎn)生提供支持。從技術(shù)上，主要提供數(shù)據(jù)報(bào)表、可視化、知識(shí)庫(kù)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析和規(guī)則引擎等數(shù)據(jù)分析工具。

決策控制層：基于數(shù)據(jù)分析結(jié)果，生成描述、診斷、預(yù)測(cè)、決策、控制等不同應(yīng)用，形成優(yōu)化決策建議或產(chǎn)生直接控制指令，從而對(duì)工業(yè)系統(tǒng)施加影響，實(shí)現(xiàn)個(gè)性化定制、智能化生產(chǎn)、協(xié)同化組織和服務(wù)化制造等創(chuàng)新模式，最終構(gòu)成從數(shù)據(jù)采集到設(shè)備、生產(chǎn)現(xiàn)場(chǎng)及企業(yè)運(yùn)營(yíng)管理優(yōu)化的閉環(huán)。

1.2 工業(yè)大數(shù)據(jù)系統(tǒng)技術(shù)架構(gòu)實(shí)現(xiàn)

工業(yè)大數(shù)據(jù)系統(tǒng)技術(shù)架構(gòu)的實(shí)現(xiàn)涉及底層技術(shù)組件的選型，本文中將這些技術(shù)組件分為三類：采集、存儲(chǔ)及計(jì)算，四層技術(shù)架構(gòu)的功能實(shí)現(xiàn)可以由這三種技術(shù)組合得到[5]。如圖3所示。

圖3 技術(shù)架構(gòu)層與技術(shù)組件對(duì)應(yīng)關(guān)系

圖3中對(duì)采集、存儲(chǔ)、計(jì)算的描述是指廣義上的這類技術(shù)及解決方案的總和，如采集指的是實(shí)現(xiàn)數(shù)據(jù)采集、交換、集成、處理過(guò)程當(dāng)中涉及到的所有采集相關(guān)的技術(shù)和解決方案；存儲(chǔ)和計(jì)算也是指實(shí)現(xiàn)系統(tǒng)架構(gòu)中的對(duì)應(yīng)功能時(shí)涉及到的所有技術(shù)和解決方案。

1.2.1 數(shù)據(jù)采集

隨著工業(yè)制造中各層的精細(xì)化與制程的高密度化，工業(yè)制造所產(chǎn)生的數(shù)據(jù)必然形成好幾個(gè)等級(jí)的增長(zhǎng)。面對(duì)如此龐大與多樣的數(shù)據(jù)整合問(wèn)題，企業(yè)必須有整體統(tǒng)一的數(shù)據(jù)匯聚與應(yīng)用策略，設(shè)計(jì)通用可靠的數(shù)據(jù)采集機(jī)制，來(lái)滿足各方面的數(shù)據(jù)采集需求。數(shù)據(jù)采集的完整性、準(zhǔn)確性，決定了數(shù)據(jù)應(yīng)用是否能真實(shí)可靠地發(fā)揮作用。因此，在建設(shè)數(shù)據(jù)采集系統(tǒng)時(shí)，建議著重考慮以下五個(gè)要求：1)數(shù)據(jù)接口通用性。由于新技術(shù)更新?lián)Q代較頻繁，需要進(jìn)行版本管理，并定期更新接口，建議用統(tǒng)一的數(shù)據(jù)交換格式來(lái)適應(yīng)接口頻繁更新的情況，使接口能夠快速調(diào)整。2)支持廣泛的數(shù)據(jù)源。采集技術(shù)需支持盡可能多的數(shù)據(jù)源端。3)支持橫向擴(kuò)展。當(dāng)設(shè)備增加時(shí)，所造成的性能瓶頸須能通過(guò)橫向擴(kuò)展的方式解決。4)保證數(shù)據(jù)不遺失。采集過(guò)程中須確保數(shù)據(jù)準(zhǔn)確地、不遺失地送達(dá)處理層與儲(chǔ)存層。5)避免增加基礎(chǔ)建設(shè)復(fù)雜度。在不斷擴(kuò)充設(shè)備的情況下，采集技術(shù)不應(yīng)增加基礎(chǔ)建設(shè)擴(kuò)展時(shí)的負(fù)擔(dān)。

從工業(yè)數(shù)據(jù)的來(lái)源進(jìn)行分類，主要包括管理系統(tǒng)、生產(chǎn)系統(tǒng)、外部數(shù)據(jù)三大方面的數(shù)據(jù)來(lái)源。從數(shù)據(jù)采集的全面性上看，不僅要涵蓋基礎(chǔ)的結(jié)構(gòu)化交易數(shù)據(jù)，還將逐步包括半結(jié)構(gòu)化的用戶行為數(shù)據(jù)，網(wǎng)狀的社交關(guān)系數(shù)據(jù)，文本或音視頻類型的用戶意見(jiàn)和反饋數(shù)據(jù)，設(shè)備和傳感器采集的周期性數(shù)據(jù)，以及未來(lái)越來(lái)越多有潛在意義的各類數(shù)據(jù)[6]。表1整理出了一些工業(yè)大數(shù)據(jù)系統(tǒng)中常見(jiàn)的數(shù)據(jù)源及其數(shù)據(jù)特性，供參考。

管理系統(tǒng)數(shù)據(jù)采集：這里討論的管理系統(tǒng)的數(shù)據(jù)包括了工業(yè)產(chǎn)品的設(shè)計(jì)資料、價(jià)值鏈管理數(shù)據(jù)及生產(chǎn)過(guò)程中的資源管理數(shù)據(jù)。

表1 常見(jiàn)工業(yè)數(shù)據(jù)源分類

1)設(shè)計(jì)資料：設(shè)計(jì)資料大多來(lái)源于傳統(tǒng)工業(yè)設(shè)計(jì)和制造類軟件，如：CAD、CAM、CAE、CAPP、PDM等。這類數(shù)據(jù)主要是各類產(chǎn)品模型以及相關(guān)的圖紙或電子文檔，大多數(shù)為非結(jié)構(gòu)化數(shù)據(jù)。這些設(shè)計(jì)類數(shù)據(jù)的采集對(duì)時(shí)效性要求不高，只需定期批量導(dǎo)入大數(shù)據(jù)系統(tǒng)。

2)價(jià)值鏈管理數(shù)據(jù)：價(jià)值鏈數(shù)據(jù)主要指企業(yè)生產(chǎn)活動(dòng)中上下游的信息流數(shù)據(jù)，主要來(lái)源于供應(yīng)鏈管理系統(tǒng)(SCM)、客戶關(guān)系管理系統(tǒng)(CRM)等。這類數(shù)據(jù)主要包含供應(yīng)鏈信息和客戶信息，通常是規(guī)范的結(jié)構(gòu)化數(shù)據(jù)，采集時(shí)對(duì)時(shí)效性要求不高，只需按業(yè)務(wù)分析要求的更新周期定期批量導(dǎo)入大數(shù)據(jù)系統(tǒng)。

3)資源管理數(shù)據(jù)：資源管理數(shù)據(jù)的來(lái)源主要是生產(chǎn)環(huán)節(jié)的各類管理系統(tǒng)，包括企業(yè)資源計(jì)劃(OA/ERP)、生產(chǎn)過(guò)程執(zhí)行系統(tǒng)(MES)、產(chǎn)品生命周期管理(PLM)、環(huán)境管理系統(tǒng)(EMS)、倉(cāng)庫(kù)管理系統(tǒng)(WMS)、能源管理系統(tǒng)等。這類數(shù)據(jù)主要描述了生產(chǎn)過(guò)程中的訂單數(shù)據(jù)、排程數(shù)據(jù)、生產(chǎn)數(shù)據(jù)等，大多數(shù)為標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)，采集時(shí)對(duì)時(shí)效性要求不高，只需按業(yè)務(wù)分析要求的更新周期定期批量導(dǎo)入大數(shù)據(jù)系統(tǒng)。

生產(chǎn)系統(tǒng)數(shù)據(jù)采集：這里討論的生產(chǎn)系統(tǒng)數(shù)據(jù)主要來(lái)自工業(yè)控制系統(tǒng)、生產(chǎn)監(jiān)控系統(tǒng)、各類傳感器以及其他外部裝置。

1)工業(yè)控制系統(tǒng)數(shù)據(jù)：工業(yè)控制系統(tǒng)數(shù)據(jù)的來(lái)源主要包括分布式控制系統(tǒng)(DCS)，以及可編程邏輯控制器(PLC)這類系統(tǒng)。通常DCS與PLC共同組成本地化的控制系統(tǒng)，主要關(guān)注控制消息管理、設(shè)備診斷、數(shù)據(jù)傳遞方式、工廠結(jié)構(gòu)，以及設(shè)備邏輯控制和報(bào)警管理等數(shù)據(jù)的收集。此類數(shù)據(jù)通常為結(jié)構(gòu)化數(shù)據(jù)，且數(shù)據(jù)的應(yīng)用通常對(duì)時(shí)效性要求較高，需要數(shù)據(jù)能及時(shí)地上報(bào)到上層的處理系統(tǒng)中。

2)生產(chǎn)監(jiān)控?cái)?shù)據(jù)：生產(chǎn)監(jiān)控?cái)?shù)據(jù)主要來(lái)源于以SCADA為代表的監(jiān)視控制系統(tǒng)。SCADA系統(tǒng)的設(shè)計(jì)用來(lái)收集現(xiàn)場(chǎng)信息，將這些信息傳輸?shù)接?jì)算機(jī)系統(tǒng)，并且用圖像或文本的形式顯示這些信息。這類數(shù)據(jù)也是規(guī)范的結(jié)構(gòu)化數(shù)據(jù)，但相對(duì)DCS和PLC系統(tǒng)來(lái)說(shuō)，SCADA系統(tǒng)可以提供實(shí)時(shí)的數(shù)據(jù)，同時(shí)也能提供歷史數(shù)據(jù)；因此在考慮數(shù)據(jù)的采集策略時(shí)，需要根據(jù)上報(bào)數(shù)據(jù)的類型來(lái)選擇是實(shí)時(shí)采集或是批量導(dǎo)入。

3)各類傳感器：在生產(chǎn)車間的很多生產(chǎn)設(shè)備并不能提供生產(chǎn)數(shù)據(jù)的采集和上傳，因此需要通過(guò)外接一套額外的傳感器來(lái)完成生產(chǎn)數(shù)據(jù)的采集。外掛式傳感器主要用在無(wú)生產(chǎn)數(shù)據(jù)采集的設(shè)備或者數(shù)據(jù)采集不全面的設(shè)備上、以及工廠環(huán)境數(shù)據(jù)的采集。同時(shí)外掛式傳感器根據(jù)使用現(xiàn)場(chǎng)的需求，可以采用接觸式的傳感設(shè)備和非接觸式的傳感設(shè)備。此類數(shù)據(jù)的單條數(shù)據(jù)量通常都非常小，但是通信總接入數(shù)非常高，即數(shù)據(jù)傳輸并發(fā)度高，同時(shí)對(duì)傳輸?shù)膶?shí)時(shí)性要求較高。

4)其他外部裝置：其他外部裝置產(chǎn)生的數(shù)據(jù)以視頻攝像頭為例，數(shù)據(jù)主要來(lái)源于對(duì)產(chǎn)品的質(zhì)量監(jiān)控照片、視頻，或者是工廠內(nèi)的監(jiān)控視頻等。此類數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量大，傳輸?shù)某掷m(xù)時(shí)間長(zhǎng)，需要有高帶寬、低時(shí)延的通信網(wǎng)絡(luò)才能滿足數(shù)據(jù)的上傳需求。對(duì)于其他不同于視頻數(shù)據(jù)的外部裝置數(shù)據(jù)，需要針對(duì)數(shù)據(jù)的特性進(jìn)行采集機(jī)制的選擇。

外部系統(tǒng)數(shù)據(jù)采集：外部系統(tǒng)數(shù)據(jù)主要來(lái)源于評(píng)價(jià)企業(yè)環(huán)境績(jī)效的環(huán)境法規(guī)、預(yù)測(cè)產(chǎn)品市場(chǎng)的宏觀社會(huì)經(jīng)濟(jì)數(shù)據(jù)等，此類數(shù)據(jù)主要用于評(píng)估產(chǎn)品的后續(xù)生產(chǎn)趨勢(shì)、產(chǎn)品改進(jìn)等方面，與管理系統(tǒng)的數(shù)據(jù)采集類似，可以通過(guò)標(biāo)準(zhǔn)的RJ45接口進(jìn)行數(shù)據(jù)的傳輸。通常本類數(shù)據(jù)相對(duì)靜止，變化較小，因此數(shù)據(jù)的上傳頻次較低。

綜合上述多類數(shù)據(jù)源的采集場(chǎng)景和要求，系統(tǒng)的集成導(dǎo)入應(yīng)同時(shí)具備實(shí)時(shí)接入(如工業(yè)控制系統(tǒng)、生產(chǎn)監(jiān)控?cái)?shù)據(jù)、各類傳感器)和批量導(dǎo)入(如管理系統(tǒng)、外部數(shù)據(jù))的能力，同時(shí)能根據(jù)需要提供可定制化的IoT接入平臺(tái)。具體建設(shè)要求如下。

1)對(duì)于需要實(shí)時(shí)監(jiān)控、實(shí)時(shí)反向控制類數(shù)據(jù)，可通過(guò)實(shí)時(shí)消息管道發(fā)送，支持實(shí)時(shí)接入，如工業(yè)控制系統(tǒng)數(shù)據(jù)、生產(chǎn)監(jiān)控系統(tǒng)數(shù)據(jù)等。建議可采用如Kafka、Fluentd或是Flume等技術(shù)，這類技術(shù)使用分布式架構(gòu)，具備數(shù)據(jù)至少傳輸一次的機(jī)制，并為不同生成頻率的數(shù)據(jù)提供緩沖層，避免重要數(shù)據(jù)的丟失。

2)對(duì)于非實(shí)時(shí)處理的數(shù)據(jù)，可采取定時(shí)批量地從外部系統(tǒng)離線導(dǎo)入，必須要支持海量多源異構(gòu)數(shù)據(jù)的導(dǎo)入，如資源管理數(shù)據(jù)、價(jià)值鏈數(shù)據(jù)、設(shè)計(jì)資料等。建議可采用Sqoop等數(shù)據(jù)交換技術(shù)，實(shí)現(xiàn)Hadoop與傳統(tǒng)數(shù)據(jù)庫(kù)(MySQL、Oracle、Postgres等)間大批量數(shù)據(jù)的雙向傳遞。

3)當(dāng)系統(tǒng)中有大量設(shè)備需要并發(fā)接入且要多協(xié)議接入時(shí)，如各類傳感器件，可部署專業(yè)IoT接入網(wǎng)關(guān)，IoT接入平臺(tái)需同時(shí)具備支持TCP、UDP、MQTT、CoAP、LWM2M等多種通信協(xié)議。在面對(duì)各類傳感器的數(shù)據(jù)采集時(shí)，可以結(jié)合RFID、條碼掃描器、生產(chǎn)和監(jiān)測(cè)設(shè)備、PDA、人機(jī)交互、智能終端等手段采集制造領(lǐng)域多源、異構(gòu)數(shù)據(jù)信息，并通過(guò)互聯(lián)網(wǎng)或現(xiàn)場(chǎng)總線等技術(shù)實(shí)現(xiàn)源數(shù)據(jù)的實(shí)時(shí)準(zhǔn)確傳輸。有線接入主要以PLC、以太網(wǎng)為主。無(wú)線接入技術(shù)種類眾多，包括條形碼、PDA、RFID 、Zigbee、Wi-Fi、藍(lán)牙、Z-wave等短距離通信技術(shù)和長(zhǎng)距無(wú)線通信技術(shù)。其中，長(zhǎng)距離無(wú)線技術(shù)又分為兩類，包括工作于未授權(quán)頻譜的LoRa、SigFox等技術(shù)和工作于授權(quán)頻譜下傳統(tǒng)的2/3/4G蜂窩技術(shù)及其3GPP支持的LTE演進(jìn)技術(shù)，如LTE-eMTC、NB-IOT等。

1.2.2 數(shù)據(jù)存儲(chǔ)

工業(yè)大數(shù)據(jù)系統(tǒng)接入的數(shù)據(jù)源數(shù)量大類型多，需要能支持TB到PB級(jí)多種類型數(shù)據(jù)的存儲(chǔ)，包括關(guān)系表、網(wǎng)頁(yè)、文本、JSON、XML、圖像等數(shù)據(jù)庫(kù)，應(yīng)具備盡可能多樣化的存儲(chǔ)方式來(lái)適應(yīng)各類存儲(chǔ)分析場(chǎng)景，總結(jié)如表2。

表2 各類存儲(chǔ)對(duì)應(yīng)適用場(chǎng)景

在不同的工業(yè)數(shù)據(jù)應(yīng)用場(chǎng)景中，數(shù)據(jù)存儲(chǔ)的介質(zhì)選擇十分重要，下面列舉一些經(jīng)典的使用場(chǎng)景來(lái)介紹如何選擇存儲(chǔ)技術(shù)[7]。

1)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)展示：通常情況下實(shí)時(shí)采集的監(jiān)控?cái)?shù)據(jù)在進(jìn)行輕度的清洗和匯總后會(huì)結(jié)合Web UI技術(shù)實(shí)時(shí)展現(xiàn)生產(chǎn)線的最新動(dòng)態(tài)。這類及時(shí)性互動(dòng)性高的數(shù)據(jù)一般使用內(nèi)存數(shù)據(jù)進(jìn)行存儲(chǔ)，如Redis、Ignite等技術(shù)，可以快速響應(yīng)實(shí)時(shí)的查詢需求。

2)產(chǎn)線異常的分析與預(yù)測(cè)：使用機(jī)器學(xué)習(xí)技術(shù)對(duì)產(chǎn)線數(shù)據(jù)進(jìn)行深入挖掘分析運(yùn)行規(guī)律，可以有效地對(duì)產(chǎn)線的異常進(jìn)行分析和預(yù)測(cè)，進(jìn)而改善制程、減少損失、降低成本及人為誤判的可能性。這類用于分析的歷史數(shù)據(jù)一般選擇使用HDFS、Cassandra等分布式儲(chǔ)存，適用于海量數(shù)據(jù)的探索和挖掘分析。同時(shí)，對(duì)于這類與時(shí)間順序強(qiáng)相關(guān)的分析場(chǎng)景，數(shù)據(jù)的存儲(chǔ)可以選擇InfluxDB這類時(shí)序數(shù)據(jù)庫(kù)，可以極大提高時(shí)間相關(guān)數(shù)據(jù)的處理能力，在一定程度上節(jié)省存儲(chǔ)空間并極大地提高查詢效率。

3)商業(yè)智能：如果需要整合多種數(shù)據(jù)來(lái)制作商業(yè)策略性報(bào)表，適合使用結(jié)構(gòu)化儲(chǔ)存，比如傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，MySQL、Oracle等。如果需要考慮性能和及時(shí)性，可以考慮分類存儲(chǔ)至NoSQL數(shù)據(jù)庫(kù)，如Cassandra、HBase與Redis等。

1.2.3 數(shù)據(jù)計(jì)算

大數(shù)據(jù)系統(tǒng)通常需要能夠支持多種任務(wù)，包括處理結(jié)構(gòu)化表的SQL引擎、計(jì)算關(guān)系的圖處理引擎和進(jìn)行數(shù)據(jù)挖掘的機(jī)器學(xué)習(xí)引擎，其中面向SQL的分析主要有交互式查詢、報(bào)表、復(fù)雜查詢、多維分析等(如表3)。

表3 各類計(jì)算引擎對(duì)應(yīng)適用場(chǎng)景

1)實(shí)時(shí)計(jì)算引擎，包括Storm、Spark Streaming、Flink等業(yè)界通用架構(gòu)，適用于基于窗口或消息的實(shí)時(shí)數(shù)據(jù)處理，結(jié)果響應(yīng)的時(shí)延要求在毫秒級(jí)。

2)離線計(jì)算引擎，包括MapReduce、Spark、Hive，適用于批數(shù)據(jù)分析和定時(shí)分析等。

3)圖計(jì)算引擎，適用于事件及人之間的關(guān)聯(lián)關(guān)系分析。

4)數(shù)據(jù)綜合分析OLAP，如MPP數(shù)據(jù)庫(kù)，適用于綜合報(bào)表分析。

5)業(yè)務(wù)交互查詢OLTP，如MySQL、SQLServer、Oracle、PostgreSQL等，適用于交互式查詢分析。

6)分布式數(shù)據(jù)庫(kù)中間件，可解決數(shù)據(jù)庫(kù)容量、性能瓶頸和分布式擴(kuò)展問(wèn)題，提供分庫(kù)分表、讀寫分離、彈性擴(kuò)容等能力，適用于海量數(shù)據(jù)的高并發(fā)訪問(wèn)場(chǎng)景，有效提升數(shù)據(jù)庫(kù)讀寫性能。

7)數(shù)據(jù)挖掘能力，為了能夠匹配工業(yè)大數(shù)據(jù)決策與控制應(yīng)用的5大場(chǎng)景，特別是診斷類、預(yù)測(cè)類、決策類應(yīng)用閉環(huán)的要求，系統(tǒng)應(yīng)該具備完善的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、圖計(jì)算等平臺(tái)級(jí)能力。機(jī)器學(xué)習(xí)能力如基于開(kāi)源Spark框架推出的算法庫(kù)MLlib、 GraphX等；深度學(xué)習(xí)有TensorFlow、Caffe、MXNet等平臺(tái)；圖計(jì)算能力，業(yè)界相對(duì)比較流行的開(kāi)源產(chǎn)品有Titan，另外還有很多優(yōu)秀的商業(yè)產(chǎn)品可供選擇[8-9]。

總體來(lái)說(shuō)，大數(shù)據(jù)平臺(tái)的計(jì)算組件需要能支持批量和實(shí)時(shí)兩大類任務(wù)，同時(shí)具備精細(xì)化的任務(wù)和資源調(diào)度的能力。

2 典型工業(yè)場(chǎng)景應(yīng)用實(shí)例

本章節(jié)將結(jié)合某大型工業(yè)企業(yè)生產(chǎn)場(chǎng)景中新產(chǎn)品導(dǎo)入(New Product Introduce，NPI)環(huán)節(jié)的案例，具體解釋說(shuō)明其中所使用的技術(shù)架構(gòu)[5]。

新產(chǎn)品制造在NPI階段需在有限的時(shí)間內(nèi)在每個(gè)步驟都達(dá)到客戶的規(guī)格要求，因此，在每一個(gè)階段工程單位與測(cè)試單位都需要完整的生產(chǎn)信息與關(guān)鍵物料信息的整合，協(xié)助FA(Failure Analysis)工程師與RD工程師合作，進(jìn)行問(wèn)題分析與解決方案設(shè)計(jì)。

由于每一個(gè)階段都是分秒必爭(zhēng)，并且還要能快速反應(yīng)問(wèn)題，求新求變，對(duì)于必須在限定時(shí)間內(nèi)分析所有的問(wèn)題且找出原因(當(dāng)天的問(wèn)題當(dāng)天解決)將是一個(gè)高度困難的挑戰(zhàn)與目標(biāo)。為了能加快FA工程師分析的速度以及有更多的時(shí)間做進(jìn)階數(shù)據(jù)分析，快速收集所有生產(chǎn)信息，甚至往前追溯上游供應(yīng)鏈關(guān)鍵信息都是非常必要的，但卻又相當(dāng)耗費(fèi)時(shí)間。

依據(jù)過(guò)去的經(jīng)驗(yàn)，工程師通常會(huì)花費(fèi)80%的時(shí)間做數(shù)據(jù)收集與整合，卻只用20%的時(shí)間做數(shù)據(jù)分析與問(wèn)題診斷；因此需要合理的規(guī)劃大數(shù)據(jù)系統(tǒng)的架構(gòu)建設(shè)，形成一套完善的解決方案來(lái)扭轉(zhuǎn)這個(gè)局面，讓工程師只需要投入20%的時(shí)間做數(shù)據(jù)收集，能夠留下80%的時(shí)間做深入的數(shù)據(jù)分析與解析。

NPI階段數(shù)據(jù)分析需要解決兩個(gè)業(yè)務(wù)痛點(diǎn)。1)數(shù)據(jù)復(fù)雜且收集整合耗時(shí)：分析數(shù)據(jù)一般會(huì)橫跨多個(gè)孤島系統(tǒng)、且涉及不同部門，工程師需要與不同部門進(jìn)行溝通，并且切換不同系統(tǒng)以取得數(shù)據(jù)，再加上數(shù)據(jù)格式不統(tǒng)一、數(shù)據(jù)質(zhì)量無(wú)法保證，很多數(shù)據(jù)需要手工進(jìn)行清洗整理，這樣僅一個(gè)問(wèn)題的數(shù)據(jù)收集就可能花費(fèi)好幾個(gè)小時(shí)。2)涉及信息太多：數(shù)據(jù)包含產(chǎn)品各階段的生產(chǎn)數(shù)據(jù)(產(chǎn)品測(cè)試數(shù)據(jù)、產(chǎn)線組裝數(shù)據(jù)、進(jìn)料檢驗(yàn)數(shù)據(jù)、關(guān)鍵物料數(shù)據(jù)、供貨商數(shù)據(jù)等)，各類數(shù)據(jù)量都很大(例如工站的監(jiān)測(cè)項(xiàng)就有上千個(gè)，甚至上萬(wàn)個(gè))；手動(dòng)整理數(shù)據(jù)容易發(fā)生錯(cuò)誤，且不易察覺(jué)；再加上各類分析軟件有處理數(shù)據(jù)量的上限，使用分析軟件進(jìn)行實(shí)時(shí)數(shù)據(jù)增加、刪除會(huì)很耗費(fèi)精力。

方案中整體架構(gòu)的實(shí)現(xiàn)以基礎(chǔ)數(shù)據(jù)為基底，通過(guò)SMC(Spark，Mesos，Cassandra)三套開(kāi)源大數(shù)據(jù)產(chǎn)品將關(guān)聯(lián)性數(shù)據(jù)進(jìn)行整合，再由數(shù)據(jù)集成框架DIF(Data Integration Framework)架構(gòu)進(jìn)行數(shù)據(jù)處理并提供多維度整合數(shù)據(jù)至數(shù)據(jù)服務(wù)接口DSP(Data Service Provider) API、分析工作流等服務(wù)，系統(tǒng)應(yīng)用層利用多維度數(shù)據(jù)進(jìn)行通用性分析、FA分析及查詢服務(wù)。如圖4所示，并分述如下。

圖4 方案整體架構(gòu)

采集交換層：數(shù)據(jù)的采集需考慮應(yīng)業(yè)務(wù)需求有效且完整的獲取各類系統(tǒng)的數(shù)據(jù)。鑒于采集的數(shù)據(jù)來(lái)源有內(nèi)部系統(tǒng)、外部系統(tǒng)及非系統(tǒng)化的本地文件等，所以需要各系統(tǒng)之間進(jìn)行數(shù)據(jù)交換，分別利用系統(tǒng)接口、網(wǎng)絡(luò)爬蟲轉(zhuǎn)換文件格式儲(chǔ)存及電子郵件方式等交換取得各數(shù)據(jù)。

集成處理層：此層級(jí)運(yùn)行包含SMC、DIF及KM。該層主要考慮為各系統(tǒng)數(shù)據(jù)的關(guān)聯(lián)整合，因此著重于數(shù)據(jù)清洗、數(shù)據(jù)理解及數(shù)據(jù)的關(guān)聯(lián)，為分析層提供有效的模型處理能力。SMC提供基礎(chǔ)的計(jì)算和存儲(chǔ)資源；DIF主要支撐數(shù)據(jù)整合、數(shù)據(jù)處理運(yùn)算、及信息呈現(xiàn)；KM主要接收各類型文檔進(jìn)行分類儲(chǔ)存、解析文本，并利用Elasticsearch(一套支持全文檢索的開(kāi)源項(xiàng)目)建立索引庫(kù)以及支持全文檢索服務(wù)。

建模分析層：數(shù)據(jù)分析層包含三個(gè)項(xiàng)目，分別為DSP API、分析工作流、KM API。在分析層構(gòu)建API主要是為特定業(yè)務(wù)需求構(gòu)建分析工作流提供分析模型的支撐。

決策控制層：該層實(shí)現(xiàn)用戶在單一平臺(tái)內(nèi)快速獲取數(shù)據(jù)的需求，并快速開(kāi)展業(yè)務(wù)分析。此外，知識(shí)庫(kù)的構(gòu)建可以滿足工程師之間的技術(shù)傳承及新人訓(xùn)練，幫助工程師自主學(xué)習(xí)成長(zhǎng)，并減少溝通教學(xué)時(shí)間，可以讓工程師的時(shí)間得到最有效的利用。

合理設(shè)計(jì)大數(shù)據(jù)系統(tǒng)的架構(gòu)實(shí)現(xiàn)使得數(shù)據(jù)分析的效率大大提升，能夠更好地支撐新產(chǎn)品制造NPI環(huán)節(jié)的各種分析需求，使每個(gè)步驟都能快速達(dá)到客戶要求。主要解決的問(wèn)題可總結(jié)為以下幾點(diǎn)：1)時(shí)間短，數(shù)據(jù)整合收集所需時(shí)間大幅減少，由以前耗時(shí)2～4小時(shí)，提升至數(shù)分鐘以內(nèi)。2)數(shù)據(jù)廣，整個(gè)NPI周期大約會(huì)生產(chǎn)5萬(wàn)個(gè)產(chǎn)品，而NPI產(chǎn)線大約150個(gè)相關(guān)產(chǎn)品測(cè)試數(shù)據(jù)完整收集，涵蓋400多個(gè)關(guān)鍵物料及平均2000個(gè)測(cè)試項(xiàng)目，特定工站更高達(dá)4萬(wàn)個(gè)測(cè)試項(xiàng)目，每日原始數(shù)據(jù)吞吐量可達(dá)22萬(wàn)筆。3)效率快，工程師將原來(lái)數(shù)據(jù)收集的時(shí)間專注用來(lái)解決問(wèn)題，并可利用剩余時(shí)間進(jìn)一步分析預(yù)見(jiàn)問(wèn)題。扭轉(zhuǎn)過(guò)去80/20的時(shí)間分配法則，讓工程師只用20%時(shí)間收集數(shù)據(jù)整理數(shù)據(jù)，而用80%時(shí)間專注在問(wèn)題解決上。4)傳承快，前輩工程師將個(gè)人的經(jīng)驗(yàn)累積于平臺(tái)上，新人工程師可隨時(shí)學(xué)習(xí)到前人的知識(shí)。

3 結(jié)束語(yǔ)

工業(yè)大數(shù)據(jù)平臺(tái)已經(jīng)成為數(shù)據(jù)時(shí)代工業(yè)企業(yè)的基礎(chǔ)架構(gòu)，支撐著上層大數(shù)據(jù)業(yè)務(wù)的建設(shè)與發(fā)展，促進(jìn)了頂層愿景和戰(zhàn)略的順利實(shí)施。而當(dāng)前工業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)仍處于發(fā)展初期，尚未形成穩(wěn)定、成熟的建設(shè)方案和建設(shè)路徑，故需要梳理工業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)方式及內(nèi)容，明確其選型方案及建設(shè)路徑，規(guī)劃采集交換、集成處理、建模分析、決策需求等多環(huán)節(jié)技術(shù)體系，從而促進(jìn)工業(yè)大數(shù)據(jù)應(yīng)用的快速平穩(wěn)落地，使工業(yè)領(lǐng)域的數(shù)據(jù)能發(fā)揮更大的價(jià)值，加速整個(gè)產(chǎn)業(yè)的變革。

[1] 彭俊松.工業(yè)4.0驅(qū)動(dòng)下的制造業(yè)數(shù)字化轉(zhuǎn)型[M].北京:機(jī)械工業(yè)出版社,2017

[2] 王建民.探索走出符合國(guó)情的工業(yè)大數(shù)據(jù)自主之路——工業(yè)大數(shù)據(jù)的范疇、關(guān)鍵問(wèn)題與實(shí)踐[J].中國(guó)設(shè)備工程,2015(9):36-37

[3] 工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟.工業(yè)互聯(lián)網(wǎng)體系架構(gòu)(版本1.0)[R].2017

[4] 工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟.中國(guó)工業(yè)大數(shù)據(jù)技術(shù)與應(yīng)用白皮書[R].2017

[5] 工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟.工業(yè)大數(shù)據(jù)技術(shù)架構(gòu)白皮書[R].2018

[6] 鄭樹(shù)泉,宗宇偉,董文生,等.工業(yè)大數(shù)據(jù):架構(gòu)與應(yīng)用[M].上海:上海科學(xué)技術(shù)出版社,2017

[7] 數(shù)據(jù)中心聯(lián)盟.大數(shù)據(jù)平臺(tái)選型與建設(shè)指南白皮書(1.0版)[R].2017

[8] Lee J,Kao H A,Yang S.Service Innovation and Smart Analytics for Industry 4.0 and Big Data Environment [J].Procedia Cirp,2014,16:3-8

[9] Wang S,Wan J,Zhang D,et al.Towards smart factory for industry 4.0: a self-organized multi-agent system with big data based feedback and coordination [J].Computer Networks,2016,101:158-168