基于工業(yè)互聯(lián)網(wǎng)背景的大數(shù)據(jù)平臺建設研究

許基偉　馬欣

摘? 要：隨著信息技術和工業(yè)技術的迅猛發(fā)展，新型工業(yè)化道路應運而生，而工業(yè)大數(shù)據(jù)的平臺建設對加快新型工業(yè)化道路具有十分重要的意義，本文通過對工業(yè)和互聯(lián)網(wǎng)大數(shù)據(jù)進行對比分析，結合工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點，闡述了二者之間的內在聯(lián)系?；诖?，提出了工業(yè)大數(shù)據(jù)平臺架構以及相關的數(shù)據(jù)分級處理流程，最后指出了工業(yè)大數(shù)據(jù)平臺的應用，包括資產管理、數(shù)據(jù)管理、數(shù)據(jù)分析和安全服務，為工業(yè)企業(yè)提供了平臺支持和數(shù)據(jù)服務。

關鍵詞：工業(yè)互聯(lián)網(wǎng);大數(shù)據(jù);平臺建設

中圖分類號：TP392? ? ?文獻標識碼：A

Research on the Construction of Big Data Platform Based on Industrial Internet

XU Jiwei，MA Xin

（College of Civil Engineering，Nanjing Forestry University，Nanjing 210000，China）

Abstract：With the rapid development of information technology and industrial technology，a new road for industrialization has come into being and industrial big data platform construction is very important for speeding up the development to industrialization.Through comparative analysis of industry and big data on the Internet，the paper combines the characteristics of industrial Internet and big data to elaborate on the inner link between them.Accordingly，it puts forward the major industrial big data platform architecture and related data classification processing flow，and finally points out the application of industrial big data platform，including asset management，data management，data analysis and security services，which provides platform support and data service for industrial enterprises.

Keywords：industrial Internet;big data;platform construction

1? ?引言（Introduction）

隨著信息化和產業(yè)化進程的加快，新型工業(yè)化道路應運而生，以運用現(xiàn)代信息技術，用信息化帶動工業(yè)化。工業(yè)4.0和中國制造2025都以創(chuàng)新為共同發(fā)展理念，強調以信息技術為載體，加強創(chuàng)新驅動與智能化服務水平。因此強調建設工業(yè)化的網(wǎng)絡平臺，對數(shù)據(jù)進行整理、分析、總結，工業(yè)企業(yè)應當發(fā)揮工業(yè)互聯(lián)網(wǎng)的作用，形成終端的服務信息系統(tǒng)。通過建設大數(shù)據(jù)的平臺，為傳統(tǒng)工業(yè)化的改造指明了方向，對新型工業(yè)化建設具有重要意義[1]。對工業(yè)互聯(lián)網(wǎng)信息進行智能處理，實現(xiàn)數(shù)據(jù)同步、交換、集成、調用等功能，為工業(yè)企業(yè)提供數(shù)據(jù)平臺服務和決策支持[2]。

2? ?工業(yè)大數(shù)據(jù)分析與應用（Analysis and application of industrial big data）

2.1? ?工業(yè)大數(shù)據(jù)分析

大數(shù)據(jù)特征體現(xiàn)在量、速度、多樣性、真實性四個方面，而工業(yè)大數(shù)據(jù)的特征在結合大數(shù)據(jù)的基礎上，附加了可見性和價值兩個特點。工業(yè)大數(shù)據(jù)歷經(jīng)了三個階段，如表1所示。工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)相比，最大的區(qū)別在于工業(yè)大數(shù)據(jù)具有很強的目的性，而互聯(lián)網(wǎng)大數(shù)據(jù)更多的是一種關聯(lián)的挖掘，是更加發(fā)散的一種分析，對數(shù)據(jù)的預測和解讀顯得尤為重要[3]，如表2所示。

2.2? ?工業(yè)大數(shù)據(jù)應用

隨著信息技術的迅猛發(fā)展，工業(yè)企業(yè)也相繼進入了互聯(lián)網(wǎng)工業(yè)的新的發(fā)展階段，工業(yè)大數(shù)據(jù)在此背景下創(chuàng)新和變革，其應用范圍很寬泛。工業(yè)大數(shù)據(jù)通常應用在制造、航空、軌道交通、船舶、石油、建筑等方面[4，5]，如表3所示。

3? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)（Industrial Internet and big data）

3.1? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的聯(lián)系

工業(yè)企業(yè)發(fā)展的動力來自工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的融合，通過工業(yè)互聯(lián)網(wǎng)，將來自數(shù)據(jù)操控平臺中的信息匯總，依據(jù)相應的產品技術要求，實現(xiàn)數(shù)據(jù)的解讀與分析，從而提煉出對企業(yè)有價值的信息。而大數(shù)據(jù)可以在跨學科技術融合的基礎上，進行信息匯總與管理，提煉產品最具有價值的信息。通過互聯(lián)網(wǎng)與線下的其他傳播渠道，從而建立新投資目標、發(fā)現(xiàn)新趨勢、提供解決復雜問題的新路徑。

3.2? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用

工業(yè)互聯(lián)網(wǎng)是互聯(lián)網(wǎng)與智能制造的交叉點，在融合大數(shù)據(jù)的前提下，提升了產品的智能性，并充分拓展了行業(yè)的相關應用。產品的智能化是把機器處理和導出系統(tǒng)滲透到產品的生產過程中，保證產品的感知、存儲等能力，實現(xiàn)產品的信息化定位、識別、復原。目前互聯(lián)網(wǎng)汽車、工程機械、智能家電等是產品智能化的熱點領域。同時，工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)通過網(wǎng)絡連接到企業(yè)管理平臺。企業(yè)管理平臺可以利用無線網(wǎng)絡、視頻遠程故障診斷等信息服務系統(tǒng)對設備運行實現(xiàn)遠程操控，及時播報預警[6]。

3.3? ?工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點

在工業(yè)互聯(lián)網(wǎng)時代，通過納入來自產業(yè)鏈上下游以及跨界的數(shù)據(jù)，實現(xiàn)工業(yè)從數(shù)據(jù)向大數(shù)據(jù)的轉變。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)主要呈現(xiàn)四個方面的特點，即：全要素、全過程、全方位、全融合。全要素是指為保證產品數(shù)據(jù)的完整性，其攜帶了產品全部的尺寸、工藝、制造、售后使用信息等;全過程是指為確保產品的最終質量，在數(shù)據(jù)設計和使用時，必須要考慮跨越不同的設計、制造階段;全方位指具體到產品的生產線，從設計、制造、采購等，全方位地關注相關信息，確保產品的實用性。全融合指在信息技術支持的背景下，關注企業(yè)各業(yè)務的全面關聯(lián)及融合。

4? ?工業(yè)大數(shù)據(jù)平臺建設（Construction of industrial big data platform）

4.1? ?云平臺總體架構

工業(yè)大數(shù)據(jù)云平臺通過尋找統(tǒng)一數(shù)據(jù)源、數(shù)據(jù)口徑和數(shù)據(jù)的出入口，來實現(xiàn)對各種專業(yè)的合理分析，并最終統(tǒng)一和完善企業(yè)信息模型。云平臺的總體架構包括PaaS環(huán)境層、PaaS業(yè)務層、PaaS服務層。PaaS環(huán)境層為業(yè)務應用提供支撐的軟件組件、各種中間件和數(shù)據(jù)庫等，以Hadoop為代表的大數(shù)據(jù)處理;PaaS業(yè)務層包含了應用的后合程序、數(shù)據(jù)處理算法以及業(yè)務數(shù)據(jù)等實現(xiàn)業(yè)務能力的元素;PaaS服務層是指將業(yè)務層的業(yè)務、算法和數(shù)據(jù)以接口的形式提供給上層的前端應用直接訪問?？傮w來說，云平臺總體架構面向一般數(shù)據(jù)中心典型的應用場景，提供對混合IT資源的統(tǒng)一接入，以構筑云模式下基礎資源調度的最佳實踐，同時以PaaS能力為核心，將應用系統(tǒng)的典型軟件組件以服務形態(tài)提供，為業(yè)務系統(tǒng)提供統(tǒng)一環(huán)境支持，并進行統(tǒng)一管理和監(jiān)控，將大數(shù)據(jù)平臺作為典型服務組件整合到云平臺中進行統(tǒng)一管理，以適應未來應用對大數(shù)據(jù)能力的普遍使用。為用戶更好地提供面向DevOps的統(tǒng)一云服務業(yè)務流程，以統(tǒng)一平臺提供傳統(tǒng)的laaS和PaaS能力，并貫穿開發(fā)、測試和生產的全過程[7]。

4.2? ?大數(shù)據(jù)平臺目標架構

大數(shù)據(jù)平臺目標架構包括五個層面：應用層、能力層、數(shù)據(jù)層、獲取層、數(shù)據(jù)源，如圖1所示。其中Hadoop平臺是大數(shù)據(jù)平臺中的核心。通過建立分布式的文件管理系統(tǒng)，保證了大量數(shù)據(jù)安全存儲，建立了數(shù)據(jù)分析處理框架。Hadoop集群能迅速擴展到頂級服務器，實現(xiàn)對大數(shù)據(jù)的批量處理。同時，Hadoop通過MapReduce可將任務分布并行運行在一個集群服務器中，實現(xiàn)大規(guī)模并行計算，同時考慮到設備的不穩(wěn)定性，保證了計算的準確性和高效性。而Hadoop云平臺以半結構化數(shù)據(jù)和非結構化數(shù)據(jù)為主，通過存儲海量數(shù)據(jù)，確保使用時的時效性與高效性。

4.3? ?大數(shù)據(jù)平臺中的數(shù)據(jù)分級存儲

數(shù)據(jù)分級存儲應當滿足一定的原則，即大數(shù)據(jù)平臺強調數(shù)據(jù)的生命周期性，隨著數(shù)據(jù)生命周期的變化逐步向通用性能存儲遷移，是分級存儲管理的主線。同時數(shù)據(jù)分級存儲在保證主線暢通的情況下，考慮到其他分級原則，確保數(shù)據(jù)遷移能夠覆蓋到各個層面。在滿足相關原則的基礎上，將核心模型改造，轉化為現(xiàn)有主數(shù)據(jù)倉庫的核心模型，減少了數(shù)據(jù)冗余。集成改造后，將主數(shù)據(jù)倉庫中的關鍵性數(shù)據(jù)轉移到一個低成本的分布式數(shù)據(jù)庫中，降低了主數(shù)據(jù)庫的存儲壓力。同時此存儲系統(tǒng)也支持數(shù)據(jù)的深度分析。

4.4? ?大數(shù)據(jù)平臺中的數(shù)據(jù)處理流程

在滿足相關技術的基礎上，數(shù)據(jù)的采集工作通常包括結構化和非結構化的兩種數(shù)據(jù)采集，數(shù)據(jù)的具體處理過程分為七個環(huán)節(jié)：①源數(shù)據(jù)導入ETL，進行數(shù)據(jù)的清洗、轉換和入庫;②基礎數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存三年;③清洗、轉換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存兩個月，具體數(shù)據(jù)分析和匯總在分布數(shù)據(jù)庫中進行，規(guī)劃保存兩年;④ODS數(shù)據(jù)和非結構化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺做長久保存;⑤非結化數(shù)據(jù)分析處理在Hadoop平臺完成，產生的結果加載到分布式數(shù)據(jù)庫;⑥生成KPI和高度匯總數(shù)振加載到主數(shù)據(jù)倉庫;⑦業(yè)務應用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。

5? ?工業(yè)大數(shù)據(jù)平臺應用（Application of industrial big data platform）

5.1? ?資產管理服務

資產管理服務的重點目標是資產建模、連接資產和數(shù)據(jù)源，其服務范圍分為三個板塊：接口層支持資產分層、屬性分類和自定義建模對象，終端訪問對象建模層，通過轉換數(shù)據(jù)格式，以便于數(shù)據(jù)庫存儲和查詢;相關查詢引擎利用圖形表達式語言檢索數(shù)據(jù);圖形數(shù)據(jù)庫中包含資產服務數(shù)據(jù)存儲，并將原始數(shù)據(jù)描述成數(shù)據(jù)模型。資產管理服務中的資產模型是工業(yè)大數(shù)據(jù)平臺的關鍵，是連接平臺所有服務的中樞，能幫助應用開發(fā)者更好的理解、分析和處理數(shù)據(jù)。

5.2? ?數(shù)據(jù)管理與服務

大數(shù)據(jù)平臺常用的數(shù)據(jù)管理與服務包括對各種類型數(shù)據(jù)進行接入、處理和儲存。數(shù)據(jù)接入指支持多渠道、多類型的數(shù)據(jù)接入，包括實時數(shù)據(jù)接入和批量數(shù)據(jù)接入;數(shù)據(jù)處理包含對傳感器數(shù)據(jù)進行標簽處理、資產數(shù)據(jù)與ERP數(shù)據(jù)相結合等;數(shù)據(jù)儲存是根據(jù)不同的需求選擇相應的存儲方式，類似時間序列存儲傳感器實時數(shù)據(jù)、BLOB數(shù)據(jù)庫存儲圖片式數(shù)據(jù)、關系型數(shù)據(jù)庫存儲其他數(shù)據(jù)等。

5.3? ?數(shù)據(jù)分析服務

數(shù)據(jù)分析服務通常指通過分析實時數(shù)據(jù)檢測設備狀態(tài)、預防設備故障、優(yōu)化生產過程等，并進行迭代提升，在對歷史數(shù)據(jù)進行整合和分析，包括異常檢測、事件流處理、分析運行環(huán)境、分析界面、分析日志等服務項目，建立工業(yè)級的預測模型，以進行更有效地生產和運營。相較于數(shù)據(jù)自身的特點，數(shù)據(jù)分析服務在涉及技術層面的基礎上，更應當滿足企業(yè)與客戶的應用需求，將極度專業(yè)化的技術描述，轉化為更容易的商業(yè)需求。

5.4? ?數(shù)據(jù)安全服務

數(shù)據(jù)安全服務的主要目標為建立企業(yè)互聯(lián)網(wǎng)應用，解決安全性問題，從而滿足企業(yè)互聯(lián)網(wǎng)端對端的安全需求。其服務范圍包括租戶管理、用戶賬戶和身份驗證、訪問控制三個方面。租戶管理指為租戶提供特定服務實體及注冊表，完成租戶和服務實體間的完美映射，在確?？蛻魯?shù)據(jù)信息安全的基礎上，實現(xiàn)服務生命周期管理。用戶賬戶和身份驗證是在傳統(tǒng)用戶信息驗證方法的基礎上，增加多種驗證方法完善身份驗證系統(tǒng)。訪問控制是指建立資源訪問限制，增強用戶賬戶信息驗證的權威性，同時不斷提升和優(yōu)化網(wǎng)絡訪問信息安全，實現(xiàn)復雜條件下的訪問控制。

6? ?結論（Conclusion）

隨著新型工業(yè)化道路的推進，傳統(tǒng)的工業(yè)化道路已不能適應當前社會的發(fā)展需求，本文在結合信息化和產業(yè)化的手段，搭建了工業(yè)大數(shù)據(jù)平臺，并應用于資產管理、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)安全服務等方面，未來工業(yè)發(fā)展的趨勢應當在構建平臺的基礎上，實現(xiàn)產品智能化，確保產品生產的高效性。同時工業(yè)大數(shù)據(jù)平臺也為工業(yè)企業(yè)提供了商業(yè)支持和服務。

參考文獻（References）

[1] Du B，Huang R，Chen X，et al.Active CTDaaS：A Data Service Framework Based on Transparent IoD in City Traffic[J].IEEE Transactions on Computers，2016，65：1-10.

[2] Valerio Persico，Antonio Pescapé，Antonio Picariello，et al.

Benchmarking big data architectures for social networks data processing using public cloud platforms[J].Future Generation Computer Systems，2018，89：98-109.

[3] Jeon S，Hong B.Monte Carlo simulation-based traffic speed forecasting using historical big data[J].Future Generation Computer Systems，2016，65：182-195.

[4] 劉德賀，史玉峰.基于TLS技術的道路邊坡地表位移監(jiān)測研究[J].森林工程，2018，34（02）：95-99.

[5] 吳佳蔚，李希勝，曹璐琳，等.基于BIM技術的綠色建筑節(jié)地設計自動評價[J].建筑科學，2017，33（04）：123-128.

[6] 鄭加柱，高業(yè)何敏.自動推算室內接入點坐標算法[J].測繪通報，2018（02）：21-24;29.

[7] 魏洋，盧海鵬，劉小明，等.基于長標距光纖光柵傳感器的連續(xù)梁橋監(jiān)測技術[J].鐵道科學與工程學報，2017，14（10）：2231-2238.

作者簡介：

許基偉（1996-），男，碩士生.研究領域：數(shù)據(jù)平臺.

馬? 欣（1977-），男，博士，副教授.研究領域：房地產經(jīng)濟與數(shù)據(jù)平臺搭建.