企業(yè)信息一體化數(shù)據(jù)平臺建設(shè)

文｜徐 康

（作者單位：中國石化巴陵石油化工有限公司IT 中心）

企業(yè)信息化建設(shè)過程中出現(xiàn)了多個獨立的信息系統(tǒng)，不能實現(xiàn)數(shù)據(jù)的統(tǒng)一錄入和統(tǒng)一管理，無法實現(xiàn)統(tǒng)一的數(shù)據(jù)分析和數(shù)據(jù)查詢。企業(yè)信息一體化平臺將多個系統(tǒng)兼容到一個平臺中，并在此基礎(chǔ)上對海量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，對企業(yè)的計劃和生產(chǎn)提供有力的支持。企業(yè)信息一體化數(shù)據(jù)平臺將多數(shù)據(jù)源、多種結(jié)構(gòu)、多種時態(tài)、多種主題、多尺度的海量數(shù)據(jù)，科學(xué)有效地采集、轉(zhuǎn)換、存儲、管理和分發(fā)，并在此之上進(jìn)行數(shù)據(jù)挖掘，以獲取有用的信息用于指導(dǎo)企業(yè)的計劃和生產(chǎn)。本文以某石化企業(yè)為案例，介紹了企業(yè)信息一體化數(shù)據(jù)平臺的實現(xiàn)技術(shù)和方法。

一、企業(yè)信息一體化數(shù)據(jù)平臺需求分析

企業(yè)信息化建設(shè)經(jīng)過十幾年的發(fā)展，采集了大量的工業(yè)應(yīng)用數(shù)據(jù)，其中包括調(diào)度排產(chǎn)計劃、工況數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、能耗數(shù)據(jù)以及生產(chǎn)設(shè)備基礎(chǔ)參數(shù)等。這些數(shù)據(jù)涉及不同的系統(tǒng)，并且有一些數(shù)據(jù)需要手工輸入。平臺需要從各獨立系統(tǒng)中采集數(shù)據(jù)，各系統(tǒng)在設(shè)計時自成體系，彼此之間的業(yè)務(wù)處理標(biāo)準(zhǔn)、軟件和網(wǎng)絡(luò)操作平臺都存在很大差異，因而不能實現(xiàn)數(shù)據(jù)共享，無法滿足平臺數(shù)據(jù)收集、模型訓(xùn)練等業(yè)務(wù)需要，難以進(jìn)行多系統(tǒng)、跨平臺的綜合數(shù)據(jù)分析工作，同時這些存放在異構(gòu)環(huán)境中的不同類型數(shù)據(jù)和可能處于離線狀態(tài)的大量歷史數(shù)據(jù)也不便于統(tǒng)一查詢。平臺需要根據(jù)管理需求分析和業(yè)務(wù)描述，將多數(shù)據(jù)源、多種結(jié)構(gòu)、多種時態(tài)、多種主題、多尺度的海量數(shù)據(jù)，科學(xué)有效地采集、轉(zhuǎn)換、存儲、管理和分發(fā)，并在此之上進(jìn)行數(shù)據(jù)挖掘，以獲取有用的管道工藝信息。因此，平臺建立基于數(shù)據(jù)管理及利用的綜合性技術(shù)，具有既保證密集的數(shù)據(jù)更新處理性能、又滿足查詢快捷性、支持多維分析的能力。

二、數(shù)據(jù)平臺實現(xiàn)方案

（一）總體技術(shù)架構(gòu)

以ESB 和ODS 為基礎(chǔ)，建設(shè)集中集成數(shù)據(jù)平臺，實現(xiàn)應(yīng)用集成和數(shù)據(jù)集成，消除數(shù)據(jù)孤島、實現(xiàn)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，滿足生產(chǎn)管理、綜合分析等數(shù)據(jù)使用需求。如圖1 所示。

圖1 總體框架圖

1.企業(yè)運營數(shù)據(jù)倉庫（ODS）

企業(yè)數(shù)據(jù)倉庫功能模塊包括數(shù)據(jù)采集、數(shù)據(jù)整合、數(shù)據(jù)服務(wù)、數(shù)據(jù)管控。數(shù)據(jù)采集實現(xiàn)通過數(shù)據(jù)接口將源業(yè)務(wù)系統(tǒng)數(shù)據(jù)采集到企業(yè)數(shù)據(jù)倉庫緩存區(qū)。數(shù)據(jù)整合實現(xiàn)工廠模型、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)按主題進(jìn)行清洗轉(zhuǎn)換整合。數(shù)據(jù)服務(wù)實現(xiàn)對外共享數(shù)據(jù)，包括數(shù)據(jù)查詢服務(wù)、模型服務(wù)和預(yù)測預(yù)警服務(wù)等。數(shù)據(jù)管控實現(xiàn)元數(shù)據(jù)管理、系統(tǒng)運行監(jiān)控等功能。

2.企業(yè)服務(wù)總線（ESB）

在服務(wù)集成方面，將通過企業(yè)服務(wù)總線，實現(xiàn)對經(jīng)營管理平臺、生產(chǎn)運營平臺及其他系統(tǒng)的融合和集成，完成數(shù)據(jù)信息的交換，規(guī)避了點對點和基于數(shù)據(jù)庫的數(shù)據(jù)交換的模式。

（二）數(shù)據(jù)集中集成

把各專業(yè)系統(tǒng)產(chǎn)生的結(jié)果數(shù)據(jù)，從源頭增量抽取至數(shù)據(jù)緩沖區(qū)，并對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化清洗、整合等數(shù)據(jù)加工過程，最終將數(shù)據(jù)沉淀至企業(yè)數(shù)據(jù)倉庫中，為數(shù)據(jù)共享、數(shù)據(jù)分析提供支撐。

1.數(shù)據(jù)源頭至緩沖數(shù)據(jù)區(qū)流程

企業(yè)業(yè)務(wù)系統(tǒng)產(chǎn)生的不定時、班、日、周、旬、月等業(yè)務(wù)數(shù)據(jù)，ODS 需要按照數(shù)據(jù)產(chǎn)生時間的將業(yè)務(wù)數(shù)據(jù)遷移至ODS 緩沖數(shù)據(jù)區(qū)。緩沖數(shù)據(jù)區(qū)采用oracle 進(jìn)行存儲（包括非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化屬性信息），采用與數(shù)據(jù)源一致的數(shù)據(jù)結(jié)構(gòu)進(jìn)行同步存儲，并擴(kuò)展時間戳（數(shù)據(jù)產(chǎn)生時間、數(shù)據(jù)更新時間、數(shù)據(jù)采集時間）、數(shù)據(jù)操作狀態(tài)、數(shù)據(jù)處理狀態(tài)等屬性。

2.緩沖數(shù)據(jù)區(qū)至集成數(shù)據(jù)區(qū)流程

按照集成數(shù)據(jù)區(qū)設(shè)計的業(yè)務(wù)模型，將緩沖區(qū)存放的各專業(yè)業(yè)務(wù)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、清洗、加工、整合，并把結(jié)果寫入集成數(shù)據(jù)區(qū)。集成數(shù)據(jù)區(qū)采用oracle 進(jìn)行存儲，按照工廠模型設(shè)計物理模型，并擴(kuò)展時間戳（數(shù)據(jù)產(chǎn)生時間、數(shù)據(jù)更新時間、數(shù)據(jù)采集時間）等屬性。

三、關(guān)鍵技術(shù)

基于工廠模型，充分利用成熟數(shù)據(jù)庫技術(shù)（MV+ETL），采集業(yè)務(wù)數(shù)據(jù)，經(jīng)過加工、轉(zhuǎn)換，達(dá)到標(biāo)準(zhǔn)存儲，標(biāo)準(zhǔn)共享的效果；采用元數(shù)據(jù)管理的理念，加強(qiáng)對業(yè)務(wù)模型、數(shù)據(jù)加工過程等管理和監(jiān)控，支持?jǐn)?shù)據(jù)的血緣追蹤及影響分析。

（一）任務(wù)調(diào)度工具

數(shù)據(jù)抽取、轉(zhuǎn)換和加載（Extraction-Transformation-Loading），是數(shù)據(jù)倉庫的核心，按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實施數(shù)據(jù)倉庫的重要步驟。數(shù)據(jù)流是按照一定邏輯組成的從源到目標(biāo)的完整的數(shù)據(jù)處理過程，數(shù)據(jù)流的執(zhí)行過程改變了數(shù)據(jù)流的內(nèi)容和形式。對于一個數(shù)據(jù)處理流程，往往不可能在一個Job 中完成，需要多個Job 的執(zhí)行，執(zhí)行順序需要被合理的安排。

（二）Kettle 工具

Kettle 是個ETL 工具集，可以管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述需求，支持圖形化的GUI 設(shè)計界面，可以以工作流的形式流轉(zhuǎn)，在數(shù)據(jù)抽取、質(zhì)量檢測、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)過濾等方面有著比較穩(wěn)定的表現(xiàn)。

（三）ECharts 工具

Echarts（Enterprise Charts，商業(yè)級數(shù)據(jù)圖表），用于數(shù)據(jù)的分析服務(wù)。一個純Javascript 的圖表庫，可以流暢地運行在PC 和移動設(shè)備上，兼容當(dāng)前絕大部分瀏覽器（IE6/7/8/9/10/11，chrome，firefox，Safari 等），底 層 依賴輕量級的Canvas 類庫ZRender，提供直觀，生動，可交互，可高度個性化定制的數(shù)據(jù)可視化圖表。創(chuàng)新的拖拽重計算、數(shù)據(jù)視圖、值域漫游等特性大大增強(qiáng)了用戶體驗，賦予了用戶對數(shù)據(jù)進(jìn)行挖掘、整合的能力。

四、應(yīng)用案例

某石化企業(yè)經(jīng)過多年的信息化建設(shè)，取得了顯著的成果，形成了經(jīng)營管理層、生產(chǎn)管控層和基礎(chǔ)設(shè)施層三大平臺化應(yīng)用，對企業(yè)生產(chǎn)核心業(yè)務(wù)領(lǐng)域建成了多套應(yīng)用系統(tǒng)，取得了良好的應(yīng)用成效。隨著企業(yè)優(yōu)化產(chǎn)品結(jié)構(gòu)、轉(zhuǎn)型升級、降本增效發(fā)展需求日益迫切，企業(yè)希望數(shù)據(jù)與業(yè)務(wù)流的徹底貫通，強(qiáng)化集中集成，挖掘數(shù)據(jù)價值，進(jìn)一步提升管理效率和管控力。

為此企業(yè)建設(shè)了一體化數(shù)據(jù)平臺，基于ODS 建立了生產(chǎn)、質(zhì)量、財務(wù)等6 大主題庫，實現(xiàn)了ERP、MES、LIMS 等系統(tǒng)的數(shù)據(jù)集中集成，在數(shù)據(jù)倉庫內(nèi)進(jìn)行了業(yè)務(wù)整合。通過ESB，實現(xiàn)相關(guān)系統(tǒng)間數(shù)據(jù)交換由“插管式”轉(zhuǎn)變?yōu)椤凹惺健?，確保了數(shù)據(jù)的一致性和準(zhǔn)確性。在數(shù)據(jù)平臺基礎(chǔ)上，開發(fā)專用報表平臺，實現(xiàn)了與生產(chǎn)經(jīng)營緊密相關(guān)的生產(chǎn)、銷售、庫存等綜合類報表的自動生成，廣泛應(yīng)用于生產(chǎn)調(diào)度、經(jīng)營計劃等業(yè)務(wù)域，為經(jīng)營決策提供了有力支撐。

本文首先介紹了企業(yè)信息一體化數(shù)據(jù)平臺建設(shè)的意義，然后重點介紹了平臺數(shù)據(jù)倉庫的實現(xiàn)技術(shù)，最后分析了某石化企業(yè)一體化數(shù)據(jù)平臺的實現(xiàn)方式，為其他一體化數(shù)據(jù)平臺的搭建提供了典型的參考案例。