大型煤炭企業(yè)數(shù)據(jù)中臺(tái)設(shè)計(jì)方法探究

郝志偉,郭 超

(山西焦煤集團(tuán)有限責(zé)任公司 大數(shù)據(jù)中心, 山西 太原 030024)

大型煤炭企業(yè)多數(shù)存在以下問(wèn)題:總部業(yè)務(wù)部門需求不明晰、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)質(zhì)量不規(guī)范、數(shù)據(jù)安全不可控,各業(yè)務(wù)系統(tǒng)獨(dú)立運(yùn)行、異構(gòu)不兼容,像一個(gè)個(gè)煙囪,很難統(tǒng)一和打通,無(wú)法實(shí)現(xiàn)數(shù)據(jù)的有效共享、業(yè)務(wù)的流程聯(lián)動(dòng)和系統(tǒng)的全面協(xié)同,導(dǎo)致集團(tuán)對(duì)人財(cái)物、產(chǎn)供銷等業(yè)務(wù)的管控力度不足,使安全生產(chǎn)經(jīng)營(yíng)等過(guò)程存在風(fēng)險(xiǎn)、隱患和漏洞;子分公司及廠礦單位多存在采掘機(jī)運(yùn)通等專業(yè)業(yè)務(wù)系統(tǒng)多,數(shù)據(jù)孤島現(xiàn)象嚴(yán)重,且業(yè)務(wù)系統(tǒng)數(shù)據(jù)填報(bào)不準(zhǔn)確、信息輸入不及時(shí),甚至不愿上報(bào)真實(shí)數(shù)據(jù)等。

為解決上述問(wèn)題,需要構(gòu)建各業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享和流程互通的共同底座,以打通各業(yè)務(wù)系統(tǒng),促進(jìn)企業(yè)大數(shù)據(jù)的融通共享、協(xié)同聯(lián)動(dòng),提升集團(tuán)管控能力。數(shù)據(jù)中臺(tái)作為全新的企業(yè)管控理念,以服務(wù)企業(yè)業(yè)務(wù)運(yùn)營(yíng)為目標(biāo),匯聚、整合、存儲(chǔ)煤炭企業(yè)安全生產(chǎn)經(jīng)營(yíng)業(yè)務(wù)大數(shù)據(jù),經(jīng)加工整理后的有用數(shù)據(jù)可通過(guò)挖掘、分析直接應(yīng)用于具體業(yè)務(wù),幫助優(yōu)化業(yè)務(wù)流程,打通業(yè)務(wù)系統(tǒng)間的“部門墻”,促進(jìn)業(yè)務(wù)流程標(biāo)準(zhǔn)化、工作標(biāo)準(zhǔn)信息化、企業(yè)信息智能化,為煤炭企業(yè)實(shí)現(xiàn)減人提效、對(duì)業(yè)務(wù)系統(tǒng)扁平化和人財(cái)物產(chǎn)供銷等核心資源的精益化管理奠定數(shù)據(jù)架構(gòu)基礎(chǔ)。

1 國(guó)內(nèi)外研究現(xiàn)狀

國(guó)內(nèi)外多個(gè)研究者對(duì)數(shù)據(jù)中臺(tái)技術(shù)進(jìn)行了相關(guān)研究。蘇萌等[1]總結(jié)了數(shù)據(jù)中臺(tái)技術(shù)的相關(guān)進(jìn)展,提出數(shù)據(jù)中臺(tái)通用技術(shù)架構(gòu)。艾瑞咨詢[2]從市場(chǎng)規(guī)模、適用行業(yè)、發(fā)展路徑等角度總結(jié)整理了2019年數(shù)據(jù)中臺(tái)在中國(guó)的發(fā)展情況。周綱等[3]介紹了一種應(yīng)用于電力營(yíng)銷服務(wù)業(yè)務(wù)的數(shù)據(jù)中臺(tái)設(shè)計(jì)方法。李炳森等[4]設(shè)計(jì)了適用于電網(wǎng)企業(yè)的數(shù)據(jù)中臺(tái)貼源、共享、分析三層服務(wù)架構(gòu),并研究了關(guān)鍵技術(shù)。羅薇[5]提出了一種應(yīng)用于通訊行業(yè)的中臺(tái)一體化生產(chǎn)體系,強(qiáng)化了生產(chǎn)協(xié)同,提升了用戶體驗(yàn)。于浩淼等[6]基于數(shù)據(jù)中臺(tái)的一般體系架構(gòu),提出中國(guó)聯(lián)通國(guó)際公司中臺(tái)建設(shè)方案。李廣乾[7]、劉童桐[8]探討了數(shù)據(jù)中臺(tái)的內(nèi)涵和外延。劉穎慧等[9]分析了不同企業(yè)的中臺(tái)戰(zhàn)略和架構(gòu),提出了通訊運(yùn)營(yíng)商的數(shù)據(jù)中臺(tái)建設(shè)方法和類型。PTC[10]從體系架構(gòu)、建設(shè)架構(gòu)、落地思路等方面探討了工業(yè)企業(yè)建設(shè)數(shù)據(jù)中臺(tái)面臨的關(guān)鍵問(wèn)題。譚虎等[11]闡述了阿里云數(shù)據(jù)中臺(tái)的一些建設(shè)思路。劉俊良[12]研究了數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì)、關(guān)鍵技術(shù)。陳小勇等[13]論述了數(shù)據(jù)中臺(tái)設(shè)計(jì)思路、總體方案、關(guān)鍵技術(shù)等。但上述研究多為通訊、電力等行業(yè)的數(shù)據(jù)中臺(tái)建設(shè)探究,尚未發(fā)現(xiàn)針對(duì)大型煤炭企業(yè)建設(shè)數(shù)據(jù)中臺(tái)方法的相關(guān)研究。

針對(duì)大型煤炭企業(yè)普遍存在的問(wèn)題,設(shè)計(jì)了一種數(shù)據(jù)中臺(tái)技術(shù)架構(gòu),從數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)、數(shù)據(jù)采集處理、數(shù)據(jù)庫(kù)選擇、數(shù)據(jù)管理、大數(shù)據(jù)分析應(yīng)用、新技術(shù)應(yīng)用等6方面研究探討了數(shù)據(jù)中臺(tái)建設(shè)中的關(guān)鍵技術(shù),為建設(shè)適用于大型煤炭企業(yè)的數(shù)據(jù)中臺(tái),推進(jìn)各業(yè)務(wù)大數(shù)據(jù)協(xié)同聯(lián)動(dòng)和深度分析應(yīng)用提供可借鑒的解決思路。

2 數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)

結(jié)合大型煤炭企業(yè)特點(diǎn),數(shù)據(jù)中臺(tái)建設(shè)可遵循以下流程:采集集團(tuán)人力、財(cái)務(wù)、設(shè)備、生產(chǎn)等核心業(yè)務(wù)數(shù)據(jù),基于規(guī)范統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),在保障數(shù)據(jù)質(zhì)量的前提下,對(duì)數(shù)據(jù)進(jìn)行清洗加工等處理,存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù),形成可以復(fù)用的元數(shù)據(jù),沉淀共性數(shù)據(jù)及服務(wù),實(shí)現(xiàn)一次錄入數(shù)據(jù),在數(shù)據(jù)控制權(quán)限內(nèi)所有業(yè)務(wù)系統(tǒng)共享,構(gòu)建業(yè)務(wù)共享和流程互通的共同底座;對(duì)數(shù)據(jù)進(jìn)行建模,利用大數(shù)據(jù)建模、算法等開展主題分析等大數(shù)據(jù)挖掘、分析應(yīng)用,實(shí)現(xiàn)利用大數(shù)據(jù)對(duì)企業(yè)人員流、資金流、物資流進(jìn)行在線監(jiān)控,防控企業(yè)風(fēng)險(xiǎn),研判安全生產(chǎn)經(jīng)營(yíng)趨勢(shì),充分支持各層級(jí)領(lǐng)導(dǎo)決策的目的。同時(shí),通過(guò)提供統(tǒng)一應(yīng)用展示門戶,對(duì)內(nèi)支撐集團(tuán)安全生產(chǎn)經(jīng)營(yíng)等業(yè)務(wù)數(shù)據(jù)應(yīng)用,對(duì)外統(tǒng)一構(gòu)建與政府監(jiān)管部門、客戶、供應(yīng)商等的安全可控?cái)?shù)據(jù)交換出入口,由集團(tuán)統(tǒng)一、安全、高效地把控對(duì)外交換數(shù)據(jù),支持集團(tuán)多維度的精益化管理,實(shí)現(xiàn)全方位、全鏈條、全域賦能全集團(tuán)管理升級(jí)。典型的數(shù)據(jù)中臺(tái)架構(gòu)見圖1,主要包括數(shù)據(jù)源、數(shù)據(jù)采集處理、數(shù)據(jù)庫(kù)、數(shù)據(jù)管理、大數(shù)據(jù)分析、應(yīng)用展示等6部分。

一個(gè)典型的數(shù)據(jù)中臺(tái)的數(shù)據(jù)流見圖2,通過(guò)對(duì)集團(tuán)業(yè)務(wù)系統(tǒng)中數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換等工作,存儲(chǔ)進(jìn)集團(tuán)數(shù)據(jù)庫(kù),根據(jù)各層級(jí)領(lǐng)導(dǎo)對(duì)不同主題數(shù)據(jù)分析的需要,利用相關(guān)建模和算法對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的相關(guān)數(shù)據(jù)進(jìn)行主題分析、展示,支持各層級(jí)領(lǐng)導(dǎo)決策,并將分析結(jié)果及時(shí)應(yīng)用到集團(tuán)相關(guān)業(yè)務(wù)部門,保證領(lǐng)導(dǎo)決策的快速高效執(zhí)行。

3 關(guān)鍵技術(shù)分析

數(shù)據(jù)中臺(tái)建設(shè)的關(guān)鍵技術(shù)主要包括數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系建設(shè)、數(shù)據(jù)采集處理、數(shù)據(jù)庫(kù)選擇、數(shù)據(jù)管理、大數(shù)據(jù)分析應(yīng)用、新技術(shù)應(yīng)用等6方面。

3.1 數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)

圍繞大型煤炭企業(yè)生產(chǎn)、運(yùn)輸、銷售全鏈條,人力、財(cái)務(wù)、設(shè)備、生產(chǎn)、供應(yīng)、銷售、法務(wù)、投資、辦公全業(yè)務(wù),通過(guò)制定數(shù)據(jù)源輸入標(biāo)準(zhǔn)、主數(shù)據(jù)企業(yè)標(biāo)準(zhǔn)、編制并出臺(tái)相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)管理辦法、開展集團(tuán)相關(guān)業(yè)務(wù)數(shù)據(jù)清洗等方式,推動(dòng)集團(tuán)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一、規(guī)范使用,逐步構(gòu)建包括規(guī)范定義、術(shù)語(yǔ)、模型架構(gòu)、元數(shù)據(jù)命名規(guī)范、編碼規(guī)范等在內(nèi)全集團(tuán)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系。同時(shí),通過(guò)加強(qiáng)對(duì)各子分公司的督導(dǎo)管理,規(guī)范集團(tuán)公司數(shù)據(jù)標(biāo)準(zhǔn)體系的統(tǒng)一應(yīng)用,為數(shù)據(jù)存儲(chǔ)、管理、分析應(yīng)用和展示奠定標(biāo)準(zhǔn)基礎(chǔ)。

3.2 數(shù)據(jù)采集處理

建設(shè)大型煤炭企業(yè)全集團(tuán)統(tǒng)一的數(shù)據(jù)采集平臺(tái),根據(jù)數(shù)據(jù)源輸入標(biāo)準(zhǔn),對(duì)人力、財(cái)務(wù)、設(shè)備等各分散、凌亂的業(yè)務(wù)數(shù)據(jù)進(jìn)行采集匯聚,通過(guò)ETL等技術(shù),形成清晰有序的有用數(shù)據(jù),存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中,形成元數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)一次采集或錄入、所有業(yè)務(wù)共享共用,滿足企業(yè)對(duì)煤炭安全生產(chǎn)、經(jīng)營(yíng)管理等業(yè)務(wù)數(shù)據(jù)管理要求的同時(shí),為集團(tuán)級(jí)的大數(shù)據(jù)分析提供統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)保障。

3.3 數(shù)據(jù)庫(kù)選擇

相比于Mpp數(shù)據(jù)庫(kù),Hadoop擁有更多的計(jì)算節(jié)點(diǎn)數(shù)、更大的數(shù)據(jù)量,適用于存儲(chǔ)關(guān)系型、半關(guān)系型、無(wú)結(jié)構(gòu)化、語(yǔ)音、圖像、視頻等多種數(shù)據(jù)類型,因此,Hadoop數(shù)據(jù)庫(kù)適用范圍更廣泛,但當(dāng)面對(duì)需要大規(guī)模并行處理的場(chǎng)景時(shí),Mpp更有優(yōu)勢(shì)。大型煤炭企業(yè)涉及人力、財(cái)務(wù)、設(shè)備、銷售、投資、辦公等多業(yè)務(wù)復(fù)雜的應(yīng)用場(chǎng)景,應(yīng)選擇Mpp和Hadoop混合型數(shù)據(jù)庫(kù)作為存儲(chǔ)媒介,以構(gòu)建一套既能管理全域業(yè)務(wù)數(shù)據(jù)、又能支撐上層應(yīng)用需求的新型數(shù)據(jù)庫(kù),為實(shí)現(xiàn)快速高效的數(shù)據(jù)挖掘、分析提供數(shù)據(jù)存儲(chǔ)支持。

3.4 數(shù)據(jù)管理

數(shù)據(jù)庫(kù)中數(shù)據(jù)按照一定的數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量規(guī)則匯集形成元數(shù)據(jù)和主數(shù)據(jù),高質(zhì)量的元數(shù)據(jù)和主數(shù)據(jù)可形成不同的主題數(shù)據(jù)庫(kù),有效支撐大型煤炭企業(yè)進(jìn)行安全生產(chǎn)、銷售管理、設(shè)備資產(chǎn)盤活等不同主題的大數(shù)據(jù)分析。同時(shí)高質(zhì)量的元數(shù)據(jù)和主數(shù)據(jù)可對(duì)企業(yè)不同業(yè)務(wù)提供全集團(tuán)統(tǒng)一的數(shù)據(jù)共享和服務(wù),從而實(shí)現(xiàn)各業(yè)務(wù)信息互通、數(shù)據(jù)共享和全面協(xié)同,增強(qiáng)企業(yè)競(jìng)爭(zhēng)力、管控力和抗風(fēng)險(xiǎn)能力。

3.4.1 元數(shù)據(jù)管理

元數(shù)據(jù)可以讓企業(yè)數(shù)據(jù)資產(chǎn)用清晰直觀的方式進(jìn)行呈現(xiàn),對(duì)元數(shù)據(jù)的管理包括元數(shù)據(jù)基礎(chǔ)管理、元數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)分析等。其中,元數(shù)據(jù)基礎(chǔ)管理包括對(duì)元數(shù)據(jù)添加、刪除、修改,元數(shù)據(jù)間關(guān)系建立、維護(hù),元數(shù)據(jù)自身質(zhì)量的核查,元數(shù)據(jù)查詢、統(tǒng)計(jì)等;元數(shù)據(jù)質(zhì)量管理包括對(duì)元數(shù)據(jù)屬性、關(guān)系及安全性和一致性的檢查等;元數(shù)據(jù)分析主要指通過(guò)血緣分析、影響性分析、實(shí)體關(guān)聯(lián)分析、全景分析等,直觀了解元數(shù)據(jù)來(lái)源、流向、被引用次數(shù)等重要信息,以實(shí)時(shí)掌握元數(shù)據(jù)真實(shí)狀況。

3.4.2 主題數(shù)據(jù)管理

對(duì)大型煤炭企業(yè)財(cái)務(wù)、采購(gòu)、科研等不同主題域數(shù)據(jù)的管理能有效支撐不同主題的大數(shù)據(jù)分析,同時(shí),各主題域內(nèi)部,不同來(lái)源的數(shù)據(jù)可通過(guò)統(tǒng)一的標(biāo)準(zhǔn)基礎(chǔ)數(shù)據(jù)實(shí)現(xiàn)相互的關(guān)聯(lián),例如,采購(gòu)主題的供應(yīng)商信息、合同信息等可通過(guò)客戶編碼、合同編碼等,實(shí)現(xiàn)互相聯(lián)系、互相融合;各主題域之間,來(lái)自于同一數(shù)據(jù)源的同樣數(shù)據(jù)是互相共享的。采購(gòu)主題中對(duì)供貨、質(zhì)檢、合同分析的數(shù)據(jù)管理流程見圖3.

圖3 采購(gòu)主題中對(duì)供貨、質(zhì)檢、合同分析的數(shù)據(jù)管理流程圖

3.4.3 數(shù)據(jù)質(zhì)量管理

通過(guò)建設(shè)包括質(zhì)量規(guī)則、核對(duì)校驗(yàn)、監(jiān)控診斷、質(zhì)量報(bào)告在內(nèi)的數(shù)據(jù)質(zhì)量體系,能有效保障數(shù)據(jù)的完整性、一致性、合法性、關(guān)聯(lián)性、唯一性。在大型煤炭企業(yè)的實(shí)際應(yīng)用過(guò)程中,一個(gè)典型的數(shù)據(jù)質(zhì)量管理流程如下:利用數(shù)據(jù)質(zhì)量規(guī)則,對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)篩查,判斷出的數(shù)據(jù)質(zhì)量問(wèn)題,反饋給相關(guān)業(yè)務(wù)部門進(jìn)行確認(rèn)、調(diào)整,以有效提升數(shù)據(jù)質(zhì)量。

3.5 大數(shù)據(jù)分析應(yīng)用

針對(duì)大型煤炭企業(yè)存在的痛點(diǎn)、難點(diǎn)問(wèn)題,可以選擇一個(gè)或者多個(gè)應(yīng)用場(chǎng)景,通過(guò)數(shù)據(jù)建模、算法等,開展多業(yè)務(wù)協(xié)同的主題分析,對(duì)內(nèi)支撐領(lǐng)導(dǎo)決策分析和提升各業(yè)務(wù)精益管理水平,對(duì)外賦能客戶、供應(yīng)商等產(chǎn)業(yè)鏈數(shù)據(jù),同時(shí)支持政府決策和服務(wù)社會(huì)關(guān)切。例如,針對(duì)企業(yè)各業(yè)務(wù)存在的信息孤島嚴(yán)重,無(wú)法實(shí)現(xiàn)數(shù)據(jù)的有效共享、業(yè)務(wù)的流程聯(lián)動(dòng)和系統(tǒng)的全面協(xié)同問(wèn)題,可開展產(chǎn)洗運(yùn)銷協(xié)同聯(lián)動(dòng)等大數(shù)據(jù)分析,讓數(shù)據(jù)為管理賦能:對(duì)大型煤炭企業(yè)所屬煤礦各類數(shù)據(jù)進(jìn)行針對(duì)性建模、多維度分析和綜合集成展示,并援引集團(tuán)外部相關(guān)數(shù)據(jù)研判煤炭?jī)r(jià)格,預(yù)測(cè)市場(chǎng)走勢(shì),通過(guò)抓產(chǎn)銷、帶中間、堵漏洞,促進(jìn)集團(tuán)公司精益化管理水平的提升,輔助集團(tuán)領(lǐng)導(dǎo)科學(xué)決策。

3.6 新技術(shù)應(yīng)用

在大型煤炭企業(yè)的數(shù)據(jù)中臺(tái)建設(shè)中,加強(qiáng)對(duì)視覺(jué)識(shí)別、語(yǔ)音識(shí)別和RPA流程機(jī)器人等新技術(shù)推廣應(yīng)用,能有效提高數(shù)據(jù)利用率、降低勞動(dòng)強(qiáng)度、提升業(yè)務(wù)服務(wù)能力、實(shí)現(xiàn)業(yè)務(wù)技術(shù)創(chuàng)新。例如,利用語(yǔ)音識(shí)別技術(shù),將原來(lái)需要通過(guò)PC端手動(dòng)操作的方式轉(zhuǎn)化為直接通過(guò)語(yǔ)音實(shí)現(xiàn)系統(tǒng)控制,并利用語(yǔ)音播報(bào)自動(dòng)直觀展示需查詢、分析的結(jié)果;利用視覺(jué)識(shí)別技術(shù)和RPA流程機(jī)器人,通過(guò)對(duì)網(wǎng)頁(yè)或PDF等非結(jié)構(gòu)化頁(yè)面的采集或OCR識(shí)別,智能將所需數(shù)據(jù)實(shí)時(shí)、準(zhǔn)確、高效自動(dòng)填入表格,并生成匯總表,有效提升集團(tuán)業(yè)務(wù)準(zhǔn)確性、合規(guī)性和工作效率。

4 總 結(jié)

針對(duì)大型煤炭企業(yè)普遍存在的業(yè)務(wù)系統(tǒng)龐雜、信息孤島和數(shù)據(jù)壁壘嚴(yán)重,導(dǎo)致集團(tuán)對(duì)子分公司管控能力不足、存在安全生產(chǎn)經(jīng)營(yíng)風(fēng)險(xiǎn)等問(wèn)題,設(shè)計(jì)了一種數(shù)據(jù)中臺(tái)技術(shù)架構(gòu),并從數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)、數(shù)據(jù)采集處理、數(shù)據(jù)庫(kù)選擇、數(shù)據(jù)管理、大數(shù)據(jù)分析應(yīng)用、新技術(shù)應(yīng)用等6方面探討了數(shù)據(jù)中臺(tái)建設(shè)中的關(guān)鍵技術(shù),為建設(shè)適用于大型煤炭企業(yè)的數(shù)據(jù)中臺(tái),實(shí)現(xiàn)全集團(tuán)數(shù)據(jù)的標(biāo)準(zhǔn)化、資產(chǎn)化、價(jià)值化、服務(wù)化、自主化和開放化提供一種可借鑒的參考。