基于數據湖的國資國企在線監(jiān)管平臺應用研究

李崇智

（中國中煤能源集團公司，北京 100120）

1 背景分析

國務院國資委印發(fā)了國資國企在線監(jiān)管系統建設工作方案，提出了國資國企在線監(jiān)管系統建設“三年行動計劃”，編制了《國資監(jiān)管業(yè)務數據指標庫》（1.0 版）明確了國資委17 個廳局對各類業(yè)務的27762 個國資監(jiān)管指標，并對其有無業(yè)務支撐、采集頻率、字段類型、字段名稱、數據類型、數據長度、保密情況、采集范圍進行了明確，要求各中央企業(yè)搭建自身國資國企在線監(jiān)管平臺，實現與國資委的數據貫通，實時監(jiān)管。為貫徹落實中共中央辦公廳《關于解決形式主義突出問題為基層減負的通知》精神，中煤集團提出要進一步改進工作作風，提高工作效率，切實為基層企業(yè)減負，進一步整治形式主義、官僚主義，切實解決“總部機關化”問題，充分運用信息化手段減少企業(yè)重復報送數據、多頭報送數據的問題，利用信息化手段直接收集數據資料而不再要求基層企業(yè)填報。建設基于數據湖的國資國企在線監(jiān)管平臺成為解決國資委監(jiān)管和中煤集團監(jiān)管兩層監(jiān)管需要的主要解決路徑。

2 國資國企在線平臺業(yè)務數據方案

2.1 “數字中煤”的“一湖、兩庫”架構設計

“一湖”為實現數字中煤而構建的利用大數據分析和人工智能技術實現中煤集團各類管理、運營，以及生產數據集中管理、分析、運營的數據湖。“兩庫”為“國資委監(jiān)管指標庫”和“中煤集團層面監(jiān)管指標庫”，充分利用兩庫建設既滿足國資委對中煤集團的數據指標監(jiān)管，同時也滿足中煤集團對各級所屬企業(yè)的數據指標監(jiān)管。

“一湖、兩庫”的數據方案是在詳細分析國資委監(jiān)管指標庫和集團公司各類監(jiān)管業(yè)務的基礎上提出的，充分考慮了國資監(jiān)管業(yè)務與中煤集團監(jiān)管業(yè)務的跨業(yè)務管理、交叉采集、數據共享等因素后構建提出，以數據為中心，構建邏輯統一的“大系統、大平臺、大數據”監(jiān)管平臺，建成“橫向到邊、縱向到底”的中煤集團在線監(jiān)管平臺，推動國資監(jiān)管數據在中煤集團層面的匯聚和共享，實現中煤集團與國資委系統的互聯互通。

2.2 “國資監(jiān)管在線監(jiān)管”的業(yè)務需求

中煤集團“國資監(jiān)管在線監(jiān)管平臺”建設緊緊圍繞國資委“三年行動計劃”，搭建符合中煤集團管控實際的“大數據、大平臺、大系統”國資監(jiān)管平臺。系統建設堅持“重點突出”“應用導向”“持續(xù)提高”“安全保密”建設原則。以國資委管數據報送、集團重點關切管控數據為重點；以系統應用推動建設，從應用中發(fā)現問題，在解決問題后持續(xù)提高應用質量，抓住關鍵環(huán)境，消除監(jiān)管盲點，突出監(jiān)管成效；以數據為核心，推動企業(yè)監(jiān)管數據的匯聚和共享，實現網絡、數據、業(yè)務的對接和聯通，協同發(fā)展，有效降低手工數據錄入；統籌考慮網絡信息安全防護體系，提升安全保密管理，做到數據收集有范圍，數據利用有依據。

目前按照國資委《2019 年國資國企在線監(jiān)管系統建設方案》和《2019 年國資委國企在線監(jiān)管系統建設重點任務分工表》中的有關要求，并結合《國資監(jiān)管業(yè)務數據指標庫》（1.0 版）各類數據，梳理目前國資委指標庫共包含監(jiān)管指標27762 個，涉及56個報表和38 個書面文件，數據收集用于國資委規(guī)劃局、產權局、財管運行局等16 個廳局。

經過詳細梳理管控信息系統已建設情況，摸清可集成數據和待錄入數據，設計數據抓取、存儲、分析、展現等功能模塊，同時針對無法抓取數據問題設計各管理層次、業(yè)務領域覆蓋范圍廣的數據錄入、審核、報送、分析等功能模塊。集團對內監(jiān)管數據指標共88 類，涵蓋系統報送、郵件報送、光盤報送、紙質文件報送等多種報送形式的報送數據，數據收集周期包括月報、季報、半年報、年報、臨時報送等。

平臺具體功能包括領導駕駛艙、重點數據分析與報警、國資報送審查、國資數據報表生成等功能模塊。數據共享平臺包括業(yè)務數據對接、數據抓取、中間數據庫轉存、基礎數據分析、國資委數據報送對接等功能。根據國資委國資監(jiān)管重點業(yè)務，研究形成典型問題清單，梳理監(jiān)管盲點，抓住關鍵環(huán)節(jié)，突出監(jiān)管成效，增強通過信息化手段發(fā)現問題和風險預警能力。同時借助國資國企在線監(jiān)管打通內部信息系統，解決關鍵數據的孤島問題。根據國資委監(jiān)管聯動機制，研究“三重一大”與項目，項目與資金，產權與“三重一大”之間的業(yè)務聯動機制，明確“三重一大”決策運行、項目管理、產權管理、大額資金系統之間的對接指標和銜接關系。

2.3 平臺數據建設路徑

國資國企在線監(jiān)管平臺的建設思路是按照指標梳理、數據匯聚、管控設計、管控落實的整體建設步驟開展。

指標梳理階段重點分析國資委側和集團公司側各類業(yè)務監(jiān)管體系指標，明確指標數據來源、數據屬性、收集特點、管理方式，在國資委下發(fā)數據指標基礎上形成中煤集團的國資國企在線監(jiān)管平臺指標庫；數據匯聚階段把已有系統支撐的系統實現數據對接和數據提取，將數據匯聚到國資國企在線監(jiān)管平臺數據集中，同時整理落在總部各部室非系統支撐類數據，以統一導入的方式實現數據存儲；管控設計階段將數據管控和業(yè)務管控方案有機結合，利用監(jiān)管智能分析，體系化數據利用，確保一數一源，數據準確，促進管理提升和信息化系統應用提升；管控落實階段將構建按照統一數據采集、統一共享交換原則，協同推進管控，確保集團收集各類管控數據內容和版本的一致性，力爭對外報送數據的可追溯、可管理。

3 主要技術的研究與應用

3.1 數據交換技術解決方案

國資國企在線監(jiān)管的數據交換包括“中煤集團與國資委端的數據交換”和“監(jiān)管平臺與中煤集團各應用系統的數據交換”兩個方向的解決方案設計。

中煤集團國資監(jiān)管平臺與國資委端的數據交換包括與國資委接口的對接、接口的管理、數據打包、加解密、監(jiān)管數據下載等功能。

監(jiān)管平臺與中煤集團各應用系統的數據交換按照統一的數據交換中間庫、數據交換標準、數據ETL 抽取架構、數據入庫模式進行設計。業(yè)務系統與中煤集團數據倉庫的接口數據通過中間庫的方式實現。

3.2 數據湖在國資監(jiān)管業(yè)務中的應用實現

數據湖是一個中心數據存儲的容器，可以用于存儲格式化、半格式化、非格式化的各類數據，通過搭建中煤集團數據湖將各類業(yè)務管理數據通過上游業(yè)務系統和采集平臺匯總，對數據進行編碼、屬性化、元數據化、結構編排，后進行數據清理，依照國資監(jiān)管庫和中煤監(jiān)管庫兩庫架構建設數據目錄，支撐后續(xù)數據價值挖掘和數據共享再利用服務。國資國企在線監(jiān)管數據湖搭建注重關注集成能力、存儲能力、治理能力、安全能力、發(fā)現能力、分析能力、質量治理7 個核心能力。通過定義數據接入層、數據存儲層、數據計算層、數據應用層四層架構，利用ETL（Extract-Transform-Load）、ODS（Operational Data Store）、DW（Data Warehouse）、DM（Data Mart）建模形成統一數據湖，如圖1 所示。

圖1 監(jiān)管數據湖模型設計架構

國資監(jiān)管數據通過ETL 和中間庫的方式集中匯聚到ODS層，將屬于集團公司各監(jiān)管部門的業(yè)務數據進行統一存儲，通過建模工具，利用域、目錄、標簽、數據來源、數據資源結構、指標方案、數據血緣關系、數據關聯關系、數據參數關系、數據歷史版本管理實現數據的DW 層化，明確中煤集團監(jiān)管庫和國資委監(jiān)管庫的對應關系，監(jiān)管指標庫之間的對應關系，監(jiān)管指標庫和原系統的對應關系。最終通過數據市場、數據分析、數據挖掘、數據可視化、數據查詢等DM 層化，最終落實數據湖總體價值體現，增強數據共享能力，盤活數據資產價值。

4 應用效果和總結

基于數據湖的國資國企在線監(jiān)管平臺建設達到了預期的目標，取得了優(yōu)異的應用成效，主要表現在以下方面。

（1）落實國務院國資委國資監(jiān)管“三年行動計劃”有關要求。把握新時代技術革命大勢，認真貫徹國務院國資委關于央企數字化轉型和兩化融合的要求，利用云計算、大數據、人工智能等數字信息技術，通過構建集團公司國資監(jiān)管的“一湖、兩庫”體系，形成各類管理、運營、生產數據集中管理、分析、運營的“數據湖”和“國資委監(jiān)管”集團公司監(jiān)管”兩個指標庫，促進中煤集團數字化轉型。

（2）持續(xù)開展“總部機關化”問題整改工作。根據中煤集團“總部機關化”持續(xù)整改的要求，建立數據材料歸口管理機制和動態(tài)更新機制，堅持數據資料的協同共享、動態(tài)更新原則，逐漸形成集團公司的數據資產，實現“庫中有數”“庫中有料”，避免急要現找的情況，切實為所屬企業(yè)數據報送減負。

（3）搭建集中的數據管理中臺，統一管理監(jiān)管數據資產。結合國務院國資委《國資監(jiān)管統一數據采集交換平臺接入指南》《國資監(jiān)管業(yè)務數據指標庫》（1.0 版）等技術業(yè)務方案，利用數據湖、數據分析、數據編排等技術，統一匯聚中煤集團總部監(jiān)管業(yè)務數據，集中盤點集團公司數據資產，實現數據的共享利用，數據智能分析，輔助決策支持，促使應用系統數據應用和數據質量的大幅改進。