大型傳統(tǒng)企業(yè)應用大數據技術探索與實踐

王瑋

摘要：隨著企業(yè)數字化轉型、工業(yè)互聯(lián)網的發(fā)展，數據資產的重要性日益突出。互聯(lián)網企業(yè)已將成功將大數據技術應用于精準營銷、輔助決策等生產活動的各個方面。但針對傳統(tǒng)企業(yè)如何將大數據應用于經營生產，尚未有成熟的應用模式。本文通過多大數據技術的研究，從大數據平臺、數據建設方法、預期收益等角度分別論述。

關鍵詞：大數據;數字化轉型

1 傳統(tǒng)企業(yè)應用大數據技術難點

傳統(tǒng)企業(yè)在信息化的建設過程中，往往重應用，輕數據。通常存在以下問題：1生產過程中生成的大量現(xiàn)場實時數據、非結構化數據（文件、音視頻等）未進行有效長期存儲，生產業(yè)務相關數據資產未進行很好的沉淀保護2未形成統(tǒng)一的數據標準，分公司之間的數據難共享，形成數據孤島;3存在數據缺失、數據不一致、數據可信度低的情況;4數據權限類型等級不明，無法對數據實現(xiàn)分級分類的管理，存在敏感數據泄露的風險;5數據利用率低，數據的分析不夠直觀;隨著業(yè)務發(fā)展和信息化建設，以上問題愈發(fā)明顯，數據的資產價值較難體現(xiàn)。

特別是隨著大數據技術的不斷成熟，數據的價值正不斷挖掘，但傳統(tǒng)企業(yè)往往陷入懂業(yè)務的人不懂數據技術，懂數據技術的不懂業(yè)務的兩難境地。

2傳統(tǒng)企業(yè)應用大數據技術的關注點

在應用大數據技術中，構建企業(yè)統(tǒng)一的大數據技術平臺是較為成熟和可行的方式，將公司海量數據在一個平臺上進行集中存儲、建模、分析，通過“數據生長在一起”的方式，使得數據資源跨區(qū)域、跨層級、跨部門的互聯(lián)互通、融合成為可能，從而不斷洞察數據價值。因此，如何構建一個大數據平臺至關重要。

2.1多樣的數據采集存儲

與互聯(lián)網應用不同，傳統(tǒng)企業(yè)有大量的現(xiàn)場設備/設施的數據需要采集（如工業(yè)控制系統(tǒng)數據、生產裝置的數據、能源消耗的數據等等）。因此，在搭建數據采集模塊時，除了要考慮傳統(tǒng)的oracl/mySql/DB2、NoSQL、文檔等數據的采集外，還需要能夠采集視頻數據、各類傳感器數據、能夠支持OPC/MODBUS等多種工業(yè)協(xié)議。存儲的選擇也要根據數據類型的不同，選擇合適存儲類型。通常，結構化數據庫（如ORACLE）、非結構化數據庫（如HBAS）、文件存儲（如HDFS）、工業(yè)實施數據存儲（如PI實時數據庫）都必不可少。

2.2海量的數據處理

大數據的特點就是數據量大，在數據處理中，重點應該關注離線數據處理和流數據處理兩種技術。離線處理主要用于批量的結構化數據的計算，可以提供海量數據數據的分析建模服務。用戶可以不必關心分布式計算細節(jié)，從而達到分析大數據的目的。實時流處理技術旨在更少的時間內處理更多的數據，具備強大的實時處理能力，例如現(xiàn)場設備的實時診斷、同步預警等都需要用到流計算。

2.3統(tǒng)一的數據治理

各分支機構遵循同一套標準進行開發(fā)，堅持“事中實時監(jiān)控攔截、事后有效管理改進”，從而實現(xiàn)數據質量的自運營機制，確保數據質量滿閉環(huán)管理。

在數據治理中，模型的分層設計，是較為重要的一環(huán)，通過模型的統(tǒng)一分層設計，，使得懂數據處理技術的人員關注于物理的表結構、存儲空間等;使做數據分析的人員能關注在業(yè)務層面，屏蔽技術細節(jié)。通?？煞譃槿龑幽Ｐ停簲祿彌_層保持與原系統(tǒng)模型及數據一致。數據倉庫層對臟數據清洗、標準化、主數據檢測、數據更新歸檔合并等。數據集市層按照業(yè)務設計分域整合主題模型，面向業(yè)務應用。

2.4分級的安全防護

通過數據分級分類，明確了需要重點保護的敏感數據資產，從數據安全生命周期角度出發(fā)，采取管理和技術兩方面的手段，在數據安全生命周期的每一個階段，都有相應的安全管理制度以及安全技術保障。研究數據權限管理、數據安全等級管理和數據脫敏管理。通過對數據生命周期（數據生產、數據存儲、數據使用、數據傳輸、數據傳播、數據銷毀）各環(huán)節(jié)進行數據安全管理管控，實現(xiàn)數據安全目標。

3 數據建設的方法

與傳統(tǒng)信息系統(tǒng)建設相比，數據建設更加強調統(tǒng)一的數據資產管理。應該首先根據企業(yè)的業(yè)務流程，在企業(yè)業(yè)務規(guī)劃階段，同步制定出各個業(yè)務環(huán)節(jié)過程中的數據模型，通過統(tǒng)一規(guī)劃設計，確保數據治理。同時在信息系統(tǒng)建設中，強調對需求的數據建模，將數據模型建立從原來的系統(tǒng)開發(fā)中抽離出來，作做單獨的環(huán)節(jié)。具體的執(zhí)行步驟如下圖：

4 大數據技術對企業(yè)的價值

通過實踐表明，數據質量高、數據分析能力強的企業(yè)，在經營決策分析、精細化管理、一體化協(xié)同方面明顯具有較大優(yōu)勢。數據帶來的價值簡要分析如下：

1.通過數據模型的建立，將數據沉淀為業(yè)務經驗，提升數據分析能力與利用效率。

2.通過標準編制和數據清理，對數據資產進行統(tǒng)一集中的管理，提升數據資產質量，實現(xiàn)數據從開發(fā)到運維的全程高效管控。

3.通過各業(yè)務的數據的匯總標識，率先在數據層面，實現(xiàn)跨業(yè)務的數據打通，通過數據分析，洞察業(yè)務機會點，延長產業(yè)鏈拓展產業(yè)的范圍，促進不同業(yè)務領域的一體化協(xié)同。

4.通過產業(yè)數據資產化促進數據變現(xiàn)，洞察業(yè)務，借助數據分析逐漸滲透到各產業(yè)及業(yè)務場景，進而探索服務新業(yè)態(tài)激活產業(yè)新動能。

參考文獻：

[1] ?企業(yè)級大數據平臺構建：架構與實現(xiàn) [M].機械工業(yè)出版社，朱凱，2018

[2] ?企業(yè)IT架構轉型之道 [M].機械工業(yè)出版社，鐘華 2017

（作者單位：中海油信息科技有限公司）