大數(shù)據(jù)應用與大數(shù)據(jù)體系規(guī)劃探討

高福春

(中國核電工程有限公司，北京 100840)

當前，信息技術(shù)發(fā)展迅猛、技術(shù)創(chuàng)新層出不窮，以“大數(shù)據(jù)”和“AI技術(shù)”為引領(lǐng)的智能化浪潮正在席卷全球，“大數(shù)據(jù)”已成為加速企業(yè)產(chǎn)品服務創(chuàng)新、推動組織業(yè)務變革、引領(lǐng)社會轉(zhuǎn)型的重要因素。大數(shù)據(jù)是一種數(shù)據(jù)處理技術(shù)，是一種新的思維方式，更是一系列新理念、新方法、新要素的集中體現(xiàn)。在大數(shù)據(jù)時代，數(shù)據(jù)是財富、是資源、也是競爭力。

大數(shù)據(jù)領(lǐng)域廣受信息技術(shù)廠商的關(guān)注，全球眾多信息技術(shù)廠商紛紛布局大數(shù)據(jù)領(lǐng)域相關(guān)技術(shù)研究與開發(fā)，IBM、微軟、Oracle、Teradata等先行者已通過技術(shù)手段確立了大數(shù)據(jù)技術(shù)與產(chǎn)品的市場地位，已經(jīng)形成了一套較為完整的大數(shù)據(jù)生態(tài)體系。

2016年3月，國家國民經(jīng)濟和社會發(fā)展第十三個五年規(guī)劃綱要發(fā)布，綱要指出：“實施國家大數(shù)據(jù)戰(zhàn)略，把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，全面實施促進大數(shù)據(jù)發(fā)展行動，加快推動數(shù)據(jù)資源共享開放和開發(fā)應用，助力產(chǎn)業(yè)轉(zhuǎn)型升級和社會治理創(chuàng)新”。2017年1月，工信部印發(fā)了《國家大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016—2020年)》，規(guī)劃中對國家“十三五”時期面臨的形勢描述為“大數(shù)據(jù)成為塑造國家競爭力的戰(zhàn)略制高點之一”“數(shù)據(jù)是國家基礎(chǔ)性戰(zhàn)略資源”，而“促進行業(yè)大數(shù)據(jù)應用發(fā)展，推動重點行業(yè)包括電信、能源、金融、商貿(mào)、食品、文化創(chuàng)意、公共安全等領(lǐng)域的大數(shù)據(jù)應用，推進行業(yè)數(shù)據(jù)資源采集、整合、共享和利用，充分釋放大數(shù)據(jù)在產(chǎn)業(yè)發(fā)展中的變革作用，加速傳統(tǒng)行業(yè)經(jīng)營管理方式變革、服務模式和商業(yè)模式創(chuàng)新及產(chǎn)業(yè)價值鏈體系重構(gòu)”是未來五年大數(shù)據(jù)產(chǎn)業(yè)重點任務之一。

目前，醫(yī)療衛(wèi)生、電子通信、能源電力等領(lǐng)域的眾多企業(yè)已經(jīng)開展了大數(shù)據(jù)試點應用。大數(shù)據(jù)應用已成為各類企事業(yè)單位等組織的業(yè)務技術(shù)創(chuàng)新、管理精益化、決策科學的重要手段，全面推進大數(shù)據(jù)應用已成為核電企業(yè)推進產(chǎn)品服務智能化與業(yè)務數(shù)字化轉(zhuǎn)型的重要議題和行動方向。

1 大數(shù)據(jù)應用類型與面臨的挑戰(zhàn)

大數(shù)據(jù)應用是創(chuàng)新與智慧的重要源泉，應用前景廣闊，大數(shù)據(jù)發(fā)展風起云涌、熱鬧空前，但就大數(shù)據(jù)支撐技術(shù)和應用實踐而言，大數(shù)據(jù)應用尚處于發(fā)展的初期，企業(yè)大數(shù)據(jù)應用仍面臨諸多的挑戰(zhàn)。

1.1 大數(shù)據(jù)應用內(nèi)涵與外延

由于大數(shù)據(jù)技術(shù)發(fā)展迅猛，技術(shù)與應用快速迭代，大數(shù)據(jù)內(nèi)涵已遠非大數(shù)據(jù)概念提出時的狹義應用場景，廣泛傳播的大數(shù)據(jù)應用普遍存在炒作與夸大其詞的成分，種種原因?qū)е氯藗儗Υ髷?shù)據(jù)應用尚缺乏一致的認識，社會公眾和組織更愿意從概念層面理解大數(shù)據(jù)應用：“大數(shù)據(jù)應用”=“大量的數(shù)據(jù)的應用”，而人們對大數(shù)據(jù)應用的認識與理解直接影響企業(yè)數(shù)據(jù)分析的推廣與應用。

基于數(shù)據(jù)來源，廣義的數(shù)據(jù)分析應用可初略劃分為五種類型(見表1)。

表1 廣義數(shù)據(jù)分析應用分類Table 1 The classification of generalized data analysis and application

其中，類型1和類型2為滿足特定業(yè)務目的的數(shù)據(jù)查詢和統(tǒng)計分析，為常規(guī)的數(shù)據(jù)分析應用；類型3為專項數(shù)據(jù)分析系統(tǒng)，從特定目標對象獲得指標數(shù)據(jù)，通過數(shù)據(jù)模型的分析處理，達到預期的數(shù)據(jù)分析目標；類型4為基于關(guān)鍵績效指標(KPI)的多維度數(shù)據(jù)分析應用，一般用于事項管理和管控決策的輔助支持；類型5為典型的大數(shù)據(jù)應用，特征是基于主題數(shù)據(jù)、分析模型的數(shù)據(jù)分析應用。每一類數(shù)據(jù)分析應用均需要與之匹配的技術(shù)架構(gòu)的支撐，以滿足特定的數(shù)據(jù)分析應用與擴展的需要。

基于上述數(shù)據(jù)應用的分析，從技術(shù)實現(xiàn)的視角看，廣義的大數(shù)據(jù)應用基本可以分為三種情況：

1)基于應用系統(tǒng)及擴展的數(shù)據(jù)分析應用，對應上述的類型1、2、3；

2)基于數(shù)據(jù)倉庫技術(shù)的數(shù)據(jù)分析應用，對應上述的類型4；

3)基于主題數(shù)據(jù)的數(shù)據(jù)分析應用，對應上述的類型5。

從組織宣傳的視角看，任何數(shù)據(jù)分析應用都可以歸為“大數(shù)據(jù)應用”，無關(guān)數(shù)據(jù)量大小、數(shù)據(jù)形態(tài)、分析方法與技術(shù)實現(xiàn)。但從大數(shù)據(jù)應用推進與建設的視角看，需要清晰地區(qū)分出不同類型數(shù)據(jù)應用的數(shù)據(jù)組織、技術(shù)實現(xiàn)、應用模式等的實現(xiàn)與管理。

1.2 大數(shù)據(jù)應用面臨的挑戰(zhàn)

大數(shù)據(jù)應用本身蘊含著無限的數(shù)據(jù)創(chuàng)造價值的想象空間，加之政府的大數(shù)據(jù)發(fā)展規(guī)劃和產(chǎn)業(yè)政策引導，無疑會激發(fā)企業(yè)推進大數(shù)據(jù)應用的決心和信心，但企業(yè)現(xiàn)有的數(shù)據(jù)狀況及大數(shù)據(jù)分析技術(shù)的局限均會制約企業(yè)的大數(shù)據(jù)應用，企業(yè)大數(shù)據(jù)應用面臨著諸多的挑戰(zhàn)。

(1)數(shù)據(jù)質(zhì)量不佳與數(shù)據(jù)標準規(guī)范欠缺帶來的數(shù)據(jù)分析困難

現(xiàn)有信息系統(tǒng)建設時一般不對后期的數(shù)據(jù)分析應用有過多的設計考慮，導致已積累形成的數(shù)據(jù)資源的數(shù)據(jù)屬性、數(shù)據(jù)格式、數(shù)據(jù)關(guān)聯(lián)及數(shù)據(jù)完整性等問題均會制約進一步的數(shù)據(jù)分析應用，加之數(shù)據(jù)標準化不足，數(shù)據(jù)表達不規(guī)范、數(shù)據(jù)交叉重疊、數(shù)據(jù)有效性等問題普遍存在，導致數(shù)據(jù)分析利用的難度變大。

(2)數(shù)據(jù)分析利用模型與數(shù)據(jù)體系重視不夠帶來的難于利用

如果統(tǒng)計報表類的數(shù)據(jù)分析屬于低層級數(shù)據(jù)應用的話，那么能夠支持業(yè)務、技術(shù)與管理創(chuàng)新的數(shù)據(jù)分析就應該屬于高層級數(shù)據(jù)應用，而高層級的數(shù)據(jù)分析應用的模型及算法需要創(chuàng)造性的智慧支持，數(shù)據(jù)分析人員的缺乏也會制約數(shù)據(jù)分析應用的開展。同時，數(shù)據(jù)體系化的不足同樣也會制約數(shù)據(jù)分析應用的開展。

(3)數(shù)據(jù)應用壁壘與數(shù)據(jù)利用體制機制導致難以開展數(shù)據(jù)分析

對于涉及多個業(yè)務領(lǐng)域、多個組織的數(shù)據(jù)分析應用，數(shù)據(jù)應用的壁壘不僅存在于組織之間，也存在于組織內(nèi)部的業(yè)務領(lǐng)域之間、業(yè)務領(lǐng)域和管理域之間，導致很難形成基于單一數(shù)據(jù)源的數(shù)據(jù)資源體系，很難支撐大數(shù)據(jù)分析應用工作的有效開展。需要打破數(shù)據(jù)壁壘、建立與大數(shù)據(jù)分析應用相配套的體制機制。

2 大數(shù)據(jù)應用需求與策略選擇

鑒于大數(shù)據(jù)分析應用的多樣性和企業(yè)大數(shù)據(jù)應用面臨的挑戰(zhàn)，企業(yè)應該結(jié)合自身數(shù)據(jù)分析應用需求，選擇合適的大數(shù)據(jù)推進策略，有條不紊的推進企業(yè)自身的大數(shù)據(jù)應用。

2.1 大數(shù)據(jù)應用模式與特點

大數(shù)據(jù)應用的數(shù)據(jù)來源廣、數(shù)據(jù)種類多、時間跨度長的這種特點，決定了很多的大數(shù)據(jù)應用會突破單一的組織邊界，經(jīng)濟社會中的不同角色有不同的大數(shù)據(jù)應用訴求，以下從大數(shù)據(jù)覆蓋范圍的視角簡要分析大數(shù)據(jù)的應用模式及特點。

(1)組織范圍視角的大數(shù)據(jù)應用需求

企事業(yè)單位出于自身業(yè)務與管理需要開展大數(shù)據(jù)分析應用工作，其核心是圍繞產(chǎn)品服務和經(jīng)營管控需求開展大數(shù)據(jù)分析應用工作。產(chǎn)品服務大數(shù)據(jù)分析需求一般包括產(chǎn)品開發(fā)、產(chǎn)品生產(chǎn)、產(chǎn)品營銷、交付支持等方面，經(jīng)營管控大數(shù)據(jù)分析需求一般包括經(jīng)營管理支持和管控決策等方面。其產(chǎn)品服務大數(shù)據(jù)分析應用與產(chǎn)品服務密切相關(guān)，不同行業(yè)、不同業(yè)務領(lǐng)域的大數(shù)據(jù)應用存在較大的差異；經(jīng)營管控大數(shù)據(jù)應用具有一定的相似性，不同企業(yè)之間的經(jīng)營管理大數(shù)據(jù)分析應用具有一定的參考和借鑒性。

(2)產(chǎn)業(yè)協(xié)作視角的大數(shù)據(jù)應用需求

隨時互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和兩化融合的逐步深化，企事業(yè)單位之間的產(chǎn)業(yè)協(xié)作將逐步深化，延伸至客戶端的基于互聯(lián)網(wǎng)的產(chǎn)品全生命周期管理將逐步成為現(xiàn)實，基于產(chǎn)業(yè)協(xié)作視角的大數(shù)據(jù)應用將逐步興起，并為企業(yè)的產(chǎn)品服務優(yōu)化與創(chuàng)新提供更為廣闊的需求支持?；诋a(chǎn)業(yè)協(xié)作視角的大數(shù)據(jù)應用的紐帶是“產(chǎn)品與服務”，圍繞產(chǎn)品向兩頭延伸，向上延伸至產(chǎn)品關(guān)鍵技術(shù)研究、產(chǎn)品零部件、制造，向下延伸客戶產(chǎn)品使用、服務支持，中間為企業(yè)內(nèi)部的產(chǎn)品開發(fā)、生產(chǎn)、營銷與交易。產(chǎn)業(yè)協(xié)作大數(shù)據(jù)應用的驅(qū)動力是提升產(chǎn)業(yè)協(xié)作效率、支持產(chǎn)品服務優(yōu)化創(chuàng)新。

(3)產(chǎn)業(yè)發(fā)展視角的大數(shù)據(jù)應用需求

站在產(chǎn)業(yè)發(fā)展視角看，應發(fā)揮市場對社會公共數(shù)據(jù)資源的配置和創(chuàng)新支持作用，充分發(fā)揮基于互聯(lián)網(wǎng)的產(chǎn)品交易數(shù)據(jù)、產(chǎn)品電子目錄體系、產(chǎn)品運行的事故事件與維護處置數(shù)據(jù)、優(yōu)化改進建議與用戶投訴等產(chǎn)業(yè)數(shù)據(jù)資源的價值。企業(yè)應基于產(chǎn)業(yè)數(shù)據(jù)資源供給情況規(guī)劃自身的大數(shù)據(jù)應用，以更好的支持自身的產(chǎn)品服務完善優(yōu)化與創(chuàng)新。產(chǎn)業(yè)數(shù)據(jù)資源主體也應積極推進數(shù)據(jù)資源的市場化與服務化，支持企業(yè)的大數(shù)據(jù)應用。同時，政府應加大產(chǎn)業(yè)數(shù)據(jù)資源整合的引導推進與大數(shù)據(jù)應用的政策與資源支持。

2.2 大數(shù)據(jù)應用推進策略選擇

企業(yè)應根據(jù)所在行業(yè)特點和價值定位，基于開展大數(shù)據(jù)應用的核心訴求，選擇符合企業(yè)發(fā)展需要的大數(shù)據(jù)應用發(fā)展之路。

(1)產(chǎn)品技術(shù)創(chuàng)新型大數(shù)據(jù)應用

產(chǎn)品服務是企業(yè)價值創(chuàng)造的承載和經(jīng)營目標實現(xiàn)的途徑，產(chǎn)品服務的競爭力是企業(yè)贏利能力的支撐和生存發(fā)展的基礎(chǔ)，提升產(chǎn)品競爭力和贏利能力是企業(yè)不懈努力奮斗的目標，開展產(chǎn)品技術(shù)創(chuàng)新大數(shù)據(jù)應用是企業(yè)大數(shù)據(jù)應用優(yōu)先發(fā)展的領(lǐng)域。應圍繞產(chǎn)品開發(fā)、產(chǎn)品生產(chǎn)、產(chǎn)品營銷、交付與支持等領(lǐng)域的改進與創(chuàng)新求需求，開展大數(shù)據(jù)分析應用，發(fā)現(xiàn)問題，補齊短板。同時，結(jié)合數(shù)據(jù)資源供給情況，開展基于企業(yè)內(nèi)外部的產(chǎn)品數(shù)據(jù)收集、整理、完善，逐步建立以主題數(shù)據(jù)為基礎(chǔ)的產(chǎn)品全生命周期的大數(shù)據(jù)應用體系，支撐企業(yè)的產(chǎn)品服務優(yōu)化與創(chuàng)新。

(2)業(yè)務運行與協(xié)作大數(shù)據(jù)應用

隨著產(chǎn)業(yè)分工的專業(yè)化發(fā)展，企業(yè)的生產(chǎn)運行從企業(yè)內(nèi)部的供、產(chǎn)、銷一體化運作逐步發(fā)展為涉及產(chǎn)品上下游合作伙伴的業(yè)務運行與協(xié)作，業(yè)務運行從企業(yè)內(nèi)部延伸擴展到產(chǎn)業(yè)鏈，產(chǎn)業(yè)鏈合作伙伴的協(xié)作效率的高低直接影響企業(yè)的業(yè)務運作效率。開展業(yè)務運作與協(xié)作的大數(shù)據(jù)分析應用逐步變得越發(fā)重要。推進建立以企業(yè)經(jīng)營計劃為驅(qū)動，以生產(chǎn)計劃、物資供應、生產(chǎn)排產(chǎn)、產(chǎn)品庫存、產(chǎn)品營銷、產(chǎn)品支持等領(lǐng)域的數(shù)據(jù)為依托、以數(shù)據(jù)標準規(guī)范為支撐的業(yè)務運行與協(xié)作大數(shù)據(jù)應用體系將成為企業(yè)的重要選項，以支持業(yè)務運行的績效提升與管理創(chuàng)新。

(3)經(jīng)營管理績效提升大數(shù)據(jù)應用

成功的企業(yè)離不開高效的經(jīng)營管理和有效的管控決策支持，建立完善覆蓋企業(yè)經(jīng)營管理各領(lǐng)域的信息系統(tǒng)，通過一體化的經(jīng)營管理信息系統(tǒng)支持高效的經(jīng)營管理運作。重視經(jīng)營管理各領(lǐng)域的數(shù)據(jù)分析利用，以績效提升為導向，不斷改進企業(yè)的經(jīng)營管理。同時，重視業(yè)務成熟度與業(yè)務關(guān)鍵績效評價指標體系的健全和完善，推進基于關(guān)鍵績效指標(KPI)的業(yè)務評價與考核機制?；谄髽I(yè)關(guān)鍵績效指標評價體系，逐步建立以關(guān)鍵績效指標體系為基礎(chǔ)的經(jīng)營管理大數(shù)據(jù)應用體系，以更好的支撐企業(yè)的經(jīng)營管理和戰(zhàn)略管控。

3 大數(shù)據(jù)應用體系規(guī)劃與建設

無論是業(yè)務視角的大數(shù)據(jù)應用模式還是技術(shù)視角的技術(shù)支撐體系均表明，不同類型的數(shù)據(jù)分析應用依托不同類型的技術(shù)解決方案，而數(shù)據(jù)分析需求往往也是業(yè)務應用系統(tǒng)建設的需求之一，本文僅對具有一定普適參考作用的基于主題數(shù)據(jù)的大數(shù)據(jù)應用規(guī)劃提出規(guī)劃與建設參考。

為實現(xiàn)一次數(shù)據(jù)整理滿足多種數(shù)據(jù)分析應用的要求，需要對業(yè)務數(shù)據(jù)進行主題化分解，形成基于主題數(shù)據(jù)的信息分解結(jié)構(gòu)，基于主題數(shù)據(jù)建立大數(shù)據(jù)的數(shù)據(jù)資源體系，實現(xiàn)一次的數(shù)據(jù)整理滿足未來多種數(shù)據(jù)挖掘分析的目的。

3.1 技術(shù)體系規(guī)劃

從架構(gòu)的視角看，主題大數(shù)據(jù)系統(tǒng)(以下均簡稱大數(shù)據(jù)系統(tǒng))一般包含數(shù)據(jù)源層、主題數(shù)據(jù)管理層、數(shù)據(jù)分析層和數(shù)據(jù)使用層四個層次，為保證大數(shù)據(jù)系統(tǒng)的可持續(xù)發(fā)展，需要對相關(guān)各層做好規(guī)劃。

3.1.1 整體框架

大數(shù)據(jù)系統(tǒng)整體框架可用圖1示意表示。

圖1 大數(shù)據(jù)系統(tǒng)整體框架示意圖Fig.1 The overall frame word of big data system

1)統(tǒng)一技術(shù)架構(gòu)基礎(chǔ)。建立大數(shù)據(jù)統(tǒng)一的技術(shù)架構(gòu)基礎(chǔ)，實現(xiàn)大數(shù)據(jù)系統(tǒng)技術(shù)路線統(tǒng)一、支撐產(chǎn)品統(tǒng)一、集成標準統(tǒng)一，有利于大數(shù)據(jù)系統(tǒng)與各業(yè)務領(lǐng)域系統(tǒng)的集成。同時，降低大數(shù)據(jù)應用綜合擁有成本。

2)統(tǒng)一主題數(shù)據(jù)規(guī)劃。為有效支撐長期、跨領(lǐng)域主題數(shù)據(jù)的挖掘分析，統(tǒng)一各領(lǐng)域主題數(shù)據(jù)規(guī)范是必要的、也是必須的。通過統(tǒng)一的主題數(shù)據(jù)規(guī)劃，確保主題數(shù)據(jù)規(guī)范、數(shù)據(jù)充分，有效支持大數(shù)據(jù)試點應用和可持續(xù)發(fā)展。

3)統(tǒng)一分析模型管理。大數(shù)據(jù)應用是基于統(tǒng)一的主題數(shù)據(jù)資源的挖掘分析，為保證數(shù)據(jù)資產(chǎn)得到有效保護，分析模型得到充分復用，實行統(tǒng)一的分析模型管理是必要的。為此，需要組建數(shù)據(jù)資產(chǎn)管理部門，統(tǒng)一管理大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)資產(chǎn)和分析模型。

4)統(tǒng)籌分析主題管理。各業(yè)務領(lǐng)域存在共同的挖掘分析主題需求，為避免大數(shù)據(jù)分析主題的重疊與交叉，需要建立與業(yè)務相銜接的大數(shù)據(jù)分析主題立項協(xié)調(diào)機制，提高大數(shù)據(jù)應用的投資有效性。

5)統(tǒng)一數(shù)據(jù)分析應用。建立統(tǒng)一的大數(shù)據(jù)分析應用門戶，為各業(yè)務領(lǐng)域用戶提供統(tǒng)一的大數(shù)據(jù)利用入口。為數(shù)據(jù)分析用戶提供主題數(shù)據(jù)瀏覽、檢索服務。按授權(quán)訪問已發(fā)布的主題分析應用。

3.1.2 信息體系

信息體系重點闡述信息對象的相互支撐與關(guān)聯(lián)關(guān)系，大數(shù)據(jù)信息體系如圖2示意表示。

圖2 大數(shù)據(jù)信息體系示意圖Fig.2 The diagram of big data information system

在上述的四層信息架構(gòu)中，各層數(shù)據(jù)架構(gòu)關(guān)系如下：

1)數(shù)據(jù)來源層：主要的數(shù)據(jù)來源包括各領(lǐng)域的信息系統(tǒng)。進入大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)以主題數(shù)據(jù)形式存在。主題數(shù)據(jù)專注于描述事務特征的數(shù)據(jù)對象，是事務對象的客觀表現(xiàn)。與業(yè)務數(shù)據(jù)的差別在于主題數(shù)據(jù)不強調(diào)事務的業(yè)務聯(lián)系。

2)數(shù)據(jù)管理層：需要基于統(tǒng)一的主題數(shù)據(jù)梳理規(guī)則，統(tǒng)一規(guī)劃各業(yè)務領(lǐng)域系統(tǒng)主題數(shù)據(jù)，按確定的主題數(shù)據(jù)類型從各系統(tǒng)收集主題數(shù)據(jù)，進而形成大數(shù)據(jù)系統(tǒng)主題數(shù)據(jù)資源庫，實行統(tǒng)一的主題數(shù)據(jù)資源管理。

3)數(shù)據(jù)分析層：根據(jù)數(shù)據(jù)分析目標設計不同的數(shù)據(jù)分析模型和工具。數(shù)據(jù)分析層與數(shù)據(jù)資源層相對獨立，數(shù)據(jù)資源層通過數(shù)據(jù)分析層體現(xiàn)數(shù)據(jù)價值，而數(shù)據(jù)價值的大小則由分析模型確定。

4)數(shù)據(jù)使用層：數(shù)據(jù)使用層是數(shù)據(jù)價值的外在表現(xiàn)，包括大數(shù)據(jù)應用信息門戶和可視化工具。信息門戶為用戶提供接入入口，提供常規(guī)的用戶認證、信息集成、應用集成功能；可視化工具提供數(shù)據(jù)瀏覽、挖掘分析的可視化展現(xiàn)，其中主題數(shù)據(jù)維度可視化瀏覽是數(shù)據(jù)使用層的基本服務。

3.1.3 技術(shù)體系

參考業(yè)界主流大數(shù)據(jù)平臺的技術(shù)體系，基于成熟、主流的大數(shù)據(jù)產(chǎn)品與技術(shù)，結(jié)合企業(yè)現(xiàn)有信息系統(tǒng)架構(gòu)，構(gòu)建大數(shù)據(jù)系統(tǒng)技術(shù)體系。大數(shù)據(jù)技術(shù)架構(gòu)主要分為數(shù)據(jù)源、數(shù)據(jù)集成層、數(shù)據(jù)存儲層、數(shù)據(jù)管理層、挖掘分析層和使用層。

1)數(shù)據(jù)源層：主要包括大數(shù)據(jù)系統(tǒng)相關(guān)的數(shù)據(jù)來源業(yè)務系統(tǒng)、鏡像的工控系統(tǒng)實時數(shù)據(jù)、及必要的非結(jié)構(gòu)化數(shù)據(jù)源等。

2)數(shù)據(jù)集成層：主要完成和業(yè)務系統(tǒng)、數(shù)據(jù)庫的對接，將應用系統(tǒng)中的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)通過批量、增量采集方式匯集到更適合大數(shù)據(jù)處理利用要求的大數(shù)據(jù)存儲處理系統(tǒng)中。

3)數(shù)據(jù)存儲層：提供關(guān)系數(shù)據(jù)庫、優(yōu)化的HDFS文件系統(tǒng)、NoSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等多種數(shù)據(jù)存儲形式，支持大容量的數(shù)據(jù)存儲處理。具體根據(jù)企業(yè)大數(shù)據(jù)系統(tǒng)存儲處理的數(shù)據(jù)情況確定。

4)數(shù)據(jù)管理層：選用類似的相近軟件和自行開發(fā)軟件對存儲在大數(shù)據(jù)平臺上的主題數(shù)據(jù)進行管理，主題數(shù)據(jù)管理系統(tǒng)對大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)分析利用至關(guān)重要。

5)挖掘分析層：包括瀏覽分析服務和挖掘分析模型建立。瀏覽分析服務提供基本的主題數(shù)據(jù)瀏覽和常用分析引擎支持，數(shù)據(jù)分析模型基于數(shù)據(jù)分析需求，選用已有的分析模式或自行開發(fā)實現(xiàn)。

6)使用層：負責將數(shù)據(jù)分析層的分析結(jié)果轉(zhuǎn)變?yōu)榭衫玫姆绞秸宫F(xiàn)。利用方式包括通過可視化發(fā)現(xiàn)工具提供用戶使用，可為用戶提供信息推送、業(yè)務報警、應用分析等服務。在具體分析應用上可根據(jù)具體應用場景選擇不同技術(shù)產(chǎn)品。

同時，為更好的支撐大數(shù)據(jù)平臺的運作，需要建立配套的大數(shù)據(jù)系統(tǒng)管理平臺，該平臺需要提供的功能包括數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)架構(gòu)管理、元數(shù)據(jù)管理等。

3.2 主題數(shù)據(jù)管理

大數(shù)據(jù)應用前景很豐滿，但現(xiàn)實很骨感，每前進一步都存在巨大的困難與挑戰(zhàn)，為更好的推進大數(shù)據(jù)應用，需要建立與之匹配的體制機制和標準規(guī)范支持。

3.2.1 建立數(shù)據(jù)管控體系

應建立統(tǒng)一的數(shù)據(jù)資源管控體系，統(tǒng)一管理大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)資產(chǎn)，做好各數(shù)據(jù)資產(chǎn)全周期相關(guān)利益方的協(xié)調(diào)與組織工作，保證擁有完整高質(zhì)量的數(shù)據(jù)資產(chǎn)，為數(shù)據(jù)挖掘分析奠定基礎(chǔ)。

1)建立大數(shù)據(jù)管理機構(gòu)。負責大數(shù)據(jù)資源體系建設；負責統(tǒng)一協(xié)調(diào)處理數(shù)據(jù)分析需求，推進數(shù)據(jù)分析能力快速成熟；負責引入專業(yè)數(shù)據(jù)分析工具和大數(shù)據(jù)技術(shù)，逐步完善大數(shù)據(jù)平臺及分析工具；建立數(shù)據(jù)管控機制，建立主題數(shù)據(jù)標準、推進數(shù)據(jù)質(zhì)量持續(xù)改進和提升。

2)落實大數(shù)據(jù)應用的推進責任。成立數(shù)據(jù)管控委員會負責協(xié)調(diào)解決數(shù)據(jù)分析需求、標準與管控等方面的爭議爭端，負責相關(guān)預算管理與績效評估；數(shù)據(jù)管控委員會辦公室負責大數(shù)據(jù)應用推進工作的組織與落實，負責大數(shù)據(jù)應用與管理績效考核；相關(guān)單位是數(shù)據(jù)分析需求方與數(shù)據(jù)管控協(xié)同方，負責提出數(shù)據(jù)分析需求，使用數(shù)據(jù)分析服務，參與數(shù)據(jù)管控標準制定，遵循數(shù)據(jù)管控標準；數(shù)據(jù)分析團隊提供數(shù)據(jù)分析服務，負責數(shù)據(jù)分析模型管理。

3.2.2 關(guān)注數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量直接影響大數(shù)據(jù)應用的效果，應大力推進數(shù)據(jù)質(zhì)量的持續(xù)改進。

1)持續(xù)改進主數(shù)據(jù)質(zhì)量。主數(shù)據(jù)是各項業(yè)務活動開展及應用系統(tǒng)功能實現(xiàn)的核心基礎(chǔ)，主數(shù)據(jù)質(zhì)量好壞直接影響主題數(shù)據(jù)的質(zhì)量。應持續(xù)改進與提升主數(shù)據(jù)的完整性、準確性、規(guī)范性、一致性與時效性。

2)健全數(shù)據(jù)關(guān)聯(lián)體系。梳理細化信息關(guān)聯(lián)主線，建立各類信息與關(guān)聯(lián)主線的關(guān)聯(lián)關(guān)系，更好的支持跨領(lǐng)域的主題數(shù)據(jù)分析。推進業(yè)務信息體系化建設，為健全數(shù)據(jù)關(guān)聯(lián)做好鋪墊。

3)推進業(yè)務數(shù)據(jù)標準化。標準化的業(yè)務數(shù)據(jù)是數(shù)據(jù)分析模型建立的基礎(chǔ)，通過業(yè)務數(shù)據(jù)標準化，規(guī)范業(yè)務數(shù)據(jù)產(chǎn)生過程，消除人因歧義，提高數(shù)據(jù)資源的可用性和有效性。

3.2.3 推進主題數(shù)據(jù)標準化

大數(shù)據(jù)應用的基礎(chǔ)是各業(yè)務領(lǐng)域的主題數(shù)據(jù)，為充分發(fā)揮主題數(shù)據(jù)價值，需要對業(yè)務各層級流程進行全面、系統(tǒng)的梳理，明確主題數(shù)據(jù)，定義主題數(shù)據(jù)屬性，形成主題數(shù)據(jù)模板，為大數(shù)據(jù)系統(tǒng)建設奠定基礎(chǔ)。

主題數(shù)據(jù)規(guī)劃可以結(jié)合大數(shù)據(jù)應用階段目標適時啟動，確保在建立主題數(shù)據(jù)之前完成主題數(shù)據(jù)梳理，以便為大數(shù)據(jù)系統(tǒng)提供完整、可用的數(shù)據(jù)資源。

3.3 建立分析模型管理機制

數(shù)據(jù)分析模型是大數(shù)據(jù)系統(tǒng)數(shù)據(jù)價值的發(fā)掘工具，是實現(xiàn)預測與分析的基礎(chǔ)支撐。依據(jù)大數(shù)據(jù)應用需求與方向，在標準化數(shù)據(jù)分析模型的基礎(chǔ)上分領(lǐng)域按功能逐步擴展數(shù)據(jù)分析模型，并持續(xù)完善與優(yōu)化。

4 推進建議

大數(shù)據(jù)應用是極具潛在價值的二化融合新興應用，其應用本身涉及組織的業(yè)務創(chuàng)新與管理創(chuàng)新，核電企業(yè)需要結(jié)合自身的業(yè)務領(lǐng)域與經(jīng)營管控需求和核心能力要求，選擇符合本企業(yè)特點的大數(shù)據(jù)應用發(fā)展之路，以下建議可供核電企業(yè)推進大數(shù)據(jù)應用時參考。

4.1 分類實策、做好全局大數(shù)據(jù)應用的統(tǒng)籌規(guī)劃

企業(yè)應重視數(shù)據(jù)潛能和數(shù)據(jù)分析帶來的潛在價值?；诳深A見的數(shù)據(jù)分析的應用領(lǐng)域、應用范圍等特點，確定大數(shù)據(jù)應用分類，針對不同類型的大數(shù)據(jù)分析應用，制定不同類別的數(shù)據(jù)分析應用模式與成長路徑。

(1)組織范圍內(nèi)的業(yè)務管理和經(jīng)營管理的數(shù)據(jù)分析

大數(shù)據(jù)應用的初期，可通過設置業(yè)務運作和經(jīng)營管理的關(guān)鍵績效指標(KPI)評價、分析業(yè)務運作和經(jīng)營管理績效，推進PKI關(guān)鍵指標的數(shù)據(jù)分析應用，通過數(shù)據(jù)分析支持企業(yè)經(jīng)營管理決策的科學化，支持業(yè)務運作和經(jīng)營管理水平提升。

(2)組織范圍內(nèi)的產(chǎn)品與技術(shù)類數(shù)據(jù)的數(shù)據(jù)分析

大數(shù)據(jù)應用的初期，積極推進基于特定應用場景的數(shù)據(jù)分析應用，盡早發(fā)揮數(shù)據(jù)價值。同時，基于產(chǎn)品改進和產(chǎn)品創(chuàng)新需求，統(tǒng)籌梳理產(chǎn)品生命周期中的開發(fā)、生產(chǎn)、營銷、使用與服務等各環(huán)節(jié)的大數(shù)據(jù)應用場景與需求，基于應用場景、數(shù)據(jù)構(gòu)成、數(shù)據(jù)來源等關(guān)鍵需求確定主題數(shù)據(jù)顆粒度，統(tǒng)籌規(guī)劃主題數(shù)據(jù)體系，并據(jù)此規(guī)劃企業(yè)的產(chǎn)品與技術(shù)大數(shù)據(jù)應用體系。

(3)產(chǎn)業(yè)協(xié)作或產(chǎn)業(yè)鏈層面的大數(shù)據(jù)的分析應用

產(chǎn)業(yè)協(xié)作為企業(yè)視角的產(chǎn)品與服務的產(chǎn)業(yè)供應鏈協(xié)作生態(tài)，產(chǎn)業(yè)鏈為政府或行業(yè)組織視角的產(chǎn)業(yè)生態(tài)發(fā)展。產(chǎn)業(yè)協(xié)作或產(chǎn)業(yè)鏈層面的大數(shù)據(jù)應用應以產(chǎn)業(yè)協(xié)作效率提升和產(chǎn)業(yè)共同發(fā)展為驅(qū)動，基于共同利益，梳理各方需求，建立滿足多方需求的主題數(shù)據(jù)資源體系?；谥黝}數(shù)據(jù)開展產(chǎn)業(yè)大數(shù)據(jù)應用體系的規(guī)劃與建立。

4.2 打好基礎(chǔ)、做好全局大數(shù)據(jù)應用的體系建設

開展數(shù)據(jù)分析工作既需要滿足目標應用場景的數(shù)據(jù)分析方法的支持，也需要有充分的滿足分析要求的數(shù)據(jù)的質(zhì)與量的支持。應用場景越多、數(shù)據(jù)來源越復雜、大數(shù)據(jù)體系建設的難度就越大。打好數(shù)據(jù)分析基礎(chǔ)，做好全局大數(shù)據(jù)應用體系的建設對大數(shù)據(jù)應用的健康和可持續(xù)發(fā)展至關(guān)重要。

(1)打好數(shù)據(jù)基礎(chǔ)，為大數(shù)據(jù)應用提供高質(zhì)量的數(shù)據(jù)保障

在企業(yè)已有的信息化基礎(chǔ)上，應注重企業(yè)數(shù)據(jù)體系的梳理與規(guī)劃，完善數(shù)據(jù)分類、數(shù)據(jù)屬性定義和數(shù)據(jù)關(guān)聯(lián)，逐步打通企業(yè)內(nèi)部各業(yè)務域、管理域的數(shù)據(jù)通路，逐步形成單一數(shù)據(jù)源和數(shù)據(jù)全周期應用的格局。重視數(shù)據(jù)標準規(guī)范體系的建設，明確數(shù)據(jù)質(zhì)量責任。做好跨領(lǐng)域數(shù)據(jù)共享應用的協(xié)調(diào)和數(shù)據(jù)安全保密管理，為大數(shù)據(jù)分析應用提供有效的充分、多維度、高質(zhì)量的數(shù)據(jù)支撐。

(2)建立大數(shù)據(jù)的技術(shù)體系和應用體系，支持可持續(xù)發(fā)展

大數(shù)據(jù)應用一項復雜的系統(tǒng)工程，涉及大數(shù)據(jù)資源體系、支撐平臺、數(shù)據(jù)分析等技術(shù)體系建設，也涉及大數(shù)據(jù)資源維護、系統(tǒng)運行維護與應用推廣等應用體系建設。組織應基于自身大數(shù)據(jù)應用發(fā)展需求，有序推進建設滿足大數(shù)據(jù)應用場景需求的技術(shù)體系。同時，結(jié)合大數(shù)據(jù)應用場景的相關(guān)情況，積極推進大數(shù)據(jù)應用體系的完善，以便更好的支持大數(shù)據(jù)應用的可持續(xù)發(fā)展。

4.3 關(guān)注實效，做好示范項目的總結(jié)與應用推廣

數(shù)據(jù)孕含潛能、分析帶來智慧，而智慧從來就不是輕易獲得的。大數(shù)據(jù)應用屬于高難度、復雜型的兩化融合應用，企業(yè)需密切結(jié)合自身的產(chǎn)品服務創(chuàng)新、經(jīng)營管理創(chuàng)效核心需求，關(guān)注大數(shù)據(jù)應用的實效，開展大數(shù)據(jù)應用的試點建設與應用推廣。

(1)注重大數(shù)據(jù)培訓與交流，提高大數(shù)據(jù)應用把握能力

注重大數(shù)據(jù)技術(shù)與應用的培訓，逐步提高企業(yè)各級各類人員對數(shù)據(jù)潛能和數(shù)據(jù)分析價值的認識。開展大數(shù)據(jù)應用交流，了解行業(yè)內(nèi)外大數(shù)據(jù)應用的典型應用場景和數(shù)據(jù)分析應用效果，提高對大數(shù)據(jù)應用誤區(qū)的辨識能力，結(jié)合企業(yè)自身業(yè)務運作和經(jīng)營管理特點，發(fā)掘大數(shù)據(jù)應用在企業(yè)落地的著力點、應用場景與應用模式。

(2)開展大數(shù)據(jù)試點，以點帶面推進大數(shù)據(jù)應用的開展

結(jié)合企業(yè)數(shù)據(jù)分析應用的著力點，推進開展大數(shù)據(jù)應用的試點建設工作，重視大數(shù)據(jù)應用試點建設過程中的數(shù)據(jù)梳理與標準規(guī)范開發(fā)，同步做好大數(shù)據(jù)應用規(guī)劃相關(guān)事項的驗證工作。重視大數(shù)據(jù)應用試點的經(jīng)驗總結(jié)，結(jié)合大數(shù)據(jù)應用試點的經(jīng)驗反饋，完善企業(yè)大數(shù)據(jù)應用規(guī)劃和計劃，以點帶面，推進企業(yè)大數(shù)據(jù)應用相關(guān)工作的全面開展。