大數(shù)據(jù)可視化分析技術(shù)應(yīng)用研究

王斌

身份證號碼：1201011986＊＊＊＊3537 天津 300050

1 建設(shè)背景

建設(shè)大數(shù)據(jù)可視化平臺，既是提高企業(yè)管理水平的客觀需要，又是實現(xiàn)企業(yè)信息化建設(shè)目標(biāo)的迫切要求；既是數(shù)據(jù)驅(qū)動企業(yè)運(yùn)行與決策不可或缺的重要手段，又是掌握企業(yè)數(shù)據(jù)資產(chǎn)提升智能化可視化的重要決策支持。系統(tǒng)建設(shè)對提高集團(tuán)業(yè)務(wù)監(jiān)督管理水平、確保企業(yè)核心數(shù)據(jù)資產(chǎn)保值增值，意義重大、要求迫切。

建設(shè)大數(shù)據(jù)可視化平臺，可以減少各類數(shù)據(jù)報表、集中會審和數(shù)據(jù)匯總，降低行政成本。同時可以提高數(shù)據(jù)的準(zhǔn)確性、及時性，減少反復(fù)報送、多頭填報的情況，最大限度地提高工作效率，提高數(shù)據(jù)集成、共享、深度利用的水平，滿足智能化可視化的決策分析。

大數(shù)據(jù)可視化分析平臺建設(shè)項目通過數(shù)據(jù)可視化平臺建設(shè)、數(shù)據(jù)交換與共享建設(shè)、各類業(yè)務(wù)應(yīng)用組件的完善與建設(shè)、大數(shù)據(jù)智慧企業(yè)分析系統(tǒng)的建設(shè)等手段實現(xiàn)全域信息化綜合展示和作戰(zhàn)運(yùn)營指揮，至少滿足未來三到五年的數(shù)字化、可視化、智能化需求，實現(xiàn)數(shù)據(jù)可視，引領(lǐng)智慧決策。

1.1 利用大屏可視化技術(shù)讓數(shù)據(jù)更直觀

傳統(tǒng)的統(tǒng)計分析報表主要以紙質(zhì)形式或二維電子表格的形式存在，數(shù)據(jù)展示不直觀、不美觀，無法實現(xiàn)多維立體分析，導(dǎo)致數(shù)據(jù)看不全、看不透等問題，利用大屏可視化技術(shù)，改善現(xiàn)有的數(shù)據(jù)呈現(xiàn)方式，讓數(shù)據(jù)更直觀。

1.2 創(chuàng)新管控方式全面提升管理水平

綜合運(yùn)用人工智能、可視化等信息技術(shù)滿足各項業(yè)務(wù)的智能化、可視化要求，做到事前預(yù)警、事中控制、事后分析，造就一個智慧的企業(yè)，實現(xiàn)卓越管理努力實現(xiàn)“智慧企業(yè)”。

1.3 應(yīng)用大數(shù)據(jù)分析技術(shù)輔助領(lǐng)導(dǎo)決策

對于企業(yè)管理，不僅僅是能夠及時收集企業(yè)的數(shù)據(jù)，更重要的是能夠?qū)@些數(shù)據(jù)進(jìn)行分析，輔助領(lǐng)導(dǎo)從分析中發(fā)現(xiàn)問題，解決問題。需要將大數(shù)據(jù)技術(shù)理念與先進(jìn)的企業(yè)管理理念相結(jié)合，技術(shù)創(chuàng)新與管理創(chuàng)新相結(jié)合。用大數(shù)據(jù)樹立數(shù)據(jù)監(jiān)管的新理念，充分利用大數(shù)據(jù)改造提升傳統(tǒng)產(chǎn)業(yè)，加快生產(chǎn)技術(shù)創(chuàng)新、商業(yè)模式創(chuàng)新、服務(wù)方式創(chuàng)新，著力發(fā)展新經(jīng)濟(jì)，培育壯大新動能，實現(xiàn)用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新的工作機(jī)制[1]。

2 建設(shè)內(nèi)容

2.1 建立統(tǒng)一門戶

通過可視化的門戶管理工具實現(xiàn)門戶內(nèi)容的編排和個性化，集成財務(wù)管理、OA辦公、法務(wù)系統(tǒng)、領(lǐng)導(dǎo)決策分析等系統(tǒng)，將各系統(tǒng)的登錄入口、待辦任務(wù)、消息預(yù)警、通知公告等相關(guān)信息集成至統(tǒng)一門戶中。根據(jù)權(quán)限分別形成面向領(lǐng)導(dǎo)、業(yè)務(wù)處室、下級企業(yè)等不同層級的門戶界面，建立一站式系統(tǒng)應(yīng)用。

2.2 建立大數(shù)據(jù)分析平臺

大數(shù)據(jù)分析平臺，以推動企業(yè)轉(zhuǎn)型升級、提質(zhì)增效為主要目標(biāo)，整合企業(yè)內(nèi)部數(shù)據(jù)，利用互聯(lián)網(wǎng)技術(shù)獲取宏觀數(shù)據(jù)、行業(yè)上下游數(shù)據(jù)、企業(yè)社會空間數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等外部數(shù)據(jù)，從而構(gòu)建智慧大數(shù)據(jù)中心。

大數(shù)據(jù)分析平臺數(shù)據(jù)來源主要包括以下三個部分，也是平臺需要采集的大數(shù)據(jù)。

2.2.1 上級監(jiān)管需要的各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，包含企業(yè)上報的快報、預(yù)算、決算、投資、產(chǎn)權(quán)、三會等數(shù)據(jù)，在上報前，進(jìn)行數(shù)據(jù)碰撞檢核，實現(xiàn)對企業(yè)全方位的業(yè)務(wù)監(jiān)管。

2.2.2 企業(yè)信息化應(yīng)用數(shù)據(jù)，包括核心ERP系統(tǒng)數(shù)據(jù)、企業(yè)資金數(shù)據(jù)、財務(wù)數(shù)據(jù)、人力資源數(shù)據(jù)、生產(chǎn)數(shù)據(jù)等，為企業(yè)管控提供支撐。

2.2.3 互聯(lián)網(wǎng)數(shù)據(jù)，包括宏觀數(shù)據(jù)、行業(yè)上下游數(shù)據(jù)、企業(yè)征信數(shù)據(jù)、涉案訴訟數(shù)據(jù)等，加強(qiáng)企業(yè)生態(tài)數(shù)據(jù)分析、行業(yè)對標(biāo)以及輿情管理。

大數(shù)據(jù)分析平臺的建設(shè)，充分利用信息資源庫，將以數(shù)據(jù)服務(wù)、接口服務(wù)的方式，提供給上層的各類應(yīng)用，挖掘數(shù)據(jù)價值，優(yōu)化數(shù)據(jù)結(jié)構(gòu)，決策輔助分析，監(jiān)督管理業(yè)務(wù)，提供精細(xì)化管理和決策依據(jù)，提升管理企業(yè)的能力。對提質(zhì)增效、深化改革、黨的建設(shè)、安全生產(chǎn)等系列重點工作開展專項督查，通過督任務(wù)、督進(jìn)度、督成效，察認(rèn)識、察責(zé)任、察作風(fēng)，確保各項目標(biāo)任務(wù)和工作措施落地落實。

2.3 建設(shè)智慧大屏系統(tǒng)

建設(shè)一套大屏幕顯示系統(tǒng)，實現(xiàn)大數(shù)據(jù)分析的大屏展示。通過建設(shè)智慧大屏，以直觀、立體的方式將管控數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、運(yùn)營指標(biāo)等進(jìn)行綜合展現(xiàn)，方便各級領(lǐng)導(dǎo)動態(tài)了解、監(jiān)督各類指標(biāo)和企業(yè)經(jīng)營情況，實現(xiàn)“一屏觀天下”、“一屏指天下”、“掛圖作戰(zhàn)”的目的。

智慧大屏顯示主要包含以下內(nèi)容：宏觀經(jīng)濟(jì)發(fā)展情況，包含全市GDP、工業(yè)增長值、行業(yè)指標(biāo)數(shù)據(jù)等宏觀經(jīng)濟(jì)指標(biāo)；各級企業(yè)收入、利潤、資產(chǎn)負(fù)債等經(jīng)營指標(biāo)動態(tài)監(jiān)督。按照同比、環(huán)比、構(gòu)成等分析方式對重點經(jīng)營指標(biāo)進(jìn)行分析；資產(chǎn)布局，按照獨資、控股、參股分類展示；投資項目的收益狀況；資產(chǎn)存量情況，方便應(yīng)急物資調(diào)配；黨建管理情況；重點企業(yè)同行業(yè)對標(biāo)等[2]。

3 技術(shù)方案

大數(shù)據(jù)可視化分析平臺，要融合數(shù)據(jù)中臺思想，保證平臺建設(shè)的合理性、先進(jìn)性、擴(kuò)展性。

數(shù)據(jù)中臺的核心競爭力是以數(shù)據(jù)資產(chǎn)為核心，實現(xiàn)企業(yè)業(yè)務(wù)數(shù)據(jù)的資產(chǎn)價值化，并為業(yè)務(wù)前臺提供高效的數(shù)據(jù)服務(wù)。這些服務(wù)跟企業(yè)的業(yè)務(wù)有較強(qiáng)的關(guān)聯(lián)性，是企業(yè)獨有的且能復(fù)用的，它是企業(yè)業(yè)務(wù)和數(shù)據(jù)的沉淀，其不僅能降低重復(fù)建設(shè)、減少煙囪式協(xié)作的成本，也是差異化競爭優(yōu)勢所在。

3.1 數(shù)據(jù)資產(chǎn)

數(shù)據(jù)資產(chǎn)涵蓋了從原始ODS數(shù)據(jù)、統(tǒng)一主題數(shù)據(jù)到標(biāo)簽數(shù)據(jù)的分層體系。提到數(shù)據(jù)資產(chǎn)，要明確它不等同于數(shù)據(jù)，數(shù)據(jù)資產(chǎn)是唯一的，能為業(yè)務(wù)產(chǎn)生價值的數(shù)據(jù)，保證數(shù)據(jù)是干凈的、透明的、智慧的。主要包括三層：

3.1.1 在ODS數(shù)據(jù)層，以需求為驅(qū)動，以數(shù)據(jù)多樣性的全域思想為指導(dǎo)，通過離線、實時等方式采集與引入全業(yè)務(wù)、多終端、多形態(tài)的數(shù)據(jù)；

3.1.2 ODS到主題數(shù)據(jù)層原則：進(jìn)行數(shù)據(jù)清洗，保留全部字段，甚至擴(kuò)充字段，保持最低粒度，本質(zhì)是形成可復(fù)用的、健壯的中間表。主題數(shù)據(jù)層，就是數(shù)據(jù)建模需要達(dá)到的目的，保證數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，沉淀共性的數(shù)據(jù)，在此采用維度建模，通過分析業(yè)務(wù)過程抽象出維度和指標(biāo)，最后匯總成所需要的模型。

3.1.3 最后形成標(biāo)簽數(shù)據(jù)層，形成以業(yè)務(wù)核心對象為中心的連接和標(biāo)簽體系，深度萃取數(shù)據(jù)價值；對用戶、產(chǎn)品、客商、營銷各主題域進(jìn)行標(biāo)簽提取，將其特征數(shù)字化，為后續(xù)進(jìn)行精準(zhǔn)營銷和用戶畫像提供必要條件。

3.2 數(shù)據(jù)服務(wù)

數(shù)據(jù)中臺最重要的就是要對外提供統(tǒng)一的服務(wù)能力，而對于數(shù)據(jù)服務(wù)的要求是要抽象、建模、復(fù)用的。通過構(gòu)建數(shù)據(jù)服務(wù)查詢引擎，面向業(yè)務(wù)統(tǒng)一數(shù)據(jù)出口與數(shù)據(jù)查詢邏輯，讓各個業(yè)務(wù)系統(tǒng)能夠調(diào)用這些服務(wù)，屏蔽多數(shù)據(jù)源與多物理表。比如數(shù)據(jù)服務(wù)可以提供給開發(fā)者，讓開發(fā)者能夠快速、簡單的訪問數(shù)據(jù)服務(wù)；對于業(yè)務(wù)分析人員可以讓他們輕松地進(jìn)行算法分析，包括模型管理、可視化。

數(shù)據(jù)中臺對外提供六大數(shù)據(jù)服務(wù)，包括數(shù)據(jù)資源服務(wù)、數(shù)據(jù)質(zhì)量服務(wù)、數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)、數(shù)據(jù)標(biāo)簽服務(wù)、數(shù)據(jù)分析服務(wù)、數(shù)據(jù)挖掘服務(wù)。

3.3 數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)管理平臺，通過資產(chǎn)規(guī)劃、治理、應(yīng)用、運(yùn)營四方面看清數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價值。

涵蓋了采集、加工、使用、評估、優(yōu)化、下線等數(shù)據(jù)資產(chǎn)的全生命周期管理，并基于全面數(shù)據(jù)治理能力，進(jìn)一步提供專業(yè)化的數(shù)據(jù)資產(chǎn)“管家”服務(wù)，包括資產(chǎn)規(guī)劃、運(yùn)營管理、開放管理，以及面向企業(yè)客戶和個人客戶的不同類型數(shù)據(jù)資產(chǎn)應(yīng)用，從而為大數(shù)據(jù)時代的數(shù)據(jù)資產(chǎn)管理和增值發(fā)展提供全面支持。

3.4 集成數(shù)據(jù)研發(fā)

在集成數(shù)據(jù)研發(fā)層，提供數(shù)據(jù)源管理，可以統(tǒng)一管理企業(yè)各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫、文件等，能深入到數(shù)據(jù)庫，檢測到結(jié)構(gòu)的變化。當(dāng)檢測到數(shù)據(jù)源這些變化后，系統(tǒng)能自動進(jìn)行影響分析，影響的數(shù)據(jù)倉庫里的表有哪些。

數(shù)倉建模預(yù)制了數(shù)據(jù)倉庫里ODS、DW、DM的分層，可在這個框架下可視化設(shè)計數(shù)據(jù)倉庫的存儲結(jié)構(gòu)和數(shù)據(jù)流傳ETL過程。

數(shù)據(jù)質(zhì)量管理可以集中設(shè)置數(shù)據(jù)質(zhì)量的檢查規(guī)則，并根據(jù)需要啟動質(zhì)量檢查方案，選擇對應(yīng)的規(guī)則，可以主動檢查有問題的數(shù)據(jù)。通過預(yù)警監(jiān)控讓數(shù)據(jù)倉庫的全程過程可視[3]。

4 結(jié)束語

大數(shù)據(jù)可視化分析平臺及其運(yùn)維體系建成后，將帶來非?？捎^的效果，如：提高決策分析及企業(yè)運(yùn)行效率、節(jié)省管理和辦公經(jīng)費(fèi)、節(jié)約人力資源、減少信息化設(shè)備維護(hù)費(fèi)用、提高信息化設(shè)備使用效率等方面，同時通過流程內(nèi)控和多環(huán)節(jié)校驗，可以大大提高數(shù)據(jù)的精確率。