數(shù)據(jù)縱向聚合分析的研究

聶鼎 宋憂樂 范黎濤 施冬明 馬志強

摘要：大數(shù)據(jù)時代，數(shù)據(jù)相關(guān)的分析因其具有可以快捷、高效地發(fā)現(xiàn)事物間內(nèi)在關(guān)聯(lián)的優(yōu)勢而受到廣泛的關(guān)注，并有效地應(yīng)用于推薦系統(tǒng)、商業(yè)分析、公共管理、醫(yī)療診斷等領(lǐng)域.面向非線性、高維性等大數(shù)據(jù)的復(fù)雜特征，結(jié)合現(xiàn)有相關(guān)分析方法的語義分析。文中從數(shù)據(jù)聚合、數(shù)據(jù)分析兩個方面對數(shù)據(jù)的研究進行了梳理說明。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)分析;數(shù)據(jù)聚合

一、序言

隨著信息與通信技術(shù)的迅猛發(fā)展，全球數(shù)據(jù)量呈現(xiàn)爆炸式增長。面對海量、復(fù)雜的數(shù)據(jù)，人們?nèi)找姘l(fā)現(xiàn)其是人類發(fā)展的重要經(jīng)濟資產(chǎn)，有效的數(shù)據(jù)分析與挖掘?qū)⑼苿訃?、企業(yè)乃至整個社會的高效、可持續(xù)發(fā)展。

自2008年9月《 Nature 》出版“BigData ”?？詠?[1]，大數(shù)據(jù)更是成為政府、學(xué)術(shù)界、實務(wù)界共同關(guān)注的焦點，如2011年《Science 》出版的?？?Dealingwith Data ”[2] 和麥肯錫公司發(fā)布的報告“Bigdata：The next frontier for innoation，competition，andproductivity ”[3]，2012 年達沃斯世界經(jīng)濟論壇上發(fā)布的報告“Bigdata，bigimpact：New possibilitiesfor international development ”[4] 等。大數(shù)據(jù)分析與挖掘的研究成果也被廣泛應(yīng)用于物聯(lián)網(wǎng)、輿情分析、電子商務(wù)、健康醫(yī)療、生物技術(shù)和金融等各個領(lǐng)域。

當(dāng)前云南電網(wǎng)配網(wǎng)線路和設(shè)備故障明細，配網(wǎng)設(shè)備相關(guān)的交叉跨越，安全隱患等信息，目前是各單位采取EXCEL表格為載體對數(shù)據(jù)進行收集、整理并報送，由于數(shù)據(jù)量太大，導(dǎo)致全省各家供電單位報送數(shù)據(jù)質(zhì)量和內(nèi)容規(guī)范性較差，數(shù)據(jù)格式也無法統(tǒng)一，進一步導(dǎo)致大量數(shù)據(jù)的統(tǒng)計和分析工作無法高效進行，無法對配網(wǎng)線路和設(shè)備故障進行有效的閉環(huán)跟蹤管控和多維度分析。

基于以上原因，有必要開展配網(wǎng)生產(chǎn)運行數(shù)據(jù)縱向聚合分析平臺開發(fā)，實現(xiàn)對全網(wǎng)配網(wǎng)線路和設(shè)備生產(chǎn)運行數(shù)據(jù)的統(tǒng)一規(guī)范化填報、管理，實現(xiàn)配網(wǎng)運行數(shù)據(jù)多維分析和統(tǒng)計。實現(xiàn)配網(wǎng)生產(chǎn)運行數(shù)據(jù)統(tǒng)一規(guī)范化管理，更高效的進行數(shù)據(jù)統(tǒng)計和分析工作，為配網(wǎng)生產(chǎn)管理提供數(shù)據(jù)支撐，減輕基層人員數(shù)據(jù)填報的工作量，提高工作效率。為運維人員提供全面的信息展現(xiàn)，支撐設(shè)備生產(chǎn)技改大修，差異化運維決策，為管理層提供有效的管理依據(jù)。

二、數(shù)據(jù)縱向聚合

數(shù)據(jù)聚合是指通過同時聚集多個數(shù)據(jù)源分析數(shù)據(jù)來獲取數(shù)據(jù)全貌的數(shù)據(jù)。在數(shù)據(jù)信息多樣化發(fā)展下，為了實現(xiàn)對各類數(shù)據(jù)的多元化分析和應(yīng)用，相關(guān)人員需要結(jié)合實際采取多樣化的策略來處理多源數(shù)據(jù)下載，從而提升數(shù)據(jù)信息應(yīng)用效率。

（一）數(shù)據(jù)縱向聚合的必要性：

1.數(shù)據(jù)和信息系統(tǒng)分散

我國信息化產(chǎn)業(yè)經(jīng)過多年的發(fā)展，現(xiàn)已開發(fā)了眾多計算機信息系統(tǒng)和數(shù)據(jù)庫系統(tǒng)，并積累了大量的基礎(chǔ)數(shù)據(jù)。然而，豐富的數(shù)據(jù)資源由于建設(shè)開發(fā)的時期不同，開發(fā)部門不同、技術(shù)發(fā)展階段不同、使用設(shè)備不同、開發(fā)方式和能力水平的不同等，從而導(dǎo)致數(shù)據(jù)存儲管理極為分散，以至于造成了過量的數(shù)據(jù)冗余和數(shù)據(jù)不一致性，使得數(shù)據(jù)資源難以查詢訪問，管理層無法快速獲得有效的決策數(shù)據(jù)支持。目前，管理者想要了解所管轄不同部門的數(shù)據(jù)信息，需要進入各種存儲數(shù)據(jù)的系統(tǒng)，而且數(shù)據(jù)之前不能直接比較分析，所造成浪費的時間和人力成本不可估量。

2.信息資源利用率較低

當(dāng)前信息系統(tǒng)普遍存在集成度低、互聯(lián)性差、信息管理分散，數(shù)據(jù)的完整性、準確性、及時性等方面的問題。雖然有些單位已經(jīng)建立了內(nèi)部網(wǎng)和互聯(lián)網(wǎng)，但多年來分散開發(fā)或引進的信息系統(tǒng)，對于大量的數(shù)據(jù)不能提供一個統(tǒng)一的數(shù)據(jù)接口，不能采用一種通用的標準和規(guī)范，無法獲得共享通用的數(shù)據(jù)源，于是不同的應(yīng)用系統(tǒng)之間必然會形成彼此隔離的信息孤島?，F(xiàn)階段缺乏共享的、網(wǎng)絡(luò)化的可用度高的信息資源體系。

3.支持管理決策能力較低

數(shù)據(jù)的共享度達不到單位對信息資源的整體開發(fā)利用的要求。簡單的應(yīng)用多，交叉重復(fù)也多，能支持管理和決策的應(yīng)用少，能利用網(wǎng)絡(luò)開展經(jīng)營活動的應(yīng)用更少。對一個企業(yè)來說，最有價值的資產(chǎn)就是數(shù)據(jù)，數(shù)據(jù)中蘊藏著巨大的信息資源，但是沒有通過有效工具充分挖掘利用，信息資源的增值作用還沒有在管理決策過程中充分發(fā)揮應(yīng)有的作用。

（二）數(shù)據(jù)聚合的優(yōu)點：

1.底層數(shù)據(jù)結(jié)構(gòu)的透明：為數(shù)據(jù)可以訪問（消費市場應(yīng)用）提供了統(tǒng)一的接口，消費模式應(yīng)用無需我們知道：數(shù)據(jù)在哪里保存、源數(shù)據(jù)庫系統(tǒng)支持那種生活方式的訪問（XQuery，SQL）、數(shù)據(jù)的物理知識結(jié)構(gòu)、網(wǎng)絡(luò)安全協(xié)議等。

2.性能和功能擴展性：數(shù)據(jù)聚合把數(shù)據(jù)集成和數(shù)據(jù)訪問分成了兩個過程，因此訪問時數(shù)據(jù)已經(jīng)處于準備好的狀態(tài)。而且數(shù)據(jù)會更易于提取。

3.提供真正的單一數(shù)據(jù)視圖，數(shù)據(jù)視圖data view這個概念很容易理解，數(shù)據(jù)聚合的優(yōu)勢是經(jīng)過了數(shù)據(jù)校驗和數(shù)據(jù)清理，使用者看到的數(shù)據(jù)更加真實、準確、可靠。

4.數(shù)據(jù)可重用性好：由于數(shù)據(jù)有了實際的物理存儲方式，從而聚合后的數(shù)據(jù)就可以為各種應(yīng)用提供可重用的數(shù)據(jù)視圖，也不用擔(dān)心底層實際數(shù)據(jù)源的可用性。

5.數(shù)據(jù)管控能力加強：數(shù)據(jù)管控是SOA里面重要的概念。數(shù)據(jù)聚合的優(yōu)勢是數(shù)據(jù)規(guī)則可以在數(shù)據(jù)加載，轉(zhuǎn)換中實施，從而可以確保數(shù)據(jù)在計算實施過程中高效的管控能力。

（三）數(shù)據(jù)聚合方案：

1.多數(shù)據(jù)庫聚合方案;

2.數(shù)據(jù)倉庫聚合方案;

3.中間件聚合方案;

4.Web Services聚合方案;

5.主數(shù)據(jù)管理聚合方案。

三、數(shù)據(jù)分析

數(shù)據(jù)分析是大量的高效地收集用于分析數(shù)據(jù)的分析的統(tǒng)計方法中，為了最大限度地提高功能數(shù)據(jù)的發(fā)展，數(shù)據(jù)的作用，提取有用的信息和形態(tài)的結(jié)論，以便詳細地進行研究，并匯總數(shù)據(jù)的的處理。這一過程也是質(zhì)量管理體系和智能管理決策的支持過程。在實際應(yīng)用中，數(shù)據(jù)分析可以幫助人們作出準確判斷，以便后續(xù)采取開展適當(dāng)行動。數(shù)據(jù)分析是數(shù)學(xué)與計算機科學(xué)的結(jié)合。數(shù)據(jù)分析的數(shù)學(xué)基礎(chǔ)確立于20世紀初期，但直到計算機的發(fā)明使用才使得實際操作成為可能，從而使得數(shù)據(jù)分析為人熟知并得以推廣。

（一）數(shù)據(jù)分析的必要性

以市場而論，在一個產(chǎn)品的整個生命周期，包括從市場調(diào)研開始到產(chǎn)品研發(fā)、成品銷售、售后服務(wù)和最終處置的各個過程都需要運用大數(shù)據(jù)分析來支撐，以提升有效性。例如J.開普勒通過分析大量行星角位置的觀測數(shù)據(jù)，找出了行星運動的規(guī)律。又如，一個合格的銷售型企業(yè)領(lǐng)導(dǎo)人想要讓帶領(lǐng)公司發(fā)展，就需要通過市場調(diào)查，分析所得數(shù)據(jù)以判定市場動向，從而制定合適的生產(chǎn)及銷售計劃。由此可見，大數(shù)據(jù)分析有極其廣泛的應(yīng)用范圍和巨大的潛在價值。

（二）數(shù)據(jù)分析的類型

現(xiàn)階段數(shù)據(jù)分析大致分為探索性數(shù)據(jù)分析、定性數(shù)據(jù)分析、離線數(shù)據(jù)分析、在線數(shù)據(jù)分析幾種。

（三）數(shù)據(jù)分析方法

1.列表法

將所得數(shù)據(jù)按一定規(guī)律用列表的方式表達展示出來，列表法是記錄統(tǒng)計和處理數(shù)據(jù)最常用的方法。

列表法基本分析

對比分析：進度分析，展現(xiàn)目標完成情況的分析方法

差異分析，多個樣本之間的差異程度

縱向?qū)Ρ龋〞r間序列的趨勢分析）：時間序列分析，同一指標不同時間下的對比

橫向?qū)Ρ龋翰糠峙c部分，部分與整體或是對象與對象之間的對比

同環(huán)比分析：同比：本期值與同期值之間的對比

環(huán)比：本期值與上期值之間的對比

結(jié)構(gòu)分析：構(gòu)成分析

反映同一指標或多種指標狀態(tài)及數(shù)值變化情況的分析方法

2.作圖法

映射方法可最顯著地表達的各種物理變化之間的關(guān)系。一些實驗結(jié)果可從圖所需的行，也有些復(fù)雜的函數(shù)，通過一定的變換表示以圖形方式被簡單地確定。

（一）數(shù)據(jù)分析工具

Excel自己的數(shù)據(jù)分析功能可以完成多個專業(yè)軟件的數(shù)據(jù)統(tǒng)計，分析，包括：直方圖，相關(guān)系數(shù)，協(xié)方差，各種概率分布，抽樣和動態(tài)仿真，人口均值判斷，均值推斷，線性，非線性回歸，多元回歸分析，移動平均等。在商業(yè)智能COGNOS，風(fēng)格智力，MicroStrategy的，布里奧，BO和Oracle以及國內(nèi)產(chǎn)品如永洪Z-套房BI套件。

（二）數(shù)據(jù)分析步驟

1、明確分析的目的，提出問題。只有弄清分析的目的是什么，才能準確定位分析因子，提出有價值的問題，提供清晰的思路;

2、數(shù)據(jù)采集。對采集收集到的原始數(shù)據(jù)進行數(shù)據(jù)加工，主要包括、數(shù)據(jù)抽取數(shù)據(jù)清洗、數(shù)據(jù)檢索、數(shù)據(jù)分組等處理方法;

3、數(shù)據(jù)探索。通過探索式縫隙檢驗假設(shè)的形式方式，在數(shù)據(jù)之間發(fā)現(xiàn)新的特征，對整個數(shù)據(jù)集有個全面的認識，以便后續(xù)選擇何種分析策略;

4、分析數(shù)據(jù)。數(shù)據(jù)整理完后，需要對數(shù)據(jù)進行綜合分析和相關(guān)分析，需要對產(chǎn)品、業(yè)務(wù)、技術(shù)等有足夠的了解，常常用到分類、聚類等數(shù)據(jù)挖掘算法，excel是最簡單的數(shù)據(jù)分析工具，專業(yè)數(shù)據(jù)分析工具有Python，F(xiàn)inbi等;

5、數(shù)據(jù)可視化。借助可視化數(shù)據(jù)，能有效直觀地表述想要呈現(xiàn)的信息、觀點和建議，比如金字塔、矩陣圖、漏斗圖、帕累托圖等，同時也能用報告形式與他人交流。

大數(shù)據(jù)分析的主要過程活動由開始識別信息需求、收集整理數(shù)據(jù)、分析計算數(shù)據(jù)、評價并改進數(shù)據(jù)分析的有效性組成。

四、總結(jié)

大數(shù)據(jù)相關(guān)分析作為探尋與發(fā)現(xiàn)事物內(nèi)在規(guī)律的重要“導(dǎo)航”工具，其自然成為大數(shù)據(jù)分析與挖掘的關(guān)鍵科學(xué)問題。大數(shù)據(jù)相關(guān)分析的研究尚處于起步階段，可以預(yù)見，在未來的大數(shù)據(jù)研究中，具有快捷、清晰、高效探測事物內(nèi)在關(guān)系、規(guī)律功能的大數(shù)據(jù)相關(guān)分析將涌現(xiàn)大量的重要研究成果。本文針對大數(shù)據(jù)相關(guān)分析的綜述研究希望能夠為關(guān)注大數(shù)據(jù)相關(guān)分析理論與應(yīng)用的研究者與實踐領(lǐng)域?qū)＜姨峁┙梃b。

參考文獻

[1]梁吉業(yè)，馮晨嬌，宋鵬. 大數(shù)據(jù)相關(guān)分析綜述. vol.39 No.1 Jan.2016

[2]趙守香，唐胡鑫，熊海濤著.大數(shù)據(jù)分析與應(yīng)用：航空工業(yè)出版社，2015.12

[3]數(shù)據(jù)整合方案介紹_數(shù)據(jù)整合的優(yōu)點_數(shù)據(jù)整合的缺點.人大經(jīng)濟論壇[引用日期2017-06-21]

[4]李會超.通信領(lǐng)域網(wǎng)絡(luò)管理數(shù)據(jù)模型的建立.2008-11-01

作者簡介：聶鼎（1983-），男，漢族，黑龍江省哈爾濱人，碩士，高級工程師，主要研究方向：電力大數(shù)據(jù)，智能配電網(wǎng)技術(shù)等。