大數(shù)據(jù)(Big Data)
指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù),一般以“太字節(jié)”為單位,“大數(shù)據(jù)”之“大”,并不僅僅在于“容量之大”,更大的意義在于:通過對海量數(shù)據(jù)的交換、整合和分析,發(fā)現(xiàn)新的知識,創(chuàng)造新的價(jià)值,帶來“大知識”“大科技”“大利潤”和“大發(fā)展”。
——《大數(shù)據(jù):正在到來的數(shù)據(jù)革命》,2012年7月1日出版。入榜《亞洲周刊》“年度十大好書”。作者涂子沛,被譽(yù)為“中國數(shù)據(jù)文化的首倡者”。
大數(shù)據(jù)思維
是指一種意識,認(rèn)為公開的數(shù)據(jù)一旦處理得當(dāng),就能為千百萬人急需解決的問題提供答案。大數(shù)據(jù)時代最大的轉(zhuǎn)變就是,放棄對因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”,而不需要知道“為什么”。
——《大數(shù)據(jù)時代:生活、工作與思維的大變革》,國外大數(shù)據(jù)系統(tǒng)研究的先河之作,2013年1月1日出版。入選《光明日報(bào)》、央視等多家媒體2013年度好書。作者維克托·邁爾-舍恩伯格,被譽(yù)為“大數(shù)據(jù)商業(yè)應(yīng)用第一人”。
“大數(shù)據(jù)”正在以我們可以感知的方式撲面而來,盡管時至今日對于大數(shù)據(jù)的定義仍沒有統(tǒng)一的界定,但其所隱含的巨大的社會、經(jīng)濟(jì)、科研價(jià)值已被人們所預(yù)見,大數(shù)據(jù)的浪潮正席卷全球。作為信息時代又一次偉大的技術(shù)變革,大數(shù)據(jù)將如同互聯(lián)網(wǎng)一樣,使人類的生活及理解世界的方式發(fā)生顛覆性的改變。從國家治理,到企業(yè)決策,再至個人生活服務(wù),大數(shù)據(jù)都將以其巨大能量影響著我們的生活、工作與思維。因此,研究者們認(rèn)為:“大數(shù)據(jù),正開啟一次重大的時代轉(zhuǎn)型?!笔澜缰墓芾泶髱煹卖斂苏f:“當(dāng)前社會不是一場技術(shù)戰(zhàn),也不是軟件的速度的革命,而是一場觀念上的革命?!贝髷?shù)據(jù)時代,數(shù)據(jù)是一種技術(shù),是一種資源,更是一種思維。我們已經(jīng)走在大數(shù)據(jù)的路上,身臨這場偉大的變革,我們該如何應(yīng)對?思路決定出路,基于大數(shù)據(jù)的相關(guān)理論與技術(shù)研究已成為學(xué)界的熱點(diǎn)課題,其管理及應(yīng)用也引起了政府部門、產(chǎn)業(yè)界和應(yīng)用行業(yè)的高度關(guān)注。
國家層面:應(yīng)盡快將大數(shù)據(jù)提升為國家戰(zhàn)略
數(shù)據(jù)的作用在大數(shù)據(jù)時代前所未有地凸顯,被視為國家競爭的前沿及企業(yè)創(chuàng)新的來源,很多國家更是將大數(shù)據(jù)提升至國家戰(zhàn)略高度。
發(fā)達(dá)國家的大數(shù)據(jù)戰(zhàn)略
一直處于世界經(jīng)濟(jì)發(fā)展及信息技術(shù)發(fā)展與應(yīng)用前沿的美國,視大數(shù)據(jù)為“未來的新石油”,給發(fā)展大數(shù)據(jù)賦予了非同一般的戰(zhàn)略意義。2012年3月29日,奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計(jì)劃”,同時組建“大數(shù)據(jù)高級指導(dǎo)小組”,涉及美國國家科學(xué)基金、國家衛(wèi)生研究院、能源部、國防部等6個聯(lián)邦政府部門,提高從大量數(shù)據(jù)中訪問、組織、收集發(fā)現(xiàn)信息的工具和技術(shù)水平。“大數(shù)據(jù)研究和發(fā)展計(jì)劃”的提出,是繼1993年美國宣布“信息高速公路”計(jì)劃后的又一次重大科技發(fā)展部署,意味著美國將大數(shù)據(jù)的研發(fā)與應(yīng)用提升到保障美國國家安全、加速科學(xué)研究步伐、引發(fā)教育和學(xué)習(xí)變革的高度,美國也成為全球首個將大數(shù)據(jù)從商業(yè)行為上升至國家意志和國家戰(zhàn)略的國家。除在國家層面部署“大數(shù)據(jù)戰(zhàn)略”外,美國政府還倡議企業(yè)、科研院校和非盈利機(jī)構(gòu)一起集中資源,共同促進(jìn)大數(shù)據(jù)發(fā)展。例如,伯克利加州大學(xué)、迪肯大學(xué)等專門開設(shè)了研究大數(shù)據(jù)的相關(guān)課程,培養(yǎng)下一代的“數(shù)據(jù)科學(xué)家”。
2012年9月,日本總務(wù)省發(fā)布的2013年行動計(jì)劃,提出以復(fù)蘇日本為目的推進(jìn)“活躍在ICT(信息通訊技術(shù))領(lǐng)域的日本”ICT綜合戰(zhàn),明確提出“通過大數(shù)據(jù)和開放數(shù)據(jù)開創(chuàng)新市場”。這些表明,日本政府在新一輪IT振興計(jì)劃中把大數(shù)據(jù)發(fā)展作為國家層面戰(zhàn)略提出,新ICT戰(zhàn)略將重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用技術(shù)。
2013年2月,法國發(fā)布的政府《數(shù)字化路線圖》,將大數(shù)據(jù)列為國家創(chuàng)新戰(zhàn)略重點(diǎn)實(shí)施領(lǐng)域之一。法國政府將以新興企業(yè)、軟件制造商、工程師、信息系統(tǒng)設(shè)計(jì)師等為目標(biāo),開展一系列的投資計(jì)劃,旨在通過發(fā)展創(chuàng)新性解決方案,并將其用于實(shí)踐,來促進(jìn)法國在大數(shù)據(jù)領(lǐng)域的發(fā)展。
澳大利亞在2013年發(fā)布了《大數(shù)據(jù)戰(zhàn)略報(bào)告》,將“促進(jìn)數(shù)據(jù)開放和大數(shù)據(jù)發(fā)展”列為重大領(lǐng)域之一。
盡快制定我國的大數(shù)據(jù)戰(zhàn)略
大數(shù)據(jù)已被視為是與自然資源、人力資源一樣重要的一大戰(zhàn)略資源。大數(shù)據(jù)時代,國家層面的競爭力將一定程度體現(xiàn)在一國所擁有的大數(shù)據(jù)的規(guī)模以及對數(shù)據(jù)的解釋、運(yùn)用能力。2011年,麥肯錫公司曾以2010年度各國新增的存儲器為基準(zhǔn),對全世界大數(shù)據(jù)的分布進(jìn)行了研究,結(jié)果發(fā)現(xiàn):中國這一年新增數(shù)據(jù)量約為250拍(PB,1000TB=1PB),日本為400拍,歐洲2000拍,而美國則為3500拍,中國的新增數(shù)據(jù)量不及美國的十分之一。與此相對應(yīng)的另一組數(shù)據(jù):中國擁有4.8億互聯(lián)網(wǎng)用戶,幾乎是美國的2倍;擁有近9億部手機(jī),是美國的3倍,而互聯(lián)網(wǎng)和手機(jī)正是產(chǎn)生數(shù)據(jù)的重要來源。這意味著中國并不缺乏可供收集的數(shù)據(jù),而是缺乏收集數(shù)據(jù)的意識。
不可否認(rèn),目前在我國無論是在收集數(shù)據(jù)的意識與質(zhì)量,還是使用數(shù)據(jù)的習(xí)慣,亦或是對開放數(shù)據(jù)的態(tài)度都相對落后。這種落后的根源在于,從文化到制度層面我們都一直缺乏“數(shù)據(jù)意識”。這里所說的“缺乏”更多的是指我們對數(shù)據(jù)的敬畏與精準(zhǔn)管理的缺失。將“大數(shù)據(jù)”作為一種國家戰(zhàn)略,首先需要我們從意識上加以轉(zhuǎn)變,繼而在此層面形成一種文化——數(shù)據(jù)文化。在知名旅美信息技術(shù)專家、中國數(shù)據(jù)文化的首倡者涂子沛看來,美國之所以繁榮鼎盛,數(shù)據(jù)文化根基牢不可破概是主因之一。“中國要在大數(shù)據(jù)時代的全球競爭中勝出,必須把大數(shù)據(jù)從科技符號轉(zhuǎn)變?yōu)槲幕?,形成一種文化話語體系,在全社會倡導(dǎo)數(shù)據(jù)文化?!?/p>
在數(shù)據(jù)的使用層面,目前我國還缺少國家層面的專門適合數(shù)據(jù)使用及共享的國家法律,只有相關(guān)的條例、法規(guī)、章程、意見等。而美國在2000年便通過了《數(shù)據(jù)質(zhì)量法》,對政府所發(fā)布數(shù)據(jù)質(zhì)量進(jìn)行了規(guī)范:任何聯(lián)邦政府部門收集的數(shù)據(jù),必須無償與其他部門共享。而在發(fā)布數(shù)據(jù)時,必須同時發(fā)布一系列的文檔,說明數(shù)據(jù)的來源、產(chǎn)生的方法,以及用戶復(fù)制過程當(dāng)中可能出現(xiàn)的問題和錯誤。
在大數(shù)據(jù)領(lǐng)域的滯后與落后,就意味著失守產(chǎn)業(yè)戰(zhàn)略制高點(diǎn),意味著數(shù)字主權(quán)無險(xiǎn)可守,意味著國家安全將出現(xiàn)漏洞。盡快研究并制定我國的大數(shù)據(jù)戰(zhàn)略可謂迫在眉睫,時不我待?!叭绻f收集數(shù)據(jù)、使用數(shù)據(jù)是一種文化和習(xí)慣,開放數(shù)據(jù)則是一種態(tài)度。”涂子沛強(qiáng)調(diào)。收集數(shù)據(jù)、使用數(shù)據(jù)、開放數(shù)據(jù),是大數(shù)據(jù)時代我們需要一一面對的挑戰(zhàn),建立數(shù)據(jù)大國、數(shù)據(jù)強(qiáng)國更應(yīng)成為大數(shù)據(jù)時代我們所追尋的目標(biāo)。
企業(yè)層面:積極布局大數(shù)據(jù)存儲、處理及應(yīng)用
“面對海量數(shù)據(jù),誰能更好地處理、分析數(shù)據(jù),誰就能真正搶得大數(shù)據(jù)時代的先機(jī)?!贝蟮絿抑卫?,小至企業(yè)經(jīng)營管理,概莫如此。對任何行業(yè)中的企業(yè),擁有了相對全面的行業(yè)數(shù)據(jù),就等于奪取了行業(yè)制高點(diǎn)。當(dāng)前,我們的企業(yè)正處于全面轉(zhuǎn)型升級的進(jìn)程中,在新需求、新競爭格局的背景之下,大數(shù)據(jù)的應(yīng)用正在改變著各行各業(yè)。大數(shù)據(jù)背后所隱藏的巨大價(jià)值,也引起了各行各業(yè)的高度重視,成為眾多世界500強(qiáng)企業(yè)追捧的對象。在我國企業(yè)界,目前只有很少的企業(yè)開始探索接受大數(shù)據(jù),絕大多數(shù)的企業(yè)還未真正認(rèn)識到大數(shù)據(jù)的價(jià)值或僅停留在概念層面,對于大數(shù)據(jù)的運(yùn)用不知道從哪里著手。
在電力行業(yè),大數(shù)據(jù)的研究與應(yīng)用業(yè)已得到了國內(nèi)外電企的重視。電力大數(shù)據(jù)也成為大數(shù)據(jù)應(yīng)用的重點(diǎn)領(lǐng)域之一。在電力行業(yè),數(shù)據(jù)無處不在。從電能計(jì)量到設(shè)備檢修、巡視記錄,從調(diào)控監(jiān)控信號到生產(chǎn)報(bào)修數(shù)據(jù),從營銷MIS記錄到GIS地理信息系統(tǒng)……這些海量數(shù)據(jù)按類別進(jìn)行分類,大致可分為三類:一是電力企業(yè)生產(chǎn)數(shù)據(jù),如發(fā)電量、電壓穩(wěn)定性等方面的數(shù)據(jù);二是電力企業(yè)運(yùn)營數(shù)據(jù),如交易電價(jià)、售電量、用電客戶等方面的數(shù)據(jù);三是電力企業(yè)管理數(shù)據(jù),如人力資源、ERP、一體化平臺、協(xié)同辦公等方面的數(shù)據(jù)。面對貫穿電力工業(yè)生產(chǎn)及管理等各環(huán)節(jié)的電力大數(shù)據(jù),要充分利用其隱藏的巨大價(jià)值,需要從內(nèi)部應(yīng)用和外部應(yīng)用兩條主線上進(jìn)行分析與梳理,找到大數(shù)據(jù)與業(yè)務(wù)結(jié)合的突破口。
國際電企的大數(shù)據(jù)應(yīng)用
意昂集團(tuán)(E.ON),歐洲最大的電力集團(tuán)公司之一,兼營石油、貿(mào)易、運(yùn)輸?shù)葮I(yè)務(wù),2013年在世界500強(qiáng)榜單上排名第15位,英、德等30多個國家的電網(wǎng)與發(fā)電企業(yè)都屬于該集團(tuán)旗下資產(chǎn),用戶數(shù)量超過2600萬人。2013年4月,該集團(tuán)宣布攜手瑞典愛立信公司探索“大數(shù)據(jù)”。愛立信將向意昂集團(tuán)出售相應(yīng)的電網(wǎng)應(yīng)用設(shè)備和軟件,用來將意昂旗下電網(wǎng)的數(shù)據(jù)傳輸量提高3000%。愛立信將幫助意昂對這些數(shù)據(jù)進(jìn)行管理和分析,從而為企業(yè)經(jīng)營服務(wù)。這次“大數(shù)據(jù)”合作顯示出意昂集團(tuán)在未來對數(shù)據(jù)的依賴。
電力設(shè)備制造商西門子公司也宣布攜手全球領(lǐng)先的數(shù)據(jù)分析平臺、應(yīng)用和服務(wù)供應(yīng)商天睿(Teradata)公司進(jìn)行“大數(shù)據(jù)營銷”,將電力企業(yè)設(shè)定為目標(biāo)客戶,提供從智能電表到電網(wǎng)運(yùn)行系統(tǒng)的設(shè)備制造與數(shù)據(jù)分析服務(wù)。此前,天睿公司已經(jīng)和美國南加州愛迪生電力公司等電力企業(yè)建立和合作,對停電、電力供應(yīng)、電力需求、天氣對電力供需的影響等數(shù)據(jù)進(jìn)行精確地分析,從而為電網(wǎng)安全運(yùn)行提供更可靠的參考依據(jù)。
美國加州大學(xué)洛杉磯分校的研究者根據(jù)“大數(shù)據(jù)”理論設(shè)計(jì)了一款“電力地圖”,將人口調(diào)查信息、電力企業(yè)提供的用戶實(shí)時用電信息和地理、氣象等信息全部集合在一起,制作了一款加州地圖。該圖以街區(qū)為單位,展示每個街區(qū)在當(dāng)下時刻的用電量,甚至還可以將這個街區(qū)的用電量與該街區(qū)人的平均收入和建筑物類型等相比照,從而得出更為準(zhǔn)確的社會各群體的用電習(xí)慣信息。該“大數(shù)據(jù)”地圖也為城市和電網(wǎng)規(guī)劃提供了直觀有效的負(fù)荷數(shù)預(yù)測依據(jù),也可以按照圖中顯示的停電頻率較高、過載較為嚴(yán)重的街區(qū)進(jìn)行電網(wǎng)設(shè)施的優(yōu)先改造。
國內(nèi)電企的大數(shù)據(jù)建設(shè)
我國電力行業(yè)的數(shù)據(jù)建設(shè)工作并非近幾年才開始著手啟動。2006年,國家電網(wǎng)公司便與世界著名咨詢公司埃森哲公司攜手啟動實(shí)施“SGl86工程”,旨在構(gòu)建由信息網(wǎng)絡(luò)、數(shù)據(jù)交換、數(shù)據(jù)中心、應(yīng)用集成、企業(yè)門戶5部分組成的一體化企業(yè)級信息集成平臺:實(shí)現(xiàn)信息縱向貫通、橫向集成,支撐集團(tuán)化運(yùn)作;建設(shè)公司總部、網(wǎng)省公司兩級數(shù)據(jù)中心,共享數(shù)據(jù)資源,促進(jìn)集約化發(fā)展;部署公司總部、網(wǎng)省公司、地市縣公司三層業(yè)務(wù)應(yīng)用,優(yōu)化業(yè)務(wù)流程,實(shí)現(xiàn)精細(xì)化管理。經(jīng)過幾年的信息化建設(shè),目前國家電網(wǎng)公司已初步建成了國內(nèi)領(lǐng)先、國際一流的信息集成平臺。
華能集團(tuán)于2008年制定信息化規(guī)劃,目標(biāo)是建立集團(tuán)統(tǒng)一的生產(chǎn)管理平臺;華電集團(tuán)在華電國際信息化基礎(chǔ)上,逐步將信息化應(yīng)用統(tǒng)一到集團(tuán)層面,建立了統(tǒng)一的生產(chǎn)系統(tǒng)和多業(yè)務(wù)平臺。2009年,國電集團(tuán)啟動了信息化“193”工程建設(shè),建設(shè)國電集團(tuán)信息一體化信息平臺。建立包括生產(chǎn)、財(cái)務(wù)、人事、物質(zhì)、燃料、基建、營銷、環(huán)保、信息、科技、外事、黨建、綜合等業(yè)務(wù)關(guān)鍵數(shù)據(jù)指標(biāo)體系。建立統(tǒng)一的數(shù)據(jù)中心和數(shù)據(jù)交換平臺,實(shí)現(xiàn)集團(tuán)本部、分子公司、電廠的關(guān)鍵信息和資料的數(shù)據(jù)資源整合和數(shù)據(jù)及時有效的分析,為各級管理人員、領(lǐng)導(dǎo)科學(xué)決策提供技術(shù)支撐和手段,保證生產(chǎn)經(jīng)營管理信息匯集、分析、預(yù)測的準(zhǔn)確性和實(shí)效性。
各大電力集團(tuán)和電網(wǎng)公司所籌劃的上述系統(tǒng)集成平臺或一體化平臺,從本質(zhì)上來看,均屬于大數(shù)據(jù)背景下的數(shù)據(jù)集成和分析、處理平臺。隨著“十八大”提出的“推動信息化和工業(yè)化深度融合”,各大電力企業(yè)進(jìn)一步開始積極采用信息化手段來改造和提升整個企業(yè)的核心業(yè)務(wù)模式。進(jìn)入2013年,拉開了大數(shù)據(jù)開發(fā)應(yīng)用的序幕。信息化建設(shè)的重點(diǎn)是對已有系統(tǒng)進(jìn)行集成整合、深化應(yīng)用、對數(shù)據(jù)的挖掘和利用及IT系統(tǒng)的效益進(jìn)行提升。
隨著信息化建設(shè)的不斷深入,信息化數(shù)據(jù)的大數(shù)據(jù)特征日益明顯,大數(shù)據(jù)的應(yīng)用需求日益迫切。國家電網(wǎng)公司高度重視大數(shù)據(jù)技術(shù)的研究和應(yīng)用,啟動開展了相關(guān)工作。為進(jìn)一步明確公司大數(shù)據(jù)應(yīng)用的總體原則及發(fā)展目標(biāo),確定頂層設(shè)計(jì)、標(biāo)準(zhǔn)體系、技術(shù)研究、解決方案及業(yè)務(wù)應(yīng)用提升等各項(xiàng)任務(wù),推動大數(shù)據(jù)在電力行業(yè)的應(yīng)用,有效支撐信息化及智能電網(wǎng)建設(shè),提高公司資源利用效率和業(yè)務(wù)處理能力,國家電網(wǎng)公司制定了《國家電網(wǎng)公司大數(shù)據(jù)應(yīng)用指導(dǎo)意見》。同時,在北京亦莊、上海、陜西建立了三大電力大數(shù)據(jù)中心,其中北京亦莊大數(shù)據(jù)中心已安裝超過10200個傳感器。這三個大數(shù)據(jù)中心已經(jīng)覆蓋了我國北方、南方以及西部內(nèi)陸地區(qū)。這些數(shù)據(jù)中心的建立,為我國電力安全與電力信息化的長足發(fā)展奠定了基礎(chǔ)。2013年南方電網(wǎng)公司啟動一體化信息平臺建設(shè)。發(fā)電側(cè),配合集團(tuán)運(yùn)作管理模式,五大發(fā)電集團(tuán)目前正重構(gòu)其信息系統(tǒng)以建立新的管理與運(yùn)營模式,將建立統(tǒng)一的信息平臺作為信息化建設(shè)的重點(diǎn)。
對電力行業(yè)來說,大數(shù)據(jù)是電力企業(yè)深化應(yīng)用、提升應(yīng)用層次、強(qiáng)化集團(tuán)企業(yè)管控的有力技術(shù)手段,在推動企業(yè)轉(zhuǎn)型升級中具有重要作用。盡快強(qiáng)化數(shù)據(jù)意識,重視對大數(shù)據(jù)價(jià)值的深入分析與挖掘,建立自己的數(shù)據(jù)戰(zhàn)略,推動企業(yè)決策機(jī)制從“業(yè)務(wù)驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)變是我們的電力企業(yè)參與國際市場競爭的一條必選之路。
“得大數(shù)據(jù)者得天下”是一些推崇大數(shù)據(jù)時代的變革者堅(jiān)信不疑的判斷,突顯了“獲取”數(shù)據(jù)的重要。然而,立身于大數(shù)據(jù)時代的我們,還應(yīng)該更加專注于數(shù)據(jù)背后所潛在的價(jià)值,如何轉(zhuǎn)化和激發(fā)它們的潛能,賦予這些數(shù)字新的生命,創(chuàng)造出更大的價(jià)值駕馭未來,這才是大數(shù)據(jù)時代的真正意義之所在。數(shù)量化思維,用數(shù)據(jù)而非感覺進(jìn)行判斷與決策,已成為眾多國際企業(yè)的一種信條,應(yīng)用量化思維進(jìn)行科學(xué)管理也應(yīng)成為中國及中國企業(yè)努力的方向。相信隨著大數(shù)據(jù)的價(jià)值被進(jìn)一步挖掘,定會為社會的發(fā)展注入更多的活力。