快速了解大數(shù)據(jù)及其必備技能

米沃奇

當(dāng)前，整個與聯(lián)網(wǎng)正在從IT時代向DT時代演進(jìn)，大數(shù)據(jù)技術(shù)也正在助力企業(yè)和公眾敲開DT世界大門。下面我們將對大數(shù)據(jù)從多個方面進(jìn)行簡單介紹。

1.大數(shù)據(jù)定義

一般而言，大數(shù)據(jù)是指數(shù)量龐大而復(fù)雜，傳統(tǒng)的數(shù)據(jù)處理產(chǎn)品兀法在合理的時問內(nèi)捕獲、管理和處理的數(shù)據(jù)集合。

這些大數(shù)據(jù)集可以包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

究竟有多少數(shù)據(jù)才能實(shí)構(gòu)成“大”數(shù)據(jù)呢？這也是有爭議的，大數(shù)據(jù)的大小經(jīng)常改變，截至2012年，單一數(shù)據(jù)集的大小從數(shù)太字節(jié)（TB）至數(shù)十兆億字節(jié)（PB）不等。

大數(shù)據(jù)通常以三個V來表征：

（1）數(shù)據(jù)量的大?。╒olume）；

（2）數(shù)據(jù)類型的多樣性（Variety）；

（3）數(shù)據(jù)處理和分析的速度（Velocity）。

構(gòu)成大數(shù)據(jù)存儲的數(shù)據(jù)可以來自包括網(wǎng)站、社交媒體、桌面和移動應(yīng)用、科學(xué)實(shí)驗(yàn)以及物聯(lián)網(wǎng)（IoT）中越來越多的傳感器和其他設(shè)備。

大數(shù)據(jù)概念包含了一組相關(guān)的組件，使食業(yè)能夠?qū)?shù)據(jù)實(shí)際使用并解決一些業(yè)務(wù)問題。其中包括支持大數(shù)據(jù)所需的IT基礎(chǔ)架構(gòu)、分析應(yīng)用于數(shù)據(jù)、大數(shù)據(jù)項(xiàng)日所需的技術(shù)、相關(guān)技能組合以及對大數(shù)據(jù)有意義的實(shí)際使用案例。

2.大數(shù)據(jù)和分析

應(yīng)用于數(shù)據(jù)的分析才是真正能夠從大數(shù)據(jù)集合中獲得價值的所在。沒有分析，大數(shù)據(jù)集合也只是一堆有限的商業(yè)數(shù)據(jù)。

通過對大數(shù)據(jù)進(jìn)行分析，食業(yè)可以從分析結(jié)果中得出諸如增加銷售額、改善客戶服務(wù)、提高效率等結(jié)論，全面提升企業(yè)競爭力。數(shù)據(jù)分析包括檢查數(shù)據(jù)集，以獲得對其所包含內(nèi)容得出的結(jié)淪，例如關(guān)于未來活動的趨勢和預(yù)測。通過分析數(shù)據(jù)，企業(yè)可以做出更明智的業(yè)務(wù)決策，例如該在何時何地進(jìn)行營銷活動等。

分析可以參考基本的商業(yè)智能應(yīng)用程序或更高級的預(yù)測性分析，例如科學(xué)組織使用的分析。在最先進(jìn)的數(shù)據(jù)分析類型中，數(shù)據(jù)挖掘是分析師評估大型數(shù)據(jù)集以識別關(guān)系的一種方式。

數(shù)據(jù)分析可以包括探索性數(shù)據(jù)分析（識別數(shù)據(jù)中的模式和關(guān)系）和驗(yàn)證性數(shù)據(jù)分析（應(yīng)用統(tǒng)計(jì)技術(shù)來確定關(guān)于特定數(shù)據(jù)集的假設(shè)是否屬實(shí)）。另一種區(qū)分是定量數(shù)據(jù)分析（或數(shù)字?jǐn)?shù)據(jù)分析，其中有可量化的變量，可以進(jìn)行統(tǒng)計(jì)比較）與定性數(shù)據(jù)分析（側(cè)重于非數(shù)字?jǐn)?shù)據(jù)、如視頻、圖像和文本）。

3.IT基礎(chǔ)架構(gòu)來支持大數(shù)據(jù)

為了能讓大數(shù)據(jù)概念發(fā)揮作用，企業(yè)需要有適當(dāng)?shù)幕A(chǔ)設(shè)施來收集和存儲數(shù)據(jù)，提供對數(shù)據(jù)的訪問.并在存儲和傳輸過程中保護(hù)信息。在高層次上，這其中包括為大數(shù)據(jù)、數(shù)據(jù)管理和集成軟件、商業(yè)智能和數(shù)據(jù)分析軟件以及大數(shù)據(jù)應(yīng)用設(shè)計(jì)的存儲系統(tǒng)和服務(wù)器。

由于公司希望繼續(xù)利用數(shù)據(jù)中心投資，因此大部分基礎(chǔ)架構(gòu)可能都是內(nèi)部部署的。但越來越多的企業(yè)依靠云計(jì)算服務(wù)來處理大部分大數(shù)據(jù)需求。

數(shù)據(jù)收集這一過程需要數(shù)據(jù)源。網(wǎng)絡(luò)應(yīng)用程序、社交媒體渠道、移動應(yīng)用程序和電子郵件檔案已經(jīng)到位，但隨著物聯(lián)網(wǎng)逐漸成熟，企業(yè)可能需要在各種設(shè)備、車輛和產(chǎn)品上部署傳感器來收集數(shù)據(jù)，以及生成用戶數(shù)據(jù)的新應(yīng)用程序。

為了存儲所有傳人的數(shù)據(jù)，企業(yè)需要有適當(dāng)?shù)臄?shù)據(jù)存儲。存儲選項(xiàng)包括傳統(tǒng)的數(shù)據(jù)倉庫、數(shù)據(jù)湖和基于云的存儲。

安全基礎(chǔ)設(shè)施工具可能包括數(shù)據(jù)加密、用戶身份驗(yàn)證和其他訪問控制、監(jiān)控系統(tǒng)、防火墻、企業(yè)移動管理以及其他保護(hù)系統(tǒng)和數(shù)據(jù)的產(chǎn)品。

4.大數(shù)據(jù)的特定技術(shù)

一般來說，除了上述用于數(shù)據(jù)的IT基礎(chǔ)設(shè)施之外。您的IT基礎(chǔ)架構(gòu)應(yīng)該支持特定于大數(shù)據(jù)的幾種技術(shù)。

（I）Hadoop生態(tài)系統(tǒng)

Hadoop是與大數(shù)據(jù)密切相關(guān)的技術(shù)之一。Apache Hadoop項(xiàng)目為可擴(kuò)展的分布式計(jì)算開發(fā)開源軟件。Hadoop軟件庫是一個框架，可以使用簡單的編程模型在整個計(jì)算機(jī)集群上分布式處理大型數(shù)據(jù)集。它旨在從單個服務(wù)器擴(kuò)展到數(shù)千個服務(wù)器，每一個都提供本地計(jì)算和存儲。該項(xiàng)目包括幾個模塊：

HadoopCommon，支持其他Hadoop模塊的常用工具；

Hadoop分布式文件系統(tǒng)，提供對應(yīng)用程序數(shù)據(jù)的高吞吐量訪問；

Hadoop YARN.作業(yè)調(diào)度和集群資源管理的框架；

Hadoop MapReduce，一個基于YARN的并行處理大型數(shù)據(jù)集的系統(tǒng)。

（2）Apache Spark

作為Hadoop生態(tài)系統(tǒng)的一部分，Apache Spark是一個開源的集群計(jì)算框架，可用作在Hadoop中處理大數(shù)據(jù)的引擎。Spark已經(jīng)成為關(guān)鍵的大數(shù)據(jù)分布式處理框架之一，并且可以以各種方式進(jìn)行部署。它為Java、Scala、Python等編程語言提供本地綁定，并支持SQL、流數(shù)據(jù)、機(jī)器學(xué)習(xí)和圖形處理。

（3）數(shù)據(jù)湖

數(shù)據(jù)湖泊是存儲庫，它以本機(jī)格式存儲極大量的原始數(shù)據(jù)。數(shù)字化轉(zhuǎn)型舉措和物聯(lián)網(wǎng)的發(fā)展促進(jìn)了數(shù)據(jù)湖的發(fā)展。數(shù)據(jù)湖的設(shè)計(jì)是為了方便用戶在需要時訪問大量的數(shù)據(jù)。

（4）NoSQL數(shù)據(jù)庫

傳統(tǒng)的SQL數(shù)據(jù)庫是為可靠的事務(wù)和查詢而設(shè)計(jì)的，但是它們有嚴(yán)格的架構(gòu)限制，這使得它們不太適合某些類型的應(yīng)用程序。NoSQL數(shù)據(jù)庫解決了這些限制，并以高速運(yùn)行和高度靈活性的方式存儲和管理數(shù)據(jù)。與SQL數(shù)據(jù)庫不同，許多NoSQL數(shù)據(jù)庫可以在數(shù)百或數(shù)千臺服務(wù)器上橫向擴(kuò)展。

（5）內(nèi)存數(shù)據(jù)庫

內(nèi)存數(shù)據(jù)庫（IMDB）是一種數(shù)據(jù)庫管理系統(tǒng)，主要依靠主內(nèi)存來存儲數(shù)據(jù)。內(nèi)存數(shù)據(jù)庫比磁盤優(yōu)數(shù)據(jù)庫要快。

5.大數(shù)據(jù)技能

大數(shù)據(jù)和大數(shù)據(jù)分析作都需工要特定的技能。這些技能中的很多都與關(guān)鍵的大數(shù)據(jù)技術(shù)組件（如Hadoop、Spark、NoSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫和分析軟件）相關(guān)。

其他則專門針對數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘、統(tǒng)計(jì)和定量分析、數(shù)據(jù)可視化、通用編程以及數(shù)據(jù)結(jié)構(gòu)和算法等學(xué)科，還需要有整體管理技能。鑒于大數(shù)據(jù)分析項(xiàng)目已經(jīng)非常普及，卻缺乏擁有這些技能的人才，尋找有經(jīng)驗(yàn)的專業(yè)人員可能是企業(yè)面臨的最大挑戰(zhàn)之一。

6.大數(shù)據(jù)用例

大數(shù)據(jù)和分析可以應(yīng)用于許多業(yè)務(wù)問題和用例。這里有一些例子：

（1）客戶分析。公司可以檢查客戶數(shù)據(jù)以改善客戶體驗(yàn)，提高轉(zhuǎn)換率并增加留存率；

（2）運(yùn)營分析。提高運(yùn)營績效，更好地利用企業(yè)資產(chǎn)是許多公司的目標(biāo)。大數(shù)據(jù)分析可以幫助氽業(yè)找到更高效運(yùn)營和提高績效的方法；

（3）預(yù)防詐騙。數(shù)據(jù)分析可幫助組織識別可能指示欺詐行為并有助于降低風(fēng)險的可疑活動和模式；

（4）價格優(yōu)化。公司可以使用大數(shù)據(jù)分析來優(yōu)化產(chǎn)品和服務(wù)收取的價格，從而幫助提高收入。

7.大數(shù)據(jù)趨勢

趨勢一：數(shù)據(jù)的資源化

資源化，是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的熏要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計(jì)劃，搶占市場先機(jī)。

趨勢二：與云計(jì)算的深度結(jié)合大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。白2013年開始，大數(shù)據(jù)技術(shù)已開始和云計(jì)算技術(shù)緊密結(jié)合，預(yù)計(jì)未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計(jì)算形態(tài)，也將助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。

趨勢三：科學(xué)I單淪的突破

隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破。

趨勢四：數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立

未來，數(shù)據(jù)科學(xué)將成為一門學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)。與此同時，基于數(shù)據(jù)這個基礎(chǔ)平臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。

趨勢五：數(shù)據(jù)泄露泛濫

未來幾年數(shù)據(jù)泄露事件的增長率也許會達(dá)到IOO%，除非數(shù)據(jù)在其源頭就能夠得到安全保障?？梢哉f，在未來，企業(yè)都會面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。而所有企業(yè)，無論規(guī)模大小，都需要重新市視今天的安全定義。在世界500強(qiáng)企業(yè)中，超過50%將會設(shè)置首席信息安全官這一職位。氽業(yè)需要從新的角度來確保自身以及客戶數(shù)據(jù)，所有數(shù)據(jù)在創(chuàng)建之初便需要獲得安仝保障，而并非在數(shù)據(jù)保存的最后一個環(huán)節(jié)，僅僅加強(qiáng)后者的安全措施已被證明于事無補(bǔ)。

趨勢六：數(shù)據(jù)管理成為核心競爭力

數(shù)據(jù)管理成為核心競爭力，直接影響財務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。數(shù)據(jù)資產(chǎn)管理效率與主營業(yè)務(wù)收人增長率、銷售收人增長率著正相關(guān)。此外，對于具有互聯(lián)網(wǎng)思維的企業(yè)而言，數(shù)據(jù)資產(chǎn)競爭力所占比重為36.8%，數(shù)據(jù)資產(chǎn)的管理效果將直接影響企業(yè)的財務(wù)表現(xiàn)。

趨勢七：數(shù)據(jù)質(zhì)量是BI（商業(yè)智能）成功的關(guān)鍵

采用白助式商業(yè)智能工具進(jìn)行大數(shù)據(jù)處理的氽業(yè)將會脫穎而出。其中要面臨的一個挑戰(zhàn)是，很多數(shù)據(jù)源會帶來大量低質(zhì)量數(shù)據(jù)。想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。

趨勢八：數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)

大數(shù)據(jù)的世界不只是一個單一的、巨大的計(jì)算機(jī)網(wǎng)絡(luò)，而是一個由大量活動構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接人服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點(diǎn)服務(wù)、數(shù)據(jù)服務(wù)零售商等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。如今，這樣一套數(shù)據(jù)生態(tài)系統(tǒng)的基本雛形已然形成，接下來的發(fā)展將趨向于系統(tǒng)內(nèi)部角色的部分；系統(tǒng)機(jī)制的調(diào)整，也就是商業(yè)模式的創(chuàng)新；系統(tǒng)結(jié)構(gòu)的調(diào)整，也就是競爭環(huán)境的調(diào)整等，從而使得數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度逐漸增強(qiáng)。