大數(shù)據(jù)及云計(jì)算技術(shù)淺析

雷開春

（宜賓學(xué)院 四川 宜賓 644000）

1 引言

隨著科技的快速發(fā)展，大數(shù)據(jù)已然從一個(gè)概念逐步深入到了各行各業(yè)?，F(xiàn)在，大數(shù)據(jù)已經(jīng)形成了一定的產(chǎn)業(yè)規(guī)模，傳統(tǒng)行業(yè)已經(jīng)慢慢轉(zhuǎn)型，開始利用大數(shù)據(jù)技術(shù)升級(jí)換代。同時(shí)，大數(shù)據(jù)的模式和行業(yè)形態(tài)也層出不窮，這些變化目的都是為企業(yè)謀取更大的經(jīng)濟(jì)利益。

云計(jì)算作為當(dāng)前另一熱點(diǎn)技術(shù)，它實(shí)現(xiàn)了互聯(lián)網(wǎng)上各種資源（如服務(wù)器、存儲(chǔ)空間等）的無限擴(kuò)展。從云計(jì)算技術(shù)的視角，一切都是一種服務(wù)，它可以把多種服務(wù)進(jìn)行連接和組合，以滿足無限數(shù)量的應(yīng)用程序需求。云計(jì)算采用了不同于傳統(tǒng)付費(fèi)的嶄新模式，這個(gè)模式最大的特點(diǎn)就是采用了一種按使用量付費(fèi)的方式，也就是使用多少資源就按多少資源付費(fèi)。我們把互聯(lián)網(wǎng)上的各種資源想象成一個(gè)大的資源池，這個(gè)資源池包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)空間和設(shè)備、應(yīng)用軟件和服務(wù)等。通過云計(jì)算技術(shù)，企業(yè)不需要花費(fèi)大量精力和人力，也不需要和供應(yīng)商有過多及繁瑣的交互，就可以對這個(gè)資源共享池進(jìn)行便捷、按需的訪問。

目前，大數(shù)據(jù)技術(shù)與云計(jì)算的聯(lián)系更加緊密。大數(shù)據(jù)的目的就是充分挖掘海量數(shù)據(jù)中的信息，以獲取數(shù)據(jù)中的價(jià)值。但海量數(shù)據(jù)的分析對大數(shù)據(jù)處理是一個(gè)挑戰(zhàn)，如果沒有強(qiáng)有力的云計(jì)算作為支撐，對信息量如此巨大的數(shù)據(jù)進(jìn)行分析幾乎是不可能的。

2 大數(shù)據(jù)概述

“大數(shù)據(jù)”這一概念最早由全球知名咨詢公司麥肯錫提出，麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合[1]。大數(shù)據(jù)具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。

（1）數(shù)據(jù)量巨大。在我們的傳統(tǒng)觀念里，M、G、T就是常用的比較大的計(jì)量單位了。而在大數(shù)據(jù)的世界里，只有數(shù)據(jù)體量達(dá)到了PB級(jí)別以上，才能被稱為大數(shù)據(jù)。目前大數(shù)據(jù)的計(jì)量單位至少是P（1 000個(gè)T）、E(100萬個(gè)T)、Z(10億個(gè)T)。

（2）高效性。大數(shù)據(jù)時(shí)代的海量數(shù)據(jù)，如果沒能及時(shí)、高效地利用和處理，大數(shù)據(jù)也變?yōu)榱艘淮蠖妖嫶蟮娜哂鄶?shù)據(jù)，并無價(jià)值。大數(shù)據(jù)時(shí)代，我們有非常硬核的云計(jì)算等技術(shù)，大數(shù)據(jù)的交換和傳播在網(wǎng)絡(luò)之間通過云計(jì)算等技術(shù)得以實(shí)現(xiàn)。這種高速、高效的特點(diǎn)正是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)的顯著特點(diǎn)之一。大量數(shù)據(jù)迅猛增長，企業(yè)必須快速獲取數(shù)據(jù)并及時(shí)做出響應(yīng)，上億的數(shù)據(jù)分析需要在秒級(jí)別內(nèi)完成，數(shù)據(jù)的創(chuàng)建、移動(dòng)、處理和篩除都在瞬間完成，幾乎沒有延遲。

（3）數(shù)據(jù)的多樣性。大數(shù)據(jù)資源的收集是通過互聯(lián)網(wǎng)、物流網(wǎng)等渠道獲得，數(shù)據(jù)來源的廣泛性決定了數(shù)據(jù)形式的多樣性。主要包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)這三大類。結(jié)構(gòu)化數(shù)據(jù)主要是指財(cái)務(wù)系統(tǒng)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、教育系統(tǒng)數(shù)據(jù)等數(shù)據(jù)；非機(jī)構(gòu)化數(shù)據(jù)主要指音頻、視頻、圖片等數(shù)據(jù)；半結(jié)構(gòu)數(shù)據(jù)主要指網(wǎng)頁、郵件、文檔等數(shù)據(jù)。目前，互聯(lián)網(wǎng)數(shù)據(jù)中結(jié)構(gòu)化數(shù)據(jù)占比最大，而收獲價(jià)值最大的是這些非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)的多樣性使我們獲取的信息更加豐富，同時(shí)也對我們的處理能力提出了更高的要求。

（4）低密度性。所謂低密度是指有價(jià)值的數(shù)據(jù)在獲取整個(gè)數(shù)據(jù)中所占的比例非常小，低密度性也是大數(shù)據(jù)最核心的特征。在現(xiàn)實(shí)生活中，我們通過各種渠道獲取大量的數(shù)據(jù)，希望從這些采集來的信息數(shù)據(jù)中提取有價(jià)值的部分，但這種獲取通常是一個(gè)很大的范圍而沒有明確的針對性，所以絕大部分?jǐn)?shù)據(jù)是無用的信息數(shù)據(jù)。如何高效快速的從這些海量數(shù)據(jù)中提純出價(jià)值數(shù)據(jù)，正是大數(shù)據(jù)時(shí)代需要不斷解決和完善的課題。

3 云計(jì)算

云計(jì)算概念是在1988年由微軟公司的合作創(chuàng)始人約翰·蓋奇提出來的，他也提出了“網(wǎng)絡(luò)就是計(jì)算機(jī)”這一概念。也就是說我們把互聯(lián)網(wǎng)世界里的無數(shù)電腦和服務(wù)器連成一片電腦云[2]，互聯(lián)網(wǎng)就是一個(gè)巨大的計(jì)算機(jī)，它可以提供運(yùn)行與存儲(chǔ)的功能，并且還能夠進(jìn)行數(shù)據(jù)分析。如今，云計(jì)算概念已經(jīng)被廣泛應(yīng)用。云計(jì)算提供計(jì)算服務(wù)，用戶只需通過電腦、手機(jī)、平板等方式接入這些云資源，根據(jù)自己的需要獲取云服務(wù)?？蛻羯踔敛恍枰鳈C(jī)和服務(wù)器，這些云計(jì)算都能為你提供。同時(shí)，云計(jì)算強(qiáng)大的計(jì)算能力（如10億萬次/s）讓客戶迅速獲得自己要的信息和服務(wù)。云計(jì)算明顯優(yōu)于傳統(tǒng)模式，它使企業(yè)減少了大量的IT維護(hù)人員，從而減少了人力成本。云計(jì)算還有一顯著的優(yōu)點(diǎn)就是其彈性擴(kuò)展能力，它能在客戶需要的時(shí)候從優(yōu)提供適合且適量的IT資源，免去了偏多或偏少的存儲(chǔ)空間、帶寬等。

由上述可見，云計(jì)算帶來的好處很多，但依然不能用一種云計(jì)算來解決所有客戶的需求。為了更好地發(fā)揮云計(jì)算的作用，我們必須從每個(gè)客戶的實(shí)際需求出發(fā)，提供最合適的解決方案。目前市面上最主流的三種云計(jì)算類型：公共云、私有云和混合云。

3.1 公共云

公共云為第三方云服務(wù)供應(yīng)商所擁有和提供。供應(yīng)商負(fù)責(zé)提供所有的硬件、軟件和其他相關(guān)的基礎(chǔ)結(jié)構(gòu)。公眾可以通過網(wǎng)絡(luò)獲取這些資源，這種模式安裝簡便而且費(fèi)用便宜，客戶只需為其使用的服務(wù)付費(fèi)，沒有資源浪費(fèi)。顯然這種模式存在欠缺客戶化的服務(wù)能力。另外，法律合規(guī)性、安全措施、可用性等也存在一些問題，這些勢必會(huì)導(dǎo)致一些風(fēng)險(xiǎn)。

3.2 私有云

私有云是由其服務(wù)的企業(yè)來管理，它是專供一個(gè)企業(yè)或組織使用的云計(jì)算資源。在一個(gè)私有云環(huán)境中，一個(gè)防火墻就可以限制用戶訪問并消除眾多企業(yè)對于數(shù)據(jù)安全性和合規(guī)性方面的憂慮。企業(yè)必須對私有云實(shí)施的項(xiàng)目進(jìn)行精心規(guī)劃，這種規(guī)劃包括了理解私有計(jì)算的真正定義、安全性、性能以及其他等因素。私有云這些優(yōu)于公共云的優(yōu)勢是以更高昂的費(fèi)用作為代價(jià)的。

3.3 混合云

混合云就是將上述兩種類型的云組合在一起?；旌显圃试S數(shù)據(jù)和應(yīng)用程序在私有云和公共云之間移動(dòng)，但這兩種云的基礎(chǔ)設(shè)施彼此獨(dú)立運(yùn)行，二者是獨(dú)特和獨(dú)立的元素。混合云可直接訪問的內(nèi)部部署私有基礎(chǔ)設(shè)施，不會(huì)受到公共互聯(lián)網(wǎng)的限制，與公共云服務(wù)相比，混合云大大減少了訪問時(shí)間和等待時(shí)間。

云計(jì)算是以按需分配的模式向客戶提供服務(wù)。云計(jì)算服務(wù)目前大致分為有三大類：基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺(tái)即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）[3]。

（1）基礎(chǔ)設(shè)施即服務(wù)：這是三中類型中最基本的一種?？蛻艨梢圆捎眉从眉锤兜姆绞?從供應(yīng)商處租用服務(wù)器、存儲(chǔ)空間和操作系統(tǒng)等基礎(chǔ)設(shè)施，供應(yīng)商提供相關(guān)的維護(hù)工作。

（2）平臺(tái)即服務(wù)：這種云計(jì)算服務(wù)主要為使用者提供開發(fā)、測試和管理等所需要的環(huán)境。開發(fā)者無需考慮開發(fā)設(shè)計(jì)中基礎(chǔ)結(jié)構(gòu)的設(shè)定和管理，便能輕松地創(chuàng)建Web或移動(dòng)應(yīng)用。

（3）軟件即服務(wù)：這是三種類型中最便捷的一種。供應(yīng)商不僅為客戶提供所必須的基礎(chǔ)結(jié)構(gòu)和環(huán)境設(shè)置，也為客戶提供管理軟件應(yīng)用程序，并負(fù)責(zé)軟件的升級(jí)、維護(hù)、安全等工作。

4 大數(shù)據(jù)和云計(jì)算的區(qū)別及關(guān)聯(lián)

4.1 區(qū)別

大數(shù)據(jù)和云計(jì)算最根本的區(qū)別是兩者側(cè)重點(diǎn)不同，大數(shù)據(jù)只涉及對海量數(shù)據(jù)進(jìn)行高效處理；而云計(jì)算則涉及基礎(chǔ)架構(gòu)和資源的分配。

4.2 關(guān)聯(lián)

雖然大數(shù)據(jù)和云計(jì)算側(cè)重點(diǎn)不同，但它們之間的關(guān)系并非獨(dú)立無關(guān)的。相反，大數(shù)據(jù)和云計(jì)算在資源的需求和處理上，二者相輔相成，互相成就。

大數(shù)據(jù)和云計(jì)算都是當(dāng)下最具價(jià)值的技術(shù)之一，很多企業(yè)都致力于將兩種技術(shù)有效地結(jié)合起來，在降低投資成本的同時(shí)，為公司獲得更多的商業(yè)價(jià)值和利益。

大數(shù)據(jù)為云計(jì)算在對實(shí)時(shí)更新的海量數(shù)據(jù)進(jìn)行查詢和分析過程中，提供有價(jià)值的信息，而云計(jì)算提供的計(jì)算資源服務(wù)，又支撐起大數(shù)據(jù)的不斷挖掘。大數(shù)據(jù)的挖掘是以云計(jì)算作為平臺(tái)，而從大數(shù)據(jù)中提取出價(jià)值信息和規(guī)律，為云計(jì)算帶來了無數(shù)的好處。云技術(shù)的進(jìn)步，完善了大數(shù)據(jù)的分析，更有效地整合各種渠道的數(shù)據(jù)。云計(jì)算提供了相對于傳統(tǒng)的基礎(chǔ)架構(gòu)更加靈活、簡便的基礎(chǔ)架構(gòu)，對各類海量數(shù)據(jù)的分析變得可行和容易。

大數(shù)據(jù)和云計(jì)算兩者的結(jié)合，還優(yōu)化了企業(yè)數(shù)據(jù)安全性和隱私性問題。在安全性和隱私性方面，系統(tǒng)集成商引入了具有彈性和可擴(kuò)展性的私有云解決方案。除此之外，云數(shù)據(jù)一般是在云存儲(chǔ)服務(wù)器的中央位置進(jìn)行存儲(chǔ)和處理，服務(wù)提供商和客戶將與之一起簽署服務(wù)水平協(xié)議，以獲得他們之間的信任。如果需要，提供商還可以利用所需的高級(jí)安全控制級(jí)別，保護(hù)大數(shù)據(jù)免受威脅，讓云服務(wù)商更好地存儲(chǔ)和維護(hù)數(shù)據(jù)。

5 結(jié)語

大數(shù)據(jù)時(shí)代的到來，使數(shù)據(jù)與我們的日常生活從未如此緊密過。從當(dāng)前互聯(lián)網(wǎng)蓬勃發(fā)展的局面來看，大數(shù)據(jù)和云計(jì)算必定有非常廣闊的發(fā)展前景，它們將在各自的領(lǐng)域里不斷創(chuàng)新并將帶動(dòng)一系列新興技術(shù)的出現(xiàn)。然而目前，這兩種技術(shù)都還處于發(fā)展階段，都還有很大優(yōu)化改進(jìn)空間。所以，我們還不能說大數(shù)據(jù)和云計(jì)算已經(jīng)完美結(jié)合。另外，大數(shù)據(jù)一方面給我們的生活帶來了很多便利，但同時(shí)也帶來了一些安全隱患，用戶敏感信息和數(shù)據(jù)的泄露防不勝防，這些個(gè)人隱私數(shù)據(jù)很容易被犯罪分子利用，做一些非法獲益的活動(dòng)。所以，大數(shù)據(jù)時(shí)代我們在享受時(shí)代紅利的同時(shí)，也要注意保護(hù)個(gè)人信息。目前，兩大技術(shù)進(jìn)行大數(shù)據(jù)挖掘和分析的過程也在日益完善和改進(jìn)，這也是大數(shù)據(jù)和云計(jì)算兩大主流技術(shù)未來的使命。