云計算技術(shù)在計算機(jī)大數(shù)據(jù)分析中的應(yīng)用

夏德宏

(江西水利職業(yè)學(xué)院,江西 南昌 330013)

0 引言

伴隨信息技術(shù)與互聯(lián)網(wǎng)技術(shù)的發(fā)展,技術(shù)升級和更新的速度不斷加快,計算機(jī)中的數(shù)據(jù)存儲量也在日益增多。作為人們工作、生產(chǎn)、生活必不可少的設(shè)備,計算機(jī)對于社會經(jīng)濟(jì)起到了巨大推動作用。由于大數(shù)據(jù)分析是計算機(jī)的一個重要領(lǐng)域,并且云計算技術(shù)能夠為大數(shù)據(jù)分析提供巨大幫助,因此,研究計算機(jī)大數(shù)據(jù)分析中的云計算技術(shù)運(yùn)用具有一定現(xiàn)實意義。

1 當(dāng)前計算機(jī)大數(shù)據(jù)分析的概況

大數(shù)據(jù)通常指的是種類多、結(jié)構(gòu)復(fù)雜、數(shù)量龐大的數(shù)據(jù)共同組成的集合,能夠基于相應(yīng)模式應(yīng)用和處理各種數(shù)據(jù),借助數(shù)據(jù)的復(fù)用、交叉、共享、集成產(chǎn)生一系列智慧服務(wù)、知識資源等。大數(shù)據(jù)脫離了原有的數(shù)據(jù)結(jié)構(gòu)化范疇,原有的結(jié)構(gòu)化數(shù)據(jù)能夠在數(shù)據(jù)庫系統(tǒng)中瀏覽和查閱,而大數(shù)據(jù)中的日志文件、傳感器信息、圖像信息、視頻信息、數(shù)字信息為半結(jié)構(gòu)化,部分大數(shù)據(jù)的字段甚至無法進(jìn)行檢索。作為一種全新的數(shù)據(jù)形式,大數(shù)據(jù)具有多個不同的數(shù)據(jù)源,有必要采用全新的計算方法與計算技術(shù)開展針對性的分析工作。與此同時,在原有的結(jié)構(gòu)化數(shù)據(jù)中,數(shù)據(jù)源產(chǎn)生的所有數(shù)據(jù)都以規(guī)定格式出現(xiàn),而在半結(jié)構(gòu)化大數(shù)據(jù)中,數(shù)據(jù)源的格式較為特殊,但其邏輯具有可理解性,這使得大數(shù)據(jù)不同部分能夠構(gòu)建一定的聯(lián)系。

2 計算機(jī)大數(shù)據(jù)和云計算技術(shù)的內(nèi)在關(guān)系

2.1 云計算技術(shù)

依托互聯(lián)網(wǎng)采用服務(wù)形式的計算方案即為云計算。云計算能夠提供各種計算資源,使用者能夠按照自身需求對計算后的資源進(jìn)行查詢、瀏覽和獲取,不管是虛擬資源還是物理資源,無論是共享資源還是專用資源都包含其中。在云中,所有計算機(jī)的工作同時進(jìn)行,相同計算能夠集合不同應(yīng)用程序。由于云計算技術(shù)無可比擬的優(yōu)點,如伸縮性強(qiáng)、資源使用效果好、成本低廉等,因此近些年出現(xiàn)了常規(guī)計算向云計算不斷發(fā)展的趨勢。

從類別來看,云包括混合云、私有云和公共云3種[1]。其中,公共云主要提供給大型組織、大型企業(yè)、公眾組織等,其供應(yīng)由銷售組織來實現(xiàn)。私有云通常在企業(yè)內(nèi)部防火墻的部位,由企業(yè)自行管理和使用,屬于企業(yè)控制、監(jiān)督、管理和建立的內(nèi)部云服務(wù)?；旌显迫诤狭怂接性?、公共云,二者的服務(wù)能夠同時使用,并且管理責(zé)任由使用方、提供方分?jǐn)?。目?公共云在研發(fā)型工作方面的應(yīng)用較多,混合云、私有云的應(yīng)用范圍比公共云更廣。在科學(xué)技術(shù)高速發(fā)展的當(dāng)今社會,云計算技術(shù)能夠?qū)⒎€(wěn)定、高質(zhì)的大數(shù)據(jù)分析、計算、存儲服務(wù)提供給使用者。

2.2 計算機(jī)大數(shù)據(jù)和云計算技術(shù)的關(guān)系

以技術(shù)角度來看,計算機(jī)大數(shù)據(jù)和云計算技術(shù)之間存在緊密的聯(lián)系。其中,云計算將計算過程作為重點,大數(shù)據(jù)則將計算對象作為重點。若將數(shù)據(jù)比作財富,則通過計算機(jī)大數(shù)據(jù)分析后得到的便是寶藏,而利用云計算技術(shù)可以獲取寶藏。通常來講,大數(shù)據(jù)使用一個計算機(jī)難以展開處理和分析的工作,需要結(jié)合虛擬化化技術(shù)、云存儲技術(shù)、數(shù)據(jù)庫、大數(shù)據(jù)處理技術(shù)并通過分布式架構(gòu)來進(jìn)行相應(yīng)計算。客觀來講,云計算技術(shù)將絕佳的機(jī)遇提供給計算機(jī)大數(shù)據(jù)分析,無論是新興的多媒體資源、傳感器數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)還是以往的數(shù)據(jù)庫信息,都能根據(jù)需求來開展數(shù)據(jù)分析工作。

云計算應(yīng)用在處理和分析大數(shù)據(jù)的過程中,會通過API、數(shù)據(jù)計算機(jī)構(gòu)來制定解決方案,這些解決方案可結(jié)合高級分析、高級搜索、高級算法來使用。與此同時,信息技術(shù)領(lǐng)域?qū)τ谀Ｐ褪褂幂^多,人們能夠通過科學(xué)統(tǒng)計法和海量數(shù)據(jù)實現(xiàn)高效率的計算機(jī)大數(shù)據(jù)分析。

3 計算機(jī)大數(shù)據(jù)分析中的云計算技術(shù)運(yùn)用

計算機(jī)大數(shù)據(jù)分析中的云計算技術(shù)可應(yīng)用于建立網(wǎng)絡(luò)分析平臺、構(gòu)建數(shù)據(jù)處理系統(tǒng)、建立圖片處理平臺、大數(shù)據(jù)精準(zhǔn)放置等方面。

3.1 建立網(wǎng)絡(luò)分析平臺

近年來,各種互聯(lián)網(wǎng)技術(shù)、信息技術(shù)層出不窮,并隨著時間的推移不斷更新?lián)Q代,人們依賴這些技術(shù)的程度也越來越深,云計算技術(shù)便是其中之一[2]。每當(dāng)網(wǎng)絡(luò)用戶進(jìn)行網(wǎng)頁點擊、網(wǎng)頁瀏覽等操作時,計算機(jī)系統(tǒng)都能將該網(wǎng)絡(luò)用戶的關(guān)鍵數(shù)據(jù)、關(guān)鍵信息記錄下來,網(wǎng)絡(luò)分析平臺借助網(wǎng)絡(luò)用戶URL的收集實現(xiàn)站點樹的建立,同時按照網(wǎng)絡(luò)用戶所產(chǎn)生的行為和做出的操作針對性地與各個行業(yè)建立聯(lián)系,將計算機(jī)大數(shù)據(jù)分析得出的使用者可能感興趣的數(shù)據(jù)提供給網(wǎng)絡(luò)用戶。

一些網(wǎng)站每時每刻都會有龐大的點擊量,不管是大數(shù)據(jù)反饋、大數(shù)據(jù)分析、大數(shù)據(jù)傳輸還是大數(shù)據(jù)采集,各個流程都具有獨立的工作分支,基于云計算技術(shù)的網(wǎng)絡(luò)分析平臺即為將云端數(shù)據(jù)分析結(jié)果提供給網(wǎng)站的一個平臺。與以往的數(shù)據(jù)分析平臺相比,網(wǎng)絡(luò)分析平臺具有多種優(yōu)勢。首先,網(wǎng)絡(luò)分析平臺對計算機(jī)配置的要求更低,由于需要處理的數(shù)據(jù)量十分龐大,原有的CPU、磁盤無法達(dá)到大數(shù)據(jù)分析要求,并且在市場上已有的計算機(jī)中能夠達(dá)到大數(shù)據(jù)分析要求的也相對較少,網(wǎng)絡(luò)分析平臺可以有效解決這一問題。其次,網(wǎng)絡(luò)分析平臺能夠?qū)Υ髷?shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化分析與實時查詢。基于云計算技術(shù)的網(wǎng)絡(luò)分析平臺借助緩存管理、數(shù)據(jù)查詢等功能開展全面的大數(shù)據(jù)管理、大數(shù)據(jù)分析、大數(shù)據(jù)處理工作,從而讓大數(shù)據(jù)科學(xué)管理得以實現(xiàn)。對于相同網(wǎng)絡(luò)平臺處理和分析的數(shù)據(jù),無須進(jìn)行二次加工和轉(zhuǎn)化處理,因此大數(shù)據(jù)分析的效率大大提高。

3.2 構(gòu)建數(shù)據(jù)處理系統(tǒng)

借助云計算技術(shù),應(yīng)用、數(shù)據(jù)能夠向云端進(jìn)行轉(zhuǎn)移,使處理數(shù)據(jù)的系統(tǒng)、設(shè)備、機(jī)器等減少工作量,從而減少資金投入,讓相關(guān)組織、企業(yè)的維護(hù)成本、運(yùn)行成本、設(shè)備成本有效降低。運(yùn)用云計算技術(shù)能夠幫助計算機(jī)構(gòu)建數(shù)據(jù)處理模型,把數(shù)據(jù)流的搭建向云端遷移后,便能在云端建立數(shù)據(jù)處理公式,建立數(shù)據(jù)處理模型,構(gòu)建相應(yīng)的數(shù)據(jù)映射網(wǎng)絡(luò)。在我國,云計算技術(shù)在構(gòu)建數(shù)據(jù)處理模型方面已經(jīng)得到廣泛普及,如校園智慧網(wǎng)系統(tǒng)、政務(wù)數(shù)據(jù)系統(tǒng)等[3]。阿里巴巴集團(tuán)運(yùn)用云計算技術(shù)建立了飛天云平臺,該平臺是一個政務(wù)系統(tǒng),能夠?qū)⒘己玫奈锢憝h(huán)境基于大數(shù)據(jù)處理工作,數(shù)據(jù)、信息能夠存儲于云端處理器并可隨時進(jìn)行處理,還可通過大數(shù)據(jù)平臺展示、分析各種大數(shù)據(jù),上述工作都以“云”為基礎(chǔ)來開展,高等院校、政府部門等僅需對校園智慧網(wǎng)系統(tǒng)、政務(wù)數(shù)據(jù)系統(tǒng)直接使用即可。出于對安全處理數(shù)據(jù)的考慮,數(shù)據(jù)處理系統(tǒng)具備云盾功能,使用者必須擁有云盾使用權(quán)限才可登錄系統(tǒng),這樣一來,計算機(jī)大數(shù)據(jù)分析與開發(fā)即可高效率實現(xiàn)。

3.3 建立圖片處理平臺

計算機(jī)大數(shù)據(jù)分析運(yùn)用云計算技術(shù)后,能夠建立一個圖片存儲平臺,用于收集、存放、處理和分析海量圖片。一些行業(yè)企業(yè)有大量圖片需求,如圖文影像查詢、管理,且圖片數(shù)量龐大,此時便需要運(yùn)用云計算技術(shù)。以往數(shù)據(jù)保存的工作需要使用存儲設(shè)備劃分大數(shù)據(jù)的類別,再將不同大數(shù)據(jù)歸入不同的信息系統(tǒng),根據(jù)特定方法和模式在歸檔設(shè)備中留存,若使用者有查閱需求,就要搜索系統(tǒng)與歸檔設(shè)備,提取所需數(shù)據(jù)的過程會十分麻煩,若存儲數(shù)據(jù)量過大,則歸檔設(shè)備出現(xiàn)故障后容易出現(xiàn)數(shù)據(jù)遺失、數(shù)據(jù)遺漏等風(fēng)險。

4 結(jié)語

總而言之,研究計算機(jī)大數(shù)據(jù)分析中的云計算技術(shù)運(yùn)用具有重要的意義。相關(guān)人員應(yīng)對當(dāng)前計算機(jī)大數(shù)據(jù)分析的概況有一個全面了解,充分把握計算機(jī)大數(shù)據(jù)和云計算技術(shù)的內(nèi)在關(guān)系,能夠通過云計算技術(shù)建立網(wǎng)絡(luò)分析平臺、構(gòu)建數(shù)據(jù)處理系統(tǒng)、建立圖片處理平臺、實現(xiàn)大數(shù)據(jù)精準(zhǔn)放置,從而發(fā)揮云計算技術(shù)的分析優(yōu)勢,更好地進(jìn)行計算機(jī)大數(shù)據(jù)分析,提高數(shù)據(jù)處理、分析的效率。