云計(jì)算模式下大數(shù)據(jù)處理技術(shù)初探

◆睢貴芳

（河南護(hù)理職業(yè)學(xué)院 河南 455000）

傳統(tǒng)數(shù)據(jù)處理技術(shù)只能實(shí)現(xiàn)數(shù)據(jù)輸出、輸入等方面的效果，而今，在面對(duì)龐大且復(fù)雜的數(shù)據(jù)量時(shí)，需在原有基礎(chǔ)上利用云計(jì)算模式開(kāi)發(fā)新的大數(shù)據(jù)處理技術(shù)，這樣才能保證大數(shù)據(jù)時(shí)代數(shù)據(jù)能得到準(zhǔn)確且快速的處理效果，從而為新時(shí)代各個(gè)領(lǐng)域所需高效的數(shù)據(jù)處理目的提供重要保障。另外，在研究云計(jì)算模式下大數(shù)據(jù)處理技術(shù)還應(yīng)注重其有效性，以便發(fā)揮出真正的數(shù)據(jù)處理作用。

1 云計(jì)算技術(shù)與大數(shù)據(jù)處理技術(shù)間的關(guān)系

1.1 云計(jì)算技術(shù)特點(diǎn)

云計(jì)算技術(shù)具備集中式遠(yuǎn)程計(jì)算資源池，它能進(jìn)行大量數(shù)據(jù)的存儲(chǔ)與計(jì)算工作，故而是一種服務(wù)效果較佳的數(shù)據(jù)處理技術(shù)。通常情況下，云計(jì)算技術(shù)具有以下特點(diǎn)：

（1）透明化，它在實(shí)施數(shù)據(jù)分析時(shí)能夠?qū)γ總€(gè)用戶實(shí)現(xiàn)透明化操作，進(jìn)而保證數(shù)據(jù)在公開(kāi)狀態(tài)下完成處理任務(wù)，讓用戶放心使用。

（2）無(wú)限制，它在提供計(jì)算服務(wù)時(shí)并沒(méi)有固定的限制，基本上針對(duì)所有行業(yè)。同時(shí)，它在應(yīng)用時(shí)還可根據(jù)各個(gè)行業(yè)的實(shí)際情況自由選擇計(jì)算模式，由此得到準(zhǔn)確性更高的計(jì)算結(jié)果。

（3）便捷性，它在處理數(shù)據(jù)時(shí)能夠更加便捷的獲取數(shù)據(jù)資源，從而達(dá)到節(jié)省操作時(shí)間的目的。另外，云計(jì)算技術(shù)的投入成本較低且效果最佳，故而可適當(dāng)提升計(jì)算效率。

（4）靈活性強(qiáng)，它在處理數(shù)據(jù)時(shí)能夠按照用戶的具體要求設(shè)計(jì)相應(yīng)的計(jì)算方法，并為其提供指定的服務(wù)，以便增加用戶滿意度。

1.2 兩者關(guān)聯(lián)

云計(jì)算因其具有成本低、準(zhǔn)確度高、可操作性強(qiáng)等優(yōu)勢(shì)，故而可為大數(shù)據(jù)處理技術(shù)的應(yīng)用創(chuàng)造有利的條件，使其能夠有效彌補(bǔ)原有數(shù)據(jù)處理技術(shù)的不足之處。大數(shù)據(jù)處理技術(shù)只有在云計(jì)算技術(shù)的支持下才能為用戶提供優(yōu)質(zhì)的服務(wù)。所以，云計(jì)算模式下的大數(shù)據(jù)處理技術(shù)具有較為突出的實(shí)用價(jià)值，需在各個(gè)領(lǐng)域中積極進(jìn)行推廣。

2 云計(jì)算模式下大數(shù)據(jù)處理技術(shù)的關(guān)鍵點(diǎn)

2.1 大數(shù)據(jù)采集技術(shù)

“數(shù)據(jù)采集”實(shí)際上也稱為“數(shù)據(jù)獲取”，在應(yīng)用大數(shù)據(jù)處理技術(shù)時(shí)需要先行獲取數(shù)據(jù)資源，才能讓其實(shí)現(xiàn)準(zhǔn)確計(jì)算。故而大數(shù)據(jù)采集技術(shù)是大數(shù)據(jù)處理技術(shù)的基礎(chǔ)。通常情況下，大數(shù)據(jù)處理技術(shù)具有集中式與分布式兩種采集方式。要想保證大數(shù)據(jù)采集技術(shù)發(fā)揮出真正效用，就需要在不同的部分充分結(jié)合兩種不同的采集方式，以便得出最佳數(shù)據(jù)處理效果。

其中集中式采集方式能夠?qū)崿F(xiàn)所有數(shù)據(jù)的統(tǒng)一采集，并且能增強(qiáng)分布式采集方式的靈活性，使其在處理多個(gè)獨(dú)立的服務(wù)器數(shù)據(jù)時(shí)能夠借助云計(jì)算模式獲得良好的數(shù)據(jù)處理結(jié)果。另外，當(dāng)將兩種采集方式融合在一起用于數(shù)據(jù)處理的目的是可有效提高計(jì)算效率。比如在各個(gè)組織內(nèi)部可先行利用集中式采集方式對(duì)大數(shù)據(jù)進(jìn)行獲取，然后再在各個(gè)獨(dú)立組織服務(wù)器中心的數(shù)據(jù)對(duì)接與共享工作中應(yīng)用分布式采集方式，從而可實(shí)現(xiàn)云計(jì)算技術(shù)中資源池?cái)?shù)據(jù)的分類存儲(chǔ)，讓大數(shù)據(jù)處理效率更高。

2.2 大數(shù)據(jù)存儲(chǔ)技術(shù)

傳統(tǒng)數(shù)據(jù)存儲(chǔ)技術(shù)，它的存儲(chǔ)空間有限且以單節(jié)點(diǎn)倉(cāng)庫(kù)為主。而面對(duì)當(dāng)前大數(shù)據(jù)時(shí)代中龐大的數(shù)據(jù)量，傳統(tǒng)數(shù)據(jù)存儲(chǔ)技術(shù)顯然無(wú)法滿足實(shí)際承載需求，故而應(yīng)開(kāi)發(fā)大數(shù)據(jù)存儲(chǔ)技術(shù)，保證大數(shù)據(jù)得到充足的存儲(chǔ)空間。云計(jì)算模式下的大數(shù)據(jù)存儲(chǔ)技術(shù)在原有數(shù)據(jù)存儲(chǔ)基礎(chǔ)上利用列式存儲(chǔ)方式，對(duì)數(shù)據(jù)進(jìn)行屬性分類，這樣有利于數(shù)據(jù)的有效存儲(chǔ)。另外，大數(shù)據(jù)存儲(chǔ)技術(shù)由于可按照屬性的相似度對(duì)數(shù)據(jù)加以存儲(chǔ)，進(jìn)而能保證在后期無(wú)法掌握數(shù)據(jù)屬性時(shí)，可根據(jù)周邊存儲(chǔ)數(shù)據(jù)的屬性進(jìn)行判斷，由此實(shí)現(xiàn)有目的性的存儲(chǔ)與分類查詢，讓用戶能夠快速地完成數(shù)據(jù)存儲(chǔ)及查找工作[1]。

比如智能電網(wǎng)中應(yīng)用的大數(shù)據(jù)處理技術(shù)，它可對(duì)電網(wǎng)運(yùn)行狀態(tài)的監(jiān)測(cè)數(shù)據(jù)進(jìn)行有效存儲(chǔ)?；谠朴?jì)算模式下，智能電網(wǎng)的數(shù)據(jù)存儲(chǔ)安全性將有所增強(qiáng)。它主要是將動(dòng)態(tài)監(jiān)測(cè)數(shù)據(jù)分類存儲(chǔ)于不同節(jié)點(diǎn)，并設(shè)置數(shù)據(jù)集群，讓用戶在訪問(wèn)數(shù)據(jù)時(shí)能處于可控范圍內(nèi)，它所采用的雙向節(jié)點(diǎn)存儲(chǔ)方式可適當(dāng)簡(jiǎn)化智能電網(wǎng)系統(tǒng)的設(shè)計(jì)流程，促使數(shù)據(jù)處理效率得以提升。

2.3 大數(shù)據(jù)可視化技術(shù)

“大數(shù)據(jù)可視化”主要是依據(jù)數(shù)據(jù)特性如空間特征等，在適合的可視化方法下，利用圖表、圖形、地圖等形式直觀的呈現(xiàn)數(shù)據(jù)，這樣才能保證用戶能更加準(zhǔn)確且清晰的理解數(shù)據(jù)含義。它是大數(shù)據(jù)處理過(guò)程中至關(guān)重要的一步，大數(shù)據(jù)可視化技術(shù)既能幫助用戶對(duì)已知數(shù)據(jù)規(guī)律進(jìn)行深度了解，又能促使用戶在認(rèn)知數(shù)據(jù)期間形成新的見(jiàn)解，從而讓數(shù)據(jù)實(shí)質(zhì)研究出現(xiàn)新的成果。

大數(shù)據(jù)可視化技術(shù)在大數(shù)據(jù)處理階段，首先，它需對(duì)原始數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，使其形成數(shù)據(jù)表；其次，將其轉(zhuǎn)化為具備形狀、尺寸、色彩等特征的視覺(jué)結(jié)構(gòu)。比如將高風(fēng)險(xiǎn)數(shù)據(jù)轉(zhuǎn)化為紅色，以便用戶從中對(duì)數(shù)據(jù)產(chǎn)生一定的理解；最后，用戶可利用人機(jī)交互的方式實(shí)現(xiàn)反向轉(zhuǎn)換，進(jìn)而掌握數(shù)據(jù)存在的深層規(guī)律。大數(shù)據(jù)可視化技術(shù)在實(shí)際應(yīng)用中具有較大的實(shí)踐意義。比如在企業(yè)運(yùn)營(yíng)時(shí)借助可視化場(chǎng)景對(duì)倉(cāng)庫(kù)數(shù)據(jù)進(jìn)行處理，有助于企業(yè)決策層對(duì)企業(yè)運(yùn)營(yíng)核心數(shù)據(jù)進(jìn)行相應(yīng)的管理，也能使其實(shí)現(xiàn)精準(zhǔn)預(yù)判，為其后期企業(yè)發(fā)展提供理論依據(jù)[2]。

2.4 大數(shù)據(jù)挖掘技術(shù)

大數(shù)據(jù)挖掘技術(shù)可實(shí)現(xiàn)數(shù)據(jù)深層聯(lián)系的進(jìn)一步研究，包括用戶事先并不了解的潛在數(shù)據(jù)信息。在大數(shù)據(jù)挖掘技術(shù)的應(yīng)用過(guò)程中，它主要包括以下四個(gè)內(nèi)容：

（1）挖掘?qū)ο?，它具體是指大數(shù)據(jù)存儲(chǔ)的格式，如文本數(shù)據(jù)源、空間數(shù)據(jù)源等[3]。

（2）挖掘流程，首先應(yīng)確定數(shù)據(jù)挖掘目的，然后選擇需要處理并加工的數(shù)據(jù)，比如保持?jǐn)?shù)據(jù)一致性或者刪除無(wú)效數(shù)據(jù)，最后再依據(jù)數(shù)據(jù)類型選擇適合的算法，使其得出數(shù)據(jù)挖掘結(jié)果。

（3）挖掘分類，主要包括直接數(shù)據(jù)挖掘與間接數(shù)據(jù)挖掘等兩種方式。

（4）挖掘方法，需根據(jù)數(shù)據(jù)特點(diǎn)確定數(shù)據(jù)挖掘方法，包括神經(jīng)網(wǎng)絡(luò)法、遺傳算法、決策樹(shù)算法、粗算法等。最終可實(shí)現(xiàn)大數(shù)據(jù)的有效挖掘，以便大數(shù)據(jù)處理技術(shù)具有最佳處理結(jié)果。

（5）大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)

大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)是在原有聯(lián)機(jī)分析技術(shù)的基礎(chǔ)上對(duì)其進(jìn)行改進(jìn)。作為大數(shù)據(jù)處理技術(shù)應(yīng)用階段較為重要的技術(shù)，它可對(duì)繁雜的數(shù)據(jù)進(jìn)行科學(xué)分析，并在關(guān)鍵處實(shí)現(xiàn)決策級(jí)別的有效分析，由此為用戶帶來(lái)較大作用[4]。

其一，大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)實(shí)際應(yīng)以分析綜合數(shù)據(jù)為出發(fā)點(diǎn)，并設(shè)置多維度模型，以便得出大數(shù)據(jù)的整體分析結(jié)果；其二，大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)除了能對(duì)數(shù)據(jù)進(jìn)行準(zhǔn)確分析外，還可實(shí)現(xiàn)多種數(shù)據(jù)的同時(shí)處理，進(jìn)而加快大數(shù)據(jù)處理速度。比如在智慧河道的建設(shè)工作中，可利用大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)制定管理方案。同時(shí)，還可在大數(shù)據(jù)技術(shù)與云計(jì)算技術(shù)的支持下打造新型分布式移動(dòng)平臺(tái)，促使河道建設(shè)滿足社會(huì)需求。

3 結(jié)論

綜上所述，云計(jì)算作為一種具備較大存儲(chǔ)能力的算法，它能為大數(shù)據(jù)的妥善處理與細(xì)致分析提供重要的技術(shù)支持，而在此模式下形成的大數(shù)據(jù)處理技術(shù)勢(shì)必也能達(dá)到最佳數(shù)據(jù)處理效果。故而，各個(gè)領(lǐng)域都應(yīng)認(rèn)識(shí)到大數(shù)據(jù)分析技術(shù)的重要性，根據(jù)每個(gè)行業(yè)的具體要求設(shè)計(jì)大數(shù)據(jù)處理技術(shù)的應(yīng)用方案，以便它能為龐大數(shù)據(jù)量的準(zhǔn)確識(shí)別與分析帶來(lái)重要保障，進(jìn)而為社會(huì)發(fā)展提供重大助力。