基于粒計算的大數(shù)據(jù)處理

劉 偉

（金航數(shù)碼科技有限責(zé)任公司，北京 100028）

在數(shù)據(jù)網(wǎng)絡(luò)技術(shù)廣泛普及的當(dāng)下，信息將成為決定社會發(fā)展、市場競爭以及社會事業(yè)等多方面發(fā)展的重要因素。為了實現(xiàn)對數(shù)據(jù)的高效應(yīng)用，云計算、粒計算等大數(shù)據(jù)處理技術(shù)相繼誕生，在大數(shù)據(jù)整合、處理以及利用中發(fā)揮出了重要的作用。因此，探究基于粒計算的大數(shù)據(jù)處理具有十分重要的意義。

1 大數(shù)據(jù)及粒計算概述

1.1 大數(shù)據(jù)及其發(fā)展

大數(shù)據(jù)是信息時代背景下出現(xiàn)的一種新型概念，其內(nèi)涵是通過海量、高效、全面、真實可靠的數(shù)據(jù)集合實現(xiàn)數(shù)據(jù)的捕捉、處理和應(yīng)用，實現(xiàn)數(shù)據(jù)信息作用最大化發(fā)揮。為了實現(xiàn)對大數(shù)據(jù)的有效應(yīng)用，許多大數(shù)據(jù)處理技術(shù)相繼涌現(xiàn)出來，目前大數(shù)據(jù)處理技術(shù)具體可以分為數(shù)據(jù)采集技術(shù)、數(shù)據(jù)分析技術(shù)和數(shù)據(jù)管理技術(shù)三類，其中的大部分都是從“小數(shù)據(jù)”領(lǐng)域直接移植過來的，因此在許多方面存在一定的不適之處。例如，尤其是在數(shù)據(jù)采集的內(nèi)容，大數(shù)據(jù)是依據(jù)海量信息有效實現(xiàn)，但是在互聯(lián)網(wǎng)發(fā)達(dá)的當(dāng)下，還存在很多的虛假信息，使得網(wǎng)絡(luò)安全無法保障的情況下，很難實現(xiàn)私密信息的有效共享。

1.2 粒計算及其應(yīng)用

當(dāng)前階段，粒計算的方法主要包括三類，分別是詞計算理論、粗糙集理論和商空間理論。其中詞計算理論保持不需要、不知道、無法定義的原則，以及無法解決的原則，在自然語言中保持一定的計算范式[1]。粗糙集理論則是一種不完整、不準(zhǔn)確、不統(tǒng)一等類信息處理的工具，具有便捷、成熟等特點，在數(shù)據(jù)挖掘和知識發(fā)現(xiàn)上具有較大的優(yōu)勢，和其他數(shù)據(jù)挖掘方法區(qū)別在于，粗糙集理論不需要先驗知識。商空間理論則脫胎于近代代數(shù)的環(huán)、群概念，即在構(gòu)建商空間的基礎(chǔ)上進(jìn)行擴(kuò)大處理，構(gòu)建一個全面但模糊的空間集，實現(xiàn)對終端需求信息的分類采集，為信息的粒計算提供支持。

1.3 粒計算應(yīng)用大數(shù)據(jù)處理的關(guān)鍵問題

其一，?；突诹；挠嬎恪Ａ；从沉藛栴}空間的劃分過程，進(jìn)行大數(shù)據(jù)處理轉(zhuǎn)換時必須具備一定的參考，這樣才能實現(xiàn)大數(shù)據(jù)的粒計算，簡而言之，就是如何構(gòu)造計算模型。其二，粒計算一般是有粒結(jié)構(gòu)盡量解決問題，具體是由自上而下或是自下而上的結(jié)構(gòu)方向進(jìn)行交換，或是在同一層次中移動。

2 基于粒計算的大數(shù)據(jù)處理應(yīng)用

將粒計算原理引入到大數(shù)據(jù)處理中的目的是通過粒度計算模型的構(gòu)建實現(xiàn)大數(shù)據(jù)處理能力的強化。根據(jù)粒計算原理，可以在不同?；瘶?biāo)準(zhǔn)化獲得多個粒層，共同組成一個覆蓋多層次的網(wǎng)絡(luò)結(jié)構(gòu)，采用更加精細(xì)化的處理方法進(jìn)行粒化計算，實現(xiàn)高效率、多粒度數(shù)據(jù)信息的整合和應(yīng)用，為數(shù)據(jù)信息的快速檢索提供支持[2]。粒計算在大數(shù)據(jù)處理中的應(yīng)用主要體現(xiàn)在以下三個方面：

首先，粒計算解決了大數(shù)據(jù)的“海量”問題。不同于傳統(tǒng)數(shù)據(jù)，在現(xiàn)代化信息網(wǎng)絡(luò)的支持下，大數(shù)據(jù)的規(guī)模出現(xiàn)了極大的擴(kuò)張，這為終端使用者快速準(zhǔn)確的獲取所需信息帶來了巨大的困難。而通過粒計算技術(shù)構(gòu)建商空間，則能夠?qū)⒕邆渫愄卣骱皖愃铺卣鞯臄?shù)據(jù)進(jìn)行有效整合，在此基礎(chǔ)上完成優(yōu)先級劃分，這樣就可以幫助人們快速有效的獲取有價值信息，提高了數(shù)據(jù)處理的效率。

其次，粒計算解決了大數(shù)據(jù)的“多樣化”和“分布式”問題。通過粒化處理將數(shù)量龐大的數(shù)據(jù)信息進(jìn)行初步粒計算處理，此時數(shù)據(jù)的總量依舊十分龐大，在這樣的情況下，可以根據(jù)精細(xì)字段和模糊字段的參考詞計算理論進(jìn)行深度處理，將數(shù)據(jù)劃分為多個粒層，實現(xiàn)對數(shù)據(jù)信息的有效分類和分布，進(jìn)而構(gòu)建符合計算規(guī)格粒層，解決了大數(shù)據(jù)形式多樣和分布廣泛的問題。

最后，粒計算在大數(shù)據(jù)時代保證了信息的及時性、高效性。在新形勢下，人們對數(shù)據(jù)信息處理效率提出了更高的要求，而基于里計算的大數(shù)據(jù)處理能夠在對信息進(jìn)行?；幚淼耐瑫r，將實踐要素和需求優(yōu)先要素加入到計算規(guī)則中。以百度搜索引擎為例，人們在進(jìn)行信息檢索時，根據(jù)需求信息的內(nèi)容和關(guān)鍵字，與之關(guān)聯(lián)性最強和時間最近的信息往往處于數(shù)據(jù)信息分類整合后的最上層，以此類推，最下層的是相似信息和時間較為久遠(yuǎn)的信息。

3 結(jié)束語

綜上所述，信息時代背景下，針對大數(shù)據(jù)的特點和大數(shù)據(jù)處理中存在的問題，提出大數(shù)據(jù)問題的粒計算解決框架；分析了深度學(xué)習(xí)與粒計算的邏輯關(guān)系，提出深度學(xué)習(xí)本質(zhì)上是多粒度計算，人們對大數(shù)據(jù)處理的效率和質(zhì)量提出了更高的要求，傳統(tǒng)數(shù)據(jù)處理技術(shù)已經(jīng)不再適用，在這樣的情況下，必須開發(fā)新技術(shù)?；诹Ｓ嬎愕拇髷?shù)據(jù)處理能夠有效的應(yīng)對大數(shù)據(jù)處理中遇到的難題，具有較高的推廣價值，對我國各行業(yè)健康發(fā)展也是極其有利。