大數(shù)據(jù)處理關(guān)鍵技術(shù)分析

陳亮

北京中電普華信息技術(shù)有限公司 北京 100085

1 大數(shù)據(jù)產(chǎn)生背景

大數(shù)據(jù)的產(chǎn)生和云計算、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等技術(shù)的發(fā)展之間密切相關(guān)，通過各種先進(jìn)的技術(shù)來獲得大量的數(shù)據(jù)，同時計算機(jī)處理大數(shù)據(jù)能力的增強(qiáng)使得大數(shù)據(jù)在社會生活的方方面面得到了廣泛的應(yīng)用。云計算是一種在互聯(lián)網(wǎng)平臺上的先進(jìn)計算手段，通過云計算技術(shù)使得計算機(jī)的軟件資源和硬件資源得到共享，同時為大數(shù)據(jù)的存儲和計算提供了必要的支撐。物聯(lián)網(wǎng)是大數(shù)據(jù)產(chǎn)生的根源，通過物聯(lián)網(wǎng)技術(shù)將各種信息得到收集，獲取了大量的數(shù)據(jù)，這些數(shù)據(jù)中包含有許多具有價值、可以挖掘的信息。借助于物聯(lián)網(wǎng)技術(shù)使得物品和互聯(lián)網(wǎng)結(jié)合起來，例如可以獲得消費者購買產(chǎn)品的各種信息，通過消費者購買產(chǎn)品的各種信息來了解消費者的消費習(xí)慣，為企業(yè)開發(fā)新產(chǎn)品，更好滿足消費者需求提供決策參考。

2 大數(shù)據(jù)的數(shù)據(jù)處理關(guān)鍵技術(shù)

2.1 大數(shù)據(jù)采集技術(shù)

大數(shù)據(jù)進(jìn)行數(shù)據(jù)處理的前提是，大數(shù)據(jù)系統(tǒng)已經(jīng)獲取的大量的數(shù)據(jù)信息，這就需要用到大數(shù)據(jù)的數(shù)據(jù)采集技術(shù)，在大數(shù)據(jù)數(shù)據(jù)采集技術(shù)中，包含了傳感器、射頻識別技術(shù)、計算機(jī)轉(zhuǎn)換軟件技術(shù)等的應(yīng)用，對于互聯(lián)網(wǎng)中某一領(lǐng)域出現(xiàn)的數(shù)據(jù)，包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的，以及非結(jié)構(gòu)化的數(shù)據(jù)信息進(jìn)行廣泛收集和識別，這是大數(shù)據(jù)技術(shù)的前提和基礎(chǔ)。要想實現(xiàn)對于互聯(lián)網(wǎng)中海量信息資源的準(zhǔn)確有效的獲取，需要借助分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映象數(shù)據(jù)采集技術(shù)的應(yīng)用，能夠?qū)崿F(xiàn)高速的數(shù)據(jù)解析和轉(zhuǎn)換目標(biāo)。就大數(shù)據(jù)采集技術(shù)系統(tǒng)來說，其中包含的數(shù)據(jù)采集功能區(qū)分為以下幾點：

第一，數(shù)據(jù)智能感知層，這一功能區(qū)中包含了對于數(shù)據(jù)傳感技術(shù)、通信技術(shù)、智能識別技術(shù)等的應(yīng)用，能夠?qū)τ诨ヂ?lián)網(wǎng)平臺中某一通道或者是領(lǐng)域中的各類數(shù)據(jù)實施有效的跟蹤和接入，完成數(shù)據(jù)信息的初步處理，為采集到的數(shù)據(jù)整合和傳輸?shù)於ɑA(chǔ)[1]。

第二，基礎(chǔ)支撐層，這一功能區(qū)主要是為系統(tǒng)提供虛擬服務(wù)器，對于各類數(shù)據(jù)信息創(chuàng)造合理的分析環(huán)境，這一數(shù)據(jù)處理功能分區(qū)中需要重點對于數(shù)據(jù)的獲取和存儲，以及整理和分析等的可視化技術(shù)接入提供有效支持。

2.2 大數(shù)據(jù)預(yù)處理技術(shù)

數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)消減。數(shù)據(jù)清洗是對于不完整性數(shù)據(jù)進(jìn)行處理時利用回歸分析、貝葉斯計算公式或決策樹推斷出該數(shù)據(jù)的最大可能性。對于噪聲數(shù)據(jù)的處理時一般采用Bin 方法和擬合函數(shù)對數(shù)據(jù)進(jìn)行平滑。數(shù)據(jù)集成主要解決數(shù)據(jù)冗余情況和數(shù)據(jù)值沖突檢測與消除問題。數(shù)據(jù)轉(zhuǎn)換就是將數(shù)據(jù)進(jìn)行轉(zhuǎn)換或歸并。數(shù)據(jù)消減主要目的是從數(shù)據(jù)集中獲得一個精簡數(shù)據(jù)集。

2.3 大數(shù)據(jù)存儲及管理技術(shù)

大數(shù)據(jù)采取的數(shù)據(jù)信息量十分龐大，對于海量的數(shù)據(jù)信息大數(shù)據(jù)系統(tǒng)必須要能有效地存儲和管理。針對采集的數(shù)據(jù)信息，系統(tǒng)通過構(gòu)建數(shù)據(jù)庫，進(jìn)行數(shù)據(jù)的集中儲存和管理。在進(jìn)行數(shù)據(jù)信息進(jìn)行儲存和管理過程中，需要確保數(shù)據(jù)庫中的數(shù)據(jù)信息形式盡可能保持一致，這就需要做好對于不同種類數(shù)據(jù)信息的有效轉(zhuǎn)化和處理。要突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)索引技術(shù)；突破大數(shù)據(jù)移動、備份、復(fù)制等技術(shù)[2]。

在數(shù)據(jù)的存儲和管理中，還需要注重信息的有效分類，建立對應(yīng)的數(shù)據(jù)庫，實現(xiàn)信息的有效調(diào)用，此外，還要針對數(shù)據(jù)的安全問題進(jìn)行有效保護(hù)，通過使用加密技術(shù)、訪問限制、數(shù)據(jù)銷毀等技術(shù)應(yīng)用，提升數(shù)據(jù)庫的數(shù)據(jù)安全級別，避免數(shù)據(jù)存在遺失和被竊取的問題。

2.4 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是大數(shù)據(jù)處理的核心技術(shù)，不同的數(shù)據(jù)挖掘算法可能會獲得不同的決策信息。數(shù)據(jù)挖掘就是要通過統(tǒng)計分析、在線分析、情報檢索、專家系統(tǒng)、模式識別等手段來實現(xiàn)對大數(shù)據(jù)的分類、關(guān)聯(lián)。海量的大數(shù)據(jù)來通過聚類分析算法進(jìn)行分類，構(gòu)建不同的數(shù)據(jù)處理模型。通過聚類分析來獲得彼此相近的不同簇數(shù)據(jù)，使得數(shù)據(jù)進(jìn)行分離。借助于關(guān)聯(lián)規(guī)則來獲得隱藏在不同數(shù)據(jù)項之間的關(guān)聯(lián)規(guī)則。當(dāng)前機(jī)器學(xué)習(xí)、人工智能技術(shù)的發(fā)展使得其在大數(shù)據(jù)分析中得到了廣泛的應(yīng)用，通過機(jī)器學(xué)習(xí)算法來有效地模擬或者實現(xiàn)人類的學(xué)習(xí)行為，使得其獲得學(xué)習(xí)新知識的能力和技能，不斷地改善自身的性能。深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的擴(kuò)展，通過組合底層的特征來獲得更加抽象的、較高層次的屬性類別或特征，以此發(fā)現(xiàn)數(shù)據(jù)的分布式特征。人工智能是研究大數(shù)據(jù)分析的重要手段，例如借助于人工智能的知識圖譜來獲得語義網(wǎng)絡(luò)，在此基礎(chǔ)上挖掘海量數(shù)據(jù)中所包含的大量信息[3]。

3 大數(shù)據(jù)處理技術(shù)未來發(fā)展建議

隨著經(jīng)濟(jì)發(fā)展的日新月異，大數(shù)據(jù)處理技術(shù)越來越重要，高速的經(jīng)濟(jì)發(fā)展速度也要求更先進(jìn)的大數(shù)據(jù)處理技術(shù)，一成不變的大數(shù)據(jù)技術(shù)無法跟上時代的腳步。就目前而言，大數(shù)據(jù)處理技術(shù)未來的發(fā)展將主要體現(xiàn)于： 優(yōu)化數(shù)據(jù)的時效性和穩(wěn)定性，優(yōu)化對系統(tǒng)硬件高要求的苛刻條件，同時處理單元與存儲結(jié)構(gòu)等方面也有待改進(jìn)。目前在監(jiān)管大數(shù)據(jù)處理技術(shù)的應(yīng)用方面還存在著法律盲區(qū)，大數(shù)據(jù)日新月異的變化亟須更加完善的法律體系，以防其被應(yīng)用于各類違法活動。隨著人們經(jīng)濟(jì)活動的復(fù)雜性提升，大數(shù)據(jù)處理技術(shù)的價值也越來越高，如何正確應(yīng)用于保護(hù)人們隱私也是大數(shù)據(jù)處理技術(shù)未來的發(fā)展方向。大數(shù)據(jù)處理技術(shù)目前的排他性較強(qiáng)，應(yīng)用性不夠廣泛，需要不斷拓展，從而適用更寬更廣的形勢要求。另外，大數(shù)據(jù)處理技術(shù)的安全防范能力，也極大地決定了其是否能夠廣泛應(yīng)用。如果該技術(shù)能在存儲、傳輸和讀寫等環(huán)節(jié)能夠有效防范外界的黑客攻擊，確保大數(shù)據(jù)處理技術(shù)的絕對安全性，那么其應(yīng)用前景也將大為改善。

4 結(jié)語

大數(shù)據(jù)技術(shù)是一系列使用非傳統(tǒng)的工具來對大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，從而獲得分析和預(yù)測結(jié)果的數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)價值的完整體現(xiàn)需要多種技術(shù)的協(xié)同。