移動(dòng)通信網(wǎng)絡(luò)中大數(shù)據(jù)處理的關(guān)鍵技術(shù)

管凱云

摘 要

隨著社會(huì)的發(fā)展，移動(dòng)通信網(wǎng)絡(luò)也在不斷進(jìn)步，并且受到的廣大群眾的歡迎。但是與此同時(shí)也產(chǎn)生了大量的數(shù)據(jù)，那么如何對(duì)這些數(shù)據(jù)進(jìn)行處理，這也成為了一大難題。本文主要是介紹大數(shù)據(jù)的相關(guān)概念以及發(fā)展歷程，分析其所用的關(guān)鍵技術(shù)，并對(duì)“云計(jì)算”的現(xiàn)狀進(jìn)行深入解析。

【關(guān)鍵詞】移動(dòng)通信網(wǎng)絡(luò) 大數(shù)據(jù) 關(guān)鍵技術(shù) 處理

1 大數(shù)據(jù)概念與特點(diǎn)

通常情況下，數(shù)據(jù)的產(chǎn)生可以分為三個(gè)階段：

1.1 被動(dòng)產(chǎn)生階段

數(shù)據(jù)量出現(xiàn)第一次飛躍是在數(shù)據(jù)庫剛剛產(chǎn)生的時(shí)候。在這個(gè)階段，數(shù)據(jù)庫還沒有得到廣泛使用，通常只是應(yīng)用在政府或者是一些比較大型的企業(yè)中，比如用來處理大超市的銷售記錄、用來處理銀行的大量交易數(shù)據(jù)等，一般都是為了運(yùn)營(yíng)活動(dòng)而使用，所以這個(gè)時(shí)候的數(shù)據(jù)處于被動(dòng)產(chǎn)生的狀態(tài)。

1.2 主動(dòng)產(chǎn)生階段

數(shù)據(jù)量出現(xiàn)第二次飛躍是在互聯(lián)網(wǎng)產(chǎn)生的時(shí)候，互聯(lián)網(wǎng)用戶量很多，每天都有很多人使用微博、QQ等聊天工具進(jìn)行聊天，加上手機(jī)和電腦越來越智能化，越來越方便用戶的使用，而在這個(gè)過程中，數(shù)據(jù)的產(chǎn)生是通過用戶自愿完成的，此時(shí)的數(shù)據(jù)處于主動(dòng)產(chǎn)生的狀態(tài)。

1.3 自動(dòng)產(chǎn)生階段

數(shù)據(jù)量出現(xiàn)第三次飛躍是在數(shù)據(jù)能夠自動(dòng)產(chǎn)生的時(shí)候。在這個(gè)階段，物聯(lián)網(wǎng)與移動(dòng)通信網(wǎng)絡(luò)相互結(jié)合在一起，產(chǎn)生了很多傳感設(shè)備，并且得到全球的廣泛使用，數(shù)據(jù)是通過自動(dòng)的方式來產(chǎn)生的，于是就迎來的大數(shù)據(jù)時(shí)代。

大數(shù)據(jù)通常有以下幾個(gè)特點(diǎn)：

（1）大數(shù)據(jù)所包含的數(shù)據(jù)量很大。

（2）大數(shù)據(jù)并沒有固定的結(jié)構(gòu)，非結(jié)構(gòu)化較強(qiáng)。

（3）大數(shù)據(jù)的來源很多，可以通過不同設(shè)備來進(jìn)行采集。

（4）大數(shù)據(jù)可以在短時(shí)間內(nèi)獲得，具有實(shí)時(shí)性。

2 大數(shù)據(jù)處理的關(guān)鍵技術(shù)

在移動(dòng)通信網(wǎng)絡(luò)中， 特別是在物聯(lián)網(wǎng)中，很多終端設(shè)備通常都是處于無人監(jiān)控的狀態(tài)，加上其所工作的環(huán)境大都是比較惡劣的，所以就使得物聯(lián)網(wǎng)對(duì)這些數(shù)據(jù)進(jìn)行采集時(shí)，會(huì)出現(xiàn)很多錯(cuò)誤的數(shù)據(jù)，收集到的原始數(shù)據(jù)并沒有很強(qiáng)的可靠性，比如一些數(shù)據(jù)與實(shí)際存在誤差、一些數(shù)據(jù)收集不完整等，并且還有很多數(shù)據(jù)是多余的。所以，就應(yīng)該通過各種方式來提取大量數(shù)據(jù)中比較有價(jià)值的數(shù)據(jù)。就目前而言，也產(chǎn)生了很多數(shù)據(jù)清洗技術(shù)，但是這些數(shù)據(jù)只適用于具有較強(qiáng)結(jié)構(gòu)化的數(shù)據(jù)，大數(shù)據(jù)又是屬于非結(jié)構(gòu)性，所以并沒有起到很好的作用。并且通過這種技術(shù)，也不能處理大量的數(shù)據(jù)，就使得大數(shù)據(jù)的實(shí)時(shí)性不能得到體現(xiàn)。所以，對(duì)于大數(shù)據(jù)的清洗技術(shù)還需要繼續(xù)深入研究。

大數(shù)據(jù)的來源很多，把收集到的各方面數(shù)據(jù)融合在一起，這對(duì)于數(shù)據(jù)的分析很重要。數(shù)據(jù)融合也就是所收集到的數(shù)據(jù)源是不一樣的，這些數(shù)據(jù)通過不同的表象來對(duì)實(shí)體進(jìn)行表達(dá)，那么就要把這些數(shù)據(jù)轉(zhuǎn)換成對(duì)同一個(gè)表象的表達(dá)，減少相關(guān)數(shù)據(jù)產(chǎn)生沖突的過程。而在移動(dòng)通信網(wǎng)絡(luò)中，很多數(shù)據(jù)都是具有多源性，所以就很有必要對(duì)其進(jìn)行統(tǒng)一，使得各個(gè)數(shù)據(jù)之間產(chǎn)生關(guān)聯(lián)性。那么就要具有結(jié)構(gòu)化和非結(jié)構(gòu)化兩種數(shù)據(jù)關(guān)聯(lián)在一起，然后再通過數(shù)據(jù)融合的方式來提取其中比較關(guān)鍵的數(shù)據(jù)。

經(jīng)過對(duì)數(shù)據(jù)進(jìn)行一系列的處理之后，包括清洗、提取和融合等，還應(yīng)該分析從移動(dòng)通信網(wǎng)絡(luò)中所獲得的大數(shù)據(jù)，并能夠挖掘一些新的數(shù)據(jù)。想要分析并挖掘移動(dòng)通信網(wǎng)絡(luò)中的大數(shù)據(jù)，通常都要考慮到數(shù)據(jù)的表示以及數(shù)據(jù)儲(chǔ)存兩個(gè)方面。其中，還需要具有比較先進(jìn)的挖掘工具，并且也要改善數(shù)據(jù)的開發(fā)環(huán)境，這對(duì)于大數(shù)據(jù)的處理來說非常重要。

對(duì)大數(shù)據(jù)進(jìn)行處理的另一個(gè)關(guān)鍵技術(shù)就是通過可視化來分析數(shù)據(jù)。移動(dòng)通信網(wǎng)絡(luò)的數(shù)據(jù)量非常龐大，并且對(duì)其進(jìn)行挖掘的結(jié)果也是一個(gè)大數(shù)據(jù)，而把這些數(shù)據(jù)進(jìn)行可視化分析，就能夠讓人們更加容易理解這些數(shù)據(jù)，并能夠?qū)ζ溥M(jìn)行更加深入的分析；同時(shí)，對(duì)這些數(shù)據(jù)進(jìn)行可視化分析，可以促進(jìn)人機(jī)交互的進(jìn)行，通過人機(jī)交互的方式來對(duì)大數(shù)據(jù)進(jìn)行處理，就能夠大大的提高處理的能力，工作效率也明顯增強(qiáng)。這對(duì)于大數(shù)據(jù)處理來說，具有比較實(shí)際的意義。

當(dāng)然，移動(dòng)通信網(wǎng)絡(luò)中的大數(shù)據(jù)所要面臨的挑戰(zhàn)不僅僅包括以上這些，還包括大數(shù)據(jù)的安全問題，并且可能會(huì)涉及到一些隱私問題，所以就要加強(qiáng)數(shù)據(jù)管理手段，努力提高數(shù)據(jù)處理技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)的有效管理。

3 “云計(jì)算”

通過以上的分析，我們很容易就可以看出，目前移動(dòng)通信網(wǎng)絡(luò)中的數(shù)據(jù)量越來越大，并且需要對(duì)大數(shù)據(jù)的分析也要求更加深入。所以這就給移動(dòng)通信網(wǎng)絡(luò)帶來的更多的挑戰(zhàn)，既要保證大數(shù)據(jù)的有效性，又要求其具有實(shí)時(shí)性。云計(jì)算也因此而產(chǎn)生了，它給移動(dòng)通信網(wǎng)絡(luò)中大數(shù)據(jù)提供了新的處理方法。

早在2004年的時(shí)候，谷歌公司就提出了MapReduce技術(shù)，這也成為了一個(gè)比較典型的云計(jì)算模型。這個(gè)模型主要就是針對(duì)大數(shù)據(jù)處理而產(chǎn)生，它可以對(duì)移動(dòng)通信網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行分析，于是就受到了各界人士的青睞。MapReduce主要包括三個(gè)技術(shù)框架：

（1）分布式文件系統(tǒng)；

（2）分析和處理并行編輯模型；

（3）分析和處理并行執(zhí)行引擎。

雖然在MapReduce推出之后，得到了各界人士的青睞，但是在運(yùn)用MapReduce的過程中，還是出現(xiàn)的很多不足之處，比如MapReduce在使用過程中不支持圖表功能，并且不能對(duì)數(shù)據(jù)進(jìn)行存取優(yōu)化等很多問題。遇到問題就要找出解決的辦法，所以相關(guān)研究人員又對(duì)MapReduce作進(jìn)一步的改進(jìn)工作，使得其性能得到了更多的改善，并且也更加容易使用，具有更大的實(shí)用價(jià)值。

目前MapReduce在很多方面都得到了應(yīng)用，并且也得到了各界的認(rèn)可，承認(rèn)它是一個(gè)能夠有效地對(duì)大數(shù)據(jù)進(jìn)行處理的工具。但是，它還是不夠完善，在進(jìn)行大數(shù)據(jù)處理的時(shí)候，還是出現(xiàn)一些缺陷，利用MapReduce來進(jìn)行大數(shù)據(jù)處理時(shí)，它只能分批來完成；對(duì)于在線數(shù)據(jù)，MapReduce還無法實(shí)現(xiàn)處理功能。

4 總結(jié)

移動(dòng)通信網(wǎng)絡(luò)的出現(xiàn)，產(chǎn)生了越來越多的數(shù)據(jù)量，并且還在不斷地增多。這些數(shù)據(jù)給各界帶來了很多便利，但是同時(shí)也要面臨大數(shù)據(jù)的處理的難題。目前對(duì)大數(shù)據(jù)處理的關(guān)鍵技術(shù)就是通過“云計(jì)算”來解決，但其還存在許多不足，希望能夠得到進(jìn)一步改善。

參考文獻(xiàn)

[1]張錚.淺析網(wǎng)絡(luò)大數(shù)據(jù)的采集和處理方法[J].信息系統(tǒng)工程，2015（10）.

[2]劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J]. 浙江大學(xué)學(xué)報(bào)（工學(xué)版），2014（06）.

[3]王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)[J].中興通訊技術(shù)，2013（04）.

[4]李晨暉，催建明，陳超泉.大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)構(gòu)建關(guān)鍵技術(shù)研究[J].情報(bào)資料工作，2013（22）：29-44.

作者單位

山西省通信管理局 山西省太原市 030002