大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用分析

寧 靜

（武警陜西省總隊(duì)參謀部，陜西 西安 710054）

0 引言

近年來，移動(dòng)通信技術(shù)的開發(fā)與應(yīng)用極大地推動(dòng)了武警部隊(duì)移動(dòng)通信網(wǎng)絡(luò)建設(shè)的進(jìn)度，為復(fù)雜環(huán)境下移動(dòng)通信功能的保障提供了強(qiáng)有力的支持。大數(shù)據(jù)技術(shù)作為新興的信息化技術(shù)類型，除了可以豐富武警部隊(duì)移動(dòng)通信網(wǎng)絡(luò)應(yīng)用的功能以外，還為移動(dòng)通信網(wǎng)絡(luò)的持續(xù)優(yōu)化提供了科學(xué)的技術(shù)指導(dǎo)。然而，由于當(dāng)前大數(shù)據(jù)分析技術(shù)尚處于應(yīng)用探索階段，與武警部隊(duì)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的結(jié)合并不全面也不深入，需要通過進(jìn)一步的應(yīng)用研究來深化該技術(shù)在武警部隊(duì)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用。

1 大數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)分析技術(shù)是在一系列技術(shù)的支持下，實(shí)現(xiàn)數(shù)據(jù)信息的挖掘、分析與利用。在當(dāng)前環(huán)境不確定性持續(xù)增加的背景下，大數(shù)據(jù)分析技術(shù)的產(chǎn)生和應(yīng)用為相關(guān)主體準(zhǔn)確把握問題節(jié)點(diǎn)和問題癥結(jié)，制定和采取有效的問題解決策略提供了良好的基礎(chǔ)支持。綜合來看，大數(shù)據(jù)分析技術(shù)的核心技術(shù)內(nèi)容主要有以下四個(gè)方面：

（1）數(shù)據(jù)采集技術(shù)。數(shù)據(jù)采集技術(shù)是對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行收集的技術(shù)類型。目前，數(shù)據(jù)采集技術(shù)的應(yīng)用主要在于數(shù)據(jù)庫數(shù)據(jù)的采集、網(wǎng)絡(luò)數(shù)據(jù)的采集和文件數(shù)據(jù)的采集等方面。其中，數(shù)據(jù)庫數(shù)據(jù)采集是通過Sqoop、ETL、MySQL、Oracle等數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的抓?。痪W(wǎng)絡(luò)數(shù)據(jù)采集是通過Web爬蟲或者網(wǎng)站的公共API，從網(wǎng)頁中獲取一些非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，并將這些數(shù)據(jù)的結(jié)構(gòu)統(tǒng)一為本地?cái)?shù)據(jù)結(jié)構(gòu)；文件采集是通過實(shí)時(shí)文件采集與處理技術(shù)flume、基于ELK的日志采集、增量采集等進(jìn)行數(shù)據(jù)的獲取。

（2）數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理指的是在開展大數(shù)據(jù)分析之前，先對(duì)通過各種途徑收集到的原始數(shù)據(jù)進(jìn)行清洗、集成、轉(zhuǎn)換、離散和規(guī)約等處理，使各種類型的數(shù)據(jù)達(dá)到大數(shù)據(jù)分析所要求的最低規(guī)范和標(biāo)準(zhǔn)。其中，數(shù)據(jù)清洗是指對(duì)原始數(shù)據(jù)中存在缺失、錯(cuò)亂等問題的數(shù)據(jù)進(jìn)行填充或者消除，提高數(shù)據(jù)的質(zhì)量；數(shù)據(jù)集成是將來自多個(gè)方向的數(shù)據(jù)進(jìn)行合并處理，消除重復(fù)性、重疊性的數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換是將來源不同的數(shù)據(jù)進(jìn)行屬性轉(zhuǎn)換，使數(shù)據(jù)保持類型、結(jié)構(gòu)等方面的統(tǒng)一、規(guī)范；數(shù)據(jù)規(guī)約是通過尋找依賴于發(fā)現(xiàn)目標(biāo)的數(shù)據(jù)來縮減數(shù)據(jù)的規(guī)模，從而實(shí)現(xiàn)在保持?jǐn)?shù)據(jù)原貌的前提下，最大限度地精簡數(shù)據(jù)的規(guī)模，提升數(shù)據(jù)分析的效率。

（3）數(shù)據(jù)存儲(chǔ)技術(shù)。數(shù)據(jù)存儲(chǔ)是指以數(shù)據(jù)庫的形式存儲(chǔ)采集到的數(shù)據(jù)，在數(shù)據(jù)存儲(chǔ)中，數(shù)據(jù)庫是存儲(chǔ)載體。目前，大數(shù)據(jù)存儲(chǔ)的技術(shù)路線主要有三種：采用MPP架構(gòu)的新型數(shù)據(jù)庫集群、基于Hadoop的技術(shù)擴(kuò)展和封裝、大數(shù)據(jù)一體機(jī)。其中，采用MPP架構(gòu)的新型數(shù)據(jù)庫集群主要采用SharedNothing架構(gòu)，通過列存儲(chǔ)、粗粒度索引等技術(shù)，結(jié)合MPP架構(gòu)的分布式計(jì)算模式，構(gòu)建起具有高性能和高擴(kuò)展性的特點(diǎn)；基于Hadoop的技術(shù)擴(kuò)展和封裝是由Hadoop衍生出來的技術(shù)類型，其主要用于傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的情況；大數(shù)據(jù)一體機(jī)是由集成的軟件組成，具有性能穩(wěn)定、擴(kuò)展性強(qiáng)的特點(diǎn)。

（4）數(shù)據(jù)分析與挖掘。數(shù)據(jù)分析與挖掘是利用可視化分析技術(shù)、數(shù)據(jù)挖掘算法、數(shù)據(jù)預(yù)測分析技術(shù)等，對(duì)原本無序的數(shù)據(jù)進(jìn)行提取、提煉和分析。作為大數(shù)據(jù)技術(shù)應(yīng)用的兩個(gè)方面，數(shù)據(jù)分析與數(shù)據(jù)挖掘存在一定的銜接性、關(guān)聯(lián)性，但兩者也存在明顯的區(qū)別：數(shù)據(jù)分析是以輸入的數(shù)據(jù)為基礎(chǔ)，通過一系列約束性條件，對(duì)數(shù)據(jù)進(jìn)行分析處理，分析結(jié)果與數(shù)據(jù)和約束性條件相關(guān)，具有明顯的客觀性；數(shù)據(jù)挖掘是對(duì)數(shù)據(jù)信息價(jià)值的發(fā)現(xiàn)與獲取，雖然數(shù)據(jù)信息的價(jià)值來源于數(shù)據(jù)本身，但挖掘的標(biāo)準(zhǔn)和方向則較大程度上受人的管控，具有明顯的主觀性。簡而言之，數(shù)據(jù)分析是對(duì)數(shù)據(jù)信息的客觀性分析，而數(shù)據(jù)挖掘是基于人主觀性的數(shù)據(jù)價(jià)值需求而進(jìn)行的數(shù)據(jù)處理與利用。

2 大數(shù)據(jù)技術(shù)在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中具體應(yīng)用

隨著武警部隊(duì)通信網(wǎng)絡(luò)需求的持續(xù)增加，借助大數(shù)據(jù)技術(shù)對(duì)現(xiàn)有移動(dòng)通信網(wǎng)絡(luò)進(jìn)行持續(xù)性的優(yōu)化，已然成為武警部隊(duì)通信網(wǎng)絡(luò)建設(shè)中的重點(diǎn)研究方向和探索目標(biāo)。就目前移動(dòng)通信網(wǎng)絡(luò)優(yōu)化實(shí)踐情況來看，大數(shù)據(jù)技術(shù)的應(yīng)用方向主要有以下幾方面：

（1）在網(wǎng)絡(luò)優(yōu)化目標(biāo)確定方面的應(yīng)用。移動(dòng)通信網(wǎng)絡(luò)架構(gòu)的層次性和復(fù)雜性，決定了網(wǎng)絡(luò)優(yōu)化需要有明確的目標(biāo)和方向指引。為了優(yōu)化移動(dòng)通信網(wǎng)絡(luò)，需要在實(shí)際應(yīng)用大數(shù)據(jù)處理技術(shù)及其優(yōu)勢(shì)的所有階段明確了解策略。在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化過程中，技術(shù)人員會(huì)先借助大數(shù)據(jù)技術(shù)對(duì)移動(dòng)通信網(wǎng)絡(luò)進(jìn)行整體測試，在對(duì)比測試數(shù)據(jù)結(jié)果的基礎(chǔ)上進(jìn)行路測，進(jìn)而掌握移動(dòng)通信網(wǎng)絡(luò)的信號(hào)質(zhì)量、電平、覆蓋狀況等信息，從而明確網(wǎng)絡(luò)優(yōu)化的節(jié)點(diǎn)。同時(shí)，在網(wǎng)絡(luò)優(yōu)化過程中，技術(shù)人員可以通過大數(shù)據(jù)分析技術(shù)對(duì)提出的多種網(wǎng)絡(luò)通信方案進(jìn)行優(yōu)化模擬，通過對(duì)比模擬結(jié)果來確定最佳的網(wǎng)絡(luò)通信方案，從而保障優(yōu)化后的移動(dòng)通信網(wǎng)絡(luò)在安全性、穩(wěn)定性、兼容性等方面均優(yōu)于原有的方案。

（2）在網(wǎng)絡(luò)信息存儲(chǔ)方面的應(yīng)用。擁有高強(qiáng)度的保密性是武警部隊(duì)移動(dòng)通信網(wǎng)絡(luò)需要具備的基礎(chǔ)性條件。并且，移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)分析與決策功能發(fā)揮的前提條件是網(wǎng)絡(luò)中要存儲(chǔ)有足夠多的數(shù)據(jù)。大數(shù)據(jù)分析技術(shù)除了具有數(shù)據(jù)分析功能以外，還具有強(qiáng)大的數(shù)據(jù)存儲(chǔ)技術(shù)優(yōu)勢(shì)，通過數(shù)據(jù)庫等存儲(chǔ)載體，既可以存儲(chǔ)海量的多類型數(shù)據(jù)信息，也可以對(duì)數(shù)據(jù)庫中的數(shù)據(jù)信息進(jìn)行加密處理，從而實(shí)現(xiàn)移動(dòng)通信網(wǎng)絡(luò)滿足部隊(duì)移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)信息存儲(chǔ)的功能需求。同時(shí)，大數(shù)據(jù)技術(shù)還廣泛應(yīng)用于移動(dòng)通信網(wǎng)絡(luò)的存儲(chǔ)數(shù)據(jù)的更新方面，即大數(shù)據(jù)技術(shù)能夠按照相應(yīng)的約束性條件，根據(jù)用戶網(wǎng)絡(luò)使用過程中產(chǎn)生的新數(shù)據(jù)，對(duì)原有存儲(chǔ)于數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分析、替代，從而保持?jǐn)?shù)據(jù)庫中信息的時(shí)效性。

（3）在網(wǎng)絡(luò)潛在優(yōu)化需求挖掘方面的應(yīng)用。目前，武警部隊(duì)對(duì)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化需求的掌握主要是基于問題和功能導(dǎo)向，即部隊(duì)在開展相關(guān)工作中產(chǎn)生某項(xiàng)通信網(wǎng)絡(luò)功能需求或者發(fā)現(xiàn)某一網(wǎng)絡(luò)通信問題時(shí)，開展相應(yīng)的通信網(wǎng)絡(luò)優(yōu)化工作，這種優(yōu)化模式較為被動(dòng)，容易造成網(wǎng)絡(luò)長期存在潛在風(fēng)險(xiǎn)。在大數(shù)據(jù)分析技術(shù)中的數(shù)據(jù)挖掘技術(shù)的支持下，技術(shù)人員除了能夠發(fā)現(xiàn)明顯的網(wǎng)絡(luò)優(yōu)化需求信息以外，還可以通過數(shù)據(jù)的深層次價(jià)值挖掘發(fā)現(xiàn)網(wǎng)絡(luò)運(yùn)行中存在的風(fēng)險(xiǎn)因素甚至風(fēng)險(xiǎn)節(jié)點(diǎn)，從而使事后的網(wǎng)絡(luò)優(yōu)化活動(dòng)提前到了事前，使網(wǎng)絡(luò)整體的安全性系數(shù)明顯提升。

3 大數(shù)據(jù)技術(shù)在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化應(yīng)用方面需要注意的問題

雖然當(dāng)前大數(shù)據(jù)技術(shù)應(yīng)用研究的主體和內(nèi)容比較豐富，但受職能范圍等因素的影響，武警部隊(duì)在利用大數(shù)據(jù)技術(shù)優(yōu)化移動(dòng)通信網(wǎng)絡(luò)方面與其他主體之間存在一定的不同，這使得大數(shù)據(jù)技術(shù)的研究與應(yīng)用需要考慮一些特殊性的問題。結(jié)合當(dāng)前的實(shí)踐來看，大數(shù)據(jù)技術(shù)應(yīng)用應(yīng)當(dāng)注意以下問題：

（1）拓寬數(shù)據(jù)來源。武警部隊(duì)大數(shù)據(jù)分析中的數(shù)據(jù)信息資源主要來源于本單位移動(dòng)通信網(wǎng)絡(luò)運(yùn)行中產(chǎn)生的數(shù)據(jù)。雖然這種以單位為主體的數(shù)據(jù)來源方式能夠滿足部隊(duì)單位內(nèi)部移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的需求，但在面對(duì)一些跨兵種、跨區(qū)域移動(dòng)通信需求方面存在明顯的薄弱性。因此，武警部隊(duì)在大數(shù)據(jù)分析技術(shù)應(yīng)用方面，應(yīng)當(dāng)盡可能地拓展數(shù)據(jù)信息的來源，獲得更多關(guān)于部隊(duì)整體移動(dòng)通信網(wǎng)絡(luò)建設(shè)與運(yùn)行的數(shù)據(jù)信息，以此保證大數(shù)據(jù)分析技術(shù)應(yīng)用的科學(xué)性和可靠性。

（2）強(qiáng)化數(shù)據(jù)安全保障。網(wǎng)絡(luò)的開放性使得武警部隊(duì)的移動(dòng)通信網(wǎng)絡(luò)運(yùn)行環(huán)境具有明顯的復(fù)雜性和不確定性。為確保網(wǎng)絡(luò)中存儲(chǔ)、運(yùn)行的數(shù)據(jù)信息的安全，武警部隊(duì)在使用大數(shù)據(jù)技術(shù)過程中，要在規(guī)范移動(dòng)通信網(wǎng)絡(luò)資源使用行為的同時(shí)，注重?cái)?shù)據(jù)安全保密技術(shù)的開發(fā)與使用，切實(shí)解決大數(shù)據(jù)技術(shù)應(yīng)用過程中的數(shù)據(jù)安全性問題，使移動(dòng)網(wǎng)絡(luò)安全得到持續(xù)性的保障。

4 結(jié)束語

優(yōu)化移動(dòng)通信網(wǎng)絡(luò)作為武警部隊(duì)信息化建設(shè)中的重點(diǎn)項(xiàng)目內(nèi)容，在優(yōu)化部隊(duì)資源利用效率和效果方面發(fā)揮著重要的作用。在利用大數(shù)據(jù)技術(shù)優(yōu)化移動(dòng)通信網(wǎng)絡(luò)的過程中，除了要關(guān)注技術(shù)應(yīng)用的功能優(yōu)勢(shì)外，還要注意大數(shù)據(jù)分析技術(shù)應(yīng)用中可能存在的數(shù)據(jù)來源單一、數(shù)據(jù)安全保障性薄弱等問題，通過有效的管理與技術(shù)措施來優(yōu)化解決技術(shù)應(yīng)用中的問題，切實(shí)保證網(wǎng)絡(luò)優(yōu)化的效果。