運(yùn)營商大數(shù)據(jù)技術(shù)應(yīng)用研究

蔡娟

摘要：伴隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)已然成為企業(yè)乃至國家的戰(zhàn)略性資產(chǎn)。針對大數(shù)據(jù)技術(shù)開展研究，既順應(yīng)了時(shí)代的潮流，也是各大運(yùn)營商的社會責(zé)任。大數(shù)據(jù)在現(xiàn)實(shí)生活中的運(yùn)用，是運(yùn)營商在發(fā)展業(yè)務(wù)、推廣市場的基礎(chǔ)，更能體現(xiàn)企業(yè)的綜合實(shí)力。如何將海量的數(shù)據(jù)進(jìn)行快速且有效的處理，是當(dāng)前運(yùn)營商面臨的關(guān)鍵問題。文章主要介紹了大數(shù)據(jù)技術(shù)的現(xiàn)狀，通過對大數(shù)據(jù)技術(shù)優(yōu)勢與不足的分析，為運(yùn)營商在大數(shù)據(jù)技術(shù)方面的應(yīng)用提供參考建議。

關(guān)鍵詞：運(yùn)營商；大數(shù)據(jù)技術(shù)；數(shù)據(jù)處理；網(wǎng)絡(luò)優(yōu)化

中圖分類號：TP311.13? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，大數(shù)據(jù)已經(jīng)成為運(yùn)營商發(fā)展新業(yè)務(wù)的一大挑戰(zhàn)。越來越多的行業(yè)逐漸被大數(shù)據(jù)滲透，如醫(yī)療行業(yè)的線上問診、教育行業(yè)的線上課堂、旅游行業(yè)的云服務(wù)等，運(yùn)營商可以利用大數(shù)據(jù)開展研究分析。一般來說，在傳統(tǒng)的數(shù)據(jù)軟件中，數(shù)據(jù)大小、復(fù)雜性往往無法計(jì)算，運(yùn)營商用合理的成本，在可接受的時(shí)間內(nèi)處理數(shù)據(jù)集。伴隨著網(wǎng)絡(luò)快速發(fā)展，大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)中應(yīng)運(yùn)而生。

1 大數(shù)據(jù)技術(shù)的優(yōu)勢與不足

1.1 大數(shù)據(jù)技術(shù)的優(yōu)勢特征

大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域的廣泛使用，大大提高了企業(yè)的效率。移動運(yùn)營商在大數(shù)據(jù)技術(shù)應(yīng)用上的優(yōu)勢更加明顯，具體表現(xiàn)在以下方面：

（1）龐大的用戶數(shù)量。隨著通信技術(shù)的發(fā)展，消費(fèi)群體的需求也越來越大。截至目前，三大運(yùn)營商的用戶使用網(wǎng)絡(luò)業(yè)務(wù)的數(shù)量已達(dá)13億戶。（2）大數(shù)據(jù)技術(shù)的時(shí)效性比傳統(tǒng)技術(shù)更易突顯。隨著5G時(shí)代的到來，人們的日常生活與移動互聯(lián)網(wǎng)結(jié)合起來。運(yùn)營商最先擁有用戶的行為數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)的更新保證了時(shí)效性。（3）大數(shù)據(jù)技術(shù)是運(yùn)營商轉(zhuǎn)型的新機(jī)遇。為了應(yīng)對OTT競爭，運(yùn)營商需要向數(shù)字化服務(wù)提供商轉(zhuǎn)型。（4）提高了生產(chǎn)力。Syncsort在一項(xiàng)調(diào)查中發(fā)現(xiàn)，超過半數(shù)的受訪者在進(jìn)行數(shù)據(jù)分析工作的時(shí)候，往往會選擇運(yùn)用Hadoop或Spark等工具，以此來提高生產(chǎn)效率。分析師使用最新的大數(shù)據(jù)分析工具去分析數(shù)據(jù)，往往使得數(shù)據(jù)處理更加有效，從而提高個人的生產(chǎn)力。此外，這些分析所獲得的見解，往往會使組織能夠提高公司內(nèi)部的整體生產(chǎn)力，并最終提高公司的效率［1］。

1.2 運(yùn)營商在大數(shù)據(jù)技術(shù)應(yīng)用方面所面臨的挑戰(zhàn)

（1）由于數(shù)據(jù)的來源廣而雜，聚集數(shù)據(jù)較為煩瑣。數(shù)據(jù)的形式多種多樣，但是系統(tǒng)只能支持單一的處理方式，不能處理各種類型的數(shù)據(jù)，因此不能滿足互聯(lián)網(wǎng)的多樣化。（2）商業(yè)模式尚未成熟，用戶的基數(shù)過大，對這些數(shù)據(jù)的處理還存在一些難度。（3）投入與產(chǎn)出不相匹配。對大數(shù)據(jù)的熱烈吹捧，使大數(shù)據(jù)超過了它本身的商業(yè)價(jià)值。運(yùn)營商在時(shí)間方面往往存在一定的形式主義，一些專題為了追求創(chuàng)新，往往忽視了投入產(chǎn)出之比的分析，結(jié)果耗費(fèi)大量人力物力的大數(shù)據(jù)項(xiàng)目的收入非常低。此外，由于對大數(shù)據(jù)技術(shù)的應(yīng)用和理解仍處于初級階段，運(yùn)營商要將豐富的原始數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力還有很大的困難，在數(shù)據(jù)獲取和標(biāo)準(zhǔn)化方面將面臨巨大的工作量。（4）運(yùn)營仍存在一些風(fēng)險(xiǎn)。用戶的隱私問題關(guān)系到他們自身利益，預(yù)言家梅爾分析了6種常見的解決方案，如數(shù)據(jù)適度和增強(qiáng)的隱私保護(hù)，但由于各種原因，對于大數(shù)據(jù)概念的沖突等，尚未有令人滿意的方案。由此可見，運(yùn)營商處理大數(shù)據(jù)的安全策略是非常重要的問題［2］。

2 大數(shù)據(jù)處理技術(shù)

2.1 Hadoop技術(shù)

Hadoop技術(shù)是一種分布式系統(tǒng)基礎(chǔ)設(shè)施，主要處理大量數(shù)據(jù)的存儲和分析計(jì)算。Hadoop技術(shù)具有以下優(yōu)勢特征。（1）可靠性高：可維護(hù)多份數(shù)據(jù)。當(dāng)計(jì)算的元素或存儲出現(xiàn)錯誤的時(shí)候，它不會把數(shù)據(jù)丟失。（2）高擴(kuò)展性：Hadoop技術(shù)在進(jìn)行數(shù)據(jù)處理的時(shí)候，會在集群間分發(fā)數(shù)據(jù)，它能夠?qū)?shù)據(jù)輕松地?cái)U(kuò)展到數(shù)千個節(jié)點(diǎn)。（3）效率：它會采用并行工作，當(dāng)采用并行工作的時(shí)候，數(shù)據(jù)任務(wù)的處理速度會有所增長。（4）高容錯性：當(dāng)任務(wù)失敗的時(shí)候，Hadoop可以將任務(wù)進(jìn)行重新分配。伴隨著技術(shù)的成熟，基于Hadoop技術(shù)，及時(shí)查詢數(shù)據(jù)處理技術(shù)也逐漸開始發(fā)展。Hadoop主要適用于大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)采集、處理、存儲以及交換，支持PB級存儲容量。

2.2 MPP技術(shù)

MPP技術(shù)是指將任務(wù)并行的數(shù)據(jù)，進(jìn)行分散，將數(shù)據(jù)分別分散到多個服務(wù)器和節(jié)點(diǎn)上，在節(jié)點(diǎn)上進(jìn)行計(jì)算之后，將各個節(jié)點(diǎn)上的結(jié)果全部匯總到一起，最后得到一個最終結(jié)果。MPP技術(shù)適用于大數(shù)據(jù)處理，以及多維度數(shù)據(jù)的自助分析等。MPP技術(shù)適合結(jié)構(gòu)化數(shù)據(jù)深度的分析、數(shù)據(jù)的復(fù)雜查詢，它不需要進(jìn)行定制以及專門開發(fā)。但是相比較Hadoop而言，MPP技術(shù)可以降低成本。MPP比較適用于海量數(shù)據(jù)的分析和存儲。通過數(shù)據(jù)壓縮等技術(shù)，最小化大數(shù)據(jù)場景的磁盤，以提高數(shù)據(jù)的查詢效率［3］。

2.3 流計(jì)算技術(shù)

對流數(shù)據(jù)進(jìn)行的實(shí)時(shí)計(jì)算，應(yīng)用于各種場景。淘寶等大型網(wǎng)站會實(shí)時(shí)產(chǎn)生大量的流媒體數(shù)據(jù)，包括搜索內(nèi)容、瀏覽記錄等數(shù)據(jù)。利用流計(jì)算技術(shù)進(jìn)行實(shí)時(shí)分析，可以比較容易了解網(wǎng)站的流量變化，甚至通過分析瀏覽軌跡，向用戶推薦個性化內(nèi)容。然而，流計(jì)算僅適用于處理一些連續(xù)到達(dá)的流數(shù)據(jù)，對數(shù)據(jù)處理的實(shí)時(shí)性要求很高。

綜上，當(dāng)前主要使用的大數(shù)據(jù)技術(shù)結(jié)構(gòu)如表1所示。

3 基于大數(shù)據(jù)技術(shù)運(yùn)營商的應(yīng)用實(shí)踐

用戶在進(jìn)行網(wǎng)絡(luò)業(yè)務(wù)時(shí)，感知到的體驗(yàn)信息和運(yùn)營商的實(shí)時(shí)運(yùn)營信息都屬于大數(shù)據(jù)。運(yùn)營商應(yīng)當(dāng)拿起大數(shù)據(jù)這個有力武器，讓企業(yè)的發(fā)展決策、市場拓展、技術(shù)提升、網(wǎng)絡(luò)建設(shè)都更加科學(xué)化，實(shí)現(xiàn)大數(shù)據(jù)對于自身發(fā)展的全面支撐。

3.1 移動互聯(lián)網(wǎng)業(yè)務(wù)的感知評估方法

移動互聯(lián)網(wǎng)服務(wù)是典型的“20/80效應(yīng)”，覆蓋了大多數(shù)用戶。研究表明，多數(shù)的流量是用戶在使用應(yīng)用程序的時(shí)候產(chǎn)生的，比如網(wǎng)絡(luò)瀏覽、視頻以及通信等。然而，雖然業(yè)務(wù)的類型不同，但是它們都出現(xiàn)了較為明顯的拖尾效應(yīng)，前面多種方法可以覆蓋大多數(shù)情況。在此基礎(chǔ)上，運(yùn)營商主要通過分析用戶在網(wǎng)絡(luò)瀏覽、視頻和通信過程中感知到的影響因素來分析移動互聯(lián)網(wǎng)服務(wù)的整體情況。

3.1.1 網(wǎng)頁瀏覽類

DNS（Domain Name System）延時(shí)：不易于被用戶感知到。

TCP（Transmission Control Protocol）延時(shí)：用戶往往不易感知到。

頁面訪問的成功率：用戶在進(jìn)行頁面訪問時(shí)，往往能夠比較容易感覺到，但是，用戶愿意等待頁面打開的時(shí)間是有限的，當(dāng)網(wǎng)頁訪問的等待時(shí)間太長的時(shí)候，即便頁面能夠訪問，在有效的時(shí)間以外的時(shí)候，用戶可能會提前將頁面進(jìn)行關(guān)閉。

首包延時(shí)：用戶可以在網(wǎng)頁的頁面上看到響應(yīng)，用戶很容易感知。

頁面打開延時(shí)：從訪問頁面開始，一直到頁面打開這段等待的時(shí)間，用戶往往最容易感知到。

3.1.2 視頻類

播放延遲：用戶可以很容易地感覺到播放延遲，因?yàn)椴シ诺难舆t往往會與下載的速率和播放的軟件的緩沖區(qū)大小有關(guān)。而處于終端的客戶端在使用的過程中往往更容易檢測出來，這與下載的速率有很大的關(guān)系。

視頻卡頓：視頻卡頓與視頻下載的速率、播放視頻的軟件的緩沖大小以及節(jié)目源流速率有關(guān)。

下載速度：往往較為容易監(jiān)測，下載的速率在很大程度上能夠反映視頻播放的感知情況。

3.1.3 即時(shí)通信類

消息發(fā)送和接收延遲：用戶很容易感知，但即時(shí)消息應(yīng)用程序的準(zhǔn)時(shí)性決定了用戶對消息發(fā)送和接受延遲不敏感。

消息上傳、下載速率：用戶不易感知到消息的上傳、下載速率。原因是屬于即時(shí)通信類的應(yīng)用在使用過程中主要以小流量應(yīng)用為主，而在這種情況下，對于消息的上傳、下載速率不是非常敏感。

消息的發(fā)送、接收成功率：消息是否能夠成功發(fā)送或者接收，用戶會在第一時(shí)間內(nèi)感知到，這體現(xiàn)了用戶的核心訴求［4］。

3.2 移動互聯(lián)網(wǎng)業(yè)務(wù)感知指標(biāo)采集以及建模分析

為了獲取網(wǎng)頁瀏覽類、視頻類以及即時(shí)通信類的關(guān)鍵質(zhì)量指標(biāo)，在SGW側(cè)部署的深度包檢測與監(jiān)控系統(tǒng)中，捕捉用戶在使用互聯(lián)網(wǎng)業(yè)務(wù)時(shí)，所產(chǎn)生的數(shù)據(jù)的關(guān)鍵質(zhì)量指標(biāo)，及時(shí)地掌握用戶體驗(yàn)，建立用戶業(yè)務(wù)感知到的評估模型。同時(shí)，進(jìn)行數(shù)據(jù)的收集，獲取到用戶端到端的關(guān)鍵質(zhì)量指標(biāo)，通過對用戶的端到端關(guān)鍵質(zhì)量指標(biāo)進(jìn)行回歸分析，驗(yàn)證用戶業(yè)務(wù)感知的綜合評價(jià)模型，從而能夠獲得較為穩(wěn)定客觀的感知評價(jià)模型。

App測量點(diǎn)一般部署在用戶終端上，可以收集用戶真正感知到的關(guān)鍵質(zhì)量指標(biāo)，但由于數(shù)量有限，往往屬于樣本數(shù)量較少；網(wǎng)絡(luò)側(cè)經(jīng)常部署深度包檢測和監(jiān)控點(diǎn)，它們可以收集用戶使用所有服務(wù)時(shí)的關(guān)鍵質(zhì)量指標(biāo)，并將兩者結(jié)合起來構(gòu)建用戶業(yè)務(wù)感知的綜合評價(jià)模型。

3.3 移動互聯(lián)網(wǎng)業(yè)務(wù)感知評估實(shí)施以及效果的有效性評估

根據(jù)全網(wǎng)服務(wù)感知到的綜合評價(jià)模型，可以隨時(shí)隨地地進(jìn)行計(jì)算和分析，掌握全網(wǎng)用戶的感知情況。針對部分用戶感知較差的區(qū)域和時(shí)段，運(yùn)用技術(shù)進(jìn)行端到端關(guān)聯(lián)和逐層分析，找出導(dǎo)致用戶在使用移動互聯(lián)網(wǎng)業(yè)務(wù)時(shí)所感知不良的原因，從而有針對性地開展移動互聯(lián)網(wǎng)業(yè)務(wù)的整改工作。

根據(jù)移動互聯(lián)網(wǎng)業(yè)務(wù)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和業(yè)務(wù)流程，對用戶使用移動互聯(lián)網(wǎng)業(yè)務(wù)時(shí)的關(guān)鍵質(zhì)量指標(biāo)進(jìn)行映射，分步分解運(yùn)行于網(wǎng)絡(luò)設(shè)備指標(biāo)、無線網(wǎng)絡(luò)關(guān)鍵性能指標(biāo)、信令監(jiān)測計(jì)算，生成關(guān)鍵質(zhì)量指標(biāo)/關(guān)鍵性能指標(biāo)（KPI）和關(guān)鍵性能指標(biāo)（KPI）承載網(wǎng)絡(luò)，核心網(wǎng)絡(luò)管理關(guān)鍵性能指標(biāo)（KPI）和深度包檢查系統(tǒng)生成的計(jì)算/關(guān)鍵性能指的是關(guān)鍵質(zhì)量指標(biāo)標(biāo)準(zhǔn)［5］。

將用戶數(shù)據(jù)的關(guān)鍵質(zhì)量指標(biāo)映射到網(wǎng)絡(luò)運(yùn)營指標(biāo)的關(guān)鍵性能指標(biāo)中去，以達(dá)到監(jiān)測和優(yōu)化移動網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)運(yùn)營指標(biāo)，從而提高互聯(lián)網(wǎng)服務(wù)意識。移動互聯(lián)網(wǎng)商業(yè)的感知指標(biāo)在進(jìn)行應(yīng)用評估的時(shí)候，通常是從用戶感知到的指標(biāo)采樣、提取、建模到關(guān)鍵質(zhì)量指標(biāo)再到關(guān)鍵性能指標(biāo)的分析，利用大數(shù)據(jù)平臺中的數(shù)據(jù)，基于大數(shù)據(jù)平臺的大量數(shù)據(jù)進(jìn)行存儲和分析，從而證明大數(shù)據(jù)技術(shù)平臺對各種數(shù)據(jù)應(yīng)用的支撐能力。

4 結(jié)語

大數(shù)據(jù)技術(shù)進(jìn)行商業(yè)化是運(yùn)營商開發(fā)額外收入的新舉措，對運(yùn)營商的戰(zhàn)略轉(zhuǎn)型起到了舉足輕重的作用。在大數(shù)據(jù)時(shí)代，運(yùn)營商需要加快數(shù)據(jù)服務(wù)轉(zhuǎn)型，在遵守我國的法律法規(guī)的前提下，尋求商業(yè)模式創(chuàng)新和業(yè)務(wù)創(chuàng)新，提升客戶感知，推動互聯(lián)網(wǎng)不斷向前發(fā)展。傳統(tǒng)的數(shù)據(jù)規(guī)劃以及服務(wù)優(yōu)化往往得不到解決，大數(shù)據(jù)技術(shù)的應(yīng)用為運(yùn)營商提供了新的方式，通過信息服務(wù)的輸出來降低成本，能夠?yàn)檫\(yùn)營商帶來利益。然而目前大數(shù)據(jù)技術(shù)還未達(dá)到成熟的水平，大數(shù)據(jù)技術(shù)的可靠性和規(guī)范性仍有待加強(qiáng)，以大數(shù)據(jù)為基礎(chǔ)進(jìn)行商業(yè)模式的發(fā)展還有待進(jìn)一步進(jìn)行探索。運(yùn)營商利用大數(shù)據(jù)優(yōu)勢整合整個行業(yè)的移動互聯(lián)網(wǎng)數(shù)據(jù)或者提供特供性質(zhì)的數(shù)據(jù)服務(wù)都是有待探究的新方向。

參考文獻(xiàn)

［1］廖鋒，成靜靜.大數(shù)據(jù)技術(shù)及在電信運(yùn)營商IT支撐系統(tǒng)的應(yīng)用研究［J］.數(shù)據(jù)通信，2016（2）：32-35，42.

［2］劉力銘，孟昉.大數(shù)據(jù)背景下的移動運(yùn)營商內(nèi)容精細(xì)化推送技術(shù)應(yīng)用研究［J］.納稅，2017（35）：131-132，134.

［3］宋安平.運(yùn)營商大數(shù)據(jù)分析應(yīng)用及技術(shù)展望［J］.通訊世界，2017（17）：82.

［4］覃文.運(yùn)營商大數(shù)據(jù)對外跨業(yè)合作技術(shù)研究及應(yīng)用［J］.廣西通信技術(shù)，2015（3）：17-21.

［5］宮云平，向勇，嚴(yán)宇.運(yùn)營商網(wǎng)絡(luò)運(yùn)營大數(shù)據(jù)應(yīng)用實(shí)踐研究［J］.移動通信，2016（4）：87-91.

（編輯 李春燕）

Research on application of big data technology for operators

Cai? Juan

（Guangzhou Vocational and Technical University of Science and Technology， Guangzhou 510005， China）

Abstract：? With the advent of the era of big data， data has become a strategic asset of enterprises and even countries. Research on big data technology is not only in line with the trend of the times， but also the social responsibility of major operators. The application of big data in real life is the basis for operators to promote the market when developing their business， and it can better reflect the comprehensive strength of the enterprise. How to process massive data quickly and efficiently is a key issue facing operators today. This paper mainly introduces the status quo of big data technology， and provides new reference and suggestions for operators in the application of big data technology by analyzing the advantages and disadvantages of big data technology.

Key words： operator; big data technology; data processing; network optimization