大數(shù)據(jù)技術(shù)及在電信運(yùn)營(yíng)商IT 支撐系統(tǒng)的應(yīng)用研究

趙新星

（江西省郵電規(guī)劃設(shè)計(jì)院有限公司，南昌 330000）

被認(rèn)作為“未來(lái)的新石油”的大數(shù)據(jù)，其中潛藏著巨大、可挖掘的信息價(jià)值，成為各國(guó)家新一輪戰(zhàn)略爭(zhēng)奪點(diǎn)，也成為社會(huì)業(yè)界關(guān)注的新興焦點(diǎn)。英特爾中國(guó)研究院首席工程師吳甘沙說(shuō)，“大數(shù)據(jù)是當(dāng)前社會(huì)生命活動(dòng)主要承擔(dān)者”。就國(guó)內(nèi)電信運(yùn)營(yíng)商而言，大數(shù)據(jù)時(shí)代大潮勢(shì)不可擋，既有信息服務(wù)優(yōu)勢(shì)在浪潮下遭受沖刷，管理運(yùn)營(yíng)支撐力不足、終端掌控力不夠、物業(yè)創(chuàng)新力滯后等問(wèn)題逐漸顯現(xiàn)。這就要求電信運(yùn)營(yíng)商與時(shí)俱進(jìn)，緊跟時(shí)代浪潮，利用自身體系比較優(yōu)勢(shì)，深挖數(shù)據(jù)、整合信息，將大數(shù)據(jù)技術(shù)充分運(yùn)用于IT 支撐系統(tǒng)構(gòu)建、優(yōu)化與完善，強(qiáng)化核心競(jìng)爭(zhēng)力，進(jìn)而實(shí)現(xiàn)穩(wěn)定、可持續(xù)發(fā)展。

1 大數(shù)據(jù)技術(shù)基本特征

“大數(shù)據(jù)”其本質(zhì)為一個(gè)數(shù)據(jù)集合。從此數(shù)據(jù)集合角度分析，無(wú)法運(yùn)用傳統(tǒng)數(shù)據(jù)庫(kù)工具，對(duì)其進(jìn)行抓取、管理與處理，究其緣由，關(guān)鍵在于其4V—體量（Volumes）、類別（Variety）、速度（Velocity）、真實(shí)（Veracity）基本特征。

一是數(shù)據(jù)體量大，就大數(shù)據(jù)而言，在實(shí)際應(yīng)用中，其體量已達(dá)PB、EB 量級(jí)；二是數(shù)據(jù)類型多，數(shù)據(jù)來(lái)源廣泛，種類、格式日益多樣化，沖破既定結(jié)構(gòu)化數(shù)據(jù)范疇，半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)囊括其中；三是數(shù)據(jù)處理快，基于數(shù)據(jù)超大體量，在數(shù)據(jù)存儲(chǔ)、傳輸、增長(zhǎng)、更新等方面依舊能實(shí)現(xiàn)實(shí)時(shí)處理，大數(shù)據(jù)信息運(yùn)用極其高效；四是數(shù)據(jù)真度高，企業(yè)內(nèi)容、交易、應(yīng)用與社交等新數(shù)據(jù)源逐漸興起，傳統(tǒng)數(shù)據(jù)源主導(dǎo)格局被破除，就需要保證數(shù)據(jù)真實(shí)有效來(lái)確保企業(yè)信息安全[1]。

2 大數(shù)據(jù)技術(shù)主要內(nèi)容

2.1 大數(shù)據(jù)處理技術(shù)

對(duì)海量數(shù)據(jù)有效處理，是大數(shù)據(jù)運(yùn)用中至關(guān)重要的一個(gè)課題。靜態(tài)數(shù)據(jù)批量處理、圖表數(shù)據(jù)綜合處理、在線數(shù)據(jù)實(shí)時(shí)處理，是目前大數(shù)據(jù)主要處理形式。針對(duì)大數(shù)據(jù)處理，相應(yīng)處理系統(tǒng)也各自演化，各持特色，大體而言，呈現(xiàn)出三大趨勢(shì)，一為降成本、提能效，數(shù)據(jù)引擎專用化；二為擴(kuò)領(lǐng)域、塑生態(tài)，數(shù)據(jù)處理平臺(tái)多樣化；三為加速度、走批量，數(shù)據(jù)計(jì)算實(shí)時(shí)化。

2.2 大數(shù)據(jù)分析技術(shù)

要深入挖掘大數(shù)據(jù)潛在信息價(jià)值，針對(duì)地分析與計(jì)算不可或缺。大數(shù)據(jù)分析，基于深度學(xué)習(xí)、知識(shí)計(jì)算，再以可視化關(guān)鍵性技術(shù)呈現(xiàn)分析結(jié)果。其中，深度學(xué)習(xí)，將架構(gòu)學(xué)習(xí)對(duì)象層次化并進(jìn)行梯度表達(dá)，把抽象問(wèn)題具象化，加深理解并有效解決；知識(shí)計(jì)算，從海量數(shù)據(jù)中進(jìn)行價(jià)值化抽取，構(gòu)建查詢、計(jì)算知識(shí)庫(kù)，進(jìn)行高端分析；可視化技術(shù)，將數(shù)據(jù)信息轉(zhuǎn)化為動(dòng)態(tài)圖形，實(shí)現(xiàn)交互式展示，助力理解與合理決策。

3 大數(shù)據(jù)在電信運(yùn)營(yíng)商IT 支撐系統(tǒng)的應(yīng)用分析

3.1 數(shù)據(jù)產(chǎn)生

終端技術(shù)智能化、用戶群體規(guī)?；?、網(wǎng)絡(luò)業(yè)務(wù)多樣化，導(dǎo)致訊息數(shù)據(jù)海量化，給電信運(yùn)營(yíng)商IT 支撐系統(tǒng)帶來(lái)極其嚴(yán)峻的挑戰(zhàn)。就整個(gè)IT 支撐系統(tǒng)而言，其數(shù)據(jù)主要來(lái)自面向維護(hù)的設(shè)備層、面向管理的運(yùn)維層、面向市場(chǎng)的用戶層三大方面，主要由GPRS的Gn、Gi、Gb 接口，交換網(wǎng)的A 接口、Abis 口等傳輸。這就要求電信運(yùn)營(yíng)商基于常規(guī)的網(wǎng)絡(luò)運(yùn)營(yíng)數(shù)據(jù)、用戶基本信息，構(gòu)建更為真實(shí)、更為全面的用戶網(wǎng)上行為信息庫(kù)[2]。

3.2 數(shù)據(jù)獲取

在IT 支撐系統(tǒng)中，數(shù)據(jù)獲取分為采集、預(yù)處理、傳輸三個(gè)步驟，其中，數(shù)據(jù)采集，主要通過(guò)DPI 數(shù)據(jù)采集器，依據(jù)指定周期、IP 地址，采集網(wǎng)絡(luò)數(shù)據(jù)包，進(jìn)行拆包處理，提取有價(jià)值信息；數(shù)據(jù)預(yù)處理，主要針對(duì)含噪、冗余、差異化的異構(gòu)多源數(shù)據(jù)，以數(shù)據(jù)清洗、集成、冗余消除等方式，提質(zhì)量，降傳輸、存儲(chǔ)壓力，確保分析結(jié)果準(zhǔn)確；數(shù)據(jù)傳輸，數(shù)據(jù)經(jīng)IP 骨干網(wǎng)到數(shù)據(jù)中心，完成存儲(chǔ)。面對(duì)海量數(shù)據(jù)信息，大數(shù)據(jù)處理、分析技術(shù)將行之有效。

3.3 數(shù)據(jù)存取

訊息數(shù)據(jù)海量化、業(yè)務(wù)結(jié)構(gòu)復(fù)雜化，傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法線性擴(kuò)容，也難以滿足非結(jié)構(gòu)化處理要求，電信運(yùn)營(yíng)商存儲(chǔ)、訪問(wèn)壓力陡增，這要求基礎(chǔ)存儲(chǔ)空間更高性能、更大容量，更快吞吐。充分利用大數(shù)據(jù)技術(shù)，有效實(shí)現(xiàn)數(shù)據(jù)庫(kù)線性擴(kuò)容，從容應(yīng)對(duì)存儲(chǔ)需求，另外，也能滿足非結(jié)構(gòu)化數(shù)據(jù)處理要求，進(jìn)而提升IT 支撐系統(tǒng)整體性能。

3.4 數(shù)據(jù)分析

數(shù)據(jù)分析，可應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)，作用在于發(fā)掘數(shù)據(jù)價(jià)值。電信運(yùn)營(yíng)商依托IT 支撐系統(tǒng)優(yōu)勢(shì)，革新運(yùn)營(yíng)模式，創(chuàng)新出大數(shù)據(jù)分析服務(wù)，從而提升品牌影響力。基于大數(shù)據(jù)分析技術(shù)，完善數(shù)據(jù)發(fā)掘、統(tǒng)計(jì)分析、數(shù)據(jù)可視等整體流程，將數(shù)據(jù)封裝為服務(wù)，轉(zhuǎn)型為信息服務(wù)供應(yīng)商，實(shí)施企業(yè)戰(zhàn)略，精細(xì)運(yùn)營(yíng)、精準(zhǔn)營(yíng)銷，強(qiáng)管理、增體驗(yàn)，提高市場(chǎng)占有率。

3.5 數(shù)據(jù)應(yīng)用

一方面，構(gòu)建企業(yè)內(nèi)部統(tǒng)一數(shù)據(jù)運(yùn)算分析平臺(tái)，可提供企業(yè)級(jí)數(shù)據(jù)訪問(wèn)功能，直接控制數(shù)據(jù)實(shí)例，既能靈活擴(kuò)展、配置，又降低投資風(fēng)險(xiǎn)；另一方面，基于大數(shù)據(jù)統(tǒng)一分析云平臺(tái)，有效融入Map Reduce 架構(gòu)與數(shù)據(jù)庫(kù)存儲(chǔ)，從而對(duì)半結(jié)構(gòu)化、甚至非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效化處理分析，基于此，客戶能以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，實(shí)現(xiàn)成本控制、利潤(rùn)增長(zhǎng)[3]。

4 結(jié)束語(yǔ)

大數(shù)據(jù)技術(shù)發(fā)展已然大勢(shì)所趨，其領(lǐng)域滲入將更為廣泛、更為深入、更為全面。大數(shù)據(jù)與電信領(lǐng)域有效結(jié)合，對(duì)數(shù)據(jù)潛在價(jià)值發(fā)掘意義重大，大數(shù)據(jù)技術(shù)應(yīng)用于IT 支撐領(lǐng)域，電信運(yùn)營(yíng)商要把握其初級(jí)階段表現(xiàn)及規(guī)律，進(jìn)行有益嘗試，打開(kāi)電信行業(yè)發(fā)展新局面。