張 丁
(中國聯(lián)合網(wǎng)絡(luò)通信有限公司 廣東省分公司,廣東 廣州 510000)
電信運營商大數(shù)據(jù)變現(xiàn)關(guān)鍵技術(shù)環(huán)節(jié)研究
張丁
(中國聯(lián)合網(wǎng)絡(luò)通信有限公司 廣東省分公司,廣東 廣州 510000)
目前,數(shù)據(jù)資產(chǎn)對各個行業(yè)的商業(yè)價值愈發(fā)重要,引發(fā)了社會各產(chǎn)業(yè)的產(chǎn)業(yè)改革。然而,我國的電信運營商在大數(shù)據(jù)資源上具有較好的發(fā)展優(yōu)勢,若關(guān)鍵技術(shù)變革得當(dāng),將成為國內(nèi)首個通過大數(shù)據(jù)應(yīng)用改革成功的產(chǎn)業(yè)。文章對電信運營商在進行大數(shù)據(jù)變現(xiàn)的關(guān)鍵技術(shù)環(huán)節(jié)進行了分析。
電信運營商;大數(shù)據(jù)變現(xiàn);關(guān)鍵技術(shù)環(huán)節(jié)
在大數(shù)據(jù)時代的環(huán)境下,全球的各行各業(yè)均在向大數(shù)據(jù)應(yīng)用的方向發(fā)展,而作為擁有無數(shù)用戶資料和通信的龐大數(shù)據(jù)資源庫為依托的電信運營商,在這一方面已經(jīng)具有得天獨厚的優(yōu)勢。合理應(yīng)用并做好關(guān)鍵技術(shù)的處理工作,會在很大程度上提高電信運營商在市場上的影響力。電信運營商若能夠?qū)⒆陨砭哂械凝嫶髷?shù)據(jù)充分發(fā)揮作用,一定能夠?qū)﹄娦胚\營商帶來不可估量的商業(yè)價值。
1.1 特征和含義
大數(shù)據(jù)指的是從眾多渠道所收集起來的龐大數(shù)據(jù)信息,其具有極強的時效性。大數(shù)據(jù)所包含的數(shù)據(jù)量非常龐大,計量單位最低從PB開始(1PB=1 000TB),同時具有較高的多樣性,其內(nèi)容可包含音頻、圖片等各種用戶信息,這也給相關(guān)行業(yè)對大數(shù)據(jù)的變現(xiàn)增加了難度,往往大數(shù)據(jù)所包含的內(nèi)容非常多,在有效數(shù)據(jù)的收集方面極為困難。把如此龐大的信息資源進行整合,將其中有效的資料提取出來,是行業(yè)最大程度發(fā)揮大數(shù)據(jù)資源作用的關(guān)鍵所在。
1.2 分析方法
大數(shù)據(jù)的分析方法對于該方面的應(yīng)用價值起到非常重要的影響,往往起到了決定數(shù)據(jù)是否存在利用價值的作用。常見的分析方法有4種,第一種是可視化分析法,這種方法能夠非常顯著地突出大數(shù)據(jù)的實用價值,是最能夠讓客戶接受相關(guān)資料的方法;第二種是數(shù)據(jù)探討法,這種方法的主要分析原理就是通過對數(shù)據(jù)整合,是該方面理論核心的最佳方法;第三種是預(yù)測法,在所有大數(shù)據(jù)分析方法中這種方法是整個應(yīng)用領(lǐng)域中最為有效的分析方法,通過搭建分析系統(tǒng),在把數(shù)據(jù)整合到系統(tǒng)中,從而達到對數(shù)據(jù)的預(yù)測作用。第四種是語義引擎法,由于大數(shù)據(jù)的多樣在運用中需要通過這種方法來達到提料數(shù)據(jù)、進行系統(tǒng)整合的目的。然而這一方法需要較為先進的人工智能技術(shù)才能得以實現(xiàn)??偠灾粢獙崿F(xiàn)大數(shù)據(jù)的應(yīng)用就必須通過各種方法來保證數(shù)據(jù)的質(zhì)量與價值,具體運營情況如圖1所示。
圖1 大數(shù)據(jù)運營圖
2.1 收集與整合
通常情況下的電信經(jīng)營模式都是以處理用戶的費用清單、業(yè)務(wù)訂購等為主要經(jīng)營方面。然后把大批與客戶相關(guān)文件數(shù)據(jù)集中載入到數(shù)據(jù)抽取、轉(zhuǎn)換、裝載(Extract-Transform-Load,ETL)數(shù)據(jù)倉庫,這種方法完全不符合整合接入毫秒級的網(wǎng)絡(luò)側(cè)海量信令與位置數(shù)據(jù)的要求。因此,必須采用更為先進的技術(shù),即以Hadoop為核心搭建兩個端口間互相傳輸數(shù)據(jù)的管理平臺。可以采用X 86平臺,兩個端口間互相傳輸數(shù)據(jù)從而達到支撐ETL和主庫外匯總計算的目的,另外應(yīng)對搭建的Hadoop平臺進行整合優(yōu)化,從而使數(shù)據(jù)能夠快速增長。
在以往BSS,CRM和ERP等采集數(shù)據(jù)平臺的基礎(chǔ)上,實現(xiàn)對OMC/設(shè)備、參數(shù)等數(shù)據(jù)進行集中采集與管理,利用Gn口收集數(shù)據(jù)相關(guān)整合成xDR,另外對音頻、位置采用A口或MC口信令得以實現(xiàn)。
2.2 存儲與處理
在以往使用的電信架構(gòu)中,業(yè)務(wù)管理點(Service Management Point,SMP)數(shù)據(jù)庫與大規(guī)模并行處理系統(tǒng)(Massively Parallel Processing,MPP)數(shù)據(jù)庫等電信構(gòu)架具有時效高、成本低、使用性能高等許多優(yōu)點,其能夠滿足多數(shù)業(yè)務(wù)的需求。然而與數(shù)據(jù)模型相關(guān)業(yè)務(wù)不可直接應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)的問題導(dǎo)致這些構(gòu)架不適合在大數(shù)據(jù)環(huán)境使用。另外,SMP數(shù)據(jù)庫需要較高的成本與內(nèi)有良好的線性擴展能力等原因已經(jīng)很少使用數(shù)據(jù)倉庫中。MPP數(shù)據(jù)庫則可與Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)混搭組合使用,通過非關(guān)系數(shù)據(jù)編程使用靈活與具有較強的分布式系統(tǒng)擴展的特點來掩蓋成本造價高的不足,進行混合組合搭建。而NoSQL數(shù)據(jù)庫則直接放棄了與數(shù)據(jù)庫中一些繁瑣的關(guān)聯(lián)步驟、事務(wù)處理等類似的功能,只保留了簡便的鍵值來進行對數(shù)據(jù)的存儲工作,從而達到擴展與高數(shù)據(jù)處理的性能。通過加入NoSQL技術(shù),將所有文字類數(shù)據(jù)全部收集在RDBS里,用于閱讀的數(shù)據(jù)統(tǒng)一歸類到NoSQL數(shù)據(jù)庫內(nèi),而總數(shù)據(jù)庫主要工作室寫操作,其他數(shù)據(jù)庫用于讀操作,采用寫讀分開管理的方式能夠有效地提高大數(shù)據(jù)處理能力。
2.3 實時數(shù)據(jù)處理
在進行實時數(shù)據(jù)處理過程中所采用的互聯(lián)網(wǎng)營銷特別強調(diào)因先進行分析用戶的網(wǎng)絡(luò)行為數(shù)據(jù)而后進行相關(guān)營銷。相關(guān)部門首先在收集、保存和處理環(huán)節(jié)上通過采用分布式技術(shù)降低時延外,另外還引入相關(guān)網(wǎng)絡(luò)技術(shù)與大容量數(shù)據(jù)庫,從而達到加快處理速度與緩存速度的目的。S to RM是一種簡單、高效、可靠的開源分布式實時計算系統(tǒng),能夠進行大量數(shù)據(jù)的出料。Spark Streaming是在Spark的基礎(chǔ)上研發(fā)的開源流處理器,通過采用批量管理的方式進行一部分數(shù)據(jù)的處理。以上兩種計算處理技術(shù)能用在營銷、推廣、服務(wù)以及其他相關(guān)管理方面。內(nèi)存數(shù)據(jù)庫主要工作原理是通過把數(shù)據(jù)載入到RAM中完成計算與查詢,全面發(fā)揮數(shù)據(jù)庫的CPU性能,讓客戶使用起來更方便。
目前,我國使用手機的人數(shù)已超過12億,另外有3億的人在使用不可移動電話,2億人在使用寬帶??茖W(xué)技術(shù)的不斷進步,進一步推進了互聯(lián)網(wǎng)的發(fā)展,這也使得電信運營商網(wǎng)絡(luò)數(shù)據(jù)的不斷增加。并且經(jīng)過多年的累積,其信息、資料的價值得到提高,比移動互聯(lián)網(wǎng)的數(shù)據(jù)、信息更具有存在意義。在信息化發(fā)達的今天,大量的網(wǎng)絡(luò)信息、資料是運營商的巨大財富。與其他網(wǎng)絡(luò)相比,電信運營商大數(shù)據(jù)運用的優(yōu)勢較大。例如:人們在辦理電信網(wǎng)絡(luò)時,需保留其身份信息,而人們在使用電信網(wǎng)絡(luò)時,其虛擬信息會通過智能化管道得以保存下來。這就使得運營商在獲取人們真實的信息、資料的同時,還獲有其虛擬資料。運營商通過這些數(shù)據(jù)資料,能充分了解人們的網(wǎng)絡(luò)需求,從而設(shè)置出人們需要的電信互聯(lián)網(wǎng)功能。
電信運營商的大數(shù)據(jù)運用優(yōu)點主要體現(xiàn)在以下幾個方面:(1)獲取的資料全面具體。使用電信網(wǎng)絡(luò)的人非常多,這就確保了數(shù)據(jù)、資料的廣闊與多樣。電信運營商不僅擁有人們的真實資料、信息、數(shù)據(jù),并且能掌握人們的使用情況、使用地點等信息。其數(shù)據(jù)十分龐大。(2)獲取的資料、數(shù)據(jù)可多次使用。網(wǎng)絡(luò)通信的好處是能長久地保存數(shù)據(jù),并在以后需要的時候再拿出來使用。(3)運營商對數(shù)據(jù)的運用準(zhǔn)確到位。運營商通過這些數(shù)據(jù)資料,能充分了解人們的網(wǎng)絡(luò)需求,從而設(shè)置出人們需要的電信互聯(lián)網(wǎng)功能。
隨著時代的不斷發(fā)展,大數(shù)據(jù)應(yīng)用必將成為時代發(fā)展的主流,電信運營商對于大數(shù)據(jù)運用具有先天優(yōu)勢,對于電信運營商而言,這必將是一個無比重要的機會,能夠掀起電信行業(yè)發(fā)展的又一波高潮。若電信運營商能夠首先把握機會,完成對大數(shù)據(jù)的相關(guān)改革,就有可能在市場競爭中起到主導(dǎo)作用。通過大數(shù)據(jù)來對電信運營商進行相關(guān)改革建設(shè)已經(jīng)成為未來其發(fā)展創(chuàng)新的主要手段。另外,對于大數(shù)據(jù)的相關(guān)處理是完成大數(shù)據(jù)變現(xiàn)的重中之重,在進行資產(chǎn)變現(xiàn)過程之中仍有許多問題需要解決。比如保障數(shù)據(jù)安全、用戶資料加密識別等問題。當(dāng)前仍然沒有一項單獨的技術(shù)能夠滿足電信運營商完成所有數(shù)據(jù)的整合、處理與存儲等相關(guān)需求。然而將Hadoop,MPP,流計算,NoSQL和內(nèi)存數(shù)據(jù)庫等許多先進技術(shù)在大數(shù)據(jù)環(huán)境下相結(jié)合從而達到對大數(shù)據(jù)的整理是當(dāng)前主要的應(yīng)用手段,文章針對這些方面作出了合理介紹,以提供參考。
[1]黃勇軍,馮明,丁圣勇,等,電信運營商大數(shù)據(jù)發(fā)展策略探討[J].電信科學(xué),2013(23):6-11.
[2]王珊,王會舉,覃雄派,等.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計算機學(xué)報,2011(10):46-48.
[3]沈拓.電信運營商的互聯(lián)網(wǎng)戰(zhàn)略[J]中國新通信,2011(16):35-40.
Study on the key technology segment of telecom operators' big data realization
Zhang Ding
(Guangdong Branch of China United Network Communications Corporation, Guangzhou 510000, China)
At present, the commercial value of data assets is becoming increasingly important to various industries, which has led to the industrial reform of various social industries. However, China's telecom operators have better development advantage in large data resources, if the key technology changes properly, it will be the frst sucessful domestic industry through reforming big data application. The key technology segment of big data realization of telecom operators is analyzed in this paper.
telecom operators; big data realization; key technology segment
張丁(1977— ),男,山東菏澤,碩士,中級工程師;研究方向:通信,大數(shù)據(jù)。