大數(shù)據(jù)環(huán)境下電信數(shù)據(jù)服務(wù)能力開放研究

劉 春，鄒海鋒，向 勇

（1.中國電信股份有限公司廣東研究院 廣州510630；2.深圳市遠(yuǎn)行科技有限公司 深圳518000）

1 引言

隨著企業(yè)信息化建設(shè)的不斷深化、社會化網(wǎng)絡(luò)的興起以及移動互聯(lián)網(wǎng)等新一代信息技術(shù)的廣泛應(yīng)用，全球數(shù)據(jù)規(guī)模及其存儲容量正在迅速增長，數(shù)據(jù)的類型也變得復(fù)雜多樣。海量多樣化的數(shù)據(jù)對信息的有效存儲、快速讀取、檢索提出了挑戰(zhàn)，且其中所蘊(yùn)藏的巨大商業(yè)價值也引發(fā)了對數(shù)據(jù)處理、分析的巨大需求。因此，大數(shù)據(jù)的概念應(yīng)運(yùn)而生，引用維基百科的定義，“大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”。

當(dāng)前，大數(shù)據(jù)已逐漸滲透到各個行業(yè)和業(yè)務(wù)職能領(lǐng)域，以利用數(shù)據(jù)價值為核心的商業(yè)服務(wù)正在不斷涌現(xiàn)，如數(shù)據(jù)資源服務(wù)、數(shù)據(jù)分析服務(wù)、數(shù)據(jù)開放平臺服務(wù)等，大數(shù)據(jù)將成為重要的生產(chǎn)因素，它的演進(jìn)將與生產(chǎn)力的提升有直接關(guān)系。

對電信運(yùn)營商而言，其業(yè)務(wù)特性使它具備了較強(qiáng)的大數(shù)據(jù)特征。然而，運(yùn)營商業(yè)務(wù)數(shù)據(jù)在快速積聚的同時，并沒有從傳送的大量上層應(yīng)用內(nèi)容中獲得更多收益，卻面臨收入增速放緩的困境。要真正扭轉(zhuǎn)這一局面，運(yùn)營商必須轉(zhuǎn)變過去簡單粗放的網(wǎng)絡(luò)運(yùn)營方式，順應(yīng)移動互聯(lián)網(wǎng)“開放、共享、合作、高效”等特征，逐步向綜合服務(wù)提供商轉(zhuǎn)變，向集約化運(yùn)營模式轉(zhuǎn)變。在大數(shù)據(jù)時代，數(shù)據(jù)服務(wù)能力開放是這一轉(zhuǎn)變的有力推手。

業(yè)務(wù)數(shù)據(jù)是運(yùn)營商的核心資源，結(jié)合大數(shù)據(jù)技術(shù)，電信運(yùn)營商開放自身的數(shù)據(jù)服務(wù)能力，為外部合作伙伴提供精確的用戶行為收集與分析、提供精準(zhǔn)廣告投放推薦能力等數(shù)據(jù)分析服務(wù)，是強(qiáng)化流量經(jīng)營、開展規(guī)?；畔⒎?wù)運(yùn)營的有效手段。這將有助于實(shí)現(xiàn)向綜合服務(wù)提供商、集約化運(yùn)營的有效轉(zhuǎn)變，增加管道的價值和收入，進(jìn)一步抓住未來廣闊的信息化市場，擺脫被邊緣化和底層化的危機(jī)，獲取更大的商業(yè)價值。

2 業(yè)務(wù)需求

2.1 業(yè)務(wù)應(yīng)用場景

在電信行業(yè)，利用數(shù)據(jù)的核心價值，實(shí)現(xiàn)數(shù)據(jù)服務(wù)能力開放，可以滿足以下多種業(yè)務(wù)應(yīng)用場景要求。

·實(shí)時營銷：實(shí)時捕捉用戶通信行為，通過用戶實(shí)時信令信息與營銷目標(biāo)用戶場景，分別設(shè)置匹配信息向用戶推送營銷內(nèi)容，達(dá)到在適當(dāng)時間，以適當(dāng)方式，向適當(dāng)用戶推廣適當(dāng)業(yè)務(wù)的目的。

·手機(jī)定向廣告推薦：通過與后向商家合作，向用戶行為符合后向商家要求（如用戶到達(dá)指定地點(diǎn)）的用戶推送相關(guān)合作商家的廣告信息，以賺取后向商家的廣告費(fèi)，豐富電信運(yùn)營商的收入模式。

·用戶點(diǎn)擊流分析：對用戶的上網(wǎng)行為進(jìn)行采集與存儲，使用戶上網(wǎng)行為信息變得可查詢、可統(tǒng)計(jì)，統(tǒng)計(jì)分析的結(jié)果可以指導(dǎo)相關(guān)網(wǎng)頁的頁面布局、產(chǎn)品開發(fā)等。

·信息推送：用戶行為、興趣特征、位置等綜合分析，為合作伙伴提供有針對性的信息推送服務(wù)，合作伙伴可以基于這些信息，開發(fā)第三方應(yīng)用或進(jìn)一步的數(shù)據(jù)深加工服務(wù)（如店址選擇）。

·市場調(diào)研：通過用戶行為了解市場動態(tài)，分析市場結(jié)構(gòu)，為合作伙伴提供市場結(jié)構(gòu)、用戶多維特征、競爭情況等分析。

可見，如何在有效保護(hù)用戶信息隱私的前提下，高效、及時、便捷地向自營單位、合作伙伴等外部對象提供所需的數(shù)據(jù)是以上業(yè)務(wù)應(yīng)用的關(guān)鍵。大數(shù)據(jù)環(huán)境下的數(shù)據(jù)服務(wù)能力開放，即運(yùn)營商通過定期或?qū)崟r采集海量的運(yùn)營數(shù)據(jù)，在異構(gòu)多樣的數(shù)據(jù)中進(jìn)行處理和分析，以分析結(jié)果的形式呈現(xiàn)，以集約化的能力開放平臺向外部提供各種數(shù)據(jù)服務(wù)。

2.2 存在的問題

運(yùn)營商在實(shí)現(xiàn)集約化的數(shù)據(jù)服務(wù)能力開放時，將會存在較多的挑戰(zhàn)和困難，有如下幾個方面。

·技術(shù)要求高：移動互聯(lián)網(wǎng)帶來的海量數(shù)據(jù)對處理技術(shù)提出更高的要求。

·整體分析難：業(yè)務(wù)平臺割裂，數(shù)據(jù)散落地分布在各系統(tǒng)，難以支持整體分析，也不利于形成統(tǒng)一的客戶行為視圖。

·能力分散：用戶獲取相關(guān)數(shù)據(jù)服務(wù)可能需要通過多個渠道或平臺申請相關(guān)的數(shù)據(jù)服務(wù)能力，沒有統(tǒng)一的服務(wù)能力開放平臺，造成服務(wù)能力分散。

·資源浪費(fèi)：分散的服務(wù)能力，自然需要分散的計(jì)算、存儲、網(wǎng)絡(luò)資源，重復(fù)的服務(wù)能力開放必然造成資源的多倍使用。

電信運(yùn)營商需要分析內(nèi)外部數(shù)據(jù)集約化運(yùn)營的共享需求和業(yè)務(wù)應(yīng)用，以便于提供高度共享和集約化的數(shù)據(jù)服務(wù)能力。

2.3 總體需求

開放能力、創(chuàng)新模式并建立良好的合作機(jī)制，是電信運(yùn)營商形成具有產(chǎn)業(yè)影響力的互聯(lián)網(wǎng)生態(tài)系統(tǒng)的必經(jīng)之路。數(shù)據(jù)服務(wù)能力開放平臺的定位為提升運(yùn)營商管道價值和提供綜合信息服務(wù)的主體設(shè)施，是深化互聯(lián)網(wǎng)流量經(jīng)營的主體工具，是實(shí)現(xiàn)數(shù)據(jù)服務(wù)能力開放的主體平臺。

·建立基于橫向業(yè)務(wù)網(wǎng)絡(luò)體系架構(gòu)的信息匯聚平臺，通過對網(wǎng)絡(luò)、應(yīng)用客戶端、業(yè)務(wù)平臺和IT系統(tǒng)數(shù)據(jù)的采集，獲取業(yè)務(wù)行為信息，采用大數(shù)據(jù)技術(shù)構(gòu)建統(tǒng)一的用戶行為信息數(shù)據(jù)庫；采用建模技術(shù)實(shí)現(xiàn)數(shù)據(jù)挖掘和行為分析，為運(yùn)營商的自營單位（如基地業(yè)務(wù)平臺）或合作伙伴提供個性化數(shù)據(jù)分析能力，為精準(zhǔn)營銷和精準(zhǔn)廣告投放服務(wù)提供數(shù)據(jù)支持。

·實(shí)現(xiàn)數(shù)據(jù)分析應(yīng)用不同層次和權(quán)限的開放，如數(shù)據(jù)倉庫、數(shù)據(jù)集市、分析模型、分析應(yīng)用等；提供面向自營業(yè)務(wù)、第三方應(yīng)用和合作伙伴等不同權(quán)限的能力開放；此外，考慮用戶數(shù)據(jù)在傳輸、存儲等方面的安全保障，并避免用戶隱私保護(hù)在法律、技術(shù)上出現(xiàn)重大問題。

·提供簡單易用的開放接口，封裝成標(biāo)準(zhǔn)統(tǒng)一的能力開放API供第三方調(diào)用，提供簡單易用的文檔說明，降低第三方開發(fā)者開發(fā)門檻；滿足“一站式”開發(fā)、測試、運(yùn)營的服務(wù)需求。

·集約化的平臺運(yùn)營，按照一體化運(yùn)營模式進(jìn)行平臺建設(shè)和流程優(yōu)化，著重加強(qiáng)通信服務(wù)、電子渠道、用戶行為分析等領(lǐng)域的全網(wǎng)集約化運(yùn)營能力。

3 數(shù)據(jù)服務(wù)內(nèi)容

數(shù)據(jù)服務(wù)能力以API形式提供給外部，首先要明確數(shù)據(jù)服務(wù)的形態(tài)，即通過數(shù)據(jù)服務(wù)開放平臺可以提供的數(shù)據(jù)類別、形式等。本節(jié)通過分析業(yè)界數(shù)據(jù)開放的案例，結(jié)合電信行業(yè)特征，明確數(shù)據(jù)服務(wù)的內(nèi)容。

3.1 業(yè)界數(shù)據(jù)服務(wù)開放

數(shù)據(jù)服務(wù)開放已經(jīng)開始覆蓋互聯(lián)網(wǎng)企業(yè)、政府行業(yè)，其中較為主流的兩個案例為美國的政府服務(wù)數(shù)據(jù)開放以及國內(nèi)淘寶網(wǎng)在電商行業(yè)中的數(shù)據(jù)開放。

（1）美國政府“一站式”數(shù)據(jù)下載

美國政府為了解決公眾對政府服務(wù)信息查找困難、不便的問題，于2009年5月宣布實(shí)施“開放政府計(jì)劃”，提出利用開放的網(wǎng)絡(luò)平臺公開政府信息、工作程序和決策過程，開通了“一站式”政府?dāng)?shù)據(jù)下載網(wǎng)站——Data.gov[1]，要點(diǎn)如下。

·以各種標(biāo)準(zhǔn)數(shù)據(jù)接口提供易于發(fā)現(xiàn)、訪問和理解的數(shù)據(jù)，方便用戶下載，改善聯(lián)邦數(shù)據(jù)利用率。

·整合現(xiàn)有1 100多個數(shù)據(jù)中心，削減到100～200個，實(shí)現(xiàn)數(shù)據(jù)集中和節(jié)能減耗，并制定完備的法律體系保障信息的公開與獲取。

·采集與發(fā)布的政府?dāng)?shù)據(jù)主要有兩類：原始數(shù)據(jù)集，涵蓋美國的人口特征統(tǒng)計(jì)數(shù)據(jù)、GIS信息、環(huán)保、教育、能源、地域、法令等相關(guān)主題的政府信息；綜合數(shù)據(jù)集，通過原始數(shù)據(jù)與地理信息的疊加，生成地理空間信息服務(wù)和綜合地理數(shù)據(jù)。

·提供標(biāo)準(zhǔn)的API，方便第三方機(jī)構(gòu)開發(fā)特色應(yīng)用，如福布斯雜志利用人口流動數(shù)據(jù)開發(fā)人口遷移的應(yīng)用，方便查看地點(diǎn)間的人口遷出和遷入情況，為企業(yè)提供決策參考。

（2）淘寶數(shù)據(jù)開放

淘寶網(wǎng)“大淘寶”戰(zhàn)略中，生態(tài)商業(yè)系統(tǒng)的核心競爭能力是利用互聯(lián)網(wǎng)信息技術(shù)累計(jì)的數(shù)據(jù)提高自身開展電子商務(wù)業(yè)務(wù)的能力，即解讀互聯(lián)網(wǎng)數(shù)據(jù)能力和對快速市場的應(yīng)急能力，通過數(shù)據(jù)開放提高其在電子商務(wù)業(yè)務(wù)中的核心競爭能力，從以下3個層面進(jìn)行開放：

·涉及電子商務(wù)行業(yè)的宏觀數(shù)據(jù)以及讓消費(fèi)者了解最新消費(fèi)風(fēng)向標(biāo)的數(shù)據(jù)，淘寶實(shí)行免費(fèi)開放策略；

·涉及各個行業(yè)市場情況、消費(fèi)者行為研究等的商業(yè)數(shù)據(jù)，淘寶通過商業(yè)方式開放；

·涉及消費(fèi)者個人隱私、企業(yè)商業(yè)隱私的數(shù)據(jù)，淘寶絕對保護(hù)，防止任何泄漏。

淘寶數(shù)據(jù)的開放，將推進(jìn)企業(yè)提高開展電子商務(wù)活動的核心競爭能力，有助于促進(jìn)整個電子商務(wù)生態(tài)鏈中各個物種的成長。

3.2 電信運(yùn)營商數(shù)據(jù)服務(wù)內(nèi)容

3.2.1 數(shù)據(jù)服務(wù)開放考慮因素

總結(jié)以上兩個案例，電信運(yùn)營商實(shí)現(xiàn)數(shù)據(jù)服務(wù)能力開放，需要考慮表1中的4種因素。

表1 數(shù)據(jù)服務(wù)開發(fā)的考慮因素

3.2.2 數(shù)據(jù)來源

在明確數(shù)據(jù)服務(wù)內(nèi)容之前，首先總結(jié)一下運(yùn)營商的大數(shù)據(jù)來源，主要分為以下3個方面。

（1）用戶提供的信息

包括用戶的許可和偏好所得到的數(shù)據(jù)、用戶與運(yùn)營商的合同數(shù)據(jù)、用戶社會網(wǎng)絡(luò)數(shù)據(jù)、合同或用戶注冊中的直接內(nèi)容、對用戶的調(diào)研數(shù)據(jù)和用戶使用的電信產(chǎn)品。

（2）直接獲取的數(shù)據(jù)

通過用戶行為分析（使用的各類介質(zhì)或傳感器）可直接獲得的數(shù)據(jù)，包括所使用的物理終端連接狀態(tài)、終端類型、位置信息、用戶網(wǎng)絡(luò)流量數(shù)據(jù)、用戶點(diǎn)擊廣告和推薦的數(shù)據(jù)、用戶購買/下載的習(xí)慣、用戶網(wǎng)站瀏覽行為、電視觀看習(xí)慣以及CDR（call detail record，由電話交換機(jī)產(chǎn)生的計(jì)算機(jī)記錄，包含經(jīng)過的每個電話呼叫的詳細(xì)信息）。

（3）推理分析挖掘數(shù)據(jù)

除了上述主動獲取的數(shù)據(jù)之外，還需通過推理分析挖掘?qū)\(yùn)營商有用的數(shù)據(jù)，包括對用戶離網(wǎng)的風(fēng)險進(jìn)行分析、對用戶社交圈數(shù)據(jù)進(jìn)行分析和挖掘等。

3.2.3 數(shù)據(jù)服務(wù)內(nèi)容

通過對業(yè)界數(shù)據(jù)服務(wù)的分析，結(jié)合電信運(yùn)營商的業(yè)務(wù)需求和數(shù)據(jù)來源，總結(jié)出以下數(shù)據(jù)服務(wù)內(nèi)容。

（1）基礎(chǔ)數(shù)據(jù)查詢能力服務(wù)

提供對電信業(yè)務(wù)數(shù)據(jù)的高性能查詢服務(wù)，實(shí)現(xiàn)對客戶基礎(chǔ)信息、位置信息、訂購信息、終端信息、用戶行為等數(shù)據(jù)的提供。

（2）數(shù)據(jù)分析服務(wù)能力服務(wù)

提供對外數(shù)據(jù)分析能力服務(wù)，為外部提供數(shù)據(jù)分析結(jié)果，如用戶的應(yīng)用偏好（微博、游戲、閱讀等）、消費(fèi)習(xí)慣（歷史消費(fèi)情況、位置出現(xiàn)規(guī)律、付費(fèi)習(xí)慣等）、行為偏好（如軍事、旅游等）以及個性化信息推送（利用電信業(yè)務(wù)的綜合行為分析結(jié)果，提供個性化推薦結(jié)果）。

（3）數(shù)據(jù)運(yùn)算能力服務(wù)

隨著業(yè)務(wù)需求的不斷多樣化以及技術(shù)架構(gòu)的進(jìn)步，探索對外提供大數(shù)據(jù)運(yùn)算服務(wù)，分為以下兩方面。

·數(shù)據(jù)分析挖掘能力：通過數(shù)據(jù)隔離、沙盒管控等措施，為合作伙伴提供快速的分析挖掘能力。

·實(shí)時數(shù)據(jù)探索服務(wù)開放：利用電信的大數(shù)據(jù)綜合分析結(jié)果，為合作伙伴提供實(shí)時數(shù)據(jù)探索分析服務(wù)。

4 能力開放平臺架構(gòu)研究

實(shí)現(xiàn)面向大數(shù)據(jù)的數(shù)據(jù)服務(wù)能力開放，需要建立基于橫向業(yè)務(wù)網(wǎng)絡(luò)體系架構(gòu)的信息匯聚平臺，以下對平臺架構(gòu)進(jìn)行研究。

4.1 平臺建設(shè)思路

平臺建設(shè)思路介紹如下。

·綜合數(shù)據(jù)平臺的提供者，拓展電信運(yùn)營商的業(yè)務(wù)范圍：綜合企業(yè)內(nèi)外部數(shù)據(jù)資源，對外開放數(shù)據(jù)服務(wù)，幫助合作伙伴提升精確營銷能力；為行業(yè)客戶提供大數(shù)據(jù)的解決方案和數(shù)據(jù)分析服務(wù)。

·支撐商業(yè)模式創(chuàng)新，通過對外的數(shù)據(jù)服務(wù)支撐，更好地聚集價值鏈中的優(yōu)秀合作伙伴；面向后向客戶收費(fèi)，進(jìn)行收入分成或內(nèi)容收費(fèi)。

·標(biāo)準(zhǔn)化操作，構(gòu)建“表達(dá)標(biāo)準(zhǔn)化、實(shí)現(xiàn)模塊化”的能力封裝與開放體系。

4.2 平臺架構(gòu)

能力開放是對底層復(fù)雜的業(yè)務(wù)、技術(shù)、流程實(shí)現(xiàn)進(jìn)行抽象和封裝，對外提供開發(fā)運(yùn)營環(huán)境[2]。結(jié)合電信運(yùn)營商的業(yè)務(wù)需求以及IT建設(shè)現(xiàn)狀，提出數(shù)據(jù)能力開放平臺架構(gòu)，如圖1所示。

圖1 數(shù)據(jù)服務(wù)能力開放平臺架構(gòu)

（1）數(shù)據(jù)源

數(shù)據(jù)源主要包括IT應(yīng)用系統(tǒng)的業(yè)務(wù)數(shù)據(jù)（如CRM系統(tǒng)、計(jì)費(fèi)系統(tǒng)、網(wǎng)管系統(tǒng)、數(shù)據(jù)倉庫等）、電信移動終端數(shù)據(jù)（如連接狀態(tài)、終端類型、位置信息等）、網(wǎng)絡(luò)通信協(xié)議和數(shù)據(jù)（如DPI、NetFlow、網(wǎng)絡(luò)及拓?fù)浣Y(jié)構(gòu)、移動網(wǎng)CDR等）、業(yè)務(wù)平臺數(shù)據(jù)（如業(yè)務(wù)訂購信息、瀏覽點(diǎn)擊行為等）。

（2）數(shù)據(jù)采集

數(shù)據(jù)采集層需要支持關(guān)系數(shù)據(jù)庫、日志數(shù)據(jù)、文件數(shù)據(jù)、XML文檔數(shù)據(jù)等數(shù)據(jù)源的采集，滿足聯(lián)機(jī)/脫機(jī)、實(shí)時/定時/周期性等采集方式要求；采用任務(wù)驅(qū)動的采集機(jī)制，根據(jù)采集任務(wù)的觸發(fā)條件和優(yōu)先級等，加載、激活和協(xié)調(diào)采集任務(wù)的運(yùn)行，要求所采用的方式對現(xiàn)有系統(tǒng)的影響最小。

（3）數(shù)據(jù)存儲

從所采集的數(shù)據(jù)特征可知，其數(shù)據(jù)結(jié)構(gòu)復(fù)雜多樣且體量巨大，需要改變目前以結(jié)構(gòu)化為主的單一存儲方案；要求滿足不同的存儲要求，支持SMP、MPP、RDBMS等多種架構(gòu)的數(shù)據(jù)庫以及內(nèi)存數(shù)據(jù)庫、分布式緩存等技術(shù)能力。采用如下策略實(shí)現(xiàn)：對非結(jié)構(gòu)化數(shù)據(jù)，采用分布式文件系統(tǒng)進(jìn)行存儲；對結(jié)構(gòu)松散、無模式的半結(jié)構(gòu)化數(shù)據(jù)，采用面向文檔的分布式key/value存儲引擎進(jìn)行存儲；對海量的結(jié)構(gòu)化數(shù)據(jù)，采用shared-nothing分布式并行數(shù)據(jù)庫系統(tǒng)進(jìn)行存儲；支持行、列混合存儲；支持存儲的在線、線性擴(kuò)展；構(gòu)建各存儲引擎之間的連接器，使得非結(jié)構(gòu)化數(shù)據(jù)在處理成結(jié)構(gòu)化信息后，能方便地和分布式數(shù)據(jù)庫中的關(guān)系型數(shù)據(jù)快速融通，保證大數(shù)據(jù)分析的敏捷性。

（4）數(shù)據(jù)處理

為了滿足海量數(shù)據(jù)處理以及響應(yīng)時效高的要求，需要具備分布式批處理和實(shí)時流處理的計(jì)算能力。

在分布式批處理層面，需要支持海量數(shù)據(jù)的并行化處理；自動處理節(jié)點(diǎn)/任務(wù)的故障檢測和恢復(fù)；處理節(jié)點(diǎn)可以靈活加入和退出，自動感知節(jié)點(diǎn)狀態(tài)并進(jìn)行處理；計(jì)算任務(wù)靈活調(diào)度，從而提升執(zhí)行性能。

在實(shí)時流處理方面，支持?jǐn)?shù)據(jù)的連續(xù)注入、連續(xù)分析，實(shí)時對流數(shù)據(jù)進(jìn)行分布式并行分析計(jì)算（達(dá)到毫秒/秒級）；以極高性能分析處理結(jié)構(gòu)化和非結(jié)構(gòu)化動態(tài)數(shù)據(jù)流（如關(guān)系、文本、圖片、視頻等）；支持事件驅(qū)動，捕獲實(shí)時事件，觸發(fā)相應(yīng)的處理流程；具備高速數(shù)據(jù)傳輸、時延極低、速率極高等特性。

（5）數(shù)據(jù)分析

數(shù)據(jù)分析層主要對經(jīng)過存儲和處理的數(shù)據(jù)進(jìn)行OLAP分析、搜索引擎、專題分析、數(shù)據(jù)挖掘、標(biāo)簽分析等操作。海量數(shù)據(jù)使得計(jì)算速度難以保證，數(shù)據(jù)結(jié)構(gòu)變化導(dǎo)致計(jì)算模式變化。在實(shí)現(xiàn)以上數(shù)據(jù)分析時，需要融合MapReduce、流計(jì)算等先進(jìn)技術(shù)思路，要求支持非結(jié)構(gòu)化數(shù)據(jù)分析（如文本分析和挖掘技術(shù)、視頻分析技術(shù)、網(wǎng)絡(luò)爬蟲關(guān)鍵字分析技術(shù)、客戶標(biāo)簽化處理等）；支持非結(jié)構(gòu)化數(shù)據(jù)向結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換；實(shí)現(xiàn)基于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)混合環(huán)境下的數(shù)據(jù)分析處理；具備分布式并發(fā)的大規(guī)模計(jì)算能力；提供數(shù)據(jù)分析模型管理和分析應(yīng)用創(chuàng)建能力。

（6）數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)層將屏蔽底層針對各類數(shù)據(jù)服務(wù)需求的數(shù)據(jù)處理過程，將加工后的數(shù)據(jù)、應(yīng)用等通過集中的數(shù)據(jù)/服務(wù)提供功能，為外部合作伙伴提供數(shù)據(jù)服務(wù)能力，簡化數(shù)據(jù)共享邏輯，集約化數(shù)據(jù)分析能力。

數(shù)據(jù)服務(wù)能力的對外提供需要滿足敏捷、安全可靠、能力復(fù)用的總體目標(biāo)。功能層面上，要求滿足共享需求的數(shù)據(jù)資源以服務(wù)的方式暴露到平臺上，通過數(shù)據(jù)服務(wù)定義、數(shù)據(jù)服務(wù)目錄、服務(wù)路由、傳輸加密、在線聯(lián)調(diào)測試、流量控制等功能[3],為接入的外部平臺提供數(shù)據(jù)服務(wù)，同時也實(shí)現(xiàn)對服務(wù)從需求提出→開發(fā)→發(fā)布→部署上線→維護(hù)更新→下線全過程的服務(wù)生命周期的管理；技術(shù)層面上，滿足異步、消息實(shí)時響應(yīng)、發(fā)布訂閱、并行處理、松耦合等核心技術(shù)需求。

（7）數(shù)據(jù)門戶

數(shù)據(jù)門戶是開放平臺的數(shù)據(jù)應(yīng)用統(tǒng)一入口，面向不同角色的使用者，可以實(shí)現(xiàn)數(shù)據(jù)服務(wù)內(nèi)容的搜索和推薦，能夠通過短信、郵件等方式把關(guān)鍵業(yè)務(wù)指標(biāo)、系統(tǒng)分析應(yīng)用推送給目標(biāo)用戶。

（8）基礎(chǔ)管理

基礎(chǔ)管理主要包含安全管理、元數(shù)據(jù)管理和系統(tǒng)管理等功能。元數(shù)據(jù)管理貫穿于大數(shù)據(jù)分析子平臺的構(gòu)建、運(yùn)行和維護(hù)整個生命周期；安全管理是數(shù)據(jù)管理工作的重要組成部分，包括傳輸安全、存儲安全和訪問控制；系統(tǒng)管理提供對認(rèn)證、權(quán)限、用戶等基礎(chǔ)信息的管理。

4.3 能力開放機(jī)制

從數(shù)據(jù)服務(wù)能力開放的業(yè)務(wù)特性看，數(shù)據(jù)服務(wù)主要提供一對多的服務(wù)共享方式，要滿足高性能、高實(shí)時性的服務(wù)并行處理要求，且要與外部平臺實(shí)現(xiàn)充分的解耦。業(yè)界能力開放平臺在提供服務(wù)時，主要采用傳統(tǒng)的SOA思路進(jìn)行構(gòu)建，此種方式存在以下幾個方面的問題。

·實(shí)時性：主要基于消息的同步模式機(jī)制，其流程處理方式為順序、線性，即只有前面步驟處理完成才能發(fā)起后續(xù)步驟和服務(wù)調(diào)用，這影響到服務(wù)調(diào)用的性能和時效。

·服務(wù)效率：針對一對多的服務(wù)共享場景，會開發(fā)多個服務(wù)且增加路由服務(wù)，服務(wù)提供方必須要知道所有消費(fèi)方，并對所有消費(fèi)方進(jìn)行服務(wù)調(diào)用和數(shù)據(jù)分發(fā)，這無疑給平臺增加了性能壓力。

·耦合度：企業(yè)服務(wù)總線能起到松耦合的作用，但其建設(shè)過程是漸進(jìn)的。當(dāng)前的消息機(jī)制多采用同步模式，當(dāng)服務(wù)消費(fèi)/提供者兩方中的任何一方存在系統(tǒng)異常時，都將直接導(dǎo)致另一方的功能系統(tǒng)和服務(wù)調(diào)用失敗，業(yè)務(wù)系統(tǒng)間沒有徹底實(shí)現(xiàn)解耦。

SOA能把線性、可預(yù)測內(nèi)容的服務(wù)連接起來，但缺乏對動態(tài)實(shí)時業(yè)務(wù)做出應(yīng)答的能力。數(shù)據(jù)服務(wù)提供需要滿足異步、消息實(shí)時響應(yīng)、發(fā)布訂閱、并行處理、松耦合等核心技術(shù)需求，而通過事件驅(qū)動架構(gòu)（event driven architecture，EDA）模式建立的系統(tǒng)可對動態(tài)實(shí)時業(yè)務(wù)做出有效的處理，允許復(fù)式、不可預(yù)測、異步的事件并行地發(fā)生和在單一的活動中被觸發(fā)，并且由于服務(wù)可以像事件一樣被觸發(fā)，因此EDA實(shí)際上是SOA的一種有效補(bǔ)充[4]。

經(jīng)過以上分析，本文所述平臺的數(shù)據(jù)服務(wù)能力采用EDA服務(wù)共享機(jī)制，具備以下特性。

·異步：支持異步活動，服務(wù)發(fā)布后不必再關(guān)心消費(fèi)方是否能收到響應(yīng)，也不必在源和目的端之間維持一條活動的鏈路。

·發(fā)布/訂閱：支持一對多或多對多的服務(wù)交互，在平臺中發(fā)布一個關(guān)于事件的信息到網(wǎng)絡(luò)，許多其他已經(jīng)訂閱和授權(quán)的系統(tǒng)可以收到消息并做出相應(yīng)的動作。

·解耦：實(shí)現(xiàn)與外部系統(tǒng)的充分解耦，服務(wù)在兩個系統(tǒng)間交互時不需要知道對方的詳細(xì)信息。

在實(shí)現(xiàn)以上服務(wù)機(jī)制時，主要滿足以下功能要求。

·異步消息支撐：平臺架構(gòu)需要保證當(dāng)外部服務(wù)請求事件發(fā)生時，能傳送異步消息。采用JMS實(shí)現(xiàn)消息的創(chuàng)建、發(fā)送、接收和讀取，通過JMS接口，消息生產(chǎn)者和消費(fèi)者能夠以點(diǎn)對點(diǎn)或發(fā)布/訂閱模型發(fā)送和接收消息。

·事件管理：將服務(wù)提供方/消費(fèi)方所發(fā)生的工作定

義為事件，平臺的體系結(jié)構(gòu)必須保證有相應(yīng)的功能可以識別、定義和聚合事件，以便于統(tǒng)一管理，這包括在事件發(fā)生時和發(fā)生后都可以訪問，并且可以在特定的業(yè)務(wù)場景中識別和訪問一系列事件。

5 結(jié)束語

本文分析了在大數(shù)據(jù)環(huán)境下，電信運(yùn)營商數(shù)據(jù)服務(wù)能力開放的業(yè)務(wù)需求、數(shù)據(jù)服務(wù)內(nèi)容，重點(diǎn)研究了數(shù)據(jù)服務(wù)能力開放平臺的建設(shè)思路、體系架構(gòu)，針對數(shù)據(jù)服務(wù)提供的業(yè)務(wù)特點(diǎn)，研究了集約化運(yùn)營環(huán)境下運(yùn)營商數(shù)據(jù)服務(wù)共享的機(jī)制。本文的研究成果對電信運(yùn)營商能力開放平臺的建設(shè)具有較好的指導(dǎo)意義，為運(yùn)營商向集約化運(yùn)營、綜合服務(wù)提供的戰(zhàn)略方向轉(zhuǎn)型提供了技術(shù)參考。而在本文的研究領(lǐng)域中，對于數(shù)據(jù)安全性問題，特別是涉及個人數(shù)據(jù)隱私的內(nèi)容，后續(xù)將做更進(jìn)一步的研究。

1 劉增明,賈一葦.美國政府Data.gov和Apps.gov的經(jīng)驗(yàn)與啟示.電子政務(wù),2011(4)

2 吳鋼.移動互聯(lián)網(wǎng)時代電信運(yùn)營商的商業(yè)模式——能力開放.信息通信技術(shù),2011(1)

3 劉斌,王桂榮,華竹軒.移動互聯(lián)網(wǎng)環(huán)境下電信IT能力開放研究.廣東通信技術(shù),2011(12)

4 季云峰.基于SOA的EDA的研究和實(shí)現(xiàn).軟件,2012,33(7)

5 劉秋生,李紅貴.基于事件驅(qū)動SOA架構(gòu)的企業(yè)應(yīng)用集成模式研究.中國管理信息化,2009,12(4)

6 趙鈞.構(gòu)建電信物聯(lián)網(wǎng)開放數(shù)據(jù)服務(wù)體系的思考.電信科學(xué),

2012 ,28(2)