基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)

鄭　明　中國(guó)聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員王　蓉　中國(guó)聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室產(chǎn)品開(kāi)發(fā)實(shí)驗(yàn)室組長(zhǎng)，高級(jí)工程師楊　瑞　中國(guó)聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員

?

基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)

鄭明中國(guó)聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員
王蓉中國(guó)聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室產(chǎn)品開(kāi)發(fā)實(shí)驗(yàn)室組長(zhǎng)，高級(jí)工程師
楊瑞中國(guó)聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員

摘要：提出一種基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)，并研究平臺(tái)框架及實(shí)現(xiàn)機(jī)制。該平臺(tái)充分挖掘電信運(yùn)營(yíng)商的數(shù)據(jù)價(jià)值，并為第三方應(yīng)用提供業(yè)務(wù)便利，有利于電信運(yùn)營(yíng)商大數(shù)據(jù)生態(tài)環(huán)境的構(gòu)建。

關(guān)鍵詞：大數(shù)據(jù)；即時(shí)環(huán)境；開(kāi)放平臺(tái)

1　引言

移動(dòng)互聯(lián)網(wǎng)時(shí)代各類應(yīng)用層出不窮，各細(xì)分市場(chǎng)競(jìng)爭(zhēng)趨于同質(zhì)化。應(yīng)用若能在用戶需求產(chǎn)生或發(fā)生變化時(shí)，即時(shí)對(duì)用戶提供對(duì)應(yīng)的服務(wù)，將極大提升用戶體驗(yàn)，增強(qiáng)市場(chǎng)競(jìng)爭(zhēng)力。電信運(yùn)營(yíng)商擁有豐富、真實(shí)、準(zhǔn)確的用戶數(shù)據(jù)，包含實(shí)時(shí)信息如移動(dòng)用戶上網(wǎng)流量記錄，以及歷史信息如用戶基礎(chǔ)身份信息、用戶標(biāo)簽信息等?；陔娦胚\(yùn)營(yíng)商的大數(shù)據(jù)，分析用戶的即時(shí)狀態(tài)，并將相關(guān)分析結(jié)果開(kāi)放給應(yīng)用開(kāi)發(fā)者，將成為運(yùn)營(yíng)商大數(shù)據(jù)開(kāi)放的重要應(yīng)用形式，本文稱之為基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)。

2　應(yīng)用場(chǎng)景

為更直觀地描述即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)，本文先以一個(gè)特定的應(yīng)用場(chǎng)景為例進(jìn)行介紹。該應(yīng)用場(chǎng)景下，某個(gè)第三方應(yīng)用需要即時(shí)獲知進(jìn)入某地理區(qū)域內(nèi)的具備某特性的用戶信息，以便向這些用戶推送有針對(duì)性的業(yè)務(wù)營(yíng)銷信息。如圖1所示，通過(guò)基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)實(shí)現(xiàn)該需求的關(guān)鍵環(huán)節(jié)，具體如下：

（1）第三方應(yīng)用向開(kāi)放平臺(tái)訂購(gòu)服務(wù)，服務(wù)指明應(yīng)向其通知具備某類特征標(biāo)簽的用戶進(jìn)入某個(gè)區(qū)域內(nèi)的事件。

（2）開(kāi)放平臺(tái)根據(jù)第三方應(yīng)用所訂購(gòu)的服務(wù)，設(shè)置事件觸發(fā)器。

（3）符合預(yù)設(shè)條件的移動(dòng)用戶移動(dòng)到預(yù)設(shè)區(qū)域，并產(chǎn)生移動(dòng)上網(wǎng)流量。

（4）電信大數(shù)據(jù)平臺(tái)從實(shí)時(shí)采集的移動(dòng)用戶上網(wǎng)流量記錄中提取用戶位置信息，并根據(jù)用戶歷史上網(wǎng)記錄分析用戶特征，并通過(guò)標(biāo)簽形式進(jìn)行標(biāo)注。電信大數(shù)據(jù)平臺(tái)將所提取的用戶位置信息及標(biāo)簽信息實(shí)時(shí)寫(xiě)入能力開(kāi)放服務(wù)中。

（5）能力開(kāi)放服務(wù)通過(guò)事件觸發(fā)器實(shí)時(shí)檢測(cè)用戶信息的寫(xiě)入。

（6）當(dāng)能力開(kāi)放服務(wù)檢測(cè)到符合觸發(fā)條件的寫(xiě)入時(shí)，則向第三方應(yīng)用進(jìn)行通知，通知內(nèi)容包含該符合條件的用戶的手機(jī)號(hào)碼。

（7）第三方應(yīng)用向該用戶推送具有針對(duì)性的業(yè)務(wù)營(yíng)銷信息。

圖1　即時(shí)環(huán)境應(yīng)用能力開(kāi)放應(yīng)用場(chǎng)景示例

3　平臺(tái)框架

基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)框架如圖2所示，框架中各部件描述如下：

（1）第三方應(yīng)用

即訂購(gòu)服務(wù)的需求方，是訂購(gòu)規(guī)則的制定者，數(shù)據(jù)處理結(jié)果的使用者。

（2）業(yè)務(wù)訂購(gòu)系統(tǒng)

第三方應(yīng)用訂購(gòu)的受理系統(tǒng)，根據(jù)客戶訂購(gòu)內(nèi)容生成訂購(gòu)規(guī)則。

（3）任務(wù)調(diào)度引擎

解析訂購(gòu)規(guī)則，并根據(jù)規(guī)則向能力開(kāi)放服務(wù)、電信大數(shù)據(jù)平臺(tái)分配數(shù)據(jù)處理任務(wù)，完成以上系統(tǒng)相關(guān)業(yè)務(wù)處理邏輯的自動(dòng)化配置。

（4）能力開(kāi)放服務(wù)

能力開(kāi)放平臺(tái)的核心部件，包括以下部件內(nèi)容：

●分布式內(nèi)存數(shù)據(jù)庫(kù)：存儲(chǔ)讀取、寫(xiě)入頻率極高的熱點(diǎn)數(shù)據(jù)，是能力開(kāi)放服務(wù)的核心數(shù)據(jù)存儲(chǔ)部件。

●嵌入式腳本：作為分布式內(nèi)存數(shù)據(jù)庫(kù)的擴(kuò)展腳本，實(shí)現(xiàn)腳本與內(nèi)存數(shù)據(jù)庫(kù)函數(shù)的雙向調(diào)用，以擴(kuò)展內(nèi)存數(shù)據(jù)庫(kù)功能。

圖2　即時(shí)環(huán)境應(yīng)用能力開(kāi)放平臺(tái)框架

●接口服務(wù)：定義外部數(shù)據(jù)、分析結(jié)果數(shù)據(jù)的交換接口標(biāo)準(zhǔn)，提供開(kāi)放接口服務(wù)，完成各類接口的封裝，并實(shí)現(xiàn)與其他部件交互的能力適配。具體包括以下接口內(nèi)容：

——數(shù)據(jù)批量導(dǎo)入接口：用于外部數(shù)據(jù)的批量導(dǎo)入。

——查詢接口：用于第三方應(yīng)用查詢分析結(jié)果。

——Pub/Sub：用于第三方應(yīng)用數(shù)據(jù)的實(shí)時(shí)輸入，以及分析結(jié)果的實(shí)時(shí)通知。

（5）電信大數(shù)據(jù)平臺(tái)

用戶數(shù)據(jù)基礎(chǔ)平臺(tái)，提供分布式的持久化存儲(chǔ)能力與流處理能力，包括HDFS/HBase、Spark、數(shù)據(jù)分析挖掘平臺(tái)等部件。

4　平臺(tái)數(shù)據(jù)需求

4.1用戶屬性數(shù)據(jù)

電信大數(shù)據(jù)平臺(tái)實(shí)時(shí)采集移動(dòng)用戶上網(wǎng)流量記錄并進(jìn)行挖掘分析，向能力開(kāi)放服務(wù)提供各類用戶屬性數(shù)據(jù)，具體如下：

（1）用戶標(biāo)識(shí)

提供用戶的手機(jī)號(hào)碼，或其他經(jīng)過(guò)匿名處理的用戶標(biāo)識(shí)碼。

（2）用戶位置

可直接提供用戶的地理坐標(biāo)數(shù)據(jù)，或提供用戶接入移動(dòng)通信系統(tǒng)的地區(qū)區(qū)域碼（LACID）、小區(qū)識(shí)別碼（CELLID），以及系統(tǒng)全局范圍內(nèi)的以上編碼與基站地理坐標(biāo)數(shù)據(jù)的映射關(guān)系。

（3）用戶上下文

用戶上下文信息包括用戶終端、近期使用的應(yīng)用和近期搜索詞等數(shù)據(jù)。

（4）用戶畫(huà)像

用戶畫(huà)像可通過(guò)標(biāo)簽形式進(jìn)行描述，也可按其他自定義數(shù)據(jù)格式進(jìn)行描述。

此外，第三方應(yīng)用也可向開(kāi)放平臺(tái)提供用戶屬性補(bǔ)充數(shù)據(jù)。

4.2目標(biāo)描述數(shù)據(jù)

第三方應(yīng)用向開(kāi)放平臺(tái)提供訂購(gòu)目標(biāo)的描述數(shù)據(jù)，以滿足其訂購(gòu)業(yè)務(wù)的需求，具體如下：

（1）目標(biāo)用戶描述

提供對(duì)訂購(gòu)目標(biāo)用戶群體的描述信息，包括對(duì)目標(biāo)用戶的屬性要求，如畫(huà)像要求、終端類別要求、近期搜索詞要求等；也可包括目標(biāo)用戶的用戶標(biāo)識(shí)集合，即要求開(kāi)放平臺(tái)僅分析、處理該集合范圍內(nèi)的用戶數(shù)據(jù)。

（2）目標(biāo)區(qū)域描述

提供對(duì)訂購(gòu)目標(biāo)區(qū)域的描述信息，即對(duì)訂閱區(qū)域的地理位置要求，如行政區(qū)域要求、地理坐標(biāo)要求，要求開(kāi)放平臺(tái)僅分析、處理該目標(biāo)區(qū)域范圍內(nèi)的用戶數(shù)據(jù)。

（3）目標(biāo)時(shí)間描述

提供對(duì)訂購(gòu)目標(biāo)時(shí)間的描述信息，要求開(kāi)放平臺(tái)僅在該目標(biāo)時(shí)間范圍內(nèi)進(jìn)行用戶數(shù)據(jù)的分析。

5　業(yè)務(wù)處理流程

5.1業(yè)務(wù)訂購(gòu)與任務(wù)分配

如圖3所示，業(yè)務(wù)訂購(gòu)與任務(wù)分配是客戶完成即時(shí)環(huán)境應(yīng)用能力業(yè)務(wù)訂購(gòu)，開(kāi)放平臺(tái)完成訂購(gòu)任務(wù)解析分配的流程，具體包括以下流程：

圖3　業(yè)務(wù)訂購(gòu)與任務(wù)分配流程

（1）第三方應(yīng)用通過(guò)業(yè)務(wù)訂購(gòu)系統(tǒng)訂購(gòu)業(yè)務(wù)。

（2）業(yè)務(wù)訂購(gòu)系統(tǒng)生成訂購(gòu)規(guī)則描述文件，并提交任務(wù)調(diào)度引擎處理。

（3）任務(wù)調(diào)度引擎解析訂購(gòu)規(guī)則：

●向電信大數(shù)據(jù)平臺(tái)傳入任務(wù)配置。

●向分布式內(nèi)存數(shù)據(jù)庫(kù)提交執(zhí)行任務(wù)所需的腳本文件。

5.2任務(wù)執(zhí)行

任務(wù)執(zhí)行是指能力開(kāi)放服務(wù)、電信大數(shù)據(jù)平臺(tái)完成任務(wù)配置后，啟動(dòng)數(shù)據(jù)處理分析以及結(jié)果應(yīng)用。針對(duì)不同的業(yè)務(wù)場(chǎng)景，任務(wù)執(zhí)行可根據(jù)單體用戶數(shù)據(jù)的計(jì)算復(fù)雜性、單次分析數(shù)據(jù)量，分為流式任務(wù)執(zhí)行模式與批量任務(wù)執(zhí)行模式。

（1）流式任務(wù)執(zhí)行模式

流式任務(wù)執(zhí)行模式，由嵌入式腳本完成數(shù)據(jù)分析工作，并實(shí)時(shí)開(kāi)放處理結(jié)果。適用于單體用戶數(shù)據(jù)的計(jì)算復(fù)雜性弱、單次分析數(shù)據(jù)量小的應(yīng)用場(chǎng)景。如圖4所示，流式任務(wù)執(zhí)行模式的處理流程具體如下：

●第三方應(yīng)用通過(guò)開(kāi)放接口服務(wù)

輸入外部數(shù)據(jù)，開(kāi)放接口服務(wù)根據(jù)外部數(shù)據(jù)的類別將數(shù)據(jù)存儲(chǔ)于大數(shù)據(jù)平臺(tái)或分布式內(nèi)存數(shù)據(jù)庫(kù)。例如，將限定目標(biāo)用戶范圍的數(shù)據(jù)存儲(chǔ)于電信大數(shù)據(jù)平臺(tái)，將用戶屬性的描述信息存儲(chǔ)于大數(shù)據(jù)平臺(tái)。

●大數(shù)據(jù)平臺(tái)將單體用戶或少量用戶的數(shù)據(jù)提交給內(nèi)存數(shù)據(jù)庫(kù)。

●內(nèi)存數(shù)據(jù)庫(kù)調(diào)用嵌入式腳本進(jìn)行數(shù)據(jù)分析，并保存用戶數(shù)據(jù)。

●內(nèi)存數(shù)據(jù)庫(kù)將分析結(jié)果提交給開(kāi)放接口服務(wù)，并由開(kāi)放服務(wù)接口將分析結(jié)果開(kāi)放給第三方應(yīng)用。

●根據(jù)應(yīng)用場(chǎng)景的需求，將分析結(jié)果持久化保存于電信大數(shù)據(jù)平臺(tái)。

（2）批量任務(wù)執(zhí)行模式

批量任務(wù)執(zhí)行模式，由大數(shù)據(jù)平臺(tái)完成數(shù)據(jù)

分析工作并開(kāi)放處理結(jié)果，分布式內(nèi)存數(shù)據(jù)庫(kù)僅

提供快速數(shù)據(jù)查找、寫(xiě)入功能。適用于單體用戶數(shù)據(jù)的計(jì)算復(fù)雜性強(qiáng)、單次分析數(shù)據(jù)量大的應(yīng)用場(chǎng)景。如圖5所示，批量任務(wù)執(zhí)行模式的處理流程具體如下：

●第三方應(yīng)用通過(guò)開(kāi)放接口服務(wù)輸入外部數(shù)據(jù)（與流式任務(wù)執(zhí)行模式的外部數(shù)據(jù)輸入要求一致）。

●電信大數(shù)據(jù)平臺(tái)批量提交用戶數(shù)據(jù)查詢請(qǐng)求。

圖4　流式任務(wù)執(zhí)行流程

圖5　批量任務(wù)執(zhí)行流程

●內(nèi)存數(shù)據(jù)庫(kù)將用戶數(shù)據(jù)批量返回給電信大數(shù)據(jù)平臺(tái)，電信大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)分析。

●電信大數(shù)據(jù)平臺(tái)將分析結(jié)果提交給開(kāi)放接口服務(wù)，并由開(kāi)放服務(wù)接口將分析結(jié)果開(kāi)放給第三方應(yīng)用。

●將電信大數(shù)據(jù)平臺(tái)中最新的用戶數(shù)據(jù)寫(xiě)入內(nèi)存數(shù)據(jù)庫(kù)中保存。

6　結(jié)束語(yǔ)

基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開(kāi)放充分挖掘了運(yùn)營(yíng)商的數(shù)據(jù)價(jià)值，并為第三方應(yīng)用提供業(yè)務(wù)便利，不僅可以作為一種收費(fèi)業(yè)務(wù)模式實(shí)現(xiàn)大數(shù)據(jù)變現(xiàn)，更促進(jìn)了運(yùn)營(yíng)商大數(shù)據(jù)生態(tài)環(huán)境的構(gòu)建。

參考文獻(xiàn)

［1］李政，李繼兵，丁偉.基于大數(shù)據(jù)的電信運(yùn)營(yíng)商業(yè)務(wù)模式研究［J］.移動(dòng)通信，2013（05）.

［2］王珊，肖艷芹，劉大為，等.內(nèi)存數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)研究［J］.計(jì)算機(jī)應(yīng)用，2007（10）.

［3］陳娜，張金娟，劉智瓊，等.基于Hadoop平臺(tái)的電信大數(shù)據(jù)入庫(kù)及查詢性能優(yōu)化研究［J］.移動(dòng)通信，2014（07）.

Openplatform with real-time environment application ability basedontelecommunication big data

ZHENGMing，WANGRong，YANGRui

Abstract:This paper presents an open platform of real- time environment application based on telecom big data，and researches on its framework and implementation mechanisms. This open platform fully extracts the value of mobile network operators’business data， and provides convenience for the third-party application. It is conducive to the ecosystem of telecom big data.

Keywords:big data； real-time environment； open platform

收稿日期：（2016-03-20）