引爆5G、物聯(lián)網(wǎng)時代的 數(shù)據(jù)存取與營銷推薦

王曉軍

在2019年的下半年，中國移動將把5G帶到公眾面前。5G帶來的是什么？相比4G而言，5G大大提升了用戶體驗(yàn)。同時也將會提升連接數(shù)據(jù)的密度，以及峰值的速率移動性。在5G的環(huán)境下，人們的日常生活也將會有更大的改善。

在3G時代，人們利用3G在互聯(lián)網(wǎng)中瀏覽文本信息和圖片信息。到了4G時代人，們已經(jīng)開始大量地瀏覽視頻，并進(jìn)行視頻的通信。而在5G時代，人們就擁有了更大的帶寬和更高的流量，可以利用5G從事更多的事情，比如說VR或者遠(yuǎn)程的教育、醫(yī)療等。

5G以成為當(dāng)今技術(shù)發(fā)展的熱點(diǎn)之一，而5G會促進(jìn)物聯(lián)網(wǎng)等技術(shù)不斷落地和實(shí)施。根據(jù)2018年3月份的GSMA數(shù)據(jù)，中國現(xiàn)有的M2M節(jié)點(diǎn)數(shù)約有2.49億，預(yù)測到2025年，全球的M2M的節(jié)點(diǎn)將達(dá)到250億。

目前，中國的M2M物聯(lián)網(wǎng)終端數(shù)量已占全球的45%，我們發(fā)現(xiàn)當(dāng)今的物聯(lián)網(wǎng)還是處于起步初期，但是在未來物聯(lián)網(wǎng)終端的量級規(guī)模，將超過現(xiàn)有的移動通信用戶數(shù)量。

人們一直都在談?wù)摯髷?shù)據(jù)的“大”，但是大數(shù)據(jù)在增大的同時，也給我們帶來很多新的挑戰(zhàn)。5G是一個高帶寬、高流量的應(yīng)用場景，它給用戶帶來的是更快的速度和更新的業(yè)務(wù)體驗(yàn)，以及更大的業(yè)務(wù)承載量。從運(yùn)營的角度來看，5G也是一把雙刃劍。因?yàn)殡S著數(shù)據(jù)量不斷增加，處理數(shù)據(jù)的速度也要加快，對敏捷性和延遲的要求也隨之提高。

以現(xiàn)在的大數(shù)據(jù)技術(shù)可以很好地解決數(shù)據(jù)在開放環(huán)境下的存取和彈性等問題。但是在某些特定的場景下，利用大數(shù)據(jù)開源技術(shù)可能也無法解決。以電信運(yùn)營商領(lǐng)域舉例，在計(jì)費(fèi)場景下，當(dāng)數(shù)據(jù)量增加時我們利用大數(shù)據(jù)技術(shù)處理計(jì)費(fèi)話單會遇到更多新的挑戰(zhàn)。

我們在某個運(yùn)營商的全國集中計(jì)費(fèi)系統(tǒng)上看到，該運(yùn)營商在承載了1.2億用戶時，每天的日話單文件數(shù)量達(dá)到了64億個之多。我們看到當(dāng)系統(tǒng)繁忙時所處理的文件數(shù)量，已達(dá)到每秒9284個。在這種模式下面，每個計(jì)費(fèi)話單文件只有幾K或者幾十K，而運(yùn)營商只能等128K的緩存存滿后，再寫到數(shù)據(jù)磁盤中，但是在這種場景下應(yīng)用無法接受等待的時間。所以我們考慮，如何在系統(tǒng)處理海量小文件時省略等待的時間。我們嘗試將Hbase寫入處理流程中，但是由于寫入的時長并不統(tǒng)一，導(dǎo)致我們的應(yīng)用在運(yùn)行時出現(xiàn)抖動。經(jīng)過不斷的技術(shù)研討，同時結(jié)合思特奇多年研的發(fā)分布式內(nèi)存數(shù)據(jù)庫的相關(guān)技術(shù)，最終實(shí)現(xiàn)了海量小文件密集計(jì)算文件系統(tǒng)。

傳統(tǒng)的磁盤陣烈不能解決快速擴(kuò)展的問題，但是HDFS和Hbase可以解決文件存取工作，可是這兩個系統(tǒng)無法處理整個計(jì)費(fèi)處理過程中的關(guān)聯(lián)關(guān)系。在進(jìn)行計(jì)費(fèi)批價賬戶處理時，我們需要知道應(yīng)用是否對每一個計(jì)費(fèi)文件都進(jìn)行過處理，但是哪些應(yīng)用處理過哪些文件，在后續(xù)的場景中應(yīng)當(dāng)利用什么應(yīng)用繼續(xù)進(jìn)行處理？我們將這種關(guān)聯(lián)關(guān)系定義在業(yè)務(wù)的原數(shù)據(jù)場景下，包括系統(tǒng)信息、文件信息、租戶信息，用戶關(guān)聯(lián)關(guān)系信息等。當(dāng)出現(xiàn)這種關(guān)聯(lián)關(guān)系時，我們發(fā)現(xiàn)HDFS+Hbase無法建立。所以我們通過分布式的內(nèi)存數(shù)據(jù)庫將原數(shù)據(jù)進(jìn)行管理，形成分布式文件系統(tǒng)，快速適應(yīng)海量文件處理過程。

當(dāng)寫入Hbase時，會出現(xiàn)一到兩毫秒的間隔。而我們的要求是在兩秒鐘內(nèi)將一個話單文件寫入到磁盤系統(tǒng)上中，同時完成對話單文件計(jì)費(fèi)批價的處理過程，在這種情況下我們將分布式的內(nèi)存數(shù)據(jù)庫，以前端緩存的方式來提高文件寫入效率。當(dāng)出現(xiàn)前端海量應(yīng)用并發(fā)時，前端應(yīng)用可以隨著業(yè)務(wù)處理壓力的要求進(jìn)行彈性伸縮。在這種情況下，一旦后端的原數(shù)據(jù)系統(tǒng)出現(xiàn)節(jié)點(diǎn)故障，前端應(yīng)用具備不斷重連的能力。

如何在大數(shù)據(jù)的環(huán)境下，更好地給客戶推薦我們的業(yè)務(wù)？在運(yùn)營商的場景中，運(yùn)營商每年都會面臨用戶離網(wǎng)和推薦新業(yè)務(wù)的挑戰(zhàn)。我們通過大數(shù)據(jù)和人工智能技術(shù)來構(gòu)建智能策略推薦平臺，該平臺實(shí)現(xiàn)了對傳統(tǒng)營銷推薦的轉(zhuǎn)化。在幾年前，當(dāng)用戶收到的短信或網(wǎng)頁彈出界面業(yè)務(wù)推薦時，后端的處理方式首先會鎖定一個用戶群，然后對該用戶群的用戶行為特征，以及相應(yīng)的用戶特點(diǎn)進(jìn)行分析。通過分析我們得到一些數(shù)據(jù)，通過自己的經(jīng)驗(yàn)總結(jié)出需要給用戶推薦什么業(yè)務(wù)。但是這種推薦方式的實(shí)時性非常低，而且用戶的感受度和轉(zhuǎn)化率也非常低。

當(dāng)我們用了人工智能和大數(shù)據(jù)技術(shù)以后，我們可以對運(yùn)營商的現(xiàn)有用戶的網(wǎng)絡(luò)行為數(shù)據(jù)進(jìn)行追蹤，來進(jìn)一步查詢企業(yè)內(nèi)部行為的相關(guān)信息。經(jīng)過深度學(xué)習(xí)和自然語言對數(shù)據(jù)進(jìn)行處理后，我們可以提取用戶的興趣點(diǎn)，并對相應(yīng)的用戶進(jìn)行精細(xì)畫像分析，同時結(jié)合沉淀的內(nèi)容庫和用戶的營銷策略進(jìn)行實(shí)時的內(nèi)容推送，在推送過程中結(jié)合算法匹配，組合“話術(shù)”來吸引用戶對營銷業(yè)務(wù)感興趣。而且我們可以結(jié)合人工智能技術(shù)預(yù)測用戶的渠道意向，引導(dǎo)用戶到信任的渠道進(jìn)行業(yè)務(wù)辦理，因?yàn)檫\(yùn)營商的業(yè)務(wù)有很多辦理渠道，而這些渠道我們都可以通過人工智能技術(shù)，來預(yù)測用戶的傾向性，制定最佳的引流策略。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）