（2017年度“華蘇杯”獲獎(jiǎng)?wù)撐亩泉?jiǎng)）大數(shù)據(jù)技術(shù)在家庭市場的應(yīng)用與研究

孫開翠 劉皓 謝翌耿 穆明鑫 吳曉斌 劉廣東

中國移動(dòng)通信集團(tuán)江蘇分公司

0 引言

近幾年隨著家庭產(chǎn)品“寬帶化+互聯(lián)化+智能化”的快速變革，互聯(lián)網(wǎng)公司強(qiáng)勢進(jìn)入，家庭市場風(fēng)口即將到來。運(yùn)營商、廣電、家電廠商以及互聯(lián)網(wǎng)公司紛紛利用各自優(yōu)勢布局家庭市場，搶占家庭入口。

運(yùn)營商大力發(fā)展家庭寬帶，打造家庭入口終端，如中國電信悅Me、中國移動(dòng)魔百盒等，通過平臺化戰(zhàn)略，引入合作伙伴業(yè)務(wù)，豐富家庭業(yè)務(wù)市場。家庭業(yè)務(wù)規(guī)模發(fā)展的同時(shí)，也帶來了業(yè)務(wù)良莠不齊，海量家庭業(yè)務(wù)內(nèi)容用戶無從選擇等問題，如何快速開發(fā)滿足用戶個(gè)性化需求的家庭業(yè)務(wù)，如何精確推送用戶需要的內(nèi)容，如何判定內(nèi)容的優(yōu)劣，這是我們需要研究和實(shí)踐的重點(diǎn)內(nèi)容。

1 需求背景

在“互聯(lián)網(wǎng)+”的背景下，大數(shù)據(jù)在細(xì)分市場的應(yīng)用已成為重要的發(fā)展方向。家庭市場的發(fā)展已逐步形成規(guī)模，家庭市場對大數(shù)據(jù)技術(shù)的需求也日益迫切。大數(shù)據(jù)的價(jià)值不僅僅體現(xiàn)在家庭業(yè)務(wù)的數(shù)據(jù)指標(biāo)，更體現(xiàn)在家庭業(yè)務(wù)的發(fā)展模式變革，數(shù)據(jù)已逐步形成能力，指導(dǎo)家庭業(yè)務(wù)的運(yùn)營逐步走向精細(xì)化，家庭用戶的服務(wù)逐步走向個(gè)性化。

以江蘇移動(dòng)為例，江蘇移動(dòng)積極響應(yīng)“寬帶中國”戰(zhàn)略，持續(xù)加大寬帶建設(shè)投入，截至2017年5月底，家庭寬帶用戶已超過1100萬。家庭市場按視頻、游戲、動(dòng)漫、音樂、電商、教育、旅游、健康、智能家居等九大頻道進(jìn)行運(yùn)營，建設(shè)家庭開放平臺，打造開放的家庭業(yè)務(wù)體系，積極引入合作伙伴業(yè)務(wù)。家庭業(yè)務(wù)迅速發(fā)展，但海量的家庭業(yè)務(wù)內(nèi)容及用戶行為數(shù)據(jù)沒有得到有效分析，無法精準(zhǔn)推送用戶真正感興趣的內(nèi)容，也無法對業(yè)務(wù)的運(yùn)營帶來幫助。

大數(shù)據(jù)技術(shù)需廣泛應(yīng)用在家庭市場的數(shù)據(jù)統(tǒng)計(jì)、家庭業(yè)務(wù)內(nèi)容的智能推薦與搜索、家庭業(yè)務(wù)的策劃與改進(jìn)、用戶的互動(dòng)參與、廣告精準(zhǔn)投放等各個(gè)環(huán)節(jié)上，推進(jìn)家庭業(yè)務(wù)的全方位變革與重構(gòu)。家庭市場大數(shù)據(jù)的需求主要分為對運(yùn)營商內(nèi)部及外面的兩類需求：

（1）大數(shù)據(jù)的對內(nèi)應(yīng)用需求：

1）家庭用戶的精確營銷需求：將大數(shù)據(jù)的分析結(jié)果應(yīng)用于家庭市場的精確營銷，提升營銷成功率及用戶滿意度。

2）內(nèi)部運(yùn)營支撐需求：分別針對業(yè)務(wù)人員、技術(shù)人員、家庭業(yè)務(wù)系統(tǒng)提供多樣數(shù)據(jù)應(yīng)用服務(wù)。

（2）大數(shù)據(jù)的對外應(yīng)用需求：

1）家庭市場的后向精準(zhǔn)廣告服務(wù)需求，使用用戶畫像能力，主要包括用戶身份、業(yè)務(wù)訂購信息、使用終端信息、交往圈信息、內(nèi)容偏好信息等能力，推送最精準(zhǔn)的廣告服務(wù)。

2）對外輸出家庭業(yè)務(wù)評估體系：通過統(tǒng)計(jì)家庭市場各業(yè)務(wù)的用戶使用情況、活躍度等，對引入的家庭業(yè)務(wù)內(nèi)容進(jìn)行分析評估，輸出評估報(bào)告，提供運(yùn)營商家庭業(yè)務(wù)內(nèi)容引入的決策依據(jù)，同時(shí)對外輸出家庭業(yè)務(wù)內(nèi)容的評估體系，供家庭業(yè)務(wù)內(nèi)容方使用，使大數(shù)據(jù)的能力變現(xiàn)。

綜上，為積極推進(jìn)家庭寬帶發(fā)展，提升家庭市場的數(shù)字化服務(wù)水平，需建設(shè)家庭市場的大數(shù)據(jù)中心，提高家庭市場的大數(shù)據(jù)分析能力，推進(jìn)家庭業(yè)務(wù)內(nèi)容的精準(zhǔn)化營銷及家庭用戶的個(gè)性化服務(wù)，實(shí)現(xiàn)家庭市場從價(jià)格競爭到服務(wù)能力競爭的全方位變革與重構(gòu)！

2 架構(gòu)與應(yīng)用

如下重點(diǎn)以家庭市場大數(shù)據(jù)的應(yīng)用實(shí)踐為對象，研究家庭市場大數(shù)據(jù)中心的體系架構(gòu)及建設(shè)重點(diǎn)，同時(shí)描述大數(shù)據(jù)技術(shù)在家庭市場不同場景下的研究與實(shí)踐。

2.1 內(nèi)容建設(shè)

要實(shí)現(xiàn)家庭市場大數(shù)據(jù)技術(shù)的廣泛應(yīng)用，首先要建設(shè)家庭大數(shù)據(jù)中心，收集匯聚家庭市場的網(wǎng)絡(luò)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)、終端數(shù)據(jù)等。其中，

1）家庭網(wǎng)絡(luò)數(shù)據(jù)包括：家庭寬帶的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)、DPI數(shù)據(jù)等；

2）家庭業(yè)務(wù)數(shù)據(jù)包括業(yè)務(wù)的元數(shù)據(jù)、用戶的訂購數(shù)據(jù)、用戶使用的話單數(shù)據(jù)等；

3）用戶數(shù)據(jù)包括用戶信息數(shù)據(jù)、用戶偏好、用戶社交圈、用戶行為數(shù)據(jù)等。

家庭大數(shù)據(jù)中心是全方位的家庭數(shù)據(jù)倉庫，建設(shè)家庭開放平臺大數(shù)據(jù)中心，可推動(dòng)實(shí)現(xiàn)家庭業(yè)務(wù)兩大變革：

1）數(shù)據(jù)測量變革：建立在大數(shù)據(jù)基礎(chǔ)上的業(yè)務(wù)測量顛覆了以往的抽樣調(diào)查方法，通過對家庭網(wǎng)絡(luò)、家庭業(yè)務(wù)、家庭終端、家庭用戶等多方面對維度的數(shù)據(jù)記錄與匯聚，形成家庭市場“全方位”的數(shù)據(jù)測量，為家庭市場的運(yùn)營提供可靠的統(tǒng)計(jì)數(shù)據(jù)；

圖1 家庭市場的整體架構(gòu)圖

2）傳播模式重構(gòu)：家庭業(yè)務(wù)內(nèi)容的傳播方式從“機(jī)械化”變革為“智能化”。“機(jī)械化”的傳播方式意味著平臺充當(dāng)了業(yè)務(wù)內(nèi)容的“傳送帶”和受眾的“供應(yīng)商”，而“智能化”的傳播方式則把平臺轉(zhuǎn)變成為受眾的“服務(wù)商”。隨著家庭業(yè)務(wù)的傳播走向“多屏幕化”和“多平臺化”，智能機(jī)頂盒、平板電腦和手機(jī)等會(huì)更為精準(zhǔn)化地記錄觀眾的行為和偏好，借助于大數(shù)據(jù)技術(shù)進(jìn)行挖掘與分析，從而使平臺在最合適的時(shí)間、最合適的屏幕或平臺上傳播最合適的媒體內(nèi)容，為用戶提供更高質(zhì)量的服務(wù)。

2.2 體系架構(gòu)

家庭市場的整體架構(gòu)如圖1所示，家庭大數(shù)據(jù)中心處在中心位置，作為家庭各業(yè)務(wù)平臺的匯聚平臺，各家庭業(yè)務(wù)客戶端、家庭終端包括家庭網(wǎng)關(guān)等網(wǎng)絡(luò)接入終端的匯聚平臺，采集家庭網(wǎng)絡(luò)接入、分發(fā)等數(shù)據(jù)，采集家庭各業(yè)務(wù)客戶端數(shù)據(jù)，采集業(yè)務(wù)平臺數(shù)據(jù)等，形成業(yè)務(wù)、終端、用戶、網(wǎng)絡(luò)等全方位的數(shù)據(jù)倉庫。

家庭市場大數(shù)據(jù)中心的的體系架構(gòu)如圖2所示，分為數(shù)據(jù)采集層、數(shù)據(jù)預(yù)處理層、數(shù)據(jù)倉庫層、數(shù)據(jù)分析層、數(shù)據(jù)接口層、數(shù)據(jù)應(yīng)用層6個(gè)層次：

1）數(shù)據(jù)采集層：通過數(shù)據(jù)采集模塊來采集數(shù)據(jù)。數(shù)據(jù)采集模塊可以是終端側(cè)、客戶端側(cè)的軟探針，例如在家庭網(wǎng)關(guān)等網(wǎng)絡(luò)終端，互聯(lián)網(wǎng)電視機(jī)頂盒、家庭智能家居等各業(yè)務(wù)終端上集成軟探針中間件，各家庭業(yè)務(wù)客戶端集成軟探針SDK插件，采集網(wǎng)絡(luò)環(huán)境數(shù)據(jù)、家庭業(yè)務(wù)數(shù)據(jù)、家庭終端數(shù)據(jù)、用戶行為數(shù)據(jù)等各類數(shù)據(jù)，并匯聚到家庭大數(shù)據(jù)中心的平臺側(cè)。業(yè)務(wù)平臺側(cè)也可以通過ftp、jason等實(shí)時(shí)或非實(shí)時(shí)接口傳遞業(yè)務(wù)、用戶等數(shù)據(jù)到家庭大數(shù)據(jù)中心的平臺側(cè)。

2）數(shù)據(jù)預(yù)處理層：包括數(shù)據(jù)上報(bào)模塊，數(shù)據(jù)轉(zhuǎn)換模塊和數(shù)據(jù)緩存模塊，其中數(shù)據(jù)轉(zhuǎn)換模塊負(fù)責(zé)源數(shù)據(jù)的清洗、轉(zhuǎn)換和加載，將數(shù)據(jù)加載到家庭數(shù)據(jù)倉庫。

3）數(shù)據(jù)倉庫層：各類已經(jīng)過預(yù)處理加工的數(shù)據(jù)，包括業(yè)務(wù)元數(shù)據(jù)、用戶行為數(shù)據(jù)、業(yè)務(wù)與終端的話單數(shù)據(jù)、日志數(shù)據(jù)等海量數(shù)據(jù)。該層可以通過Hadoop的HDFS分布式文件系統(tǒng)、HBase非結(jié)構(gòu)化分布式數(shù)據(jù)庫等多種儲(chǔ)存處理方式實(shí)現(xiàn)。

圖2 家庭大數(shù)據(jù)中心的整體架構(gòu)圖

3 應(yīng)用實(shí)踐

家庭大數(shù)據(jù)中心作為家庭業(yè)務(wù)發(fā)展使用情況以及用戶行為的數(shù)據(jù)倉庫，通過數(shù)據(jù)建模、數(shù)據(jù)分析及挖掘等方法，提供更多潛在的有價(jià)值信息，例如用戶最感興趣的家庭業(yè)務(wù)內(nèi)容，用戶的使用習(xí)慣等，同時(shí)為家庭業(yè)務(wù)的精細(xì)化運(yùn)營提供精準(zhǔn)的數(shù)據(jù)支撐，實(shí)現(xiàn)家庭業(yè)務(wù)內(nèi)容的交叉推薦、智能推薦，海量內(nèi)容的智能搜索等，典型的應(yīng)用實(shí)踐如下：

（1）家庭用戶畫像

按照個(gè)體用戶的終端使用情況、業(yè)務(wù)訂購及使用記錄，結(jié)合用戶的屬性、消費(fèi)等相關(guān)數(shù)據(jù)，通過相似度計(jì)算準(zhǔn)則，建立家庭業(yè)務(wù)用戶群的細(xì)分模型，了解不同用戶的使用需求、使用習(xí)慣等。找出不同用戶群體的特征，從而針對不同用戶群制定不同的運(yùn)營策略。

（2）家庭業(yè)務(wù)內(nèi)容的相關(guān)性推薦

1）基于用戶畫像的家庭業(yè)務(wù)內(nèi)容推薦：根據(jù)個(gè)體用戶當(dāng)前或歷史的使用行為，如：根據(jù)用戶以往的歷史行為記錄以及用戶的其他屬性，通過聚類算法、協(xié)同過濾推薦算法和客戶相似度算法等，分析用戶的愛好，并對用戶進(jìn)行標(biāo)簽分類，同時(shí)對這類用戶推薦用戶感興趣的內(nèi)容。從計(jì)算的角度看，

4）數(shù)據(jù)分析層：對海量數(shù)據(jù)進(jìn)行建模、分析、挖掘及統(tǒng)計(jì)等，例如通過ETL工具進(jìn)行統(tǒng)計(jì)分析，PDM工具進(jìn)行建模及數(shù)據(jù)挖掘等。

5）數(shù)據(jù)接口層：分析處理結(jié)果通過接口方式反饋給上層應(yīng)用，例如用戶畫像、用戶相似度分組、實(shí)時(shí)智能推薦、智能搜索等，接口可以是實(shí)時(shí)，也可以是非實(shí)時(shí)，根據(jù)上層應(yīng)用的需求提供。

6）數(shù)據(jù)應(yīng)用層：數(shù)據(jù)“取之于民，用之于民”，大數(shù)據(jù)采集于家庭用戶、家庭業(yè)務(wù)、終端、網(wǎng)絡(luò)等，分析結(jié)果用于改善家庭用戶的體驗(yàn)，提供家庭市場的精細(xì)化運(yùn)營。同時(shí)也可以衍生出更有價(jià)值的商業(yè)模式、業(yè)務(wù)模式，提供更精準(zhǔn)化的后向廣告推送等服務(wù)。就是將所有用戶對某個(gè)內(nèi)容的偏好作為一個(gè)向量來計(jì)算內(nèi)容之間的相似度，得到物品的相似物品后，根據(jù)用戶歷史的偏好預(yù)測當(dāng)前用戶還沒有表示偏好的內(nèi)容，計(jì)算得到一個(gè)排序的內(nèi)容進(jìn)行推薦。

2）基于內(nèi)容屬性的家庭業(yè)務(wù)內(nèi)容推薦：根據(jù)家庭業(yè)務(wù)內(nèi)容的屬性，關(guān)聯(lián)其相關(guān)內(nèi)容，統(tǒng)計(jì)分析用戶的使用記錄，通過FP-growth等算法進(jìn)行關(guān)聯(lián)規(guī)則，挖掘不同內(nèi)容之間的相關(guān)性，在用戶使用某業(yè)務(wù)內(nèi)容前、某業(yè)務(wù)內(nèi)容后分別向用戶推薦相關(guān)內(nèi)容，提高用戶的業(yè)務(wù)使用時(shí)間，提升用戶的活躍度。

3）跨業(yè)務(wù)的交叉推薦：家庭大數(shù)據(jù)中心融合不同類型的家庭業(yè)務(wù)數(shù)據(jù)、用戶行為數(shù)據(jù)、終端數(shù)據(jù)等，基于業(yè)務(wù)內(nèi)容標(biāo)簽，可以實(shí)現(xiàn)不同類型業(yè)務(wù)的交叉推薦，例如觀看過“爸爸去哪兒”視頻的用戶，推薦“爸爸去哪兒”的歌曲、游戲，或者相關(guān)商品的購買。

（3）家庭業(yè)務(wù)內(nèi)容的評估

通過統(tǒng)計(jì)家庭市場各業(yè)務(wù)的用戶使用情況、活躍度等，對各家庭業(yè)務(wù)內(nèi)容進(jìn)行分析評估，輸出評估報(bào)告，為運(yùn)營商引入家庭業(yè)務(wù)內(nèi)容提供決策依據(jù)，同時(shí)對外輸出家庭業(yè)務(wù)內(nèi)容的評估體系，供家庭業(yè)務(wù)內(nèi)容提供商使用，指導(dǎo)其內(nèi)容的決策、制作、編排，更好的滿足用戶的需求，也可以將該大數(shù)據(jù)的能力變現(xiàn)。

（4）為家庭業(yè)務(wù)的精細(xì)化運(yùn)營提供數(shù)據(jù)支撐

家庭市場的精確營銷：提升營銷成功率及用戶滿意度。家庭業(yè)務(wù)運(yùn)營通過用戶畫像，針對不同的用戶群采取不同的運(yùn)營策略。例如，低活躍度用戶群，定期向這些用戶推送當(dāng)前熱點(diǎn)內(nèi)容，吸引用戶多使用業(yè)務(wù)，提升用戶的活躍度。

精準(zhǔn)的后向廣告推送：通過用戶畫像，可以更精確地了解用戶的愛好，可個(gè)性化、精確化和智能化的向用戶推送廣告服務(wù)，探索廣告推送的新的商業(yè)模式。

內(nèi)容評估體系：通過對家庭業(yè)務(wù)內(nèi)容的評估，指導(dǎo)運(yùn)營部門對家庭業(yè)務(wù)內(nèi)容的引入，幫助運(yùn)營部門引入更多用戶更感興趣的內(nèi)容。

綜上所述，大數(shù)據(jù)技術(shù)能切實(shí)提高家庭業(yè)務(wù)運(yùn)營的精細(xì)化、智能化運(yùn)營能力，有效提升內(nèi)容的送達(dá)率，提升用戶的活躍度。精準(zhǔn)的后向運(yùn)營及廣告推送能力、全方位的內(nèi)容評估體系，更能給家庭市場帶來創(chuàng)新的業(yè)務(wù)模式。

4 總結(jié)

大數(shù)據(jù)技術(shù)在家庭市場的實(shí)踐才剛剛起步，通過建設(shè)家庭市場的大數(shù)據(jù)中心，形成家庭業(yè)務(wù)、終端、網(wǎng)絡(luò)、用戶等全方位的數(shù)據(jù)倉庫。使用先進(jìn)的大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)家庭業(yè)務(wù)運(yùn)營的精細(xì)化、精準(zhǔn)化、智能化，提升家庭用戶的個(gè)性化服務(wù)能力，開創(chuàng)精準(zhǔn)的家庭業(yè)務(wù)后向運(yùn)營及廣告推送能力，真正實(shí)現(xiàn)家庭市場業(yè)務(wù)模式及服務(wù)模式的全方位變革。