基于大數(shù)據(jù)的互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系研究

文/孔 彬　匡文波

基于大數(shù)據(jù)的互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系研究

文/孔 彬匡文波

2014年底，中國(guó)互聯(lián)網(wǎng)電視的機(jī)頂盒終端和電視機(jī)終端累計(jì)用戶數(shù)已經(jīng)超過了一億?？梢?，互聯(lián)網(wǎng)電視每天都要產(chǎn)生大量的用戶數(shù)據(jù)信息，這些海量數(shù)據(jù)，規(guī)模大小不一，也毫無數(shù)據(jù)結(jié)構(gòu)可言，在沒有經(jīng)過分析、處理、挖掘之前，基本上就僅僅只是一些規(guī)模很大的、毫無利用價(jià)值的零散數(shù)據(jù)。但由于互聯(lián)網(wǎng)電視具有雙向互動(dòng)的天然優(yōu)勢(shì)，可以采集到用戶所有的使用情況記錄，這些代表了“群體智慧”的數(shù)據(jù)記錄又可以在播控平臺(tái)進(jìn)行大數(shù)據(jù)處理分析，從而實(shí)現(xiàn)大數(shù)據(jù)的最終目標(biāo)——“進(jìn)行判斷和預(yù)測(cè)”，并從中獲取價(jià)值，成為互聯(lián)網(wǎng)電視運(yùn)營(yíng)決策的根本。

互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系的大數(shù)據(jù)技術(shù)實(shí)現(xiàn)系統(tǒng)設(shè)計(jì)，就是通過研究、探討如何建立基于大數(shù)據(jù)的互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系，和用戶之間建立起實(shí)時(shí)、有效的互動(dòng)與溝通，通過該平臺(tái)來收集所有用戶的相關(guān)信息和數(shù)據(jù)，再據(jù)此分析用戶的喜好，然后依照分析結(jié)果為用戶提供更適合的內(nèi)容產(chǎn)品、更精準(zhǔn)的營(yíng)銷與廣告信息。該體系還可以進(jìn)一步地精確把握用戶群體和個(gè)體網(wǎng)絡(luò)行為模式，探索個(gè)人化、個(gè)性化、精確化和智能化地進(jìn)行廣告推送和服務(wù)推廣的方法，創(chuàng)造出比現(xiàn)有廣告和產(chǎn)品推廣形式性價(jià)比高數(shù)倍甚至數(shù)十倍的全新商業(yè)模式。

根據(jù)上述需求，需要結(jié)合大數(shù)據(jù)應(yīng)用開發(fā)的流程，分步驟探討每一步的具體技術(shù)細(xì)節(jié)，即按照功能規(guī)劃、數(shù)據(jù)采集處理、數(shù)據(jù)分析和成果應(yīng)用等四個(gè)步驟，來設(shè)計(jì)基于大數(shù)據(jù)的互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系。

核心功能規(guī)劃

互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系，可以通過與運(yùn)營(yíng)商業(yè)務(wù)平臺(tái)的終端和服務(wù)端系統(tǒng)對(duì)接的方式，獲取“用戶行為數(shù)據(jù)”和“內(nèi)容標(biāo)簽信息”，并建立用戶肖像，構(gòu)建“用戶—時(shí)間—標(biāo)簽”的多維數(shù)據(jù)矩陣，將用戶在互動(dòng)域的使用行為進(jìn)行量化并映射到增值業(yè)務(wù)域，為其業(yè)務(wù)營(yíng)銷提供精準(zhǔn)的數(shù)據(jù)支撐。

概括地說，互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系的主要功能就是實(shí)現(xiàn)運(yùn)營(yíng)支撐，包括頻道/視頻內(nèi)容分析、視頻熱點(diǎn)內(nèi)容挖掘、用戶觀看行為重現(xiàn)、視頻播放碼率優(yōu)化、視頻廣告體驗(yàn)優(yōu)化、用戶操作體驗(yàn)優(yōu)化等。從對(duì)大數(shù)據(jù)的剖析角度而言，主要是針對(duì)運(yùn)營(yíng)分析體系的電視（TV）、視頻（Video）和流（Streaming）等三類數(shù)據(jù)來源，如圖1所示。

如果對(duì)互聯(lián)網(wǎng)電視的大數(shù)據(jù)分析功能進(jìn)行分類的話，可以從四類功能來規(guī)劃。

圖1　互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系的功能規(guī)劃

統(tǒng)計(jì)收視情況。在擁有完整樣本的互聯(lián)網(wǎng)電視大數(shù)據(jù)分析平臺(tái)上，可以詳細(xì)地記錄和分析統(tǒng)計(jì)出電視節(jié)目播出平臺(tái)上各個(gè)欄目、各個(gè)頻道的點(diǎn)播、直播及回看的收視率。然后按照用戶的開機(jī)情況、用戶在線時(shí)長(zhǎng)、用戶平均收視時(shí)長(zhǎng)等信息數(shù)據(jù)，能夠統(tǒng)計(jì)具體到居住小區(qū)的用戶收視情況。

分析用戶行為。憑借追蹤用戶行為的功能，實(shí)現(xiàn)點(diǎn)播節(jié)目和直播頻道收視率的實(shí)時(shí)統(tǒng)計(jì)，每隔三秒鐘進(jìn)行數(shù)據(jù)刷新，還支持按年、月、周、日來分析實(shí)時(shí)收視率的歷史數(shù)據(jù)。相應(yīng)的，也可以按照用戶訪問頁面的行為記錄，提供路徑分析，提升節(jié)目的訂閱率，優(yōu)化電子節(jié)目指南（EPG），簡(jiǎn)化電視的互動(dòng)操作。

支持節(jié)目決策。通過平臺(tái)的分析數(shù)據(jù)，可以幫助電視臺(tái)各個(gè)頻道來建立數(shù)學(xué)模型，指導(dǎo)節(jié)目決策、制作、編排、引進(jìn)，更準(zhǔn)確地滿足用戶需求，同時(shí)也能夠提升電視臺(tái)節(jié)目的收視率。

提供個(gè)性化服務(wù)。從用戶的角度而言，做好大數(shù)據(jù)運(yùn)營(yíng)分析系統(tǒng)的首要條件，是更為準(zhǔn)確地了解和響應(yīng)用戶的需求，實(shí)現(xiàn)EPG的個(gè)性化服務(wù)、精準(zhǔn)推送、推薦相關(guān)節(jié)目?jī)?nèi)容，并能夠依照用戶的變化規(guī)律及活躍表現(xiàn)程度，添加各類相應(yīng)活動(dòng)，進(jìn)行用戶挽留等服務(wù)，從而達(dá)到優(yōu)化用戶體驗(yàn)的目的，使得用戶獲得更佳的服務(wù)，不再錯(cuò)過想要觀看的精彩節(jié)目，精準(zhǔn)對(duì)位營(yíng)銷優(yōu)質(zhì)的節(jié)目?jī)?nèi)容。最終，為電視臺(tái)等播出機(jī)構(gòu)建設(shè)一個(gè)節(jié)目?jī)?nèi)容“從產(chǎn)品到商品”的優(yōu)良市場(chǎng)渠道。

數(shù)據(jù)采集與處理

互聯(lián)網(wǎng)電視運(yùn)營(yíng)商的大數(shù)據(jù)主要來自于兩部分：一部分來自網(wǎng)絡(luò)，這一類數(shù)據(jù)稱為過程數(shù)據(jù)，如用戶的開關(guān)機(jī)行為數(shù)據(jù)、位置移動(dòng)數(shù)據(jù)、上網(wǎng)行為數(shù)據(jù)等。另一部分來自業(yè)務(wù)支撐系統(tǒng)，這一類數(shù)據(jù)稱為業(yè)務(wù)數(shù)據(jù)，如用戶的個(gè)人信息數(shù)據(jù)、電視收看數(shù)據(jù)、繳費(fèi)數(shù)據(jù)、消費(fèi)數(shù)據(jù)等。這些數(shù)據(jù)種類繁多，難以一一詳述，本文僅以與用戶行為相關(guān)的數(shù)據(jù)為例，來闡述如何進(jìn)行數(shù)據(jù)采集與處理。

這些用戶行為數(shù)據(jù)采用基于HBase的分布式數(shù)據(jù)庫。HBase數(shù)據(jù)庫屬于Apache Hadoop體系，能進(jìn)行大型數(shù)據(jù)的實(shí)時(shí)、隨機(jī)讀寫訪問。與以往的RDB（Relation Data Base）比較，HBase具有擴(kuò)展靈活、支持大批量數(shù)據(jù)、低成本等優(yōu)勢(shì)。

數(shù)據(jù)采集。在運(yùn)營(yíng)分析體系中，每個(gè)互聯(lián)網(wǎng)電視終端都對(duì)應(yīng)了一個(gè)用戶，該用戶都有唯一的用戶標(biāo)識(shí)（UserID）；用戶從終端網(wǎng)絡(luò)的接口來使用并訪問各類業(yè)務(wù)服務(wù)，在終端系統(tǒng)上，用戶的各種行為信息都會(huì)上傳到系統(tǒng)平臺(tái)（Open Api）中，系統(tǒng)平臺(tái)處理完數(shù)據(jù)后再入庫，然后為運(yùn)營(yíng)分析系統(tǒng)提供單個(gè)用戶或批量用戶的查詢工作，如圖2所示。

圖2　運(yùn)營(yíng)分析數(shù)據(jù)系統(tǒng)架構(gòu)

數(shù)據(jù)結(jié)構(gòu)。HBase中的數(shù)據(jù)表有體量大（一個(gè)數(shù)據(jù)表能夠記錄上百萬列和上億行數(shù)據(jù)）、面向列（可以控制面向列/族的存儲(chǔ)權(quán)限，并能單獨(dú)檢索列）、設(shè)計(jì)稀疏（對(duì)于null類型的空列，并不占用存儲(chǔ)空間。因此，表可以設(shè)計(jì)得非常稀疏）等特點(diǎn)。

表1現(xiàn)在顯示的是某一時(shí)段的模擬數(shù)據(jù)，內(nèi)容為互聯(lián)網(wǎng)電視流媒體的播放信息日志，這些數(shù)據(jù)都是在普通的數(shù)據(jù)表中進(jìn)行記錄的。平臺(tái)剛開始的日志用系統(tǒng)記錄的數(shù)據(jù)來表示，行為序號(hào)是人為來定義的，列序號(hào)是人工生成的列標(biāo)識(shí)ID。在某一天內(nèi)，同一個(gè)行為日志的列序號(hào)是唯一的。

表1　流媒體播放日志示例數(shù)據(jù)

HBase非常適合存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。而將普通數(shù)據(jù)表（表1）中的數(shù)據(jù)記錄導(dǎo)入到HBase表（表2）中，就涉及到HBase表該如何構(gòu)造和設(shè)計(jì)的問題。本文通過設(shè)計(jì)一系列的反轉(zhuǎn)規(guī)則來實(shí)現(xiàn)數(shù)據(jù)的導(dǎo)入。由反轉(zhuǎn)用戶序號(hào)、用戶發(fā)生行為的時(shí)間、用戶行為序號(hào)組成RowKey（RowKey是一段二進(jìn)制碼流，HBase中就是按照RowKey來檢索的），轉(zhuǎn)換后HBase表中的數(shù)據(jù)如表2所示。

表2　入庫后示例數(shù)據(jù)

數(shù)據(jù)處理。HBase對(duì)MapReduce API進(jìn)行了擴(kuò)展，方便MapReduce任務(wù)讀寫HTable數(shù)據(jù)。MapReduce提供了一個(gè)編程模型，將磁盤讀寫問題進(jìn)行抽象。MapReduce將數(shù)據(jù)抽象成并演變成為對(duì)一個(gè)數(shù)據(jù)集（key/value對(duì)組成的集合）的計(jì)算。這個(gè)計(jì)算是由Map和Reduce兩部分所完成的，也就是將數(shù)據(jù)抽象成為Map和Reduce兩個(gè)對(duì)外的接口。

數(shù)據(jù)分析與挖掘方法

采集和處理了相關(guān)數(shù)據(jù)后，就需要運(yùn)用數(shù)據(jù)分析與挖掘方法，為運(yùn)營(yíng)商提供更多潛在且有價(jià)值的信息，應(yīng)對(duì)外部競(jìng)爭(zhēng)壓力，提高自身運(yùn)營(yíng)效率和服務(wù)水平，提高決策的科學(xué)性。本文選取幾類典型應(yīng)用的數(shù)據(jù)挖掘分析如下。

電視收視率。每間隔一分鐘對(duì)收視率進(jìn)行收集，得到測(cè)試數(shù)據(jù)，然后基于時(shí)間序列來進(jìn)行分析，并以貝葉斯、決策樹等分類算法，對(duì)互聯(lián)網(wǎng)電視收視率進(jìn)行科學(xué)預(yù)測(cè)，挖掘出不同類型客戶群的收視特點(diǎn)，發(fā)現(xiàn)節(jié)目之間的關(guān)聯(lián)性。

用戶群細(xì)分。按照用戶相似度計(jì)算準(zhǔn)則，建立互聯(lián)網(wǎng)電視用戶群的細(xì)分模型，了解不同客戶的收視需求、收視習(xí)慣、收視能力等。根據(jù)客戶的性別、年齡、職業(yè)、教育程度等屬性，利用聚類算法CLARANS（Clustering Large Application based upon RANdomized Search，基于隨機(jī)搜索的聚類大型應(yīng)用）、CLIQUE算法、ID3決策樹和客戶相似度的計(jì)算公式實(shí)現(xiàn)客戶細(xì)分算法，找出不同客戶群體的特征，區(qū)分“高價(jià)值”和“低價(jià)值”的客戶群，從而針對(duì)不同客戶群制定營(yíng)銷策略。

用戶消費(fèi)行為分析。采用FP-growth算法進(jìn)行關(guān)聯(lián)規(guī)則挖掘，可以發(fā)現(xiàn)套餐、節(jié)目之間的某種聯(lián)系，從而挖掘出互聯(lián)網(wǎng)電視用戶的使用和消費(fèi)習(xí)慣，為有線運(yùn)營(yíng)商設(shè)計(jì)用戶訂購節(jié)目的消費(fèi)套餐和市場(chǎng)促銷策略提供數(shù)據(jù)決策支持。

視頻點(diǎn)播推薦。推薦算法主要有：基于物品的協(xié)同過濾推薦算法（通過挖掘一個(gè)已經(jīng)存在的用戶社區(qū)過去已經(jīng)發(fā)生的行為或意見，預(yù)測(cè)當(dāng)前系統(tǒng)中的用戶最可能喜歡或感興趣的物品）、基于內(nèi)容的推薦算法（根據(jù)推薦物品的屬性，發(fā)現(xiàn)物品的相關(guān)性，然后基于用戶以往的喜好記錄，推薦給用戶相似的物品）、混合推薦算法（一起使用幾種推薦算法，并且通過一種具體的混合機(jī)制聚集，輸出這些推薦算法的結(jié)果）和K最近鄰算法（為每個(gè)物品尋找K個(gè)與其最相似的物品，并推薦給用戶）等。

成果應(yīng)用——運(yùn)營(yíng)分析體系架構(gòu)設(shè)計(jì)

基于前面的設(shè)計(jì)與開發(fā)流程，采用金字塔模型來實(shí)現(xiàn)互聯(lián)網(wǎng)電視的大數(shù)據(jù)分析體系的架構(gòu)設(shè)計(jì)。該金字塔模型分為七個(gè)層面，如圖3所示。

圖3　互聯(lián)網(wǎng)電視大數(shù)據(jù)分析的金字塔模型

數(shù)據(jù)基礎(chǔ)平臺(tái)層。數(shù)據(jù)基礎(chǔ)平臺(tái)層的目標(biāo)就是建立所有互聯(lián)網(wǎng)電視用戶數(shù)據(jù)的記錄，實(shí)現(xiàn)全方位了解某用戶使用習(xí)慣和愛好的目的。數(shù)據(jù)基礎(chǔ)平臺(tái)層的搭建有三大關(guān)鍵：一是確定用戶唯一ID；二是有效的解決數(shù)據(jù)孤島問題；三是解決數(shù)據(jù)有效管理和計(jì)算的問題。

業(yè)務(wù)運(yùn)營(yíng)監(jiān)控層。業(yè)務(wù)運(yùn)營(yíng)監(jiān)控層主要目的是幫助運(yùn)營(yíng)商監(jiān)控業(yè)務(wù)運(yùn)營(yíng)情況的健康度，快速發(fā)現(xiàn)問題并定位問題原因。業(yè)務(wù)運(yùn)營(yíng)監(jiān)控層的工作有兩大關(guān)鍵：一是梳理數(shù)據(jù)體系；二是打造數(shù)據(jù)異動(dòng)監(jiān)控產(chǎn)品。

用戶洞察/體驗(yàn)優(yōu)化層。該層不僅使用結(jié)構(gòu)化數(shù)據(jù)來優(yōu)化和觀測(cè)，也使用非結(jié)構(gòu)化數(shù)據(jù)（如視頻、文本等）來優(yōu)化和觀測(cè)。結(jié)構(gòu)化數(shù)據(jù)主要是通過各類用戶行為模型來分析，非結(jié)構(gòu)化數(shù)據(jù)則主要由監(jiān)測(cè)各類社交媒體（如微信、QQ、微博、論壇等）和運(yùn)營(yíng)商客戶服務(wù)系統(tǒng)的記錄來優(yōu)化和觀測(cè)。

精細(xì)化運(yùn)營(yíng)和營(yíng)銷層。第四層的首要目標(biāo)是使用大數(shù)據(jù)來促使互聯(lián)網(wǎng)電視運(yùn)營(yíng)商實(shí)施精細(xì)化運(yùn)營(yíng)和市場(chǎng)營(yíng)銷。實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)和營(yíng)銷有6個(gè)方面的關(guān)鍵舉措：構(gòu)建基于用戶的數(shù)據(jù)提取和運(yùn)營(yíng)工具；構(gòu)建基于大數(shù)據(jù)的CRM系統(tǒng)；構(gòu)建基于大數(shù)據(jù)的營(yíng)銷活動(dòng)數(shù)據(jù)挖掘體系；推廣渠道質(zhì)量監(jiān)控和防作弊；通過數(shù)據(jù)挖掘的手段進(jìn)行客戶生命周期管理；客戶個(gè)性化推薦。

業(yè)務(wù)市場(chǎng)傳播層。這一層主要是希望通過直觀、生動(dòng)、可視化信息來配合業(yè)務(wù)推廣傳播，主要有兩種實(shí)現(xiàn)方式：一是使用令人印象深刻、鮮活生動(dòng)的圖表，二是提供形象化、可視化加工過的數(shù)據(jù)信息產(chǎn)品。

業(yè)務(wù)經(jīng)營(yíng)分析層和戰(zhàn)略分析層。這兩個(gè)層面更多的是傳統(tǒng)的經(jīng)營(yíng)分析、戰(zhàn)略分析層面的理論，互聯(lián)網(wǎng)電視運(yùn)營(yíng)商在這兩個(gè)層面都有自我特色：一是其數(shù)據(jù)來源可以取自大數(shù)據(jù)，并且數(shù)據(jù)的更新非?？欤斓娇梢詫?shí)現(xiàn)按小時(shí)級(jí)、分鐘級(jí)的更新速度，反觀傳統(tǒng)的經(jīng)營(yíng)分析、戰(zhàn)略分析最多是按月份來研究分析的。另一大優(yōu)勢(shì)在于大數(shù)據(jù)的數(shù)據(jù)來源更加多元化，包括對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行觀測(cè)和深入分析挖掘。

融合了大數(shù)據(jù)的互聯(lián)網(wǎng)電視運(yùn)營(yíng)分析體系，能實(shí)時(shí)研究用戶的偏好，向用戶提供個(gè)性化、智能化、多樣化的收視服務(wù)，提升使用體驗(yàn)，同時(shí)能給有關(guān)的行業(yè)研究機(jī)構(gòu)提供準(zhǔn)確的用戶偏好分析。

媒體也能夠獲取全時(shí)段的節(jié)目收視數(shù)據(jù)信息，為節(jié)目的策劃、設(shè)計(jì)、編排、調(diào)整等提供依據(jù)，提升節(jié)目品質(zhì)，促進(jìn)內(nèi)容創(chuàng)新。廣告商也能按照分析數(shù)據(jù)，及時(shí)調(diào)整廣告的投放策略，避免重復(fù)性投放，提升廣告投放精準(zhǔn)度。

同時(shí)，運(yùn)營(yíng)分析系統(tǒng)還能夠?yàn)檎托袠I(yè)機(jī)構(gòu)提供決策支持，自動(dòng)生成專業(yè)化的輿論及宣傳效果評(píng)價(jià)、輿情力度、輿情導(dǎo)向及動(dòng)態(tài)輿情變化等多維數(shù)據(jù)報(bào)告。

總之，用心做好互聯(lián)網(wǎng)電視，才是最終的目標(biāo)！

作者孔彬中國(guó)人民大學(xué)新聞學(xué)院博士研究生、國(guó)家新聞出版廣電總局廣播電視規(guī)劃院信息研究所運(yùn)營(yíng)總監(jiān)匡文波系中國(guó)人民大學(xué)新聞學(xué)院博士生導(dǎo)師