數(shù)據(jù)多維分析在傳統(tǒng)電視媒體融合發(fā)展中的運(yùn)用

匡雪

（中央廣播電視總臺(tái) 北京市 100038）

1 引言

自人類社會(huì)進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代以來(lái)，基于移動(dòng)互聯(lián)網(wǎng)的新媒體如雨后春筍般不斷涌現(xiàn)。借助新媒體技術(shù)，內(nèi)容發(fā)布者能夠?qū)⑿畔⒁愿咝Э旖莸姆绞酵扑偷接脩艚K端。新媒體技術(shù)的出現(xiàn)，不僅降低了傳媒行業(yè)的入門門檻，同時(shí)也面向媒體運(yùn)營(yíng)方提供了一系列高價(jià)值的工具，使得傳媒運(yùn)營(yíng)擁有了更多助力。OLAP 聯(lián)機(jī)數(shù)據(jù)處理是一種面向海量數(shù)據(jù)進(jìn)行分析的工具。在傳統(tǒng)電視媒體中，要獲得與運(yùn)營(yíng)和觀眾相關(guān)的信息通暢需要主動(dòng)發(fā)起調(diào)研活動(dòng)，對(duì)新媒體而言，智能終端就可以為媒體運(yùn)營(yíng)者提供包括用戶信息、位置、偏好等一系列的運(yùn)營(yíng)數(shù)據(jù)，其數(shù)據(jù)獲取的渠道更廣泛，數(shù)據(jù)采集更簡(jiǎn)便，這就使得媒體運(yùn)營(yíng)者能夠更輕易獲得遠(yuǎn)超出傳統(tǒng)媒體環(huán)境下的數(shù)據(jù)量。在傳統(tǒng)媒體嘗試與新媒體融合發(fā)展的今天，諸多傳統(tǒng)電視媒體也逐步將業(yè)務(wù)遷移到移動(dòng)互聯(lián)網(wǎng)上，借助自主研發(fā)的新媒體平臺(tái)或第三方新媒體平臺(tái)，傳統(tǒng)電視媒體也在新媒體領(lǐng)域生根發(fā)芽。在這一背景下，傳統(tǒng)電視媒體同樣能夠通過(guò)積極利用包括OLAP 在內(nèi)的一系列新媒體工具，為自身發(fā)展提供支撐。本文就將從數(shù)據(jù)多維度分析角度，探討新媒體技術(shù)在傳統(tǒng)電視媒體發(fā)展中的運(yùn)用。期望本文的研究能夠?qū)鹘y(tǒng)電視媒體在新媒體融合發(fā)展環(huán)境中的運(yùn)營(yíng)和發(fā)展提供助力。

2 相關(guān)技術(shù)與應(yīng)用

2.1 傳統(tǒng)電視媒體與新媒體融合發(fā)展的方式

信息技術(shù)的發(fā)展，使得諸多傳統(tǒng)電視媒體也逐步意識(shí)到新媒體的價(jià)值。新媒體主要依賴移動(dòng)互聯(lián)網(wǎng)和智能終端，通過(guò)碎片化、移動(dòng)化場(chǎng)景對(duì)外進(jìn)行媒體傳播。相比于傳統(tǒng)電視媒體，新媒體能夠更靈活、更廣泛。對(duì)傳統(tǒng)電視媒體而言，要進(jìn)行新媒體融合，利用新媒體技術(shù)進(jìn)行自身傳播的革新，主要有如下幾種典型方式：

2.1.1 基于廣電機(jī)頂盒的數(shù)字媒體應(yīng)用

隨著廣電網(wǎng)絡(luò)數(shù)字化傳播的開(kāi)始，以央視及各省級(jí)衛(wèi)視為主的傳統(tǒng)電視媒體開(kāi)始嘗試通過(guò)網(wǎng)絡(luò)進(jìn)行新媒體節(jié)目運(yùn)營(yíng)，借助網(wǎng)絡(luò)進(jìn)行高清頻道、特別頻道的運(yùn)營(yíng)。借助廣電網(wǎng)絡(luò)自身的數(shù)據(jù)采集能力，各傳統(tǒng)電視媒體可獲得傳統(tǒng)模擬方式內(nèi)容提供情況下無(wú)法獲得的諸多用戶數(shù)據(jù)，同時(shí)也可以嘗試更靈活的互動(dòng)方式。

2.1.2 基于自媒體平臺(tái)的新媒體應(yīng)用

以抖音、微博、微信視頻號(hào)、微信公眾號(hào)、小紅書(shū)為典型代表的新媒體平臺(tái)已經(jīng)成為了線上流量大戶。各傳統(tǒng)電視媒體逐步開(kāi)始在各大自媒體平臺(tái)開(kāi)設(shè)帳號(hào)，通過(guò)制作特別節(jié)目、設(shè)立互動(dòng)活動(dòng)、線上直播等方式，將自身傳播范圍進(jìn)行進(jìn)一步拓展。在上述平臺(tái)，傳統(tǒng)電視媒體也正在通過(guò)提升內(nèi)容的趣味性和互動(dòng)性，吸引自媒體觀眾的興趣。通常自媒體平臺(tái)也具備詳細(xì)的運(yùn)營(yíng)數(shù)據(jù)給內(nèi)容創(chuàng)作者。

2.1.3 自建自媒體平臺(tái)及其應(yīng)用

以央視頻、封面新聞為代表的中央和地方媒體，也基于自身業(yè)務(wù)發(fā)展需要，嘗試自建自媒體平臺(tái)，提供包括直播、短視頻、實(shí)時(shí)新聞、媒體互動(dòng)在內(nèi)的諸多自媒體服務(wù)，收到了較好的反饋。特別是央視頻，目前已經(jīng)成為國(guó)內(nèi)官方媒體紛紛效仿的新聞媒體傳播模式。

2.2 多維數(shù)據(jù)模型與OLAP

基于上述新媒體傳播渠道和平臺(tái)，傳統(tǒng)電視媒體可獲得諸多維度的數(shù)據(jù)，包括用戶數(shù)據(jù)、興趣數(shù)據(jù)、運(yùn)營(yíng)數(shù)據(jù)等等?；谶@些數(shù)據(jù)可以構(gòu)建多維數(shù)據(jù)模型，并應(yīng)用OLAP 相關(guān)技術(shù)，進(jìn)行進(jìn)一步的價(jià)值挖掘。

2.2.1 多維數(shù)據(jù)模型

對(duì)復(fù)雜的數(shù)據(jù)而言，要進(jìn)行和數(shù)據(jù)的進(jìn)一步分析，通常需要對(duì)其進(jìn)行數(shù)據(jù)建模。常見(jiàn)的多維數(shù)據(jù)模型有星型模型和雪花模型。

2.2.1.1 星型模型

星型模型是最常用的關(guān)系模型，通常通過(guò)一個(gè)事實(shí)表和多個(gè)維度表對(duì)信息進(jìn)行組織和描述。通常情況下，星型模型中存在一定程度的數(shù)據(jù)冗余，這是為了提升對(duì)數(shù)據(jù)的利用效率。典型的星型模型如圖1 所示。星型模型對(duì)非專業(yè)人員也同樣很好理解，同時(shí)可提供更低的數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建門檻。但其劣勢(shì)也顯而易見(jiàn)：數(shù)據(jù)冗余、操作緩慢、多維聯(lián)合處理效率低。

圖1： 星型模型

2.2.1.2 雪花模型

雪花模型是一種進(jìn)一步升級(jí)和規(guī)范的，具有更高層次維度的模型。但在雪花模型中并非所有維度表都會(huì)與事實(shí)表進(jìn)行直接關(guān)聯(lián)。分支維度表是通過(guò)一級(jí)維度表與事實(shí)表進(jìn)行關(guān)聯(lián)。其優(yōu)勢(shì)在于能夠顯著降低冗余，劣勢(shì)則是數(shù)據(jù)查詢效率降低。

2.2.1.3 OLAP

OLAP 是大數(shù)據(jù)分析最常用的技術(shù)之一，也是新媒體環(huán)境下數(shù)據(jù)分析的典型方法。該方式能夠加快數(shù)據(jù)共享速度，提升共享效率，便于高效分析。OLAP 典型的數(shù)據(jù)操作主要有：

（1）鉆?。杭赐ㄟ^(guò)調(diào)整分析方向和跟蹤方式，對(duì)維度和分析的程度進(jìn)行調(diào)整。

（2）切片與切塊：當(dāng)選定維度和值后，可以對(duì)其他維度上的數(shù)據(jù)存量進(jìn)行分析，若剩余數(shù)據(jù)僅存在于兩個(gè)維度，則可認(rèn)為是切片，否則可認(rèn)為是切塊。

（3）旋轉(zhuǎn)，即將維度的方向進(jìn)行改變，在數(shù)據(jù)的實(shí)際處理中就是對(duì)表格進(jìn)行行列變換，以適應(yīng)數(shù)據(jù)關(guān)聯(lián)分析的操作。

3 傳統(tǒng)電視媒體融合發(fā)展中數(shù)據(jù)多維分析的基本需求

3.1 傳統(tǒng)電視媒體融合發(fā)展的數(shù)據(jù)來(lái)源與種類

3.1.1 廣電網(wǎng)絡(luò)機(jī)頂盒數(shù)據(jù)采集

圖3： 基于Kylin 的數(shù)據(jù)分析時(shí)序

目前傳統(tǒng)電視媒體節(jié)目通常是借助廣電網(wǎng)絡(luò)、電信、移動(dòng)等機(jī)頂盒，以數(shù)字化方式對(duì)觀眾提供。這就使得上述數(shù)字渠道運(yùn)營(yíng)方能夠?qū)τ^眾基本信息（地理位置、用戶性別、年齡、家庭成員）、觀看習(xí)慣（觀看時(shí)段、觀看喜好、觀看時(shí)長(zhǎng)）、廣告投放效果（廣告展現(xiàn)量、廣告播放率和跳過(guò)率、廣告喜好）、節(jié)目收視率等等信息進(jìn)行精準(zhǔn)捕獲。

3.1.2 自媒體平臺(tái)數(shù)據(jù)提取

目前各類自媒體平臺(tái)均提供了數(shù)據(jù)導(dǎo)出和分析業(yè)務(wù)，以供內(nèi)容發(fā)布者和媒體運(yùn)營(yíng)者掌握運(yùn)營(yíng)數(shù)據(jù)。能夠獲得的信息相對(duì)于來(lái)自廣電數(shù)字媒體渠道更廣泛和細(xì)致，自媒體平臺(tái)已經(jīng)可以精細(xì)到個(gè)體數(shù)據(jù)。

3.1.3 調(diào)研數(shù)據(jù)

調(diào)研是傳統(tǒng)媒體在衛(wèi)星電視和模擬電視時(shí)期最常用的方式，通過(guò)問(wèn)卷調(diào)研可以對(duì)觀看時(shí)間、觀看習(xí)慣、收視率等進(jìn)行調(diào)研。盡管該方式數(shù)據(jù)樣本量較小，但也可以視作基礎(chǔ)數(shù)據(jù)來(lái)源之一。

3.2 數(shù)據(jù)多維分析應(yīng)用需求

對(duì)前文提到的諸多不同來(lái)源、不同細(xì)致程度、不同結(jié)構(gòu)的數(shù)據(jù)，數(shù)據(jù)的多維分析提出了如下幾點(diǎn)應(yīng)用需求。

3.2.1 數(shù)據(jù)管理

對(duì)上述數(shù)據(jù)的管理是數(shù)據(jù)多維分析的基本需求。通過(guò)提供數(shù)據(jù)的新增、修改、刪除、轉(zhuǎn)譯等功能，為外部用戶提供數(shù)據(jù)的基礎(chǔ)管理功能。管理的目標(biāo)有Impala 數(shù)據(jù)、Kylin 數(shù)據(jù)以及主題Cube 數(shù)據(jù)，其中Impala 和Kylin 分別用于應(yīng)對(duì)不同的數(shù)據(jù)存儲(chǔ)類型和場(chǎng)景，而主題Cube 數(shù)據(jù)則主要用于對(duì)數(shù)據(jù)的配置信息進(jìn)行存儲(chǔ)。例如來(lái)自客戶端的上億條單日數(shù)據(jù)，可通過(guò)Kylin 進(jìn)行存儲(chǔ)。而千萬(wàn)級(jí)數(shù)據(jù)則通過(guò)Impala進(jìn)行存儲(chǔ)。

3.2.2 多維數(shù)據(jù)分析

多維數(shù)據(jù)分析是核心業(yè)務(wù)。以客戶端基礎(chǔ)事件分析為例，其主要關(guān)注UV 和PV，并從宏觀角度對(duì)來(lái)自新媒體渠道的數(shù)據(jù)進(jìn)行基礎(chǔ)量級(jí)的分析。而用戶數(shù)據(jù)分析中還存在活躍用戶數(shù)等關(guān)鍵業(yè)務(wù)指標(biāo)，其也是通過(guò)海量歷史數(shù)據(jù)，對(duì)用戶進(jìn)行追蹤和多維度分析后，獲得用戶的歷史活躍度。

3.2.3 數(shù)據(jù)可視化展示

數(shù)據(jù)可視化是數(shù)據(jù)分析的最終呈現(xiàn)渠道之一。對(duì)于部分?jǐn)?shù)據(jù)可通過(guò)詳細(xì)報(bào)表進(jìn)行展現(xiàn)，但對(duì)于發(fā)展趨勢(shì)、數(shù)量、類型組成、概率等數(shù)據(jù)，通過(guò)可視化圖標(biāo)更便于直觀展示。

3 傳統(tǒng)電視媒體融合發(fā)展中數(shù)據(jù)多維分析研究與應(yīng)用

3.1 數(shù)據(jù)多維分析架構(gòu)設(shè)計(jì)

根據(jù)對(duì)數(shù)據(jù)多維分析的基礎(chǔ)設(shè)施和軟件組件需求可知，該技術(shù)應(yīng)用建立在Hadoop 及其附屬設(shè)施之上。同時(shí)為保障分析業(yè)務(wù)的進(jìn)行和系統(tǒng)基礎(chǔ)數(shù)據(jù)存儲(chǔ)，需提供業(yè)務(wù)管理子系統(tǒng)，以及基礎(chǔ)數(shù)據(jù)采集和存儲(chǔ)層。最終形成的系統(tǒng)架構(gòu)如圖2 所示。

圖2： 數(shù)據(jù)多維分析架構(gòu)

3.2 媒體核心數(shù)據(jù)分析關(guān)鍵業(yè)務(wù)設(shè)計(jì)

媒體核心數(shù)據(jù)分析中，數(shù)據(jù)管理、數(shù)據(jù)分析和數(shù)據(jù)可視化是三大核心業(yè)務(wù)。

3.2.1 數(shù)據(jù)管理

數(shù)據(jù)管理部分實(shí)際對(duì)Impala 數(shù)據(jù)、Kylin 數(shù)據(jù)以及主題Cube 數(shù)據(jù)進(jìn)行增加、修改、刪除等操作，其管理本質(zhì)就是對(duì)系統(tǒng)的數(shù)據(jù)分析所需的數(shù)據(jù)源進(jìn)行管理和對(duì)接。

（1）Impala 數(shù)據(jù)管理

Impala 是一個(gè)處理PB 級(jí)別數(shù)據(jù)量的高性能關(guān)系查詢引擎，其基于Hive 進(jìn)行構(gòu)建。由于HDFS 中的數(shù)據(jù)無(wú)法直接利用MapReduce進(jìn)行計(jì)算，而服務(wù)可對(duì)整個(gè)數(shù)據(jù)塊進(jìn)行訪問(wèn)。因此可通過(guò)在Hive 中構(gòu)建一個(gè)Parquet 中間表，將數(shù)據(jù)導(dǎo)入到Impala 中，最后通過(guò)Hue 進(jìn)行處理和交互。這也就是對(duì)Impala 數(shù)據(jù)進(jìn)行管理的核心思路。

（2）Kylin 數(shù)據(jù)管理

Kylin 是一個(gè)基于Cube 快速立方體算法的數(shù)據(jù)分析模式，其可以支持百億規(guī)模的數(shù)據(jù)的亞秒級(jí)查詢。Kylin 實(shí)質(zhì)上也是支持Hive 數(shù)據(jù)源，因此對(duì)Hylin 數(shù)據(jù)進(jìn)行管理，實(shí)質(zhì)上就是對(duì)Hive 上的數(shù)據(jù)集合進(jìn)行管理。

（3）主題Cube 數(shù)據(jù)管理

主題Cube 數(shù)據(jù)的管理實(shí)質(zhì)上是一種業(yè)務(wù)數(shù)據(jù)和配置信息的管理。其本質(zhì)是對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)中的主題Cube 數(shù)據(jù)進(jìn)行新增、修改、刪除、授權(quán)等操作。由于主題Cube 數(shù)據(jù)包含數(shù)據(jù)源信息、數(shù)據(jù)維度、主題信息等分析的核心配置信息，但其本身數(shù)據(jù)量較小，因此可以用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，將其視作普通的系統(tǒng)業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲(chǔ)。

3.2.2 數(shù)據(jù)分析

數(shù)據(jù)分析部分，以新媒體客戶端基礎(chǔ)事件和用戶活躍度分析為例進(jìn)行研究，上述兩分析業(yè)務(wù)分別對(duì)應(yīng)不同量級(jí)的數(shù)據(jù)分析，相對(duì)較為典型。

3.2.2.1 客戶端基礎(chǔ)事件數(shù)據(jù)分析

客戶端基礎(chǔ)事件數(shù)據(jù)量高達(dá)億條以上，因此適合使用面向更大量數(shù)據(jù)的Kylin 進(jìn)行分析。在進(jìn)行基礎(chǔ)時(shí)間分析時(shí)，首先需要通過(guò)權(quán)限控制獲取操作權(quán)限。此后針對(duì)所分析的數(shù)據(jù)的維度和度量進(jìn)行選擇，確定本次分析的目標(biāo)。此后通過(guò)數(shù)據(jù)調(diào)用接口，調(diào)用Kylin 查詢數(shù)據(jù)業(yè)務(wù)。當(dāng)查詢完成時(shí)，結(jié)果將被封裝成為數(shù)據(jù)結(jié)果集，并進(jìn)行層層上報(bào)，最終通過(guò)可視化頁(yè)面進(jìn)行頁(yè)面展示。在分析過(guò)程中，針對(duì)細(xì)致到用戶地理位置、網(wǎng)絡(luò)接入信息、開(kāi)啟方式、喜好等海量基礎(chǔ)數(shù)據(jù)，借助Kylin 分析可實(shí)現(xiàn)海量數(shù)據(jù)多維度分析，甚至可通過(guò)A/B 測(cè)試，對(duì)灰度發(fā)布的媒體客戶端或媒體信息進(jìn)行價(jià)值驗(yàn)證。這能夠?yàn)樾旅襟w融合下的傳統(tǒng)電視媒體運(yùn)營(yíng)提供較堅(jiān)實(shí)的決策支撐。

3.2.2.2 用戶活躍度分析

用戶活躍度數(shù)據(jù)量級(jí)顯著少于客戶端基礎(chǔ)數(shù)據(jù)，其量級(jí)大約在千萬(wàn)級(jí)，因此可以選用Impala 作為數(shù)據(jù)存儲(chǔ)手段。以央視頻為例，要獲知PV、UV、單視頻曝光量、點(diǎn)擊量等，或要分析用戶活躍度時(shí)，可在鑒權(quán)完成后通過(guò)選擇所要分析的維度和度量，并通過(guò)controller 作為代理，訪問(wèn)Service 提供的Impala 接口，最終獲取到Impala 的數(shù)據(jù)，并借助前端頁(yè)面進(jìn)行結(jié)果展示。

3.2.3 數(shù)據(jù)可視化

數(shù)據(jù)可視化的實(shí)現(xiàn)主要依賴數(shù)據(jù)格式的解析和可視化組件的應(yīng)用。在上層應(yīng)用中，解析和可視化組件調(diào)用均被封裝在主題Cube 中。通過(guò)手動(dòng)選擇維度和度量，并選擇數(shù)據(jù)范圍和數(shù)據(jù)源，主題Cube 可根據(jù)上述配置對(duì)指定可視化模塊進(jìn)行調(diào)用，并對(duì)數(shù)據(jù)進(jìn)行填充，實(shí)現(xiàn)數(shù)據(jù)可視化。特別地，在可視化部分實(shí)質(zhì)上也可以提供表格數(shù)據(jù)表導(dǎo)出，以提供可供二次分析的數(shù)據(jù)報(bào)表。數(shù)據(jù)可視化的處理流程如圖4 所示。

圖4： 數(shù)據(jù)可視化及導(dǎo)出流程

4 結(jié)語(yǔ)

在傳統(tǒng)電視媒體積極踐行新媒體融合的今天，諸多新媒體技術(shù)能夠?yàn)閭鹘y(tǒng)電視媒體的運(yùn)營(yíng)和發(fā)展帶來(lái)新的契機(jī)。本文所探討的面向媒體的多維數(shù)據(jù)分析技術(shù)，不僅適用于擁有新媒體渠道的傳統(tǒng)媒體，同時(shí)也適用于基于廣電網(wǎng)絡(luò)、新媒體平臺(tái)以及自建新媒體平臺(tái)的傳統(tǒng)媒體融合場(chǎng)景?；贙ylin 和Impala 兩種數(shù)據(jù)存儲(chǔ)類型，運(yùn)營(yíng)者可以針對(duì)獲取到的海量用戶和運(yùn)營(yíng)數(shù)據(jù)進(jìn)行二次挖掘，并借助可視化工具進(jìn)行決策。期望本文的研究能對(duì)傳統(tǒng)電視媒體在新媒體工具中的應(yīng)用提供一些啟示。