大數(shù)據(jù)技術(shù)在媒體行業(yè)的實(shí)踐與應(yīng)用

黃永卿 百分點(diǎn)集團(tuán)企業(yè)業(yè)務(wù)事業(yè)部

百分點(diǎn)是國(guó)內(nèi)大數(shù)據(jù)踐行者，百分點(diǎn)專注于兩個(gè)方面,一是以公有云Saas模式為國(guó)內(nèi)將近80%以上主流媒體電商以及各種移動(dòng)APP提供個(gè)性化服務(wù)。二是提供本地化私有化大數(shù)據(jù)解決方案。我們發(fā)現(xiàn)很多傳統(tǒng)大型企業(yè)和單位由于機(jī)制、數(shù)據(jù)安全以及自身運(yùn)作和內(nèi)部流程的原因，不愿意應(yīng)用公有云。為此，我們?yōu)檫@些企業(yè)和單位提供本地化、私有化大數(shù)據(jù)解決方案，幫助他們改造內(nèi)部的工作流程。

今天演講的主題是大數(shù)據(jù)技術(shù)在媒體行業(yè)的實(shí)踐和應(yīng)用，介紹我們對(duì)大數(shù)據(jù)等新技術(shù)的看法，以及相應(yīng)的新技術(shù)在廣電媒體行業(yè)的應(yīng)用和實(shí)踐。

1. 融合媒體的趨勢(shì)與困境

報(bào)業(yè)、雜志、廣播、電視是國(guó)家的四大傳統(tǒng)媒體，隨著新技術(shù)的發(fā)展，涌現(xiàn)了很多包括移動(dòng)互聯(lián)媒體、戶外媒體等新媒體，國(guó)家已對(duì)新媒體提出了相應(yīng)的政策建議。在信息多渠道、多元化的模式下，包括了種類多元化和雙向性質(zhì)多元化，傳統(tǒng)媒體和新媒體融合不能一蹴而就，需至少包括相應(yīng)的四個(gè)階段或者四個(gè)步驟。

媒體融合是信息傳輸通道的多元化下的新作業(yè)模式，它把傳統(tǒng)媒體與互聯(lián)網(wǎng)、手機(jī)、手持智能終端等新興媒體傳播通道有效結(jié)合起來，資源共享，集中處理，衍生出不同形式的信息產(chǎn)品，然后通過不同的平臺(tái)傳播給受眾。媒體融合經(jīng)過了四個(gè)發(fā)展階段：第一個(gè)階段是新媒體建設(shè)和數(shù)字化轉(zhuǎn)型階段，很多廣電客戶開始自己的APP建設(shè)；第二個(gè)階段是新媒體運(yùn)營(yíng)和跨平臺(tái)資源共享階段，從底層數(shù)據(jù)層進(jìn)行整合；第三個(gè)階段是全媒體資源整合階段，從底層數(shù)據(jù)向前端資源相應(yīng)渠道進(jìn)行整合，在所有整合過程中形成中心化業(yè)務(wù)平臺(tái)；第四個(gè)階段是產(chǎn)業(yè)模式融合創(chuàng)新階段，中心平臺(tái)運(yùn)營(yíng)自身一整套的運(yùn)營(yíng)模式。

現(xiàn)代融合媒體具有以下4個(gè)特點(diǎn)：

（1）媒體個(gè)性化突出。受眾更加細(xì)分，個(gè)人可以通過新媒體定制自己需要的資訊。

（2）表現(xiàn)形式多樣。多種呈現(xiàn)方式可以做到即時(shí)的、無限的擴(kuò)展內(nèi)容。展現(xiàn)形式越來越豐富，例如各種APP、短視頻、視頻直播等。

（3）受眾選擇性增多。人人都可以接收信息，人人也都可以充當(dāng)信息發(fā)布者，新媒體是“受眾主導(dǎo)型”。

（4）信息發(fā)布實(shí)時(shí)。無時(shí)間限制，隨時(shí)可以加工發(fā)布，并具備強(qiáng)大的軟件和網(wǎng)頁(yè)呈現(xiàn)內(nèi)容的能力。大數(shù)據(jù)時(shí)代媒體融合存在的困境，一是內(nèi)容如何快速高效的生產(chǎn)；二是如何更加深入洞察到媒體的受眾；三是如何基于實(shí)時(shí)動(dòng)態(tài)用戶畫像體系提供個(gè)性化的內(nèi)容和個(gè)性化服務(wù)；四是媒體企業(yè)如何進(jìn)行運(yùn)營(yíng)分析。

百分點(diǎn)自己不做媒體，而是為客戶提供一整套運(yùn)營(yíng)模式和人才隊(duì)伍建設(shè)的解決方案。

2. 融合媒體大數(shù)據(jù)方案

我認(rèn)為融合媒體大數(shù)據(jù)建設(shè)應(yīng)有三個(gè)目標(biāo)，第一是大數(shù)據(jù)基礎(chǔ)能力建設(shè)。不斷整合底層數(shù)據(jù)資源和內(nèi)容，實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)歸一和現(xiàn)有平臺(tái)的集成。

第二是支撐業(yè)務(wù)開展。圍繞采編發(fā)各個(gè)環(huán)節(jié)，提供相應(yīng)的資源工具，高效開展各種業(yè)務(wù)。激活用戶，實(shí)現(xiàn)智能編務(wù)、智能運(yùn)營(yíng)、精準(zhǔn)傳播。

第三是賦予持續(xù)的大數(shù)據(jù)能力，實(shí)現(xiàn)平臺(tái)能力擴(kuò)展、應(yīng)用能力擴(kuò)展、分析能力迭代和創(chuàng)新能力提升。形成大數(shù)據(jù)技術(shù)的媒體業(yè)務(wù)全流程支撐能力，核心環(huán)節(jié)主要是兩部分。業(yè)務(wù)處理部分包括策、采、編環(huán)節(jié)，業(yè)務(wù)管理部分包括發(fā)、供、管、饋環(huán)節(jié)。對(duì)于上述的每一個(gè)環(huán)節(jié)，基于底層的全媒體大數(shù)據(jù)智能資產(chǎn)管理平臺(tái)都提供相應(yīng)的工具支持。圖1是大數(shù)據(jù)技術(shù)的媒體業(yè)務(wù)全流程支撐。

圖1 大數(shù)據(jù)技術(shù)的媒體業(yè)務(wù)全流程支撐

融合媒體大數(shù)據(jù)平臺(tái)系統(tǒng)整體支撐架構(gòu)見圖2。融合媒體大數(shù)據(jù)平臺(tái)支撐架構(gòu)分為數(shù)據(jù)源層、數(shù)據(jù)接入層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)管理層、數(shù)據(jù)加工層、數(shù)據(jù)服務(wù)層和數(shù)據(jù)應(yīng)用層。在數(shù)據(jù)源層、數(shù)據(jù)接入層、數(shù)據(jù)存儲(chǔ)層，所有資源都可以在平臺(tái)上快速接入、存儲(chǔ)；在數(shù)據(jù)管理層實(shí)現(xiàn)數(shù)據(jù)的全生命周期管理，包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資源管理、元數(shù)據(jù)管理和數(shù)據(jù)安全管理；數(shù)據(jù)加工層運(yùn)用批處理計(jì)算、流處理計(jì)算、實(shí)時(shí)處理計(jì)算，具備數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理、統(tǒng)計(jì)分析、工作流和全文檢索的能力；數(shù)據(jù)服務(wù)層提供文本分析服務(wù)、內(nèi)容推薦服務(wù)、用戶數(shù)據(jù)服務(wù)、智能檢索服務(wù)和數(shù)據(jù)訂閱服務(wù)；數(shù)據(jù)應(yīng)用層提供標(biāo)簽畫像、數(shù)據(jù)分析工具集、數(shù)據(jù)服務(wù)門戶、專題庫(kù)和智能檢索。

資產(chǎn)管理、專題事件跟蹤分析和用戶洞察分析等業(yè)務(wù)場(chǎng)景提供有力的技術(shù)支撐。

選題決策分析業(yè)務(wù)場(chǎng)景提供基于智能化熱點(diǎn)新聞?lì)愋头治鐾诰蚣夹g(shù)，實(shí)現(xiàn)對(duì)新聞生產(chǎn)中選題策劃的深度分析挖掘；新聞采編業(yè)務(wù)場(chǎng)景基于大數(shù)據(jù)數(shù)據(jù)處理技術(shù)和推薦技術(shù)，提供媒體素材智能化整合，智能化素材精準(zhǔn)推送，實(shí)現(xiàn)智能化新聞生產(chǎn)輔助能力；傳播影響力分析業(yè)務(wù)場(chǎng)景提供基于大數(shù)據(jù)技術(shù)的傳播影響力分析挖掘能力，形成新聞熱點(diǎn)傳播影響力數(shù)據(jù)模型和指標(biāo)體系；媒體資產(chǎn)管理業(yè)務(wù)場(chǎng)景提供媒體數(shù)據(jù)資產(chǎn)全生命周期管理方法，實(shí)現(xiàn)媒體數(shù)據(jù)資產(chǎn)存儲(chǔ)管理、標(biāo)準(zhǔn)管理、流程管理、質(zhì)量管理和安全管控；專題事件跟蹤分析業(yè)務(wù)場(chǎng)景提供基于智能化媒體專題事件跟蹤分析技術(shù)，實(shí)現(xiàn)對(duì)熱點(diǎn)專題事件進(jìn)行傳播跟蹤分析，為專題新聞生產(chǎn)提供智能化分析手段；用戶洞察分析業(yè)務(wù)場(chǎng)景基于用戶畫像技術(shù)提供全方位傳媒生態(tài)圈的內(nèi)外部用戶的用戶標(biāo)簽體系及全生命周期用戶畫像。

百分點(diǎn)融合媒體大數(shù)據(jù)方案具有以下4個(gè)特點(diǎn)：

（1）全方位深度洞察所有媒體用戶的媒體用戶畫像能力。通過構(gòu)建完善的媒體用戶畫像信息，對(duì)用戶畫像信息進(jìn)行深度分析，多維度的瀏覽與分析用戶的360度全方位的信息。

（2）擁有國(guó)內(nèi)市場(chǎng)領(lǐng)先的自然語言文本分析處理技術(shù)。深度文本學(xué)習(xí)算法和語義分析技術(shù)，幫助媒體企業(yè)解決海量文本數(shù)據(jù)處理的難題。

（3）具備針對(duì)客戶端或網(wǎng)站的運(yùn)營(yíng)策略，提升用戶體驗(yàn)和運(yùn)行效能的技術(shù)實(shí)力和經(jīng)驗(yàn)。展示網(wǎng)站、客戶端運(yùn)營(yíng)情況，調(diào)整其運(yùn)營(yíng)策略；提升用戶體驗(yàn)，擴(kuò)大用戶增長(zhǎng)率。

圖2 融合媒體大數(shù)據(jù)平臺(tái)系統(tǒng)整體支撐架構(gòu)

（4）已擁有龐大的媒體客戶服務(wù)群體。通過多年的個(gè)性化推薦服務(wù)，積累了大量的媒體客戶，這都將成為我們的進(jìn)一步合作的潛在客戶群體。

3. 成功案例介紹

百分點(diǎn)最近一年開始進(jìn)入廣電行業(yè)，參與了很多大型傳統(tǒng)媒體的轉(zhuǎn)型項(xiàng)目，媒體用戶包括新華社、新華網(wǎng)、國(guó)家新聞出版廣電總局、江蘇廣電總臺(tái)、江蘇有線、人民日?qǐng)?bào)社、南方報(bào)業(yè)等。下面和大家分享百分點(diǎn)承建的新華社數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目。圖3是新華社數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目背景。我們做的事情是為新華社建立一整套數(shù)據(jù)服務(wù)平臺(tái)，資源整合之后，平臺(tái)提供相應(yīng)的工具，為不同的業(yè)務(wù)環(huán)節(jié)提供更高效的工作模式。

圖4是新華社數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目的詳細(xì)方案。最底層是大數(shù)據(jù)基礎(chǔ)平臺(tái)，功能包括數(shù)據(jù)采集與ETL、分布式存儲(chǔ)、SQL支持、全文檢索、實(shí)時(shí)流處理、數(shù)據(jù)分析、運(yùn)維管理、資源調(diào)度管理和安全管理。大數(shù)據(jù)基礎(chǔ)平臺(tái)上層是數(shù)據(jù)資源管理服務(wù)，包括基礎(chǔ)中文語義分析和內(nèi)容精準(zhǔn)推薦。任何技術(shù)都要服務(wù)于業(yè)務(wù)，重要的是如何讓業(yè)務(wù)效率更高，基礎(chǔ)中文語義分析能讓后臺(tái)服務(wù)器完成各種稿件中文的處理，情感的分析等；用戶在看我們內(nèi)容，我們也在實(shí)時(shí)分析用戶的行為數(shù)據(jù)，內(nèi)容精準(zhǔn)推薦通過用戶畫像標(biāo)簽體系，分析用戶閱讀偏好、用戶消費(fèi)特征、用戶上網(wǎng)行為特征，進(jìn)行相應(yīng)的個(gè)性化內(nèi)容推薦，包括具備用戶個(gè)性化標(biāo)簽推薦、標(biāo)簽多義分析、標(biāo)簽關(guān)聯(lián)分析與推薦等功能的富標(biāo)簽庫(kù)服務(wù)的建立。

圖3 新華社數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目背景

圖4 新華社數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目詳細(xì)方案

圖5 新華社數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目現(xiàn)場(chǎng)模板截圖

圖6 新華網(wǎng)標(biāo)簽畫像和個(gè)性化推薦項(xiàng)目

圖5 是新華社數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目的現(xiàn)場(chǎng)模板截圖，可以看到數(shù)據(jù)媒體整合、不同數(shù)據(jù)資源的相關(guān)分析以及在運(yùn)行過程中的各種情況?；谶@些數(shù)據(jù)可以分析運(yùn)營(yíng)效率是怎么提升的，客戶滿意度是怎么提升的。

第二個(gè)是新華網(wǎng)的案例，主要是面向新華網(wǎng)的智能終端，包括標(biāo)簽畫像和基于用戶畫像體系開展的個(gè)性化推薦兩部分內(nèi)容。