東方明珠：打造融媒時代的大數(shù)據(jù)轉(zhuǎn)型之路

文/楊嵐欽

1994年，東方明珠成為國內(nèi)首家文化傳媒上市公司；2011年，百視通上市，開創(chuàng)廣電新媒體上市先河；2014年，大小文廣合并，百視通吸收合并原東方明珠重大資產(chǎn)重組啟動；2015年，東方明珠新媒體股份有限公司成立，這是我國第一家產(chǎn)業(yè)鏈一體化布局的傳媒文化上市公司，集團分設(shè)四大事業(yè)群，包括媒體網(wǎng)絡(luò)事業(yè)群、影視互娛事業(yè)群、視頻購物事業(yè)群、文旅消費事業(yè)群。集團在互聯(lián)網(wǎng)轉(zhuǎn)型的大戰(zhàn)略下，經(jīng)歷了從大重組調(diào)整到現(xiàn)在的融媒轉(zhuǎn)型，一路走來，見證了“技術(shù)力量驅(qū)動業(yè)務(wù)發(fā)展“在廣電行業(yè)的落地。

歷時兩年，見證新媒體戰(zhàn)略穩(wěn)穩(wěn)落地

東方明珠作為綜合文化傳媒集團，擁抱新媒體轉(zhuǎn)型的浪潮，積極構(gòu)建自己的“文娛+”生態(tài)圈。東方明珠近兩年不斷在大數(shù)據(jù)、人工智能、垂直電商、云計算、物聯(lián)網(wǎng)等領(lǐng)域結(jié)合傳媒行業(yè)背景，進行了技術(shù)嘗試與變革創(chuàng)新，打造出了適合廣電行業(yè)的轉(zhuǎn)型之路。

圖1 東方明珠新媒體轉(zhuǎn)型目標

東方明珠研究院的研發(fā)團隊，是在互聯(lián)網(wǎng)轉(zhuǎn)型大戰(zhàn)略的方針指導下，公司自行組建并培養(yǎng)的一支精銳部隊，分為數(shù)據(jù)平臺組、測試運維組、軟件開發(fā)組和產(chǎn)品項目組四個核心小組。研發(fā)團隊負責整個集團大數(shù)據(jù)平臺及相關(guān)系統(tǒng)的建設(shè)，主要職責為：一是在匯聚公司核心業(yè)務(wù)用戶信息的基礎(chǔ)上，通過前端用戶行為埋點采集，獲取并接入線上線下業(yè)務(wù)的用戶全量數(shù)據(jù)；二是引入優(yōu)質(zhì)外部數(shù)據(jù)，豐富視頻、商品的基礎(chǔ)標簽，擴充內(nèi)容分析維度，提高用戶畫像的精度；三是新建適用于全渠道用戶經(jīng)營的推薦引擎，直接對接線上業(yè)務(wù)系統(tǒng)或線下業(yè)務(wù)場景，基于內(nèi)容標簽和用戶畫像實現(xiàn)精準個性化推薦和營銷觸達。

同時，團隊通過增強基礎(chǔ)數(shù)據(jù)平臺的穩(wěn)定性、安全性、計算處理能力及效率，協(xié)同業(yè)務(wù)逐步形成數(shù)據(jù)驅(qū)動的經(jīng)營機制，精準用戶洞察，實現(xiàn)精準導流、深度運營，為存量業(yè)務(wù)的精細化運營及新業(yè)務(wù)的針對性拓展提供堅實有力的數(shù)據(jù)支撐。

在公司的大力支持下，這支團隊銳意進取、開拓創(chuàng)新，無論是早期摸石頭過河、還是選擇行業(yè)內(nèi)領(lǐng)先的合作伙伴（如神策數(shù)據(jù)、公有云服務(wù)商等），都秉承著自主可控、精益求精的原則。兩年建設(shè)期，這支團隊攻城拔寨，喜訊不斷傳來：2016年9月，大數(shù)據(jù)建設(shè)相關(guān)規(guī)劃正式立項啟動；2017年3月，用戶中心管理平臺一期成功上線；2017年12月，用戶中心管理平臺二期順利發(fā)布、DevOps項目試點成功；2018年2月，會員系統(tǒng)一期改造完成；2018年6月，整合用戶中心和會員中心，升級為數(shù)據(jù)中臺，數(shù)據(jù)中臺初步整合完成，全集團39個駐地全業(yè)務(wù)線逐步投入使用；2018年6月底，基于大數(shù)據(jù)人工智能的智能推薦平臺上線、DevOps平臺推廣到整個集團研發(fā)相關(guān)部門；2018年9月，會員系統(tǒng)二期改造完成、前端全業(yè)務(wù)端口打通……

圖2 東方明珠OPG數(shù)據(jù)中臺

業(yè)務(wù)是檢驗大數(shù)據(jù)價值的核心標準

東方明珠數(shù)據(jù)中臺，是目前全公司39個駐地全業(yè)務(wù)線都在使用的大數(shù)據(jù)分析平臺，是實現(xiàn)公司業(yè)務(wù)數(shù)據(jù)全面匯集、智能應(yīng)用、精細運營的數(shù)據(jù)資源池。數(shù)據(jù)中臺整合的業(yè)務(wù)數(shù)據(jù)包括小紅巢、東方購物、百視通IPTV、百視通APP、百視通OTT、游戲群、東方明珠塔、看看新聞APP，等等。這些均通過東方明珠自建的“數(shù)據(jù)管道”進行一手數(shù)據(jù)的采集、清洗、處理和分析，然后應(yīng)用到各業(yè)務(wù)線的固定報表服務(wù)、多維分析服務(wù)、用戶畫像服務(wù)、即席查詢服務(wù)、東方明珠知識庫以及機器學習平臺（如智能推薦系統(tǒng)、營銷推送系統(tǒng)等）。

談到數(shù)據(jù)中臺建設(shè)的點滴歷程，東方明珠新媒體研究院研發(fā)總監(jiān)胡俊借用東方明珠旗下百視通總經(jīng)理程曦的原話告訴筆者，東方明珠的大數(shù)據(jù)建設(shè)，就是“要讓需要數(shù)據(jù)的崗位都用起來，數(shù)據(jù)用得多了、用得好了，就越用越準”。

大數(shù)據(jù)平臺初期建設(shè)，主要是研發(fā)部門在推動，后來伴隨著公司戰(zhàn)略調(diào)整、業(yè)務(wù)升級，業(yè)務(wù)部門越來越依賴大數(shù)據(jù)平臺的使用，參與度越來越深；平臺升級為數(shù)據(jù)中臺及后續(xù)業(yè)務(wù)融合，都是業(yè)務(wù)部門需求驅(qū)動的。目前使用范圍已經(jīng)覆蓋全業(yè)務(wù)線。自助式服務(wù)是東方明珠數(shù)據(jù)中臺的一大特色，極大改善了業(yè)務(wù)人員使用數(shù)據(jù)的效率和應(yīng)用深度。

為了真正發(fā)揮數(shù)據(jù)中臺的價值，東方明珠大數(shù)據(jù)工程主要從以下幾個方面著力建設(shè)：一是成立戰(zhàn)略專項小組。公司從計劃伊始就成立了戰(zhàn)略專項小組，黨委書記和總裁分別任組長和副組長；各業(yè)務(wù)部門牽頭的都是集團副總，從上而下貫徹餞行大數(shù)據(jù)戰(zhàn)略。二是數(shù)據(jù)需求匯總管理。大數(shù)據(jù)相關(guān)需求，全部匯總到總部數(shù)據(jù)研發(fā)小組，不再進行獨立小數(shù)倉和報表系統(tǒng)的研發(fā)；規(guī)范和嚴格元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理，實現(xiàn)統(tǒng)一管理、統(tǒng)一發(fā)布、統(tǒng)一運營。三是分步走、階段性項目推進機制。將大數(shù)據(jù)相關(guān)建設(shè)項目，實現(xiàn)集中指揮、統(tǒng)籌調(diào)度、資源共享，分階段分批進行落地處理、每個階段融入一部分關(guān)鍵業(yè)務(wù)，產(chǎn)出階段性成果，再進行其他業(yè)務(wù)和平臺整合。四是充分擁抱開源系統(tǒng)。傳統(tǒng)商業(yè)軟件無法滿足東方明珠這個體量和業(yè)務(wù)復雜度的大數(shù)據(jù)需求，并且廣電行業(yè)對自主可控、數(shù)據(jù)保護、安全隱私要求較高。五是沙堆模型落地DevOps。采用“沙堆模型”在多個業(yè)務(wù)線開展DevOps的工具鏈落地，加速研發(fā)流程，逐步遷移、持續(xù)部署、持續(xù)集成。六是構(gòu)建大數(shù)據(jù)生態(tài)合作體系。篩選適合東方明珠大數(shù)據(jù)發(fā)展體系的生態(tài)合作伙伴，如神策數(shù)據(jù)、公有云服務(wù)商等，這些服務(wù)商在整個中國的大數(shù)據(jù)生態(tài)圈里，都扮演著舉足輕重的角色。

大數(shù)據(jù)項目建設(shè)是否成功，業(yè)務(wù)是檢驗的核心標準。東方明珠的大數(shù)據(jù)建設(shè)和應(yīng)用深度日益成熟，并持續(xù)引領(lǐng)行業(yè)邁步向前。從廣電領(lǐng)域的視頻、電視購物、文化旅游地產(chǎn)，到現(xiàn)在的用戶價值精細化運營，東方明珠一直是整個廣電行業(yè)的翹楚。

教學相長，構(gòu)建安全自主可控的大數(shù)據(jù)平臺

圖3 神策推薦全流程示意圖

廣電領(lǐng)域強調(diào)安全、自主、可控，東方明珠所有的信息系統(tǒng)、數(shù)據(jù)系統(tǒng)，都必須滿足國家合規(guī)性的要求，比如，源數(shù)據(jù)要自主自控、異地多活，權(quán)限控制矩陣，強用戶管理體系等。東方明珠與其生態(tài)合作體系的合作伙伴們，一直是教學相長的關(guān)系，一路走來，共同把東方明珠數(shù)據(jù)中臺成功建設(shè)完成。以神策數(shù)據(jù)為例，目前東方明珠與神策數(shù)據(jù)的合作包括旗下的東方購物、百視通、梅奔中心、公有云服務(wù)商平臺優(yōu)化改造，甚至一些垂直孵化項目，等等。

東方明珠駐地眾多，總部技術(shù)團隊需要支撐的業(yè)務(wù)范圍輻射較廣，DevOps平臺的推廣和專業(yè)服務(wù)商的引入，在一定程度上緩解了技術(shù)人力稀缺的挑戰(zhàn)。在專業(yè)服務(wù)商選擇上，胡俊說：東方明珠非?？粗胤?wù)商在相關(guān)領(lǐng)域的實戰(zhàn)經(jīng)驗，技術(shù)的成熟度、解決方案的成熟度，公司資質(zhì)和團隊背景。在與神策數(shù)據(jù)合作的過程中，對神策數(shù)據(jù)團隊的產(chǎn)品和服務(wù)都很認可，除了大數(shù)據(jù)用戶行為分析平臺外，尤其對埋點服務(wù)和神策推薦算法的精準度非常滿意。

圖5 OPG數(shù)據(jù)中臺核心模塊

以百視通IPTV某駐地為例，日活數(shù)百萬用戶通過IPTV機頂盒付費觀看授權(quán)內(nèi)容，部分精品內(nèi)容需額外充值觀看。在接入神策推薦之前，其主要依賴人工推薦，以熱門、付費和內(nèi)容相關(guān)性為主要推薦參考。為提升用戶的觀影體驗、提高用戶留存以及充值付費營收，東方明珠利用神策推薦解決方案，完成采集點擊日志、展示日志、播放日志等所需用戶行為數(shù)據(jù)，基于行為數(shù)據(jù)構(gòu)建深度學習召回算法策略，采用GBDT+LR排序模型訓練數(shù)據(jù)。推薦算法上線兩周后，神策推薦的效果，對比人工推薦，僅CTR一個指標即提升了6倍，對推薦內(nèi)容的人均瀏覽次數(shù)提升了1.9倍。

圖4 召回模型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

就大數(shù)據(jù)平臺建設(shè)項目而言，東方明珠團隊對自主自控要求較高，在用戶行為分析、埋點等相關(guān)領(lǐng)域，神策數(shù)據(jù)所提供的技術(shù)和方案較為成熟，并且神策分析PaaS平臺的延展性和開放性能較好滿足集團復雜業(yè)務(wù)和自主可控的需求，因此，東方明珠利用神策分析平臺，充分打通內(nèi)部業(yè)務(wù)數(shù)據(jù)，發(fā)揮資源優(yōu)勢，構(gòu)建一體化運作的融媒體大數(shù)據(jù)用戶分析中心。在精準推薦項目中，東方明珠采用了與神策數(shù)據(jù)一起敏捷迭代的合作模式，即基于神策推薦平臺，雙方投入研發(fā)資源，針對廣電行業(yè)的個性化需求進行推薦算法的打磨升級，并基于神策推薦平臺進行廣電行業(yè)個性化應(yīng)用和場景的深度開發(fā)，經(jīng)過試點駐地的實際結(jié)果檢驗，目前已在各大駐地展開推廣。

對于東方明珠這種體量和復雜業(yè)態(tài)的傳媒集團，開展大數(shù)據(jù)建設(shè)工程，內(nèi)部數(shù)據(jù)打通難度，平臺是否安全、自主、可控，以及數(shù)據(jù)在業(yè)務(wù)線如何深入應(yīng)用，都是至關(guān)重要的點。胡俊說：萬里長征第一步，我們團隊一起順利邁出去了，我相信東方明珠的大數(shù)據(jù)平臺能成為廣電行業(yè)第一家。真正把數(shù)據(jù)價值充分發(fā)揮和應(yīng)用，并且為同行的大數(shù)據(jù)建設(shè)提供指導參考。