媒體大數(shù)據(jù)服務(wù)平臺設(shè)計與構(gòu)建方法研究

陳珺

摘 要：為了貫徹落實中央關(guān)于媒體融合發(fā)展的戰(zhàn)略要求，需要積極應(yīng)對互聯(lián)網(wǎng)發(fā)展帶來的傳播格局調(diào)整和用戶需求變化，努力構(gòu)建與媒體發(fā)展趨勢相適應(yīng)、與建設(shè)新型一流媒體集團相適應(yīng)的媒體大數(shù)據(jù)服務(wù)體系。通過匯聚內(nèi)外媒體數(shù)據(jù)資源，緊密圍繞媒體融合發(fā)展業(yè)務(wù)需求，構(gòu)建大數(shù)據(jù)基礎(chǔ)平臺、大數(shù)據(jù)資源管理平臺、大數(shù)據(jù)分析平臺和大數(shù)據(jù)服務(wù)能力開放平臺四大層級，逐步形成“數(shù)據(jù)整合、能力共享、應(yīng)用創(chuàng)新”的媒體大數(shù)據(jù)工作體系。

關(guān)鍵詞：媒體大數(shù)據(jù)；大數(shù)據(jù)平臺；數(shù)據(jù)資源管理；數(shù)據(jù)分析；數(shù)據(jù)服務(wù)

中圖分類號：G220.7 文獻標識碼：A

文章編號：1671-0134（2018）09-064-03 DOI：10.19483/j.cnki.11-4653/n.2018.09.025

引言

根據(jù)中央關(guān)于推動傳統(tǒng)媒體和新興媒體融合發(fā)展的重要指示與要求，要強化互聯(lián)網(wǎng)思維，堅持傳統(tǒng)媒體和新興媒體優(yōu)勢互補、一體發(fā)展，堅持以先進技術(shù)為支撐，內(nèi)容建設(shè)為根本，推動傳統(tǒng)媒體和新興媒體在內(nèi)容、渠道、平臺、經(jīng)營、管理等方面的深度融合。

為了貫徹落實中央關(guān)于媒體融合發(fā)展的戰(zhàn)略要求，需要積極應(yīng)對互聯(lián)網(wǎng)發(fā)展帶來的傳播格局調(diào)整和用戶需求變化，努力構(gòu)建與媒體發(fā)展趨勢相適應(yīng)、與建設(shè)新型一流媒體集團相適應(yīng)的媒體大數(shù)據(jù)服務(wù)體系。

1.需求分析

隨著傳統(tǒng)媒體和新興媒體融合發(fā)展的進一步深化，媒體企業(yè)在大數(shù)據(jù)資源整合、大數(shù)據(jù)資產(chǎn)管理、大數(shù)據(jù)分析挖掘能力建設(shè)以及數(shù)據(jù)服務(wù)開放共享等方面面臨一系列問題，從而對技術(shù)系統(tǒng)的規(guī)劃建設(shè)提出了更高的要求。

1.1實現(xiàn)統(tǒng)一的大數(shù)據(jù)資源采集引進匯聚

媒體機構(gòu)通過各種渠道采集和引進了大量外部數(shù)據(jù)，包括國內(nèi)外互聯(lián)網(wǎng)網(wǎng)站、數(shù)字報刊雜志、“兩微一端”、社交媒體等。同時，媒體機構(gòu)內(nèi)部也產(chǎn)生各類稿件數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、運營數(shù)據(jù)、用戶行為數(shù)據(jù)等。如此眾多的外部和內(nèi)部數(shù)據(jù)分散存儲在不同的部門和技術(shù)系統(tǒng)里，數(shù)據(jù)資源之間存在大量重復(fù)和冗余，數(shù)據(jù)關(guān)聯(lián)關(guān)系沒有打通，數(shù)據(jù)資源條塊化分隔情況比較嚴重，數(shù)據(jù)資源共享和再利用能力較低。因此，需要整合機構(gòu)現(xiàn)有大數(shù)據(jù)資源采集能力和引進能力，按需匯聚各類數(shù)據(jù)資源，實現(xiàn)數(shù)據(jù)資源的匯聚融合、開放共享和互聯(lián)互通。

1.2實現(xiàn)媒體大數(shù)據(jù)資產(chǎn)全生命周期管理

一個媒體大數(shù)據(jù)服務(wù)體系離不開高效的數(shù)據(jù)存儲與計算基礎(chǔ)平臺，由于數(shù)據(jù)種類多、數(shù)據(jù)量大、計算處理效率不同，因此，對大數(shù)據(jù)存儲與計算處理能力提出了更高的要求。需要基于互聯(lián)網(wǎng)主流大數(shù)據(jù)平臺技術(shù)架構(gòu)，分層構(gòu)建高效分布式媒體大數(shù)據(jù)存儲與計算平臺，能夠?qū)崿F(xiàn)PB量級的大數(shù)據(jù)存儲和處理能力，并根據(jù)業(yè)務(wù)需要實現(xiàn)從實時到離線的不同數(shù)據(jù)處理效率。同時，需要實現(xiàn)對平臺上所有媒體大數(shù)據(jù)資產(chǎn)的全生命周期管理，實現(xiàn)數(shù)據(jù)存儲管理、標準管理、流程管理、質(zhì)量管理和安全管理。

1.3建設(shè)統(tǒng)一的大數(shù)據(jù)分析平臺

現(xiàn)在，策劃、采集、編寫、發(fā)布、反饋等各類媒體業(yè)務(wù)環(huán)節(jié)越來越離不開大數(shù)據(jù)分析的支持，因此有必要進一步加強自然語言處理、數(shù)據(jù)挖掘、機器學(xué)習、數(shù)據(jù)可視化等智能信息處理技術(shù)創(chuàng)新，提升知識發(fā)現(xiàn)、大數(shù)據(jù)分析挖掘能力，助力提升策采編發(fā)供饋等各項媒體業(yè)務(wù)創(chuàng)新能力，提供滿足業(yè)務(wù)需要的各類公共性媒體大數(shù)據(jù)分析服務(wù)。

1.4提供開發(fā)共享的媒體大數(shù)據(jù)能力開放平臺

通過制訂統(tǒng)一的平臺標準、數(shù)據(jù)標準、服務(wù)標準和管理標準，將媒體大數(shù)據(jù)平臺形成的各項服務(wù)進行封裝，實現(xiàn)這些服務(wù)的模塊化和標準化，形成各類公共模型、工具和組件，提供面向各類媒體創(chuàng)新業(yè)務(wù)的公共性、基礎(chǔ)性和開放共享的服務(wù)能力支撐。

2.建設(shè)目標

基于互聯(lián)網(wǎng)思維，匯聚內(nèi)外媒體數(shù)據(jù)資源，圍繞媒體融合發(fā)展業(yè)務(wù)需求，構(gòu)建統(tǒng)一的媒體大數(shù)據(jù)服務(wù)平臺，逐步形成“數(shù)據(jù)整合、能力共享、應(yīng)用創(chuàng)新”的媒體大數(shù)據(jù)工作體系。

匯聚內(nèi)外數(shù)據(jù)資源，形成媒體大數(shù)據(jù)服務(wù)體系；面向互聯(lián)網(wǎng)思維，構(gòu)建媒體大數(shù)據(jù)能力開放平臺。

3.總體架構(gòu)設(shè)計

3.1總體架構(gòu)

媒體大數(shù)據(jù)服務(wù)體系從總體架構(gòu)上可劃分為大數(shù)據(jù)基礎(chǔ)平臺、大數(shù)據(jù)資源管理平臺、大數(shù)據(jù)分析平臺和大數(shù)據(jù)服務(wù)能力開放平臺四個層級。

3.2大數(shù)據(jù)基礎(chǔ)平臺

大數(shù)據(jù)基礎(chǔ)平臺是大數(shù)據(jù)存儲管理以及分析計算運行的基礎(chǔ)環(huán)境，包含大數(shù)據(jù)的基礎(chǔ)運行環(huán)境搭建、資源任務(wù)調(diào)度管理、實時/離線計算支撐、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲、數(shù)據(jù)檢索、系統(tǒng)管理監(jiān)控、數(shù)據(jù)訪問的標準化SQL支持等功能。

可按需提供關(guān)系型數(shù)據(jù)庫、列式數(shù)據(jù)庫、分布式文件系統(tǒng)、分析型數(shù)據(jù)庫、全文檢索數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等不同類型的數(shù)據(jù)存儲資源。

可根據(jù)業(yè)務(wù)的使用場景以及數(shù)據(jù)自身的特點，提供合適的計算框架進行實時或離線的計算，完成分析功能。針對實時性要求不是很高的數(shù)據(jù)可使用MapReduce或Hive等進行非實時批處理，對響應(yīng)時間要求比較高的業(yè)務(wù)場景可使用Spark做實時內(nèi)存處理，對互聯(lián)網(wǎng)流式數(shù)據(jù)則使用Storm或者Spark Streaming做實時流處理。

可針對不同的分析任務(wù)按需分配資源，進行資源管理調(diào)度，各分析任務(wù)之間相互不產(chǎn)生影響。

可針對分析算法或分析引擎，提供標準化的SQL支持?？商峁┐髷?shù)據(jù)基礎(chǔ)平臺運行情況的管理和監(jiān)控功能，便于系統(tǒng)管理員運維管理。

3.3數(shù)據(jù)存儲規(guī)劃

考慮到數(shù)據(jù)類型、數(shù)據(jù)規(guī)模和數(shù)據(jù)增長量，采用分布式、高可用、可擴展的存儲架構(gòu)，實現(xiàn)對多來源數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲規(guī)劃設(shè)計，采用分區(qū)分域、分層分級、分庫分表的設(shè)計理念，根據(jù)不同的數(shù)據(jù)類型合理選擇數(shù)據(jù)存儲組件，采用MySQL、MongoDB、HBase、Hive、HDFS、ES、Codis等多種數(shù)據(jù)庫組件分別設(shè)計存儲策略。

數(shù)據(jù)存儲規(guī)劃分為以下幾個數(shù)據(jù)區(qū)：

3.3.1實時匯集區(qū)

針對數(shù)據(jù)源層各種異構(gòu)數(shù)據(jù)，我們需要采取多種數(shù)據(jù)接入方式，即可以使用傳統(tǒng)的FTP、Http、RPC等接入方式，也能夠支持sqoop，flume等這種以大數(shù)據(jù)為主的數(shù)據(jù)接入方式。針對互聯(lián)網(wǎng)等大數(shù)據(jù)量數(shù)據(jù)，可以采用 Kafka集群，充分發(fā)揮它的高吞吐量優(yōu)勢，主要用來臨時保存互聯(lián)網(wǎng)數(shù)據(jù)、行為數(shù)據(jù)、交易數(shù)據(jù)等實時數(shù)據(jù)。

3.3.2大數(shù)據(jù)存儲區(qū)

對接入的數(shù)據(jù)需要根據(jù)數(shù)據(jù)的特點和業(yè)務(wù)場景進行數(shù)據(jù)的存儲，即支持傳統(tǒng)型數(shù)據(jù)庫也支持非傳統(tǒng)型數(shù)據(jù)庫?；ヂ?lián)網(wǎng)數(shù)據(jù)可存儲到FastDFS、HDFS這種分布式文件系統(tǒng)中，具備存儲彈性，方便日后擴充，滿足海量存儲需求。對數(shù)據(jù)進行處理加工和分析后形成的結(jié)果數(shù)據(jù)包括內(nèi)容數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)，可以大對象存儲在列式數(shù)據(jù)庫HBASE中，并可通過HIVE對外提供HSQL標準服務(wù)，方便進一步進行非實時數(shù)據(jù)統(tǒng)計分析和數(shù)據(jù)挖掘使用。

3.3.3數(shù)據(jù)業(yè)務(wù)區(qū)

核心業(yè)務(wù)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)的存儲可采用MySQL關(guān)系型數(shù)據(jù)庫集群進行保存，同時可利用Mongodb數(shù)據(jù)庫的數(shù)組索引特性以及字段可擴展特性，存儲數(shù)據(jù)的全部附加屬性，做適當冗余，為數(shù)據(jù)服務(wù)提供高性能的讀寫能力。

3.3.4數(shù)據(jù)檢索區(qū)

利用像ElasticSearch這類全文檢索數(shù)據(jù)庫存儲全部需檢索數(shù)據(jù)，建立全文索引，實現(xiàn)大數(shù)據(jù)量的快速檢索。3.3.5數(shù)據(jù)熱區(qū)

為了實現(xiàn)快速訪問建立數(shù)據(jù)熱區(qū)，可利用Codis這類內(nèi)存數(shù)據(jù)庫存儲需快速響應(yīng)的熱數(shù)據(jù)，提高系統(tǒng)整體數(shù)據(jù)訪問效率。

3.4大數(shù)據(jù)資源管理平臺

大數(shù)據(jù)資源管理平臺負責大數(shù)據(jù)資源匯聚、加工處理和數(shù)據(jù)全生命周期管理，是大數(shù)據(jù)服務(wù)體系建設(shè)中的核心環(huán)節(jié)之一。主要完成采集引進的多類異構(gòu)數(shù)據(jù)資源的匯聚和出入庫管理，數(shù)據(jù)的清洗加工處理、數(shù)據(jù)存儲管理、數(shù)據(jù)標準管理、數(shù)據(jù)流程管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理等功能。

3.4.1數(shù)據(jù)資源匯聚和出入庫管理

負責將機構(gòu)內(nèi)外不同數(shù)據(jù)來源的數(shù)據(jù)資源統(tǒng)一接入到數(shù)據(jù)平臺中，支持文字、圖片、音視頻、文件、結(jié)構(gòu)化數(shù)據(jù)、二進制文件等不同數(shù)據(jù)類型。制定相應(yīng)的數(shù)據(jù)接口規(guī)范，采用統(tǒng)一的應(yīng)用架構(gòu)，以插件式開發(fā)和插件化使用的模式構(gòu)建不同的數(shù)據(jù)流程任務(wù)，提供FTP、消息隊列、API等不同接口方式，滿足不同的業(yè)務(wù)流程和異構(gòu)數(shù)據(jù)的出入庫需求。數(shù)據(jù)在入庫存儲過程中需要先進行安全性檢查與完整性校驗，并進行初步數(shù)據(jù)清洗預(yù)處理，包括有效性檢查和排重等，保證數(shù)據(jù)的可靠性，接入數(shù)據(jù)必須按照平臺要求的數(shù)據(jù)格式規(guī)范統(tǒng)一進行轉(zhuǎn)換后入庫。并建立統(tǒng)一的數(shù)據(jù)匯聚出入庫監(jiān)控管理界面，能夠支持任務(wù)各要素的靈活配置和定義，支持進行數(shù)據(jù)接入任務(wù)的監(jiān)控和日常運維操作。

3.4.2數(shù)據(jù)加工處理

負責對接入平臺的各類型數(shù)據(jù)進行進一步的加工處理。對各類數(shù)據(jù)資源進行清洗、過濾、去重和轉(zhuǎn)換等預(yù)處理工作；基于平臺建立的一套數(shù)據(jù)標準，抽取元數(shù)據(jù)、關(guān)鍵詞、實體信息等形成結(jié)構(gòu)化描述信息；使用分詞組件對文本數(shù)據(jù)進行快速分詞；使用分類技術(shù)對數(shù)據(jù)進行自動分類；對數(shù)據(jù)進行標引、加工、修改、糾錯、刪除等加工維護管理；建立搜索詞典到文檔數(shù)據(jù)的倒排索引表，根據(jù)詞語在文檔中的權(quán)重，為搜索詞語生成相關(guān)索引文檔表，結(jié)合分布式列存儲與分層查詢樹技術(shù)，建立針對海量數(shù)據(jù)的全文檢索和快速查詢，支持更進一步的數(shù)據(jù)分析應(yīng)用服務(wù)需求。

3.4.3數(shù)據(jù)資源管理

負責對數(shù)據(jù)平臺內(nèi)所有數(shù)據(jù)資產(chǎn)進行全生命周期存儲、管理和監(jiān)控。對機構(gòu)內(nèi)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等實現(xiàn)集中統(tǒng)一存儲管理，對主數(shù)據(jù)、元數(shù)據(jù)和數(shù)據(jù)資源目錄進行統(tǒng)一維護和管理，構(gòu)建數(shù)據(jù)資源全景視圖。實現(xiàn)數(shù)據(jù)標準管理、數(shù)據(jù)流程管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)安全管理。

（1）數(shù)據(jù)質(zhì)量和數(shù)據(jù)流程管理。為確保數(shù)據(jù)的完整性、規(guī)范性、一致性、準確性，提供統(tǒng)一數(shù)據(jù)處理流程和中間狀態(tài)的調(diào)度、管理和監(jiān)控，可以及時發(fā)現(xiàn)數(shù)據(jù)處理各個環(huán)節(jié)出現(xiàn)的問題和質(zhì)量風險，對發(fā)現(xiàn)的異常進行報警。在數(shù)據(jù)入庫環(huán)節(jié)，制定數(shù)據(jù)質(zhì)量規(guī)則，對不符合質(zhì)量規(guī)則的數(shù)據(jù)進行告警，并進行相應(yīng)處理。管理員可以通過對規(guī)則的不斷修改完善，不斷提高入庫數(shù)據(jù)的質(zhì)量。

（2）元數(shù)據(jù)管理。元數(shù)據(jù)管理貫穿從數(shù)據(jù)采集引進、數(shù)據(jù)處理加工、數(shù)據(jù)分析和數(shù)據(jù)服務(wù)全流程環(huán)節(jié)，對各流程環(huán)節(jié)形成的數(shù)據(jù)的元數(shù)據(jù)進行標準定義、元數(shù)據(jù)生成和元數(shù)據(jù)管理維護，通過對元數(shù)據(jù)的管理形成數(shù)據(jù)服務(wù)平臺統(tǒng)一的數(shù)據(jù)視圖，為整個平臺數(shù)據(jù)資源管理奠定基礎(chǔ)。

（3）數(shù)據(jù)標準管理。制訂融合媒體數(shù)據(jù)存管控相關(guān)標準規(guī)范，貫穿數(shù)據(jù)的采集引進、處理加工、存儲管理、公共服務(wù)整個全生命周期和全工作流程，通過對標準的制訂、維護和遵循，為平臺實現(xiàn)全媒體數(shù)據(jù)的匯聚融合、統(tǒng)一管理和共享服務(wù)提供數(shù)據(jù)標準規(guī)范的指導(dǎo)。

3.5大數(shù)據(jù)分析平臺

大數(shù)據(jù)分析平臺通過構(gòu)建中文語義分析引擎、推薦引擎、智能檢索引擎、知識推薦引擎、圖片視頻智能分析引擎、專題分析、數(shù)據(jù)可視化工具等媒體大數(shù)據(jù)公共性基礎(chǔ)性智能處理模型工具組件，對平臺中的大量數(shù)據(jù)資源進行深入分析，挖掘數(shù)據(jù)關(guān)系，構(gòu)建知識網(wǎng)絡(luò)，提升數(shù)據(jù)價值，助力策采編發(fā)供饋等各項媒體業(yè)務(wù)創(chuàng)新應(yīng)用需求。

將這些算法模型進行模塊化、服務(wù)化封裝，針對媒體行業(yè)各類業(yè)務(wù)需求提供基礎(chǔ)數(shù)據(jù)分析引擎和分析工具。通過標準化各類處理、分析、挖掘算法的輸入輸出參數(shù)和中間結(jié)果，提供標準化的服務(wù)接口，可以方便地讀取、調(diào)用、管理和調(diào)優(yōu)。

在系統(tǒng)運營過程中不斷發(fā)現(xiàn)偏差點并進行有針對性的優(yōu)化調(diào)整，支持對算法、模型、引擎的優(yōu)化、新增和替換。同時，通過合理的計算架構(gòu)的設(shè)計和相應(yīng)的任務(wù)調(diào)度，保證算法運行在更高效的計算架構(gòu)下。

提供對數(shù)據(jù)分析工具集的有效管理，建立信息庫，統(tǒng)一存儲和管理相關(guān)算法的代碼、配置參數(shù)、調(diào)用接口規(guī)范、數(shù)據(jù)輸入輸出接口規(guī)范、文檔說明、元數(shù)據(jù)等。

提供工具集對外交互界面，實現(xiàn)工具集的可視化、標準化和流程化使用和運行監(jiān)控。提供工具集的擴展接口，可以根據(jù)業(yè)務(wù)需求將新增或第三方提供的數(shù)據(jù)分析算法工具納入進來，統(tǒng)一調(diào)度和管理。

3.6大數(shù)據(jù)服務(wù)能力開放平臺

大數(shù)據(jù)服務(wù)能力開放平臺負責將大數(shù)據(jù)平臺的各類數(shù)據(jù)服務(wù)和分析服務(wù)進行封裝并對外提供服務(wù)能力的開放和共享。大數(shù)據(jù)平臺形成的服務(wù)能力有：數(shù)據(jù)訂閱類服務(wù)、語義分析類服務(wù)、圖片視頻智能分析類服務(wù)、智能檢索類服務(wù)、智能推薦類服務(wù)、知識類專題類服務(wù)、統(tǒng)計分析類服務(wù)、數(shù)據(jù)可視化等各種公共性服務(wù)能力。通過制訂服務(wù)標準和管理標準，形成標準化服務(wù)模塊和服務(wù)組件，提供標準化服務(wù)接口，為各類業(yè)務(wù)系統(tǒng)按需調(diào)用。同時，數(shù)據(jù)服務(wù)管理通過對服務(wù)的注冊、認證、授權(quán)、審計、監(jiān)控等管理功能，實現(xiàn)數(shù)據(jù)服務(wù)可管可控。

以面向服務(wù)的思想為核心理念，對服務(wù)進行高度解耦，構(gòu)建細粒度、扁平化、低耦合的服務(wù)資源池，統(tǒng)一為上層應(yīng)用提供功能和數(shù)據(jù)支撐。

將多源、異構(gòu)數(shù)據(jù)以及關(guān)聯(lián)數(shù)據(jù)等數(shù)據(jù)的獲取方式進行接口化封裝，實現(xiàn)基礎(chǔ)數(shù)據(jù)服務(wù)化。

對數(shù)據(jù)分析計算層的數(shù)據(jù)處理分析算法、組件進行接口化封裝，實現(xiàn)數(shù)據(jù)分析的服務(wù)化。

通過數(shù)據(jù)和應(yīng)用封裝技術(shù)，實現(xiàn)對數(shù)據(jù)的訪問和操作按照一定粒度封裝為獨立的服務(wù)實體，盡可能屏蔽內(nèi)部的細節(jié)，只提供標準化的交互接口，供各內(nèi)部模塊或者外部系統(tǒng)進行調(diào)用。交互接口形式包括Open API、SDK、WEBService等，實現(xiàn)自有業(yè)務(wù)應(yīng)用支撐和開放共享服務(wù)。

建立服務(wù)管理平臺作為服務(wù)注冊和服務(wù)治理的管控中樞。媒體大數(shù)據(jù)服務(wù)平臺向上層提供的服務(wù)通過服務(wù)管理平臺進行統(tǒng)一管控，服務(wù)管理平臺負責服務(wù)的注冊、認證、授權(quán)、審計、監(jiān)控等管理功能。

參考文獻

[1]周耀林，趙躍，Zhou Jiani.大數(shù)據(jù)資源規(guī)劃研究框架的構(gòu)建[J].圖書情報知識，2017（4）：59-70.

[2]梅劍平.大數(shù)據(jù)助力媒體融合—央視大數(shù)據(jù)平臺技術(shù)與實踐[J].現(xiàn)代電視技術(shù)，2017（5）：100-104.

[3]徐園，李偉忠.數(shù)據(jù)驅(qū)動新聞 智能重構(gòu)媒體—浙報集團“媒立方”技術(shù)平臺建設(shè)的實踐與思考[J].新聞與寫作，2018（1）：97-101.