廣電媒體數(shù)據(jù)治理設(shè)計(jì)與架構(gòu)

文/芮浩

引言

數(shù)據(jù)是廣電媒體的重要資產(chǎn)，是其科學(xué)決策分析管理的基礎(chǔ)。近些年，大多數(shù)廣播電視臺(tái)花費(fèi)大量的資金和時(shí)間建立了各種信息化系統(tǒng)來支撐業(yè)務(wù)發(fā)展。這些信息系統(tǒng)已成為廣電媒體技術(shù)體系中極為重要的組成部分，廣電媒體也收獲了信息化帶來的互聯(lián)互通、資源共享的紅利。同時(shí)，在這些系統(tǒng)的海量數(shù)據(jù)中還存在著許多有價(jià)值的信息可以提煉，廣電媒體如何將數(shù)據(jù)集成在一起，并把數(shù)據(jù)轉(zhuǎn)換為信息、知識(shí)加以利用，我們稱之為廣電媒體的數(shù)據(jù)治理，這已成為提高節(jié)目制作傳播水平和管理能力的重要一步。

1.廣電媒體數(shù)據(jù)治理現(xiàn)狀

隨著廣電媒體對(duì)云計(jì)算、大數(shù)據(jù)等技術(shù)的認(rèn)識(shí)逐步深入，并且由于媒體間競(jìng)爭(zhēng)加劇，自身對(duì)智慧化生產(chǎn)、精細(xì)化管理的要求也越來越高，各級(jí)廣電媒體對(duì)數(shù)據(jù)整合和治理的必要性和重要性已經(jīng)充分認(rèn)可，也更需要將各信息系統(tǒng)中蘊(yùn)含的類型繁多、數(shù)量龐大的數(shù)據(jù)內(nèi)容進(jìn)行加工處理。從業(yè)務(wù)和技術(shù)兩個(gè)層面分析，廣電媒體在數(shù)據(jù)治理上主要面臨以下挑戰(zhàn)：

1.1 業(yè)務(wù)方面：

信息系統(tǒng)的分析能力僅支持提供簡(jiǎn)單的報(bào)表，功能單薄，無法滿足復(fù)雜的分析需求。例如，無法分析媒體資產(chǎn)系統(tǒng)存在的資源，哪些內(nèi)容眾比較喜歡，在節(jié)目制作中可重復(fù)使用。

業(yè)務(wù)分析多集中于單一系統(tǒng)，領(lǐng)導(dǎo)層無法從全局角度對(duì)各個(gè)業(yè)務(wù)線進(jìn)行跨業(yè)務(wù)、多角度、多層次的綜合分析。例如，領(lǐng)導(dǎo)層無法從全局掌握節(jié)目制作的效率、耗費(fèi)的資金、社會(huì)反響等信息。

數(shù)據(jù)不一致問題較嚴(yán)重，相同業(yè)務(wù)數(shù)據(jù)在不同系統(tǒng)中存在多個(gè)不同版本。

各業(yè)務(wù)系統(tǒng)自行管理數(shù)據(jù)，內(nèi)數(shù)據(jù)質(zhì)量較低，業(yè)務(wù)數(shù)據(jù)的含義在單位的各個(gè)部門間存在不一致的解釋，從而造成數(shù)據(jù)無法進(jìn)行分析。

1.2 技術(shù)方面

已經(jīng)意識(shí)到數(shù)據(jù)治理工作的重要性，但是并沒有將其提到戰(zhàn)略高度，技術(shù)部門的注意力重點(diǎn)仍然是業(yè)務(wù)系統(tǒng)建設(shè)和運(yùn)維。

現(xiàn)有分析功能多為相應(yīng)業(yè)務(wù)系統(tǒng)的子模塊，與業(yè)務(wù)系統(tǒng)耦合性較強(qiáng)，缺乏對(duì)全業(yè)務(wù)分析的支持。

各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)生數(shù)據(jù)量大且種類多，現(xiàn)有技術(shù)不具備大規(guī)模并行處理或分布式處理能力，在分析能力上有“瓶頸”。

各個(gè)業(yè)務(wù)系統(tǒng)在同一類核心數(shù)據(jù)的定義上標(biāo)準(zhǔn)不統(tǒng)一，數(shù)據(jù)質(zhì)量差，無法直接二次利用。

以上問題影響廣電媒體業(yè)務(wù)合理的、可持續(xù)的展開，阻礙了其在大數(shù)據(jù)時(shí)代的前進(jìn)，是迫切需要解決的問題。

2.數(shù)據(jù)治理目標(biāo)

在實(shí)際工作中，廣電媒體數(shù)據(jù)紛繁復(fù)雜，從數(shù)據(jù)來源上看既有生產(chǎn)辦公系統(tǒng)（如媒資、文稿、磁帶庫等系統(tǒng)）數(shù)據(jù)，也有從自有新媒體系統(tǒng)（網(wǎng)絡(luò)廣播電視臺(tái)、IPTV平臺(tái)、客戶端等）通過埋碼和日志方式采集的用戶行為數(shù)據(jù)，還包括通過網(wǎng)絡(luò)爬蟲抓取的互聯(lián)網(wǎng)數(shù)據(jù)和從數(shù)據(jù)源提供商采購(gòu)的網(wǎng)絡(luò)數(shù)據(jù)和收視數(shù)據(jù)；從存儲(chǔ)容量上看既有常年變化不大的上百M(fèi)B數(shù)萬行的人力資源數(shù)據(jù)，也有每年增長(zhǎng)上百TB幾十億條記錄的機(jī)頂盒終端采集數(shù)據(jù)；從數(shù)據(jù)形式上看既有結(jié)構(gòu)化的，也有半結(jié)構(gòu)化的。根據(jù)這些數(shù)據(jù)的特點(diǎn)，數(shù)據(jù)治理需達(dá)到以下目標(biāo)：

2.1 數(shù)據(jù)標(biāo)準(zhǔn)化

制定數(shù)據(jù)規(guī)范，使數(shù)據(jù)有準(zhǔn)確的定義。

數(shù)據(jù)被完整記錄且精度滿足業(yè)務(wù)要求。

數(shù)據(jù)的成本和價(jià)值可計(jì)算。

數(shù)據(jù)有合理的存儲(chǔ)周期。

2.2 數(shù)據(jù)存儲(chǔ)和訪問規(guī)則化

形成統(tǒng)一內(nèi)容和用戶的數(shù)據(jù)架構(gòu)。

形成統(tǒng)一的數(shù)據(jù)存儲(chǔ)模型。

形成多渠道的數(shù)據(jù)訪問路徑。

數(shù)據(jù)易訪問且有安全機(jī)制。

2.3 數(shù)據(jù)責(zé)任化

數(shù)據(jù)有明確的責(zé)任方。

數(shù)據(jù)內(nèi)容符合質(zhì)量要求。

3.數(shù)據(jù)治理體系

當(dāng)前，各廣電媒體信息化程度不同，數(shù)據(jù)規(guī)模和數(shù)據(jù)質(zhì)量的不同，決定了開展數(shù)據(jù)治理的步驟也會(huì)不一致，圖1是筆者構(gòu)想中的適用于大多數(shù)廣電媒體開展數(shù)據(jù)治理工作體系框架的一般途徑。為了有序?qū)嵤?shù)據(jù)治理，應(yīng)采用規(guī)劃先行分步實(shí)施的原則，首先，依據(jù)各廣電媒體自身目標(biāo)和規(guī)劃明確戰(zhàn)略方向；其次，制定適合自身業(yè)務(wù)特點(diǎn)的組織架構(gòu)、制度規(guī)范和管理流程；最后，才是選擇可行的技術(shù)工具和實(shí)現(xiàn)方案。

圖1 數(shù)據(jù)治理體系框架

在戰(zhàn)略層面，數(shù)據(jù)治理既要以解決實(shí)際工作中數(shù)據(jù)不可知、不可用、不可控和弱關(guān)聯(lián)的問題為目標(biāo)，也要結(jié)合當(dāng)云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)快速迭代發(fā)展和媒體融合趨勢(shì)進(jìn)行全局性規(guī)劃制定。

在機(jī)制層面，數(shù)據(jù)治理工作需要通過組織、制度、流程的完善和梳理加以落實(shí)，切實(shí)加強(qiáng)機(jī)制建設(shè)才能保證持續(xù)提升數(shù)據(jù)治理執(zhí)行效果。

在實(shí)現(xiàn)層面，包括元數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)、數(shù)據(jù)調(diào)度與處理系統(tǒng)等，通過信息化系統(tǒng)的建設(shè)，將紙面上的規(guī)劃、制度和流程內(nèi)化于技術(shù)平臺(tái)和工具中，用于輔助管理人員開發(fā)和維護(hù)，提升數(shù)據(jù)治理工作的效率。

4.數(shù)據(jù)治理機(jī)制

4.1 成立數(shù)據(jù)治理組織

健全的組織架構(gòu)是開展數(shù)據(jù)治理工作的基礎(chǔ)，可有效保障數(shù)據(jù)治理工作在跨部門間的高效推進(jìn)，組織中人員構(gòu)成應(yīng)包括管理、業(yè)務(wù)和技術(shù)三種類型，對(duì)應(yīng)領(lǐng)導(dǎo)組、業(yè)務(wù)組、技術(shù)組三種角色。

領(lǐng)導(dǎo)組：由臺(tái)領(lǐng)導(dǎo)、技術(shù)和業(yè)務(wù)部門負(fù)責(zé)人組成，負(fù)責(zé)建立數(shù)據(jù)治理文化，制定數(shù)據(jù)治理的目標(biāo)、規(guī)劃、制度、流程等，分配和確保數(shù)據(jù)治理工作中所需要的資源。

業(yè)務(wù)組：由業(yè)務(wù)骨干、業(yè)務(wù)部門系統(tǒng)管理員組成，負(fù)責(zé)明確數(shù)據(jù)需求，維護(hù)基礎(chǔ)數(shù)據(jù)的增、刪、改、查操作，在數(shù)據(jù)產(chǎn)生源頭保障數(shù)據(jù)的正確性和實(shí)效性。

技術(shù)組：由信息化部門的相關(guān)人員組成，包括開發(fā)人員、數(shù)據(jù)庫管理員、系統(tǒng)運(yùn)維人員。系統(tǒng)開發(fā)人員負(fù)責(zé)開發(fā)和選用適用的平臺(tái)和工具；數(shù)據(jù)庫管理員負(fù)責(zé)數(shù)據(jù)的安全、備份和審計(jì)等工作；系統(tǒng)運(yùn)維人員負(fù)責(zé)檢測(cè)數(shù)據(jù)質(zhì)量和系統(tǒng)運(yùn)維等工作。

4.2 規(guī)范數(shù)據(jù)治理制度

數(shù)據(jù)治理制度應(yīng)作為單位強(qiáng)制執(zhí)行規(guī)范，制度需闡明數(shù)據(jù)治理的目的、適用范圍、職責(zé)和具體內(nèi)容，由管理辦法、技術(shù)規(guī)范和實(shí)施細(xì)則等部分組成。數(shù)據(jù)治理的制度范圍應(yīng)包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)采集、數(shù)據(jù)審核、數(shù)據(jù)分析、數(shù)據(jù)發(fā)布、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)維護(hù)、數(shù)據(jù)安全管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)管理考核等在數(shù)據(jù)使用過程中的方方面面。所有制度的制定都應(yīng)以有效實(shí)用和優(yōu)化服務(wù)為目標(biāo)，不斷提高數(shù)據(jù)的規(guī)范性、準(zhǔn)確性、完整性和關(guān)聯(lián)性。規(guī)章制度最終可落地需要有一套行之有效的管控辦法，其中考核是是保障制度落實(shí)的根本，需建立明確的考核制度，建立相應(yīng)的針對(duì)數(shù)據(jù)治理方面的考核辦法，定期加以考核整改。

4.3 完善數(shù)據(jù)治理流程

數(shù)據(jù)治理工作的主要業(yè)務(wù)流程可遵循本單位數(shù)據(jù)治理的規(guī)范制度和數(shù)據(jù)治理的內(nèi)容分為發(fā)現(xiàn)、定義、應(yīng)用、改進(jìn)四個(gè)核心流程階段。其中發(fā)現(xiàn)流程獲取已有數(shù)據(jù)清單、數(shù)據(jù)當(dāng)前的狀態(tài)、數(shù)據(jù)的生命周期以及數(shù)據(jù)當(dāng)前支持維護(hù)能力；定義流程記錄數(shù)據(jù)的定義、數(shù)據(jù)間關(guān)系以及實(shí)施數(shù)據(jù)治理工作必須明確的規(guī)則、標(biāo)準(zhǔn)以及關(guān)鍵性能指標(biāo)；應(yīng)用流程是執(zhí)行數(shù)據(jù)治理的過程，涵蓋了數(shù)據(jù)的交換、存儲(chǔ)、分析、處理等手段，以確保數(shù)據(jù)治理與發(fā)現(xiàn)和定義流程階段獲取的所有業(yè)務(wù)規(guī)則、工作流程、職能角色及職責(zé)相符；改進(jìn)流程通過數(shù)據(jù)質(zhì)量管理和安全保障等手段用于推動(dòng)數(shù)據(jù)治理工作的有效性及價(jià)值，監(jiān)測(cè)是否與定義的規(guī)則和標(biāo)準(zhǔn)相符。

圖2 數(shù)據(jù)治理工作流程圖

5.實(shí)現(xiàn)體系設(shè)計(jì)

數(shù)據(jù)治理所涉及的工具和平臺(tái)是與廣電媒體整體的數(shù)據(jù)架構(gòu)體系密不可分的，圖3給出了一套面向融合業(yè)務(wù)環(huán)境下的廣電媒體數(shù)據(jù)框架圖，其中數(shù)據(jù)治理主要通過數(shù)據(jù)管理平臺(tái)來實(shí)現(xiàn)，該平臺(tái)貫穿數(shù)據(jù)業(yè)務(wù)始終。包括數(shù)據(jù)資產(chǎn)管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)和數(shù)據(jù)調(diào)度處理系統(tǒng)等，它們是數(shù)據(jù)治理能夠順利開展的技術(shù)保障。只有建立功能齊備的數(shù)據(jù)治理工具和平臺(tái)，才能從各個(gè)領(lǐng)域有效地進(jìn)行數(shù)據(jù)的管理和治理，提高廣電媒體的數(shù)據(jù)價(jià)值。

數(shù)據(jù)資產(chǎn)管理系統(tǒng)：統(tǒng)一管理全媒體的數(shù)據(jù)資產(chǎn)，包括元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)模型等重要的數(shù)據(jù)內(nèi)容，涵蓋數(shù)據(jù)生命周期管理功能，并提供可視化的數(shù)據(jù)查詢和展示功能，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的快速與便捷查詢。

數(shù)據(jù)質(zhì)量管理系統(tǒng)：落實(shí)數(shù)據(jù)質(zhì)量檢測(cè)工作，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)、跟蹤、治理、評(píng)價(jià)的全流程閉環(huán)管理，包括數(shù)據(jù)質(zhì)量規(guī)則管理、數(shù)據(jù)采集核驗(yàn)、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)、數(shù)據(jù)質(zhì)量問題分析等模塊。

數(shù)據(jù)調(diào)度與處理系統(tǒng)：用于實(shí)現(xiàn)各系統(tǒng)間的互聯(lián)互通，相互協(xié)同與驗(yàn)證，為數(shù)據(jù)平臺(tái)和業(yè)務(wù)應(yīng)用提供數(shù)據(jù)統(tǒng)一、形式多樣的數(shù)據(jù)服務(wù)。在該系統(tǒng)中，還需要加強(qiáng)數(shù)據(jù)使用中訪問權(quán)限的安全性，保障數(shù)據(jù)不被泄露和非法訪問。

圖3 廣電媒體數(shù)據(jù)框架圖

總結(jié)

廣電媒體的數(shù)據(jù)治理是一個(gè)持續(xù)迭代的復(fù)雜的系統(tǒng)工程。對(duì)技術(shù)部門來說，需從戰(zhàn)略層面出發(fā)，認(rèn)識(shí)到數(shù)據(jù)資產(chǎn)的重要性和數(shù)據(jù)治理工作對(duì)未來發(fā)展的巨大價(jià)值。通過數(shù)據(jù)治理進(jìn)而提供數(shù)據(jù)服務(wù)，可以將技術(shù)管理變?yōu)榧夹g(shù)服務(wù)；通過數(shù)據(jù)治理進(jìn)而變現(xiàn)數(shù)據(jù)價(jià)值，可以從成本中心轉(zhuǎn)變?yōu)槔麧?rùn)中心。同時(shí)，數(shù)據(jù)治理過程涉及業(yè)務(wù)的方方面面，不僅是對(duì)數(shù)據(jù)價(jià)值充分梳理和挖掘的過程，也是內(nèi)部管理職能優(yōu)化和執(zhí)行力強(qiáng)化的過程，還是提升核心競(jìng)爭(zhēng)力、在現(xiàn)有業(yè)務(wù)系統(tǒng)基礎(chǔ)上醞釀跨界融合創(chuàng)新應(yīng)用的契機(jī)。為此，需要在治理前期就應(yīng)該規(guī)劃好各項(xiàng)規(guī)章制度和管理架構(gòu)，切實(shí)建立一套可管可用的數(shù)據(jù)治理技術(shù)平臺(tái)，確保后續(xù)的各項(xiàng)治理工作能夠行之有效并且長(zhǎng)期堅(jiān)持。