大數(shù)據(jù)技術(shù)在廣播電視監(jiān)測(cè)監(jiān)管工作的應(yīng)用探索

國(guó)家廣播電視總局海南監(jiān)測(cè)臺(tái) 海南 海囗 570203

1 前言

隨著時(shí)代的發(fā)展，各行各業(yè)每天產(chǎn)生的數(shù)據(jù)信息量在不斷擴(kuò)大，硬件技術(shù)和通訊技術(shù)得到了快速的發(fā)展，促進(jìn)了大數(shù)據(jù)處理技術(shù)在各個(gè)領(lǐng)域的廣泛運(yùn)用。廣播電視行業(yè)中應(yīng)用大數(shù)據(jù)處理技術(shù)，能夠?qū)崿F(xiàn)對(duì)廣播數(shù)據(jù)的有效監(jiān)管，進(jìn)而幫助廣播電視行業(yè)持續(xù)發(fā)展。

2 大數(shù)據(jù)介紹以及技術(shù)分析

2.1 大數(shù)據(jù)的基本內(nèi)容 大數(shù)據(jù)技術(shù)主要是利用網(wǎng)絡(luò)工具(比如網(wǎng)絡(luò)數(shù)據(jù)庫(kù)和相應(yīng)的搜索引擎)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的搜索、采集以及分析等功能的先進(jìn)計(jì)算機(jī)信息技術(shù)。在大數(shù)據(jù)處理過(guò)程中主要使用計(jì)算機(jī)的處理數(shù)據(jù)能力、各行業(yè)專家學(xué)者的理論研究以及技術(shù)本身的自我學(xué)習(xí)能力，來(lái)對(duì)數(shù)據(jù)或者是與數(shù)據(jù)有關(guān)的事件內(nèi)容進(jìn)行專業(yè)方向的分析。通過(guò)應(yīng)用大數(shù)據(jù)技術(shù)不僅可以實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的快速分析與處理，減少相關(guān)工作人員的工作量，提高其工作效率，還可以從用戶需求出發(fā)推出個(gè)性化的數(shù)據(jù)服務(wù)。

2.2 大數(shù)據(jù)的技術(shù)內(nèi)容分析 大數(shù)據(jù)的技術(shù)內(nèi)容主要包括以下幾個(gè)部分：(如下圖)

圖 大數(shù)據(jù)的技術(shù)內(nèi)容

2.2.1 數(shù)據(jù)的采集和預(yù)處理 大數(shù)據(jù)技術(shù)的運(yùn)行階段的主要任務(wù)是對(duì)相關(guān)信息的處理和歸納，其中經(jīng)過(guò)處理的數(shù)據(jù)大多使用非結(jié)構(gòu)化的形式，而且再次過(guò)程中還要充分保證數(shù)據(jù)的多元化。如何將非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行同質(zhì)化處理是大數(shù)據(jù)處理技術(shù)的核心作用，通過(guò)處理的數(shù)據(jù)可以按照規(guī)定的形式進(jìn)行歸納和儲(chǔ)存，這對(duì)于用戶對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一分析有著十分重要的意義。此外，在對(duì)收集到的各類信息進(jìn)行篩選之前，要根據(jù)需求的內(nèi)容預(yù)先處理數(shù)據(jù)，預(yù)處理過(guò)程主要是對(duì)雜亂的信息進(jìn)行分揀，保留含有價(jià)值的信息中，清理沒(méi)有價(jià)值和空白的信息。數(shù)據(jù)預(yù)處理過(guò)程主要是在信息統(tǒng)一收集的過(guò)程中，針對(duì)性的對(duì)數(shù)據(jù)中有用的信息進(jìn)行保留，并且根據(jù)需求，將數(shù)據(jù)分類并進(jìn)行合理的分發(fā)。

2.2.2 數(shù)據(jù)存儲(chǔ)和管理 在對(duì)收集的信息進(jìn)行預(yù)處理之后，就要對(duì)有需求價(jià)值的信息進(jìn)行安全的儲(chǔ)存和管理。一般情況下是使用計(jì)算機(jī)硬件進(jìn)行數(shù)據(jù)存儲(chǔ)，利用計(jì)算機(jī)軟件進(jìn)行數(shù)據(jù)的管理。在數(shù)據(jù)儲(chǔ)存和管理的過(guò)程中，強(qiáng)化數(shù)據(jù)的儲(chǔ)存管理工作是保證數(shù)據(jù)管理的高效性的重要手段。尤其是在當(dāng)前社會(huì)科技不斷進(jìn)步的今天，在計(jì)算機(jī)技術(shù)的幫助下，數(shù)據(jù)的管理工作由傳統(tǒng)的人工管理轉(zhuǎn)變?yōu)槿缃竦碾娮游募到y(tǒng)管理，然后進(jìn)一步升級(jí)成為數(shù)據(jù)庫(kù)管理系統(tǒng)。我們?cè)谑褂脭?shù)據(jù)庫(kù)對(duì)數(shù)據(jù)進(jìn)行處理的時(shí)候，要在數(shù)據(jù)庫(kù)系統(tǒng)內(nèi)部建一個(gè)根據(jù)需求設(shè)計(jì)的數(shù)據(jù)結(jié)構(gòu)，而且在這個(gè)數(shù)據(jù)結(jié)構(gòu)中要把不同的數(shù)據(jù)信息之間的關(guān)系明確劃分出來(lái)。在數(shù)據(jù)庫(kù)處理信息時(shí)要確保能夠?qū)崿F(xiàn)數(shù)據(jù)的實(shí)時(shí)更新和修改，此外在處理數(shù)據(jù)的過(guò)程中，還需要充分保證數(shù)據(jù)的可靠性和完整性。只有這樣才能夠保證數(shù)據(jù)處理的工作效率，進(jìn)而不斷提升數(shù)據(jù)信息共享的準(zhǔn)確性。

2.2.3 數(shù)據(jù)挖掘和分析 數(shù)據(jù)信息的挖掘指的是對(duì)數(shù)據(jù)進(jìn)行有效性和真實(shí)性的篩選，然后對(duì)這部分信息加以分析和利用。在對(duì)收集的信息進(jìn)行數(shù)據(jù)挖掘時(shí)，會(huì)涉及到諸多領(lǐng)域的專業(yè)知識(shí)，例如，機(jī)器學(xué)習(xí)、人工智能以及數(shù)據(jù)分析等領(lǐng)域。數(shù)據(jù)挖掘?qū)崿F(xiàn)使用科學(xué)的方法在大量的信息中進(jìn)行目的性搜索，從而找到符合自身需求的數(shù)據(jù)信息。信息數(shù)據(jù)的挖掘主要依賴于計(jì)算機(jī)技術(shù)，數(shù)據(jù)挖掘的本質(zhì)是使用計(jì)算機(jī)技術(shù)的在線處理和統(tǒng)計(jì)能力。通過(guò)數(shù)據(jù)挖掘，可以實(shí)現(xiàn)對(duì)符合業(yè)務(wù)要求的信息進(jìn)行快速有效的收集，并以及來(lái)實(shí)現(xiàn)信息的高效利用。此外，在充分發(fā)揮這些數(shù)據(jù)價(jià)值的同時(shí)，還可以促進(jìn)相關(guān)產(chǎn)業(yè)在高新技術(shù)層面的進(jìn)步。

3 廣播電視監(jiān)測(cè)監(jiān)管的現(xiàn)狀

3.1 監(jiān)管缺乏互聯(lián)性 近年來(lái)我國(guó)廣播電視監(jiān)測(cè)監(jiān)管工作取得了很大的進(jìn)步，但在該領(lǐng)域還是存在著很多問(wèn)題需要解決。首先是監(jiān)管系統(tǒng)的獨(dú)立性，同一等級(jí)地區(qū)的監(jiān)管系統(tǒng)互不干涉，沒(méi)有聯(lián)系。并且廣播電視監(jiān)督管理中心又和下屬各地區(qū)監(jiān)督管理系統(tǒng)之間是單純的上下聯(lián)系，大系統(tǒng)最終形成樹(shù)狀聯(lián)系，這種聯(lián)系對(duì)于整個(gè)系統(tǒng)運(yùn)行而言是存在一定潛在風(fēng)險(xiǎn)的。比如某一個(gè)地區(qū)的廣播電視監(jiān)測(cè)管理系統(tǒng)出現(xiàn)問(wèn)題，就直接影響其下一級(jí)的監(jiān)管系統(tǒng)，而且由于只有上下級(jí)關(guān)聯(lián)，沒(méi)有同一級(jí)的監(jiān)管系統(tǒng)幫助，就會(huì)導(dǎo)致地區(qū)的監(jiān)管缺失，降低了廣播電視監(jiān)測(cè)監(jiān)管系統(tǒng)的工作能力。

3.2 業(yè)務(wù)系統(tǒng)太多 廣播電視的監(jiān)管系統(tǒng)分類多樣，包括有監(jiān)聽(tīng)監(jiān)視系統(tǒng)、安全播放系統(tǒng)、廣告監(jiān)督管理系統(tǒng)等等。這些復(fù)雜多樣的項(xiàng)目?jī)?nèi)容大大增加了整個(gè)監(jiān)管業(yè)務(wù)的工作量，進(jìn)而導(dǎo)致了需要使用大量的系統(tǒng)服務(wù)器來(lái)實(shí)現(xiàn)各個(gè)功能。并且各個(gè)系統(tǒng)都存在一定的獨(dú)立性，具有其單獨(dú)的一套管理制度，這就使得監(jiān)管系統(tǒng)整體就變得臃腫復(fù)雜。

3.3 資源利用不均 在當(dāng)前的廣播電視監(jiān)測(cè)監(jiān)管工作當(dāng)中，存在著數(shù)據(jù)系統(tǒng)處理事件分配不均的情況。一般來(lái)說(shuō)，系統(tǒng)都會(huì)被安裝各類的應(yīng)用主機(jī)中，每一個(gè)業(yè)務(wù)邏輯會(huì)在自己固定的主機(jī)上運(yùn)行，所以就會(huì)在業(yè)務(wù)出現(xiàn)空檔期的時(shí)候出現(xiàn)部分主機(jī)閑置的情況，這樣就很容易造成資源的浪費(fèi)。

3.4 平臺(tái)升級(jí)問(wèn)題 根據(jù)摩爾定律，產(chǎn)品的硬件會(huì)隨著時(shí)間不斷升級(jí)，硬件的每一次更新都會(huì)影響匹配硬件的操作系統(tǒng)和相關(guān)的數(shù)據(jù)庫(kù)環(huán)境發(fā)生變化，因此各業(yè)務(wù)系統(tǒng)會(huì)固定的向新的硬件平臺(tái)轉(zhuǎn)移業(yè)務(wù)并進(jìn)行升級(jí)改造，這在很大程度上會(huì)影響業(yè)務(wù)的穩(wěn)定進(jìn)行。

4 大數(shù)據(jù)在廣播電視監(jiān)測(cè)中應(yīng)用

4.1 采集監(jiān)測(cè)信息 廣播電視數(shù)據(jù)監(jiān)測(cè)系統(tǒng)在使用大數(shù)據(jù)技術(shù)進(jìn)行構(gòu)建的時(shí)候，會(huì)充分利用大數(shù)據(jù)的分析技術(shù)、互聯(lián)網(wǎng)的搜索功能以及數(shù)據(jù)挖掘技術(shù)等設(shè)計(jì)自己的數(shù)據(jù)模塊，數(shù)據(jù)模塊會(huì)對(duì)互聯(lián)網(wǎng)上的數(shù)據(jù)進(jìn)行收集、分析和管理。信息監(jiān)控采集模塊負(fù)責(zé)采集互聯(lián)網(wǎng)中產(chǎn)生的各類數(shù)據(jù)，同時(shí)對(duì)原始數(shù)據(jù)庫(kù)的數(shù)據(jù)內(nèi)容進(jìn)行更新。監(jiān)控信息采集模塊不僅要做到對(duì)互聯(lián)網(wǎng)中產(chǎn)生的各類語(yǔ)言文本類信息進(jìn)行采集，還要對(duì)網(wǎng)頁(yè)、圖片以及視頻等各種類型的信息進(jìn)行采集，并且能夠?qū)⒂袃r(jià)值的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)當(dāng)中。

4.2 處理監(jiān)測(cè)信息 在大數(shù)據(jù)的技術(shù)當(dāng)中，媒體的相關(guān)技術(shù)以及文本挖掘能夠?qū)υ嫉臄?shù)據(jù)進(jìn)行分析、過(guò)濾，并且能夠自動(dòng)的將監(jiān)測(cè)到的數(shù)據(jù)進(jìn)行智能化處理，將監(jiān)測(cè)到的信息通過(guò)智能化處理之后，可以將那些數(shù)據(jù)形成一個(gè)“信息樹(shù)”。比如說(shuō)：在進(jìn)行電視廣播的時(shí)候，就可以使用自動(dòng)化數(shù)據(jù)處理，在數(shù)據(jù)的監(jiān)測(cè)中，提取有效的信息和關(guān)鍵數(shù)據(jù)，并對(duì)提取的數(shù)據(jù)進(jìn)行分析和管理，從而形成一個(gè)智能的“信息樹(shù)”，這樣就變成了一個(gè)有效的分類數(shù)據(jù)模型。大數(shù)據(jù)信息處理除了自動(dòng)化的數(shù)據(jù)處理之外還可以使用手動(dòng)數(shù)據(jù)管理分析。這樣需要什么樣的數(shù)據(jù)處理方式就可以結(jié)合實(shí)際的情況進(jìn)行處理和修改。但是，唯一需要強(qiáng)調(diào)的就是大數(shù)據(jù)的自動(dòng)化處理，能夠有效的過(guò)濾掉無(wú)用的信息，防止一些無(wú)效的垃圾類數(shù)據(jù)下載。

4.3 分析監(jiān)測(cè)信息 在廣播電視監(jiān)測(cè)監(jiān)控系統(tǒng)中利用大數(shù)據(jù)技術(shù)可以設(shè)計(jì)信息檢測(cè)分析模塊，此模塊主要用于在數(shù)據(jù)信息采集處理完成之后，可以對(duì)收集的信息進(jìn)行分析，確保最終用于業(yè)務(wù)使用的信息質(zhì)量。

分析監(jiān)控信息模塊除了對(duì)監(jiān)控的信息提供分析服務(wù)之外，還可以提供檢索服務(wù)，而且是對(duì)監(jiān)控信息能夠進(jìn)行分類授權(quán)來(lái)完成檢索功能，以及根據(jù)監(jiān)控信息的實(shí)際情況提供相應(yīng)的信息服務(wù)等。在大數(shù)據(jù)技術(shù)當(dāng)中，存在的知識(shí)管理技術(shù)能夠保證在分析數(shù)據(jù)信息之后，能為工作人員提供一份符合需求的監(jiān)控報(bào)告以及信息統(tǒng)計(jì)圖表，方便工作人員能夠具體化的了解監(jiān)控區(qū)域內(nèi)的信息情況。此外可以使用監(jiān)控信息導(dǎo)航技術(shù)來(lái)實(shí)現(xiàn)對(duì)各類信息數(shù)據(jù)做到多級(jí)分類；我們也可以對(duì)數(shù)據(jù)的監(jiān)控報(bào)告進(jìn)行管理比如生產(chǎn)、導(dǎo)出或打印；也可以對(duì)用戶進(jìn)行權(quán)限控制，做到控制人員分類分級(jí)的訪問(wèn)包括監(jiān)控綜合分析報(bào)告在內(nèi)的各種監(jiān)控信息產(chǎn)品內(nèi)容；我們?cè)诒O(jiān)控分析報(bào)告或互聯(lián)網(wǎng)重點(diǎn)事件分析報(bào)告的基礎(chǔ)之上，廣播電視行業(yè)也可以對(duì)違規(guī)數(shù)據(jù)訪問(wèn)做出相應(yīng)的警示信息，提醒上網(wǎng)人員不要訪問(wèn)，并且對(duì)網(wǎng)絡(luò)內(nèi)部產(chǎn)生和傳播的違法違規(guī)信息做到及時(shí)攔截和清除。負(fù)責(zé)電視廣播監(jiān)控監(jiān)管工作的人員也可以根據(jù)需求定義和管理監(jiān)控信息導(dǎo)航樹(shù)，以便方便對(duì)各類隱藏信息的捕捉和清除。

5 結(jié)束語(yǔ)

隨著信息技術(shù)廣泛應(yīng)用，世界進(jìn)入了信息化的新時(shí)代，廣播電視監(jiān)測(cè)監(jiān)管系統(tǒng)的監(jiān)管模式應(yīng)該緊跟時(shí)代步伐，將大數(shù)據(jù)技術(shù)應(yīng)用到廣播電視監(jiān)測(cè)系統(tǒng)當(dāng)中，是技術(shù)性非常強(qiáng)的綜合性項(xiàng)目。通過(guò)文章對(duì)在廣播電視監(jiān)測(cè)系統(tǒng)當(dāng)中引入大數(shù)據(jù)技術(shù)的分析，希望能夠?yàn)樘岣邚V播電視的監(jiān)測(cè)監(jiān)管水平提供一定的理論依據(jù)，使廣播電視的數(shù)據(jù)監(jiān)測(cè)更加高效化，進(jìn)而推動(dòng)廣播電視產(chǎn)業(yè)的持續(xù)發(fā)展。