廣播電視監(jiān)測中大數(shù)據(jù)技術(shù)的應(yīng)用探討

□戴冬云

現(xiàn)階段，應(yīng)用大數(shù)據(jù)技術(shù)可以對海量數(shù)據(jù)和信息進行高效分析和處理，獲取有價值的信息，減少人的工作量，有效緩解工作壓力。就目前的發(fā)展?fàn)顩r來看，監(jiān)測工作還沒有進入到大數(shù)據(jù)時期。因而，現(xiàn)階段做好大數(shù)據(jù)技術(shù)的應(yīng)用對于提升廣播電視監(jiān)測工作具有重要意義。

一、大數(shù)據(jù)的內(nèi)涵

大數(shù)據(jù)技術(shù)的應(yīng)用，需要借助各種各樣的網(wǎng)絡(luò)數(shù)據(jù)庫和引擎等工具，同時該技術(shù)可以實現(xiàn)搜索、分類功能，并且可以進行數(shù)據(jù)的分析等。通過利用電子計算機所具有的高速運算能力，可以對一些事件或者是與事件相關(guān)的事物進行精確的研究與分析。這樣一來，就能夠在一定的范圍內(nèi)對未來發(fā)展的方向做出相應(yīng)的預(yù)測。通過大數(shù)據(jù)技術(shù)的應(yīng)用，還能實現(xiàn)海量數(shù)據(jù)的快速、自動處理和分析，進而可以減少人力勞動。另外，大數(shù)據(jù)技術(shù)還能提供許多個性化的數(shù)據(jù)服務(wù)與應(yīng)用，圖1為大數(shù)據(jù)處理平臺基本框架。

圖1　大數(shù)據(jù)處理平臺基本框架

二、大數(shù)據(jù)關(guān)鍵技術(shù)

（一）數(shù)據(jù)預(yù)處理技術(shù)

在進行數(shù)據(jù)的預(yù)處理工作時，需要做好數(shù)據(jù)的抽取和清洗工作，這樣一來能夠?qū)⒔Y(jié)構(gòu)化的數(shù)據(jù)進行同質(zhì)化處理，并且這一過程可以對形式相對復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)做出同質(zhì)化的處理，這一技術(shù)通常被稱為數(shù)據(jù)的抽取環(huán)節(jié)，也就是數(shù)據(jù)的集成。這一工作對于后續(xù)的數(shù)據(jù)分析有著重要的作用。通過抽取可以將一些無關(guān)緊要的數(shù)據(jù)排除在外，進而能夠獲取到更有價值的數(shù)據(jù)，這個過程就是數(shù)據(jù)的清洗環(huán)節(jié)?，F(xiàn)階段，Datastage以及Powercenter是行業(yè)內(nèi)部應(yīng)用較廣的兩款主流產(chǎn)品。清洗之后，可以按照數(shù)據(jù)結(jié)構(gòu)從簡單到復(fù)雜的關(guān)系，進行大量數(shù)據(jù)的深層次操作。比如進行數(shù)據(jù)的收集、變換以及分發(fā)等，這對于大數(shù)據(jù)的高效處理有巨大的推動作用，圖2為數(shù)據(jù)預(yù)處理技術(shù)示意圖。

圖2　數(shù)據(jù)預(yù)處理技術(shù)示意圖

（二）數(shù)據(jù)存儲以及數(shù)據(jù)管理技術(shù)

數(shù)據(jù)的存儲與管理主要借助于計算機的硬件與軟件得以實現(xiàn)，這一過程中可以實現(xiàn)數(shù)據(jù)的收集、存儲與處理、應(yīng)用。通過應(yīng)用數(shù)據(jù)管理技術(shù)，可以有效體現(xiàn)數(shù)據(jù)功能。隨著時代的不斷發(fā)展，數(shù)據(jù)管理也經(jīng)歷了三個階段的變遷，早期的管理方式主要是以人工管理的方式為主，隨后而來的就是文件系統(tǒng)。現(xiàn)階段，數(shù)據(jù)管理主要借助于數(shù)據(jù)庫系統(tǒng)來實現(xiàn)。通過將數(shù)據(jù)結(jié)構(gòu)建立在相應(yīng)的數(shù)據(jù)庫系統(tǒng)之中，可以實現(xiàn)數(shù)據(jù)間的聯(lián)系，同時可以進行數(shù)據(jù)的修改以及擴充、更新。通過應(yīng)用數(shù)據(jù)管理技術(shù)，還能確保數(shù)據(jù)的獨立性、安全性與完整性，極大地提升數(shù)據(jù)管理工作的效率。

（三）數(shù)據(jù)挖據(jù)以及智能分析技術(shù)

一般來說，數(shù)據(jù)挖掘涉及到的領(lǐng)域較為廣泛，比如現(xiàn)階段應(yīng)用較廣的人工智能技術(shù)以及模式識別技術(shù)等。對于數(shù)據(jù)的挖掘過程來說，主要是以算法的方式從海量的數(shù)據(jù)中找出相應(yīng)的有用數(shù)據(jù)。該技術(shù)將計算機科學(xué)作為載體，同時還應(yīng)用了統(tǒng)計、在線分析處理以及專家系統(tǒng)、檢索、模式識別、機器學(xué)習(xí)等方法。通過應(yīng)用該技術(shù)，可以達到高效的搜索目的。另外，搜索到的相關(guān)信息也經(jīng)常被應(yīng)用到商務(wù)管理、市場分析以及生產(chǎn)控制等環(huán)節(jié)，圖3為數(shù)據(jù)挖掘處理系統(tǒng)結(jié)構(gòu)圖。

圖3　數(shù)據(jù)挖掘處理系統(tǒng)結(jié)構(gòu)圖

三、廣播電視監(jiān)測發(fā)展現(xiàn)狀

目前，隨著現(xiàn)代化信息技術(shù)的不斷發(fā)展，廣播電視監(jiān)測技術(shù)逐漸朝著自動化、網(wǎng)絡(luò)化、數(shù)字化的方向發(fā)展，該技術(shù)的應(yīng)用極大地保障了廣播電視節(jié)目的安全播出。但是，現(xiàn)階段廣播電視監(jiān)測監(jiān)管工作還存在著一些問題，需要引起重視。

（一）廣播電視不同監(jiān)測業(yè)務(wù)的分散造成的浪費問題

對于廣播電視行業(yè)來說，其不同的監(jiān)測業(yè)務(wù)相對獨立，不同監(jiān)測業(yè)務(wù)單位之間缺乏必要的協(xié)調(diào)與溝通。這樣一來，就造成不同監(jiān)測系統(tǒng)之間很少進行數(shù)據(jù)上的交互。同時，由于同業(yè)務(wù)網(wǎng)內(nèi)部的一些監(jiān)測都是各自進行建設(shè)的，所以就會導(dǎo)致資源數(shù)據(jù)的利用方面出現(xiàn)浪費。因而，廣播電視監(jiān)測工作要跟著行業(yè)發(fā)展的趨勢走，還要注重監(jiān)測模式的融合以及合作、創(chuàng)新，最終形成一個智慧監(jiān)管的大網(wǎng)。

（二）平臺升級困難

近幾年來，隨著監(jiān)測行業(yè)硬件升級速度的不斷加快，與之相匹配的硬件操作系統(tǒng)和數(shù)據(jù)庫環(huán)境也在不斷地進行著更新。目前，各個業(yè)務(wù)系統(tǒng)經(jīng)常需要向新的平臺移植業(yè)務(wù)軟件并進行實時的升級，這在一定程度上對業(yè)務(wù)系統(tǒng)的穩(wěn)定運行造成了一定的影響。由于軟件版本以及硬件配置沒有進行統(tǒng)一規(guī)劃，因而導(dǎo)致后期階段的硬件性能升級工作出現(xiàn)較大的困難。

（三）監(jiān)測智能化程度較低

隨著廣播電視行業(yè)的不斷發(fā)展，行業(yè)內(nèi)監(jiān)測系統(tǒng)在技術(shù)等方面有了很大的進步。但是，對于廣播電視的智能化程度來說，還有很大的改善與提升空間。一方面，因為大數(shù)據(jù)分析和新技術(shù)的應(yīng)用相對較少，同時在應(yīng)用方面質(zhì)量不高，所以造成了行業(yè)內(nèi)很多監(jiān)測工作需要人工來完成；另一方面，監(jiān)測數(shù)據(jù)的關(guān)聯(lián)分析效果較低，同時行業(yè)內(nèi)不同監(jiān)測模塊之間的關(guān)系較為獨立；此外，在進行相關(guān)監(jiān)測數(shù)據(jù)的采集、分析工作時，也存在著較大的局限性，這一局限性主要體現(xiàn)在本單位設(shè)備的測量以及相應(yīng)的監(jiān)測數(shù)據(jù)方面。因而，對于廣播電視來說，要做好數(shù)據(jù)的采集以及制作、傳輸?shù)裙ぷ鳎仨毑粩嗵嵘O(jiān)測的智能化程度，進而有效提升監(jiān)管的效率與價值。

四、廣播電視監(jiān)測中大數(shù)據(jù)技術(shù)的應(yīng)用

（一）信息采集并形成初始信息庫

在應(yīng)用大數(shù)據(jù)技術(shù)的過程中，首先要做好信息的采集工作，并且要形成初始信息庫。在這一過程中，要把繁雜的監(jiān)測數(shù)據(jù)采集到相應(yīng)的數(shù)據(jù)庫中，同時還要做好數(shù)據(jù)的分類工作，進而提升初始信息庫的利用價值。采集過程中，工作人員要適當(dāng)降低正常頻譜存儲的精度，同時還要做好一些異常頻譜的重點存儲工作。

（二）信息處理并構(gòu)建出專業(yè)化模型

對于目前的廣播電視監(jiān)測工作而言，從最初的數(shù)據(jù)采集工作到初始數(shù)據(jù)的處理，需要經(jīng)歷重新的過濾、排列以及分類等環(huán)節(jié)，并且這一過程中要建立相應(yīng)的專業(yè)化模型。對于專業(yè)化模型而言，可以支持手動記錄信息情報。在進行信息的處理工作時，如果發(fā)現(xiàn)相應(yīng)的重點或者是難點內(nèi)容，工作人員要結(jié)合實際情況做好相關(guān)數(shù)據(jù)的加工、處理、刪除等工作。

（三）信息的分析與挖掘并發(fā)出相應(yīng)的預(yù)警

信息采集與處理工作結(jié)束后，工作人員要做好相關(guān)信息的分析工作。通過進行數(shù)據(jù)分析，能夠充分應(yīng)用監(jiān)測體系的信息導(dǎo)航功能，這樣一來就可以提供一系列的信息服務(wù)，同時還能對監(jiān)測報告以及信息統(tǒng)計圖表起到良好的規(guī)范作用。這一環(huán)節(jié)中，一旦發(fā)現(xiàn)與異態(tài)相吻合的信息，工作人員要及時通知用戶并進行查看，同時還要適時地發(fā)出預(yù)警。另外通過做好監(jiān)測信息的分析工作，并結(jié)合實際的狀況，可以隨時進行信息導(dǎo)航樹的定義、管理與監(jiān)測，使之更加完善、合理。此外，在進行大數(shù)據(jù)技術(shù)的應(yīng)用時，還要注意對大數(shù)據(jù)潛在價值的挖掘工作。一項數(shù)據(jù)可能現(xiàn)在沒有價值，但是在未來可能存在相應(yīng)的價值，因此，我們要積極改變思維，用創(chuàng)新性的方式與思路進行數(shù)據(jù)的整理。比如可以對有線電視單個頻道的EPG信息以時間為序進行相應(yīng)的縱向分析，進而幫助工作人員詳細掌握頻道節(jié)目的主要構(gòu)成；通過全國范圍內(nèi)的有線電視節(jié)目EPG信息的橫向分析工作，可以清晰地了解到節(jié)目的重播率，進而分析出節(jié)目的受歡迎程度。

（四）不要迷信大數(shù)據(jù)

大數(shù)據(jù)技術(shù)雖然是一項具有預(yù)測分析、數(shù)據(jù)挖掘、數(shù)據(jù)存儲等多種功能的綜合技術(shù)，但是不能過于迷信大數(shù)據(jù)，也不能認(rèn)為數(shù)據(jù)分析能夠揭示出一切的問題。對于大數(shù)據(jù)分析而言，它的方法主要包括統(tǒng)計理論、數(shù)學(xué)理論、計算機科學(xué)理論等。大數(shù)據(jù)架構(gòu)并不是一種萬能的架構(gòu)，傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)也具有相應(yīng)的優(yōu)勢與特點。在大數(shù)據(jù)時代，單位內(nèi)部的數(shù)據(jù)結(jié)構(gòu)主要表現(xiàn)出混合式的架構(gòu)。精確數(shù)據(jù)具備一定的優(yōu)勢，每一條數(shù)據(jù)均有準(zhǔn)確的含義和確定的價值，同時還能夠表達出明確的信息。

五、結(jié)語

進入二十一世紀(jì)以來，伴隨著信息技術(shù)的快速發(fā)展，大數(shù)據(jù)技術(shù)在廣播電視行業(yè)的應(yīng)用越來越廣泛，并且這一技術(shù)已經(jīng)成為平臺構(gòu)建、海量數(shù)字信息分析以及數(shù)據(jù)存儲環(huán)節(jié)中的一項重要技術(shù)。因此，在新媒體時代，廣播電視行業(yè)要注重大數(shù)據(jù)技術(shù)的應(yīng)用，并且要進行違法、違規(guī)信息的分析，防止不良信息的散布和傳播，凈化廣播電視大環(huán)境，促進廣播電視行業(yè)的和諧穩(wěn)定發(fā)展。