新時期互聯(lián)網視聽節(jié)目監(jiān)管系統(tǒng)建設的思索

徐　帥國家新聞出版廣電總局哈爾濱監(jiān)測臺，黑龍江哈爾濱　150089

新時期互聯(lián)網視聽節(jié)目監(jiān)管系統(tǒng)建設的思索

徐帥
國家新聞出版廣電總局哈爾濱監(jiān)測臺，黑龍江哈爾濱150089

隨著互聯(lián)網視聽節(jié)目的發(fā)展，音視頻資源愈來愈豐富，但這其中也隱藏著一些有害信息，而現(xiàn)有的監(jiān)管系統(tǒng)往往無法快速有效地搜查出它們。針對這種現(xiàn)象，文章提出了一個對現(xiàn)有監(jiān)控平臺進行資源共享的新思路，重新優(yōu)化監(jiān)測方式，實現(xiàn)對所有的視聽節(jié)目進行實時快速的自動化抓取分析，將甄選出的少量可能含有不健康信息的音視頻數(shù)據(jù)交由工作人員進行判斷，并提供這些數(shù)據(jù)的來源地址，以便更好地打擊網絡犯罪。

互聯(lián)網技術；視聽節(jié)目；監(jiān)管系統(tǒng)

隨著現(xiàn)代化社會的發(fā)展，無論是人們的生活還是工作都已與互聯(lián)網技術密不可分。雖然互聯(lián)網技術帶來了極大的便利，但也帶來了不小的隱患，越來越多的不健康信息潛藏在互聯(lián)網中，使得互聯(lián)網監(jiān)管成為一個各國政府都不得不面對的問題。早在1977年，美國便頒布了《聯(lián)邦計算機系統(tǒng)保護法》，開創(chuàng)了將法制引入互聯(lián)網的先河，并在1996年通過了《通信內容端正法》等法律，加強對互聯(lián)網通信的限制。然而僅有法律的約束是不夠的，由于網絡環(huán)境的特殊性，一些不法分子還是會借助互聯(lián)網傳播許多不良信息，給公眾帶來精神上的污染，所以一個能對互聯(lián)網信息進行實時甄別處理的監(jiān)管系統(tǒng)在當下變得極為重要。本文擬建立一個統(tǒng)一監(jiān)管平臺對互聯(lián)網視聽節(jié)目進行極速有效地分析處理，實時地將篩選出的不健康的信息反饋給相關部門以便及時處理。

1　當前我國互聯(lián)網視聽節(jié)目監(jiān)管體系現(xiàn)狀與呈現(xiàn)的問題

目前互聯(lián)網發(fā)展日新月異，網絡上每年所更新的內容已經堪比人類歷史所產生的數(shù)據(jù)的總和，面對如此海量的數(shù)據(jù)，要識別并處理其中的有害信息便成了一個巨大的挑戰(zhàn)。我國的互聯(lián)網監(jiān)管系統(tǒng)尚處在起步狀態(tài)，還有很長的路要走，許多問題急需要解決。

1.1數(shù)據(jù)標準化問題

隨著互聯(lián)網的高速發(fā)展，視聽節(jié)目由Web1.0的單向傳播發(fā)展到Web2.0的互動分享，由最初的B/S模式發(fā)展到現(xiàn)在的P2P模式，由最初的專業(yè)制作機構主導發(fā)展到用戶自己上傳內容，特別是在HTML5標準規(guī)范的制定完成后，使得其表現(xiàn)形式及文件類型變得千差萬別，即使同一個音視頻文件在不同的平臺中其表現(xiàn)出來的屬性也可能相差極大，這就導致監(jiān)管部門不得不根據(jù)不同特征類型的音視頻構建單獨的專用監(jiān)控系統(tǒng)，易造成信息的重復處理，導致極大的資源浪費且可能監(jiān)管不全。所以，建立一個能將互聯(lián)網視聽節(jié)目進行統(tǒng)計分析歸類并將其標準化的前端收集整合系統(tǒng)極為關鍵。

作者簡介：徐帥，國家新聞出版廣電總局哈爾濱監(jiān)測臺。

1.2信息孤島問題

由于監(jiān)管部門所使用的監(jiān)控系統(tǒng)不盡相同且相應標準不集中，導致各個監(jiān)控系統(tǒng)之間難以實現(xiàn)數(shù)據(jù)共享，從而使得最后匯總的需要人工處理的音視頻數(shù)據(jù)數(shù)量較大。其中，可能不同標準下的多個數(shù)據(jù)提供的是相同的信息，卻由于不同的監(jiān)控系統(tǒng)的輸出形式不同，導致需要大量的工作人員對其進行再甄別和處理。

1.3視聽節(jié)目內容難以實時全面挖掘問題

1.4部分視聽節(jié)目無法訪問問題

部分視聽節(jié)目資源隱藏于深層網頁中，深層網頁難以通過普通靜態(tài)鏈接直接訪問，只能通過特定的方式進入，例如回復可見、付費觀看等，而這類網站往往是有害信息的聚集之處?，F(xiàn)階段的技術無法繞過表層網站設置的訪問障礙直接獲取深層網站中的內容，所以這也會導致網絡監(jiān)管中出現(xiàn)一些監(jiān)控死角。

1.5缺乏視聽節(jié)目傳播分析功能問題

現(xiàn)有的監(jiān)控系統(tǒng)由于分析域單一，缺乏對數(shù)據(jù)來源的統(tǒng)計分析，所以往往只能記錄下幾個孤立的來源地址，無法確定不良信息的具體傳播路徑，導致無法對有害源頭進行有效打擊。且音視頻在傳播過程中會由于傳播平臺的不同導致數(shù)據(jù)特征發(fā)生改變，從而使監(jiān)控系統(tǒng)不得不提取出每一個音視頻數(shù)據(jù)文件逐一分析，增加系統(tǒng)的工作量及人工成本。

1.6視聽節(jié)目版權監(jiān)管缺乏問題

由于互聯(lián)網分享模式的便捷以及曾經中國人本身對作品版權不甚注重，導致視聽節(jié)目正版與盜版魚龍混雜，而現(xiàn)如今的監(jiān)管系統(tǒng)又難以對版權進行分析。目前隨著互聯(lián)網版權問題得到公眾越來越多的關注，對互聯(lián)網視聽節(jié)目版權的甄別和管理作為監(jiān)管系統(tǒng)的功能之一勢在必行。

2　新時期互聯(lián)網視聽節(jié)目監(jiān)管系統(tǒng)建設與設計

一個完整的監(jiān)管系統(tǒng)應包括前端的數(shù)據(jù)收集整合單元，中端的數(shù)據(jù)綜合分析處理單元以及后端的信息輸出單元。

2.1研發(fā)適應互聯(lián)網音視頻節(jié)目監(jiān)管工作的搜索引擎

一款適用于互聯(lián)網音視頻節(jié)目監(jiān)管工作的搜索引擎是高速有效提取所需的音視頻數(shù)據(jù)的關鍵，它應具有以下屬性。1）能夠極快地對互聯(lián)網上的信息進行檢索，并得到一個準確的結果。2）能夠有效識別關鍵字內容，并將其作為標準進行篩選，去除無用數(shù)據(jù)。3）能夠對所有域名進行檢索，確保無漏網之魚。4）能夠在確保不遺漏有害信息的同時盡量去除無用信息，減少系統(tǒng)工作量。5）能夠對提取出的有效信息進行整合，將相同信息合并，并分析其傳播路徑，完成對有害信息來源的確定。6）對所有提取出的有效信息進行整理，將其以標準化的格式輸出給下一單元，方便對數(shù)據(jù)內容的分析。

此搜索引擎可大致分為兩個部分：一個能夠快速有效地抓取相關網頁的音視頻資源的聚焦爬蟲系統(tǒng)；一個能夠快速對比有效信息并進行整合的分析系統(tǒng)。聚焦爬蟲是一種能夠自動爬取網頁的程序，它能根據(jù)既定的內容有選擇性地訪問有有用信息的網頁并對網頁上的信息進行有選擇性地提取，減少了抓取無音視頻網頁的時間，極大地提高了工作效率。分析系統(tǒng)需要將聚焦爬蟲提取出來的信息進行相似度分析，將相似度極高的內容進行整合打包并進行傳播途徑分析，并將來自不同網頁的格式眾多的音視頻進行重新的標準化編碼，再輸出給中端的數(shù)據(jù)綜合分析處理單元。2.2建立互聯(lián)網音視頻節(jié)目的統(tǒng)一監(jiān)管平臺

圖1　信息檢索處理層

由于目前監(jiān)管部門所使用的監(jiān)控系統(tǒng)不盡相同且不同監(jiān)控系統(tǒng)間難以實現(xiàn)數(shù)據(jù)共享，這就使得建立一個標準統(tǒng)一的互聯(lián)網音視頻節(jié)目監(jiān)管平臺極為重要。一個統(tǒng)一的監(jiān)管平臺可以在合理的時間內快速有效的分析處理掉來自前端數(shù)據(jù)收集整合單元的音視頻信息，并將其中的不良信息甄別出來發(fā)送給后端輸出。監(jiān)管部門的工作人員可以對輸出的信息進行人工識別從而判斷其有害與否，并對其進行最終處理。

這個統(tǒng)一監(jiān)管平臺可分為三個層面：軟件層面、硬件層面以及管理層面。管理層面包括各個不同地區(qū)的監(jiān)管部門的不同監(jiān)管系統(tǒng)之間的監(jiān)測數(shù)據(jù)共享及監(jiān)測區(qū)域的協(xié)調，避免出現(xiàn)多個監(jiān)控系統(tǒng)同時檢測相同音視頻資源的情況，防止資源浪費。硬件層面是指各自不同的監(jiān)管部門的硬件實現(xiàn)資源共享，或者說是根據(jù)硬件資源的擁有量合理安排監(jiān)控范圍，以確保能夠實時的對互聯(lián)網上的視聽節(jié)目信息進行快速甄別，第一時間內消除有害信息。軟件層面是指不同監(jiān)控系統(tǒng)的輸入輸出形式應統(tǒng)一標準，確保數(shù)據(jù)能夠快速共享并及時處理。

圖2　監(jiān)管平臺主體框架

此平臺中還應包括一個或多個能夠實時更新ICP數(shù)據(jù)庫，從而便于追蹤有害信息來源的現(xiàn)實地址，為打擊網絡犯罪提供方便之門。

3　關鍵技術

3.1搜索技術

3.1.1文本搜索

3.1.2圖像搜索

能夠利用已知的敏感圖像對節(jié)目庫中的視頻資源進行特征幀對比檢索，對含有與輸入圖像相似度較高的特征幀的視頻進行提取，并將其發(fā)送給分析系統(tǒng)進行再處理，同時對該文件進行定位及傳播途徑分析。

3.1.3音頻搜索

能夠對已知的敏感音頻信息進行聲波特征提取，并與數(shù)據(jù)庫中的音視頻資源進行聲波相似度分析，并將相似度較高的音視頻提取出來，發(fā)送給前端的整合系統(tǒng)，以便進一步分析確認，同時對音視頻的來源進行定位并記錄其傳播路徑。

3.2信息處理技術

3.2.1信息處理系統(tǒng)

信息處理系統(tǒng)基于Hadoop架構，Hadoop是一個能夠對海量數(shù)據(jù)進行快速分析處理的分布式系統(tǒng)基礎架構，得益于其并行分布的工作方式，它能夠依托在性能普通的硬件上提供快速高效的數(shù)據(jù)吞吐及處理，其優(yōu)點包括且不限于高可靠性、高擴展性、高效性、高容錯性及低成本。

3.2.2信息處理任務

信息處理包括以下幾個任務。

1）音視頻資源的采集匯總工作。其主要包括將搜索引擎得到的可能包含不良信息的網站進行全面信息采集，提取其中的音視頻信息及標題、來源等關鍵數(shù)據(jù)，并將原始數(shù)據(jù)進行匯總分流處理。

2）有效信息分類。系統(tǒng)采用模糊分類方法，通過對視聽節(jié)目所在網頁關鍵信息的分析整理從而對獲得的音視頻進行模糊分類，同時將相同資源的傳播路徑分析記錄下來，并僅保留源文件，減少重復內容，便于下一步的整合處理。

3）音視頻整合。系統(tǒng)將上一步得到的分類信息進行相似度對比，將相似度極高的數(shù)據(jù)合并或直接舍棄部分，減少需要處理的總數(shù)據(jù)量。

4）信息重新編碼。將上一步得到的音視頻資源進行數(shù)據(jù)整理，將不同形式的源文件轉換為便于系統(tǒng)統(tǒng)一分析的單一文件。

3.3視聽節(jié)目分析技術

3.3.1音頻分析

將信息處理系統(tǒng)中得到的音視頻文件進行音頻提取，并通過FFT（快速傅立葉變換）將模擬信號轉換為機器可識別的數(shù)字信號，對得到的數(shù)據(jù)進行對比分析處理，最后得到一個可視化的統(tǒng)計數(shù)據(jù)。3.3.2圖像分析

對視頻中的圖像進行特征幀提取，利用鏡頭邊緣檢測算法對分鏡頭中的多個圖像進行嚴格計算，得到每個鏡頭中最具代表的圖像，并利用信息處理平臺進行分析，最終得到一個可視化的統(tǒng)計數(shù)據(jù)。

3.4集中監(jiān)管平臺要深入研究的關鍵技術

網絡監(jiān)管由來已久，一些關鍵技術已經較為成熟，但還有部分技術尚未成型，所以在建立互聯(lián)網音視頻節(jié)目的統(tǒng)一監(jiān)管平臺的過程中應重點建設以下幾個關鍵技術。

1）一個能夠快速有效的對資源進行相似度分析的程序。

2）一個能夠保留原始信息并能將幾乎所有音視頻格式進行從新編碼的程序。

3）一個能夠實時進行數(shù)據(jù)共享及資源調配的系統(tǒng)。

4　結束語

隨著互聯(lián)網視聽節(jié)目的快速發(fā)展，一個能夠迅速準確監(jiān)測這些數(shù)據(jù)的監(jiān)管系統(tǒng)變得極為重要，集中統(tǒng)一的監(jiān)管平臺為監(jiān)管部門提高了效率，共享的數(shù)據(jù)庫節(jié)省了大量資源，而這也為公眾互聯(lián)網生活的安全健康打下了堅實的基礎。

［1］錢衛(wèi)，朱磊.構建互聯(lián)網視聽節(jié)目集中監(jiān)管平臺的探索和設想［J］.中國有線電視，2011（10）：1137-1140.

［2］裴鵬真.互聯(lián)網視聽節(jié)目監(jiān)管系統(tǒng)的應用與實踐［J］.計算機光盤軟件與應用，2014（4）：88-89.

［3］李曉東，王仝杰.互聯(lián)網視聽節(jié)目監(jiān)管的關鍵技術及系統(tǒng)簡介［J］.廣播與電視技術，2008，35（4）：52-54.

［4］葉昆.互聯(lián)網視聽節(jié)目監(jiān)管系統(tǒng)簡介［J］.大眾科技，2009 （10）：11-13.

［5］甄雪嬌，齊忠文，劉博，等.互聯(lián)網視聽節(jié)目監(jiān)管系統(tǒng)建設的思索［J］.廣播與電視技術，2014，41（z2）：60-62.

［6］謝燕燕.互聯(lián)網視聽節(jié)目監(jiān)管系統(tǒng)關鍵技術研究及方案設計［J］.廣播與電視技術，2015，42（5）：120-124.

2096-0360（2016）14-0039-03

G2

A