“兩微一端”視聽節(jié)目監(jiān)管系統(tǒng)探析

孟憲超

內蒙古自治區(qū)廣播電視監(jiān)測與發(fā)展中心 內蒙古 呼和浩特市 010050

引言

“兩微一端”即微信公眾號、微博和移動客戶端，它們是新媒體領域的主要應用形式。隨著“兩微一端”在娛樂、新聞、資訊等領域的迅速發(fā)展和普及，對其進行更嚴格、更全面的監(jiān)測監(jiān)管迫在眉睫。因此，本文探討一種基于虛擬化云計算技術的“兩微一端”視聽節(jié)目監(jiān)管系統(tǒng)的設計與實現(xiàn)方法，以提高監(jiān)測監(jiān)管的效率和準確性。

1 系統(tǒng)軟件架構

“兩微一端”視聽節(jié)目監(jiān)管系統(tǒng)采用面向服務的架構，即SOA，以服務總線為基礎，滿足遠程訪問服務的相關要求，構建了可伸縮、有彈性的基礎架構。此外，本系統(tǒng)所架構的技術模塊與面向用戶的門戶一一對應，對公共服務、基礎架構高度重視，縮短新業(yè)務開展時間，提高業(yè)務流程變更效率，為之后業(yè)務系統(tǒng)的不斷擴展預留足夠的空間?！皟晌⒁欢恕币暵牴?jié)目監(jiān)管系統(tǒng)架構設計，如圖1 所示。

圖1 “兩微一端”視聽節(jié)目監(jiān)管系統(tǒng)架構

1.1 業(yè)務應用系統(tǒng)

本系統(tǒng)人機交互界面相對友好，用戶通過該系統(tǒng)可以輕松地進行日常業(yè)務操作。系統(tǒng)在對App 視聽節(jié)目進行監(jiān)測監(jiān)管的基礎上，對微博、微信視聽節(jié)目進行監(jiān)測監(jiān)管，滿足用戶在不同場景下的使用需求，有效提高工作效率和監(jiān)管效果。

1.2 業(yè)務支撐服務

本系統(tǒng)采用模塊化設計，性能穩(wěn)定、功能強大，并通過企業(yè)級服務總線為上級業(yè)務系統(tǒng)提供多種服務，如平臺、數(shù)據(jù)等，這些服務包含節(jié)目信息提取、違規(guī)關鍵詞判別、違規(guī)圖像識別、垃圾文本篩除以及全文檢索等。

節(jié)目信息提?。簩ξ⒉⑽⑿乓约翱蛻舳松系母鞣N目標視聽節(jié)目迅速準確地提取相關結構化信息，如目標視聽節(jié)目的名字、來源、時間、基本內容等，并將這些信息進行整理，形成數(shù)據(jù)集，用于后續(xù)進行數(shù)據(jù)分析和決策。

違規(guī)關鍵詞判別：對網絡中整段的文本內容進行分詞處理，并與已經收入數(shù)據(jù)庫中的關鍵詞進行比對，迅速檢索分析敏感內容，及時發(fā)現(xiàn)違規(guī)視聽節(jié)目并進行上報。

違規(guī)圖像識別：系統(tǒng)自動對視聽節(jié)目中的圖像內容進行分析，發(fā)現(xiàn)涉黃涉暴或者其他違規(guī)圖像及時識別并提取。這項功能主要用于及時發(fā)現(xiàn)并處理疑似含有違規(guī)內容的視聽節(jié)目。

垃圾文本篩除：對垃圾文本進行過濾篩除。系統(tǒng)提前對網絡中的廣告、股票等沒有實質意義的垃圾內容進行剔除。這是對文本內容進行分析處理的基礎性措施，為了提高文本內容分析的準確率。

全文檢索：利用本系統(tǒng)對視聽節(jié)目進行全文檢索。用戶可以通過輸入關鍵詞或關鍵詞組，對目標視聽節(jié)目檢索，迅速找到所需信息或者數(shù)據(jù)，提高信息提取效率。

1.3 數(shù)據(jù)采集與存儲

在數(shù)據(jù)采集方面，系統(tǒng)主要提供手機App 以及微博、微信、專用爬蟲模塊，全面抓取和分析各類數(shù)據(jù)。

本系統(tǒng)是在虛擬化云計算平臺的基礎上進行構建的，將計算、存儲、網絡等物理硬件設備集中起來，通過虛擬化云計算平臺形成一個虛擬資源池，通過這個虛擬資源池對這些資源進行搭建并實現(xiàn)動態(tài)調度，使這些資源與監(jiān)測監(jiān)管平臺形成相對獨立的耦合關系。由此，可以根據(jù)不同業(yè)務或者用戶使用需求，利用虛擬資源池充分調用各種資源。此外，還可以利用虛擬資源池進行資源管理、數(shù)量統(tǒng)計和系統(tǒng)監(jiān)控。本系統(tǒng)可以針對不同業(yè)務單位的不同需求，為其提供相應技術支撐平臺和應用系統(tǒng)，用以調配資源、提供服務。

2 系統(tǒng)功能設計

2.1 智能監(jiān)管手機App 視聽節(jié)目

系統(tǒng)具備對轄區(qū)內手機App視聽應用進行主動發(fā)現(xiàn)的功能，并能對用戶設定的重點監(jiān)測目標，即App 中傳播的目標視聽節(jié)目信息進行采集與分析。系統(tǒng)能主動發(fā)現(xiàn)違規(guī)或敏感的視聽節(jié)目內容，經過人工審核確認后，幫助用戶實現(xiàn)對手機App 視聽節(jié)目的有效監(jiān)管。

2.2 自動化監(jiān)管微博微信視聽節(jié)目

系統(tǒng)能主動識別用戶設定的重點檢測目標，如所關注的微博、微信，用戶提前設置規(guī)則，系統(tǒng)根據(jù)規(guī)則提取并分析目標賬號或者公眾號上的視聽節(jié)目信息，及時查找并處理違規(guī)視聽節(jié)目內容，最終經過用戶審核確認，以此對微博、微信平臺上的視聽節(jié)目進行有效監(jiān)測監(jiān)管。

2.3 自動化監(jiān)管短視頻平臺視聽節(jié)目

系統(tǒng)能夠主動識別用戶關注的目標短視頻平臺，根據(jù)用戶提前設置的規(guī)則提取并分析相關短視頻平臺上傳播的視聽節(jié)目信息，及時查找并處理違規(guī)視聽節(jié)目，以此對短視頻平臺上視聽節(jié)目進行有效監(jiān)測監(jiān)管。

3 系統(tǒng)核心技術

3.1 爬蟲需要規(guī)避“兩微一端”防抓取策略

在實施爬蟲時，必須考慮到可能會遭遇到防抓取策略的影響，可采用如下規(guī)避措施：

避免高頻率請求：在抓取數(shù)據(jù)的過程中，爬蟲可能會對目標網站發(fā)送大量的請求，導致目標網站的服務器拒絕或限制爬蟲的訪問。為避免這種情況的發(fā)生，可以采取主動規(guī)避的方式。例如，在抓取數(shù)據(jù)時，盡量避免處理同一來源的鏈接；遇到禁止訪問的情況時，應采取學習的方式，適當增加延時參數(shù)，減少并發(fā)訪問的數(shù)量。

反爬蟲機制對策：目標網站可能部署了各種反爬蟲機制，如驗證碼、用戶登錄、IP限制等，以防止爬蟲的訪問。對此，應采取使用代理IP、模擬瀏覽器或使用驗證碼等相應的技術手段來規(guī)避反爬蟲機制。

數(shù)據(jù)準確性控制：在抓取數(shù)據(jù)的過程中，爬蟲可能會出現(xiàn)數(shù)據(jù)不準確、不完整的情況。因此，需要對抓取的數(shù)據(jù)進行校驗和處理，以確保數(shù)據(jù)的準確性和完整性。

提升爬蟲性能：在抓取大量數(shù)據(jù)時，爬蟲可能會出現(xiàn)性能下降、卡頓、崩潰等問題，可以通過優(yōu)化爬蟲代碼和架構解決這些問題，如采用分布式、異步、緩存等技術手段，提高爬蟲的性能和穩(wěn)定性。

3.2 支持需要賬戶登錄的數(shù)據(jù)采集

微博、微信公眾號、手機客戶端等平臺往往需要用戶先進行賬號登錄才能瀏覽或下載相關的數(shù)據(jù)內容。因此，系統(tǒng)應支持模擬用戶登錄狀態(tài)下的數(shù)據(jù)采集。以下是關于支持賬戶登錄狀態(tài)下的數(shù)據(jù)采集的設計思路和技術實現(xiàn)：

模擬登錄：爬蟲系統(tǒng)可以使用自動化測試工具，模擬用戶登錄到目標網站，成功登錄后，爬蟲系統(tǒng)可以發(fā)送請求，獲取需要采集的數(shù)據(jù)。這種方式能有效獲取那些需要賬戶登錄才能訪問的數(shù)據(jù)，保證數(shù)據(jù)采集的完整性和準確性。

賬號密碼保存：為了方便后續(xù)的登錄操作，爬蟲系統(tǒng)可以將用戶的賬號密碼保存在安全的地方，如放在加密數(shù)據(jù)庫或本地文件中。在需要登錄時，爬蟲系統(tǒng)可以從這些地方獲取賬號密碼，然后進行登錄操作。

記錄登錄狀態(tài)：為了提高用戶體驗，爬蟲系統(tǒng)可以記錄用戶的登錄狀態(tài)，以便在下次訪問時不需要再次輸入賬號密碼，這可以通過在本地存儲一些標識符或令牌來實現(xiàn)，減少用戶操作。

登錄失敗處理：在實際操作中，可能會出現(xiàn)各種錯誤導致登錄失敗，如用戶名或密碼錯誤、驗證碼錯誤等。此時，爬蟲系統(tǒng)需要通過重新登錄、重新發(fā)送驗證碼等行為，保證數(shù)據(jù)采集的穩(wěn)定性和連續(xù)性。

異常處理：在數(shù)據(jù)采集過程中，可能會出現(xiàn)各種異常情況，如網絡中斷、頁面不存在等。爬蟲系統(tǒng)需要通過重試請求、記錄錯誤信息等方式來處理這些異常情況，以保證數(shù)據(jù)采集的可靠性。

3.3 敏感內容過濾篩選

當前網絡監(jiān)管系統(tǒng)在過濾敏感內容時，主要依賴文本內容的篩選，但這種方法存在一定的偏差。通過文本關鍵詞來描述敏感內容并不精準，針對嚴格的定義可能會遺漏一些應該過濾的內容，而對寬泛的定義而言可能會導致虛警率過高，系統(tǒng)過濾的結果往往不是用戶所期望的。同時，隨著監(jiān)管業(yè)務范圍的擴大，人工工作強度也將增加。

為解決敏感內容過濾準確性的問題，本系統(tǒng)采用了綜合的技術手段，包括對文本、圖像內容進行智能分析的技術和多層級的自動過濾篩選技術。其中，涉黃涉暴圖像檢測智能分析技術可以有效識別敏感或違規(guī)內容，并通過多次篩選確定可信度最高的疑似違規(guī)內容，最終由用戶進行審核確認。這種方法可以顯著提高網絡違規(guī)或敏感內容的鑒別準確率，降低人力成本。

3.4 知識庫反衍學習

為了保證系統(tǒng)監(jiān)管結果的準確性，系統(tǒng)的敏感內容知識庫需要不斷進行更新和完善，本系統(tǒng)采用了以下技術手段來實現(xiàn)這一目標：

敏感內容分析：對一段時間以來累積的經過人工審核確認的敏感內容進行分析，如熱點詞語、短句，從中提煉出有價值的信息，并主動推送給相關業(yè)務人員進行審核，審核確認后的信息將自動加入到系統(tǒng)敏感內容知識庫，從而不斷向用戶匯總和推薦敏感線索資源。

機器學習算法：通過機器學習等技術，從大量的網絡數(shù)據(jù)中自動提取和挖掘敏感信息，并將其加入到敏感內容知識庫中。通過機器學習算法的不斷訓練和優(yōu)化，系統(tǒng)的敏感內容知識庫可以不斷得到更新和擴展。

加強合作：與相關的監(jiān)管機構進行合作，共同建立和維護敏感內容知識庫，確保系統(tǒng)中的敏感內容知識庫得到更全面和準確的覆蓋，滿足監(jiān)管工作的需求，同時系統(tǒng)也可以得到更多的數(shù)據(jù)支持和專業(yè)技術支持。

結語

“兩微一端”視聽節(jié)目監(jiān)管系統(tǒng)主要包含對視聽節(jié)目數(shù)據(jù)的收集、分析、處理和存儲等模塊。數(shù)據(jù)收集模塊通過互聯(lián)網和移動客戶端等多種渠道，實時采集視聽節(jié)目的數(shù)據(jù)，并對其進行初步處理和篩選。數(shù)據(jù)分析模塊利用虛擬化技術，對收集到的數(shù)據(jù)進行深入分析和挖掘，以實現(xiàn)對節(jié)目的精確監(jiān)管。數(shù)據(jù)處理模塊負責對節(jié)目的內容進行分類、審核和編輯等，以確保節(jié)目的質量和安全性。數(shù)據(jù)存儲模塊將處理后的數(shù)據(jù)存儲在高性能的分布式存儲系統(tǒng)中，以便后續(xù)的查詢和分析。

整套系統(tǒng)的實現(xiàn)方法主要涉及云計算平臺的建設和虛擬化技術的應用。首先，構建一個高效的云計算平臺，該平臺由多個計算節(jié)點組成，可實現(xiàn)抓取數(shù)據(jù)的分布式處理和存儲。其次，利用虛擬化技術，將計算資源進行動態(tài)分配和管理，以提高系統(tǒng)的性能和效率。最后，采用容器化技術，使系統(tǒng)具有更好的可擴展性和可移植性。

未來，系統(tǒng)會得到進一步的完善和優(yōu)化，以更好地適應復雜多變的監(jiān)管需求。通過引入更先進的5G 技術和人工智能技術，使其性能更加卓越，進行更精準的節(jié)目監(jiān)管、更高效的數(shù)據(jù)處理和更安全的數(shù)據(jù)存儲，為廣播電視行業(yè)發(fā)展帶來積極影響。