基于主動監(jiān)測引擎和大數(shù)據(jù)的網(wǎng)絡輿情烈度演化分析系統(tǒng)

楊森 王黎 李超

摘要：隨著互聯(lián)網(wǎng)技術和應用的發(fā)展，網(wǎng)絡輿情在數(shù)據(jù)體量、復雜性和產(chǎn)生速度等方面發(fā)生巨大變化。因此本文提出網(wǎng)絡輿情烈度演化分析必須在大數(shù)據(jù)分析的思維下應用主動監(jiān)測引擎這一創(chuàng)新方式進行。

Abstract： With the development of Internet technology and applications， network public opinion has undergone tremendous changes in terms of data volume， complexity， and speed of production. Therefore， this paper proposes that the evolutionary analysis of network public opinion intensity must use the innovative method of active monitoring engine under the thinking of big data analysis.

關鍵詞：主動監(jiān)測引擎;大數(shù)據(jù);網(wǎng)絡輿情

Key words： active monitoring engine;big data;online public opinion

中圖分類號：G206 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1006-4311（2020）17-0201-03

1 ?目的和意義

1.1 與項目研究內容緊密相關的公司實際生產(chǎn)力水平和今后的發(fā)展方向

目前公司輿情管理工作已經(jīng)實現(xiàn)了對網(wǎng)絡輿論信息的主動監(jiān)測和輿情信息的流程化處置，工作質量和效率已經(jīng)大幅度提高。通過主動監(jiān)測引擎按照關鍵詞在網(wǎng)絡上進行定向元監(jiān)測和全網(wǎng)監(jiān)測，將公司關心的社會熱點、行業(yè)熱點、行業(yè)資訊和輿情等信息在不同的模塊中進行展示。

總體上來說，輿情的全過程閉環(huán)管理分為五個階段，分別為輿情監(jiān)測、輿情研判、調查落實、處置引導、輿情歸檔?，F(xiàn)階段已經(jīng)基本上可以全面、準確的監(jiān)測網(wǎng)上出現(xiàn)的輿論信息，然而，輿論信息在網(wǎng)上出現(xiàn)后不是一成不變的。

一是作為監(jiān)測手段，及時了解和掌握網(wǎng)絡輿情信息的發(fā)展狀況以及是否有擴大蔓延的苗頭性的隱患。運用網(wǎng)絡爬蟲、大數(shù)據(jù)、人工智能等技術手段。

二是提高工作效率。人工手段對輿情信息烈度演化的分析方法，需要手動對輿情信息進行檢索、統(tǒng)計與分析等各項操作，效率低下，難以適應新時代網(wǎng)絡輿情工作。

三是受關注程度高。近年來互聯(lián)網(wǎng)飛速發(fā)展，民眾尤其關注政府及關系國計民生的重點企業(yè)的舉動，因此有效的輿情監(jiān)測和處置應對策略具有非常重要的意義。

1.2 項目成果對該現(xiàn)狀和技術發(fā)展的作用

輿情信息烈度演化的過程，與源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉帖量、是否被大V關注、是否被主流媒體轉載、是否和當前社會熱點關聯(lián)等因素有著極大的關系，需要通過監(jiān)測分析手段的不斷完善和預警能力的不斷提高。

1.3 成果應用和推廣的途徑

基于主動監(jiān)測引擎，實時監(jiān)測網(wǎng)絡輿論發(fā)展態(tài)勢，建立輿情烈度演化大數(shù)據(jù)分析模型和預警機制，規(guī)范接入分析模型的各項因素，包括源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉帖量等信息。

①大數(shù)據(jù)應用：社會綜治作為政府社會綜合治理服務平臺的一部分，應用主動監(jiān)測和大數(shù)據(jù)分析，及時全面掌握互聯(lián)網(wǎng)上出現(xiàn)的與本地區(qū)相關的輿情信息，形成“一口采集、多口使用”、“一方采集、多方使用”的信息采集與資源共享機制。

②信用建設：建設以大數(shù)據(jù)為支撐的信用分析技術平臺，覆蓋數(shù)據(jù)采集、整理、存儲、數(shù)據(jù)挖掘和征信應用全生態(tài)，通過企業(yè)口碑監(jiān)測實現(xiàn)企業(yè)信用評估。

③智慧政務：智慧政務管理平臺對與各級政府轄區(qū)、各部門職責范圍相關的各類互聯(lián)網(wǎng)信息進行全面采集，一方面對敏感的、有害的輿情進行定性分析，做到“重要信息早發(fā)現(xiàn)”;另一方面對輿情事件進行定量分析，刻畫發(fā)展態(tài)勢、傳播特點、核心節(jié)點、網(wǎng)民觀點等。

1.4 成果推廣后的直接和間接效益

①可以實現(xiàn)對與輿情信息發(fā)展態(tài)勢有關的關鍵因素的實時監(jiān)控，結合烈度演化大數(shù)據(jù)分析模型，按照數(shù)據(jù)接入規(guī)范，將各項關鍵因素數(shù)據(jù)接入分析模型，提前預判可能會出現(xiàn)的異常情況，指導工作人員有效的防止輿情擴大化。

②可以實現(xiàn)為公司各部門提供精準的網(wǎng)絡輿論信息、情報信息和政策導向信息，比如為發(fā)展部提供新能源類的社會資訊信息和政策信息，為經(jīng)法部提供電力體制改革的政策信息，以及重大決策發(fā)布后，民眾對決策的評價。

③可以大幅度提高工作人員的生產(chǎn)效率，人工分析輿情信息的烈度演化，受搜索引擎、計算機水平和工作時間等因素影響較大，難以對輿情信息的烈度演化開展7*24小時的實時監(jiān)測，工作效率相對較低。

2 ?國內外研究水平綜述

2.1 與項目研究內容緊密相關的技術發(fā)展歷史的簡要回顧

隨著互聯(lián)網(wǎng)的發(fā)展壯大，人們獲取信息的途徑逐漸被網(wǎng)絡所替代。互聯(lián)網(wǎng)發(fā)展初期，人們主要通過瀏覽門戶網(wǎng)站的方式獲取所需信息，但是隨著Web的急劇發(fā)展，用這種方式尋找自己所需信息變得越來越困難。

2.2 國內外研究水平的現(xiàn)狀和發(fā)展趨勢

中國互聯(lián)網(wǎng)絡信息中心（CNNIC）發(fā)布第45次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》，報告顯示，截至2020年3月，我國網(wǎng)民規(guī)模為9.04億，互聯(lián)網(wǎng)普及率達64.5%，超全球平均水平。微信月活用戶突破10億，微博月活躍用戶達5.16億，龐大的網(wǎng)民構成了最重要的網(wǎng)絡輿論場。

2.3 介紹國外研究機構或者公司對本項目的研究情況

輿情是中國獨特政治社會背景和輿論生態(tài)環(huán)境的產(chǎn)物。網(wǎng)絡輿情是極具現(xiàn)階段中國政治與社會特色研究領域。國外網(wǎng)絡媒體在反映社情民意方面的作用不及我國，研究相對較少，國外較多的關注網(wǎng)民進行網(wǎng)絡內容創(chuàng)作、編輯與篩選。

2.4 介紹國內其他研究單位對本項目的研究情況

校企合作是網(wǎng)絡輿情研究的特點，典型的如“中國人民大學-百度”中國社會輿情研究中心、“南京大學-谷尼”網(wǎng)絡輿情監(jiān)測與分析實驗室、“清華大學-優(yōu)訊”輿情實驗室，促進了研究成果實踐價值的展現(xiàn)。二是網(wǎng)絡媒體，如人民網(wǎng)、新華網(wǎng)、中青網(wǎng)、天涯社區(qū)等知名網(wǎng)絡媒體，紛紛建立輿情研究團隊。三是商業(yè)部門，主要為政府和企業(yè)提供網(wǎng)絡輿情監(jiān)測服務的軟件公司，從事工作包括網(wǎng)絡輿情監(jiān)測預警和輿情管理研究。

3 ?項目的理論和實踐依據(jù)

3.1 項目的理論

在公司現(xiàn)有的主動監(jiān)測引擎基礎上，運用網(wǎng)絡爬蟲、文本聚類、NLP等技術。對出現(xiàn)的負面輿情信息的源發(fā)媒體、首發(fā)時間、話題類別、跟帖量、轉帖量、是否被大V關注、是否被主流媒體轉載、是否和當前社會熱點關聯(lián)、原有相似輿情是否引起輿情事件等影響輿情烈度演化的因素進行深度監(jiān)測分析。

3.2 實踐依據(jù)

①主動監(jiān)測引擎現(xiàn)狀：公司主動監(jiān)測引擎是以網(wǎng)絡爬蟲為核心的輿論大數(shù)據(jù)監(jiān)測系統(tǒng)，部署在特定機房中，通過9臺高性能服務器支撐運行，每天對外監(jiān)測并采集的數(shù)據(jù)超過60條萬。（圖1）

②技術實現(xiàn)路線：實現(xiàn)研究內容的技術有多種多樣，例如JavaEE、.NET、PHP等，由于主動監(jiān)測引擎和外聯(lián)品牌業(yè)務系統(tǒng)都是基于JavaEE技術建設的，為了保持和原有項目同樣的技術架構，提高研究的成功性，因此技術實現(xiàn)路線采取JavaEE技術。

③與公司外聯(lián)品牌業(yè)務信息系統(tǒng)的集成：遵循模塊化、可復用和面向對象的設計原則，借助可視化呈現(xiàn)和Echarts、HTML5等圖形庫技術，以時間軸圖的方式展示輿情信息烈度在網(wǎng)絡上演化傳播的路徑。

3.3 關鍵點和難點

文本語義分析和傳播路徑的追蹤是本項目研究的關鍵點，單條輿情的轉發(fā)關系會構成一棵樹形結構，同一話題輿情的轉發(fā)關系則會構成森林結構。利用網(wǎng)絡爬蟲、語義分析和文本聚類等技術，在網(wǎng)絡中監(jiān)測并采集與某一話題相關的所有信息，包括直接轉發(fā)的、同義不同語法和不同詞匯組成的。

4 ?項目研究內容和實施方案

輿情信息的研判和處置，與源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉帖量、是否被大V關注、是否被主流媒體轉載、是否和當前社會熱點關聯(lián)等因素有著極大的關系。

4.1 主動監(jiān)測引擎技術研究

精確、有效的關鍵因素數(shù)據(jù)是關鍵：

①依據(jù)輿情信息烈度演化分析模型需要的關鍵因素數(shù)據(jù)，需要對源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉帖量、是否被大V關注、是否被主流媒體轉載、是否和當前社會熱點關聯(lián)進行監(jiān)測和采集。

②能夠對監(jiān)測到的網(wǎng)絡輿論數(shù)據(jù)進行相似度分析，保證文義相同的數(shù)據(jù)（同一個事情），但是詞匯、語法不同的輿情信息可以有效的歸集在一起，精確度必須大約95%。

③具有地域識別和分析功能，精準度必須大約80%。

4.2 外聯(lián)品牌業(yè)務系統(tǒng)研究

①運用josn和restAPI技術實現(xiàn)主動監(jiān)測引擎的數(shù)據(jù)接口，需達到7*24小時不間斷運行的狀態(tài)。②通過軟件算法、接口業(yè)務數(shù)據(jù)和Echarts、HTML5等圖形庫技術，實現(xiàn)輿情信息烈度在網(wǎng)絡上演化傳播的路徑以及標準范圍對比雷達分析圖的可視化呈現(xiàn)。③通過java技術將網(wǎng)絡上演化傳播的路徑以及標準范圍對比雷達分析圖內置在輿情研判和輿情處置環(huán)節(jié)的各個關鍵流程點。

4.3 負面輿情信息時間-烈度演化可控范圍標準及分析模型

可控范圍標準是指導輿情研判和屬地單位調查處置輿情依據(jù)。①過對近幾年積累的海量輿論信息數(shù)據(jù)的結構化分析，結合ETL和大數(shù)據(jù)技術，研究源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉帖量、是否被大V關注。②運用軟件算法，實現(xiàn)輿情信息時間-烈度演化分析模型，準確率需達到75%以上。③借助山東電力品牌短信通知，實現(xiàn)信息的預警提醒。

參考文獻：

[1]董悅，王夢.基于情感分析與LDA模型的網(wǎng)絡輿情案例研究[J].價值工程，2019，38（34）：169-172.

[2]孫靖超.基于優(yōu)化深度雙向自編碼網(wǎng)絡的輿情情感識別研究[J/OL].情報雜志：1-6[2020-03-26].

[3]李傳兵，馬海瑞.貴州省中國特色社會主義理論體系研究中心省社科聯(lián)基地.疫情防控中的網(wǎng)絡輿情治理[N].貴州日報，2020-03-25（007）.