基于主題爬蟲的網(wǎng)絡(luò)輿情系統(tǒng)設(shè)計與實現(xiàn)

摘要：網(wǎng)絡(luò)輿情具有快速、廣泛傳播的特征，發(fā)酵擴散時間極短，若未及時發(fā)現(xiàn)并妥善處置，可能會引發(fā)網(wǎng)絡(luò)輿情危機，造成嚴(yán)重的危害與影響。為凈化網(wǎng)絡(luò)環(huán)境，減少網(wǎng)絡(luò)輿情爆發(fā)所產(chǎn)生的損失，文章以網(wǎng)絡(luò)爬蟲技術(shù)為基礎(chǔ)，設(shè)計了基于主題爬蟲的網(wǎng)絡(luò)輿情監(jiān)測管理系統(tǒng)。首先，文章闡述了此系統(tǒng)設(shè)計思路，分別介紹了系統(tǒng)架構(gòu)設(shè)計、系統(tǒng)功能設(shè)計、系統(tǒng)安全設(shè)計3個方面內(nèi)容。最后，文章依次給出了輿情采集、輿情監(jiān)測、輿情分析、輿情預(yù)警、輿情處置5個主要功能的實現(xiàn)方法，旨在為相關(guān)部門科學(xué)監(jiān)控與處置網(wǎng)絡(luò)輿情提供可靠的軟件系統(tǒng)。

關(guān)鍵詞：主題爬蟲；網(wǎng)絡(luò)輿情；系統(tǒng)設(shè)計；功能實現(xiàn)

中圖分類號：TP391.3 文獻(xiàn)標(biāo)志碼：A

0引言

網(wǎng)絡(luò)媒體的誕生為政府與民眾溝通交流搭建了平臺，為公眾參與公共事務(wù)提供了路徑，可以有效收集各個地域、各個階段、各類民眾的真實訴求［1］。但網(wǎng)絡(luò)媒體中發(fā)布的部分信息具有傾向性與虛假性，可能會對社會穩(wěn)定、國家安定產(chǎn)生影響。而在相關(guān)部門的網(wǎng)絡(luò)輿情監(jiān)控工作的開展過程中，存在監(jiān)測方式陳舊、管理手段落后、管理工具不夠先進等問題。為此，研究者需要科學(xué)開發(fā)網(wǎng)絡(luò)輿情管理系統(tǒng)，通過科學(xué)設(shè)計，完善系統(tǒng)功能，提高網(wǎng)絡(luò)輿情管控效率及質(zhì)量，維持網(wǎng)絡(luò)空間健康、安全運行。

1基于主題爬蟲的網(wǎng)絡(luò)輿情系統(tǒng)設(shè)計思路

1.1架構(gòu)設(shè)計

系統(tǒng)架構(gòu)設(shè)計為B/S模式，以面向服務(wù)架構(gòu)的SOA為基礎(chǔ)，按照J(rèn)2EE體系要求、運用模塊化技術(shù)展開設(shè)計，引入了適用于多種操作系統(tǒng)、支持MySQL的數(shù)據(jù)庫，并設(shè)置了封裝模塊。此系統(tǒng)共由4層結(jié)構(gòu)組成，如圖1所示，一是數(shù)據(jù)采集層，數(shù)據(jù)信息的提取、篩選、轉(zhuǎn)換、裝載均在此層完成，此層主要是在主題爬蟲服務(wù)器集群支持下，篩選地址池中存儲的IP地址，通過模擬人訪問網(wǎng)絡(luò)時的行為，提取目標(biāo)網(wǎng)站信息，利用分布式存儲服務(wù)器及日志服務(wù)器分別存儲與記錄相關(guān)信息，再經(jīng)由數(shù)據(jù)接口向其他模塊傳送數(shù)據(jù)。二是數(shù)據(jù)存儲層，其作用是將數(shù)據(jù)采集層傳送的數(shù)據(jù)信息存儲于不同類別之下，如標(biāo)準(zhǔn)庫、元數(shù)據(jù)等。數(shù)據(jù)存儲、查找、發(fā)布均通過數(shù)據(jù)存儲管理模塊完成。三是數(shù)據(jù)分析層，此層的功能是分析數(shù)據(jù)關(guān)聯(lián)、判斷數(shù)據(jù)來源，并對所處行業(yè)、情感傾向展開分析，運用離線化、實時化計算形式，加工處理輿情數(shù)據(jù)，并在數(shù)據(jù)存儲層中保存處理后的信息。四是業(yè)務(wù)運用層，此層可隨時調(diào)用與輸出數(shù)據(jù)分析層加工處理后生成的數(shù)據(jù)。

1.2功能設(shè)計

基于主題爬蟲的網(wǎng)絡(luò)輿情系統(tǒng)應(yīng)具備5大功能，一是輿情采集功能，分別由以下子模塊構(gòu)成：具有起止管理、地址庫管理功能的采集任務(wù)管理子模塊；具有站點分類管理、采集策略設(shè)置功能的采集資源管理子模塊；具有手動及自動設(shè)置關(guān)鍵詞功能的關(guān)鍵詞管理子模塊；具有設(shè)置采集、網(wǎng)絡(luò)以及目錄參數(shù)的參數(shù)設(shè)置子模塊。二是輿情監(jiān)測模塊，功能設(shè)計如圖2所示。此模塊具備監(jiān)測地域、行業(yè)、人工等各類輿情報送情況的功能，且能預(yù)警發(fā)現(xiàn)的輿情信息，可按主題統(tǒng)計輿情信息、分析輿情走勢。三是事件分析模塊，此模塊具備事件管理、溯源分析、網(wǎng)友情感分析、微博分析、評論觀點分析、輿情報告生成等功能。四是輿情處置模塊，可以自主創(chuàng)建、指派、監(jiān)控、歸檔任務(wù)，并能自行統(tǒng)計報表。五是輿情預(yù)警模塊，具有預(yù)警設(shè)置功能，能夠通過頁面、聲音、郵件、短信4種方式發(fā)送預(yù)警提示。

1.3安全設(shè)計

主題爬蟲網(wǎng)絡(luò)輿情系統(tǒng)的安全設(shè)計包括2項設(shè)計內(nèi)容，即系統(tǒng)平臺安全設(shè)計、用戶終端安全設(shè)計。在系統(tǒng)平臺安全設(shè)計時，一要加強代碼編寫規(guī)范度，消除代碼漏洞；二要加大數(shù)據(jù)庫讀寫權(quán)限管理力度；三要合理應(yīng)用、實時整理、按需配置各類日志記錄；四要加強文件上傳前檢測，可采用沙箱檢測方式，識別惡意性程序及腳本違規(guī)上傳行為［2］；五要加強管理員用戶創(chuàng)建管控，通過賬號、密碼檢測，提高口令強度。研究者在進行用戶終端安全設(shè)計時，也要設(shè)置多元安全機制。設(shè)計方案要保證用戶賬號密碼的唯一性，確認(rèn)二者相互匹配后方可準(zhǔn)許用戶登入系統(tǒng)；應(yīng)定期審查日志，為密碼偏弱用戶發(fā)送重設(shè)密碼提醒；加強用戶終端病毒查殺軟件排查，為缺少有效殺毒軟件的用戶發(fā)送安裝提示；利用U盾加強特殊崗位安全性。

2基于主題爬蟲的網(wǎng)絡(luò)輿情系統(tǒng)的功能實現(xiàn)

2.1輿情采集功能的實現(xiàn)

在實現(xiàn)此功能時，研究者先將采集域名錄入定向設(shè)置欄，再依次輸入頻道鏈接、新媒體平臺賬號，可從各頻道、微博或微信等平臺上提取輿情信息，提取信息內(nèi)容包括電子報信息、各大網(wǎng)站及App中包含的網(wǎng)絡(luò)輿情信息。在監(jiān)測指定網(wǎng)站時，研究者可自定義關(guān)鍵詞，進而提取出相關(guān)信息。用戶可將正反2種類型關(guān)鍵詞錄入全局關(guān)鍵字設(shè)置頁面，可輸入否定性、噪聲性、主體性、地域性以及事件性5種關(guān)鍵詞。系統(tǒng)會在主題爬蟲支持下對監(jiān)控范圍內(nèi)的網(wǎng)站進行反復(fù)掃描，收集關(guān)鍵詞相關(guān)數(shù)據(jù)，可同時從成千上萬個網(wǎng)站中獲取信息，爬蟲采集服務(wù)器會利用地址池、在模擬人的行為后，完成網(wǎng)站監(jiān)控活動，然后再向存儲服務(wù)器中存儲采集的信息，并利用日志服務(wù)器記錄相關(guān)動作及行為。輿情采集設(shè)置界面如圖3所示。

2.2輿情監(jiān)測功能的實現(xiàn)

在輿情監(jiān)測功能的實現(xiàn)過程中，屬地網(wǎng)絡(luò)輿情需要利用對應(yīng)的形式展示。第一，常規(guī)展示主要是利用微博、微信或網(wǎng)絡(luò)媒體，提取與查看各信息源中采集并存儲的信息，可根據(jù)關(guān)鍵詞屬性查看對應(yīng)傾向輿情，如輸入正面關(guān)鍵詞，便可查看所有健康、正向的信息內(nèi)容。展示內(nèi)容有信息標(biāo)題、發(fā)布時間、信息來源，通過點擊查看按鍵還可看到原文。第二，在人工報送輿情功能的實現(xiàn)過程中，用戶需要自行錄入輿情信息上報原因，填好發(fā)送郵箱，向指定郵箱發(fā)送輿情信息。第三，專題管理，此功能是預(yù)警模塊的下級功能，需由用戶創(chuàng)建專題，將專題名稱錄入專題頁面，再依次輸入主體性、行為性及地域性關(guān)鍵詞，然后點擊網(wǎng)媒、論壇等數(shù)據(jù)來源，保存后便可完成專題管理。第四，專題信息統(tǒng)計，用戶點擊統(tǒng)計分析模塊，系統(tǒng)會將輿情走勢圖自動展示出來，并可同時顯示媒體來源、活躍媒體情況及關(guān)鍵詞云［3］。

2.3事件分析功能的實現(xiàn)

在事件管理功能的實現(xiàn)過程中，在事件分析模塊點擊新建事件按鈕后，將事件名稱錄入彈出的新增事件頁面，系統(tǒng)可自動提取關(guān)鍵詞，用戶也可通過手動方式同時輸入多個關(guān)鍵詞，或是對關(guān)鍵詞進行手動剔除。事件分析窗口的篩選在時間選擇窗口完成，然后點擊保存，在“我的事件”下將會生成事件封面。當(dāng)用戶編輯事件時，點擊事件封面，可顯示編輯菜單，點擊編輯、刪除按鈕便可執(zhí)行刪改操作。當(dāng)用戶點擊相關(guān)報道時，會顯示事件輿情信息列表；點擊數(shù)據(jù)來源、統(tǒng)計時間、媒體類型等篩選條件，可查看對應(yīng)類型的輿情信息；點擊刪除菜單，即可對彈出菜單中的事件進行刪除或移動。當(dāng)用戶追溯事件時，點擊事件封面名稱即可進入溯源頁面，此頁面會展示事件發(fā)展趨勢圖、微博分析圖以及媒體分析圖。在輿情報生成方面，用戶點擊自助模塊設(shè)置按鍵便可進入設(shè)置界面，此時會自動展示默認(rèn)模板，模板右側(cè)展示文本標(biāo)簽與格式、詳細(xì)輿情內(nèi)容及趨勢統(tǒng)計分析，左側(cè)為編輯區(qū)，可自主設(shè)置報告的名稱、內(nèi)容、日期及創(chuàng)建者，點擊導(dǎo)出便可將制作好的輿情報告以Word形式下載下來。

2.4輿情處置功能的實現(xiàn)

輿情處置模塊需要獨立運行，排查出管轄范圍內(nèi)的輿情之后，相關(guān)部門、負(fù)責(zé)單位應(yīng)回復(fù)待處理輿情，然后再指定網(wǎng)絡(luò)輿情處理單位。管理部門點擊輿情處置菜單，會自動進入輿情處置頁面，此界面會顯示指派任務(wù)數(shù)、處理任務(wù)數(shù)2部分區(qū)域。其中，在指派任務(wù)數(shù)中，此界面會依次展示未查看、已指派、未審核、已完成4種輿情事件數(shù)，處理任務(wù)數(shù)模塊會依次顯示未處理、正在處理、已完成的事件數(shù)及總?cè)蝿?wù)數(shù)，并會在這2個區(qū)域下方顯示出輿情等級占比圖。當(dāng)指派與辦理輿情時，管理部門會將系統(tǒng)采集的網(wǎng)絡(luò)輿情傳送給相關(guān)單位，相關(guān)單位將線上辦理情況導(dǎo)入系統(tǒng)，并按要求錄入回復(fù)鏈接，輿情辦理完成后，將呈現(xiàn)為已辦結(jié)狀態(tài)。當(dāng)輿情任務(wù)監(jiān)控歸檔處理時，打開已完成任務(wù)輿情信息列表，點擊事件追蹤按鍵，將顯示事件辦理流程、事件參與處置所用資料，點擊歸檔按鍵即可完成資料歸檔存儲。

2.5輿情預(yù)警功能的實現(xiàn)

在輿情預(yù)警功能的實現(xiàn)過程中，用戶首先要設(shè)置預(yù)警關(guān)鍵詞。在輿情預(yù)警菜單下，用戶點擊預(yù)警關(guān)鍵詞設(shè)置按鍵，再點擊添加按鍵，然后顯示出預(yù)警關(guān)鍵詞設(shè)置界面。用戶可結(jié)合實際需求，對預(yù)警關(guān)鍵詞進行輸入或修改，然后根據(jù)專題類型實施關(guān)鍵詞管理。所設(shè)置的關(guān)鍵詞共有3類，分別是主體性、事件性及地域性關(guān)鍵詞，關(guān)鍵詞的設(shè)置總量不低于100個［4］。然后，可以綁定微信，用戶利用微信掃描二維碼后，彈出微信公眾號綁定界面，點擊綁定之后，便可將預(yù)警信息傳送給指定微信。輿情預(yù)警共有3種顯示模式，輿情工作臺頁面采用彈窗形式預(yù)警，系統(tǒng)可向指定手機自動發(fā)送短信，也可利用微信將預(yù)警信息自動推送到手機客戶端。

3結(jié)語

在互聯(lián)網(wǎng)技術(shù)深化應(yīng)用的背景下，網(wǎng)絡(luò)輿情的發(fā)現(xiàn)與處置壓力逐步增大，由于網(wǎng)絡(luò)輿情影響力大，相關(guān)部門需要科學(xué)設(shè)計網(wǎng)絡(luò)輿情管理系統(tǒng)，運用科技手段監(jiān)測網(wǎng)絡(luò)事件走向，進而及時采取有效的網(wǎng)絡(luò)輿情處置措施。本文所設(shè)計的系統(tǒng)以主題爬蟲技術(shù)為基礎(chǔ)，具有數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)存儲、業(yè)務(wù)應(yīng)用4個層次，具備輿情采集、輿情監(jiān)測、輿情分析、輿情預(yù)警、輿情處置5大功能。在系統(tǒng)設(shè)計完成后，本文采用黑盒測試法進行了驗證，證實其能有效發(fā)現(xiàn)、快捷處置網(wǎng)絡(luò)輿情，對提高網(wǎng)絡(luò)輿情質(zhì)量、效率具有重要作用。

參考文獻(xiàn)

［1］王輝，劉蕾，沈黃金，等.網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)關(guān)鍵技術(shù)進展［J］.計算機時代，2022（6）：49-53.

［2］趙瑞丹，朱旭.基于爬蟲技術(shù)和語義分析的網(wǎng)絡(luò)輿情采集系統(tǒng)設(shè)計［J］.電子設(shè)計工程，2021（14）：56-60.

［3］王展，趙征鵬.基于爬蟲的高校網(wǎng)絡(luò)輿情分析系統(tǒng)設(shè)計與實現(xiàn)［J］.信息與電腦（理論版），2021（3）：137-139.

［4］何西遠(yuǎn)，張岳，張秉文.基于分布式爬蟲的微博輿情監(jiān)督與情感分析系統(tǒng)設(shè)計［J］.現(xiàn)代信息科技，2024（5）：111-114，119.

（編輯沈強編輯）

Design and implementation of network public opinion system based on theme crawler

JIANG" Guanxing， HUANG" Wei

（College of Science and Technology， Nanchang University of Aeronautics and Astronautics， Jiujiang 332020， China）

Abstract：" Network public opinion is characterized by rapid and wide dissemination， often fermenting and spreading in a short time. Failure to detect and dealing with it properly in time may lead to a network public opinion crisis， causing serious harm and influence. In order to purify the network environment and reduce the losses caused by the outbreak of network public opinion， the article designs a network public opinion monitoring and management system based on theme crawler technology. Firsty， the design idea of this system is elaborated， and the three aspects of system architecture design， system function design and system security design are introduced respectively. Finally， the realization methods of five main functions， namely， public opinion collection， public opinion monitoring， public opinion analysis， public opinion warning and public opinion disposal， are given in order， aiming at providing a reliable software system for the relevant departments to scientifically monitor and dispose of network public opinions.

Key words： theme crawler; network public opinion; system design; function realization