基于分布式數(shù)據(jù)采集和自然語言處理的高校網(wǎng)絡輿情監(jiān)控系統(tǒng)

張傳營 王世玉 董 懂

（河北科技大學,河北 石家莊 050000）

2020年9月29日，中國互聯(lián)網(wǎng)絡信息中心發(fā)布第46次《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》，截至2020年6月我國網(wǎng)民約9.04億人，互聯(lián)網(wǎng)普及率達67%，網(wǎng)民中學生群體占比達23.7%，人數(shù)為2.14億，居于首位[1]。高校學生基數(shù)龐大，具有思想活躍、好奇心強、渴望表達等特點，其獲取外界信息和發(fā)表觀點的行為依托信息量龐大、內容繁雜、環(huán)境復雜的互聯(lián)網(wǎng)平臺，學生在復雜環(huán)境中思想動態(tài)極易受到影響，因此，高校學生網(wǎng)絡輿情系統(tǒng)監(jiān)控系統(tǒng)成為高校處理網(wǎng)絡輿情問題的“利器”。

本系統(tǒng)以分布式數(shù)據(jù)采集和自然語言處理構建高效網(wǎng)絡輿情監(jiān)測系統(tǒng)，精準預測高校學生網(wǎng)絡輿情的發(fā)生和發(fā)展規(guī)律，對高校網(wǎng)絡輿情進行實時檢測與防控疏導，這對把握引導高校學生意識形態(tài)具有重要意義，為我國教育事業(yè)的穩(wěn)定發(fā)展和“三全”育人助力。

1 高校網(wǎng)絡輿情現(xiàn)狀

2020年4月，全國英語四六級考試取消，搜索量高達300萬，熱度值直線上升；甘肅某高校大學生家中剛脫貧就被電詐37萬，這個事件在三個小時就達到了傳播峰值，24小時被大V博主轉發(fā)；藍翔技校副校長帶師生異地斗毆，不僅充斥媒體版面，也引發(fā)網(wǎng)友調侃“打架斗毆哪里強，中國山東找藍翔”，學校名譽嚴重受損，還會影響招生，關系學校的生死存亡。

這幾起高校輿情危機把高校輿情管理和應對問題推到公眾視野。這些事件由校園突發(fā)事件引起，網(wǎng)上謠言四起，造成學生人心浮動，破壞正常校園秩序，一旦處置不力或不及時會直接演變?yōu)楣参C事件。近年來，高校網(wǎng)絡輿情事件層出不窮，數(shù)量急劇上漲。據(jù)統(tǒng)計，2020年全國高校重大輿情同比增加33%，較2018年增幅達到133%。在互聯(lián)網(wǎng)迅猛發(fā)展的新時代，如果妥當處置有苗頭或者已經(jīng)產(chǎn)生不良影響的危機事件，是所有高?，F(xiàn)階段的必修課。

2 高校網(wǎng)絡輿情特點

高校網(wǎng)絡輿情是指高校學生對于突發(fā)事件敘述、事件本身描述、個人觀點的個人認知、情緒輸出、解決措施，體現(xiàn)在互聯(lián)網(wǎng)上不同方式不同程度的表現(xiàn)形式，是高校學生根據(jù)網(wǎng)絡上輿情現(xiàn)狀和自身思想動態(tài)狀況結合加工后形成的反饋[2]。

第一，高校學生網(wǎng)絡輿情具有網(wǎng)絡輿情的一般特征：事件突發(fā)性、規(guī)律周期性和立場多元性等。不少同學生在面對同一內容討論時，會根據(jù)自身的理解，從不同角度發(fā)表觀點和見解。但同時，我們也必須清楚地認識到，由于人們對事件的認識和理解不同，自然發(fā)表的信息具有兩極分化的特點，其中部分學生能夠正確認識事件的原因和處置方法，同時也有很多學生的認知存有偏差，甚至利用互聯(lián)網(wǎng)自由行性的特點，隨意發(fā)表不當言論。如一些網(wǎng)民通過網(wǎng)絡散布謠言、披露隱私、進行偏激和非理性的謾罵與人身攻擊。

第二，傳播集中性、訴求穩(wěn)定性、規(guī)模易控性等獨特特征。在傳播上，高校網(wǎng)絡輿情一般遵循“產(chǎn)生—發(fā)展—蔓延—衰退” 的成長周期，在輿情大規(guī)模爆發(fā)前都會經(jīng)歷一段醞釀時期在小范圍內傳播。若高校管理者能夠盡早發(fā)現(xiàn)，提前行動，及時解決，對有效降低負面輿情信息傳播規(guī)模，減少網(wǎng)絡謠言帶來的校園影響以及社會危害具有重要作用。

第三，如今，大學生所處的互聯(lián)網(wǎng)環(huán)境是多平臺多形式的新媒體環(huán)境，具有網(wǎng)絡輿情分享方式更加便捷、參與限制性更低、信息更新迭代速度更快、信息傳播范圍更廣等特點，給高校網(wǎng)絡輿情控制帶來挑戰(zhàn)。它不僅僅與日常學習和生活相關，其他如國內外時事政治、軍事和宗教等，均是校園網(wǎng)絡討論的范圍。每當一個事件發(fā)生后，網(wǎng)絡輿情的主題往往會隨之發(fā)生變化。如以 2020年為例，發(fā)生的大事件包括：新型冠狀病毒、女排在世界杯奪冠、華為被美國列入“實體清單”事件、疫情期間的封校管理等。每個事件發(fā)生后，均會引起學生在網(wǎng)絡上的激烈評論和討論。

3 系統(tǒng)的總體設計

互聯(lián)網(wǎng)數(shù)據(jù)采集與分析系統(tǒng)軟件采用開源的通用采集平臺、自定義數(shù)據(jù)采集器、開源的Elasticsearch搜索引擎、大數(shù)據(jù)組件等，進行二次深度定制開發(fā)實現(xiàn)，系統(tǒng)后臺使用Java、Python為主要工具語言，前端采用Vue框架，并可根據(jù)業(yè)務需求進行算法定制。

數(shù)據(jù)采集清洗子系統(tǒng)是自主研發(fā)的通用采集器，采用主從分離的分布式架構[3]，在保證高效率數(shù)據(jù)采集的同時，也具備高可用性、高擴展性、快速定制采集規(guī)則等能力，從而保證數(shù)據(jù)在線處理子系統(tǒng)擁有增量式采集、按主題分類采集、可定制化采集的強大功能，因是自研發(fā)采集組件，可從底層優(yōu)化采集效率，也可對抓取節(jié)點進行橫向擴展，保障數(shù)據(jù)采集高效性。數(shù)據(jù)層的存儲解決方案使用HBase+Elasticsearch的組合，均是基于Java開發(fā)的，其中Elasticsearch以Lucene的開源后端搜索引擎，同時也是目前發(fā)展最快、最受歡迎的搜索引擎，它具備強大的數(shù)據(jù)索引、快速搜索和海量存儲能力。

數(shù)據(jù)資源管理子系統(tǒng)可通過開源的分布式數(shù)據(jù)存儲組件，如Minio、HBase、Hive等，對文本文件、網(wǎng)頁文件、PDF文檔、Office文檔等常見的數(shù)據(jù)類型提供統(tǒng)一的數(shù)據(jù)管理能力，并可從文本中提取關鍵信息、實體識別、實體屬性等，構建領域知識圖譜，對外提供知識服務。

數(shù)據(jù)分析應用子系統(tǒng)在使用開源的基礎算法組件之上，根據(jù)業(yè)務需求定制算法，通過業(yè)務關注方向、專業(yè)設備分析模塊、重要人物分析模塊進行全方位、多角度、相關關聯(lián)分析與擴展，為系統(tǒng)用戶提供具有實際價值的具有前瞻性的綜合分析內容。

系統(tǒng)采用“外網(wǎng)+內部局域網(wǎng)”方式進行部署，外網(wǎng)部署數(shù)據(jù)在線處理子系統(tǒng)基于Java開發(fā)的C/S架構設計，實現(xiàn)多節(jié)點、多進程、多線程并發(fā)的方式進行信息采集，能夠部署在國產(chǎn)麒麟系統(tǒng)、Linux或Windows服務器平臺上，實現(xiàn)互聯(lián)網(wǎng)信息的采集清洗與跟蹤，局域網(wǎng)部署數(shù)據(jù)分析管理子系統(tǒng)基于Java開發(fā)的B/S架構設計，前端使用主流的Vue框架以及阿里開源的ant-design組件，可達到完美兼容IE11和以Chrome、Firefox三款最主流的瀏覽器的目標，為機關首長提供一個信息瀏覽、統(tǒng)計與分析工具平臺。

三個子系統(tǒng)之間可通過光盤方式實現(xiàn)數(shù)據(jù)擺渡，實現(xiàn)子系統(tǒng)間的數(shù)據(jù)交互。系統(tǒng)部署如圖1所示。

圖1 系統(tǒng)總體設計圖

4 系統(tǒng)總體架構設計

本輿情監(jiān)控系統(tǒng)采用以Java語言為主、以開源軟件為基礎的定制化系統(tǒng)架構，系統(tǒng)共分4個層次，其中資源平臺和基礎平臺層屬于數(shù)據(jù)在線處理子系統(tǒng)，采用分布式的C/S架構，實現(xiàn)多線程并發(fā)信息采集與數(shù)據(jù)清洗，業(yè)務層和功能平臺層屬于數(shù)據(jù)分析管理子系統(tǒng)，采用B/S架構實現(xiàn)，使用瀏覽器來進行配置和瀏覽。系統(tǒng)的不同功能模塊可靈活部署于不同系統(tǒng)和應用之上，功能模塊間的通信通過消息中間件來完成。軟件采用的系統(tǒng)架構具有與平臺無關性，能夠穩(wěn)定運行在國產(chǎn)麒麟系統(tǒng)、Linux或Windows平臺之上，便于進行現(xiàn)有資源調度和系統(tǒng)性能調優(yōu)。為確保自身的高安全性。系統(tǒng)各功能模塊間的通信均可采用數(shù)據(jù)加密和雙向認證的方式進行，可防止網(wǎng)絡竊聽、報文監(jiān)測等安全入侵。見圖2。

5 系統(tǒng)部署

根據(jù)系統(tǒng)設計和實現(xiàn)方法開發(fā)出來的系統(tǒng)原型主要包括兩大部分：第一部分是數(shù)據(jù)在線處理子系統(tǒng)，主要包括用戶管理、采集器管理、網(wǎng)址管理以及系統(tǒng)自身運行維護管理；第二部分是數(shù)據(jù)分析子系統(tǒng)，主要給用戶提供可視化的分析結果，瀏覽采集到的信息和各類統(tǒng)計圖表。

系統(tǒng)將在外網(wǎng)和內網(wǎng)分別部署數(shù)據(jù)在線處理子系統(tǒng)和數(shù)據(jù)分析子系統(tǒng)，兩個系統(tǒng)之間通過光盤進行單向數(shù)據(jù)擺渡?？稍趪a(chǎn)化的硬件平臺上使用，如飛騰1500A CPU服務器平臺，基礎業(yè)務數(shù)據(jù)能夠與國產(chǎn)達夢數(shù)據(jù)庫實現(xiàn)兼容移植，同時系統(tǒng)能夠運行在國產(chǎn)化的麒麟操作系統(tǒng)上。

整個系統(tǒng)主要由兩大模塊構成，外網(wǎng)負責實施采集互聯(lián)網(wǎng)數(shù)據(jù)，通過主題管理和數(shù)據(jù)源管理對所采集數(shù)據(jù)源頭進行控制，外網(wǎng)會部署數(shù)據(jù)存儲集群，將清洗過后的數(shù)據(jù)存入其中。內外網(wǎng)將會使用單向的光盤進行數(shù)據(jù)的擺渡，將分析的基礎數(shù)據(jù)傳至內網(wǎng)，進行進一步深加工。內網(wǎng)環(huán)境將會部署多種語義分析服務，同時，內網(wǎng)也會提供對海量數(shù)據(jù)存儲資源的管理系統(tǒng)。最后，數(shù)據(jù)分析應用部分，也將部署在內網(wǎng)環(huán)境中，用于展示數(shù)據(jù)分析結果。

圖2 系統(tǒng)總體架構設計圖

6 結語

本系統(tǒng)利用網(wǎng)絡爬蟲等技術從繁雜的內容中篩選出與確定主題相關的輿情信息，然后對源數(shù)據(jù)進行清洗和凈化獲得特征詞，以自然語言分析自動形成文摘、自動追蹤主題的轉換、察覺主體間的關系等。對此，高校網(wǎng)絡輿情監(jiān)測系統(tǒng)可以成為高校處理網(wǎng)絡輿情問題的重要“利器”，助力高校盡早發(fā)現(xiàn)，提前行動，及時解決，防控疏導，有效降低負面輿情信息傳播規(guī)模，最大限度降低負面影響。