基于互聯(lián)網(wǎng)社交媒體的“河湖長制”輿情分析系統(tǒng)構(gòu)建

陳 喆，魏思奇，吳儀邦，文雄飛，向大享，李經(jīng)緯

(1.長江科學(xué)院 空間信息技術(shù)應(yīng)用研究所，武漢 430010； 2. 武漢市智慧流域工程技術(shù)研究中心，武漢 430010)

1 研究背景

目前國內(nèi)主流的互聯(lián)網(wǎng)社交媒體主要有微博、微信、抖音、快手等，用戶可在互聯(lián)網(wǎng)上根據(jù)自己的意愿發(fā)表見聞和觀點。社交媒體的內(nèi)容多種多樣，形式各異，從互聯(lián)網(wǎng)社交媒體中，通過搜索可以發(fā)現(xiàn)用戶感興趣的各種熱點事件信息，用戶在提供這些信息的同時，對其具體的描述與評價也反映了用戶對該事件情感傾向，通過分析這些情感傾向，可確定事件的性質(zhì)。微博作為目前國內(nèi)主流的社交媒體平臺，基于微博搜索技術(shù)對目標(biāo)事件進行輿情分析引起了研究人員的廣泛關(guān)注[1-4]，基于微博信息來對突發(fā)事件進行挖掘與分析[5-7]是研究的熱點方向之一。同時，在災(zāi)害事件的監(jiān)測方面， 許多研究人員[8-10]也通過微博信息(如地震災(zāi)情等)進行了災(zāi)害事件快速提取與識別。

河湖長制日常管理工作依賴于管理人員的日常巡查，管理人員通過遙感技術(shù)定期分析衛(wèi)星/無人機影像、視頻影像來發(fā)現(xiàn)問題。在岸線管理范圍內(nèi)發(fā)生突發(fā)事件時，微博作為公眾當(dāng)下反映問題的主要渠道，其文本數(shù)據(jù)中蘊含了主題多樣的時空信息和事件信息，通過搜索微博進行河湖岸線管理相關(guān)的事件跟蹤與提取，可有效增強岸線突發(fā)事件的發(fā)現(xiàn)能力，提高事件的解決效率，同時針對群眾對河湖岸線管理狀態(tài)評價進行有效的監(jiān)測與分析，有助于“河湖長制”管理效率的提高。在大數(shù)據(jù)時代背景下，許多研究人員對“互聯(lián)網(wǎng)+河湖長制”管理模式以及大數(shù)據(jù)在水利行業(yè)中的應(yīng)用進行了探討[11-13]，對微博上關(guān)于“河湖長制”的話題進行了初步研究，發(fā)現(xiàn)近年來關(guān)于“河湖長制”的議題數(shù)量在互聯(lián)網(wǎng)上呈上升趨勢，該結(jié)果說明人民群眾對于“河湖長制”相關(guān)政策及管理過程的關(guān)注度逐漸提高。然而，關(guān)于如何利用社交媒體中的有用信息輔助“河湖長制”管理工作的相關(guān)研究普遍偏向于理論層面，對于河湖長制事件提取與分析的整體框架與技術(shù)路線并沒有進行深入探討。

微博大數(shù)據(jù)中含有大量關(guān)于“河湖長制”事件的文字描述，但表達形式各異、表達語言不規(guī)范、文本與表情符號參雜在一起，增大了對微博數(shù)據(jù)進行分析的難度；同時，監(jiān)管人員往往期望能夠?qū)崟r地獲知事件的信息和處理的結(jié)果。因此，本文提出了一種對“河湖長制”相關(guān)微博文本進行實時處理的框架，利用爬取的歷史信息對微博進行實時分類統(tǒng)計，基于互聯(lián)網(wǎng)爬取技術(shù)和語義識別分析技術(shù)抓取關(guān)于“河湖長制”事件的新聞、公眾信息，并對該事件進行識別分類，提取事情發(fā)生的時間、位置、類型等標(biāo)簽，進行數(shù)據(jù)挖掘，分析事件情感傾向。通過該框架可以了解涉水工程、垃圾傾倒、非法排污等相關(guān)事件發(fā)生的頻次和趨勢，從而反映河流的健康程度和管理成效，為“河湖長制”管理決策、輿情分析等提供數(shù)據(jù)支撐，并以珠江河網(wǎng)區(qū)為例實現(xiàn)原型系統(tǒng)。

本研究整體系統(tǒng)架構(gòu)如圖1所示，包括數(shù)據(jù)采集、信息處理、事件分類與情感分析、統(tǒng)計檢索4個步驟，每個步驟具體包括若干項內(nèi)容。其中，數(shù)據(jù)采集與信息處理在后臺處理系統(tǒng)完成，用戶可視化系統(tǒng)完成時間分類與情感分析、統(tǒng)計檢索功能。

圖1 整體系統(tǒng)架構(gòu)Fig.1 Architecture of the system

2 知識爬取與清洗

2.1 采用分布式爬蟲技術(shù)采集海量數(shù)據(jù)

網(wǎng)絡(luò)爬蟲技術(shù)的目標(biāo)是根據(jù)用戶制定的規(guī)則從互聯(lián)網(wǎng)的網(wǎng)頁上抓取相關(guān)文本信息。傳統(tǒng)的網(wǎng)絡(luò)爬蟲結(jié)構(gòu)主要分為網(wǎng)頁下載、內(nèi)容分析、URL(統(tǒng)一資源定位符)地址去重和URL地址分配。最初的網(wǎng)絡(luò)爬蟲技術(shù)采用了串行處理的方式，微博網(wǎng)頁首先經(jīng)過下載模塊進行下載，下載的文本進入分析模塊，進行進一步的預(yù)處理并抽取其中的有用信息。URL地址去重和分配模塊主要用于消除重復(fù)鏈接和分配URL的策略。

為提高文本爬取效率，研究人員采用并行架構(gòu)，由多臺主機同時抓取數(shù)據(jù)，再將數(shù)據(jù)傳入主節(jié)點主機進行統(tǒng)一處理。隨著互聯(lián)網(wǎng)技術(shù)和計算機硬件高速發(fā)展，多機并行處理成為主流趨勢，更有學(xué)者提出廣域分布式web爬蟲技術(shù)，運用不同網(wǎng)絡(luò)位置的多個節(jié)點共同完成網(wǎng)絡(luò)信息抓取的任務(wù)。由于網(wǎng)絡(luò)爬蟲技術(shù)所面對的數(shù)據(jù)量十分巨大，目前的爬蟲技術(shù)多采用多機并行的方式來實現(xiàn)。在通用的網(wǎng)絡(luò)爬蟲方法之外，針對特定范圍，還有增量爬蟲、深度爬蟲和主題爬蟲方法。其中，增量爬蟲只爬取新增頁面，深度爬蟲專門爬取深層網(wǎng)頁，主題爬蟲則是對頁面主題進行過濾，根據(jù)頁面與主題的相關(guān)程度對頁面進行取舍。各種爬蟲技術(shù)有其自身的優(yōu)勢和局限性。

為保證爬蟲效率，本研究采用分布式爬蟲系統(tǒng)進行數(shù)據(jù)采集，在局域網(wǎng)內(nèi)不同的網(wǎng)絡(luò)位置布設(shè)多個爬蟲節(jié)點，根據(jù)爬取策略共同完成爬取任務(wù)。本文采用2節(jié)點爬蟲結(jié)構(gòu)，URL定時器定時向URL倉庫寫入種子URL，由調(diào)度器進行負載均衡，每臺服務(wù)器節(jié)點承擔(dān)相同的功能，各自負擔(dān)一部分URL的抓取工作。多節(jié)點結(jié)構(gòu)如圖2所示，節(jié)點之間的調(diào)度由Zookeeper進行，爬取數(shù)據(jù)存儲到Hadoop中等待下一步操作。

圖2 分布式并行爬蟲系統(tǒng)架構(gòu)Fig.2 Architecture of the distributed parallel crawlersystem

2.2 數(shù)據(jù)清洗

微博文本信息完全由互聯(lián)網(wǎng)用戶主動生成，由于用戶在撰寫微博時常采用網(wǎng)絡(luò)用語和簡寫，書寫內(nèi)容不規(guī)范，因此海量互聯(lián)網(wǎng)文本數(shù)據(jù)中的微博文本質(zhì)量參差不齊。與此同時，廣告和營銷微博也給互聯(lián)網(wǎng)文本帶來了噪音。如何從海量互聯(lián)網(wǎng)文本信息中找到與“河湖長制”相關(guān)的有效微博，是本研究的首要工作。由于無效信息會對后續(xù)的文本分析造成一定程度的干擾，因此需要在事件抽取之前進行一系列的過濾操作[14]，過濾掉空值和無效網(wǎng)址，并剔除垃圾文本。本文首先利用爬蟲技術(shù)，從微博等社交媒體網(wǎng)站采集海量外部文本數(shù)據(jù)并存儲至本地數(shù)據(jù)庫，再對該數(shù)據(jù)進行切分、清洗等預(yù)處理，形成基礎(chǔ)數(shù)據(jù)。具體的文本信息預(yù)處理及清洗流程如圖3所示。

圖3 文本數(shù)據(jù)預(yù)處理及清洗流程Fig.3 Procedures of text data preprocessing

對微博URL的識別有助于垃圾文本的過濾，程序可根據(jù)URL類別判斷網(wǎng)絡(luò)微博是否是由營銷賬號發(fā)送的無效信息。具體分類標(biāo)準(zhǔn)如表1所示。

表1 微博URL類別Table 1 URL categories of Weibo

通過垃圾微博識別及過濾，最終保留與“河湖長制”相關(guān)的有效文本信息。

3 知識建模與抽取

在完成互聯(lián)網(wǎng)文本爬取與清洗之后，需要對文本進行識別與分類，將爬取到的事件歸屬為不同的“河湖長制”問題類別。首先，采用人工標(biāo)注的方式建立“河湖長制”互聯(lián)網(wǎng)數(shù)據(jù)專家知識庫，再根據(jù)專家知識，通過機器學(xué)習(xí)的方式建立分類模型，最后依據(jù)分類模型對爬取到的互聯(lián)網(wǎng)文本進行識別與分類(圖4)。知識建模是文本分類的第一步，根據(jù)“河湖長制”六大任務(wù)建立實體模型，抽取模型屬性，配置關(guān)聯(lián)關(guān)系，再用實體模型與鏈接構(gòu)建知識關(guān)聯(lián)。

圖4 知識識別及事件提取流程Fig.4 Process of knowledge recognition and eventextraction

建立知識提取模型的過程即由規(guī)則命題集和邏輯量詞組成的規(guī)則元對專家規(guī)則進行描述，實現(xiàn)對源文檔信息抽取。本研究采用機器學(xué)習(xí)的方法將其他領(lǐng)域模型的信息抽取，實現(xiàn)對河湖領(lǐng)域知識抽取模型的完善。

3.1 建立分類模型以及規(guī)則庫

通過網(wǎng)絡(luò)搜索(微博、公眾號、官網(wǎng)等)，得到“河湖長制”事件的具體描述并解析字段，獲取時間、地點、事件類型和程度等結(jié)構(gòu)化信息，并入庫存儲。根據(jù)“河湖長制”六大任務(wù)的主要內(nèi)容，將六大任務(wù)進行分類，本文中所用到的具體類別如圖5所示。

圖5 河湖長制問題分類規(guī)則Fig.5 Rules for the classification of issues in “RiverChief System”

對識別的事件提取關(guān)鍵字字段，本研究中關(guān)鍵字段主要包括河流名稱、所屬行政區(qū)域、數(shù)據(jù)來源、事件嚴重程度、事件事件、問題描述、處理情況等，字段具體定義如表2所示。

表2 事件關(guān)鍵字提取字段Table 2 Extracted fields of event keywords

通過規(guī)則提取的三元組事件信息，列表顯示實體(河流)的名稱、屬性字段集合、問題分類、具體新聞、數(shù)據(jù)來源、創(chuàng)建事件等。對每一個規(guī)則類別，形成識別表達式。

3.2 分類模型構(gòu)建

以珠江流域為例，實驗區(qū)域選定“珠江”以及廣州各區(qū)及相關(guān)的河道、甬道名稱作為關(guān)鍵字段，進行新聞搜索。

整個事件分類模型包括學(xué)習(xí)過程和分類過程兩部分(圖6)。在學(xué)習(xí)過程中，首先對人工提取的訓(xùn)練文檔進行分析；基于程序分詞的結(jié)果，獲取訓(xùn)練文檔特征詞空間；再通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)專家知識，建立文本分類器，通過樣本訓(xùn)練調(diào)整分類器參數(shù)，得到分類器訓(xùn)練結(jié)果，該分類器將用于后續(xù)的分類過程中。

圖6 事件分類模型訓(xùn)練過程Fig.6 Training process of event classification model

學(xué)習(xí)過程即使構(gòu)建分類器的過程，考慮到不同類型分類器的效率和精度問題，本文選用多層感知機(MLP)對六大任務(wù)的三類問題進行識別和情感分類。多層感知機是常用的機器學(xué)習(xí)模型之一，其網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，通過訓(xùn)練獲取隱藏層的節(jié)點權(quán)值。

圖7 多層感知機分類模型Fig.7 Multi-layer perceptron classification model

模型具體計算流程為：

(1)分詞獲取單詞序列。

(2)獨熱向量(OneHot)序列編碼轉(zhuǎn)成詞袋模型，將詞由下標(biāo)表示，組成下標(biāo)列表，作為向量輸入：( 0, 0, 1, 0, …, 1, …,0, 0, 1, 0) 。

(3)用詞頻-逆文本頻率(TF-IDF)算法進行特征選取。

(4)定義網(wǎng)絡(luò)結(jié)構(gòu)。本文中用到的多層感知機在隱藏層中采用512個神經(jīng)元的全連接層, 激活函數(shù)采用RELU函數(shù)；Dropout操作中設(shè)置參數(shù)Dropout(0.5)，在訓(xùn)練時為了減緩過擬合現(xiàn)象，采用隨機模式，選擇50%的神經(jīng)元激活為0；全連接層+分類器，輸出標(biāo)簽編碼，分類函數(shù)為softmax。

(5)進行預(yù)訓(xùn)練，損失函數(shù)采用交叉熵(cross-entropy)，優(yōu)化器采用Adam；訓(xùn)練數(shù)據(jù)通過已有標(biāo)注的新聞, 將訓(xùn)練集和測試集按照9∶1進行劃分。

模型結(jié)果參數(shù)Epochs迭代次數(shù)設(shè)為100 000，損失函數(shù)為0.000 351。

分類過程即是利用訓(xùn)練好的分類模型對新文檔進行分類，獲得事件類別。

4 情感分析模型構(gòu)建

在識別了事件類型后，對整個事件描述進行進一步的情感分析，建立報表，存入數(shù)據(jù)庫中。針對 “河湖長制”熱點事件為話題的中文微博，通常含有對“河湖長制”事件的描述以及某些情感詞。以岸線范圍內(nèi)垃圾傾倒為例，若用戶在網(wǎng)絡(luò)上反映非法垃圾傾倒的問題，則其微博上常會出現(xiàn)：“垃圾” “亂扔” “臟” “憤怒” “過分”、以及與“憤怒”相關(guān)的表情符號和帶有強烈情緒的標(biāo)點符號(如感嘆號)。如果是政府開展了岸線垃圾傾倒的治理工作，群眾對該工作成果表示滿意，則其微博常會出現(xiàn)：“治理” “改善” “非常好” “棒” “開心”以及與愉快高興相關(guān)的表情符號。除了“治理” “改善” “亂堆亂放”等動詞外，“好” “很棒” “糟糕” “煩”這些情感詞也可預(yù)示該事件的網(wǎng)絡(luò)評價趨于正向或負向。這些情感詞一方面反映了當(dāng)?shù)亍昂雍L制”的執(zhí)行效果，一定程度上預(yù)示河流的健康程度和未來趨勢；另一方面亦可及時反映當(dāng)?shù)睾雍毒€管理、河流水環(huán)境管理出現(xiàn)的問題及解決情況。為了發(fā)現(xiàn)與“河湖長制”事件相關(guān)的詞語及其情感傾向程度，可構(gòu)建互聯(lián)網(wǎng)文本的情感詞典。本研究基于現(xiàn)有的中國情感詞典，采用監(jiān)督學(xué)習(xí)的方式對事件提取得到的情感詞進行情感分類，最終得到事件的情感傾向分類結(jié)果，包括正向情感和負向情感兩大類[15-16]。

在整個情感傾向分類的實現(xiàn)過程中，首先對提取到的完整事件及其關(guān)鍵詞進行特征提取，再基于特征提取的結(jié)果采用監(jiān)督分類的方式進行分類。支持向量機(support vector machines, SVM)作為一種典型且高效的分類器被用于文本的監(jiān)督學(xué)習(xí)任務(wù)之中。特征提取步驟需要提取如下特征[17]。

(1)詞句的統(tǒng)計特征：包括微博中句子的長度、分詞后的詞數(shù)等。

(2)分詞的詞性特征：包括分詞詞組和表情符號的詞性等。

(3)情感詞典特征：建立動詞、形容詞有關(guān)的情感詞典，進行語句中的詞性分類統(tǒng)計，分別統(tǒng)計正面詞匯和負面詞匯數(shù)量。

5 語義檢索統(tǒng)計與分析

在得到了每個“河湖長制”相關(guān)事件的情感傾向后，可建立支持語義檢索的搜索引擎，按照圖5所示河湖長制問題分類規(guī)則，對從微博提取的熱點河流六大任務(wù)識別量、新聞處理量、情感分析總量進行統(tǒng)計分析，報表輸出，如圖8所示。

圖8 統(tǒng)計分析功能用戶界面Fig.8 User interface of statistical analysis function

對提取的事件進行分析，包括：

(1)單例分析。對單條河流進行統(tǒng)計分析，顯示每日識別總量、情感分析每日總量、新聞每日處理量、情感整體趨勢。該分析功能主要用于對用戶關(guān)注的單條河流進行常態(tài)化監(jiān)測。

(2)排名分析。對河流經(jīng)過的不同行政區(qū)域，顯示每個行政區(qū)域的每日識別總量、情感分析每日總量、新聞每日處理量、按排名顯示行政區(qū)劃綜合統(tǒng)計。該分析功能可以獲取群眾關(guān)注的熱點區(qū)域和河流。

(3)事件分析。查看某行政區(qū)域內(nèi)的某條河流的新聞分析結(jié)果，可用于統(tǒng)計分析某個行政區(qū)域內(nèi)某條河流的治理效果、群眾的滿意程度。

(4)風(fēng)險預(yù)警河流。通過情感數(shù)據(jù), 可對河流進行風(fēng)險評估，向相關(guān)管理者和決策者提示高風(fēng)險河流和群眾低滿意度河流。

6 模型評估

為了評估模型的效果，本文從2018年6月至2020年12月對微博上珠江河網(wǎng)區(qū)數(shù)據(jù)采用網(wǎng)絡(luò)爬取，抽取6 000條數(shù)據(jù)作為樣本，依據(jù)河湖長制六大問題類別進行標(biāo)注，將訓(xùn)練集和測試集按照9∶1進行劃分，在訓(xùn)練集中采用N-fold的方法挑選最優(yōu)訓(xùn)練網(wǎng)絡(luò)，用于測試多分類的準(zhǔn)確率。在試驗中設(shè)置迭代次數(shù)為100 000，訓(xùn)練采用的顯卡(GPU)為GeForce RTX 3070，優(yōu)化器選擇Adam,激活函數(shù)選擇RELU，模型在測試集上的事件分類準(zhǔn)確率為88.6%，證明該模型具有一定的可用性。整個模型的事件提取與分析操作在效率上可實時進行。

搜索關(guān)鍵詞：“廣州”“珠江”，時間范圍不限，共爬取15萬條數(shù)據(jù)，其中2019-01-01—2021-06-30時間范圍期間共爬取29 000條有效數(shù)據(jù)。對每條文本信息進行預(yù)處理、事件提取與分類、情感分析，系統(tǒng)自動提取結(jié)果如表3所示。

表3 自動提取結(jié)果Table 3 Automatically extracted results

從分析結(jié)果中看出，違法建筑的事件總數(shù)最多，為753。生活垃圾(傾倒)的事件總數(shù)次之，為651。第3、第4、第5位依次為堆場碼頭、排放設(shè)施、養(yǎng)殖污染，相應(yīng)的事件總數(shù)分別為461、363、314。事件主要集中于違法建筑、建筑廢棄物、垃圾堆積、養(yǎng)殖污染等類型，整體來看微博情感呈正向趨勢，群眾反映問題和負面情感主要集中于垃圾堆積、生活垃圾這些關(guān)系到群眾日常生活的事件中。

7 結(jié) 語

考慮到微博數(shù)據(jù)在河湖長制管理中可能發(fā)揮的作用，本文提出了一種“河湖長制”相關(guān)微博實時處理框架。該框架包含：

(1)利用互聯(lián)網(wǎng)文本以及社交媒體上的相關(guān)歷史信息建立專家知識庫，根據(jù)專家知識對分類模型進行監(jiān)督訓(xùn)練，得到模型參數(shù)；再根據(jù)訓(xùn)練好的分類模型對相關(guān)微博進行實時分類統(tǒng)計。

(2)基于互聯(lián)網(wǎng)爬取技術(shù)和語義識別分析技術(shù)抓取關(guān)于“河湖長制”事件的新聞、公眾信息，并對該事件進行識別，提取時間、位置、事件類型等關(guān)鍵信息，最后利用這些關(guān)鍵信息進行更深一步的數(shù)據(jù)挖掘與分析。河湖長制日常管理工作通常依賴于管理人員日常巡查以及遙感、無人機技術(shù)定期采集影像數(shù)據(jù)并進行分析來發(fā)現(xiàn)河湖岸線存在的問題。在河湖岸線發(fā)生突發(fā)事件或水資源水環(huán)境問題沒有得到解決時，以微博為代表的互聯(lián)網(wǎng)社交媒體作為當(dāng)下群眾反映問題的主要信息渠道，通過搜索微博進行事件提取與事件跟蹤，一方面，可作為人工巡查方式和遙感解譯方式的補充，有效提高岸線突發(fā)事件的發(fā)現(xiàn)與解決效率，為岸線管理提供便利；另一方面，針對群眾對河湖岸線管理狀態(tài)評價進行有效的監(jiān)測與分析，可讓相關(guān)部門及時了解人民群眾對“河湖長制”管理水平的滿意程度，分析“河湖長制”六大任務(wù)的執(zhí)行情況，檢測河流的健康趨勢，并對高風(fēng)險河流和熱點河流進行提示，對提高當(dāng)前“河湖長制”的管理效率具有積極作用。