大數(shù)據(jù)環(huán)境下的突發(fā)事件網(wǎng)絡輿情動態(tài)監(jiān)測與預警研究

于 茜

（大連科技學院 信息科學學院，遼寧 大連 116052）

突發(fā)事件網(wǎng)絡輿情是指以突發(fā)事件為核心內(nèi)容的網(wǎng)絡輿情，包括已發(fā)生或未發(fā)生的自然災害、事故災難、公共衛(wèi)生事件及社會安全事件等。經(jīng)過不正當?shù)倪^分渲染將變成有害輿論，并迅速傳播擴大，危及社會公共安全，突發(fā)事件網(wǎng)絡輿情已然成為影響社會持續(xù)、穩(wěn)定、和諧發(fā)展的重要因素。近年來突發(fā)事件網(wǎng)絡輿情受到政府密切關(guān)注。

然而隨著大數(shù)據(jù)時代來臨，數(shù)據(jù)量巨大，數(shù)據(jù)形式不統(tǒng)一，結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)充斥網(wǎng)絡，給數(shù)據(jù)分析處理帶來困難，也給網(wǎng)絡輿情工作帶來了挑戰(zhàn)。以往的網(wǎng)絡輿情監(jiān)測和預警方法、手段在大數(shù)據(jù)環(huán)境下難以發(fā)揮其應有的效用[1-6]。本文研究的大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡輿情動態(tài)監(jiān)測與預警系統(tǒng)的體系架構(gòu)能夠解決上述問題。

1 系統(tǒng)體系架構(gòu)

大數(shù)據(jù)環(huán)境下的突發(fā)事件網(wǎng)絡輿情動態(tài)監(jiān)控和預測系統(tǒng)架構(gòu)分為4層，分別是數(shù)據(jù)采集層、數(shù)據(jù)處理層、網(wǎng)絡輿情動態(tài)監(jiān)測層、自動預警層。

1.1 第一層數(shù)據(jù)采集層

數(shù)據(jù)采集層完成大數(shù)據(jù)環(huán)境下網(wǎng)絡輿情信息的收集。大數(shù)據(jù)環(huán)境下網(wǎng)絡輿情信息主要來源有新聞評論、社區(qū)論壇、社交網(wǎng)絡、博客、微博、微信、郵件、維基WIKI、聚合新聞（Really Simple Syndication，RSS）、聊天工具網(wǎng)站數(shù)據(jù)庫等，針對不同數(shù)據(jù)來源采用不同的數(shù)據(jù)采集方式。采用網(wǎng)頁爬蟲方法收集綜合性論壇信息，采用RSS摘要收集方式對新聞和博客類網(wǎng)站進行數(shù)據(jù)收集，應用社交網(wǎng)絡服務平臺SNS采集微博等社交網(wǎng)絡數(shù)據(jù)，應用全文檢索系統(tǒng)實現(xiàn)對網(wǎng)站數(shù)據(jù)庫的直接檢索[7]，Web挖掘方法適用于大數(shù)據(jù)環(huán)境下所有類型網(wǎng)絡數(shù)據(jù)采集，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

1.2 第二層數(shù)據(jù)處理層

數(shù)據(jù)處理層完成大數(shù)據(jù)環(huán)境下數(shù)據(jù)的分類、轉(zhuǎn)換等處理工作。大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡輿情數(shù)據(jù)的特點是數(shù)據(jù)量巨大，結(jié)構(gòu)差異大，數(shù)據(jù)常常包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，為分析處理增加了難度。本層實現(xiàn)按照信息內(nèi)容的數(shù)據(jù)分類、聚類；實現(xiàn)信息去重，降低數(shù)據(jù)處理量；實現(xiàn)數(shù)據(jù)轉(zhuǎn)換，將非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)進行分析；最后為數(shù)據(jù)建立索引，加快訪問速度。

1.3 第三層網(wǎng)絡輿情動態(tài)監(jiān)測層

網(wǎng)絡輿情動態(tài)監(jiān)測層通過大數(shù)據(jù)分析、知識匹配實現(xiàn)自然災害、事故災難、公共衛(wèi)生事件及社會安全事件四大類突發(fā)事件網(wǎng)絡輿情信息的動態(tài)監(jiān)測。動態(tài)監(jiān)測過程是通過大數(shù)據(jù)輿情分析子系統(tǒng)實現(xiàn)的，輿情分析子系統(tǒng)將信息量已達到標準的突發(fā)事件網(wǎng)絡輿情實時數(shù)據(jù)構(gòu)建成知識模型與知識庫中的已發(fā)生突發(fā)事件模型進行動態(tài)匹配，成功則確認其已經(jīng)達到發(fā)布預警程度，交由自動預警層處理；匹配不成功則繼續(xù)監(jiān)控不斷匹配，直到信息量降到標準以下，認為其威脅已經(jīng)消失。

1.4 第四層智能預警層

智能預警層評定預警級別，通過動態(tài)監(jiān)測分析結(jié)果自動向有關(guān)部門發(fā)布預警，并產(chǎn)生報告供領(lǐng)導決策。確定預警的各項指標，建立科學合理的預警級別；接收監(jiān)測層的監(jiān)測結(jié)果與各級預警指標智能比對確定預警級別向相關(guān)政府部門、人員發(fā)布預警，并提供詳盡的級別評定報告和數(shù)據(jù)供管理者決策。

以上是大數(shù)據(jù)環(huán)境下的突發(fā)事件網(wǎng)絡輿情動態(tài)監(jiān)控和預測系統(tǒng)4層架構(gòu)，其中大數(shù)據(jù)輿情分析子系統(tǒng)和突發(fā)事件知識庫是本系統(tǒng)的核心，下面討論大數(shù)據(jù)分析子系統(tǒng)的核心實現(xiàn)過程及突發(fā)事件知識庫的構(gòu)建過程。

2 基于MapReduce的大數(shù)據(jù)處理

MapReduce是面向大數(shù)據(jù)分析和處理的并行計算模型，是實現(xiàn)大數(shù)據(jù)背景下突發(fā)事件網(wǎng)絡輿情分析的工具。MapReduce把計算過程分解為兩個主要階段，即Map階段和Reduce階段。Map函數(shù)處理鍵值對，產(chǎn)生一系列的中間鍵值對，Reduce函數(shù)用來合并所有具有相同Key值的中間鍵值對，計算最終結(jié)果[8]。Map和Reduce是兩個可定義函數(shù)，定義了任務本身，在此基礎(chǔ)上MapReduce才能并行計算。通過Map和Reduce函數(shù)的定義使得網(wǎng)絡輿情中雜亂無章的數(shù)據(jù)得到有效整理，得到含有突發(fā)事件屬性及屬性值列表的有效數(shù)據(jù)，使之可以與突發(fā)事件知識庫中的知識進行匹配，匹配一旦成功則向有關(guān)部門發(fā)布預警，等待處理。

3 突發(fā)事件知識庫構(gòu)建

基于大數(shù)據(jù)的知識計算是大數(shù)據(jù)分析的基礎(chǔ)。要對數(shù)據(jù)進行高端分析，就需要從大數(shù)據(jù)中先抽取出有價值的知識，并把它構(gòu)建成可支持查詢、分析和計算知識庫。當前各領(lǐng)域成型知識庫已有50多種，但在突發(fā)事件領(lǐng)域還未構(gòu)建出知識庫，由于突發(fā)事件具有其獨特的特性，與其他領(lǐng)域知識概念完全不同，所以該領(lǐng)域的知識庫需要單獨構(gòu)建。

采用手工構(gòu)建和半監(jiān)督自動構(gòu)建相結(jié)合的方法構(gòu)建突發(fā)事件知識庫。首先依據(jù)突發(fā)事件實際情況，賦予概念模型中屬性的具體涵義；其次依據(jù)部分真實發(fā)生的突發(fā)事件手工構(gòu)建基礎(chǔ)概念模型，即種子；然后依據(jù)種子，進行半監(jiān)督自動構(gòu)建，逐步形成知識庫。

4 基于Web服務的大數(shù)據(jù)分析

基于Web服務的大數(shù)據(jù)分析過程，是采用Web服務中的請求和響應來描述大數(shù)據(jù)分析過程。即從整理后的網(wǎng)絡輿情大數(shù)據(jù)中得到一個突發(fā)事件高頻熱詞，將其和屬性封裝為一個Web服務請求發(fā)送到服務器，服務器將其與知識庫中的知識進行匹配，并給出響應，從而分析出該高頻熱詞是否屬突發(fā)公共安全事件，是否需要關(guān)注或預警。（1）Web服務定義，將網(wǎng)絡輿情大數(shù)據(jù)封裝成Web服務。服務由若干輸入構(gòu)成，輸入是大數(shù)據(jù)屬性和類型的序?qū)?。?）Web服務約減,由于網(wǎng)絡輿情中數(shù)據(jù)量過大，產(chǎn)生的服務過多，影響計算速度，所以在正是計算之前先進行服務約減從而得到最簡化的服務隊列。（3）Web服務匹配，是將服務參數(shù)值和知識庫中的知識屬性值進行匹配，初步匹配基于可變精度的分級偏序粗糙集進行分類劃分，得到局部分類，然后再按照等價劃分進行精確匹配（允許空值出現(xiàn)）。通過以上方法網(wǎng)絡輿情中的大數(shù)據(jù)實現(xiàn)了與知識庫中突發(fā)事件知識的匹配，從而得知哪些大數(shù)據(jù)是需要關(guān)注和預警的。

5 結(jié)語

大數(shù)據(jù)環(huán)境下網(wǎng)絡輿情信息形式發(fā)生了巨大變化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為網(wǎng)絡輿情信息監(jiān)控、分析帶來了困難，本文提出的大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡輿情動態(tài)監(jiān)測和預警系統(tǒng)體系架構(gòu)，能對突發(fā)事件網(wǎng)絡輿情數(shù)據(jù)進行采集和預處理；能實現(xiàn)大數(shù)據(jù)處理；構(gòu)建了突發(fā)事件知識庫；建立了突發(fā)事件網(wǎng)絡輿情知識模型；并實現(xiàn)了知識模型和知識庫的匹配和智能預警，實現(xiàn)了大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡輿情分析。