基于數(shù)據(jù)挖掘技術(shù)的輿情分析系統(tǒng)的設(shè)計

柳源

摘要：隨著互聯(lián)網(wǎng)在全球范圍內(nèi)的快速發(fā)展，人們的行為、交流方式發(fā)生了深刻的變化。社會上一些的熱點(diǎn)、焦點(diǎn)問題通過互聯(lián)網(wǎng)傳播、碰撞和整合，形成網(wǎng)絡(luò)輿論，對社會經(jīng)濟(jì)的發(fā)展產(chǎn)生重大影響。數(shù)據(jù)挖掘技術(shù)對網(wǎng)絡(luò)輿情信息獲取、內(nèi)容分析、研判與預(yù)警等多方面都有極其重要的指導(dǎo)意義。該文提出基于數(shù)據(jù)挖掘技術(shù)設(shè)計網(wǎng)絡(luò)輿情分析系統(tǒng)，引導(dǎo)輿論向著積極的方向發(fā)展，從而推進(jìn)社會的穩(wěn)定發(fā)展。

關(guān)鍵詞：數(shù)據(jù)挖掘;輿情分析;網(wǎng)絡(luò)爬蟲

中圖分類號：TP391? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）20-0009-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 概述

隨著互聯(lián)網(wǎng)在全球范圍內(nèi)的迅速發(fā)展，網(wǎng)絡(luò)已經(jīng)成為社會輿論傳播的主要載體之一。網(wǎng)絡(luò)與人們的工作和生活息息相關(guān)，它在給人們帶來便利的同時，也給社會管理工作帶來諸多挑戰(zhàn)。大量網(wǎng)民通過網(wǎng)絡(luò)社交平臺評論、轉(zhuǎn)發(fā)社會突發(fā)事件，這些事件在網(wǎng)絡(luò)傳播的過程中很容易偏離事件性質(zhì)本身，影響了事件的公正處理。網(wǎng)絡(luò)輿論對社會經(jīng)濟(jì)的發(fā)展和個體聲譽(yù)都將會產(chǎn)生一定的影響，如果不加以適當(dāng)干預(yù)，對輿論的方向起誤導(dǎo)作用。網(wǎng)絡(luò)傳播媒介多元化的今天，使得輿論的信息源呈現(xiàn)出多樣性，同樣實(shí)時有效地對網(wǎng)絡(luò)輿論進(jìn)行監(jiān)測分析也變得越發(fā)困難。因此，本文將設(shè)計一個基于數(shù)據(jù)挖掘的輿情分析系統(tǒng)，采用分布式并行方法收集、處理數(shù)據(jù)，它能有效地對網(wǎng)絡(luò)輿論進(jìn)行預(yù)警和響應(yīng)，在一定程度上減輕網(wǎng)絡(luò)輿論的負(fù)面影響，盡量把輿論維持在一個可控的范圍內(nèi)，提高政府的公信力。

2 相關(guān)理論

2.1 網(wǎng)絡(luò)輿情

網(wǎng)絡(luò)輿情信息，是指人們借助互聯(lián)網(wǎng)，對社會公共事務(wù)，特別是社會熱點(diǎn)和熱點(diǎn)問題，發(fā)表有影響力、有偏見的意見和言論。是人們社會中各種現(xiàn)象、問題所表達(dá)認(rèn)知、態(tài)度、情感和行為傾向的集合。

網(wǎng)絡(luò)輿情是社會輿情在互聯(lián)網(wǎng)空間上的一種映射，是社會輿情的直接反映。2019年2月28日，中國互聯(lián)網(wǎng)信息中心（CNNIC）在北京發(fā)布了第43期中國互聯(lián)網(wǎng)發(fā)展統(tǒng)計報告。截至2018年12月，全國互聯(lián)網(wǎng)用戶數(shù)為8.29億，全年新增網(wǎng)民5653萬人，互聯(lián)網(wǎng)普及率達(dá)59.6%，較2017年底提升3.8%。由于網(wǎng)絡(luò)是一個開放的環(huán)境，因此它是匿名的，分散的，難以控制的。網(wǎng)絡(luò)輿論表達(dá)迅速、信息多元化、互動性強(qiáng)，傳播范圍更加廣泛，有著巨大的社會影響力。

2.2 數(shù)據(jù)挖掘

所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息的非平凡過程。數(shù)據(jù)挖掘是一種決策支持過程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識別、統(tǒng)計學(xué)、數(shù)據(jù)庫、可視化技術(shù)等，高度自動化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場策略，減少風(fēng)險，做出正確的決策。

3 輿情分析系統(tǒng)的設(shè)計

為了及時、準(zhǔn)確地掌握網(wǎng)絡(luò)輿論的導(dǎo)向，發(fā)揮政府的輿論監(jiān)督作用，利用數(shù)據(jù)挖掘技術(shù)建立輿情分析系統(tǒng)勢在必行。一個完整的輿論分析系統(tǒng)由數(shù)據(jù)模塊、分析模塊和評價模塊組成，主要包括以下四個功能組件：數(shù)據(jù)收據(jù)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、預(yù)測評價。

1）數(shù)據(jù)收集。數(shù)據(jù)收集是按照確定的數(shù)據(jù)分析內(nèi)容，收集相關(guān)數(shù)據(jù)的過程，它為數(shù)據(jù)分析提供了素材和依據(jù)。根據(jù)所得的數(shù)據(jù)，抽象出數(shù)據(jù)的特征信息，將收集到的信息存入數(shù)據(jù)庫。選擇一種合適的數(shù)據(jù)存儲和管理的數(shù)據(jù)倉庫類型數(shù)據(jù)集的選取對數(shù)據(jù)挖掘模式是否有趣起決定作用。網(wǎng)絡(luò)輿情信息搜集可以從一個URL集合開始，通過與敏感關(guān)鍵字集合進(jìn)行比對，過濾無關(guān)選項，把有用的信息加入數(shù)據(jù)隊列。

2）數(shù)據(jù)預(yù)處理。從對不同的源數(shù)據(jù)進(jìn)行預(yù)處理的功能來分，數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清理，數(shù)據(jù)集成，數(shù)據(jù)變換，數(shù)據(jù)規(guī)約等四個基本的功能。在數(shù)據(jù)挖掘整體過程中，海量的原始數(shù)據(jù)中存在這大量復(fù)雜的，重復(fù)的，不完整的數(shù)據(jù)，嚴(yán)重影響到數(shù)據(jù)挖掘算法的執(zhí)行效率，甚至可能導(dǎo)致挖掘結(jié)果的偏差，為此，在數(shù)據(jù)挖掘算法執(zhí)行之前，必須對收集到的原始數(shù)據(jù)進(jìn)行預(yù)處理，以改進(jìn)數(shù)據(jù)的質(zhì)量，提高數(shù)據(jù)挖掘過程的效率，精度，性能。數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清理，數(shù)據(jù)集成，數(shù)據(jù)變換與數(shù)據(jù)規(guī)約等技術(shù)。數(shù)據(jù)預(yù)處理技術(shù)可以改進(jìn)數(shù)據(jù)的質(zhì)量，從而有助于提高其后的挖掘過程的準(zhǔn)確率和效率。

3）數(shù)據(jù)分析。網(wǎng)絡(luò)輿情分析系統(tǒng)充分利用數(shù)據(jù)挖掘分析工具，從海量的、不完整的、復(fù)雜多變的網(wǎng)絡(luò)輿論信息中，我們可以找到輿論演變的內(nèi)在原因和規(guī)律，并分析其內(nèi)在因素之間的關(guān)系，準(zhǔn)確地把握可以預(yù)見的輿情發(fā)展方向。數(shù)據(jù)分析是一個十分復(fù)雜的過程，首先需要對收集的數(shù)據(jù)做清洗工作，排除異常值、空白值、無效值、重復(fù)值等，然后進(jìn)行加工、分析和轉(zhuǎn)化，從中獲得有效的數(shù)據(jù)內(nèi)容。

4）預(yù)測評價。評估和分析是指根據(jù)可用信息，按照特定方法和法律衡量未來趨勢或事物的可能結(jié)果，以便事先了解事物發(fā)展的過程和結(jié)果。網(wǎng)絡(luò)輿情分析系統(tǒng)充分應(yīng)用現(xiàn)有的關(guān)鍵字詞云技術(shù)，對分析的結(jié)果可視化地表示，向管理者提供有針對性、可行性的評估報告。

4 總結(jié)

社會在發(fā)展，時代在進(jìn)步，輿論網(wǎng)絡(luò)也變得錯綜復(fù)雜，很多原有的數(shù)據(jù)挖掘技術(shù)難以達(dá)到預(yù)期的效果。本文結(jié)合數(shù)據(jù)挖掘最新技術(shù)和熱門事件評價模型，通過網(wǎng)絡(luò)爬蟲原理實(shí)現(xiàn)數(shù)據(jù)的自動化采集工作，實(shí)現(xiàn)對網(wǎng)絡(luò)輿論的精準(zhǔn)分析、研判和引導(dǎo)，讓社會管理部門能夠及時、高效地處理突發(fā)輿情，為維護(hù)社會秩序的穩(wěn)定奠定堅實(shí)的基礎(chǔ)。

參考文獻(xiàn)：

[1] 段淑敏. 網(wǎng)絡(luò)輿情監(jiān)測引導(dǎo)系統(tǒng)研究[J]. 經(jīng)濟(jì)研究導(dǎo)刊， 2012（28）： 227.

[2] 余宏， 洪如霞， 史文津. 基于大數(shù)據(jù)的企業(yè)主題網(wǎng)絡(luò)輿情分析系統(tǒng)模型研究[J]. 現(xiàn)代計算機(jī)： 專業(yè)版， 2018（13）： 17.

[3] 高濤濤， 匡芳君. 基于大數(shù)據(jù)的高校網(wǎng)絡(luò)輿情分析研究[J]. 電腦與電信， 2017（10）： 16.

[4] 段淑敏. 基于WUM的Web輿情監(jiān)測引導(dǎo)系統(tǒng)研究[J]. 計算機(jī)光盤軟件與應(yīng)用， 2012（14）： 45-46.

[5] 潘大慶. 基于數(shù)據(jù)挖掘的輿情監(jiān)測系統(tǒng)設(shè)計[J]. 大眾科技， 2014（11）： 1.

[6] 張治斌， 劉威. 淺析數(shù)據(jù)挖掘中的數(shù)據(jù)預(yù)處理技術(shù)[J]. 數(shù)字技術(shù)與應(yīng)用， 2017（10）： 115.

【通聯(lián)編輯：謝媛媛】