大數(shù)據(jù)環(huán)境下公安網(wǎng)絡(luò)輿情分析與監(jiān)管

□李麗蓉，和小全(.山西警官高等?？茖W(xué)校，山西 太原 0300； .山西省公安廳，山西 太原 03000)

大數(shù)據(jù)環(huán)境下公安網(wǎng)絡(luò)輿情分析與監(jiān)管

□李麗蓉1，和小全2
(1.山西警官高等?？茖W(xué)校，山西 太原 030021； 2.山西省公安廳，山西 太原 030001)

摘要：網(wǎng)絡(luò)已經(jīng)成為信息傳播的重要途徑，它在給我們帶來諸多方便的同時(shí)也成為一些不法分子用來實(shí)施違法犯罪行為和傳播不良信息的工具，公安機(jī)關(guān)作為職能部門應(yīng)當(dāng)加強(qiáng)監(jiān)管，正確引導(dǎo)網(wǎng)絡(luò)輿情。當(dāng)前網(wǎng)絡(luò)輿情呈現(xiàn)出大數(shù)據(jù)特征，可以在常用的網(wǎng)絡(luò)輿情分析方法及其關(guān)鍵技術(shù)中采用網(wǎng)絡(luò)輿情大數(shù)據(jù)分析的思路。 (3)網(wǎng)絡(luò)輿情分析。包括熱點(diǎn)和敏感話題識(shí)別、主題跟蹤、話題傾向性分析、主題、輿情監(jiān)控及預(yù)警等功能，采用的核心技術(shù)是自然語言處理技術(shù)中的話題檢測與跟蹤(Topic Detection and Tracking，簡稱TDT)、事件跟綜、自動(dòng)摘要、文本分類、聚類、觀點(diǎn)傾向性識(shí)別等，網(wǎng)絡(luò)輿情分析系統(tǒng)的研判模型如圖1所示。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)輿情；輿情分析；公安機(jī)關(guān)

公安機(jī)關(guān)是政府進(jìn)行網(wǎng)絡(luò)輿情監(jiān)控的重要部門，進(jìn)行網(wǎng)絡(luò)輿情的分析和預(yù)警不僅可以有效地打擊利用網(wǎng)絡(luò)進(jìn)行的各種違法犯罪活動(dòng)，還可以運(yùn)用網(wǎng)絡(luò)傳播規(guī)律，弘揚(yáng)主旋律，激發(fā)正能量，建設(shè)和諧安定的網(wǎng)絡(luò)環(huán)境和社會(huì)環(huán)境。公安機(jī)關(guān)對(duì)網(wǎng)絡(luò)輿情的研判和危機(jī)預(yù)警應(yīng)該充分利用大數(shù)據(jù)技術(shù)，對(duì)網(wǎng)絡(luò)輿情大數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘、分析和研判，提高網(wǎng)絡(luò)輿情管理的能力和效率。

一、網(wǎng)絡(luò)輿情的大數(shù)據(jù)特征

人類社會(huì)的數(shù)據(jù)產(chǎn)生方式主要有三種：一是運(yùn)營數(shù)據(jù)，伴隨著各類組織的運(yùn)營而被動(dòng)產(chǎn)生；二是感知數(shù)據(jù)，由遍布世界各個(gè)角落的傳感器等設(shè)備監(jiān)測社會(huì)運(yùn)行和環(huán)境變化而自動(dòng)產(chǎn)生；三是人類原創(chuàng)數(shù)據(jù)，由人單獨(dú)創(chuàng)作和人際互動(dòng)而主動(dòng)產(chǎn)生[1]。其中，相當(dāng)多的人類原創(chuàng)數(shù)據(jù)是個(gè)人或某些社會(huì)群體以網(wǎng)絡(luò)為平臺(tái)，通過新聞、評(píng)論、發(fā)帖、回復(fù)等為載體對(duì)與自身相關(guān)或感興趣的事情發(fā)表評(píng)論、意愿、意見而表現(xiàn)出來的輿情，即為網(wǎng)絡(luò)輿情。

大數(shù)據(jù)(Big Data)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具進(jìn)行抓取、管理和處理的數(shù)據(jù)集合[2]，它的范圍是PB級(jí)以上，網(wǎng)絡(luò)輿情的大數(shù)據(jù)特征包括：規(guī)模性(Volume)、多樣性(Variety)、快速性(Velocity)、低值性(Value)和復(fù)雜性(Complexity)。

(一)規(guī)模性

隨著云技術(shù)的發(fā)展，大量用戶的數(shù)據(jù)存儲(chǔ)在云服務(wù)器里，由于平板電腦、智能手機(jī)等移動(dòng)數(shù)字通信工具的普及以及互聯(lián)網(wǎng)的開放性，廣大網(wǎng)民和各種社會(huì)群體可以更加便捷地利用微博、微信、QQ群、論壇、新聞跟帖等社交媒體發(fā)表觀點(diǎn)和意見，參與社會(huì)活動(dòng)，從而使得網(wǎng)絡(luò)輿情數(shù)量急劇增長，全球大約每天產(chǎn)生250億字節(jié)的新數(shù)據(jù)，數(shù)字世界的規(guī)模將越來越龐大。

(二)多樣性

網(wǎng)絡(luò)輿情呈現(xiàn)多樣性特征，表現(xiàn)在：數(shù)據(jù)源有文本、圖片、聲音、視頻等多種形態(tài)；數(shù)據(jù)源來自多種平臺(tái)，如論壇、微博、微信、QQ、播客等；現(xiàn)代社會(huì)思想、價(jià)值觀念多元化，網(wǎng)絡(luò)上的議論話題龐大復(fù)雜，網(wǎng)絡(luò)輿情日益多元多樣化。

(三)快速性

社交媒體上的數(shù)據(jù)處于動(dòng)態(tài)更新的狀態(tài)，當(dāng)某一事件發(fā)生后，網(wǎng)民之間迅速實(shí)時(shí)交流，使各種觀點(diǎn)和意見快速傳播，由此形成的輿論壓力十分強(qiáng)大。

(四)低值性

在每天快速產(chǎn)生的大量數(shù)據(jù)中，真正有價(jià)值的數(shù)據(jù)密度較低。例如連續(xù)一小時(shí)的監(jiān)控視頻中，真正有價(jià)值的數(shù)據(jù)可能僅僅有一兩秒鐘。如何設(shè)計(jì)出算法從海量數(shù)據(jù)中快速高效地提取出有用數(shù)據(jù)，是在大數(shù)據(jù)環(huán)境下輿情分析需要解決的問題。

(五)復(fù)雜性

隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算、傳感器技術(shù)的發(fā)展，數(shù)據(jù)產(chǎn)生的方式呈現(xiàn)出多樣化，與傳統(tǒng)數(shù)據(jù)相比表現(xiàn)在數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)模式等方面復(fù)雜多樣，大數(shù)據(jù)主要是非結(jié)構(gòu)化數(shù)據(jù)。

二、大數(shù)據(jù)環(huán)境下公安網(wǎng)絡(luò)輿情監(jiān)管方式

網(wǎng)絡(luò)輿情是一把雙刃劍，一方面它可以形成社會(huì)監(jiān)督，促進(jìn)社會(huì)的公平正義和發(fā)展進(jìn)步；另一方面它也會(huì)產(chǎn)生一些負(fù)面影響，網(wǎng)絡(luò)輿情失實(shí)、侵權(quán)以及由網(wǎng)絡(luò)輿情處理不當(dāng)而引發(fā)的突發(fā)事件，造成了社會(huì)的不穩(wěn)定，危害社會(huì)公共安全。公安機(jī)關(guān)肩負(fù)維護(hù)國家安全和社會(huì)穩(wěn)定的責(zé)任，有必要對(duì)網(wǎng)絡(luò)輿情進(jìn)行收集分析、科學(xué)研判、正確引導(dǎo)、實(shí)時(shí)監(jiān)管，在實(shí)際工作中，可以采取信息監(jiān)管、技術(shù)監(jiān)管、行業(yè)監(jiān)管等方式。

(一)信息監(jiān)管

公安機(jī)關(guān)依據(jù)公安部頒布的《計(jì)算機(jī)信息網(wǎng)絡(luò)國際聯(lián)網(wǎng)安全保護(hù)管理辦法》，對(duì)危害國家安全和社會(huì)公共安全、有害社會(huì)價(jià)值和文化價(jià)值、侵犯公民合法權(quán)益的網(wǎng)絡(luò)輿情信息進(jìn)行分類分級(jí)監(jiān)管。

(二)技術(shù)監(jiān)管

公安機(jī)關(guān)采用技術(shù)手段對(duì)網(wǎng)絡(luò)信息進(jìn)行限制、掃描、分析和過濾，確保實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的監(jiān)測和管理。

1．限制非法網(wǎng)站鏈接。中國國家防火墻(Great Firewall of China)是國家公共網(wǎng)絡(luò)監(jiān)控系統(tǒng)，可以對(duì)境外涉及敏感內(nèi)容的網(wǎng)站、IP地址、關(guān)鍵詞、網(wǎng)址等進(jìn)行過濾，直接切斷相關(guān)鏈接。

2．掃描網(wǎng)絡(luò)輿情信息。主要使用各種輿情監(jiān)控系統(tǒng)來掃描網(wǎng)絡(luò)輿情信息。輿情監(jiān)控系統(tǒng)是指根據(jù)已知的樣本數(shù)據(jù)，通過機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等方法，獲得數(shù)據(jù)間的內(nèi)在特性，并進(jìn)一步采用數(shù)據(jù)過濾技術(shù)在網(wǎng)絡(luò)資源中提取出用戶關(guān)注的信息，形成簡報(bào)、報(bào)告、圖表等分析結(jié)果，幫助公安機(jī)關(guān)及時(shí)掌握網(wǎng)絡(luò)輿情動(dòng)向，進(jìn)行科學(xué)研判，即時(shí)預(yù)警和正面引導(dǎo)，對(duì)有可能造成重大社會(huì)影響的事件快速發(fā)現(xiàn)和快速處理。輿情監(jiān)控系統(tǒng)的基本流程分為：數(shù)據(jù)采集、數(shù)據(jù)選擇和預(yù)處理、輿情分析。

(1)數(shù)據(jù)采集。指從網(wǎng)上找到數(shù)據(jù)源，包括網(wǎng)頁、電子郵件、電子文檔、網(wǎng)站的日志數(shù)據(jù)等。數(shù)據(jù)采集采用網(wǎng)絡(luò)搜索引擎技術(shù)，搜索引擎是一種高效地從海量網(wǎng)絡(luò)信息中抽取需要信息的有效工具，它的工作原理是利用網(wǎng)絡(luò)爬蟲(Crawler)工具，采用多線程并發(fā)搜索技術(shù)，訪問互聯(lián)網(wǎng)中的各個(gè)節(jié)點(diǎn)，從中抓取網(wǎng)頁，再根據(jù)該網(wǎng)頁上的鏈接去訪問其他網(wǎng)頁，并對(duì)抽取到的信息進(jìn)行分析。目前國內(nèi)外研究較多的爬蟲技術(shù)主要有通用爬蟲技術(shù)：從一些種子URL擴(kuò)充到整個(gè)Web進(jìn)行信息采集，它通常是作為門戶網(wǎng)站搜索引擎和大型的Web服務(wù)商提供的搜索引擎；主題爬蟲：抽取與預(yù)先定義好的特定主題集相關(guān)的網(wǎng)頁，這也是當(dāng)前Web信息抽取技術(shù)的研究熱點(diǎn)。大數(shù)據(jù)環(huán)境下要解決的關(guān)鍵問題是提高獲取數(shù)據(jù)的速度和精度以及爬取不同領(lǐng)域內(nèi)相關(guān)聯(lián)的各種不同表現(xiàn)形式的數(shù)據(jù)。

(2)數(shù)據(jù)選擇和預(yù)處理。包括網(wǎng)頁信息清洗、文本分詞、文本表示、文本分類等。就是從采集到的數(shù)據(jù)源中清除廣告鏈接、導(dǎo)航條、版權(quán)信息、重復(fù)文本等無用的噪音信息，并將網(wǎng)絡(luò)上大量存在的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，轉(zhuǎn)換成規(guī)范的數(shù)據(jù)文件進(jìn)行存儲(chǔ)，便于進(jìn)行分析處理。現(xiàn)階段數(shù)據(jù)的主要存儲(chǔ)方式是把用網(wǎng)絡(luò)搜索引擎獲取的數(shù)據(jù)直接存儲(chǔ)在SQLServer、Oracle、Sybase等數(shù)據(jù)庫中，現(xiàn)在的數(shù)據(jù)存儲(chǔ)技術(shù)已經(jīng)不能滿足大數(shù)據(jù)存儲(chǔ)需求。

圖1　網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的研判模型

公安機(jī)關(guān)利用已有的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)從技術(shù)上實(shí)現(xiàn)網(wǎng)絡(luò)輿情監(jiān)管，近年來國內(nèi)出現(xiàn)的比較知名的輿情分析監(jiān)測系統(tǒng)主要有：復(fù)旦大學(xué)和上海態(tài)格信息技術(shù)有限公司共同研發(fā)的PALAS(帕拉斯)網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)、谷尼國際軟件(北京)有限公司研發(fā)的谷尼網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)、北京本果信息技術(shù)有限公司研發(fā)的鷹隼網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)、中科點(diǎn)擊(北京)科技有限公司自主研發(fā)的軍犬網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)、南京綠色科技研究院研發(fā)的綠科CCLA網(wǎng)絡(luò)輿情分析系統(tǒng)、北京方正電子技術(shù)有限公司研發(fā)的方正智思互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)等。

這些網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)偏向于對(duì)網(wǎng)頁文本信息抓取，進(jìn)行信息匯總，中文語義分析技術(shù)的精確度不高，難以處理復(fù)雜的中文含義和變化多端的網(wǎng)絡(luò)語言。另外，對(duì)于圖片、聲音、視頻等形式的輿情信息獲取能力也較弱。目前對(duì)論壇、博客、新聞跟貼、QQ群、微信等輿情的分析還是主要依靠人工分析，缺乏深度分析和研究。人工分析具有較強(qiáng)的人為定性化色彩，分析結(jié)果受主觀感情影響較大，具有相當(dāng)大的主觀傾向性，發(fā)布的輿情分析報(bào)告中經(jīng)常出現(xiàn)“網(wǎng)民們普遍認(rèn)為”、“多數(shù)網(wǎng)民支持，少數(shù)網(wǎng)民持反對(duì)意見”等定性化的語言，輿情分析的準(zhǔn)確性有待進(jìn)一步提高。

3．過濾不良信息?；ヂ?lián)網(wǎng)上的不良信息包括：反動(dòng)、色情、暴力、詐騙等違反法律類信息；虛假信息、私密信息等有害社會(huì)價(jià)值和文化價(jià)值、違反社會(huì)道德類信息；含有病毒、木馬、后門等危害用戶網(wǎng)絡(luò)安全的高風(fēng)險(xiǎn)類信息等。對(duì)這些不良信息采用發(fā)現(xiàn)機(jī)制進(jìn)行過濾：一是網(wǎng)絡(luò)設(shè)備過濾。可以在服務(wù)器前端嵌入防火墻、主動(dòng)防御系統(tǒng)等信息過濾設(shè)備，通過硬件技術(shù)實(shí)現(xiàn)自動(dòng)識(shí)別和攔截不良信息。二是應(yīng)用服務(wù)過濾。在服務(wù)器安裝應(yīng)用服務(wù)程序前端數(shù)據(jù)過濾軟件，通過軟件技術(shù)實(shí)現(xiàn)自動(dòng)識(shí)別和攔截不良信息。三是程序過濾。在一些訪問量較大的搜索引擎網(wǎng)站代碼中嵌入信息過濾程序，分析網(wǎng)站用戶提交的數(shù)據(jù)，通過關(guān)鍵詞、熱點(diǎn)詞等設(shè)置過濾條件，自動(dòng)識(shí)別和攔截不良信息。

(三)行業(yè)監(jiān)管

公安機(jī)關(guān)應(yīng)加強(qiáng)對(duì)社會(huì)上提供互聯(lián)網(wǎng)服務(wù)的營業(yè)場所進(jìn)行監(jiān)管，嚴(yán)格執(zhí)行信息網(wǎng)絡(luò)實(shí)名登記制。實(shí)現(xiàn)網(wǎng)絡(luò)實(shí)名制，一方面有利于公安機(jī)關(guān)打擊網(wǎng)絡(luò)違法犯罪行為，另一方面可以約束和規(guī)范網(wǎng)民的上網(wǎng)行為，保證網(wǎng)絡(luò)環(huán)境的健康與安全。

三、網(wǎng)絡(luò)輿情大數(shù)據(jù)分析的主要思路

當(dāng)前在網(wǎng)絡(luò)輿情監(jiān)管的實(shí)際工作中，還存在很多不足之處，隨著互聯(lián)網(wǎng)技術(shù)及其應(yīng)用設(shè)備的發(fā)展，網(wǎng)絡(luò)輿情分析技術(shù)面臨著巨大的挑戰(zhàn)，公安機(jī)關(guān)需要?jiǎng)?chuàng)新大數(shù)據(jù)輿情分析的思路，提高網(wǎng)絡(luò)輿情監(jiān)管能力。

(一)提高實(shí)時(shí)分析和挖掘網(wǎng)絡(luò)輿情信息的效率

面對(duì)日益增長的海量信息，提高實(shí)時(shí)分析和挖掘信息的效率是利用輿情分析技術(shù)，發(fā)掘事件產(chǎn)生的苗頭、歸納輿論觀點(diǎn)傾向、掌握公眾態(tài)度情緒，并結(jié)合歷史上的類似事件進(jìn)行趨勢預(yù)測、提出應(yīng)對(duì)建議和采取防范措施的前提。

(二)增強(qiáng)關(guān)聯(lián)數(shù)據(jù)的分析

互聯(lián)網(wǎng)上大量存在的是非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)的實(shí)時(shí)性強(qiáng)，大量數(shù)據(jù)是隨機(jī)動(dòng)態(tài)產(chǎn)生，真正有價(jià)值的數(shù)據(jù)密度較低。按照大數(shù)據(jù)思維，每一個(gè)數(shù)據(jù)都是一個(gè)節(jié)點(diǎn)，可以將用戶搜索數(shù)據(jù)、點(diǎn)擊數(shù)據(jù)、人際關(guān)系數(shù)據(jù)、網(wǎng)民個(gè)人特征數(shù)據(jù)、相關(guān)社會(huì)數(shù)據(jù)等關(guān)聯(lián)起來進(jìn)行分析，深度挖掘有價(jià)值的輿情。

(三)用大數(shù)據(jù)分析方法實(shí)現(xiàn)大規(guī)模、復(fù)雜分析和挖掘網(wǎng)絡(luò)輿情信息

實(shí)現(xiàn)這步需要依賴復(fù)雜的分析模型，包括進(jìn)行更細(xì)粒度的仿真、路徑分析、時(shí)間序列分析、圖分析、社會(huì)網(wǎng)絡(luò)分析等。網(wǎng)絡(luò)當(dāng)中輿情主體間頻繁互動(dòng)、相互影響，少數(shù)“大V”們的意見主導(dǎo)，都影響著輿論方向，可以通過分析“大V”們的動(dòng)向和在社會(huì)網(wǎng)絡(luò)中的影響作用來管理和引導(dǎo)網(wǎng)絡(luò)輿情。

(四)增強(qiáng)不良圖片和不良視頻信息的識(shí)別和攔截能力

網(wǎng)絡(luò)輿情信息呈現(xiàn)出文本、圖片、聲音、視頻等混合多媒體數(shù)據(jù)的傳播形式，目前的輿情監(jiān)控系統(tǒng)對(duì)于文本形式數(shù)據(jù)的識(shí)別較為成熟，對(duì)于圖片、聲音、視頻等形式的輿情信息識(shí)別能力較弱，還缺少有效的技術(shù)手段，有待進(jìn)一步增強(qiáng)。

(五)利用云技術(shù)存儲(chǔ)和管理大數(shù)據(jù)

當(dāng)前全國公安系統(tǒng)正在積極部署開展大數(shù)據(jù)警務(wù)云計(jì)算建設(shè)工作，借助云存儲(chǔ)技術(shù)可以利用最少的工作站和服務(wù)器集群建立一個(gè)共享的結(jié)構(gòu)化的信息資源平臺(tái)，有效解決大數(shù)據(jù)存儲(chǔ)問題?；谠萍夹g(shù)的并行處理和分治算法可以使處于云中的所有計(jì)算機(jī)同時(shí)處理網(wǎng)絡(luò)輿情中的大數(shù)據(jù)計(jì)算問題，從而降低存儲(chǔ)成本和數(shù)據(jù)處理成本，提高輿情分析的效率。

互聯(lián)網(wǎng)已經(jīng)成為人們思想文化信息的集散地和社會(huì)輿論的放大器，同時(shí)也被犯罪分子利用作為犯罪工具和渠道，公安機(jī)關(guān)應(yīng)當(dāng)適應(yīng)大數(shù)據(jù)環(huán)境下的新形勢需要，加強(qiáng)網(wǎng)絡(luò)輿情信息監(jiān)管，提高輿情研判能力，正確引導(dǎo)網(wǎng)絡(luò)輿論，嚴(yán)厲打擊利用網(wǎng)絡(luò)進(jìn)行的違法犯罪行為，建設(shè)和諧安定的網(wǎng)絡(luò)環(huán)境和社會(huì)環(huán)境。

【參考文獻(xiàn)】

[1]李奕.大數(shù)據(jù)應(yīng)用方式:從數(shù)據(jù)服務(wù)、信息服務(wù)到知識(shí)服務(wù)[N].中國計(jì)算機(jī)報(bào), 2012-07-09(24).

[2]王海燕.營銷戰(zhàn)略是企業(yè)競爭力的核心[J].現(xiàn)代營銷(學(xué)苑版),2010(10):16.

[3]李佳師.大數(shù)據(jù):觀念影響速度[N].中國電子報(bào),2013-05-31(5).

(責(zé)任編輯：劉永紅)

【警察行政管理】

Analysis and Supervision on Police Internet Public Opinion Based on Big Data

LI Li-rong1, HE Xiao-quan2

(1.ShanxiPoliceAcademy,Taiyuan030021,China; 2.ShanxiPublicSecurityDepartment,Taiyuan030001,China)

Abstract：Internet has become the important way to spread information, which is used by criminals to take crimes and spread bad information and brings us much convenience as well. Pubic security organs should strengthen supervision and guide the internet public opinion. Internet is characteristic with big data at present, so analyzing way with public opinion big data could be used.

Key words：big data; public opinion; public opinion analysis; public security organ

中圖分類號(hào)：G631.43

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1671-685X(2015)04-0053-03

作者簡介：李麗蓉(1972-)，女，山西太原人，山西警官高等?？茖W(xué)校副教授，主要研究方向?yàn)橹悄苄畔⑻幚怼⒕W(wǎng)絡(luò)安全；和小全(1972-)，男，山西太原人，山西省公安廳經(jīng)濟(jì)犯罪偵查總隊(duì)支隊(duì)長。

收稿日期：2015-06-11