基于大數(shù)據(jù)的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)研究

曹鑫+王良之+王云飛+熊學(xué)鋒+彭小慶+羅蘭溪

【摘要】 大數(shù)據(jù)時(shí)代的到來對(duì)人類的生活、工作與思維產(chǎn)生變革性影響，深刻改變著各個(gè)領(lǐng)域的面貌，“大數(shù)據(jù)”日漸成為各行業(yè)創(chuàng)新的助推器。當(dāng)前中國(guó)網(wǎng)絡(luò)輿情環(huán)境復(fù)雜，網(wǎng)絡(luò)輿情危機(jī)時(shí)有發(fā)生，社會(huì)熱點(diǎn)輿情事件不斷涌現(xiàn)。大數(shù)據(jù)背景下的網(wǎng)絡(luò)輿情正在發(fā)生巨大的變化。

【關(guān)鍵詞】 大數(shù)據(jù) 輿情 監(jiān)控

隨著國(guó)家電網(wǎng)朝著“三集五大” 的戰(zhàn)略要求開始轉(zhuǎn)型，國(guó)網(wǎng)公司將逐步走向集約化、標(biāo)準(zhǔn)化、規(guī)?；！叭宕蟆笔枪景l(fā)展的深刻總結(jié)和高度指導(dǎo)，是公司走向國(guó)際化一流企業(yè)的必由之路。然而，任何一項(xiàng)變革都不是一蹴而就的，都將經(jīng)歷探索、總結(jié)、提高這些階段，在“三集五大”發(fā)展戰(zhàn)略的實(shí)施過程中，必然涉及到機(jī)構(gòu)調(diào)整、職能調(diào)整、規(guī)范調(diào)整、業(yè)務(wù)流程調(diào)整等全方位的改革，電力企業(yè)作為國(guó)家命脈息息相關(guān)的企業(yè)，其大的變動(dòng)，必將引起社會(huì)方方面面的輿論反應(yīng)，尤其是在變革中遇到困難、瓶頸的時(shí)候，各種懷疑、否定將紛至而來，因此及時(shí)監(jiān)測(cè)、匯集、研判網(wǎng)上輿情，是正確引導(dǎo)輿論的重要前提。只有做好輿情工作才能為“三集五大”重大發(fā)展戰(zhàn)略順利開展保駕護(hù)航。隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，信息量大、類型繁多、價(jià)值密度低、速度快、時(shí)效高的大數(shù)據(jù)吸引了越來越多的關(guān)注目光，大數(shù)據(jù)帶來的信息風(fēng)暴正在改變我們的生活、工作和思維。毋庸諱言，輿情服務(wù)在進(jìn)行行業(yè)規(guī)范和整合的同時(shí)，正面臨著大數(shù)據(jù)的挑戰(zhàn)。

一、大數(shù)據(jù)

“大數(shù)據(jù)”概念最早在20世紀(jì)80年代提出，2011年麥肯錫咨詢公司發(fā)布其研究成果《大數(shù)據(jù)：下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)率的前沿》，使這個(gè)概念得以大范圍推廣。2012年3月29日，奧巴馬宣布將投入2億多美元啟動(dòng)“大數(shù)據(jù)發(fā)展和研究計(jì)劃（Big Data Research and Development Initiative）”，將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家戰(zhàn)略。近兩年，大數(shù)據(jù)備受學(xué)術(shù)界、產(chǎn)業(yè)界和政府部門的關(guān)注，成為國(guó)內(nèi)外強(qiáng)有力的前沿詞匯。大數(shù)據(jù)又稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具在合理時(shí)間內(nèi)進(jìn)行抓取、管理和處理的數(shù)據(jù)集合，是必須通過深度挖掘、計(jì)算、分析才能創(chuàng)造價(jià)值的海量信息。大數(shù)據(jù)在體量、復(fù)雜性、產(chǎn)生速度及價(jià)值密度四個(gè)方面都極大地超越了傳統(tǒng)的數(shù)據(jù)形態(tài)，具有4V特征：大量（Volume）、多樣（Variety）、高速（Velocity）、價(jià)值（Value）。

二、大數(shù)據(jù)背景下的網(wǎng)絡(luò)輿情

大數(shù)據(jù)背景下網(wǎng)絡(luò)輿情管理面對(duì)著新的挑戰(zhàn)。海量數(shù)據(jù)的挑戰(zhàn)、信息選擇性傳播的挑戰(zhàn)以及輿論話語權(quán)分散的挑戰(zhàn)。海量的網(wǎng)上信息難以掌控，大量相關(guān)性、偶發(fā)性因素使輿情更加復(fù)雜多變，傳統(tǒng)的輿情監(jiān)測(cè)研判手段和方法難以奏效，新的技術(shù)手段和方法要求更高。網(wǎng)上數(shù)據(jù)無限性和網(wǎng)民關(guān)注能力有限性之間的矛盾，加劇了社會(huì)輿論的“盲人摸象”效應(yīng)。社會(huì)化媒體促進(jìn)信息的開放和溝通的便捷，分眾傳播、個(gè)性化傳播凸顯，使偏激的觀點(diǎn)更容易找到“同類”，從而相互支持、強(qiáng)化放大，加劇輿論偏激情緒。大數(shù)據(jù)時(shí)代各類數(shù)據(jù)隨手可得，越來越多的機(jī)構(gòu)、個(gè)人通過數(shù)據(jù)挖掘和分析得出的各種結(jié)論會(huì)不脛而走，有效管理輿情的難度越來越大。

三、大數(shù)據(jù)在網(wǎng)絡(luò)輿情監(jiān)測(cè)的應(yīng)用價(jià)值

由網(wǎng)絡(luò)輿情監(jiān)測(cè)到網(wǎng)絡(luò)輿情預(yù)測(cè)是網(wǎng)絡(luò)輿情的發(fā)展趨勢(shì)，這一目標(biāo)實(shí)現(xiàn)的關(guān)鍵技術(shù)就是大數(shù)據(jù)挖掘技術(shù)。

大數(shù)據(jù)價(jià)值的核心是輿情預(yù)測(cè)：傳統(tǒng)網(wǎng)絡(luò)輿論引導(dǎo)工作的氣墊，是對(duì)已發(fā)生的網(wǎng)絡(luò)輿情進(jìn)行檢測(cè)開始。然而這種方式局限在于滯后性。大數(shù)據(jù)技術(shù)的應(yīng)用，就是挖掘、分析網(wǎng)絡(luò)輿情相關(guān)聯(lián)的數(shù)據(jù)，將監(jiān)測(cè)的目標(biāo)時(shí)間點(diǎn)提前到敏感消息進(jìn)行網(wǎng)絡(luò)傳播的初期，通過建立的模型，模擬仿真實(shí)際網(wǎng)絡(luò)輿情演變過程，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)突發(fā)輿情的預(yù)測(cè)。

大數(shù)據(jù)價(jià)值的條件是輿情全面：大數(shù)據(jù)技術(shù)要預(yù)測(cè)輿情，首要條件是對(duì)各種關(guān)聯(lián)的全面數(shù)據(jù)進(jìn)行分析計(jì)算。傳統(tǒng)數(shù)據(jù)時(shí)代，分析網(wǎng)民觀點(diǎn)或輿情走勢(shì)時(shí)，只關(guān)注網(wǎng)民跟帖態(tài)度和情緒，忽視了網(wǎng)民心理的變化；只關(guān)注文本信息，而較少關(guān)注圖像、視頻、語音等內(nèi)容；只觀察輿論局部變化，忽視其他群體的輿論變化；只解讀網(wǎng)民文字內(nèi)容，而忽視復(fù)雜多變的社會(huì)關(guān)系網(wǎng)絡(luò)。從輿情分析角度看，網(wǎng)民僅僅是信息海洋中的"孤獨(dú)僵尸"，猶如蟻群能夠涌現(xiàn)高度智能，而單個(gè)螞蟻如附熱鍋到處亂竄。大數(shù)據(jù)時(shí)代，突破了傳統(tǒng)數(shù)據(jù)時(shí)代片面化、單一化、靜態(tài)化的思維，開始立體化、全局化、動(dòng)態(tài)化研究網(wǎng)絡(luò)輿情數(shù)據(jù)，將看似無關(guān)緊要的輿情數(shù)據(jù)納入分析計(jì)算的范圍。

大數(shù)據(jù)價(jià)值的基礎(chǔ)是輿情量化：大數(shù)據(jù)預(yù)測(cè)輿情的價(jià)值實(shí)現(xiàn)，必須建立在對(duì)已挖掘出的海量信息，利用數(shù)學(xué)模型進(jìn)行科學(xué)計(jì)算分析的基礎(chǔ)之上，其前提是各類相關(guān)數(shù)據(jù)的量化，即一切輿情信息皆可量化。但數(shù)據(jù)量化，不等同于簡(jiǎn)單的數(shù)字化，而是數(shù)據(jù)的可計(jì)算化。要在關(guān)注網(wǎng)民言論的同時(shí)，統(tǒng)計(jì)持此意見的人群數(shù)量；在解讀網(wǎng)民言論文字內(nèi)容的同時(shí)，計(jì)算網(wǎng)民互動(dòng)的社會(huì)關(guān)系網(wǎng)絡(luò)數(shù)量；對(duì)于網(wǎng)民情緒的變化，可通過量化的指標(biāo)進(jìn)行標(biāo)識(shí)等。

大數(shù)據(jù)價(jià)值的關(guān)鍵是輿情關(guān)聯(lián)：數(shù)據(jù)背后是網(wǎng)絡(luò)，網(wǎng)絡(luò)背后是人，研究網(wǎng)絡(luò)數(shù)據(jù)實(shí)際上是研究人組成的社會(huì)網(wǎng)絡(luò)。大數(shù)據(jù)技術(shù)預(yù)測(cè)輿情的價(jià)值實(shí)現(xiàn)，最關(guān)鍵的技術(shù)就是對(duì)輿情間的關(guān)系進(jìn)行關(guān)聯(lián)，將不再僅僅關(guān)注傳統(tǒng)意義上的因果關(guān)系，更多關(guān)注數(shù)據(jù)間的相關(guān)關(guān)系。按大數(shù)據(jù)思維，每一個(gè)數(shù)據(jù)都是一個(gè)節(jié)點(diǎn)，可無限次地與其他關(guān)聯(lián)數(shù)據(jù)形成輿情鏈上的乘法效應(yīng)--類似微博裂變傳播路徑，數(shù)據(jù)裂變式的關(guān)聯(lián)狀態(tài)蘊(yùn)含著無限可能性。

四、云計(jì)算在網(wǎng)絡(luò)輿情的應(yīng)用

XML可擴(kuò)展標(biāo)記語言，一種簡(jiǎn)單的數(shù)據(jù)存儲(chǔ)語言，使用一系列簡(jiǎn)單的標(biāo)記描述數(shù)據(jù)，而這些標(biāo)記可以用方便的方式建立。雖然XML占用的空間比二進(jìn)制數(shù)據(jù)要占用更多的空間，但XML簡(jiǎn)單易于掌握和使用，XML是Internet環(huán)境中跨平臺(tái)的，依賴于內(nèi)容的技術(shù)，是當(dāng)前處理結(jié)構(gòu)化文檔信息的有力工具。

DOM是DocumentObjectModel文檔對(duì)象模型的縮寫，根據(jù)W3CDOM規(guī)范，DOM是一種與瀏覽器、平臺(tái)、語言無關(guān)的接口，使得它可以訪問頁面其他的標(biāo)準(zhǔn)組件。DOM解決了Netscape的Javascript和Microsoft的Jscript之間的沖突，基于WEB設(shè)計(jì)師和開發(fā)者一個(gè)標(biāo)準(zhǔn)的方法，讓他們來訪問他們站點(diǎn)中的數(shù)據(jù)，腳本和表現(xiàn)層對(duì)象。

利用基于DOM的XML解析方法，用Prtllon實(shí)現(xiàn)了XML解析器，解析器先將各種XML內(nèi)容轉(zhuǎn)換為DOM，然后對(duì)屬性結(jié)構(gòu)遍歷所有屬性，再根據(jù)規(guī)范定義其語義并將結(jié)果封裝成可被各模塊使用的數(shù)據(jù)結(jié)構(gòu)。

對(duì)數(shù)據(jù)進(jìn)行規(guī)約后，系統(tǒng)采用HDFS系統(tǒng)實(shí)現(xiàn)分布式存儲(chǔ)，HDFS支持的高容錯(cuò)性和低成本運(yùn)行的特點(diǎn)以及大數(shù)據(jù)量吞吐的訪問級(jí)別和適應(yīng)大事件集使之和其他分布式系統(tǒng)相比具有巨大的優(yōu)勢(shì)。

通過數(shù)據(jù)計(jì)算時(shí)間對(duì)比可以看出數(shù)據(jù)量越大，基于云計(jì)算的輿情挖掘系統(tǒng)的運(yùn)行效率比本地執(zhí)行的運(yùn)行效率越高。

數(shù)據(jù)對(duì)比表如下：

結(jié)束語：大數(shù)據(jù)是數(shù)字化生產(chǎn)時(shí)代的新型戰(zhàn)略資源，對(duì)社會(huì)發(fā)展所起的作用巨大，對(duì)電力公司的發(fā)展同樣至關(guān)重要。大數(shù)據(jù)的出現(xiàn)和引用，引起了各國(guó)科技界，產(chǎn)業(yè)界和政府部門的高度關(guān)注，因此，大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)輿情治理作為社會(huì)治理的一個(gè)方面，顯得尤為重要。

參 考 文 獻(xiàn)

[1] 劉葉婷，王春曉.“大數(shù)據(jù)”，新作為—“大數(shù)據(jù)”時(shí)代背景下政府作為模式轉(zhuǎn)變的分析[J].領(lǐng)導(dǎo)科學(xué).2012（35）

[2] 李國(guó)杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域—大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國(guó)科學(xué)院院刊. 2012（06）

[3] 趙路平，許鑫.淺析公共危機(jī)傳播中輿情分析研判機(jī)制的體系與流程[J]. 中國(guó)浦東干部學(xué)院學(xué)報(bào).2011（04）

[4] 談國(guó)新，方一.突發(fā)公共事件網(wǎng)絡(luò)輿情監(jiān)測(cè)指標(biāo)體系研究[J].華中師范大學(xué)學(xué)報(bào)（人文社會(huì)科學(xué)版）.2010（03）

[5] 吳新年，陳永平.決策支持系統(tǒng)發(fā)展現(xiàn)狀與趨勢(shì)分析[J].情報(bào)資料工作. 2007（01）