一種結(jié)合模型集成的輿情管理模型的研究

唐存琛 王極可

(武漢大學(xué)計(jì)算機(jī)學(xué)院 湖北 武漢 430070)

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，由新浪微博所代表的社交平臺在網(wǎng)絡(luò)輿情傳播中起到關(guān)鍵性的作用。針對網(wǎng)絡(luò)輿情的快速傳播性導(dǎo)致網(wǎng)絡(luò)輿情難以監(jiān)控的問題，本文提出了一種結(jié)合模型集成的網(wǎng)絡(luò)輿情管理模型，使得有需求的研究人員和有關(guān)部門能參照此模型更好地實(shí)現(xiàn)對輿情信息的監(jiān)控和社交平臺的分析與管理。本文所設(shè)計(jì)的模型分為兩個(gè)子模型：輿情信息采集子模型與輿情信息分析子模型。傳統(tǒng)的網(wǎng)絡(luò)輿情管理模型大都注重其分析采集后的輿情信息，而忽略了對數(shù)據(jù)采集模塊的構(gòu)建。該模型相較于傳統(tǒng)模型，增加了采集輿情信息模塊化，針對現(xiàn)時(shí)主流的公共社交平臺，設(shè)計(jì)出了一個(gè)采集模型，使得在輿情采集上，能夠以較快的速度獲取質(zhì)量高、數(shù)據(jù)量大的輿情信息，為下面的輿情分析模型奠定了良好的基礎(chǔ)。而在輿情信息分析子模型當(dāng)中改進(jìn)了現(xiàn)有的輿情分析算法設(shè)計(jì)，與傳統(tǒng)的輿情分析模型對比，本文提出的新模型在輿情信息采集以及輿情分析方面有了一定的提升。

1 模型總體架構(gòu)

模型由輿情信息分析模型與輿情信息采集模型兩個(gè)子模型組成，總體架構(gòu)如圖1所示。整個(gè)模型放置兩個(gè)接口，一個(gè)用來連接輿情信息采集子模型與數(shù)據(jù)預(yù)處理模塊，另一個(gè)用來連接數(shù)據(jù)庫與輿情信息分析子模型。在確定所需要的輿情信息后，通過輿情信息采集模型采集到相關(guān)輿情信息數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)預(yù)處理存入數(shù)據(jù)庫，數(shù)據(jù)庫里面的數(shù)據(jù)通過輿情信息分析模型分析后得到輿情報(bào)告。

2 輿情信息采集子模型

2.1 模型設(shè)計(jì)思想

數(shù)據(jù)是分析的先決條件，只有存在大量有效數(shù)據(jù)時(shí)才能進(jìn)行分析。因此輿情信息采集是整個(gè)網(wǎng)絡(luò)輿情管理模型的基礎(chǔ)，是該網(wǎng)絡(luò)輿情管理模型的重要組成部分。國外的科研人員在很早之前就針對Twitter、Facebook等大型社交平臺開展了一系列的分析[1-2]，此外Facebook等知名社交平臺都會提供較大量的數(shù)據(jù)給研究人員，使其研究能順利開展。而國內(nèi)的社交平臺所提供的API[3]的種類有限，接口對爬取數(shù)據(jù)也有嚴(yán)格限制，這就導(dǎo)致國內(nèi)研究人員想通過官方提供的接口獲取研究所需的數(shù)據(jù)難度加大?，F(xiàn)在市面上雖然有很多抓取軟件，如“Easy Web Extract”、“Data Scraping Studio”、“八爪魚”等，但經(jīng)過調(diào)研，這些軟件都有著一定的缺陷，采集的數(shù)據(jù)不能完全滿足研究和管理人員的需求。因此一些研究和管理人員在實(shí)驗(yàn)中為了追求合適的數(shù)據(jù)，還是需要去實(shí)現(xiàn)自己的一套爬蟲代碼，給輿情的獲取增加了時(shí)間成本與人力成本。特別是一些實(shí)時(shí)熱點(diǎn)輿情，更需要研究和管理人員能夠以最快的速度，分析出輿情走向，得到輿情報(bào)告。該子模型對國內(nèi)各大社交網(wǎng)站進(jìn)行調(diào)研后，為不同的平臺設(shè)計(jì)其特定的采集器模塊，能夠滿足不同場景下的需求。

2.2 社交平臺頁面分析

本小節(jié)對國內(nèi)各大社交平臺網(wǎng)站頁面進(jìn)行分析，根據(jù)現(xiàn)時(shí)情況將此模型分為三部分。

2.2.1輿情信息采集需求

研究和管理人員在研究一些輿情信息的時(shí)候，會對信息的來源等條件有一定的要求，故此模型根據(jù)所需數(shù)據(jù)的要求將數(shù)據(jù)采集分為兩個(gè)模塊：一是通用采集，即全站采集，對數(shù)據(jù)不進(jìn)行篩選，將頁面上所有信息進(jìn)行采集，數(shù)據(jù)清理后，存入數(shù)據(jù)庫；二是聚焦采集，對特定的信息進(jìn)行采集，例如關(guān)鍵字采集等[4-5]。

(1) 通用采集 在通用采集中，一般有深度優(yōu)先和廣度優(yōu)先兩種策略[6]，即采用廣度優(yōu)先與深度優(yōu)先不斷獲取URL，進(jìn)而爬取到所有所需的頁面數(shù)據(jù)。算法1是通用采集深度優(yōu)先的策略的偽代碼。

算法1深度優(yōu)先偽代碼

Begin

def depth_crawler(main_page):

get main_page.data

get main_page URLS

for url in URLS:

get url.data

depth_crawler(url)

End

(2) 聚焦采集 聚焦采集是采集模塊中的重點(diǎn)和難點(diǎn)。例如對于較為常用的關(guān)鍵字、特定發(fā)布時(shí)間、特定發(fā)布地點(diǎn)信息的采集，算法2是聚焦采集的偽代碼。

算法2聚焦采集偽代碼

Begin

Get key_words, key_time, key_location

def key_word_crawler(data.url):

If match(key_words, key_time, key_location):

Get page_data

def key_word_crawler(data.url)

End

2.2.2頁面信息獲取

現(xiàn)階段各大社交平臺都有動態(tài)頁面，這些頁面利用JavaScript動態(tài)加載頁面數(shù)據(jù)，這種頁面用普通爬蟲是爬取不到頁面內(nèi)的關(guān)鍵數(shù)據(jù)的，因此該模型設(shè)計(jì)了兩個(gè)采集模塊：獲取靜態(tài)頁面數(shù)據(jù)的靜態(tài)頁面采集器和獲取動態(tài)頁面數(shù)據(jù)的動態(tài)頁面采集器。靜態(tài)頁面采集器可直接獲取頁面當(dāng)中所有的信息數(shù)據(jù)，而動態(tài)頁面采集器又分成兩個(gè)子模塊：請求分析采集模塊與模擬瀏覽器模塊。請求分析采集模塊需要根據(jù)動態(tài)頁面數(shù)據(jù)加載情況采用特定的獲取方式，以獲取后臺傳輸?shù)臄?shù)據(jù)；模擬瀏覽器則相對簡單，此模塊模擬人為操作瀏覽器的方式，使頁面動態(tài)數(shù)據(jù)傳輸?shù)角岸巳缓蟾鶕?jù)靜態(tài)頁面采集器的采集方式采集信息數(shù)據(jù)。

2.3 模型基本架構(gòu)

通過對社交平臺網(wǎng)站分析，設(shè)計(jì)出了如圖2所示的輿情信息采集子模型框架，該子模型包括4個(gè)大模塊分別是：聚焦采集接口、通用采集接口、靜態(tài)頁面采集器與動態(tài)加載采集器。請求分析采集與模擬瀏覽器是屬于動態(tài)頁面采集下的子模塊。圖3是整個(gè)輿情信息采集子模型的流程圖，輿情信息采集通過通用采集與聚焦采集后，根據(jù)采集頁面加載數(shù)據(jù)的形式，采用不同的采集器，在完成獲取之后，執(zhí)行數(shù)據(jù)處理并將其存儲在數(shù)據(jù)庫中。

圖2 輿情信息采集子模型架構(gòu)

圖3 輿情信息采集子模型流程圖

2.4 模塊化采集器

通過上小節(jié)對各大社交平臺網(wǎng)站的分析，本模型提出了數(shù)據(jù)采集模塊化的概念。即是針對各種不同的場景將靜態(tài)頁面采集器劃分為不同的采集模塊如圖4所示，例如新浪微博采集模塊與知乎采集模塊，使其能方便快捷應(yīng)對各類需求與場景。研究人員與管理人員可以根據(jù)不同的場景調(diào)用不同的模塊，對不同的平臺網(wǎng)站信息進(jìn)行采集。

圖4 模塊化采集器

3 輿情信息分析子模型

輿情信息子模型的作用是將數(shù)據(jù)庫中的輿情信息進(jìn)行分析，產(chǎn)生分析結(jié)果。對比現(xiàn)在各種單一的分類器模型，為使得到的分析數(shù)據(jù)更加精準(zhǔn)，模型在原有的單個(gè)分類器模型基礎(chǔ)上進(jìn)行調(diào)整，設(shè)計(jì)了如圖5所示的集成模型框架。新的分析模型主要由一個(gè)聚類器和一個(gè)分類集成器組成。輿情信息首先通過聚類器得到聚類分析結(jié)果，然后通過一個(gè)分類集成器得到分類分析結(jié)果。該模型可確保不同組的基分類器之間的差異性，使得最終的結(jié)果更加精確。

圖5 輿情信息分析子模型架構(gòu)

3.1 聚類器

聚類自從其誕生已來就已經(jīng)被用在了各大領(lǐng)域中，其作用是把具有相似特征的個(gè)體劃分到一個(gè)簇當(dāng)中，本文中聚類器起到了將所有具有相似含義、情感的輿情劃分到一起的作用。到目前為止,聚類算法大體上可以分為基于劃分的方法、基于層次的方法、基于密度的方法、基于模型的方法[7]?；趧澐值姆椒ǖ暮诵牟襟E是將數(shù)據(jù)劃分為多個(gè)簇，而K-Means算法則是該聚類方法中最為簡單有效的一種。

3.2 分類集成器[8]

我們以3.1節(jié)提到的聚類器生成的聚類結(jié)果為輸入數(shù)據(jù)，在此基礎(chǔ)之上在每個(gè)簇團(tuán)上進(jìn)行分類操作，將具有相似特征的輿情數(shù)據(jù)進(jìn)行更加詳細(xì)的分類。分類常用的分類集成模型有串行的Boosting[9]，并行的Bagging[10]以及隨機(jī)森林[9]。集成模型由兩部分組成：一是作為基本分類器的弱分類器；二是分類器的結(jié)合策略。本模型根據(jù)實(shí)際情況，調(diào)研各種集成模型，最終設(shè)計(jì)采用以下三種弱分類器作為基本分類器：決策樹、邏輯回歸、神經(jīng)網(wǎng)絡(luò)。

決策樹：決策樹跟數(shù)據(jù)結(jié)構(gòu)當(dāng)中的樹相似，通過每一次的分枝來一次次分類，最終解決分類問題。

邏輯回歸：邏輯回歸模型是現(xiàn)在用來處理分類問題的比較常用的模型，它是在線性回歸的基礎(chǔ)之上加上了一個(gè)邏輯函數(shù)，使其能夠較好地處理分類問題。

神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是近年來較為火熱的領(lǐng)域之一，其主要分為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、深層神經(jīng)網(wǎng)絡(luò)(DNN)以及卷積神經(jīng)網(wǎng)絡(luò)(CNN)。而在文本分類上，循環(huán)神經(jīng)網(wǎng)絡(luò)有著較好的效果，故該模型采用此神經(jīng)網(wǎng)絡(luò)，能夠更好地處理文本分類的問題。

利用單獨(dú)模型對微博信息進(jìn)行情感分析，然后通過集成的方式，對所有單獨(dú)模型的分類結(jié)果進(jìn)行集成，最后利用“簡單投票法”的集成策略將多個(gè)分類模型集成在一起，得到最終分類結(jié)果。

設(shè)計(jì)好聚類器與分類集成器之后，將這兩部分連接起來組成完整的輿情信息分析子模型。訓(xùn)練時(shí)，先將訓(xùn)練樣本的輿情信息數(shù)據(jù)經(jīng)過K-Means聚類器，從而形成多個(gè)簇，然后在每個(gè)簇上利用由神經(jīng)網(wǎng)絡(luò)、邏輯回歸、決策樹三種弱分類器組成的分類集成器進(jìn)行訓(xùn)練，最終得到訓(xùn)練好的模型。

4 模型實(shí)現(xiàn)與測試

4.1 模型實(shí)現(xiàn)

為了測試本模型的應(yīng)用性，本節(jié)中就以此模型為基礎(chǔ)，采用標(biāo)準(zhǔn)的Django架構(gòu)，前端使用AngularJS框架。通過以上兩個(gè)主要的框架，使得輿情管理系統(tǒng)能夠在短時(shí)間內(nèi)完成搭建。Diango是基于Model-Template-View(MTV)的一個(gè)Python框架。將Control層改為了Template層，將之前的Control層植入框架自動完成。正因?yàn)槿绱?，模型搭建維護(hù)更加簡單方便，更易于二次開發(fā)。其中數(shù)據(jù)存取層(Model)用于處理與數(shù)據(jù)相關(guān)的所有事務(wù)；業(yè)務(wù)邏輯層(Template)用于處理與表現(xiàn)相關(guān)的決定；表現(xiàn)層(View)用于存取模型及調(diào)取恰當(dāng)模板的相關(guān)邏輯[11]。模型實(shí)現(xiàn)后的系統(tǒng)架構(gòu)如圖6所示。

根據(jù)上述系統(tǒng)架構(gòu)，設(shè)計(jì)了如圖7所示的網(wǎng)絡(luò)輿情管理系統(tǒng)流程圖，首先用戶需要登錄模型，如未注冊用戶，需經(jīng)注冊才能使用本模型。登錄后根據(jù)用戶其需求采集相關(guān)的輿情信息；采集完畢后，選擇所采集的數(shù)據(jù)集進(jìn)行分析，最后選擇所需要的圖表生成輿情報(bào)告。

圖7 網(wǎng)絡(luò)輿情管理系統(tǒng)流程圖

4.2 輿情采集子模型效率測試

基于上小節(jié)所實(shí)現(xiàn)的系統(tǒng)，本節(jié)對模型的性能進(jìn)行測試。在眾多數(shù)據(jù)的采集過程中，新浪微博信息的采集是比較困難的，現(xiàn)以新浪微博中關(guān)鍵字?jǐn)?shù)據(jù)采集為例，將“邪典視頻”與“直播答題”作為關(guān)鍵詞進(jìn)行輿情信息采集。圖8是本模型的信息采集子模型與“八爪魚采集器”采集信息數(shù)據(jù)量的對比。從圖中可明顯觀察出，本文所采用的模型在新浪微博的關(guān)鍵字采集量上大約是“八爪魚采集器”的十倍，在采集量上有明顯的優(yōu)勢。

圖8 關(guān)鍵詞采集數(shù)據(jù)量對比

4.3 輿情分析子模型準(zhǔn)確率測試

本測試使用了兩個(gè)數(shù)據(jù)集，分別是Reuters數(shù)據(jù)集和斯坦福德的IMDB電影評論情感二分類數(shù)據(jù)集。而作為對比的是集成模型隨機(jī)森林，隨機(jī)森林是由多個(gè)決策樹組成的強(qiáng)分類器。圖9是分類正確率的測試結(jié)果。通過圖9可以觀察出，本文所提出的輿情分析集成模型較隨機(jī)森林算法在正確率上有一定地提升。

圖9 情感分類正確率對比

5 結(jié) 語

針對網(wǎng)絡(luò)輿情的快速傳播性導(dǎo)致網(wǎng)絡(luò)輿情難以監(jiān)控的問題，設(shè)計(jì)出一種結(jié)合模型集成的網(wǎng)絡(luò)輿情管理模型。該模型提出了新型的模塊化采集信息子模型，在與現(xiàn)時(shí)一些爬蟲軟件的對比中有較強(qiáng)優(yōu)勢；同時(shí)根據(jù)一種新的集成學(xué)習(xí)算法思想設(shè)計(jì)出輿情信息分析子模型，相較于單個(gè)分類器分析模型在精度上有一定的提高。本文所提出的輿情管理模型有較強(qiáng)的應(yīng)用性，為網(wǎng)絡(luò)輿情分析與管理提供了新的途徑。同時(shí)此模型也有一些需要改進(jìn)的地方，特別是在輿情分析子模型上還存在很大的提升空間，以后的工作將圍繞提升集成模型的正確率展開。