農(nóng)業(yè)網(wǎng)站輿情熱點(diǎn)信息發(fā)現(xiàn)系統(tǒng)研究與開發(fā)

趙繼春等

摘要研究了農(nóng)業(yè)信息處理和分析技術(shù)，開發(fā)了農(nóng)業(yè)網(wǎng)站輿情熱點(diǎn)發(fā)現(xiàn)系統(tǒng)，實(shí)現(xiàn)農(nóng)業(yè)相關(guān)類網(wǎng)站的網(wǎng)絡(luò)輿情分析，發(fā)現(xiàn)農(nóng)業(yè)類相關(guān)網(wǎng)站的網(wǎng)絡(luò)輿情熱點(diǎn)，通過網(wǎng)絡(luò)信息的自動(dòng)獲取、分類存取以及熱點(diǎn)發(fā)現(xiàn)，實(shí)現(xiàn)對(duì)農(nóng)業(yè)網(wǎng)站輿情信息的熱點(diǎn)監(jiān)測(cè)和熱點(diǎn)發(fā)現(xiàn)功能，為農(nóng)業(yè)科研人員和管理者提供個(gè)性化的決策參考。

關(guān)鍵詞農(nóng)業(yè)網(wǎng)站；網(wǎng)絡(luò)輿情；熱點(diǎn)發(fā)現(xiàn)與監(jiān)測(cè)；個(gè)性化

中圖分類號(hào)S126文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào)0517-6611（2015）24-279-02

目前，農(nóng)業(yè)類網(wǎng)站數(shù)量增長(zhǎng)迅速，對(duì)于農(nóng)業(yè)管理者和科研人員，農(nóng)業(yè)熱點(diǎn)信息對(duì)于研究或者決策，具有重要的意義。而互聯(lián)網(wǎng)信息快速發(fā)展使得信息成幾何級(jí)數(shù)增加，網(wǎng)絡(luò)信息的處理就越來越困難，傳統(tǒng)的通過手工進(jìn)行信息處理的方式已經(jīng)不能夠應(yīng)對(duì)大規(guī)模信息相應(yīng)的要求[1]。因此有必要通過新的信息技術(shù)，對(duì)農(nóng)業(yè)輿情進(jìn)行監(jiān)控和分析，滿足農(nóng)業(yè)管理者和農(nóng)業(yè)科研人員對(duì)信息的需求。對(duì)與農(nóng)業(yè)相關(guān)的網(wǎng)站進(jìn)行網(wǎng)絡(luò)輿情熱點(diǎn)信息發(fā)現(xiàn)，通過網(wǎng)絡(luò)信息的自動(dòng)抓取、分類存取以及熱點(diǎn)發(fā)現(xiàn)，建立輿情熱點(diǎn)發(fā)現(xiàn)模型，實(shí)現(xiàn)網(wǎng)絡(luò)輿情信息的熱點(diǎn)監(jiān)測(cè)和熱點(diǎn)發(fā)現(xiàn)功能。同時(shí)能夠?qū)崿F(xiàn)熱點(diǎn)話題的追蹤，為掌握網(wǎng)絡(luò)中的思想動(dòng)態(tài)做出正確的輿論引導(dǎo)提供分析依據(jù)，能夠?yàn)樯霞?jí)領(lǐng)導(dǎo)部門提供輿情分析報(bào)告。

目前，輿情信息的熱點(diǎn)發(fā)現(xiàn)研究較熱，受到了政府和科研管理人員的普遍關(guān)注，政府希望通過輿情信息熱點(diǎn)發(fā)現(xiàn)獲取網(wǎng)路中的思想動(dòng)態(tài)，從而實(shí)現(xiàn)對(duì)于不良的輿情進(jìn)行監(jiān)控與疏導(dǎo)，解決網(wǎng)絡(luò)中存在的潛在危機(jī)。科研人員希望獲取一手研究資料，了解最新的熱點(diǎn)前沿動(dòng)態(tài)，從而能夠指導(dǎo)自己的科研。目前的研究技術(shù)主要包括基于自然語言處理技術(shù)以及統(tǒng)計(jì)技術(shù)，涉及詞頻、分詞和數(shù)據(jù)挖掘等技術(shù)。針對(duì)快速發(fā)現(xiàn)熱點(diǎn)話題的問題，很多研究針對(duì)論壇系統(tǒng)進(jìn)行了分類，運(yùn)用多維向量表示實(shí)現(xiàn)了網(wǎng)絡(luò)中輿情熱點(diǎn)信息的發(fā)現(xiàn)與分析管理[2-4]。

輿情監(jiān)測(cè)分析系統(tǒng)涉及的一些關(guān)鍵技術(shù)包括：網(wǎng)絡(luò)信息采集技術(shù)，主要包括網(wǎng)絡(luò)爬蟲技術(shù)等；信息預(yù)處理技術(shù)，主要包括網(wǎng)頁凈化預(yù)處理、文本表示、中文分詞、詞性標(biāo)注、去停用詞、特征信息提取和特征降維等；文本應(yīng)用的挖掘與信息處理技術(shù)，主要包括文本聚類、熱點(diǎn)自動(dòng)發(fā)現(xiàn)、文本自動(dòng)分類、文本傾向性分析等。針對(duì)熱點(diǎn)信息采集，可以應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)，將大量的信息抽取存儲(chǔ)到本地?cái)?shù)據(jù)庫，為研究提供數(shù)據(jù)支撐[5]。

1輿情熱點(diǎn)發(fā)現(xiàn)技術(shù)架構(gòu)

目前，在輿情分析熱點(diǎn)研究方面影響力比較大的國(guó)際會(huì)議包括文本檢索會(huì)議（TREC）、情報(bào)檢索專業(yè)組會(huì)議（SIGIR）、文本檢測(cè)與跟蹤會(huì)議（TDT）等，這些會(huì)議展示了該領(lǐng)域最新的研究成果已經(jīng)研究進(jìn)展。筆者在閱讀大量相關(guān)文獻(xiàn)的基礎(chǔ)上，研究了網(wǎng)絡(luò)輿情分析所涉及的分詞、網(wǎng)絡(luò)爬蟲、聚類分析等關(guān)鍵技術(shù)，并對(duì)這些關(guān)鍵技術(shù)進(jìn)行集成應(yīng)用，構(gòu)建農(nóng)業(yè)類網(wǎng)站的輿情分析引擎[6]。

該研究的技術(shù)架構(gòu)是首先進(jìn)行輿情信息采集處理關(guān)鍵技術(shù)研究，對(duì)農(nóng)業(yè)類相關(guān)的網(wǎng)站進(jìn)行信息進(jìn)行采集，獲取用戶的活躍話題，并對(duì)采集后的信息進(jìn)行加工預(yù)處理，提取信息的特征。結(jié)合基礎(chǔ)數(shù)據(jù)信息，建立輿情熱點(diǎn)發(fā)現(xiàn)模型，最后開發(fā)農(nóng)業(yè)網(wǎng)站輿情熱點(diǎn)發(fā)現(xiàn)系統(tǒng)。研究技術(shù)架構(gòu)見圖1。

2系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)

2.1輿情信息采集系統(tǒng)研究

輿情信息采集模塊實(shí)現(xiàn)的功能是按特定主題抓取農(nóng)業(yè)類網(wǎng)站的相關(guān)欄目信息，并將信息分類存儲(chǔ)到數(shù)據(jù)庫服務(wù)器中。信息采集的主要思路是，利用網(wǎng)絡(luò)爬蟲技術(shù)，根據(jù)網(wǎng)絡(luò)中的頁面地址，獲取網(wǎng)頁的頁面信息，根據(jù)正則表達(dá)式對(duì)信息進(jìn)行處理，抽取到本地?cái)?shù)據(jù)庫。最后，系統(tǒng)依據(jù)本地?cái)?shù)據(jù)庫中抽取的信息，進(jìn)行分析與處理。

2.2輿情信息的預(yù)處理方法研究

輿情信息的預(yù)處理主要是對(duì)原始數(shù)據(jù)進(jìn)行去噪，去掉無效的應(yīng)用數(shù)據(jù)，并且找到信息對(duì)應(yīng)的特征項(xiàng)目，最后轉(zhuǎn)化為向量表示。輿情信息的數(shù)據(jù)預(yù)處理為分析系統(tǒng)提供了具有一定可靠度的數(shù)據(jù)，輿情信息預(yù)處理流程見圖2。

2.3熱點(diǎn)信息發(fā)現(xiàn)流程研究

網(wǎng)絡(luò)信息熱點(diǎn)信息發(fā)現(xiàn)由信息的預(yù)處理模塊、熱點(diǎn)信息發(fā)現(xiàn)模塊、用戶信息顯示控制模塊和綜合管理模塊組成，建立在基于抽取的網(wǎng)絡(luò)信息數(shù)據(jù)庫基礎(chǔ)上，主要實(shí)現(xiàn)對(duì)于熱點(diǎn)信息的分析與監(jiān)控，網(wǎng)絡(luò)熱點(diǎn)信息發(fā)現(xiàn)實(shí)現(xiàn)框架見圖3。

熱點(diǎn)信息發(fā)現(xiàn)的流程見圖4。首先，應(yīng)用分詞技術(shù)，對(duì)農(nóng)業(yè)類的相關(guān)網(wǎng)站進(jìn)行關(guān)鍵詞的提取，如果是互動(dòng)的信息，則提取互動(dòng)信息的特征，并將這些信息存儲(chǔ)到信息特征庫；然后，針對(duì)信息特征庫應(yīng)用統(tǒng)計(jì)分析技術(shù)提取熱點(diǎn)特征信息，同時(shí)獲取信息對(duì)應(yīng)的報(bào)文；最后，統(tǒng)計(jì)相關(guān)信息的分布。

3系統(tǒng)開發(fā)與實(shí)現(xiàn)

3.1開發(fā)語言與環(huán)境

在關(guān)鍵技術(shù)研究的基礎(chǔ)上，該研究開發(fā)了農(nóng)業(yè)網(wǎng)站輿情熱點(diǎn)信息發(fā)現(xiàn)系統(tǒng)，充分考慮了系統(tǒng)的易用性和擴(kuò)展性需求。采用Java程序設(shè)計(jì)語言進(jìn)行開發(fā)，系統(tǒng)采用的應(yīng)用數(shù)據(jù)庫的是Oracle11，開發(fā)的環(huán)境是MyEclipse，開發(fā)中間件采用的是Tomcat。

3.2系統(tǒng)主要功能模塊

數(shù)據(jù)采集對(duì)象主要是涉農(nóng)互聯(lián)網(wǎng)網(wǎng)站和網(wǎng)頁，包含了對(duì)于正文內(nèi)容的自動(dòng)識(shí)別、文章去重與相似度分析、自動(dòng)生成摘要和關(guān)鍵詞等多項(xiàng)中文語言處理技術(shù)。農(nóng)業(yè)網(wǎng)站輿情熱點(diǎn)發(fā)現(xiàn)系統(tǒng)包括了輿情數(shù)據(jù)處理子系統(tǒng)、輿情分析子系統(tǒng)和輿情門戶應(yīng)用子系統(tǒng)。輿情數(shù)據(jù)處理子系統(tǒng)是針對(duì)采集子系統(tǒng)采集的數(shù)據(jù)進(jìn)行整理、處理。主要功能包括：輿情數(shù)據(jù)管理、門戶信息配置、簡(jiǎn)報(bào)管理模塊等，可手動(dòng)選擇信息生成簡(jiǎn)報(bào)，對(duì)已生成的簡(jiǎn)報(bào)提供可視化編輯界面。輿情分析子系統(tǒng)功能分為統(tǒng)計(jì)和分析兩部分。統(tǒng)計(jì)主要是對(duì)于輿情內(nèi)容的統(tǒng)計(jì)，信息站點(diǎn)分布統(tǒng)計(jì)、時(shí)間統(tǒng)計(jì)、具有折線圖、柱狀圖、餅圖多種表現(xiàn)方式。輿情分析功能包括自動(dòng)聚類、熱詞發(fā)現(xiàn)和事件發(fā)展趨勢(shì)分析。輿情門戶應(yīng)用子系統(tǒng)是一個(gè)可定制的輿情展示、呈現(xiàn)平臺(tái)，平臺(tái)可以將輿情系統(tǒng)中收集到的信息、分析結(jié)果、生成的簡(jiǎn)報(bào)，以圖文方式進(jìn)行展現(xiàn)，提供給用戶瀏覽、下載。系統(tǒng)開發(fā)的原型頁面如圖5所示。

4結(jié)語

該研究給出了網(wǎng)絡(luò)輿情熱點(diǎn)信息發(fā)現(xiàn)所設(shè)計(jì)的技術(shù)和方法，并開發(fā)了農(nóng)業(yè)網(wǎng)站輿情熱點(diǎn)發(fā)現(xiàn)系統(tǒng)。該系統(tǒng)的最大優(yōu)點(diǎn)是采用靈活的處理的架構(gòu)，真正實(shí)現(xiàn)分析和追蹤熱點(diǎn)信息。對(duì)農(nóng)業(yè)相關(guān)類的網(wǎng)站進(jìn)行網(wǎng)絡(luò)輿情熱點(diǎn)發(fā)現(xiàn)，通過農(nóng)業(yè)網(wǎng)站信息的抓取采集，將數(shù)據(jù)存儲(chǔ)在本地?cái)?shù)據(jù)庫，供系統(tǒng)

進(jìn)行數(shù)據(jù)分析。該研究開發(fā)的網(wǎng)絡(luò)輿情熱點(diǎn)發(fā)現(xiàn)系統(tǒng)，包括了

輿情數(shù)據(jù)處理子系統(tǒng)、輿情分析子系統(tǒng)和輿情門戶應(yīng)用子系統(tǒng)。用戶可以選定特定的時(shí)間段，能夠?qū)崿F(xiàn)熱點(diǎn)信息排序功能，同時(shí)實(shí)現(xiàn)熱點(diǎn)信息的追蹤，提供熱點(diǎn)信息的分析依據(jù)，為農(nóng)業(yè)管理部門和科研人員提供農(nóng)業(yè)信息輿情分析報(bào)告。

參考文獻(xiàn)

[1] 蓋偉，王曉端.網(wǎng)絡(luò)輿情分析與監(jiān)測(cè)研究[J].中小企業(yè)管理與科技，2014（11）：126.

[2] 張文慧，張冉.基于中文分詞的農(nóng)業(yè)信息檢索平臺(tái)設(shè)計(jì)[J].安徽農(nóng)業(yè)科學(xué)，2011，39（20）：12586-12587.

[3] 王娟.網(wǎng)絡(luò)輿情監(jiān)控分析系統(tǒng)構(gòu)建[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)，2007（4）：201-203.

[4] 孟春艷.用于文本分類和文本聚類的特征抽取方法的研究[J].微計(jì)算機(jī)信息，2009（3）：149-150.

[5] 顏建華，劉巖，傅黎犁，等.基于網(wǎng)絡(luò)的輿情分析系統(tǒng)及其應(yīng)用研究[J].醫(yī)學(xué)信息學(xué)雜志，2011（8）：10-14.

[6] 汪斌，張?jiān)苽ィ瑒⒔?，?一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)[J].安徽農(nóng)業(yè)科學(xué)，2009，37（ 20）：9699-9700.