江蘇電信云計算中心趙勇
多源信息聚合技術(shù)在中國電信江蘇公司“輿情云”系統(tǒng)中的應(yīng)用
江蘇電信云計算中心趙勇
隨著互聯(lián)網(wǎng)信息技術(shù)和移動通信技術(shù)的發(fā)展,互聯(lián)網(wǎng)媒體逐漸走進(jìn)人們的日常生活。每個人既是互聯(lián)網(wǎng)信息的閱讀者,也是互聯(lián)網(wǎng)信息的提供者和傳播者。人們通過微博、論壇、博客等發(fā)表自己的看法、轉(zhuǎn)發(fā)自己關(guān)注的消息、關(guān)注熱點(diǎn)及自己關(guān)心的內(nèi)容。由此,網(wǎng)絡(luò)輿論也隨之產(chǎn)生。
隨著政府對民生的關(guān)注以及企業(yè)對互聯(lián)網(wǎng)營銷的關(guān)注,人們越來越重視網(wǎng)絡(luò)輿論。開展互聯(lián)網(wǎng)輿情監(jiān)測與分析,能夠幫助政府和企業(yè)在第一時間掌握網(wǎng)絡(luò)輿情動態(tài)、了解網(wǎng)情民意;第一時間發(fā)現(xiàn)可能引發(fā)危機(jī)的信息苗頭;幫助企業(yè)開展自身口碑監(jiān)測、競爭信息、行業(yè)信息、產(chǎn)品調(diào)研、客戶調(diào)研等活動。
近幾年來,越來越多的政府和企業(yè)通過自建系統(tǒng)或購買云服務(wù)的方式,開展互聯(lián)網(wǎng)輿情監(jiān)控。同時他們對輿情系統(tǒng)提供信息的實(shí)時性、準(zhǔn)確性、易用性提出了越來越高的要求。但實(shí)際在使用各類監(jiān)控系統(tǒng)時,卻面臨著重復(fù)信息過多的問題。特別是當(dāng)重要事件發(fā)生時,許多新聞?wù)军c(diǎn)、論壇、微博都在講述同一事件,無數(shù)重復(fù)的內(nèi)容反而淹沒了事件的本質(zhì)。因此多源信息聚合顯得尤為重要。多源信息聚合可以將文本信息進(jìn)行相似性智能判斷,并對同一事件進(jìn)行聚合,能夠大大減少數(shù)據(jù)量,提高系統(tǒng)預(yù)警的準(zhǔn)確性。
由中國電信江蘇云計算中心和北京上元信科技有限公司共同開發(fā)的中國電信江蘇公司“輿情云”系統(tǒng),采用了大數(shù)據(jù)研發(fā)團(tuán)隊(duì)開發(fā)的“多源信息聚合”技術(shù)。該技術(shù)采用了K-means聚類改進(jìn)算法,以及由該團(tuán)隊(duì)維護(hù)的龐大的主題詞典和分詞分類詞典等,并創(chuàng)造性將該算法與各類詞典結(jié)合起來,借助于中國電信強(qiáng)大云計算資源,既解決聚類準(zhǔn)確性的問題,又解決了效率問題。系統(tǒng)經(jīng)過在線測試,針對一個熱點(diǎn)地市一個月20萬左右條的數(shù)據(jù),單條消息到達(dá)時,執(zhí)行完一次聚類消耗的時間達(dá)到毫秒級別。并支持多源信息的聚合,即能夠?qū)⑿侣?、論壇、博客、微博、微信等不同來源的?shù)據(jù)進(jìn)行分類和統(tǒng)一聚類。
中國電信江蘇公司“輿情云”將“多源信息聚合”技術(shù)靈活地運(yùn)用在系統(tǒng)中,解決了困擾輿情監(jiān)控人員的多個問題。
重復(fù)信息過多問題。通過該技術(shù),將講述同一事件的輿情信息聚合為一條數(shù)據(jù),并給出重復(fù)條數(shù),聚合后數(shù)據(jù)量能夠減少2/3。大大減少輿情監(jiān)控人員查看信息的工作量,提高對重大事件的監(jiān)控效率。
本地?zé)狳c(diǎn)事件統(tǒng)計問題。通過信息聚合,對出現(xiàn)次數(shù)最多的事件進(jìn)行權(quán)重排序,統(tǒng)計出不同領(lǐng)域的熱點(diǎn)事件,及時發(fā)現(xiàn)可能造成擴(kuò)散影響的輿情事件。
垃圾信息過濾問題。輿情信息具有時效性,當(dāng)該事件首次出現(xiàn)時,可能具有較高價值,當(dāng)成為熱點(diǎn)后,隨著時間推移,該消息價值可能降為0,而成為垃圾信息,此時可能利用聚合技術(shù)將該事件設(shè)置為垃圾信息,由系統(tǒng)自動進(jìn)行過濾與屏蔽。
“多源信息聚合”技術(shù)不僅能夠使輿情數(shù)據(jù)量大大減少,而且隨著用戶使用時間越來越長,用戶提供給系統(tǒng)學(xué)習(xí)的材料也在增長,將會大大提高系統(tǒng)預(yù)警的準(zhǔn)確性。因此,中國電信江蘇公司“輿情云”受到了用戶的廣泛認(rèn)可,目前該系統(tǒng)為江蘇全省超過60個正式用戶、近百個試用用戶提供著輿情監(jiān)測的云服務(wù)。這是中國電信江蘇公司在大數(shù)據(jù)研究上一個有力的嘗試,未來中國電信江蘇公司還將會在多個領(lǐng)域?yàn)榭蛻籼峁┐髷?shù)據(jù)挖掘服務(wù)。