基于大數據的網絡輿情分析方法研究

基金項目：本文系國家社會科學基金項目“移動互聯網環(huán)境下網絡輿情新特征、新問題與對策研究”（項目編號：13CTQ028）研究成果之一。

作者簡介：唐濤（１９８２－），男，助理研究員，博士，研究方向：網絡輿情、信息產業(yè)發(fā)展戰(zhàn)略，發(fā)表論文１０余篇?！だ碚撎剿鳌?/p>

〔摘要〕隨著互聯網技術和應用的發(fā)展，網絡輿情在數據體量、復雜性和產生速度等方面發(fā)生巨大變化。網絡輿情分析方法已超出了現有常用的分析框架，必須在大數據分析的思維下有所創(chuàng)新。本文概述了常用的網絡輿情分析方法，歸納了當前網絡輿情的大數據特征和分類，提出了網絡輿情分析創(chuàng)新要向大數據分析方向發(fā)展的觀點，并概述了4種新思路新方法，對需要注意的相關問題進行了總結，對未來網絡輿情分析創(chuàng)新進行了展望。

〔關鍵詞〕網絡輿情；大數據；輿情分析

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１４．０３．００１

〔中圖分類號〕Ｇ２０３〔文獻標識碼〕Ａ〔文章編號〕１００８－０８２１（２０１４）０３－０００３－０４

Research on Method of Internet Public Opinion Analysis Based on Big DataTang Tao

（Institute of Information，Shanghai Academy of Social Sciences，Shanghai 200235，China）

〔Ａｂｓｔｒａｃｔ〕With the development of Internet technology and applications,network public opinion changed dramatically in the data volume,complexity and generate speed.Network public opinion analysis method has exceeded the existing analytical framework,and must make some innovative under the thinking of big data.The paper summaried common methods of public opinion analysis,induced the big data characteristics and classifications of public opinion,proposed the point that innovation of internet public opinion analysis should develop toward to big data analysis.The paper summaried four new methods and some issues which should be paid attention to,and forecased the innovation trends of public opinion analysis.

〔Ｋｅｙｗｏｒｄｓ〕internet public opinion;big data;public opinion analysis

人類社會的數據產生方式主要有3種：一是運營數據，伴隨著各類組織的運營而被動產生；二是感知數據，由遍布世界各個角落的傳感器等設備監(jiān)測社會運行和環(huán)境變化而自動產生；三是人類原創(chuàng)數據，由人單獨創(chuàng)作和人際互動而主動產生［１］。其中，人類原創(chuàng)數據在互聯網，尤其是Web20環(huán)境下產生了爆發(fā)式增長，形成了龐大的網絡數據資源，而其中有相當一部分是由個人和各種社會群體，對自己關心或與自身利益緊密相關的各種公共事務所持有的情緒、意愿、態(tài)度和意見［２］，也就是網絡輿情。

我國擁有世界上最多的網民和最大的訪問量，有效分析網絡輿情，對于政府，可以更好地了解公眾意見和訴求，有助于建設安全和諧的網絡環(huán)境和社會環(huán)境；對于媒體，可以突破傳統“從記者到讀者”的單向信息生產模式，而加強對公眾輿論的深層次分析，實現新聞信息增值［３］；對于企業(yè)，可以掌握客戶對產品與服務的評價及客戶特征知識，更好地提供個性化產品與服務，實現利潤增長。因此，政府、媒體、企業(yè)和學術界都越來越重視網絡輿情分析，并不斷追求分析方法的創(chuàng)新，充分發(fā)揮輿情信息的價值。

１網絡輿情分析研究與實踐現狀

當前常用的網絡輿情分析方法主要有網絡調查方法、基于統計規(guī)則的模式識別方法、基于內容挖掘的主題監(jiān)測方法等［４］。

網絡調查方法是將社會調查法移植到網絡上，即在網上進行問卷調查。這種方法通過設計問卷、抽樣調查、統計分析等一整套科學程序，能夠客觀地推論社情民意。這種方法應用廣泛，許多網站在新聞網頁下方設置新聞評論功能和讀者態(tài)度傾向調查，新華網、人民網等網站在近年全國兩會期間專門進行關于民眾關注熱點的網絡輿情問卷調查，一些網站還針對國家重大事件和社會熱點進行網絡調查。

在基于統計規(guī)則的模式識別方面，有學者通過統計分析某段時間內用戶所關注信息點的記錄，構建了互聯網內容與輿情的熱點／熱度、重點／重度、焦點／焦度、敏點／敏度、頻點／頻度、拐點／拐度、難點／難度、疑點／疑度、粘點／粘度、散點／散度等10個分析模式和判據［５］。

在基于內容挖掘的主題監(jiān)測方面，流程有3步：信息提?。òㄐ畔⒉杉⒔Y構化數據存儲）；信息預處理（包括信息過濾、詞法分析、句法分析、概念分析）；輿情分析（包括文本標示、主題發(fā)現、意見挖掘、傾向分析），主要進行話題識別。近年來淺層分析技術出現，相關研究開始關注網絡輿情的情感傾向。這種方法的核心技術包括搜索引擎技術、信息組織技術、自然語言處理技術等。

同時，市場上還出現了不少網絡輿情監(jiān)測分析軟件，知名的有人民網輿情監(jiān)測平臺、拓爾思網絡輿情監(jiān)控系統、方正智思互聯網輿情監(jiān)控系統、邦富互聯網輿情監(jiān)控系統、軍犬網絡輿情監(jiān)控系統等。以人民網輿情監(jiān)測平臺為例，網絡輿情信息采集系統可對傳統媒體網絡版、新聞網站、論壇、博客等進行全天候定向抓取信息，還可利用百度、谷歌、奇虎等搜索引擎進行信息補充，并進行關鍵詞、關注度、轉載率等統計分析。但這些輿情監(jiān)測系統擅長的是抓取新聞網頁，在網絡社區(qū)中，如BBS、博客、微博、QQ群、新聞跟帖等則效果有效，網絡社區(qū)中的輿情主要依靠人工分析［６］。

在傳統數據時代，我們分析輿情走勢時，往往比較關注網民的言論，而忽視有多少人持此意見；往往重視解讀文字內容，而忽視網民互動的社會關系網絡。

２網絡輿情的大數據特征及分類

２１網絡輿情的大數據特征

大數據是指無法在一定時間內用常規(guī)軟件工具進行抓取、管理和處理的數據集合［７］，其在數據體量、復雜性和產生速度3個方面均大大超出了傳統的數據形態(tài)，具有4V特征：規(guī)模性（Volume）、多樣性（Variety）、變化快速性（Velocity）、價值（Value）。對當前網絡輿情狀況的觀察可以看出，互聯網的開放性使數量龐大的網民和各種社會群體可以在網上方便快捷地發(fā)表觀點，這使得網絡輿情的數據量急速增長。其次，多媒體的發(fā)展使網絡輿情的數據形態(tài)既有文本，又有圖片、音頻、視頻等，呈現出多樣性特征。再次，現代社會價值觀念多元，各種觀點交流交融交鋒，輿論多元多樣多變，網絡輿情變化快速。各種因素共同作用，使得網絡輿情數據越來越呈現出大數據特征。

endprint

２２顯性輿情和隱性輿情

當公共事務發(fā)生后，網民在瀏覽、搜索、互動的過程中會隨時發(fā)表言論信息，這些信息直接呈現了網民的情緒、態(tài)度、意見，可以被稱為“顯性”網絡輿情大數據。

此外，還有一些數據并不是直接的網絡輿情內容，但卻從側面客觀反映了網民的關注熱點、輿情主體之間關系等，可以被稱為“隱性”網絡輿情大數據。如，網民在瀏覽相關信息時，網站服務器端的日志記錄了瀏覽頁面URL等數據，在搜索相關信息時，搜索引擎服務器端的日志記錄了搜索關鍵詞等數據，可以反映用戶的瀏覽偏好和搜索熱點。網絡社區(qū)用戶之間互相“加關注”成為“粉絲”，服務器端記錄的人際關系數據能夠描述用戶構成的社會化網絡。用戶之間互相轉發(fā)和評論帖文所形成的轉發(fā)量和評論量數據，可以反映帖文的重要程度。

３網絡輿情大數據分析方法創(chuàng)新

網絡調查方法主要是進行采樣分析，其結果精確性隨著采樣隨機性的提高而提高，與樣本數量的增加關系不大，也就是說，樣本的隨機性比樣本的數量更重要，但實現這樣的隨機性非常困難，以至于如果抽樣對象是互聯網用戶這樣的復雜和海量對象時，就很難找到一個“最優(yōu)抽樣”的標準，更不可能奢求抽樣得到的小樣本能夠精確反映整體的所有特征。

基于統計規(guī)則的模式識別方法具有有效性，但由于不同信息源的信息產生方式有較大差異，該方法適用于對特點對象進行定點監(jiān)測，有一定的局限性。

基于內容挖掘的主題監(jiān)測方法主要針對“顯性”網絡輿情大數據，從現有的實踐來看，由于受限于當前語義分析技術的精確度和速率，語義支持的缺失仍然是普遍存在的問題，一些工具難以有效地處理復雜的人類語言和不斷變化的網絡語言，而且對大規(guī)模數據分析的支持也較弱［８］，仍然需要大量采用抽樣分析和人工分析。而人工分析又具有很強的定性化色彩，所以不少輿情分析報告經常使用“普遍表示贊成”、“不少網民認為”、“少數網民持反對態(tài)度”等定性化的語言，輿情分析的準確性難以進一步提高。

因此，要不斷創(chuàng)新網絡輿情大數據分析思路。一是繞開語義分析的技術瓶頸，開辟“隱性”輿情分析的“第二戰(zhàn)線”；二是突破抽樣分析的思維，用大數據方法分析收集到的全體數據；三是將搜索數據、點擊數據、人際關系數據、網民個人特征數據、相關社會數據等關聯起來進行分析，深度挖掘出有價值的輿情。四是主動進行網絡民意調查，有針對性地收集標準化數據。具體有以下幾種方法。

３１基于網絡日志數據挖掘的隱性輿情分析

當網民關注某公共事件而去瀏覽或搜索相關信息時，會在網站服務器端產生瀏覽日志或搜索日志。瀏覽日志中記錄了網民IP地址、瀏覽時間、網頁URL地址等數據，可以通過分析日志，統計某地區(qū)、某時間段內的瀏覽熱點，許多網站推出的“輿情熱點排行榜”就是這方面的應用。

搜索引擎后臺的搜索日志記錄了網民IP地址、搜索時間、搜索詞、被點擊的結果網頁URL地址等數據。通過統計分析用戶的搜索詞及搜索頻率，可以發(fā)現網民的關注點及其熱度；對一段時間內與某個社會事件相關的搜索詞進行詞頻統計，可以描述網民關注點的產生和變化過程。

目前，一些搜索引擎公司已經研發(fā)了通過搜索日志挖掘發(fā)現網絡輿情的技術和應用。谷歌公司開發(fā)的“谷歌趨勢”應用能統計某個關鍵詞在一定時間段內某個地區(qū)被搜索的次數，將其與谷歌上隨時間推移的搜索總量及當地的搜索總量相比較，得出該關鍵詞的“相對搜索指數”，并將較長一段時間內的相對搜索指數描繪出來，以預測未來趨勢［９］。一個成功的應用是谷歌制作發(fā)布的全球20多個國家的“流感趨勢”。設計人員編入一系列與“流感”相關的關鍵詞，包括“流感”、“溫度計”、“發(fā)燒”、“咳嗽”等。當用戶輸入這些關鍵詞，系統就認為可能與“流感”發(fā)病相關，繼而跟蹤分析并作出相對搜索量指數圖。通過對以往指數的變化情況預測未來趨勢，進而預報流感發(fā)病率。谷歌“流感趨勢”在測試期間就表現出良好的預測效果，比美國疾病控制中心提前7～10天公布美國流感預報，且與官方公布的預報數據高度吻合，顯示了基于搜索日志大數據進行預測的前瞻性和準確性。

３２基于社會網絡分析的輿情主體關系發(fā)現

中國工程院李國杰院士認為，“數據背后是網絡，網絡背后是人，研究網絡數據實際上是研究人組成的社會網絡”［１０］。互聯網上不同主體間的互動形成很多社會化網絡，以微博為例，用戶之間互相關注、轉帖、評論，假設用戶乙關注了用戶甲，則可以畫一條由甲指向乙的有向邊，表示甲發(fā)布的信息可以自動傳遞給乙。將所有用戶之間互相關注的關系都畫成有向邊，整個微博輿論場就成為一個有向圖，每個用戶就是一個節(jié)點，每個“關注”就是一條有向邊，所有人際關系數據最終全景展示了整個社會化網絡。這些輿情主體間頻繁聯系、相互影響，在這個過程中涌現出一些威望和地位較高的輿論“意見領袖”，他們左右著其他主體的輿論方向，最終影響整個輿論場。同時，關注點相似的輿情主體間也自覺或不自覺地形成了一些聯系相對緊密的子群體，在子群體中信息傳播速度更快。要管理和引導網絡輿情，就必須對網絡輿情主體和輿論子群體進行研究，而社會網絡分析方法就是有效的手段。

“社會網絡”的概念由英國人類學家布朗于20世紀30年代在研究社會結構時首次提出，到20世紀70年代，社會網絡分析方法在社會學、心理學、人類學、數學、信息學等領域逐步發(fā)展起來。目前，社會網絡分析方法已成為研究現實社會網絡和以互聯網為基礎的網絡信息交流的重要工具，其中就包括了個體中心度分析和凝聚子群分析。

個體中心度是評價一個人在網絡中重要性的指標，主要包括點度中心度和中間中心度。其中，點度中心度用來衡量誰是網絡中的重要人物。如果一個人可以將信息發(fā)送給更多其他人，那么他在網絡中就擁有較大的話語權。因此，一個點的點度中心度可以用該點在表示網絡的有向圖中的“出度”來衡量。中間中心度衡量一個人作為媒介者的能力，即在網絡中控制其他人的能力。如果一個人處于許多其他兩點之間的路徑上，則認為他具有控制其他兩個行動者之間交往的能力。因此，一個人的中間中心度越高，就有越多人需要通過他才能與其他人發(fā)生聯系［１１］。凝聚子群分析主要揭示網絡輿情形成者之間實際存在的或者潛在的關系，它們是否構成了相對較強的、直接的、緊密的或積極關系的小團體，這些小團體是否會成為促進輿情發(fā)展的核心群體。

根據輿情主體之間的“關注”數據，如果一個主體擁有的粉絲量越多，則他的信息能直接傳遞給其他人的可能性越大，他的點度中心度越高，他就越有可能成為意見領袖。如果一個主體鏈接的意見領袖的數量越多，則他越有可能成為傳播信息的橋梁，他的中間中心度越高。還可以根據主體之間的相互關注數據，發(fā)現相互關注度高的子群體，他們之間信息的相互傳播就越便利。

根據輿情主體之間的發(fā)帖、轉帖、評論數據，如果一個輿情主體的原創(chuàng)帖文在一定時間內被轉發(fā)和評論的數量越多，則他的點度中心度越高，那么他就是意見領袖。如果一個主體的轉發(fā)帖文在一定時間內被再次轉發(fā)和評論的數量越多，則他的中間中心度就越高，那么他就是傳播信息的橋梁。同時，還可以根據主體之間相互轉帖、評論的數據，發(fā)現互動緊密的子群體，他們之間輿情互動的實際效果更加明顯。

當前，已經有一些成熟的社會網絡分析軟件，可以很好地進行社會網絡分析，并呈現出可視化的分析結果，對于發(fā)現網絡意見領袖和子群體有很好的作用。

３３關聯不同領域數據進行輿情分析

endprint

大數據的一個重要特征是數據的混雜性，因此我們不僅要接受多樣化的數據，還要善于利用多樣化的數據，將不同領域數據關聯起來進行分析。

將用戶職業(yè)數據、地域數據、年齡數據、專注領域等和社會網絡數據結合起來，可以分析出不同的輿情熱點在哪些職業(yè)、哪些地域、哪些年段、哪些團體中傳播廣泛，這對于更有針對性地進行輿論引導意義重大。

將網站新聞數據、論壇數據、博客數據、微博數據等進行對比，可以分析出輿情熱點在不同輿論場的傳播速度和廣度，從而掌握哪些輿論場更易于傳播哪類輿情。

還可以將輿情分析的數據與外部數據聯系，如將食品安全問題輿情數據與相關食品的銷售數據相聯系，就能反映出輿情對企業(yè)經營的巨大影響。將網絡謠言傳播與造成的社會后果數據相聯系，可以反映謠言的巨大破壞力；辟謠的引導性輿論發(fā)布后，再動態(tài)監(jiān)測相關社會數據，可以看出輿論引導的效果。

３４基于網絡民意調查的輿情分析

政府要進行輿情分析，只被動接受網絡輿情數據是遠遠不夠的，還需要走出去，主動收集數據，了解全社會對某項政策的評價。

現代意義上的民意調查實踐起源于19世紀美國對總統大選的預測，發(fā)展到今天已經延伸到對各類社會現象的調查，且方法成熟。21世紀后，我國才開始重視民意調查。2003年，中國人民大學進行了第一個全國性的大型社會調查項目“中國綜合社會調查”，將人們對社會熱點事件和其他人群的看法作為調查內容。2006年9月，我國才成立了第一個、也是目前惟一的國家級專門的民意調查機構——國家統計局社情民意調查中心。目前，我國互聯網用戶的人數、手機持有量都位居全球第一，這些都是網絡民意調查的大數據來源?？梢姡覈狈Φ牟皇强晒┦占臄祿褪占瘮祿氖侄?，而是收集數據的意識。只有主動地進行網絡民意調查，化被動分析為主動收集，才能更有針對性地滿足對輿情的需求，也更準確地掌握輿情動向。

４需要注意的問題

４１數據的安全性

在進行大數據分析時，隱私是個大問題。在大數據時代，數據的價值很大一部分體現在二次分析上，由于二次分析的結果未知，所以在收集數據前，進行“告知”和獲得“許可”就不一定能起到絕對保險的作用。我們需要設立一個不一樣的隱私保護模式，這個模式應該更注重數據使用者為其行為承擔責任，而不是將重點放在收集數據之初取得數據所有者的許可。這樣，數據使用者就需要基于其對數據所有者造成的影響，對涉及數據再利用的行為進行評測。此外，我們還需要發(fā)明并推行新技術方式來促進隱私保護，一種途徑是故意將數據模糊處理，促使對大數據的查詢不能顯示精確的結果，而只有相近的結果，這就使得挖出特定個人與特定數據點的聯系變得難以實現并且耗費巨大［１２］。

大數據的挖掘與利用應該有法可依。2012年底，我國全國人大通過的加強網絡信息保護的決定就是一個好的開始?，F在很多機構和企業(yè)擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數據挖掘，又防止侵犯個體隱私；既提倡數據共享，又防止數據被濫用。此外，還需要界定數據挖掘、利用的權限和范圍。大數據系統本身的安全性也是值得特別關注的，要注意技術安全性和管理制度安全性并重，防止信息被損壞、篡改、泄露或被竊，保護公民和國家的信息安全。

４２數據的可獲取性

要想提高大數據分析的效果，可獲取的數據量是關鍵。大數據時代，傳播形式的多元化使得數據分布在不同的傳播終端，如一條新聞的網民評價可能分布在眾多移動新聞客戶端的用戶評價中；再如微信中用戶對社會事務的意見是一種處于半封閉圈群中的數據，非好友用戶難以獲取。這些問題都給設想基于大數據的網絡輿情分析帶來難題。除此之外，政府掌握著社會的大多數信息，而網絡輿情分析還需要網站、運營商等企業(yè)的數據，所以政府和企業(yè)應該加強合作，共享數據。一些經過隱私保護處理后的數據還可以向全社會開放，以供企業(yè)、學術界和各社會群體進行研究，促進創(chuàng)新性應用。

４３數據的代表性

網絡輿情大數據源于互聯網的開放、共享，但我們不能僅僅憑借技術構建的大數據平臺去打撈那些可能代表一個群體或一定數量級的“沉默的聲音”。因為如果他們與網絡隔絕，或者由于“沉默的螺旋”心理效應而不提供任何數據，那么我們所精心分析出的網絡輿情實際上是不全面的，以此來指導社會管理是有偏差的。因此，我們在進行輿情分析的時候，網絡輿情大數據只是一個方面，而非全部。

５對未來的展望

隨著網絡技術和應用的不斷創(chuàng)新，網絡輿情在不斷發(fā)生變化，面對數億網民和浩如煙海的網絡大數據環(huán)境，我們需要不斷擴大網絡輿情分析的內涵，從分析顯性輿情內容，拓展到分析隱性輿情、輿情主體間關系、輿情子群體、輿情對社會的動態(tài)影響等更廣義的輿情分析。我們要不斷改進輿情的分析方法，網絡輿情分析不再僅僅是采樣分析，而是要開始關注大數據分析；不再僅僅是依靠語義分析，而是更求諸于自動化的數據分析；不再僅僅是對部分數據集的精確分析，而是涵蓋多個數據集的關聯分析。我們還要拓展網絡輿情數據的收集方式，將分析系統自動產生的數據，發(fā)展到主動地、精準地收集輿情數據。為保障網絡輿情大數據分析的安全和可持續(xù)開展，我們還要解決可能涉及的隱私問題，以及推動數據的公開和共享。這些都將是面向大數據的網絡輿情分析的潮流和趨勢。

參考文獻

［１］孟小峰，慈祥.大數據管理：概念、技術與挑戰(zhàn)［Ｊ］.計算機研究與發(fā)展，2013，50（1）:146-169.

［２］劉毅.網絡輿情研究概論［Ｍ］.天津：天津人民出版社，2007:51-53.

［３］張嶸.大數據時代輿情分析對媒體增值服務的可行性［Ｊ］.中國傳媒科技，2012，（11）:34-36.

［４］陳憶金，曹樹金，陳少馳，等.網絡輿情信息監(jiān)測研究進展［Ｊ］.圖書情報知識，2011，（6）:41-49.

［５］謝海光，陳中潤.互聯網內容及輿情深度分析模式［Ｊ］.中國青年政治學院學報，2006，（3）:95-100.

［６］羅婷，李成.如何開發(fā)輿情監(jiān)測產品——人民網輿情監(jiān)測室的運作模式［Ｊ］.中國記者，2010，（6）:52-54.

［７］Big data［ＥＢ／ＯＬ］.http:∥en.wikipedia.org/wiki/Bigdata，2013-04-26.

［８］李廣建，楊林.大數據視角下的情報研究與情報研究技術［Ｊ］.圖書與情報，2012，（6）:1-8.

［９］Google趨勢［ＥＢ／ＯＬ］.http:∥www.google.com/trends，2013-04-26.

［１０］甘曉.大數據成為信息科技新關注點——訪中國工程院院士李國杰［Ｎ］.中國科學報，2012-06-27，（A1）.

［１１］羅家德.社會網分析講義［Ｍ］.北京：社會科學文獻出版社，2010:179-193.

［１２］維克托·邁爾-舍恩伯格，肯尼斯·庫克耶.大數據時代［Ｍ］.盛楊燕，周濤，譯.杭州：浙江人民出版社，2013:220-223.

（本文責任編輯：孫國雷）

endprint