大數(shù)據(jù)在市場研究中的國際前沿追蹤

路明

數(shù)據(jù)已經(jīng)滲透到了全世界市場中的各個領(lǐng)域，并逐漸成為重要的組成因素，對海量數(shù)據(jù)的運用將提升人們對市場以及未來走向的預(yù)知和把控。在互聯(lián)網(wǎng)時代，數(shù)據(jù)本身就是資產(chǎn)，而大數(shù)據(jù)則意味著這些資產(chǎn)正在變得龐大無比，在現(xiàn)實生活中，善于運用大數(shù)據(jù)的企業(yè)已經(jīng)從數(shù)據(jù)中獲得了豐厚的回報。

大數(shù)據(jù)在當(dāng)今市場研究中的重要意義

大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多的數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，可通過云計算的處理技術(shù)與應(yīng)用模式，在合理時間內(nèi)達到選取、管理、處理并整理成為可以幫助企業(yè)經(jīng)營決策的資訊。大數(shù)據(jù)具有數(shù)量大、實時性、多樣性、真實性等特點。

從2009年開始，“大數(shù)據(jù)”逐漸成為互聯(lián)網(wǎng)信息技術(shù)的熱門詞匯。美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)平均每年增長50%，每兩年便翻一番，所以目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外，數(shù)據(jù)不光指人們在互聯(lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關(guān)位置、運動、震動、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。

數(shù)據(jù)已經(jīng)滲透到了全世界市場中的各個領(lǐng)域，并逐漸成為重要的組成因素，對海量數(shù)據(jù)的運用將提升人們對市場以及未來走向的預(yù)知和把控。在互聯(lián)網(wǎng)時代，數(shù)據(jù)本身就是資產(chǎn)，而大數(shù)據(jù)則意味著這些資產(chǎn)正在變得龐大無比，在現(xiàn)實生活中，善于運用大數(shù)據(jù)的企業(yè)已經(jīng)從數(shù)據(jù)中獲得了豐厚的回報。

例如，華爾街的德溫特資本市場公司通過分析3.4億個微博賬戶的留言判斷民眾情緒，依據(jù)人們在高興時買股票、焦慮時拋售股票的規(guī)律來決定公司股票的買入或賣出。阿里巴巴根據(jù)天貓網(wǎng)上中小企業(yè)的交易狀況篩選出財務(wù)健康和講究誠信的企業(yè)，對他們發(fā)放無需擔(dān)保的貸款。目前已放貸300多億元，壞賬率僅0.3%，低于商業(yè)銀行的平均水平。在宏觀經(jīng)濟預(yù)測方面，2008年，阿里巴巴根據(jù)對交易數(shù)據(jù)的分析結(jié)果提前預(yù)測了金融危機的爆發(fā)，幫助一些企業(yè)躲過了金融危機的沖擊。印第安納大學(xué)利用谷歌公司推出的心情分析工具，從近千萬條網(wǎng)民留言中歸納出六種心情，進而對道瓊斯工業(yè)指數(shù)的變化進行預(yù)測，準(zhǔn)確率高達87%。

在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也在發(fā)揮著不可小覷的重要作用。歐洲多個城市通過分析實時采集的交通流量數(shù)據(jù)，指導(dǎo)司機選擇最佳出行路線，從而改善城市交通狀況。聯(lián)合國也推出了名為“全球脈動”的項目，希望利用“大數(shù)據(jù)”來促進全球經(jīng)濟發(fā)展?！按髷?shù)據(jù)是未來的新石油”，這已經(jīng)成為社會的共識。

國際知名企業(yè)在大數(shù)據(jù)上

的前瞻研究

大數(shù)據(jù)在市場研究中的精髓是價值，即數(shù)據(jù)本身可以給企業(yè)帶來的商業(yè)價值，在未來4-5年中，越來越多的公司會像IBM、Google、阿里巴巴、Facebook等技術(shù)領(lǐng)先的公司一樣，學(xué)會如何在大數(shù)據(jù)集群中運用技術(shù)來發(fā)展自己的業(yè)務(wù)。下面我們來看幾個國際知名企業(yè)運用大數(shù)據(jù)在市場研究中的前沿走向。

IBM

——大數(shù)據(jù)可視化

IBM近些年來，一直致力于大數(shù)據(jù)的前瞻研究，有自己的數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)倉庫、Hadoop System 、Stream Computing流計算、信息整合管理平臺這一整套的大數(shù)據(jù)技術(shù)，其中數(shù)據(jù)可視化功能是IBM 的一個重要大突破，即分析工具生成的信息以可視化形式呈現(xiàn)在用戶面前，給用戶一個非常強烈的直覺判斷。可視化分析方法，主要包括可視化查詢、鏈接分析、路徑分析、群集分析、社會網(wǎng)絡(luò)分析等分析算法與分析工具。

未來IBM在大數(shù)據(jù)可視化商業(yè)化研發(fā)的三大工作方向：一是從結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的音頻和視頻當(dāng)中抽取特殊數(shù)據(jù)，即語義分析和語境分析，來幫助企業(yè)進行決策和分析；二是將分析得出的結(jié)果以可視化的方式讓業(yè)務(wù)用戶能夠理解；三是可視化與地理位置信息相結(jié)合，例如在港口監(jiān)控所有船只時，一旦出現(xiàn)異常情況，可視化軟件可以讓工作人員更準(zhǔn)確的判斷現(xiàn)實情況并得到更快的解決方案。

Facebook

——通過大數(shù)據(jù)精準(zhǔn)定位客戶群

Facebook一直是大數(shù)據(jù)技術(shù)最積極的應(yīng)用者和開拓者，因為它擁有的數(shù)據(jù)量極其巨大。

目前，F(xiàn)acebook在全球有9億用戶，其中日?；钴S用戶達5.26億，每天會采集到500+TB的數(shù)據(jù)。面對這大量的數(shù)據(jù)，F(xiàn)acebook正在分類、提煉，發(fā)揮數(shù)據(jù)真正的價值，根據(jù)海量用戶的使用習(xí)慣做數(shù)據(jù)挖掘，然后對用戶進行“畫像”，更精準(zhǔn)地把握用戶需求和廣告主的需求，F(xiàn)acebook大數(shù)據(jù)技術(shù)被廣泛應(yīng)用在廣告、新聞源、消息聊天、搜索、站點安全、特定分析、報告等各個領(lǐng)域。

海量數(shù)據(jù)處理的第一步就是歸類，將用戶發(fā)表的評論、上傳的圖片、音樂、視頻這些碎片化、非結(jié)構(gòu)化的數(shù)據(jù)進行分析，使其集結(jié)、歸類成結(jié)構(gòu)化的數(shù)據(jù)信息。第二步是要將這些結(jié)構(gòu)化的數(shù)據(jù)進行解讀，深入到數(shù)據(jù)背后的潛在意義。每當(dāng)用戶登錄Facebook，Cookie會一直駐留在用戶的瀏覽器中，從此用戶的瀏覽行為、瀏覽頁面的關(guān)鍵字會被記錄，通過對關(guān)鍵字和上傳信息的持續(xù)分析，F(xiàn)acebook很容易得出用戶的長期愛好和近期需求。再加上對你朋友圈的分析，可以獲得你的教育、工作、收入、地理位置等諸多方面，這種挖掘和解讀往往比個人主動填寫的信息還要全面、真實。

為了更便捷、更真實地獲得用戶的資料，F(xiàn)acebook發(fā)布了一款大數(shù)據(jù)新產(chǎn)品——“時間線”Timeline，它是一個用戶可以自我編輯的個人時間軸，在這條時間線的頁面記錄個人生活故事的應(yīng)用。Timeline通過幫用戶創(chuàng)建個人的時間線和電子傳記這一形象化的工具，進行用戶數(shù)據(jù)捕獲、存儲，將Facebook的數(shù)據(jù)收集工作帶入歷史領(lǐng)域。而一旦擁有了這些歷史數(shù)據(jù)，F(xiàn)acebook就如同一個和你從小一起長大的人，對你的檔案了如指掌。用戶留下的數(shù)據(jù)越多，F(xiàn)acebook就越了解用戶，投放的廣告就會更加精準(zhǔn)。

Google

——大數(shù)據(jù)作預(yù)測

Google就是大數(shù)據(jù)時代的開拓者，Google的大數(shù)據(jù)技術(shù)架構(gòu)一直都是全球互聯(lián)網(wǎng)企業(yè)爭相學(xué)習(xí)和研究的重點，在市場研究中Google所提供的大數(shù)據(jù)分析主要是客戶情緒分析、交易風(fēng)險分析、產(chǎn)品推薦、客戶流失預(yù)測、法律文案分類、電子郵件內(nèi)容過濾、政治傾向預(yù)測、物種鑒定等多個方面。據(jù)稱，大數(shù)據(jù)已經(jīng)給Google每天帶來2300萬美元的收入。具體應(yīng)用如下：

其一，基于Map Reduce（映射化簡模式），Google提供了包括數(shù)據(jù)存儲、數(shù)據(jù)分析、日志分析、搜索質(zhì)量以及其他數(shù)據(jù)分析應(yīng)用。

其二，基于Dremel系統(tǒng)（在線可視化系統(tǒng)）， Google推出其強大的數(shù)據(jù)分析軟件BigQuery，它也是Google自主開發(fā)的一個云數(shù)據(jù)分析引擎。BigQuery引擎可以快速掃描高達70TB未經(jīng)壓縮處理的數(shù)據(jù)，并且可馬上得到分析結(jié)果。這個服務(wù)，能幫助企業(yè)用戶在數(shù)秒內(nèi)完成萬億字節(jié)的掃描。

其三，Google的趨勢圖應(yīng)用。通過用戶對搜索詞的關(guān)注度，很快地了解社會上的熱點是什么。對廣告主來說，它的商業(yè)價值就是很快地知道現(xiàn)在用戶在關(guān)心什么，他們應(yīng)該在什么地方投入一個廣告。如“Brand Lift in Adwords”、“Active GRP”等工具，可以幫助廣告客戶分析和評估其廣告活動的效率，再利用Google Analytics，可全面掌控營銷投資回報率。

Google的大數(shù)據(jù)平臺架構(gòu)仍在演進中，追求的目標(biāo)是更大數(shù)據(jù)集、更快、更準(zhǔn)確的分析和計算，這將進一步引領(lǐng)大數(shù)據(jù)技術(shù)發(fā)展的方向。

阿里巴巴

——大數(shù)據(jù)下的新C2B模式

阿里巴巴作為中國最大的電商企業(yè)，已經(jīng)通過所掌握的數(shù)據(jù)以及分析成果，去指導(dǎo)這些生產(chǎn)線的研發(fā)、設(shè)計、生產(chǎn)、定價。

用戶的搜索瀏覽、駐留時間、商品對比、購物車、下單、評價數(shù)據(jù)被全程記錄，同時用戶的個人資料，例如性別、地域、年齡、職業(yè)、消費水平、偏好、星座等也已進行畫像。這時候阿里巴巴可以對用戶進行交叉分析、定點分析、抽樣分析、群體分析，基于這些分析結(jié)果得出市場需求趨勢，再通過地域和時間分析指導(dǎo)生產(chǎn)線不同季節(jié)不同物品的產(chǎn)量和不同地域不同產(chǎn)品的庫存，適時調(diào)整生產(chǎn)、銷售、推銷策略。

阿里巴巴已經(jīng)啟動了數(shù)據(jù)共享計劃，將它們沉淀的行業(yè)數(shù)據(jù)分享給廠商，從價格分布、關(guān)鍵屬性、流量、成交量、消費者評價等維度建模，挖掘出功能賣點、主流價格段分布、消費者需求、增值賣點等來指導(dǎo)廠家的研發(fā)、設(shè)計、生產(chǎn)。并可以將這種模式復(fù)制到更多廠家，讓他們?nèi)コ邪a(chǎn)線，引入更多廠商。

這是一種用戶不知不覺參與的C2B模式，可以總結(jié)為“大數(shù)據(jù)定制”。它既幫助廠家更好地滿足用戶的需求，也有助于幫助廠家減少庫存、提升銷量。這種C2B模式的C是全網(wǎng)用戶，所以就不再需要興師動眾地組織團購，組織投票，組織調(diào)研。

未來這種基于大數(shù)據(jù)的C2B模式將會從小家電擴展到服裝、家居以及一些日用品。除承包生產(chǎn)線之外，阿里巴巴還會嘗試其他的一些大數(shù)據(jù)C2B定制模式，例如有償提供大數(shù)據(jù)成果或定制服務(wù)給一些廠家、其他電商賣家或普通互聯(lián)網(wǎng)。

大數(shù)據(jù)時代市場研究的

新方式

傳統(tǒng)的市場研究雖然以嚴(yán)謹(jǐn)?shù)某闃永碚摓榛A(chǔ)，但由于受制于主持人的訪問技巧、街頭攔訪的不確定性等缺點，不能完全真實反映總體的客觀情況。而大數(shù)據(jù)的調(diào)研方法為市場研究人員提供了以“隱形人”身份觀察消費者的可能性，超大樣本量的統(tǒng)計分析使得研究成果更接近市場的真實狀態(tài)，同時具有豐富性、實時化、低投入等特點?？偨Y(jié)如下，在大數(shù)據(jù)時代下新的市場研究方法主要有以下兩點：

搭建網(wǎng)絡(luò)平臺進行市場調(diào)研

無論是IBM、Google、Facebook，還是中國的阿里巴巴，都是基于強大的網(wǎng)絡(luò)平臺來進行大數(shù)據(jù)的采集、分析、研究、盈利。通過網(wǎng)絡(luò)平臺獲取海量的非結(jié)構(gòu)化數(shù)據(jù)，從大量的音頻、視頻、搜索記錄等數(shù)據(jù)中抽取特殊數(shù)據(jù)用來市場的決策和分析，包括影像背后語義分析、語境分析、消費者態(tài)度和心理分析，得出的結(jié)果通過可視化的方法讓用戶能夠理解、分析、判斷。這些數(shù)據(jù)都屬于用戶主動披露的，與傳統(tǒng)訪談形式的被動挖掘相比信息的真實性更高?？傊?，網(wǎng)絡(luò)調(diào)研具有傳統(tǒng)調(diào)研無可比擬的便捷性和經(jīng)濟性。

基于云計算的數(shù)學(xué)分析模型

傳統(tǒng)市場調(diào)研的采集數(shù)據(jù)的結(jié)構(gòu)化較好，一般的統(tǒng)計軟件SPSS甚至Excel就能滿足數(shù)據(jù)處理過程，而大數(shù)據(jù)的數(shù)據(jù)是海量的、非結(jié)構(gòu)化的，需要如HadoopMapReduce、InfoSphere Streams等云計算的數(shù)據(jù)處理技術(shù)來實現(xiàn)數(shù)據(jù)分析，即通過單遍掃描實現(xiàn)對海量數(shù)據(jù)集的高效聚類，是對AP聚類算法的擴展，通過稀疏化各子集，然后融合各子集稀疏化后的數(shù)據(jù)再次AP聚類，從而實現(xiàn)對大規(guī)模數(shù)據(jù)的高速聚類?；谠朴嬎愕臄?shù)學(xué)分析模型可以將碎片化信息還原為完整的消費過程信息鏈條，更好地幫助營銷人員研究消費行為及消費心理。這些碎片化的信息包括消費者在不同時間、不同地點、不同網(wǎng)絡(luò)應(yīng)用上發(fā)布的消費信息、購買信息、商品評論信息等，并且通過連續(xù)追蹤可以形成一個專屬的時間鏈，更加精準(zhǔn)的對想得到的結(jié)果作趨勢性判斷。

未來大數(shù)據(jù)的Hadoop平臺將普及，云計算智能化分析的成本低、效率高、收益大的特點促使著IBM、Google、Facebook等這些技術(shù)領(lǐng)先的公司不斷開拓新的大數(shù)據(jù)分析軟件和模型。

大數(shù)據(jù)時代新的市場研究方法使“無干擾”真實還原消費過程成為可能，智能化的信息處理技術(shù)使低成本、大樣本的定量調(diào)研成為現(xiàn)實，這將推動消費行為及消費心理研究達到一個新的高度，幫助企業(yè)更為精準(zhǔn)地捕捉商機。