大數(shù)據(jù)分析及其技術(shù)的關(guān)鍵

關(guān)于大數(shù)據(jù)分析，現(xiàn)實(shí)的情況是，說(shuō)的人很多，鼓吹其神奇價(jià)值的喧囂聲浪很高，卻鮮見(jiàn)其實(shí)際運(yùn)用得法的模式和方法。造成這種窘境的原因無(wú)外乎有二：一是對(duì)于大數(shù)據(jù)分析的價(jià)值邏輯尚缺乏足夠深刻的洞察；二是大數(shù)據(jù)分析中的某些重大要件或技術(shù)還不成熟。

比如，提到大數(shù)據(jù)的大，一般人認(rèn)為指的是它數(shù)據(jù)規(guī)模的海量——隨著人類(lèi)在數(shù)據(jù)記錄、獲取及傳輸方面的技術(shù)革命，造成了數(shù)據(jù)獲得的便捷與低成本，這便使原有的以高成本方式獲得的、描述人類(lèi)態(tài)度或行為的、數(shù)據(jù)有限的小數(shù)據(jù)變成了一個(gè)巨大的、海量規(guī)模的數(shù)據(jù)包。這其實(shí)是一種不得要領(lǐng)、似是而非的認(rèn)識(shí)。其實(shí)，前大數(shù)據(jù)時(shí)代也有海量的數(shù)據(jù)集，但由于其維度的單一，以及和人或社會(huì)有機(jī)活動(dòng)狀態(tài)的剝離，而使其分析和認(rèn)識(shí)真相的價(jià)值極為有限。大數(shù)據(jù)的真正價(jià)值不在于它的大，而在于它的全——空間維度上的多角度、多層次信息的交叉復(fù)現(xiàn)；時(shí)間維度上的與人或社會(huì)有機(jī)體的活動(dòng)相關(guān)聯(lián)的信息的持續(xù)呈現(xiàn)。

以數(shù)據(jù)的交叉復(fù)現(xiàn)對(duì)于還原真相的價(jià)值為例：一個(gè)家住北京的男人借去杭州出差的機(jī)會(huì)到上海與情人幽會(huì)，回到北京后怕被老婆發(fā)現(xiàn)把相關(guān)的短信、微信、通話(huà)記錄統(tǒng)統(tǒng)都刪除掉，但他老婆如果掌握了大數(shù)據(jù)分析方法的話(huà)便很容易獲得真相：查詢(xún)酒店的開(kāi)房記錄、刷卡消費(fèi)的記錄、甚至他在上海期間一不留神轉(zhuǎn)發(fā)的一條微博都可能透露出的位置信息。正如《大數(shù)據(jù)時(shí)代》中所引述的，一個(gè)孕婦的口味及消費(fèi)模式等是有一定規(guī)律的，單一一條信息并不足以判定你的狀態(tài)，但關(guān)于你的不同來(lái)源的數(shù)據(jù)集合一旦與孕婦特型（如果我們掌握了這個(gè)分析模型的話(huà)）高度相關(guān)，人們便很容易對(duì)你的真實(shí)狀態(tài)進(jìn)行一種準(zhǔn)確的判斷而不管你自己承認(rèn)或者不承認(rèn)。

再舉個(gè)例子，面對(duì)今天社會(huì)輿情態(tài)勢(shì)，常常有人感慨：“造謠的成本很低，辟謠的成本卻很高”，抱怨現(xiàn)在的網(wǎng)絡(luò)給造謠者造謠、傳謠帶來(lái)的極大便利以及人民群眾過(guò)于輕信和弱智。如果我們用某個(gè)事件的數(shù)據(jù)、單一的和靜態(tài)截面上的數(shù)據(jù)去觀察和分析這個(gè)問(wèn)題的時(shí)候，真的可能得出上述這樣一種結(jié)論。但是，如果我們從社會(huì)傳播的總體信息構(gòu)造上分析，會(huì)發(fā)現(xiàn)流言或謠言的猖獗不正在于掌握了社會(huì)信息傳播主渠道的那些部門(mén)的不作為、甚至蒙蔽真相所造成的嗎？再有，或許你在這個(gè)地方、這件事上沒(méi)有蒙蔽真相，道出的是實(shí)情；但如果你或你的同類(lèi)機(jī)構(gòu)、同類(lèi)官員在其他事情、其他場(chǎng)合上有過(guò)種種蒙蔽真相、文過(guò)飾非、官官相護(hù)甚至動(dòng)用官方的強(qiáng)力以“辟謠”的方式制造假象的劣跡，人民群眾在一次次被蒙蔽甚至被欺騙后，還會(huì)一如既往地相信你、依賴(lài)你嗎？因此，大數(shù)據(jù)分析的價(jià)值和意義就在于，透過(guò)多維度多層次的數(shù)據(jù)，以及歷時(shí)態(tài)的關(guān)聯(lián)數(shù)據(jù)，找到問(wèn)題的癥結(jié)，直抵事實(shí)的真相。

因此，大數(shù)據(jù)分析在方法論上需要解決的課題首先就在于：如何透過(guò)多層次、多維度的數(shù)據(jù)集實(shí)現(xiàn)對(duì)于某一個(gè)人、某一件事或某一種社會(huì)狀態(tài)的現(xiàn)實(shí)態(tài)勢(shì)的聚焦，即真相再現(xiàn)；其中的難點(diǎn)就在于，我們需要洞察哪些維度是描述一個(gè)人、一件事以及一種社會(huì)存在狀態(tài)的最為關(guān)鍵的維度，并且這些維度之間的關(guān)聯(lián)方式是怎樣的，等等。其次，如何在時(shí)間序列上離散的、貌似各不相關(guān)的數(shù)據(jù)集合，找到一種或多種與人的活動(dòng)、事件的發(fā)展以及社會(huì)的運(yùn)作有機(jī)聯(lián)系的連續(xù)性數(shù)據(jù)的分析邏輯。其中的難點(diǎn)就在于，我們對(duì)于離散的、貌似各不相關(guān)的數(shù)據(jù)如何進(jìn)行屬性標(biāo)簽化的分類(lèi)。概言之，不同類(lèi)屬的數(shù)據(jù)集的功能聚合模型（用于特定的分析對(duì)象）以及數(shù)據(jù)的標(biāo)簽化技術(shù)，是大數(shù)據(jù)分析的技術(shù)關(guān)鍵。

除此之外，就現(xiàn)實(shí)而言，有質(zhì)量的大數(shù)據(jù)源常常是掌握在政府及大公司手中，如何開(kāi)放這種大數(shù)據(jù)源的使用，事關(guān)社會(huì)的發(fā)展和人民生活的福祉，必須從制度和機(jī)制上給予保障。在這方面，美國(guó)政府的數(shù)據(jù)開(kāi)放政策不僅為政府開(kāi)放數(shù)據(jù)源起到了一種很好的參照作用，而且對(duì)大公司所掌握的數(shù)據(jù)源的開(kāi)放也有著重要的借鑒意義。endprint