喜憂參半的大數(shù)據(jù)時(shí)代

萬潔

大家還沒搞清PC時(shí)代的時(shí)候，移動(dòng)互聯(lián)網(wǎng)來了；還沒搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候，大數(shù)據(jù)時(shí)代來了。

——阿里巴巴集團(tuán)、淘寶網(wǎng)、支付寶創(chuàng)始人 馬云

如果說當(dāng)前科幻文學(xué)已經(jīng)走入一種新科幻的時(shí)代，那么我更希望定義這種新科幻為“大數(shù)據(jù)科幻”。

——北師大文學(xué)院教授 吳巖

艾薩克·阿西莫夫的著名系列科幻小說《基地》中有一位年輕有為的數(shù)學(xué)家——哈里·謝頓，他在銀河帝國首都川陀星球帝國的“十年大會(huì)”上發(fā)表了一篇論文，文中論證了用數(shù)學(xué)預(yù)測未來發(fā)展的若干趨勢的可行性及其實(shí)現(xiàn)的概率，并將其命名為“心理史學(xué)”。心理史學(xué)是結(jié)合統(tǒng)計(jì)學(xué)、社會(huì)學(xué)與心理學(xué)，預(yù)測人類平均行為和分析未來世界文明的方法。

“基地”三部曲的首部《基地》出版于1951年，而在六十三年后的今天，“心理史學(xué)”已經(jīng)不再是科幻，而是搖身一變，以“大數(shù)據(jù)”的面貌頻頻出現(xiàn)在我們的視野里。

什么是大數(shù)據(jù)？

“大數(shù)據(jù)”這一概念被中國大眾熟知，得益于英國驚悚政治劇《紙牌屋》的熱播。據(jù)稱，《紙牌屋》的出品方兼播放平臺(tái)網(wǎng)飛公司在美國有2700萬個(gè)訂閱用戶，用戶每天在其網(wǎng)站上都會(huì)產(chǎn)生三千多萬個(gè)反饋行為，比如收藏、暫停、回放或者快進(jìn)等。此外，訂閱用戶每天還會(huì)給出四百萬個(gè)評(píng)分和三百萬次搜索請(qǐng)求。這些都被網(wǎng)飛公司轉(zhuǎn)化成代碼，當(dāng)做內(nèi)容生產(chǎn)的元素記錄下來。早些年，這些數(shù)據(jù)被用于精準(zhǔn)推薦，隨著數(shù)據(jù)挖掘技術(shù)的日漸成熟，網(wǎng)飛公司開始將其用于倒推前臺(tái)的影片生產(chǎn)。從對(duì)海量用戶數(shù)據(jù)的分析中，網(wǎng)飛公司得出結(jié)論：人們對(duì)早期的英劇《紙牌屋》、導(dǎo)演大衛(wèi)·芬奇和奧斯卡影帝凱文·史派西的期待值出現(xiàn)了高度重合。于是，他們推出了這部由大衛(wèi)·芬奇導(dǎo)演、凱文·史派西主演的翻拍版《紙牌屋》并獲得了成功。

從上面的例子中我們不難看出，“大數(shù)據(jù)”并不單純是維基百科中所說的“所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊”。換言之，大數(shù)據(jù)并不是數(shù)據(jù)本身，而是一種思維方式，它令人著迷的地方在于用科學(xué)的方法挑戰(zhàn)了預(yù)測學(xué)，幫助人們發(fā)現(xiàn)未知、進(jìn)行決策。

無處不在的大數(shù)據(jù)

大家以為大數(shù)據(jù)還只是一個(gè)熱門話題或者前衛(wèi)概念嗎？當(dāng)然不是。我們的生活中，它的影子無處不在。

打開人人網(wǎng)，頁面上會(huì)推薦你可能認(rèn)識(shí)的人，其中不乏你失去聯(lián)系多年的同學(xué)和朋友；打開亞馬遜，頁面上會(huì)向你推薦一些商品，其中很可能就有你最近正打算購買的東西。你可能還沒有搞清楚什么是大數(shù)據(jù)，但實(shí)際上，你已經(jīng)被它重重包圍了。

最酷的大數(shù)據(jù)應(yīng)用——治安與反恐

在2008年的動(dòng)作科幻片《鷹眼》中，軍方建立了一套系統(tǒng)，主要用于反恐。前端的視頻采集點(diǎn)遍布全球每個(gè)角落，通過分析采集點(diǎn)獲取的原始信息可以判斷是否為恐怖組織或恐怖行動(dòng)。在2011年首播的美劇《疑犯追蹤》里，美國政府遭遇“9·11”恐怖襲擊后，打造了一臺(tái)可以每時(shí)每刻監(jiān)視所有人的“機(jī)器”以偵測恐怖行動(dòng)，同時(shí)也能預(yù)先察覺普通的犯罪行為。

而在現(xiàn)實(shí)中，美國早已采用了類似的技術(shù)手段對(duì)龐大的數(shù)據(jù)進(jìn)行分析整理，用于鑒別犯罪行為、偵破案件和反恐。

早在2003年，美國《華盛頓郵報(bào)》就報(bào)道稱，佛羅里達(dá)州警方于一年前啟動(dòng)了名為“黑客帝國”的秘密計(jì)劃——他們建立了一個(gè)和著名科幻電影《黑客帝國》同名的大型反恐?jǐn)?shù)據(jù)庫，這個(gè)數(shù)據(jù)庫系統(tǒng)搜集了該州幾乎所有成年公民的私人信息，因此，它可以在極短的時(shí)間內(nèi)迅速發(fā)現(xiàn)各類異常事件和可疑人物，從而避免恐怖事件或犯罪行為的發(fā)生。而且，正是在開發(fā)該系統(tǒng)的公司的幫助下，美國情報(bào)機(jī)構(gòu)才得以將幾名“9·11”劫機(jī)犯以及他們同伙的犯罪記錄一一聯(lián)系起來。

2007年，美國聯(lián)邦調(diào)查局計(jì)劃建立一個(gè)大型反恐?jǐn)?shù)據(jù)庫，以便搜索和分析潛伏在美國境內(nèi)的恐怖分子。在2008年財(cái)政年度預(yù)算中，聯(lián)邦調(diào)查局向國會(huì)申請(qǐng)了1200萬美元專項(xiàng)資金，成立了一個(gè)名為“國家安全部門分析中心”的電腦數(shù)據(jù)庫，計(jì)劃在未來五年內(nèi)收集60億項(xiàng)記錄，其中包括許多美國居民的個(gè)人數(shù)據(jù)和資料。聯(lián)邦調(diào)查局宣稱，這一數(shù)據(jù)庫建成后，將能提升政府現(xiàn)有的數(shù)據(jù)分析能力，更好地找到個(gè)人、地點(diǎn)和事件之間的關(guān)聯(lián)，從而更易于發(fā)現(xiàn)潛伏在美國境內(nèi)的恐怖分子。

2011年，美國加州圣克魯茲市的警察局對(duì)一個(gè)名為“PredPol”的犯罪預(yù)測軟件進(jìn)行了測試。結(jié)果顯示，該軟件可根據(jù)此前犯罪活動(dòng)發(fā)生的時(shí)間和地點(diǎn)進(jìn)行預(yù)測，同時(shí)參考與犯罪行為和犯罪模式有關(guān)的社會(huì)學(xué)信息，可大幅降低犯罪率。最初，圣克魯茲警察局利用“PredPol”預(yù)測哪些地區(qū)有可能發(fā)生入室行竊和搶劫車輛的案件。該市大約100名巡警在巡邏時(shí)會(huì)有針對(duì)性地出巡，他們攜帶的電子卡上會(huì)顯示附近最有可能發(fā)生罪案的15處地點(diǎn)。而在絕大多數(shù)的情況（準(zhǔn)確率超過三分之二）下，大數(shù)據(jù)算法預(yù)測的罪案都確實(shí)發(fā)生了。采用“PredPol”后的一年時(shí)間里，該市的入室盜竊案件減少了11%，偷車案減少了8%。相應(yīng)的，逮捕罪犯的成功率則提高了56%?，F(xiàn)在，美國已經(jīng)有超過10個(gè)城市的警察局引入了這個(gè)大數(shù)據(jù)算法，其中包括洛杉磯、波士頓和芝加哥。

2012年，奧巴馬政府更是將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策，認(rèn)為大數(shù)據(jù)是“未來的新石油”，將對(duì)數(shù)據(jù)的占有和控制作為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心能力。

此外，大家還可以在網(wǎng)上看到一個(gè)全球恐怖事件數(shù)據(jù)庫（http：//www.start.umd.edu/gtd/）。該數(shù)據(jù)庫共收錄了從1970年至2012年間超過11.3萬起恐怖事件，包括事件的時(shí)間、地點(diǎn)、所使用的武器、目標(biāo)類型等。

最神的大數(shù)據(jù)應(yīng)用——關(guān)聯(lián)與預(yù)測

2011年上映的一部懸疑科幻電影《永無止境》中，潦倒的作家艾迪服用了一種正處于試驗(yàn)階段的神奇藍(lán)色藥物——NZT。服用后，他發(fā)現(xiàn)自己變得精力充沛，思維清晰，行動(dòng)敏捷，甚至一些平時(shí)不易留意的細(xì)節(jié)和信息，他都能在瞬間將其重新組合整理并得出推論。后來，他利用這種高智商炒股：先是在短時(shí)間內(nèi)掌握無數(shù)公司的資料和背景，將包括公司財(cái)報(bào)、電視、舊報(bào)紙、互聯(lián)網(wǎng)中的數(shù)據(jù)和小道消息在內(nèi)的數(shù)據(jù)挖掘出來，再聯(lián)系起來，甚至從Facebook、Twitter的海量社交數(shù)據(jù)中得到普通大眾對(duì)某種股票的感情傾向，結(jié)果在十天內(nèi)就賺取了200萬美元，神奇的表現(xiàn)讓身邊的職業(yè)投資者們目瞪口呆。這部電影完全可以看作是大數(shù)據(jù)預(yù)測魔力的宣傳片。endprint

2012年美國總統(tǒng)大選，人們普遍認(rèn)為奧巴馬和羅姆尼的選情很接近，評(píng)論員們都無法預(yù)計(jì)哪方會(huì)獲勝。35歲的數(shù)學(xué)天才納特·席爾瓦以主要民調(diào)機(jī)構(gòu)在各州不斷更新的訪查結(jié)果數(shù)據(jù)為基礎(chǔ)，在投票當(dāng)天成功預(yù)測奧巴馬將有90.9%的機(jī)會(huì)獲得大多數(shù)選票。最后結(jié)果顯示，他對(duì)美國50個(gè)州投票結(jié)果的預(yù)測全對(duì)了。

2013年，微軟紐約研究院經(jīng)濟(jì)學(xué)家大衛(wèi)·羅斯柴爾德利用博彩網(wǎng)站、好萊塢證券交易所、各個(gè)前哨獎(jiǎng)項(xiàng)（如金球獎(jiǎng)）、公開的用戶數(shù)據(jù)等等，建立起極其復(fù)雜的數(shù)據(jù)模型，并且不斷更新數(shù)據(jù)、校正誤差、升級(jí)模型，最終猜中了奧斯卡全部24個(gè)獎(jiǎng)項(xiàng)中19個(gè)的歸屬。今年的奧斯卡他再接再厲，猜中了21項(xiàng)奧斯卡獎(jiǎng)。

最玄的大數(shù)據(jù)應(yīng)用——生物與天文

最早提出大數(shù)據(jù)概念的學(xué)科是天文學(xué)和基因?qū)W，這兩門學(xué)科從誕生之日起就依賴基于海量數(shù)據(jù)的分析方法。后來，計(jì)算機(jī)實(shí)現(xiàn)了數(shù)據(jù)的數(shù)字化，互聯(lián)網(wǎng)實(shí)現(xiàn)了數(shù)據(jù)的網(wǎng)絡(luò)化，二者相結(jié)合才賦予了大數(shù)據(jù)生命力。

2003年算是大數(shù)據(jù)發(fā)展過程中的一個(gè)里程碑。那一年，第一例人類基因組完成了測序。繼那次突破性的進(jìn)展后，數(shù)以千計(jì)的人類、靈長類、老鼠和細(xì)菌的基因組擴(kuò)充著人們所掌握的數(shù)據(jù)庫。每個(gè)基因組都有幾十億個(gè)“字母”，計(jì)算時(shí)出現(xiàn)紕漏的危險(xiǎn)又催生了生物信息學(xué)——這一學(xué)科借助軟件、硬件以及復(fù)雜算法之力，支撐著新的科學(xué)類型。

一個(gè)完全測序的人類基因組包含100 GB—1000 GB的數(shù)據(jù)量。人類有99.9%的DNA是相同的，假設(shè)對(duì)許多病人進(jìn)行全基因組序列分析，將會(huì)發(fā)現(xiàn)那0.1%的差異能夠用來預(yù)測和治療許多疾病，其中包括癌癥。從計(jì)算能力這方面來說，已經(jīng)有專門的硬件用于加快基因組數(shù)據(jù)分析的速度。在過去的十年間，人類基因組的排序成本只有原來的十萬分之一，分析時(shí)間從13年縮短到了3天以內(nèi)。

蘋果公司的傳奇總裁史蒂夫·喬布斯在與癌癥抗?fàn)幍倪^程中就采用了這種方法，他是世界上第一個(gè)對(duì)自身所有DNA和腫瘤DNA進(jìn)行排序的人。他不僅得到了含有一系列標(biāo)記的樣本，還得到了包括整個(gè)基因密碼的數(shù)據(jù)文檔。因此，他的醫(yī)生們能夠根據(jù)他的特定基因組成，按所需效果給藥，如果癌癥病變導(dǎo)致藥物失效，醫(yī)生可以及時(shí)更換另一種藥。喬布斯曾笑稱：“我要么是第一個(gè)通過這種方法戰(zhàn)勝癌癥的人，要么就是最后一個(gè)因?yàn)檫@種方法死于癌癥的人。”雖然最后他的愿望都沒有實(shí)現(xiàn)，但這種獲得所有數(shù)據(jù)而不僅是樣本的方法，還是將他的生命延長了好幾年。

在天文學(xué)方面，大數(shù)據(jù)的重要意義在于，它提供了一種加速我們探索宇宙的方式。

隨著人類發(fā)現(xiàn)的星系越來越多，為它們進(jìn)行分類的工作量也越來越龐大，于是天文學(xué)家將目光投向了公眾。2007年7月，一項(xiàng)稱為“星系動(dòng)物園”的計(jì)劃在互聯(lián)網(wǎng)上啟動(dòng)了。志愿者只需要登錄網(wǎng)站（www.galaxyzoo.org）進(jìn)行注冊(cè)，并接受一些簡單培訓(xùn)，就可以逐個(gè)識(shí)別照片中的星系。網(wǎng)站開張不到二十四小時(shí)，就以每小時(shí)收到7萬例分類的速度一路推進(jìn)，第一年就獲得了超過五千萬例星系分類結(jié)果，志愿者人數(shù)超過15萬?！靶窍祫?dòng)物園”項(xiàng)目打破了大數(shù)據(jù)的規(guī)矩：它沒有對(duì)數(shù)據(jù)進(jìn)行大規(guī)模的挖掘，而是把圖像交給眾多志愿者，由他們對(duì)星系做基礎(chǔ)性的分類。通過志愿者們積累的龐大數(shù)據(jù)是計(jì)算機(jī)學(xué)習(xí)分類的理想資料，軟件通過志愿者一次又一次的點(diǎn)擊，學(xué)會(huì)了分析這些大數(shù)據(jù)之后，項(xiàng)目就將關(guān)閉。

目前，為了揭示宏偉壯闊的宇宙的本質(zhì)和規(guī)模，天文界的許多創(chuàng)新目標(biāo)都是繪制宇宙星空?qǐng)D。距我們銀河系最近的大型星系團(tuán)是室女座星系團(tuán)，它的規(guī)模是銀河系的2000倍?！靶乱淮遗窍祱F(tuán)觀察”（NGVS）組織認(rèn)為，大數(shù)據(jù)機(jī)器學(xué)習(xí)是繪制室女座星系團(tuán)星空?qǐng)D項(xiàng)目的關(guān)鍵。于是，該組織先是通過CFHT天文望遠(yuǎn)鏡（Canada-France-Hawaii Telescope）完成了主要的數(shù)據(jù)收集工作。觀測得到的每幅原始圖像約為1.6GB，因此每周需要分析的數(shù)據(jù)會(huì)增加數(shù)百TB。然后，項(xiàng)目負(fù)責(zé)人利用加拿大天文研究先進(jìn)網(wǎng)絡(luò)（CANFAR，首個(gè)專門針對(duì)天文學(xué)的云計(jì)算平臺(tái)，旨在為全球的天文學(xué)家存儲(chǔ)、共享和分析數(shù)據(jù)）識(shí)別出圖像中真正屬于室女座星系團(tuán)的天體。

研究人員發(fā)現(xiàn)，機(jī)器學(xué)習(xí)，這種源自人工智能的先進(jìn)分析方法，在精確識(shí)別銀河系以及繪制完整的室女座星系團(tuán)星空?qǐng)D方面是最為高效的解決方案。借助這一強(qiáng)大的自動(dòng)化處理能力，天文學(xué)家可以將精力放在繪制和研究室女座星系團(tuán)方面，而不用再把大量的精力浪費(fèi)在篩選星系團(tuán)成員上。

是福音還是潘多拉魔盒？

“大數(shù)據(jù)”雖然給人們帶來了很多便利，但是一想到誰掌握了大數(shù)據(jù)和相關(guān)分析技術(shù)，誰就有了預(yù)測未來、呼風(fēng)喚雨的本事，是不是感到有些毛骨悚然呢？而且這個(gè)“誰”不一定是人，十有八九是冰冷的“超級(jí)計(jì)算機(jī)”。到時(shí)候，也許人的命運(yùn)就會(huì)被計(jì)算機(jī)掌握。

大家還記得《終結(jié)者》系列電影中的“天網(wǎng)”嗎？那是美國軍方的一個(gè)智能軍事防御系統(tǒng)，它連接了從B2隱形轟炸機(jī)到核彈的所有軍事設(shè)備。其設(shè)計(jì)初衷是消除人為錯(cuò)誤和應(yīng)對(duì)突發(fā)事件的反應(yīng)延遲，以保證快速有效地反制敵人的進(jìn)攻。但“天網(wǎng)”后來擁有了自主意識(shí)，并認(rèn)定人類是其威脅，開始操控并生產(chǎn)其他機(jī)器人和計(jì)算機(jī)系統(tǒng)對(duì)人類實(shí)施攻擊。在“天網(wǎng)”控制的T型機(jī)器人的追殺下，人類反抗軍不得不躲到地下。

《鷹眼》一開始，男主人公被無端陷害，網(wǎng)絡(luò)賬戶里突然冒出巨款，家中堆滿了郵寄過來的武器，因此遭到FBI的追捕。女主人公被要挾，她的兒子性命堪憂。這一切使得男女主人公不得不按照一個(gè)個(gè)莫名電話的指令去完成一個(gè)任務(wù)。然而操控他們的，不是人，而是一臺(tái)電腦，準(zhǔn)確地說，是一個(gè)云計(jì)算中心。這個(gè)叫做“鷹眼”的系統(tǒng)不僅能夠控制門禁系統(tǒng)限制人員的出入、進(jìn)入銀行系統(tǒng)修改賬戶信息、進(jìn)入交通系統(tǒng)改變紅綠燈的狀態(tài)，還能進(jìn)入機(jī)場安檢系統(tǒng)改變掃描儀的圖像。其程序不僅完全脫離人的指揮自行運(yùn)轉(zhuǎn)，而且變成了控制人類的機(jī)器。

電影《少數(shù)派報(bào)告》的世界里，人類已經(jīng)能通過機(jī)器人——“先知”海量檢索和觀測人類腦波，發(fā)現(xiàn)并找出具有犯罪預(yù)謀的人，在他們的犯罪行為發(fā)生前使其終止，而罪責(zé)的判定也是基于對(duì)個(gè)人未來行為的預(yù)測。判定一個(gè)人是否有殺人企圖，需要三個(gè)“先知”一起做出決定。當(dāng)出現(xiàn)分歧時(shí)，按少數(shù)服從多數(shù)原則定案，但最后若證明少數(shù)那一方是正確的話，則會(huì)秘密保存一份少數(shù)派報(bào)告。當(dāng)男主人公一覺醒來發(fā)現(xiàn)自己被當(dāng)成了嫌犯追捕，他只能東躲西藏，想方設(shè)法尋找那份報(bào)告，以證明自己的清白。在影片中，掌握數(shù)據(jù)、預(yù)測未來的“先知”可謂一手遮天。

幸運(yùn)的是，目前我們還沒有如此強(qiáng)大的超級(jí)計(jì)算機(jī)。但在這個(gè)世界里，你買了什么東西，花了多少錢，喜歡瀏覽什么網(wǎng)站，在哪個(gè)頁面上停留了多長時(shí)間，等等，這些數(shù)據(jù)都會(huì)被收集起來。這些私人信息被收集起來后會(huì)提供給誰？會(huì)繼續(xù)保持匿名，還是在使用后被刪除？你無從得知。而且，在這個(gè)一切都計(jì)算好的世界里，創(chuàng)意、靈感和驚喜在哪里？隱私又怎么保障呢？

人類文明的發(fā)展過程始終伴隨著隱私的犧牲。在這個(gè)時(shí)代，我們坐在寫字樓的小格間中，雙手敲著鍵盤，兩眼盯著屏幕，離開網(wǎng)絡(luò)就等于和世界失去聯(lián)系：購買衣物在網(wǎng)上，出行訂票在網(wǎng)上，團(tuán)購美食券在網(wǎng)上，社交相親在網(wǎng)上，讀書學(xué)習(xí)在網(wǎng)上，就連離開辦公桌去吃飯，都要拍照發(fā)微博或者分享到朋友圈。而我們的每一個(gè)行為，都會(huì)被記錄，被整理，被分析……

目前，根據(jù)哈佛大學(xué)教授斯威尼的研究，只要知道一個(gè)人的年齡、性別和郵編，并與公開的數(shù)據(jù)庫交叉對(duì)比，便可識(shí)別出87%的人的身份。這意味著，人類隱私權(quán)的最后一道防線同樣脆弱得不堪一擊。這樣的事實(shí)，令人如何不心驚膽戰(zhàn)？

總之，任何一種技術(shù)都是雙刃劍，我們享受著“大數(shù)據(jù)時(shí)代”的便利的同時(shí)，也要警惕隨之而來的威脅。【責(zé)任編輯：楊 楓】endprint