
在人類(lèi)歷史上,從來(lái)沒(méi)有哪個(gè)時(shí)代出現(xiàn)過(guò)如此規(guī)模巨大的數(shù)據(jù)爆炸。如同互聯(lián)網(wǎng)初生時(shí)的景象,大數(shù)據(jù)(Big Data)浪潮如今洶涌來(lái)襲,已成為在全球范圍啟動(dòng)透明政府、加速企業(yè)創(chuàng)新、引領(lǐng)社會(huì)變革的利器。
今年初,美國(guó)總統(tǒng)奧巴馬宣布以2 億美元投資大數(shù)據(jù)領(lǐng)域,美國(guó)政府將數(shù)據(jù)定義為“未來(lái)的新石油”。
從各種各樣類(lèi)型的數(shù)據(jù)中,快速獲得有價(jià)值信息的能力,就是大數(shù)據(jù)技術(shù)。掌握這一技術(shù)已經(jīng)成為一種新的競(jìng)爭(zhēng)優(yōu)勢(shì),一類(lèi)新的經(jīng)濟(jì)資產(chǎn)。之于商業(yè),它就如企業(yè)巨輪遠(yuǎn)航的一片藍(lán)海,而它又不只是企業(yè)的“專(zhuān)利”;之于政府,應(yīng)用好大數(shù)據(jù),是構(gòu)建高效服務(wù)型政府的關(guān)鍵。
“統(tǒng)計(jì)學(xué)在最近幾年發(fā)展非常快,今后也將更多地應(yīng)用于社會(huì)的各個(gè)領(lǐng)域,大數(shù)據(jù)時(shí)代即將來(lái)臨。”胡善慶告訴《支點(diǎn)》記者。目前在美國(guó)喬治華盛頓大學(xué)擔(dān)任客座教授的胡善慶,曾于2004 年到2012 年間擔(dān)任美國(guó)統(tǒng)計(jì)局和商務(wù)部的高級(jí)顧問(wèn)。
小時(shí)候跟隨父母移民美國(guó)的胡善慶,對(duì)于統(tǒng)計(jì)學(xué)有著天生愛(ài)好。在喬治華盛頓大學(xué)取得數(shù)理統(tǒng)計(jì)學(xué)博士學(xué)位后,他便進(jìn)入美國(guó)政府部門(mén)工作。2000年,他被任命為能源部首任國(guó)家申訴專(zhuān)員,此前還曾擔(dān)任聯(lián)邦農(nóng)業(yè)部民權(quán)司副司長(zhǎng),負(fù)責(zé)管理信息科技以及申訴等事務(wù)。如今,身為著名統(tǒng)計(jì)學(xué)家的胡善慶,同時(shí)也是美國(guó)“百人會(huì)”調(diào)研委員會(huì)主席。
作為一個(gè)快速成長(zhǎng)的經(jīng)濟(jì)大國(guó),中國(guó)的統(tǒng)計(jì)數(shù)字也日益受到重視,并對(duì)世界具有重大影響力?!拔沂窍M苡袡C(jī)會(huì)到中國(guó)多走走,增長(zhǎng)見(jiàn)識(shí)。興趣所在是利用學(xué)歷經(jīng)驗(yàn),為社團(tuán)學(xué)術(shù)界提供扶助創(chuàng)新機(jī)會(huì)?!焙茟c說(shuō),中國(guó)有非常廣闊的大數(shù)據(jù)應(yīng)用市場(chǎng)。
以下,是《支點(diǎn)》記者與胡善慶博士的對(duì)話。
傳統(tǒng)數(shù)據(jù)統(tǒng)計(jì)模式的終結(jié)
《支點(diǎn)》:如今在數(shù)據(jù)大爆炸時(shí)代,傳統(tǒng)的統(tǒng)計(jì)方法存在哪些局限性?
胡善慶:上個(gè)世紀(jì),各國(guó)人口和經(jīng)濟(jì)的測(cè)量與推論主要采用的是傳統(tǒng)的普查以及隨機(jī)抽樣調(diào)查的方式,這兩種數(shù)據(jù)統(tǒng)計(jì)方法對(duì)各國(guó)政策制定和信息傳遞都是非常重要的。
但就普查而言,雖然過(guò)去許多世紀(jì)都證明了它的重要性,不過(guò)它確實(shí)存在一些眾所周知的實(shí)際弱點(diǎn)。因?yàn)?,人?lèi)活動(dòng)是連續(xù)和動(dòng)態(tài)的,但普查只能為一個(gè)指定的普查日子或短暫時(shí)期提供一個(gè)比較全面的速映,更多的時(shí)間被花費(fèi)在數(shù)據(jù)處理、分析及報(bào)告結(jié)果上。通常普查結(jié)果在被宣布時(shí),它們已經(jīng)過(guò)時(shí)了。
在中國(guó)進(jìn)行人口調(diào)查,其復(fù)雜程度難以想象。抽樣數(shù)據(jù)的獲得需要同31 個(gè)省市區(qū)、4800 個(gè)村莊、4420 個(gè)鎮(zhèn)區(qū)和2133 個(gè)城區(qū)中的150 萬(wàn)人面談才行。
同時(shí),大部分國(guó)家,甚至發(fā)達(dá)國(guó)家,都面對(duì)嚴(yán)格的財(cái)政預(yù)算限制?,F(xiàn)在的高費(fèi)用、低回收的普查和調(diào)查辦法否定了它們新引進(jìn)或擴(kuò)張一貫做法的可能性。全球普查和調(diào)查反應(yīng)率下降亦把問(wèn)題搞得復(fù)雜。比如,在美國(guó),盡管多方計(jì)劃和努力,其2010年的普查參與率僅僅達(dá)到2000 年的74%。到了個(gè)人面談的地步,普查平均費(fèi)用升到每戶56 美元,超過(guò)最初的郵寄費(fèi)用的100 倍。
在數(shù)據(jù)大爆炸時(shí)代,國(guó)家統(tǒng)計(jì)局面對(duì)的真實(shí)挑戰(zhàn)是令人畏懼的,20 世紀(jì)的統(tǒng)計(jì)系統(tǒng)不能滿足21世紀(jì)的需求。應(yīng)用政府統(tǒng)計(jì)的網(wǎng)民正在快速地在數(shù)字和廣度方面增加。他們需要更廣泛、更動(dòng)態(tài)、更及時(shí)的數(shù)據(jù),并能容易地存取和了解,但現(xiàn)有方法必需的資源和時(shí)間都不可得或不能負(fù)擔(dān)。
《支點(diǎn)》:與之前相比,21 世紀(jì)的統(tǒng)計(jì)系統(tǒng)發(fā)生了怎樣的變化?“大數(shù)據(jù)”對(duì)政府工作和企業(yè)生產(chǎn)帶來(lái)了哪些改變?
胡善慶:根據(jù)南加州大學(xué)的一項(xiàng)研究,世界電子儲(chǔ)藏?cái)?shù)量在2002 年第一次超越了非電子儲(chǔ)藏?cái)?shù)量。在2007 年,地球上至少94% 的所有資訊都以電子形式儲(chǔ)藏。于是,數(shù)據(jù)可以沒(méi)有抽取樣品的需要或考慮,可將其完整地電子化直接輸入機(jī)器處理和計(jì)算。
電子儲(chǔ)藏的快速發(fā)展也帶來(lái)了21 世紀(jì)統(tǒng)計(jì)系統(tǒng)和方法的改變,縱向數(shù)據(jù)的研究成為可能。所謂縱向數(shù)據(jù),是對(duì)同一單位( 例如一個(gè)工人、一位學(xué)生、一個(gè)家庭、一門(mén)生意、一所學(xué)?;蛞蛔t(yī)院) 在時(shí)間上重復(fù)觀察所得的數(shù)據(jù)。它能在個(gè)體水平提供獨(dú)特的底線和變化計(jì)量。
大數(shù)據(jù)是一個(gè)有關(guān)非常大量電子數(shù)據(jù)的新用詞,它很可能不是根據(jù)傳統(tǒng)統(tǒng)計(jì)系統(tǒng)的結(jié)構(gòu)和概率原則而進(jìn)行收集的。行政記錄、社會(huì)媒體、條碼和電波掃描儀、運(yùn)輸感應(yīng)器、能源和環(huán)境監(jiān)視器、在線交易、流影像和人造衛(wèi)星圖像,這些都是大數(shù)據(jù)來(lái)源和爆發(fā)生長(zhǎng)的因素。
私營(yíng)企業(yè)在生產(chǎn)大數(shù)據(jù)已領(lǐng)先起步,組合政府的統(tǒng)計(jì),發(fā)展數(shù)據(jù)挖掘技術(shù)和方法來(lái)識(shí)別潛在的消費(fèi)者、擴(kuò)張市場(chǎng)、測(cè)試新產(chǎn)品、并抽取新訊息以作其他市場(chǎng)及客戶研究。有些情況下,他們甚至可向傳統(tǒng)的政府功能挑戰(zhàn)。例如,一些社會(huì)媒體搜索的言詞被用來(lái)做感冒的指標(biāo),它的表現(xiàn)不比公共衛(wèi)生機(jī)關(guān)的指標(biāo)差,在及時(shí)方面也更勝一籌。
盡管政府統(tǒng)計(jì)在大數(shù)據(jù)汪洋中的分量逐漸減少,但它仍然擁有其支持全球化的經(jīng)濟(jì)體制及解決不斷擴(kuò)張的社會(huì)需求的獨(dú)特重要。然而,當(dāng)我們活在可以數(shù)秒鐘內(nèi)上網(wǎng)搜索展示百萬(wàn)計(jì)的結(jié)果和國(guó)際股票市場(chǎng)日夜即時(shí)報(bào)道成交數(shù)據(jù)的時(shí)代,要等多月甚至多年才可收集、處理、發(fā)放在地理、企業(yè)與人口都有限制的靜態(tài)結(jié)果將失去它的意義。
大數(shù)據(jù)改變國(guó)家管理方式
《支點(diǎn)》:在大數(shù)據(jù)應(yīng)用方面,國(guó)外有哪些成功的先例?
胡善慶:一些國(guó)家已開(kāi)始建造有關(guān)就業(yè)、教育和公共衛(wèi)生的公眾縱向數(shù)據(jù)計(jì)劃。這些計(jì)劃雖在不同的發(fā)展階段,但提供了在大數(shù)據(jù)時(shí)代建造和維持廣泛、詳細(xì)動(dòng)態(tài)統(tǒng)計(jì)系統(tǒng)是可行的令人鼓舞消息,雖然它們?nèi)匀挥性S多挑戰(zhàn)存在。
在美國(guó),聯(lián)邦政府已經(jīng)和所有54 個(gè)州、直轄市和地區(qū)政府簽訂協(xié)議,保障每州每季不斷提供工人和雇主的失業(yè)保險(xiǎn)記錄。這個(gè)數(shù)據(jù)系統(tǒng)是設(shè)計(jì)來(lái)跟蹤和每三個(gè)月更新超過(guò)1.4 億工人的就業(yè)狀態(tài)與薪資,和超過(guò)1000 萬(wàn)雇主( 包括自我雇用的) 的狀態(tài),同時(shí)仍然繼續(xù)嚴(yán)格地利用法律、政策、隔離、技術(shù)各種方法保護(hù)每一個(gè)工人和雇主的隱私。
這個(gè)縱向數(shù)據(jù)系統(tǒng)已經(jīng)成功地鼓勵(lì)建造創(chuàng)新、實(shí)際的在線應(yīng)用來(lái)推進(jìn)新數(shù)據(jù)的使用, 例如時(shí)間序列指標(biāo)用前所未有的人口和地理細(xì)節(jié)來(lái)描述美國(guó)勞動(dòng)人口的動(dòng)態(tài)變化。
在比利時(shí),2011 年發(fā)起了一項(xiàng)“比利時(shí)縱向健康資訊系統(tǒng)計(jì)劃”,把有關(guān)健康數(shù)據(jù)定義為“所有個(gè)人資料有關(guān)過(guò)去、現(xiàn)在及未來(lái)的身體及精神健康情況”。研究重心集中在健康的縱觀并參考其他國(guó)際計(jì)劃包括加拿大、丹麥和英國(guó)。
《支點(diǎn)》:國(guó)外在大數(shù)據(jù)的應(yīng)用方面存在哪些問(wèn)題,對(duì)我們有哪些啟示?
胡善慶:舉例來(lái)說(shuō),美國(guó)人口普查局和勞工統(tǒng)計(jì)局維持二個(gè)分隔的商務(wù)登記系統(tǒng)。每個(gè)登記系統(tǒng)應(yīng)該包括所有美國(guó)企業(yè),因?yàn)樗鼈兌际强蚣苡脕?lái)替普查和調(diào)查抽取樣本,構(gòu)成包括國(guó)家經(jīng)濟(jì)指標(biāo)的重要信息。然而,由于他們的獨(dú)立來(lái)源和自然的動(dòng)態(tài),這二個(gè)登記系統(tǒng)在公司數(shù)字和他們的薪資賬冊(cè)和就業(yè)人口有可觀的出入。雖然過(guò)去十年有進(jìn)步,但一個(gè)來(lái)源的商務(wù)登記系統(tǒng)還沒(méi)有在美國(guó)浮現(xiàn)。
白宮在2012 年3 月宣布“大數(shù)據(jù)研究和發(fā)展計(jì)劃”開(kāi)始,提供2 億美元新的研究和發(fā)展投資,改進(jìn)從龐大、復(fù)雜的電子數(shù)據(jù)中提取知識(shí)和洞察力的能力。因此聯(lián)邦政府繼續(xù)努力把大數(shù)據(jù)引導(dǎo)集中到美國(guó)各個(gè)統(tǒng)計(jì)局內(nèi)。世界各國(guó)包括中國(guó)亦需要同樣的高層政府資金、承諾和領(lǐng)導(dǎo),特別是有關(guān)數(shù)據(jù)透明與公開(kāi)的政策。
同時(shí),大數(shù)據(jù)時(shí)代的隱私也變得異常敏感和重要。組集和維持廣泛、動(dòng)態(tài)的統(tǒng)計(jì)系統(tǒng)需要大量的敏感個(gè)人的和商務(wù)數(shù)據(jù)。然而,以統(tǒng)計(jì)摘要的形式分析結(jié)果,又必須消除任何暴露個(gè)人和企業(yè)身份的可能性。個(gè)人和企業(yè)理所當(dāng)然地應(yīng)該關(guān)心和了解他們的隱私是如何受到保護(hù),并絕對(duì)防止無(wú)意誤用或惡意濫用他們的數(shù)據(jù)。數(shù)據(jù)安全亦要有最嚴(yán)格的保護(hù),防止任何對(duì)系統(tǒng)數(shù)據(jù)及發(fā)布統(tǒng)計(jì)的干預(yù)和變更。
中國(guó)有非常廣闊的大數(shù)據(jù)應(yīng)用市場(chǎng)
支點(diǎn):對(duì)于近期中國(guó)關(guān)于大數(shù)據(jù)議題的爆發(fā)性熱議,您怎么看?
胡善慶:其實(shí)中國(guó)關(guān)于大數(shù)據(jù)的應(yīng)用也早有先例。中國(guó)自2009 年開(kāi)始進(jìn)行公共衛(wèi)生健康改革,它的基本體系包括建造一個(gè)含13 億民眾的縱向電子健康記錄系統(tǒng)。據(jù)報(bào)道,它的主要政策已經(jīng)成立,基本記錄內(nèi)容正準(zhǔn)備起步。
值得注意的一個(gè)案例,是阿里巴巴集團(tuán)付出的研究努力,它每天有數(shù)以百萬(wàn)計(jì)的公司使用它的網(wǎng)站和數(shù)以十億元計(jì)的電子商務(wù)交易,這些海量數(shù)據(jù)能夠幫助阿里巴巴對(duì)商業(yè)市場(chǎng)進(jìn)行多維度的分析和預(yù)測(cè)。
中國(guó)對(duì)頂端質(zhì)量統(tǒng)計(jì)的需要少不了大數(shù)據(jù)的參與。中國(guó)第十二個(gè)五年計(jì)劃的許多主要目標(biāo)都是以數(shù)量定義。當(dāng)中國(guó)正在從一個(gè)出口國(guó)家轉(zhuǎn)型到一個(gè)消費(fèi)型國(guó)家,每個(gè)目標(biāo)的狀態(tài)和進(jìn)展都要被可信、可靠和及時(shí)的統(tǒng)計(jì)量和指標(biāo)測(cè)量評(píng)估。
當(dāng)中國(guó)經(jīng)濟(jì)成長(zhǎng)最近降溫,了解最新趨勢(shì)和幫助中途更正或改航都需要深入的數(shù)據(jù)。中國(guó)崛起成為經(jīng)濟(jì)大國(guó),它的統(tǒng)計(jì)量和指標(biāo)對(duì)全球經(jīng)濟(jì)有巨大影響。諺語(yǔ)有說(shuō),中國(guó)打噴嚏,其他國(guó)家都感冒了。
《支點(diǎn)》:如何看待大數(shù)據(jù)未來(lái)的應(yīng)用前景?
胡善慶:大數(shù)據(jù)不只是反映現(xiàn)代科技進(jìn)步對(duì)改善統(tǒng)計(jì)計(jì)算的需求,它是向傳統(tǒng)統(tǒng)計(jì)專(zhuān)業(yè)的一場(chǎng)挑戰(zhàn),并要鼓舞創(chuàng)新思維和發(fā)展的一場(chǎng)大革命,這相似于隨機(jī)抽樣方法在1895 年被介紹時(shí)那樣。
使用大數(shù)據(jù)革命性和創(chuàng)新性地建造21 世紀(jì)的統(tǒng)計(jì)系統(tǒng)需要跨學(xué)科的專(zhuān)業(yè)知識(shí),包括統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)、地理學(xué)和經(jīng)濟(jì)、教育、能源、環(huán)境、醫(yī)療和運(yùn)輸?shù)葘?zhuān)業(yè)。學(xué)術(shù)界具有培育未來(lái)的“數(shù)據(jù)科學(xué)家”、并發(fā)展理論支持的重任。
它也需要學(xué)者民眾和私企的合作。如有適當(dāng)分享數(shù)據(jù)意愿,私營(yíng)企業(yè)會(huì)是21 世紀(jì)統(tǒng)計(jì)系統(tǒng)的數(shù)據(jù)主要供應(yīng)商之一。在美國(guó),麻省理工學(xué)院和多家私營(yíng)企業(yè)最近在某些領(lǐng)域的合作,共同朝這個(gè)方向走出了第一