對(duì)話：數(shù)據(jù)新聞：數(shù)據(jù)缺失怎么辦

巧婦難為無(wú)米之炊，在前面解讀了數(shù)據(jù)新聞的發(fā)展方向、選題策劃、可視化技術(shù)，甚至商業(yè)模式之后，回到本源問(wèn)題上，數(shù)據(jù)缺失怎么辦？

目前數(shù)據(jù)來(lái)源主要有五個(gè)渠道：官方數(shù)據(jù)門(mén)戶、企業(yè)創(chuàng)建的數(shù)據(jù)平臺(tái)、社交媒體平臺(tái)采集的數(shù)據(jù)、時(shí)空和氣象數(shù)據(jù)，以及搜索引擎。

自2009年美國(guó)數(shù)據(jù)門(mén)戶網(wǎng)站data.gov上線以來(lái)，開(kāi)放數(shù)據(jù)運(yùn)動(dòng)在全球范圍內(nèi)迅速興起。英國(guó)，2010年創(chuàng)建數(shù)據(jù)開(kāi)放網(wǎng)站data.gov.uk。2011年，巴西、印度尼西亞、墨西哥、挪威、菲律賓、南非、英國(guó)、美國(guó)等八個(gè)國(guó)家聯(lián)合簽署《開(kāi)放數(shù)據(jù)聲明》，成立開(kāi)放政府合作伙伴（OGP，Open Government Partnership）。截至2014年2月10日，全球已有63個(gè)國(guó)家加入開(kāi)放政府合作伙伴。國(guó)際組織歐盟、經(jīng)濟(jì)合作與發(fā)展組織(OECD)、聯(lián)合國(guó)(UN)、世界銀行(WB)也加入到了開(kāi)放數(shù)據(jù)運(yùn)動(dòng)，建立了數(shù)據(jù)開(kāi)放門(mén)戶網(wǎng)站。

另外，很多企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)建立了自己的數(shù)據(jù)發(fā)布平臺(tái)，比如國(guó)外有Google public data、DataMarket、Guardian Data Store，國(guó)內(nèi)有數(shù)據(jù)堂、阿里研究院、百度指數(shù)等。但是，目前國(guó)內(nèi)的數(shù)據(jù)平臺(tái)仍然偏少，公開(kāi)數(shù)據(jù)非常有限，數(shù)據(jù)缺失成為數(shù)據(jù)新聞發(fā)展的最大阻礙。

為此，本刊記者與沈陽(yáng)、楊溟、張亞彬和任遠(yuǎn)展開(kāi)對(duì)話，請(qǐng)他們談一下對(duì)這一問(wèn)題的見(jiàn)解。

就此問(wèn)題，清華大學(xué)教授沈陽(yáng)、新華網(wǎng)融媒體未來(lái)研究院院長(zhǎng)楊溟、網(wǎng)易數(shù)讀編輯張亞彬，以及財(cái)新網(wǎng)數(shù)據(jù)可視化設(shè)計(jì)師任遠(yuǎn)各抒己見(jiàn)。

沈陽(yáng)：數(shù)據(jù)缺失是在做數(shù)據(jù)分析時(shí)非常常見(jiàn)的現(xiàn)象，大部分情況下，我們都不太可能拿到所有的數(shù)據(jù)。比如在做一個(gè)30年普法教育的選題時(shí)，需要知道互聯(lián)網(wǎng)出現(xiàn)之前，人們對(duì)普法教育的認(rèn)識(shí)，那么收集這部分?jǐn)?shù)據(jù)就非常困難，那個(gè)時(shí)代只有報(bào)紙的數(shù)據(jù)或者一些讀者來(lái)信上的數(shù)據(jù)。

數(shù)據(jù)缺失是一種常態(tài)，那么我們需要做的就是根據(jù)現(xiàn)有的數(shù)據(jù)，來(lái)比較精準(zhǔn)地做分析和表達(dá)，不要把范圍無(wú)限地?cái)U(kuò)大，而是有多大范圍的數(shù)據(jù)就說(shuō)多大范圍的事。

比如我們要分析北京地區(qū)不同地點(diǎn)的百姓消費(fèi)水平，換個(gè)思路，我們或許就可以通過(guò)大眾點(diǎn)評(píng)網(wǎng)上各地店鋪的平均消費(fèi)額來(lái)進(jìn)行分析。但考慮到餐飲消費(fèi)者流動(dòng)性的問(wèn)題，我們也可以考慮通過(guò)各地區(qū)房屋租賃的數(shù)據(jù)來(lái)分析，租房子的數(shù)據(jù)是本地居民的實(shí)際消費(fèi)情況。當(dāng)然，這個(gè)數(shù)據(jù)并不一定百分之百精準(zhǔn)，所以我個(gè)人認(rèn)為，在缺失數(shù)據(jù)的情況下，一定要標(biāo)注準(zhǔn)確數(shù)據(jù)來(lái)源、數(shù)據(jù)集，以及得到結(jié)論的限制條件等，這樣會(huì)更加嚴(yán)謹(jǐn)些。

另外，數(shù)據(jù)源單一也是比較普遍的問(wèn)題，目前來(lái)說(shuō)，社交媒體這塊，從微博抓取數(shù)據(jù)較為普遍，微信朋友圈和微信群的數(shù)據(jù)基本上是不可獲得的。社交網(wǎng)絡(luò)中有非常大一塊是社交的暗網(wǎng)絡(luò)，比如陌陌的數(shù)據(jù)肯定一般人都沒(méi)有。

在數(shù)據(jù)源單一的情況下，分析的某種網(wǎng)絡(luò)言論并不能真正地代表中國(guó)整體的情況，而且還涉及我一直強(qiáng)調(diào)的三個(gè)一致性問(wèn)題：一是言行的一致性，分析到的結(jié)論都是一種言論，但真實(shí)情況是否如此，并不能保證，因?yàn)檠孕胁灰坏男袨榉浅６?；二是公開(kāi)網(wǎng)絡(luò)傳播和私密網(wǎng)絡(luò)傳播中的一致性；三是某個(gè)人或群體的前后言論的一致性。

所以在采集數(shù)據(jù)時(shí)，需要選擇性地選擇一些典型代表，如果數(shù)據(jù)源單一或某些數(shù)據(jù)是缺失的，可以找一些替代數(shù)據(jù)。比如現(xiàn)在有微博的數(shù)據(jù)了，微信的數(shù)據(jù)就可以用搜狗或“新媒體指數(shù)”等微信公眾號(hào)提供的微信數(shù)據(jù)，或者用一些貼吧的數(shù)據(jù)，這樣多種信息源的交叉有利于彌補(bǔ)一些缺陷。

未來(lái)應(yīng)該會(huì)有更多的數(shù)據(jù)平臺(tái)，及更多的社交媒體數(shù)據(jù)挖掘、收集處理與分析的工具出現(xiàn)。

楊溟：現(xiàn)在我們看到的數(shù)據(jù)新聞的實(shí)踐中運(yùn)用的數(shù)據(jù)，嚴(yán)格來(lái)說(shuō)，都是小數(shù)據(jù)，沒(méi)有大數(shù)據(jù)。

我們?cè)谧龃髷?shù)據(jù)實(shí)踐時(shí)，發(fā)現(xiàn)最大的問(wèn)題就是，真正基于社會(huì)公眾需要的數(shù)據(jù)是嚴(yán)重短缺的。現(xiàn)在在網(wǎng)絡(luò)或社交網(wǎng)絡(luò)中看到的數(shù)據(jù)只是很小的一部分，其實(shí)各個(gè)部門(mén)壟斷的這些信息，在有些國(guó)家可能是公共資源，是可以被作為大數(shù)據(jù)收集和分析的。但在國(guó)內(nèi)，這部分信息很難獲得，所以在一些公共利益或公共信息資源的分析上存在問(wèn)題。從這方面來(lái)說(shuō)，數(shù)據(jù)源缺失，影響最大的倒不是數(shù)據(jù)新聞，而是數(shù)據(jù)的應(yīng)用和數(shù)據(jù)的服務(wù)。

但反過(guò)來(lái)想，正因?yàn)檎块T(mén)對(duì)信息的壟斷造成數(shù)據(jù)缺失，這種缺失才給媒體創(chuàng)造了機(jī)會(huì)。比如在新加坡這樣政府服務(wù)非常到位和充分的社會(huì)，媒體服務(wù)的空間相對(duì)就會(huì)變小許多。

另外，目前通過(guò)搜索引擎獲取數(shù)據(jù)的方式還停留在對(duì)關(guān)鍵詞的搜索上，圖像和影像如人臉識(shí)別技術(shù)還有較大的發(fā)展空間，而對(duì)人的生理數(shù)據(jù)的挖掘和分析則是另一層意義上的“大數(shù)據(jù)”，是對(duì)人的了解的深入。

張亞彬：我們?cè)谒鸭瘮?shù)據(jù)時(shí)，關(guān)于中國(guó)的數(shù)據(jù)我們是很希望能夠從國(guó)內(nèi)渠道獲得，但是國(guó)內(nèi)很多政府機(jī)構(gòu)在壟斷信息資源以后沒(méi)有進(jìn)行足夠的開(kāi)放，所以在做一些國(guó)內(nèi)專題時(shí)，我們還是會(huì)通過(guò)一些國(guó)外的網(wǎng)站或是從聯(lián)合國(guó)相關(guān)組織的一些報(bào)告中收集數(shù)據(jù)。

現(xiàn)在英國(guó)和美國(guó)是在數(shù)據(jù)開(kāi)放領(lǐng)域做得最好的兩個(gè)國(guó)家，在英國(guó)的數(shù)據(jù)開(kāi)放網(wǎng)站上，可以以公民的身份提交數(shù)據(jù)開(kāi)放申請(qǐng)，只要要求是合理的，這個(gè)信息沒(méi)有涉及到國(guó)家安全等問(wèn)題，網(wǎng)站承諾會(huì)在一定的時(shí)間之內(nèi)開(kāi)放數(shù)據(jù)。

我們?cè)?jīng)打算做一個(gè)中國(guó)城市自行車(chē)租賃狀況的選題，杭州、北京等城市在08年前后，上馬了很多這樣的公共事業(yè)，我們想看看這些自行車(chē)的利用率有多少。最終，我們只在國(guó)外一個(gè)NGO網(wǎng)站上看到了中國(guó)少數(shù)幾個(gè)城市的相關(guān)數(shù)據(jù)，而國(guó)內(nèi)只有零星的媒體報(bào)道，比如杭州有多少輛，利用率是多少等極少的干巴巴的數(shù)字，但這不是一個(gè)系統(tǒng)的、全國(guó)范圍的數(shù)據(jù)。

另外，對(duì)于國(guó)家統(tǒng)計(jì)局等公布的一些數(shù)據(jù)，我們也保持懷疑態(tài)度，不會(huì)完全相信或完全不相信。舉一個(gè)簡(jiǎn)單的例子，中國(guó)失業(yè)率的數(shù)據(jù)，眾所周知，國(guó)家統(tǒng)計(jì)局公布的是“登記失業(yè)率”，這個(gè)數(shù)字常年都維持在4%上下浮動(dòng)，數(shù)字本身就是不科學(xué)不可信的。西方國(guó)家一般都是采用“調(diào)查失業(yè)率”，由調(diào)查咨詢公司或者政府機(jī)構(gòu)通過(guò)調(diào)查得到數(shù)據(jù)，這樣的數(shù)據(jù)才更可信。所以，在做相關(guān)專題時(shí)，我們不可能用國(guó)家統(tǒng)計(jì)局上的這類(lèi)數(shù)據(jù)。

考慮到開(kāi)放程度和數(shù)據(jù)的可信程度，我們會(huì)采納自己認(rèn)為過(guò)硬的數(shù)據(jù)來(lái)源去做選題，并且我們會(huì)將數(shù)據(jù)來(lái)源標(biāo)注在相關(guān)選題的信息圖上。如果數(shù)據(jù)不過(guò)硬，我們寧可放棄選題。

任遠(yuǎn)：有時(shí)候，數(shù)據(jù)缺失也屬于數(shù)據(jù)。我們需要尋找缺失數(shù)據(jù)的原因，在尋找過(guò)程中或許會(huì)發(fā)現(xiàn)新的有新聞價(jià)值的信息。比如我們之前做過(guò)一個(gè)關(guān)于諾貝爾獎(jiǎng)的數(shù)據(jù)新聞，制作了1901—2013年所有諾貝爾獎(jiǎng)及獲獎(jiǎng)人的信息圖，收集數(shù)據(jù)時(shí)，我們發(fā)現(xiàn)二戰(zhàn)期間1940—1942的數(shù)據(jù)是沒(méi)有的。所以其實(shí)數(shù)據(jù)缺失可能是會(huì)有歷史意義的，它也是有價(jià)值的?！?/p>