統(tǒng)計大數(shù)據(jù)的“狂想曲”

文/楊睿，重慶工業(yè)職業(yè)技術(shù)學(xué)院

1 數(shù)據(jù)時代背景下的統(tǒng)計學(xué)

在現(xiàn)代統(tǒng)計學(xué)還處于黎明期的1903年，威爾斯為何做出這樣的預(yù)言，我們無從得知。但是在接近100年后的今天，統(tǒng)計學(xué)的思考方法對我們來說毫無疑問已經(jīng)成為與閱讀能力同樣重要的能力。就好像一個沒有閱讀能力的人在現(xiàn)代社會寸步難行，沒有統(tǒng)計學(xué)思維的人同樣難以在現(xiàn)代社會生存。我們生活在大數(shù)據(jù)時代。高性能計算機(jī)和全球網(wǎng)絡(luò)的強(qiáng)大組合正在得到人們的贊美甚至推崇。專家不斷告訴我們，他們發(fā)現(xiàn)了一種新的能力，可以對海量數(shù)據(jù)進(jìn)行篩查并發(fā)現(xiàn)真相，這將為政府、商業(yè)、金融、醫(yī)療、法律以及我們的日常生活帶來一場革命。我們可以做出更明智的決策，因為強(qiáng)大的計算機(jī)可以對數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)重要的結(jié)論。

2 由于認(rèn)知性錯誤，我們很容易受到各種統(tǒng)計性騙局的懵逼

在早期，癌癥能否被治愈？也許可以。但通常使用的據(jù)說最能證明這一點的數(shù)據(jù)其實并不能證明這一點。康涅狄格州腫瘤研究所掛號處那些數(shù)據(jù)記錄可一直追溯到1935年，這些數(shù)據(jù)似乎顯示，從1935年到1941年間，癌癥術(shù)后5年的存活率大幅提高。其實，這些數(shù)據(jù)記錄從1941年才開始采集，在此之前的所有數(shù)據(jù)都是追查所得。許多病人早已離開了康涅狄格州，他們是否尚在人世不得而知。按照醫(yī)學(xué)記者萊昂納德·恩格爾的說法，由此而導(dǎo)致的偏差足以解釋術(shù)后存活率為何會出現(xiàn)大幅提高的背后原因。為了更具價值，一份基于樣本的報告必須使用一個具備代表性的樣本，該樣本必須排除產(chǎn)生偏差的任何可能性。這正是耶魯大學(xué)畢業(yè)生調(diào)查數(shù)據(jù)不具價值的原因，也是許多報紙和雜志內(nèi)容缺乏實質(zhì)意義的原因。一位心理醫(yī)生曾寫報告說，其實每個人都是神經(jīng)質(zhì)的。拋開使用“神經(jīng)質(zhì)”一詞會破壞該詞所具有的意義不談，先看看這位醫(yī)生的樣本吧。也就是說，這位心理醫(yī)生的觀察對象都是哪些人？原來，這一富有“啟發(fā)性”的結(jié)論是他觀察自己的病人得來，這些病人與普通人樣本有著天壤之別。如果一個人精神正常，我們的這位醫(yī)生根本就見不到他。以這種方式再仔細(xì)看看你所讀到的東西，你就可以避免相信許多似是而非的東西。還要記?。簩?dǎo)致偏差的顯性原因和隱性原因都有可能輕易摧毀一個樣本的可靠性。也就是說，即使找不到明顯的偏差來源，但只要在某處可能存在偏差，你就要對結(jié)果保持一定的懷疑。

3 統(tǒng)計調(diào)查的數(shù)據(jù)會出現(xiàn)偏差？

調(diào)查人員的構(gòu)成往往會以一種微妙的方式影響到調(diào)查結(jié)果。第二次世界大戰(zhàn)期間，美國國家民意研究中心派出了兩組調(diào)查員，一組由白人構(gòu)成，另一組由黑人構(gòu)成，對南方一個城市中的500 個黑人進(jìn)行三個問題的調(diào)查。第一個問題是：“如果日本戰(zhàn)勝美國，黑人在美國的待遇會得到改善還是會變得更糟？”黑人調(diào)查組的結(jié)果顯示他們的調(diào)查對象中9%的人認(rèn)為是“得到改善”，而白人調(diào)查組的調(diào)查結(jié)果顯示只有2%的人這樣認(rèn)為。黑人調(diào)查組的結(jié)果中有2 5%的人認(rèn)為黑人的待遇會更加糟糕，而白人調(diào)查組的結(jié)果則是4 5%。第二個問題是將第一個問題中的“日本”替換成“納粹”，對這一問題調(diào)查所得結(jié)果和第一個問題的調(diào)查結(jié)果相近。第三個問題旨在探求被調(diào)查者對前兩個問題的真實態(tài)度?！按驍≥S心國與改進(jìn)國內(nèi)的民主制度二者相比，您認(rèn)為哪個更重要？”黑人調(diào)查組得出的結(jié)果是39%的人支持“打敗軸心國”，而白人調(diào)查組的結(jié)果則是62%。這就是受未知因素影響而導(dǎo)致的偏差。可能最有影響力的因素是在民意調(diào)查時，人們普遍都有一種說好話的傾向，這種傾向在閱讀民意調(diào)查時往往應(yīng)該被考慮進(jìn)來。在戰(zhàn)時回答一個暗含對國家是否忠誠的問題時，南方黑人對白人的回答都是一些冠冕堂皇的話，而不是他們內(nèi)心的真實想法，這不是很正常嗎？此外，不同的調(diào)查員可能會選擇不同的群體進(jìn)行調(diào)查，也可能是造成偏差的原因。在任何情況下，調(diào)查結(jié)果都明顯帶有一定的偏差，因此這些調(diào)查毫無價值。你自己可以判斷一下有多少民意調(diào)查的結(jié)論是帶有偏差且毫無價值的，但是卻沒有什么有效的辦法能避免。一般而言，民意調(diào)查都會帶有特定方向的偏差。如果你對這些民意調(diào)查的結(jié)果有所質(zhì)疑，你可以收集有力證據(jù)來證明，比如《文學(xué)摘要》的方向錯誤。《文學(xué)摘要》的錯誤在于它選擇了與普通人相比生活更為寬裕、受過良好教育、消息靈通、警惕性高、著裝雅致、行為保守且愛好較為固定的群體作為調(diào)查對象。事實正如我們所見，完全沒有必要操縱一場民意調(diào)查，也不用為了制造一種假象而刻意扭曲調(diào)查結(jié)果。如果樣本的偏差與期望的結(jié)果一致，就能達(dá)到自動操縱的效果。

4 選擇性報告與謊報

《達(dá)拉斯晨報》的一位體育專欄作家度過了極為倒霉的一個星期，他在選擇國家橄欖球聯(lián)盟（NFL）比賽的獲勝球隊時猜對了1次，猜錯了12 次，還有一場比賽是平局。他寫道：“理論上說，如果讓達(dá)拉斯動物園里的一只狒狒觀看14 場NFL 比賽的賽程，讓它為每場比賽選擇一支球隊，它可以至少選出7 支獲勝球隊?！钡诙€星期，拉達(dá)斯動物園里的大猩猩“坎達(dá)大帝”通過選擇訓(xùn)練員手里的紙條進(jìn)行了預(yù)測。結(jié)果，坎達(dá)猜對了9 次，猜錯了4 次，擊敗了《達(dá)拉斯晨報》的所有6 位體育專欄作家。媒體像發(fā)現(xiàn)食物的餓狼一樣爭相報道這個故事。不過，如果坎達(dá)的表現(xiàn)沒有這么好，比如猜對6 次，猜錯7 次，它還會被人報道嗎？另一個因素是，為了出風(fēng)頭，人們可能會捏造數(shù)據(jù)，以吸引公眾的注意。明尼阿波利斯那個股票經(jīng)紀(jì)人和他的狗每天早上都會得到公正的監(jiān)督嗎？過去，橋牌曾經(jīng)是美國最流行的撲克游戲，當(dāng)時有許多人向當(dāng)?shù)貓蠹埍硎?，他們抽到了同一花色的十三張牌。一位喜歡數(shù)學(xué)的橋牌選手通過估計發(fā)現(xiàn)，出現(xiàn)這種情況的數(shù)量太過離譜。考慮到抽到這種牌的可能性，當(dāng)時進(jìn)行過的總局?jǐn)?shù)遠(yuǎn)遠(yuǎn)不足以產(chǎn)生如此眾多的“同花色局”。值得注意的是，報紙報道的這種相同花色通常是黑桃。顯然，為了讓自己的名字出現(xiàn)在報紙上，人們對自己的經(jīng)歷進(jìn)行了潤色。由于這些錯誤，我們很容易受到各種統(tǒng)計性騙局的蒙蔽。當(dāng)人們用毫無意義的模式來證明政府政策的后果、營銷計劃的不凡影響、投資策略的成功或者保健品的效果時，我們很容易認(rèn)為這些模式是有意義的。由于我們在內(nèi)心深處希望理解這個世界，因此我們形成了這種聲名狼藉的、很難擺脫的弱點。