哪些算法我們可以信任

蒂姆·哈福德

2009年，谷歌的一個研究小組在世界頂級科學(xué)期刊之一《自然》上宣布了一項了不起的成就。不用知道醫(yī)院的就診記錄，他們就能夠追蹤到流感在美國的傳播情況。更重要的是，他們的反應(yīng)比美國疾控中心快，因為后者依賴醫(yī)生們上報的信息。谷歌的算法是在疾控中心2003年～2008年的病例中進(jìn)行數(shù)據(jù)搜索，找出規(guī)律，看看流感暴發(fā)期間，流感地區(qū)的人們在網(wǎng)上搜索什么，以此來建立流感病例和搜索內(nèi)容之間的相關(guān)性。在發(fā)現(xiàn)了這種規(guī)律或模式之后，該算法就可以根據(jù)今天人們上網(wǎng)的搜索內(nèi)容來估計今天流感的發(fā)病人數(shù)，這樣做比疾控中心發(fā)布官方消息要早至少一周的時間。

“谷歌流感趨勢預(yù)測”不僅快、準(zhǔn)、省錢，還不需要高深的理論。谷歌的工程師們甚至懶得去篩選哪類搜索詞與疾病傳播有關(guān)聯(lián)。雖然，我們也想象得到，搜索“流感癥狀”或“我附近的藥店”是和流感沾邊的，但搜索“碧昂斯”就和流感毫無關(guān)系了，但在谷歌團隊眼里，這都無所謂，他們只管輸入流感期間網(wǎng)上最常被搜索的5，000萬個詞，然后讓算法自己去找規(guī)律。

谷歌流感趨勢預(yù)測一炮而紅，它的成功標(biāo)志著商業(yè)、科技領(lǐng)域的熱門新趨勢——大數(shù)據(jù)和算法。大數(shù)據(jù)可以有很多種，我們把重點放在留痕數(shù)據(jù)上，它指的是人們在網(wǎng)絡(luò)上的各種搜索、信用卡支付和手機搜索附近連接熱點留下的上網(wǎng)痕跡，這還不算政府掌握的個人大數(shù)據(jù)。

留痕數(shù)據(jù)的類型可謂龐雜，數(shù)據(jù)收集起來成本較低，可以實時更新，但也雜亂無章。隨著我們的通信、休閑和商業(yè)走向互聯(lián)網(wǎng)，而互聯(lián)網(wǎng)又正進(jìn)入我們的手機、汽車甚至我們的眼鏡，生活可以被記錄和量化，而這種方式在10年前是很難想象的。商業(yè)和管理雜志上，鋪天蓋地都是關(guān)于這方面機會的文章。

除了這些“抓住機會上車”的口號外，大數(shù)據(jù)的擁躉根據(jù)谷歌流感趨勢預(yù)測的成功還提出了三個令人激動的觀點。第一，數(shù)據(jù)分析能做出精準(zhǔn)的預(yù)測。第二，每一個數(shù)據(jù)點都可以被捕獲到，這就顯得統(tǒng)計抽樣模式過時了（這里指流感趨勢捕獲到每一次人們在網(wǎng)上的相關(guān)搜索）。第三，科學(xué)建模也已經(jīng)過時：根本沒有必要建立和驗證“流感癥狀”搜索或“碧昂斯”搜索可能與流感傳播相關(guān)或不相關(guān)的公式，因為，引用2008年《連線》雜志中一篇煽動性文章的話，“有了足夠的數(shù)據(jù)，數(shù)字能說明一切問題”。

這種模式很有顛覆性。然而，在《自然》那篇文章發(fā)表4年后，《自然新聞》卻傳來一個不幸的消息：最近的流感暴發(fā)還造成了一個意外的受害者——谷歌流感趨勢預(yù)測。在準(zhǔn)確地預(yù)報了幾個冬天的流感疫情后，這個無須建模、數(shù)據(jù)豐富的模型對流感突然失去了嗅覺。谷歌的模型預(yù)測了流感要大暴發(fā)，但疾控中心不緊不慢，說它的數(shù)據(jù)證明谷歌高估了流感暴發(fā)的可能性，還有，谷歌的數(shù)據(jù)一度比真實數(shù)據(jù)大了一倍多。不久，谷歌流感趨勢項目團隊就解散了。

問題出在哪兒？部分原因在于上面說的第三個觀點：谷歌當(dāng)時不知道，也不可能知道，它的算法中有哪些搜索詞是與流感暴發(fā)相關(guān)聯(lián)的。谷歌的工程師沒有自己做篩選，他們讓算法自己在數(shù)據(jù)中尋找流感暴發(fā)的相關(guān)統(tǒng)計模式。后來，谷歌的研究團隊分析了這些算法算出的模式，發(fā)現(xiàn)了一些明顯的錯誤相關(guān)性，而他們本可以指示算法剔除這些錯誤關(guān)聯(lián)。例如，算法會將“高中籃球賽”搜索與流感關(guān)聯(lián)起來。原因并不神秘：流感疫情和高中籃球賽都在11月中旬開始。但這意味著流感趨勢部分探查的是流感，部分探查的是冬季球賽。當(dāng)2009年夏季流感暴發(fā)時，這又成了一個問題：谷歌流感趨勢預(yù)測仍然在搜索冬季球賽，自然一無所獲，也就沒預(yù)測出來這次非常規(guī)季節(jié)的疫情，導(dǎo)致他們預(yù)報的發(fā)病人數(shù)只是實際發(fā)病人數(shù)的20%。

有人說找出算法出錯的原因是不可能的。但是找出兩個東西是怎么關(guān)聯(lián)起來的不難。一些數(shù)據(jù)發(fā)燒友，比如《連線》雜志那篇煽動性文章的作者克里斯·安德森也說過，除了相關(guān)性，討論別的都沒意義。他寫道：“先從數(shù)學(xué)的角度處理好數(shù)據(jù)，然后再為數(shù)據(jù)設(shè)定好語義環(huán)境就可以了。”數(shù)據(jù)自然會呈現(xiàn)一定的規(guī)律。如果真是這樣，我們是不是可以這樣解讀安德森的話，“如果高中球賽和流感疫情同時出現(xiàn)在搜索結(jié)果中，二者會關(guān)聯(lián)在一起的原因并不重要”。

但這當(dāng)然很重要，因為這種沒有數(shù)學(xué)建模的簡單關(guān)聯(lián)明顯不堪一擊。所以如果我們不清楚建立關(guān)聯(lián)的邏輯，那么這種關(guān)聯(lián)遲早會出問題。

我書架上最顯眼的位置放了兩本很棒的書，講述的是我們對大數(shù)據(jù)的看法在短短幾年內(nèi)是如何演變的。

一本是2013年出版的《大數(shù)據(jù)時代》，作者是肯恩·庫克爾和維克托·邁耶·舍恩貝格。書中舉了許多例子，像物美價廉的傳感器、大數(shù)據(jù)集和模式識別算法，正如這本書的副標(biāo)題所示，“大數(shù)據(jù)改變了我們的生活、工作和思維方式”。你猜作者在書中用的什么例子開篇？就是那個谷歌流感趨勢預(yù)測。不過兩位作者沒料到的是，這本書付印之后，谷歌算法就徹底失靈了。

《大數(shù)據(jù)時代》出版三年后，凱西·奧尼爾的《算法霸權(quán)：數(shù)學(xué)殺傷性武器的威脅與不公》于2016年問世。你可能也猜到了，作者對大數(shù)據(jù)非常不看好，書的副標(biāo)題告訴我們大數(shù)據(jù)“加劇不平等，威脅民主”。

兩本書看大數(shù)據(jù)的視角不同：庫克爾和舍恩貝格的視角是數(shù)據(jù)時代人怎么利用數(shù)據(jù)；奧尼爾的視角是數(shù)據(jù)時代人怎么被數(shù)據(jù)利用。視角不同，看法不同。這就好像一把榔頭，對木匠來說，它是個有用的工具；但對釘子來說，它就是敵人。

兩本書的不同觀點正好也反映了2013年～2016年人們對大數(shù)據(jù)看法的轉(zhuǎn)變。2013年，了解大數(shù)據(jù)的人還比較少，人們常常把自己想象成木匠，覺得可以利用大數(shù)據(jù)，大有可為。到2016年，許多人意識到自己就是顆釘子，逃不出大數(shù)據(jù)的掌控。大數(shù)據(jù)從備受推崇的劃時代技術(shù)變成被人詛咒的技術(shù)災(zāi)星，有些人甚至為此在報紙上大聲疾呼（比如美國有線電視新聞網(wǎng)上的一篇報道——“算法有種族主義”）。大數(shù)據(jù)還掀起了一場政治上的軒然大波。劍橋分析公司是一家和特朗普競選團隊有瓜葛的咨詢公司，它被指控利用臉書在用戶隱私規(guī)則方面的漏洞，在用戶不知情或未授權(quán)的情況下，竊取了大約5，000萬人的信息，并向他們精準(zhǔn)投放拉票廣告。大吃一驚的評論員甚至懷疑就是這些精準(zhǔn)投放的拉票廣告送唐納德·特朗普坐上了總統(tǒng)的寶座，盡管事后經(jīng)過冷靜分析，人們認(rèn)定劍橋分析公司的能力還沒有達(dá)到精神控制的水平。

我們每個人都在網(wǎng)上留下了點點滴滴的數(shù)據(jù)，而這些數(shù)據(jù)被悄悄地收集起來，匯成數(shù)據(jù)的海洋，這樣算法和大數(shù)據(jù)編織成了我們生活的天羅地網(wǎng)，從匹配對象到法律援助，它們似乎都可以幫到我們。所以，我們需要了解這都是些什么樣的數(shù)據(jù)，以及我們該怎么利用它們。我們到底應(yīng)該喜歡大數(shù)據(jù)還是害怕大數(shù)據(jù)？我們想當(dāng)個木匠，但會不會無意中成了釘子的角色？

答案是，這都取決于我們自身，我希望能告訴你怎么才能讓大數(shù)據(jù)為人所用。

2012年，人們還堅定地認(rèn)為大數(shù)據(jù)給我們提供了無限遐想。記者查爾斯·杜希格敏銳地捕捉到這個跡象，他在《紐約時報》上發(fā)表了一個發(fā)生在美國塔吉特百貨公司的故事，為大數(shù)據(jù)時代的到來拉開了序幕。

在杜希格的報道中，他說塔吉特公司收集了客戶的大量數(shù)據(jù)，而且會認(rèn)真分析這些數(shù)據(jù)，所以顯得這家公司特別能洞悉客戶需求。這個讓人印象深刻的故事是這樣開始的：一名男子沖進(jìn)明尼阿波利斯附近的一家塔吉特公司，向經(jīng)理大發(fā)雷霆，問該公司給他十幾歲的女兒郵寄了婦嬰用品優(yōu)惠券是什么意思。經(jīng)理忙不迭地道歉，后來又專程打電話再次道歉，結(jié)果卻被告知女孩真的懷孕了。她父親當(dāng)時不知情。

其實塔吉特在分析了她購買無味濕巾和維生素補充劑等數(shù)據(jù)后，就已經(jīng)洞悉這個事實。

統(tǒng)計真的這么神奇嗎？數(shù)據(jù)專家和統(tǒng)計學(xué)家聽了這個故事，眼皮都不抬，他們認(rèn)為不用對此大驚小怪，這太稀松平常了。

首先，讓我們想一想，根據(jù)一個人在商場買的東西來推測她是否懷孕是不是件很難的事：應(yīng)該不太難。請參考國家衛(wèi)生局關(guān)于維生素補充劑葉酸的建議：建議所有準(zhǔn)備生育的女性在備孕期間和懷孕前12周每天補充400微克葉酸。如果你在懷孕前沒有服用葉酸補充劑，發(fā)現(xiàn)自己懷孕后請馬上開始服用。確保你攝入適量葉酸的唯一方法就是服用補充劑。

看到了嗎？有這個常識的人，如果聽說有個女人開始購買葉酸，除了她可能懷孕了，你還能聯(lián)想到什么？這很好猜出來，不需要大數(shù)據(jù)告訴你。所以大數(shù)據(jù)沒那么神。

杜希格關(guān)于塔吉特算法的故事以另一種方式讓我們認(rèn)識到我們高估了計算機的數(shù)據(jù)分析能力。

數(shù)據(jù)學(xué)家馮啟思多年來就是為商超和廣告公司開發(fā)類似算法的專家，他說：“這個故事其實反映了一個似是而非的問題?！彼囊馑际怯行]懷孕的女性也收到了母嬰優(yōu)惠券，只是我們不知道而已。我們不能天真地認(rèn)為塔吉特的電腦有讀心術(shù)，還需要想一想他們天女散花般地發(fā)優(yōu)惠券，射擊目標(biāo)錯誤的太多了。

其實購買葉酸不一定懷孕：這個女人可能因為別的原因需要服用葉酸，或者她可能在替別人買，或者她可能懷孕了但孩子沒保?。ㄟ@樣的話她在看到母嬰優(yōu)惠券時該有多難過），或者她想懷孕，但沒懷上。你覺得塔吉特的算法能神機妙算到把這些例外都剔除掉的地步嗎？這是不可能的。

在查爾斯·杜希格的故事中，塔吉特商場提供的母嬰優(yōu)惠券里其實還混有其他商品的優(yōu)惠券，比如酒杯優(yōu)惠券。如果真有孕婦想喝酒，當(dāng)意識到商場電腦連這個都能算出來，她們會不會感到害怕？但馮啟思是這樣解釋的：塔吉特給顧客寄某種優(yōu)惠券的同時還附帶上其他商品的優(yōu)惠券，不是因為給孕婦只寄一些母嬰優(yōu)惠券會顯得突兀，而是因為公司知道，收到母嬰優(yōu)惠券的未必都是孕婦。

所以，當(dāng)時那個接待女孩父親的經(jīng)理應(yīng)該這樣說：“您不用擔(dān)心，我們的很多顧客都會收到那樣的優(yōu)惠券，不是只針對您的孩子?！彼麤]那樣說，是因為他和我們普通人一樣，都不知道商場算法是怎么算的。

情況很有可能是這樣的：通過顧客購買的商品，懷孕的顧客很容易被甄別出來，因此塔吉特的大數(shù)據(jù)肯定比盲猜的準(zhǔn)確率要高一些。然而，毫無疑問，它肯定不是百發(fā)百中。孕婦大概率出現(xiàn)在15～45歲的女性中，如果讓你盲猜誰是孕婦，你也有大約5%的命中率。如果塔吉特算法能把命中率提高到10%或15%，那也很值。因為即使某商品的優(yōu)惠券投放精準(zhǔn)度提高一點，也有助于提高商場的利潤，但商場絕不應(yīng)該為了利潤率去深挖顧客的隱私。

因此，有必要給這些炒作降降溫，不要認(rèn)為劍橋分析公司已經(jīng)掌握了人的思想，然后以為機器統(tǒng)治世界的時代來了；也不要昏了頭，認(rèn)為大數(shù)據(jù)輕松取代煩瑣的老式統(tǒng)計方法（如疾控中心對流感的調(diào)查）就萬事大吉了。

當(dāng)我第一次與大數(shù)據(jù)打交道時，我給劍橋大學(xué)教授大衛(wèi)·史匹格哈特爵士打了個電話——他是英國頂尖的統(tǒng)計學(xué)家之一，也是一位杰出的統(tǒng)計知識傳播者。電話里，我總結(jié)了那些看好大數(shù)據(jù)的人的觀點：不可思議的準(zhǔn)確性；全數(shù)據(jù)覆蓋把抽樣統(tǒng)計比了下去；建模可以拋棄了，因為“數(shù)據(jù)自然會呈現(xiàn)一定的規(guī)律”。

他覺得沒有必要用專業(yè)術(shù)語來表述以顯得高大上。他說，那些說法都是胡扯，沒一句對的。要讓大數(shù)據(jù)發(fā)揮作用，說起來容易做起來難。200年來，統(tǒng)計學(xué)家們一直都很警惕，當(dāng)我們試圖通過數(shù)據(jù)來了解世界時，數(shù)據(jù)會給我們設(shè)什么樣的誤區(qū)。如今數(shù)據(jù)更大、更快、更易得，我們不要以為誤區(qū)消失了。不，它們一直都在。

史匹格哈特說：“小的數(shù)據(jù)問題在大數(shù)據(jù)中比比皆是。并不是數(shù)據(jù)多就不會出問題，有時數(shù)據(jù)多了，問題更大?！?/p>

像查爾斯·杜希格寫的塔吉特商場精準(zhǔn)投放母嬰優(yōu)惠券那個故事，讀者信了也就算了。但要是當(dāng)權(quán)者也被他們不懂的算法嚇到，并依靠這些算法做關(guān)系民生的重大決定，那就麻煩大了。

凱西·奧尼爾在《算法霸權(quán)：數(shù)學(xué)殺傷性武器的威脅與不公》一書中列舉的最典型的例子之一是華盛頓特區(qū)用來評估教師教學(xué)質(zhì)量的算法IMPACT。書中是這樣描繪的：該市各個學(xué)校中，許多受學(xué)生愛戴的教師因為在系統(tǒng)上打分很低，突然被解雇了。

IMPACT算法聲稱衡量的是教學(xué)質(zhì)量，也就是以考試成績?yōu)闇?zhǔn)，檢查每個教師在班上帶的學(xué)生是進(jìn)步了還是倒退了。其實，衡量教學(xué)質(zhì)量很難，有時學(xué)生成績高低與老師無關(guān)，原因有二。第一，不管老師教得如何，學(xué)生的成績都會因人而異。所以一個班30個學(xué)生里，肯定有一些是算法應(yīng)該排除的干擾項。又或者，如果有那么幾個孩子，在開學(xué)考試中，運氣好，蒙對不少答案，得到了高分，到了期末考試，運氣差，得分低了，就把老師坑了，因為這樣老師排名就會降低。所以，這種排名有運氣的成分在里面。還有一種情況，孩子的學(xué)習(xí)還受其他因素影響，這些因素也是老師不可控的。譬如，孩子生病了，或在學(xué)校里被人欺負(fù)了，或者家里爸爸媽媽因故被監(jiān)禁了，等等。這與學(xué)生運氣好、蒙對題得高分不同，這是由某些具體原因?qū)е碌?，可能是造成學(xué)生成績下降的真正原因。所以，在評估老師的教育質(zhì)量時，將這些課堂外的因素也考慮進(jìn)來才是有意義的評估，而不分青紅皂白地把學(xué)生成績下滑都?xì)w咎于老師，這種做法不僅愚蠢，而且不公平。

IMPACT算法不公平的第二個原因是，不想公平競爭的老師也可以用算法作弊，這樣就是老實人吃虧。譬如，六年級的老師在改卷時，如果故意給他的學(xué)生放水，那么他會得到嘉獎，但接班的七年級老師下一年就慘了，因為她的新班將都是些高分的孩子，除非她也找到作弊的方法，否則這些孩子的高分已經(jīng)沒有進(jìn)步的空間了。

因此，奧尼爾的觀點是可信的，即如果數(shù)據(jù)里干擾項太多，我們不能指望算法可以公平地評估教師的教學(xué)質(zhì)量。如果強行這么做，自然會出現(xiàn)算法結(jié)果和學(xué)生口碑結(jié)果不符的現(xiàn)象。但有什么用呢？華盛頓特區(qū)的教育局還是我行我素，2011年還是開除了206名未達(dá)到算法標(biāo)準(zhǔn)的教師。

到現(xiàn)在為止，我們講的問題主要是我們過于相信算法的結(jié)果了。其實還有一個相關(guān)的問題：我們也過于相信數(shù)據(jù)集的質(zhì)量或完整性了。

谷歌流感趨勢預(yù)測記錄了谷歌上的每一個流感相關(guān)的搜索，但不是每個得流感的人都會在谷歌搜索。預(yù)測的準(zhǔn)確性取決于流感患者“一定會上谷歌查流感知識”，但這是不可控的。

數(shù)據(jù)集因偏差導(dǎo)致統(tǒng)計失靈的問題很容易失察。2014年，世界上市值最高的公司之一亞馬遜開始用算法篩選簡歷，希望電腦對比以往錄取者的相似性，從大數(shù)據(jù)中找到模式，挑選出最適合的求職者。實際上，亞馬遜以前錄取的絕大多數(shù)是男性，可是算法不會意識到這個問題，它只會按程序來——找出模式并運行。所以算法找到的模式就是既然過去錄取的大多數(shù)是男性，那就優(yōu)先考慮男性吧。亞馬遜在2018年棄用了該算法。

還記得“算法有種族主義”的標(biāo)題嗎？算法不會種族歧視，也不會厭惡女性，或仇視同性戀，或有其他偏見。倒是人會有這些偏見和歧視。人類現(xiàn)在正努力消除這些偏見，但如果電腦還在用那些含有偏見的舊數(shù)據(jù)，這些偏見就會借尸還魂。

我希望我前面的例子已經(jīng)說服了你，就是我們不應(yīng)該急于把我們的決定權(quán)托付給算法。但我也不希望矯枉過正，完全拒絕算法，因為我們現(xiàn)在還沒有找到可靠的替代方案來做決定。我們必須在算法和人類之間選擇，人會有偏見，會疲勞，會受到干擾，會力不從心，會受很多主觀因素的影響，這是人類的特性。

20世紀(jì)50年代，心理學(xué)家保羅·米爾做了一個實驗：電腦依據(jù)以往的數(shù)據(jù)統(tǒng)計，給人看病，看它的診斷準(zhǔn)確率能否超過有經(jīng)驗的醫(yī)生。例如，一個病人到醫(yī)院時主訴胸痛，那這是消化不良還是心臟病引起的？電腦問診程序是這樣的：胸痛是主要癥狀嗎？有心臟病史嗎？以前用過硝酸甘油來緩解胸痛嗎？心電圖有異常嗎？米爾將有經(jīng)驗醫(yī)生的診斷結(jié)果和電腦這種簡單的層層排除法結(jié)果進(jìn)行了比較。結(jié)果令人不安，電腦診斷得更準(zhǔn)確。這不是唯一的例子，米爾發(fā)現(xiàn)，與電腦的層層排除法相比，醫(yī)生們在大多數(shù)情況下，判斷得都不如電腦準(zhǔn)確。

所以，看問題要公平，我們可以比較一下，同樣的情況下，現(xiàn)在的算法和人做出決定，哪個錯誤率更高。我們就以漢娜·弗萊的《你好，世界：在機器時代如何成為人類》一書中的一個例子開始。

故事發(fā)生在2011年倫敦騷亂期間。商店會在下午早早關(guān)門，守法的市民會趕緊回家，因為他們知道，隨著天色漸暗，趁火打劫者就會上街。在3天的騷亂中，警察逮捕了1，000多人，其中包括尼古拉斯·羅賓遜和理查德·約翰遜。在混亂中，羅賓遜順手從倫敦一家被敲碎玻璃的超市里拿了一包瓶裝礦泉水。而約翰遜開車去了一家游戲店，蒙了塊頭巾，跑進(jìn)去抱了一大堆電腦游戲機出來。約翰遜盜竊的物品價值更高，而且是有預(yù)謀的，不是一時興起。然而，羅賓遜被判了6個月的徒刑，而約翰遜根本沒有入獄。這是法官做的奇葩裁決。

法官依據(jù)案件的一些情節(jié)做出不同判決也是常有的事，但對于這兩個人的不同處理，最有可能的原因是，羅賓遜是在騷亂發(fā)生兩周后被審的，當(dāng)時大家都還神經(jīng)緊繃，政府要嚴(yán)懲騷亂分子，以起到警示作用。等幾個月后，約翰遜被審時，人們對騷亂的記憶已經(jīng)逐漸淡化，甚至都想不起來當(dāng)初騷亂的起因是什么了。

但一個以數(shù)據(jù)為根據(jù)的算法會不會免除這些干擾，給出更公平的判決呢？我們無從得知，大概率會吧。有充分的證據(jù)表明，法官們的標(biāo)準(zhǔn)并不十分統(tǒng)一。有這樣一個測試，有人假設(shè)了一個案子，讓不同的法官審，看看他們的裁定是否一致。結(jié)果是：都不一樣。此外，法官甚至自己的標(biāo)準(zhǔn)都不能保證前后一致。2001年，在英國的一項研究中，被測試的法官被要求對各類不同案件做出判決。有些案件（為了掩蓋測試的真實目的，不同案件時間相隔很遠(yuǎn)）其實是重復(fù)案件，就是把名字和不重要的細(xì)節(jié)改了。法官們毫不知情，對同一個案件，他們甚至做出了和自己之前完全不同的判決。這樣的失誤對計算機來說是不可想象的。

經(jīng)濟學(xué)家森迪爾·穆萊納坦和他的4位同事最近在美國進(jìn)行了一項研究，他們分析了2008年～2013年紐約市的75萬多起案件。在一些案子中，一些被告被拘留，法官對這些被告做了不同的裁定，有些被釋放，有些被羈押，有些被允許取保候?qū)?。然后，研究人員核查了這些被告后來的犯罪情況。此后，他們利用這些案件中的其余一部分（22萬件）讓算法來裁定，看是釋放，還是羈押，或者保釋。他們用這些剩下的案例來檢驗算法相較于法官是否能做出更好的裁決。

結(jié)果是：機器再一次表現(xiàn)得更好。算法對一群被告裁定為羈押，這將犯罪率降低了近25%，因為案宗顯示，這群被告的確是釋放后馬上又犯案了。還有，算法也準(zhǔn)確裁定了另一群人可以釋放或保釋，而這些人的確沒有再滋事端，也就是說，算法的準(zhǔn)確率可以將拘留人員減少40%。以22萬件案件來算，意味著成千上萬宗的犯罪本來可以被提前終止，或者成千上萬的人提審前無須拘留。在這個例子里，算法的表現(xiàn)遠(yuǎn)遠(yuǎn)優(yōu)于法官。

法官們常犯的一個失誤是法學(xué)家卡斯·桑斯坦所說的“現(xiàn)行犯罪誤區(qū)”，也就是說，在是否允許犯罪嫌疑人取保候?qū)彆r，法官們的注意力主要集中在被告目前被指控的罪行。即使被告的犯罪記錄表明他們是慣犯，但如果他們這次被指控的罪行輕微，那么法官仍把他們視為危害不大的罪犯，準(zhǔn)予保釋；另一方面，如果一個被告當(dāng)前罪行嚴(yán)重，但他的犯罪記錄不多，法官也仍視他為危險性大的罪犯，拒絕保釋。在判案時，算法會將一個案件的所有有用信息作為考慮因素，但是法官們，盡管他們訓(xùn)練有素，有頭腦和經(jīng)驗，也往往會考慮不周。

考慮不周似乎是人類無法避免的。正如前文提到的尼古拉斯·羅賓遜和理查德·約翰遜的案子。我把兩個人的犯罪事實都說了，也沒有提供羅賓遜和約翰遜的其他信息?；蛟S，對你我來說，不用來龍去脈，長話短說，只要把他們兩人的犯案情況簡明扼要地說出來就好。但算法會去搜尋兩人更多的信息，并將其列為考量因素。人類可能做不到這樣。

對于重要的事，到底是相信算法，還是相信人類，許多人都有直覺的判斷。有些人對算法頂禮膜拜，有些人還是全然相信人類的智慧。事實是，有時算法會比人類做得更好，有時則不然。如果我們想釋放大數(shù)據(jù)的潛能，讓它更好地為人類服務(wù)，我們需要對具體算法具體評估。但實際操作的難度總是比我們想象的要大。

譬如這樣一個例子。警察局或社會救助機構(gòu)接到某人的電話，稱有孩子處境危險，打電話者可能是孩子的鄰居、爺爺奶奶、醫(yī)生、老師，或其他擔(dān)心孩子的人。有時報的警是實情，有時是虛驚一場，有時是想象過頭，有時甚至是惡作劇。最好的情形是，警察對任何報警電話都不敢掉以輕心，他們會立即拉起警報出警。但現(xiàn)實是，警力有限，不可能每個報警都出警，所以就要考慮優(yōu)先出哪些警。這樣一來，他們對真正緊急的報警錯失率就很大了：美國官方數(shù)據(jù)顯示，2015年有1，670名兒童因父母虐待或失職而死亡。這個數(shù)字很驚人，但相較針對兒童的400萬人次報警電話，這只是個很小的比例。

那么到底哪些報警電話需要出警，哪些不用呢？許多警署和社會救助機構(gòu)求助于算法來做決定。伊利諾伊州引進(jìn)了這樣一種算法，叫作“Rapid Safety Feedback”（快速安全反饋，簡稱RSF）。它對每一次報警進(jìn)行數(shù)據(jù)分析，和以前的案例結(jié)果進(jìn)行比對，將兒童可能死亡或受到嚴(yán)重傷害的風(fēng)險用百分比的形式做了預(yù)測。

預(yù)測效果很一般?！吨ゼ痈缯搲瘓蟆穲蟮勒f，該算法給369名兒童打了100%的概率，也就是說，這些兒童一定會受重傷甚至死亡。但是，我們說，即便一個家庭的環(huán)境很惡劣，如果算法預(yù)測兒童一定會死亡也過于悲觀了。這樣的算法還可能產(chǎn)生連帶的不良影響，譬如，無辜的父母被控虐童或失職，這對父母和孩子都會造成可怕的后果。

也許算法是出于謹(jǐn)慎，夸大了傷害的風(fēng)險，目的是不遺漏任何一個可能的風(fēng)險？并非如此。因為也存在一些可怕的案子，由于算法打的風(fēng)險分值低，沒有出警，結(jié)果幼兒死了。所以，最后伊利諾伊州認(rèn)定這項技術(shù)沒用，甚至?xí)屒闆r更糟糕，于是停止使用了。

這個故事的寓意并不是說算法不可以用來評估兒童傷害報警電話。我的意思是最后一定還是由人來做決定要不要出警。錯誤在所難免，為什么算法沒有比人工客服判斷的正確率高也無法解釋。這個故事的寓意在于，因為這個特定算法給出了明顯荒謬的數(shù)字，讓我們知道了這個算法的局限性，從而對它的正確性警覺起來。

統(tǒng)計學(xué)家安德魯·蓋爾曼解釋說：“算法給出的是數(shù)字概率，這是好事，因為這暴露了它判斷上的失誤，讓我們警惕起來?！?/p>

所以問題不在于算法，也不在于大數(shù)據(jù)集。問題是算法需要審查、有透明度和允許討論。

當(dāng)錯誤的算法讓好教師丟了飯碗，將寶貴的救助服務(wù)資源導(dǎo)向錯誤的家庭，或者女性求職者被打分過低時，這就是大問題了，我們必須讓它們接受審查。

但是怎么做呢？

一種方法是由茱莉婭·安格溫領(lǐng)導(dǎo)的ProPublica調(diào)查記者團隊使用的。安格溫的團隊希望仔細(xì)研究一種被廣泛使用的算法，稱為COMPAS（罪犯懲戒管理分析，用于替代制裁）。COMPAS使用含有137個問題的問卷來評估罪犯再次犯罪的風(fēng)險。它起作用了嗎？公平嗎？

調(diào)查困難重重。COMPAS的技術(shù)由一家叫Equivant的公司（前身為Northpointe）擁有，該公司沒有義務(wù)分享其工作原理和細(xì)節(jié)。因此，安格溫和她的調(diào)查小組不得不不辭勞苦地從佛羅里達(dá)州的布勞沃德縣警署調(diào)取資料，該州的警署很公開透明，安格溫的小組可以通過調(diào)取算法分析結(jié)果來判斷算法的公平性。

以下是“以人民的名義”調(diào)查小組如何開展工作的自述。

我們向佛羅里達(dá)州的布勞沃德縣警署申請調(diào)閱監(jiān)獄記錄并獲準(zhǔn)。我們獲得了2013年和2014年兩年共計18，610人的COMPAS打分情況。COMPAS給每個被告出庭前打了至少三種分?jǐn)?shù)：“累犯風(fēng)險”“暴力行為風(fēng)險”和“拒不出庭風(fēng)險”。每個被告的COMPAS分?jǐn)?shù)是1到10之間，以10為最高風(fēng)險。COMPAS將1到4分標(biāo)記為“低風(fēng)險”，5到7分標(biāo)記為“中風(fēng)險”，8到10分標(biāo)記為“高風(fēng)險”。從COMPAS得分?jǐn)?shù)據(jù)庫開始，我們要評估的是每個被告在得分前后的表現(xiàn)和得分預(yù)判的一致性。我們又從布勞沃德縣警署辦公室網(wǎng)站下載了截至2016年4月1日本地所有的案件記錄，大約8萬宗犯案記錄，然后以姓名和出生日期為準(zhǔn)，將我們數(shù)據(jù)中的被告和下載的犯案記錄進(jìn)行比對。我們數(shù)據(jù)中的被告不在獄時間平均為622.87天（標(biāo)準(zhǔn)偏差為329.19）。

這項工作量很大的調(diào)查工作就按這樣的程序展開了。

調(diào)查結(jié)束后，他們發(fā)布了調(diào)查結(jié)果。盡管COMPAS算法沒有以違法者的種族作為預(yù)測指標(biāo)，但是預(yù)測結(jié)果有明顯的差異性。算法更容易給黑人違法者打高分（預(yù)測他們會再次犯罪，但事實上他們沒有），而給白人違法者打低分（預(yù)測他們不會再次犯罪，但恰恰相反）。

這不免讓人擔(dān)憂：人類有種族歧視的劣根性，但已經(jīng)將其視為不道德也不合法的行為；如果算法也會導(dǎo)致這種行為，我們同樣不能容忍。

但隨后，四位專業(yè)技術(shù)人員薩姆·科貝特·戴維斯、艾瑪·皮爾森、阿維·費勒和沙拉德·戈爾指出，問題沒有那么簡單。他們利用ProPublica調(diào)查小組辛苦整理的數(shù)據(jù)，通過另一個重要指標(biāo)證明了算法是公平的，即如果算法給一個黑人、一個白人兩個違法者打的是相同的風(fēng)險評級，而實際表現(xiàn)中，這兩個人的再次犯罪概率也的確是一樣的，從這個角度講，算法并沒有種族歧視。

此外，技術(shù)人員還指出，算法不可能同時在兩個方面對所有種族都公平，要么在錯誤率的比例上平等，要么在風(fēng)險評分上平等，但不可能兩個同時兼顧：數(shù)據(jù)沒法平衡。

因此，要看這個算法打分是不是公平，唯一的方法是忽略違法者群體的年齡、性別、種族、發(fā)色、身高等差異，純粹看他們的實際行為和算法得分的匹配度。但算法如果以這種標(biāo)準(zhǔn)打分，出來的結(jié)果勢必在年齡、性別、種族、發(fā)色或身高等方面有不穩(wěn)定的表現(xiàn)，就會被視為有失公允。所以，不管算法是否將以上因素考慮進(jìn)去，都會顧此失彼，難以平衡，這是事實。換作法官也是如此，所以這是一個取舍的問題。

茱莉婭·德萊塞爾和漢尼·法里德都是計算機專家，他們一直關(guān)注這場COMPAS是否產(chǎn)生了有種族偏見結(jié)果的辯論。德萊塞爾對科普作家埃德·揚說：“大家在爭論COMPAS的時候，潛意識里似乎都認(rèn)定這個算法比人預(yù)測得準(zhǔn)，但我找不到任何證據(jù)證明這一點?！?/p>

由于有了ProPublica調(diào)查小組的基礎(chǔ)工作，德萊塞爾和法里德也可以就他們的疑惑展開調(diào)查。即使COMPAS的算法還是個秘密，但ProPublica已經(jīng)公布了足夠多的算法預(yù)測數(shù)據(jù)，允許人們再調(diào)用它，用其他變量進(jìn)行有意義的測試。其中之一是一個簡單的數(shù)學(xué)模型，只有兩個變量：罪犯的年齡和以前犯罪的次數(shù)。德萊塞爾和法里德發(fā)現(xiàn)，雙變量模型和廣受吹捧的137個變量的COMPAS模型的準(zhǔn)確率是一樣的。最后，他倆做了人與算法準(zhǔn)確率對比的實驗。他們測試了一些普通人，給他們看了每個違法者的7條相關(guān)信息，讓他們預(yù)測這些違法者是否會在兩年內(nèi)再次犯罪，結(jié)果是其中一些普通人的預(yù)測平均值高于COMPAS算法。

這個結(jié)果有點讓人猝不及防。正如法里德說的，如果算法將一個違法者評為高風(fēng)險者，法官可能會聽信，但如果我們告訴法官“我們在網(wǎng)上進(jìn)行了20個人的采訪，他們都說這個違法者會再次犯罪”，法官不大可能會考慮我們的意見。

要求COMPAS算法的準(zhǔn)確率高于20個來自互聯(lián)網(wǎng)隨機網(wǎng)民的判斷過分嗎？這個要求高嗎？然而COMPAS算法居然沒有達(dá)到這個水平。

既然COMPAS預(yù)測的公共數(shù)據(jù)已經(jīng)是公開的了，那么其他技術(shù)人員就可以對它進(jìn)行技術(shù)解剖了，找出它的缺點也就不難了。

就像人一樣，算法也分可以相信的算法和不可輕信的算法。這與區(qū)別對待他人一樣，不要問：“我們應(yīng)該相信算法嗎？”我們應(yīng)該問：“我們可以信任哪些算法，我們可以把什么東西交給算法去做？”

奧諾拉·奧尼爾認(rèn)為，如果算法要證明它的可信度，首先要證明“它的智能經(jīng)得起檢驗”。為此，她列了一個清單，即智能經(jīng)得起檢驗應(yīng)該具備的四個屬性。首先，數(shù)據(jù)應(yīng)該是可訪問的，這意味著它們不被深藏在某個秘密數(shù)據(jù)庫的深處而不能為公眾所用。其次，數(shù)據(jù)結(jié)果應(yīng)該清晰易懂。再次，算法結(jié)果應(yīng)該以可利用的形式呈現(xiàn)，也就是說，結(jié)果應(yīng)該是標(biāo)準(zhǔn)的數(shù)字格式的。最后，算法結(jié)果應(yīng)該是可測評的，即任何有時間和專業(yè)知識的人想要嚴(yán)格測評算法有效性，都可以調(diào)取算法的詳細(xì)資料。

奧尼爾的原則很有道理，畢竟很多算法都事關(guān)人命，例如，是否應(yīng)該釋放一個案犯，接到虐童的報警電話是否出警。所以我們應(yīng)該引進(jìn)外部的專家來測評算法的有效性。人類有法律保證，例如，禁止種族歧視和性別歧視，我們需要確保算法也不能出這樣的紕漏，至少在法庭上不會被找到這樣的漏洞。

《算法霸權(quán)：數(shù)學(xué)殺傷性武器的威脅與不公》的作者凱西·奧尼爾認(rèn)為，數(shù)據(jù)專家應(yīng)該像醫(yī)生一樣，成立一個專門的組織，來規(guī)范職業(yè)道德。至少，這可以為有問題要舉報的人提供一個去處?！斑@樣，當(dāng)老板（比如臉書）要求我們做一些自己認(rèn)為有違道德標(biāo)準(zhǔn)的事情，或者至少這種做法傷害了客戶對我們的信任，就有可以投訴之處了?！?/p>

算法與醫(yī)學(xué)實踐還有一點類似，重要的算法也應(yīng)該使用隨機對照試驗進(jìn)行測試。如果一個算法的程序員聲稱他的算法可以測評出老師是否應(yīng)被解雇，或者犯罪嫌疑人是否應(yīng)被保釋，我們的回答是“證明它”。醫(yī)學(xué)發(fā)展史告訴我們，很多理論聽起來無懈可擊，但操作起來就不是那么回事了。算法不是藥物，簡單地克隆FDA這樣的組織是行不通的；我們需要在更短的時間內(nèi)進(jìn)行試驗，并從不同的角度看待知情同意（臨床試驗對于批準(zhǔn)新藥用于人類的標(biāo)準(zhǔn)很高；我們也還不清楚能否將這些標(biāo)準(zhǔn)運用于教師或犯罪嫌疑人評估的算法上）。不過，任何對他們算法有信心的人都應(yīng)該歡迎公眾的檢驗。所以，除非那些算法可以證明自己，否則我們是不能把學(xué)校和法院這樣重要機構(gòu)的評估托付給算法的。

當(dāng)然，不是所有的算法都值得被如此關(guān)注。讓外部專家去審核塔吉特母嬰用品優(yōu)惠券的算法，就小題大做了。需要審核哪個算法要看具體情況，對算法可信度和透明度的要求也要具體情況具體分析。

例如，我們對YouTube（油管）的視頻推薦算法和網(wǎng)飛的電影推薦算法要求就不一樣。YouTube上有大量不良視頻，其推薦引擎也因經(jīng)常推薦這些不雅或暗黑的視頻而遭人詬病。目前，是否有證據(jù)證明YouTube引擎的激進(jìn)主義還是個未知數(shù)，但如果沒有更多的算法透明度，就很難說清它不是這樣的。

網(wǎng)飛的問題是另一個類型的：擔(dān)心競爭。它的推薦算法是依據(jù)客戶以往觀看過哪些電影這樣巨大的秘密數(shù)據(jù)庫而搭建的，亞馬遜也有一個類似的巨型數(shù)據(jù)庫，但它們都不公開這些數(shù)據(jù)庫，這無助于算法的提高。假設(shè)我是一個很有想法的年輕企業(yè)家，想根據(jù)人們以前的觀影習(xí)慣，用一種新的算法來預(yù)測人們會喜歡哪些電影。如果沒有大數(shù)據(jù)來檢驗，我的好點子永遠(yuǎn)無法付諸實踐。是的，亞馬遜和網(wǎng)飛的觀影推薦算法沒有什么可指責(zé)的，但是有沒有辦法強迫它們公開自己的數(shù)據(jù)庫，促成算法設(shè)計方面的競爭，最終讓消費者受益呢？

這當(dāng)然涉及隱私問題。你可能認(rèn)為這是一個很容易解決的問題：只需從記錄中刪除姓名，數(shù)據(jù)就成匿名的了。沒那么簡單：有了一個豐富的數(shù)據(jù)集，并通過與其他數(shù)據(jù)集進(jìn)行關(guān)聯(lián)，很容易就可以知道#961860384是誰了。網(wǎng)飛曾經(jīng)舉行了一個尋找更好推薦算法的競賽，為此向技術(shù)人員發(fā)布了一個匿名數(shù)據(jù)集。不幸的是，結(jié)果發(fā)現(xiàn)它的一個會員在網(wǎng)飛上發(fā)表了對一部家庭錄像的評論，但又以真實姓名將同一評論發(fā)布在互聯(lián)網(wǎng)電影數(shù)據(jù)庫網(wǎng)站（IMD）上。這樣網(wǎng)飛用戶就知道她是誰了，要命的是她的評論表明她是個女性同性戀者，這是她的死穴，也是不希望別人知道這事。

此事鬧得沸沸揚揚，她起訴網(wǎng)飛“暴露”了她的隱私，最后雙方私下和解了結(jié)了此事。

盡管公開數(shù)據(jù)庫這個問題十分棘手，但是必須找到解決方法。方法之一是允許被授權(quán)的技術(shù)人員接觸數(shù)據(jù)庫。另一種方法是發(fā)布“模糊”數(shù)據(jù)，即所有單個數(shù)據(jù)都模糊處理，但不影響整個數(shù)據(jù)結(jié)構(gòu)的完整性。因為不解決數(shù)據(jù)庫公開的問題，就難以保證商業(yè)上的公平競爭。像谷歌和臉書這樣的公司，因為它們擁有巨大的數(shù)據(jù)庫，從而獲得了絕對的競爭優(yōu)勢，可以輕易把小的競爭對手扼殺在萌芽狀態(tài)，或者使用一個服務(wù)（如谷歌搜索）的數(shù)據(jù)來推廣另一個服務(wù)（如谷歌地圖或安卓系統(tǒng)）。如果這些數(shù)據(jù)中的一部分被公開，其他公司就能夠從中學(xué)習(xí)借鑒，并提高或改善算法，以更好的服務(wù)向大公司發(fā)起挑戰(zhàn)。不僅商界人士，科學(xué)家和社會學(xué)家也可以從大數(shù)據(jù)庫中受益。一種可能的模式就是要求私人“大數(shù)據(jù)庫”在若干時間后公開，并提供適當(dāng)?shù)哪涿Ｗo。三年前的數(shù)據(jù)對于許多商業(yè)用途來說是過時的，但對科學(xué)研究可能仍然具有巨大的價值。

這有一個先例可以借鑒一下：專利發(fā)明人必須先同意專利到期后開放其技術(shù)，才可以得到知識產(chǎn)權(quán)保護，也許對擁有大數(shù)據(jù)集的私有企業(yè)也可以用同樣的思路來要求它們公開數(shù)據(jù)庫。

大數(shù)據(jù)正在改變我們周圍的世界，如果電腦以人類不能理解的方式代替人類做決定或預(yù)判，自然會遭到排斥。我認(rèn)為人類的擔(dān)心并不多余。現(xiàn)代數(shù)據(jù)分析可以產(chǎn)生一些奇跡般的結(jié)果，但大數(shù)據(jù)往往不如小數(shù)據(jù)可信。小數(shù)據(jù)通常可以被核實，大數(shù)據(jù)往往被深藏在硅谷的地庫里。分析小數(shù)據(jù)的統(tǒng)計工具也容易檢驗，但模式識別算法則容易成為商業(yè)領(lǐng)域敏感的神秘黑匣子。

所以我認(rèn)為我們既要抵制人們對大數(shù)據(jù)和算法的炒作，也要警惕對它們的全盤否定。涉及要緊的事情，我們應(yīng)該就事論事地不停追問：底層數(shù)據(jù)是否可訪問？算法的性能是否進(jìn)行了嚴(yán)格的評估？例如，通過隨機試驗，看看人們是否在沒有算法幫助的情況下做得更好。是否允許外部專家對算法進(jìn)行評估？他們的結(jié)論是什么？我們絕不可以把算法和人都絕對化，認(rèn)定一個怎么都比另一個好，這樣一刀切的想法才是個大大的陷阱。