數(shù)據(jù)的偏見

uck Dormehl在《算法時代》一書中講了一個名為羅伯特·摩西的設(shè)計者，在二十世紀(jì)20至70年代，為紐約設(shè)計并修建了多處道路、公園和橋梁。在羅伯特·摩西的設(shè)計下，進入公園前的橋梁特別矮，只有2.7米左右，這就使得那些買得起轎車的有錢富人才能進入公園，而乘坐公共汽車的窮人（其中有很多是黑人）只能繞道而行。這在當(dāng)時是一種有代表性的觀念，現(xiàn)在來看，則是難以容忍的偏見——這種偏見并不是訴諸文字法律，而是嵌入在城市的設(shè)計中了。

在數(shù)據(jù)的時代，數(shù)據(jù)的采集者和算法的設(shè)計人員很可能存在一些他們自己都意識不到的偏見，這些偏見會影響他們對數(shù)據(jù)采集的重點，并隱蔽地藏在他們的代碼中，最終產(chǎn)生有偏見的結(jié)果。

舉個例子，我們在與某銀行就企業(yè)貸款的貸后管理進行合作時，注意到某個特定籍貫人員開設(shè)的企業(yè)存在大量貸款償還延期甚至惡意支付的現(xiàn)象。在我們把數(shù)據(jù)分析的結(jié)果反饋給銀行的同事后，他們針對主要自然人股東中有相應(yīng)籍貫或者法人股東注冊在該地區(qū)的企業(yè)，添加了新的需要提供的盡調(diào)內(nèi)容（更多的數(shù)據(jù)），并且人為收緊了放貸。這個結(jié)果是我們分析人員不可控的，也是一個典型的頭痛醫(yī)頭腳痛醫(yī)腳的方法，我個人認(rèn)為不會產(chǎn)生一個解決方案，而只是讓數(shù)據(jù)和模型變得復(fù)雜和丑陋。很可能這個地區(qū)之所以出現(xiàn)高風(fēng)險，是該地區(qū)特定經(jīng)濟形勢造成的，例如鄂爾多斯等地曾因能源價格下降發(fā)生過系統(tǒng)性經(jīng)濟風(fēng)險，溫州商人的現(xiàn)金流曾因非法集資遭受整體性的影響，等形勢過去后，問題就會緩解甚至自動消失。但是等到那個時候，銀行的這一批技術(shù)人員很可能已經(jīng)離職或者升職，下一批同事也許都不能理解這些與眾不同的數(shù)據(jù)采集和風(fēng)控模型背后的邏輯了，所以這個針對特定地區(qū)的風(fēng)控偏見，可能會一直持續(xù)下去。

公共安全的管理也會存在類似問題。比如有豐富經(jīng)驗的公安人員，對于什么樣的人會涉毒、什么樣的人有暴力犯罪的危險，都有自己的一套判斷方法，這和他個人曾經(jīng)成功的經(jīng)歷以及他自身的性格特點有關(guān)。因此，一個用來管理高風(fēng)險人群并進行提前預(yù)警的系統(tǒng)，如果確認(rèn)第一批數(shù)據(jù)采集的方向和內(nèi)容，那么咨詢A專家和B專家，得到的結(jié)果一般是不同的。

讓我們不安的是，這種因為系統(tǒng)設(shè)計人員帶來的初始偏見，有可能隨著數(shù)據(jù)的積累和算法的運轉(zhuǎn)慢慢強化放大。舉個例子，如果現(xiàn)在我們有一套抓小偷的工具，而能夠抓到的小偷只是真實小偷總數(shù)的一小部分。如果說中國的小偷主要來自于兩個地方：A地和B地，大約各占一半。設(shè)計這個系統(tǒng)的人以前抓過的小偷大部分來自A地，于是，算法一開始就會把是否是A地人作為一個重要的參考特征，從而更多提醒警察關(guān)注A地人——這當(dāng)然會讓更多A地小偷落網(wǎng)。于是，這就進一步證明了把A地人作為重點監(jiān)控對象是正確的，因此這個特征的權(quán)重會越來越大，算法中A地小偷的樣本數(shù)占比也會越來越大。由于最早在這個系統(tǒng)做驗證時，所有的數(shù)據(jù)都有一定偏差，于是偏見就積累并且被放大了。有的讀者會問：如果不是把“是否是A地人”作為特征，而是把戶籍作為一個特征，并且引入自適應(yīng)的機器學(xué)習(xí)機制，這個問題是否就會得到解決呢？但是，真實情況比設(shè)計要復(fù)雜很多，設(shè)計人員在選擇特征的時候，往往會自以為做出了顯著正確的選擇，而事實上是受限于初始數(shù)據(jù)和個人經(jīng)驗的局限性，而賦予了一個有偏見系統(tǒng)的第一推動力。

即便完全去掉個人經(jīng)驗的影響，看起來中立的技術(shù)本身，也可能帶來偏見。比如在美國，面部識別技術(shù)對于男性的識別率高于女性，對于非白種人的識別率高于白種人，這就意味著一個犯罪現(xiàn)場出現(xiàn)過的白人女性，被識別出來的概率要小于非洲裔的男性。盡管算法不是有意為之，但是只要不是100%完美，總會存在自身的偏差，這些偏差投射在社會中，就可能成為算法導(dǎo)致的偏見。這種偏差甚至在一個人出生之前就可能遇到，因為隨著B型超聲波技術(shù)的發(fā)展和普及，同樣嚴(yán)重等級的出生缺陷，凡是能從B超中檢查出來的，就很可能被人工流產(chǎn)，而不能被B超檢查出來的，“活著生出來”的概率就大得多——盡管這不一定是一件幸事。

我從2007年開始，就一直做個性化推薦方面的算法研究。個性化推薦系統(tǒng)的算法本身是沒有什么偏見可言的，無非是根據(jù)消費者以前的購買記錄，來預(yù)測他最可能購買的東西，從而給他推薦。如果這位消費者是一個窮人，以前買過的東西都是相應(yīng)品類中單價最低的，那么他在系統(tǒng)畫像中有一個名為“價格敏感程度”的維度，分?jǐn)?shù)會頂呱呱得高！于是乎，當(dāng)他搜索一個關(guān)鍵詞時，從前到后翻十頁，看到的都是為他這樣的窮人量身定做的便宜貨。如果說LV的店面上掛一個橫幅，寫著“窮人與狗不得入內(nèi)”，那肯定會被砸了——因為這是不得了的偏見和歧視，但是在互聯(lián)網(wǎng)上，數(shù)據(jù)和算法帶來的偏見卻很隱蔽，而且，從綜合的算法效果來說，還很正確！

當(dāng)我們積累了越來越多的數(shù)據(jù)，我們的喜好就會被刻畫得越來越清晰，于是乎算法會給出越來越精確符合我們需要的服務(wù)。逐漸地，我們會被計算機封鎖在一個狹窄的空間里面，因為我們所讀之書都符合以前的興趣，所試的衣服都符合以前的審美，所購買的商品都符合以前的經(jīng)濟水平。這很可能也是一種無形的偏見，而且人機互動互為增益——不僅是偏見，還是個性化的偏見。（作者為電子科技大學(xué)互聯(lián)網(wǎng)科學(xué)中心主任，教授）