青硯
隨著基于大數(shù)據(jù)的自動(dòng)化決策科技在個(gè)人對健康、教育、工作、信用、商品和服務(wù)的取得上,扮演著逐漸重要的角色,甚至是“生殺予奪”的權(quán)重時(shí),我們就應(yīng)該對大數(shù)據(jù)、自動(dòng)化決策過程的影響高度重視起來。
大數(shù)據(jù)時(shí)代,
甲骨文和谷歌如何操控陪審團(tuán)
5月9日,甲骨文訴谷歌侵犯專利案的主審法官Alsup對陪審團(tuán)成員說,“你們需要調(diào)整社交賬號(hào)中的隱私設(shè)置”。
其實(shí),法官是希望陪審團(tuán)成員能將賬號(hào)設(shè)為“僅朋友可見”,這樣訴訟雙方的律師團(tuán)隊(duì)就沒法在臉譜、領(lǐng)英、推特等社交平臺(tái)上找到他們,研究他們,進(jìn)而用各種辦法影響甚至操控他們。
在美國,甲骨文訴谷歌案備受關(guān)注,涉及的賠償金額可能高達(dá)93億美元。在此對案情做簡單介紹:甲骨文公司于2010年控告谷歌開發(fā)的Android系統(tǒng)侵犯了Java專利,陪審團(tuán)發(fā)現(xiàn)谷歌的確使用了至少37個(gè)Java的接口程序(API),但地方法院的法官認(rèn)為接口程序并不受版權(quán)保護(hù)。2014年,上訴法院推翻了該判決,隨后最高法院拒絕受理谷歌的上訴,使得該案又重新回到地方法院的手上?,F(xiàn)在,地方法院需要審理的焦點(diǎn)是,谷歌使用Java接口程序的做法是否屬于“合理使用”(fair use)。如果是,谷歌就可免于支付高額的賠償。
其實(shí)早在今年3月份的審前聽證會(huì)上,法官Alsup就建議甲骨文和谷歌的律師團(tuán)隊(duì)同時(shí)承諾不對陪審團(tuán)成員開展社交網(wǎng)絡(luò)研究。在Alsup看來,“如果通過搜索發(fā)現(xiàn)一名陪審員最喜歡的書是《殺死一只知更鳥》,律師很容易就能根據(jù)這本書的內(nèi)容或風(fēng)格,甚至利用這本書作者剛剛?cè)ナ肋@個(gè)事實(shí),類比地構(gòu)造出一些論據(jù)或者提問的角度,來迎合這名陪審員……同樣的手法可以運(yùn)用于陪審員對貿(mào)易、創(chuàng)新、政治的態(tài)度……用如此算計(jì)好的方式來討好陪審員無疑是一種出格的行為。更重要的是,法官不掌握陪審員個(gè)人偏好等信息,因此無法辨識(shí)出律師的伎倆?!?/p>
谷歌響應(yīng)法官的提議,決定不用自己的技術(shù)研究陪審團(tuán),但由于甲骨文拒絕了法官的建議,自然谷歌也不用做出任何承諾。最后,Alsup法官只能要求兩家公司律師團(tuán)隊(duì)對陪審員做的任何研究,都必須向他本人如實(shí)披露。同時(shí),為了盡可能地避免陪審團(tuán)被影響、操控,才有了文章開頭發(fā)生的那一幕。
大數(shù)據(jù)時(shí)代,你可能面臨的歧視
隨著移動(dòng)互聯(lián)網(wǎng)的普及,社交生活網(wǎng)絡(luò)化的泛濫,我們每個(gè)人在享受信息技術(shù)帶來的便利時(shí),每分每秒也在留下自己的數(shù)字足跡(digital footprint),包括現(xiàn)在或過去任何一個(gè)時(shí)點(diǎn)所在的位置、移動(dòng)軌跡等等,平臺(tái)、應(yīng)用等商品和服務(wù)提供者有能力搜集并分析利用,以了解我們的活動(dòng)范圍、生活習(xí)慣、各種偏好,并最終描繪出我們每個(gè)人的“數(shù)字畫像”(digital profiling)。正如法官Alsup所擔(dān)心的,互聯(lián)網(wǎng)公司把基于大數(shù)據(jù)的精準(zhǔn)定位和營銷,“創(chuàng)造性”地用到庭審訴訟雙方的辯論中,很可能會(huì)左右陪審團(tuán)的判斷,控制庭審的結(jié)果。
事實(shí)上,描繪出個(gè)人的數(shù)字畫像進(jìn)而“投其所好”,還是大數(shù)據(jù)一種“相對保守”的利用方式。畢竟在微信朋友圈中,是看到豪車還是飲料的廣告,頂多成為我們吹?;蜃猿暗恼勝Y。但隨著基于大數(shù)據(jù)的自動(dòng)化決策科技 (automated decision-making) 在個(gè)人對健康、教育、工作、信用、商品和服務(wù)的取得上,扮演著逐漸重要的角色,甚至是“生殺予奪”的權(quán)重時(shí),我們就應(yīng)該對大數(shù)據(jù)、自動(dòng)化決策過程的影響高度重視起來。
例如,當(dāng)大數(shù)據(jù)和算法判斷求職者為男性時(shí),為其推送高薪主管職位消息的概率遠(yuǎn)大于同等條件的女性求職者;利用大數(shù)據(jù)計(jì)算參與恐怖主義活動(dòng)的概率,并采取各種不同程度限制出行或監(jiān)控的措施;在缺乏直接信用記錄和數(shù)據(jù)的情況下,基于其他信息(如電話賬單、教育背景、社交網(wǎng)絡(luò)等)預(yù)估信用評分,最終導(dǎo)致特定群體的人無法申請小額貸款;信用卡發(fā)卡銀行降低某人信用額度的原因并非基于該持卡人的消費(fèi)與還款記錄,而是基于該持卡人被歸為“同一類型”之消費(fèi)者所共同擁有的記錄與特征等等。
2016年1月6日,美國聯(lián)邦交易委員會(huì)公布報(bào)告《大數(shù)據(jù):吸納或排他的工具?》(Big Data: A Tool for Inclusion or Exclusion? Understanding the Issues)中還舉了這樣一個(gè)例子:
2012年,當(dāng)桑迪颶風(fēng)肆虐美國時(shí),短短時(shí)間,推特上產(chǎn)生了超過2000萬條相關(guān)的消息,其中包含了大量關(guān)于颶風(fēng)和受災(zāi)人群的信息。為了做到救災(zāi)資源的有效配置,美國當(dāng)局決定對推特上的消息進(jìn)行實(shí)時(shí)分析,以此判斷哪些地區(qū)、哪些人群最需要幫助??墒鞘潞蠓治龌仡櫚l(fā)現(xiàn),因?yàn)殡娏?yīng)受到嚴(yán)重影響,導(dǎo)致重災(zāi)區(qū)人群無法發(fā)出大量的網(wǎng)絡(luò)消息,所以恰恰是受災(zāi)最重地區(qū)的推特消息最少。對推特消息的分析形成了不準(zhǔn)確的數(shù)據(jù)視圖,無法正確指向受災(zāi)最重的地區(qū)以及最需要幫助的人群。
被大數(shù)據(jù)歧視了怎么辦?
為避免大數(shù)據(jù)可能帶來的歧視或偏差,美國政府從2014年開始發(fā)布了多份報(bào)告,希望引起社會(huì)各界對此問題的重視。2014年5月1日,美國白宮發(fā)表報(bào)告《大數(shù)據(jù):抓住機(jī)會(huì)、保存價(jià)值》(Big Data: Seizing Opportunities, Preserving Values)。報(bào)告建議:“聯(lián)邦政府主要的公民權(quán)利和消費(fèi)者保護(hù)機(jī)構(gòu),包括司法部、聯(lián)邦貿(mào)易委員會(huì)、消費(fèi)者金融保護(hù)局和公平就業(yè)機(jī)會(huì)委員會(huì),應(yīng)當(dāng)主動(dòng)研究有可能對特定階級帶來歧視性影響的大數(shù)據(jù)分析的做法和結(jié)果,并制定計(jì)劃調(diào)查和解決違反法律的此類事件?!?/p>
上文提到的美國聯(lián)邦交易委員會(huì)的報(bào)告建議,在進(jìn)行分析之前,首先要確保數(shù)據(jù)具有代表性;企業(yè)必須謹(jǐn)防數(shù)據(jù)模型中隱藏的偏差,厘清統(tǒng)計(jì)關(guān)聯(lián)性和因果性之間的區(qū)別;企業(yè)需要詳盡審視相關(guān)模型所依賴的因子,把握好預(yù)測分析與公平性之間的平衡關(guān)系;在流程建設(shè)上,允許消費(fèi)者能訪問自身數(shù)據(jù)并就錯(cuò)誤或遺漏提出異議。
2016年5月4日,美國白宮發(fā)布報(bào)告《大數(shù)據(jù):關(guān)于算法系統(tǒng)、機(jī)會(huì)、公民權(quán)利的報(bào)告》(Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights)。報(bào)告提出通過算法和系統(tǒng)的設(shè)計(jì)來實(shí)現(xiàn)平等權(quán)利(a principle of “equal opportunity by design”),并建議研究機(jī)構(gòu)和行業(yè)一起,開展算法審計(jì)和對大數(shù)據(jù)系統(tǒng)的外部測試以保證人們被公平對待。
歐洲在這方面走在了其他國家的前面。將于2018年5月25日正式生效的歐盟《一般數(shù)據(jù)保護(hù)條例》,在第22條明確規(guī)定了對于僅僅以自動(dòng)化方式(包括數(shù)字畫像)做出的、對個(gè)人能夠產(chǎn)生法律效果的或其他類似的顯著影響的決定,個(gè)人有權(quán)免受這樣決定的制約。
在我國,大數(shù)據(jù)和自動(dòng)化算法高歌猛進(jìn),與此同時(shí),我們是不是也應(yīng)該放慢下腳步,仔細(xì)想想如何將其可能的負(fù)面影響降到最低?