算法歧視對憲法平等原則的挑戰(zhàn)與應對

許曉慧

(揚州大學 法學院，江蘇 揚州 225000)

在算法系統(tǒng)中，每個個體都被轉化為可計算的數(shù)據(jù)，個體的數(shù)據(jù)是微不足道的；而在憲法面前，每個個體的權利保護又都是不可忽略的。算法歧視性后果的發(fā)生，提醒人們有必要認真審視算法對憲法中平等價值的沖擊。[1]2014年，白宮發(fā)布了一份題為《大數(shù)據(jù)：抓住機遇，保護價值》的報告。該報告認為，受數(shù)據(jù)來源的特定性和算法設計者主觀意圖的影響，[2]算法運行本身以及算法所依賴的基礎內容并不能做到公平公正。這些偏見由于是在算法一開始時就已經注定，并且在不公開的情況下是難以發(fā)現(xiàn)其特征的，因此被該算法歧視的人往往不知道自己其實已被歧視，也便不認為該算法有什么問題。但其帶來的傷害是巨大的，因此有必要進行深入研究。

一、偏見代理的算法歧視對憲法平等原則的挑戰(zhàn)

偏見代理的算法歧視(又稱“關聯(lián)歧視”)，[2]正是利用了個人識別數(shù)據(jù)擴展的因素，通過相關性，利用各類特征之間的潛在關聯(lián)，最終達到了歧視的目的或者意外的使歧視性后果發(fā)生。在大部分情況下，這類歧視中歧視性后果的產生并不是因為算法決策者使用了歧視性的運算邏輯，反而是利用算法邏輯的漏洞，將客觀中立的數(shù)據(jù)組合產生歧視性后果。能夠導致關聯(lián)歧視的往往有兩種情形：一是關聯(lián)的數(shù)據(jù)本身不真實；二是關聯(lián)的內在邏輯不自洽，其中又分為選擇的關聯(lián)詞為非必要關聯(lián)詞，以及該關聯(lián)詞與篩選出的數(shù)據(jù)之間不存在必然性兩種情況。

算法決策和預測具有一定的合理性是基于判斷的基礎數(shù)據(jù)是客觀中立的。但現(xiàn)實中存在一定“張冠李戴”的現(xiàn)象，也即行為與主體之間不對應，如身份信息被盜用形成的貸款逾期記錄。[3]在此基礎上進行算法的運算其實是一種不公正。對于數(shù)據(jù)不真實導致的算法歧視問題，解決關鍵在于對數(shù)據(jù)進行嚴格的審查。對于數(shù)量龐大的大數(shù)據(jù)而言，相應的審查工作應當由使用算法進行篩選的人承擔，因為他們知道所使用數(shù)據(jù)是否真實，更容易發(fā)現(xiàn)錯誤，同時也不會將敗訴的風險加在被篩選的人身上。該種情況下最大的弊端就是，如果某些當事人因維權成本高昂卻帶來收益較小的原因而放棄主張，那么算法決策者盡管知道違法也可能會去冒險。因為他們會賭少有人去維權或者就算會有小部分人維權，也可以利用大部分人的損失來填補?！秱€人信息保護法》第八條雖然規(guī)定了審查主體應當保障信息安全，但沒有規(guī)定是單一指利用算法進行信息處理，還是既包括該情形又包括將信息進行轉移時(如信息收集方將信息處理外包給第三方公司)，此時信息保障是雙方都有責任還是只有一方有責任。個人認為，此處可以理解為既包括將信息以傳輸?shù)姆绞睫D移給他人，也包括真正意義上的信息處理者。信息處理者應當對接收到的信息進行處理時負責。對信息所有者而言，二者應當承擔連帶責任。

偏見代理算法歧視出現(xiàn)的另一個原因是不同目標變量之間的關聯(lián)關系，可能是有一定邏輯判斷的因果關系，也可能是毫無邏輯的碰巧。但是算法對此并不解釋和區(qū)分，只要算法認為關聯(lián)性足夠強，雙方之間有一定的共通關系，哪怕這個關系對于篩選來說是毫無意義，但仍會用來對分析對象進行分類和預測。[3]在篩選時輸入的并不一定是特意帶有歧視性的關鍵詞，而是一般的關鍵詞，只是該關鍵詞可能會引起其他關聯(lián)性因素，從而致使出現(xiàn)算法歧視。算法決策者之所以會產生這種歧視，其原因主要在于他們的“冗余編碼”。[2]這種關聯(lián)性的篩選會使一些心懷不軌的人利用該原理，通過數(shù)據(jù)畫像技術從行為數(shù)據(jù)中識別出分析對象的某些類型特征，從而做出對其不利的評價，也即為了獲得該結果而反向推導出特征，再利用該特征進行篩選，從而規(guī)避掉法律明文禁止的種族、民族、性別等歧視。[3]對于該種歧視，最直接的解決辦法就是公開算法運作的內容。但需注意的是，公開并不意味著不加區(qū)分的公開，因為算法決策的內容往往與特定的某個人或某類人有關。即使是完全公正的算法決策的公開，在未作出正確定論之前也會使無辜的某個人或某類人處于輿論的中心，受到傷害。因此，一般而言只需對涉及的相關人進行公開，特別嚴重時也需要在公開時注意保護被算法決策相關人的個人信息。

在偏見代理的算法歧視中，算法決策人在大部分情況下主觀上并沒有歧視的目的，歧視的產生是因為技術與數(shù)據(jù)審核上的一些問題。因而算法決策若只是適用于社會經濟權利，其手段與目的上具有合理性，屬于合理差別的范圍；但若運用于如量刑或者與公民各項基本權利相關的情況時，則應當謹慎地適用，除非能有百分百把握可以避免產生偏見代理的算法歧視。如果無法排除算法決策人是否具有主觀歧視的因素時，此時偏見代理的算法歧視與下文特征選擇的算法歧視實際上只是明示歧視與隱性歧視的區(qū)別。

二、特征選擇的算法歧視對憲法平等原則的挑戰(zhàn)

算法決策主要是對大數(shù)據(jù)進行的分析，而分析標準的選取、賦值以及分類方法實際上都是人為設定的，摻雜著人的主觀選擇，[4]由此便產生了特征選擇的算法歧視。特征選擇的歧視直接將帶有歧視含義的敏感屬性輸入系統(tǒng)，是傳統(tǒng)歧視模式在網絡社會中的一種反映，[2]即相較于傳統(tǒng)歧視模式而言只是介入了大數(shù)據(jù)、算法等因素。例如在“Google算法歧視案”中，人們搜索“非洲裔美國人”相關名稱時，往往會顯示更多的與犯罪相關的信息等。[2]

算法預測是通過過去來預測未來，也可以說算法預測模型表面上是面向未來的，實質上是面向過去的。[1]也因如此，特征選擇的算法歧視會加重統(tǒng)計性歧視，因為在進行特征選擇時會加重決策者對于被納入該范圍的人的調查與研究，將會獲得更多的負面信息，從而加重決策者的固有偏見。例如，Google案中的算法可能會增加對非洲裔申請者犯罪背景的調查次數(shù)，因為凡利用該算法篩選的人會認為非洲裔申請者曾犯罪以及今后犯罪的可能性會比普通人高，會加大對于非洲裔申請人的了解與驗證，并隨著調查次數(shù)的增加，會挖掘出非洲裔人群更多的犯罪記錄，同樣也會減弱其他人群犯罪比率，加劇偏見的惡性循環(huán)。[2]在這種算法的作用下產生的歧視難以因為優(yōu)秀的個體而改變，人們會認為這個優(yōu)秀的個體是偶然存在的而不會去反思是否應當以這個特征劃分群體，畢竟對于偶然的歧視來說，形成固板認識是更為嚴重的，因而對于一個群體而言其損害后果更加嚴重。[3]

特征選擇的算法只有當基于被特定人考慮而做的選擇時，才是符合合理差別待遇理念的，其他特征選擇的算法則是明顯不符合憲法所規(guī)定的平等內涵。特征選擇的算法往往是最赤裸的歧視，對于該種歧視的應對方案首先是對算法本身的屏蔽，即在技術允許的情況下，應當對算法程序加一道“防火墻”，對于算法決策者的決策進行自檢；其次仍然是公開，公開算法決策者的選擇內容與算法決策的運算過程，算法決策者會因為懼怕公開這一行為可能帶來的不利后果，而謹慎進行特征選擇，放棄作出歧視行為。

三、大數(shù)據(jù)“殺熟”對憲法平等原則的挑戰(zhàn)

大數(shù)據(jù)信息分析是人工智能發(fā)展到一定程度的產物，除了專門的研究者外，普通人幾乎不了解第三方正在收集多少有關自己的信息以及何種情況下自己個人信息會被收集。[5]也正因如此，公眾對于數(shù)據(jù)收集者如何運用數(shù)據(jù)進行“殺熟”更是毫不知情。中國消費者協(xié)會曾揭露了現(xiàn)實中部分數(shù)據(jù)擁有者對數(shù)據(jù)的不當利用，也點醒了大部分公眾，使其意識到自身權益正在被侵害，需要加大保護個人信息的力度。

大數(shù)據(jù)“殺熟”中的價格歧視往往是利用新老客戶、不同地區(qū)消費、客戶瀏覽次數(shù)等條件，制造相同產品不同價格。例如，會員用戶反而比普通用戶價格更貴，高檔手機付費更多，多次瀏覽頁面用戶的商品價格比第一次瀏覽用戶的商品價格貴等。[2]Ezrachi和Stucke的一項研究對歧視價格的形成做過一個表述：掌握大數(shù)據(jù)的企業(yè)可以利用數(shù)據(jù)庫建設輔助自主學習算法，實現(xiàn)優(yōu)化行為、定向廣告、制作個性化促銷信息以及定價工作，通過機器學習和跨設備進行用戶定位追蹤，將“大數(shù)據(jù)”轉化為“智能數(shù)據(jù)”，其所掌握的顧客個人信息數(shù)據(jù)越多，越有利于定價算法更好地預測消費者的行為和喜好，進而實現(xiàn)價格歧視。[6](P113-169)

特定推送是指人們在線上交易過程中往往會形成瀏覽、收藏、下單、評價等記錄，[2]甚至有些商家利用監(jiān)聽的形式獲取信息。互聯(lián)網商家便利用這些大數(shù)據(jù)，尋找出自身用戶的喜好或者尋找適合自己所推送內容的客源。例如，當我們近段時間特別關注某些問題，并通過搜索、聊天或談話等暴露出這些關注點時，手機上的應用軟件反應極其靈敏，即會彈出相關的廣告，吸引你的目光。

不論是價格歧視還是特定推送，其實都是將人們進行分類，不同的人給定不同的內容。這個看似合理的行為，實際上是對平等原則的挑戰(zhàn)。價格歧視毫無疑問，讓某一特定的群體支付了原本無需如此高昂的價格，是不符合憲法規(guī)定的平等內容的，其主要問題是違反了同品同價、同質同價的市場交易一般規(guī)則。[7]在“米龍與云南世博集團有限公司、昆明世博園股份有限公司消費索賠糾紛案”①中，法院在承認世博園按照消費者的不同地區(qū)來源確定不同的消費價格是一種價格歧視，為不同的公民創(chuàng)造了不同的消費條件和機會時，也指出該價格歧視因被告的告知行為而成為合法行為。因為被告已經充分履行了告知義務，并沒有侵犯消費者自主選擇是否進行消費的權利。而原告在已知該票價存在差異的情況下仍然購票的行為，足以表明其自愿接受差別票價的待遇。[8]那么這個案件是否能夠為算法價格歧視做開脫理由呢？其實并不能如此。該案中有一個非常重要的區(qū)別點：被告聲稱充分履行了告知義務，其實際上并沒有剝奪原告自主選擇權，票價區(qū)分是為了促進本地游客的消費，是合理差別對待的范圍。但是算法價格歧視是隱性的，價高的購買者并不知道還有價低的購買者的存在。在這類購買者眼中認為該商品就是這個價格，實際上剝奪了其知情權與選擇權，并不是一種合理的差別對待，不符合憲法規(guī)定的平等內容。同樣，雖然特定推送實際上是基于人們的搜索、聊天等自身行為而進行的推送，但是無法排除算法決策者利用一些關聯(lián)來掩蓋自身的歧視。因此，如果特定推送只是提供定制化服務，那么應當設置提示讓消費者知曉，這種特定推送才是正常的技術手段，并沒有挑戰(zhàn)平等原則。

想要控制價格歧視和特定推送，首先要控制大數(shù)據(jù)的收集。對于大數(shù)據(jù)的收集來說，最嚴峻的問題就是被收集者根本不知道自己的信息被收集，并且大多數(shù)人還存在一種消極態(tài)度，即對于信息的保護并不在意或有部分人認為自己的信息已經泄露，無需再費力去保護。這些因素的累加，給大數(shù)據(jù)的收集提供了極大便利。因此，一是要提高公眾對于自己個人信息保護的意識，通過宣傳個人信息保護的重要性讓公眾能夠認真對待個人信息，防止個人信息從自己處泄露，減少他人收集信息的渠道。二是要控制信息收集者對信息的收集，例如有些超市在設置存儲柜時，使消費者不得不允許其收集人臉信息，這具有一定強制性但并不具有必需性，應當加以控制，減少個人信息丟失的途徑。三是構建合理機制與完善相關法律規(guī)定。例如《在線旅游經營服務管理暫行規(guī)定》第十五條規(guī)定了在線旅游經營者不得濫用大數(shù)據(jù)分析等技術手段，侵犯旅游者合法權益；《個人信息保護法》第十三條到第十八條規(guī)定了信息處理者處理信息的核心內容是要征求信息所有者的“同意”。其次是控制大數(shù)據(jù)的傳播?！秱€人信息保護法》中對信息轉移做了明確規(guī)定，因合并、分立而需要數(shù)據(jù)轉移的，需要告知信息所有者，并說明使用該數(shù)據(jù)的目的以及處理方式是否變化；如果數(shù)據(jù)轉移牽涉到交易平臺的，應要求交易平臺進行基礎審核。最后是控制大數(shù)據(jù)的擁有者。對于不帶有強制性的信息數(shù)據(jù)，可以由私人進行保管；但對于一些帶有強制性的、必須透露個人信息的數(shù)據(jù)，應當由國家進行保管，而不是簡單交由某個私人企業(yè)。

四、結語

算法的發(fā)展對人類有著極大的進步作用，但也不能急功近利，在發(fā)展的同時要不斷關注其帶來的問題，不能讓有利的發(fā)展反而侵犯了最基本的權利。偏見代理、特征選擇和大數(shù)據(jù)“殺熟”等三種基本形態(tài)的算法歧視不斷涌現(xiàn)，并不斷挑戰(zhàn)憲法中的平等原則。算法歧視是真實存在的，并且具有極強的隱蔽性，要通過明晰判斷標準，時刻注意算法歧視到底是在合理差別對待范圍內，還是已經挑戰(zhàn)平等的內容。一是要判斷決策者的主觀意愿，是否存在歧視的主觀故意；二是防止有人利用算法的缺陷，通過一些其他方式掩蓋歧視的存在。因此，如果有侵害權利的現(xiàn)象出現(xiàn)，就必須根據(jù)算法決策的適用范圍、可能影響的合法權益去判斷使用該算法決策的手段與目的是否符合合理差別對待原則，以及該種歧視后果可否避免。

在算法歧視所帶來的平等挑戰(zhàn)的應對上，一是需要使被收集者知情，可以在每次收集前通過提示的形式告知，并且該收集除非是為了公共利益，否則要有可以選擇是否告知信息的選項；二是數(shù)據(jù)收集時需具有合理性與必要性，是為了提高服務水平或是必須獲取該信息才可運行時才能進行數(shù)據(jù)收集；三是需要加大對數(shù)據(jù)的審查，在使用該數(shù)據(jù)時需要保證數(shù)據(jù)的正確性，至少是高度可能的情形；四是不能利用大數(shù)據(jù)進行不公正或者違法的事情，數(shù)據(jù)的利用上必須合法合理；五是通過公開算法、所選用的數(shù)據(jù)庫內容和選擇理由，增加算法決策者的敬畏心，使被篩選者了解原因，應對“算法黑箱”問題；六是完善監(jiān)管體系，對于一些影響不大或者雖有影響但相較于訴訟成本而言還可忍受的違法收集行為，要有相對應的維權途徑。

注釋：

①云南省昆明市中級人民法院(2007)昆民五終字第363號民事判決書。