信息系統(tǒng)自動決策機制中的算法歧視

向 杰

西南科技大學(xué)，四川 綿陽 621000

一、問題的提出

自動化決策在為我們帶來公正、客觀、高效的同時，也伴隨著難以覺察、難以獲知、難以證實等特點。但由于其本身會帶來的歷史數(shù)據(jù)偏差，以及算法設(shè)計者本身的主觀性［1］，算法會不可避免地出現(xiàn)歧視性，甚至錯誤的決策。如2008年的B公司“競價排名”事件、2016年的“魏某西事件”，再到2018年的“網(wǎng)約車價格歧視事件”等。信息系統(tǒng)的自動化決策機制正在通過各種領(lǐng)域，直接或間接地影響著人們的各項基本權(quán)利。

大數(shù)據(jù)時代，自動化決策機制得到了廣泛的運用，但現(xiàn)實社會的迫切法律需求是：當(dāng)自動化決策機制作出了錯誤的或歧視性的決定時，處于不利地位的相對人如何獲得有效的救濟?與之對應(yīng)的是所產(chǎn)生的責(zé)任由誰進行承擔(dān)?在利用算法進行決策的領(lǐng)域，哪些應(yīng)該得到開放，哪些則應(yīng)該進行限制，算法決策的邊界在哪里?在我們對算法進行審查的同時，對于企業(yè)的商業(yè)秘密如何進行有效的權(quán)衡?

為此，通過法律途徑［2］保證算法自動化決策機制的合理性、公共性以及正當(dāng)性，減少算法歧視造成的群體極化現(xiàn)象，應(yīng)該成為當(dāng)前法律關(guān)注的焦點問題。在對自動化決策造成的現(xiàn)實問題進行剖析的同時，應(yīng)結(jié)合我國當(dāng)前的法律制度，以及歐美的人工智能治理經(jīng)驗，以期在算法歧視的背景下，尋找出應(yīng)對自動化決策機制的法律途徑。

二、算法歧視的類型性分析

（一）算法歧視的含義

算法一詞，起源于《周髀算經(jīng)》，而Algorithm（算法）則來自于9世紀(jì)的波斯數(shù)學(xué)家alKhwarizmi，由其在數(shù)學(xué)上提出了算法這一概念。算法，指的是為了應(yīng)對解題方案的完整且準(zhǔn)確的描述，是解決問題的一系列指令，即用系統(tǒng)方法解決問題的機制。算法通常具有五個特性，即：可行性、有窮性、確定性、輸入性和輸出性。而算法通常用來解決結(jié)構(gòu)化問題與非結(jié)構(gòu)化問題，即定義良好的問題與定義不清的問題。

歧視，是由偏見的態(tài)度和認識引起的，是指對于偏見目標(biāo)和受害者所采取的否定性的行為表現(xiàn)。其中，由全國人民代表大會常務(wù)委員會所批準(zhǔn)的《1958年消除就業(yè)和職業(yè)歧視公約》的決定第一條表明：歧視是由于個體的身份屬性，表現(xiàn)出來的不合理的評價和主觀的區(qū)分，主要表現(xiàn)為三個要素：不合理對待、造成不良后果以及欠缺法律理由。

算法歧視，是指算法在運行過程中所出現(xiàn)的重復(fù)性的、系統(tǒng)性的錯誤，同時基于這些錯誤對某些群體或個體產(chǎn)生了不公平的算法結(jié)果，由此損害其正當(dāng)利益。算法歧視的發(fā)生，在主觀性上既可以表現(xiàn)為無意識也可以表現(xiàn)為有意識，其主體既可以是算法本身，也可以是算法設(shè)計者或算法使用者，而對于結(jié)果的發(fā)生通常都是難以覺察、難以獲知和難以證實的。

（二）算法歧視的特征

隨著算法在大數(shù)據(jù)時代的應(yīng)用，算法歧視也發(fā)生了日新月異的變化，而算法歧視本身也被賦予了鮮活的時代特征。

1.算法歧視的隱秘性。隱秘性需要從兩個角度進行解讀，一方面，從內(nèi)部特征而言：算法本身具有“黑箱”特性，而它在運行過程中所表現(xiàn)出來的“相關(guān)性”難以被社會大眾所理解，所輸出的結(jié)果是無法追溯的，在此過程中算法被理解為一種“黑箱”。從外部角度而言：算法本身所涉及的內(nèi)容，大都為一個公司的商業(yè)秘密，因此算法的使用者往往基于信息程度上的強弱差異，對算法的結(jié)果進行掩蓋，而這種掩蓋的結(jié)果往往難以被發(fā)現(xiàn)。

2.算法歧視的復(fù)雜性。算法歧視之所以復(fù)雜，一是基于算法技術(shù)本身的復(fù)雜性，算法是基于底層決策的模型而進行運作的，同時算法模型可以進行“自主學(xué)習(xí)”，隨時間的變化而日趨完善，其復(fù)雜性不言而喻；二是算法的運作邏輯在于“人機互動”，不同類型的數(shù)據(jù)在不同的環(huán)境中，會表現(xiàn)出不同的差異性，而算法最終的結(jié)果增加了算法歧視的復(fù)雜性。

3.算法歧視的類型性。由于“數(shù)據(jù)池”基數(shù)的龐大，在算法運作過程中需要根據(jù)算法的使用目的以及數(shù)據(jù)特征，進行有序的數(shù)據(jù)排列，從而對數(shù)據(jù)值進一步的賦予權(quán)重比例。于是算法標(biāo)簽與歧視性結(jié)果便產(chǎn)生了關(guān)聯(lián)，而這類算法對特征性的群體則具有類型性的特征。

（三）算法歧視的類型表現(xiàn)

算法歧視根據(jù)是否涉及身份關(guān)系，大致可以分為兩類：身份性歧視與非身份性歧視。前者指的是社會集群的身份屬性［3］，后者指的是不涉及身份屬性的算法歧視。

1.身份性歧視。此種類型劃分下，包括性別歧視與種族歧視。在數(shù)據(jù)化的時代背景中，由于性別觀念以及種族偏見等逐漸演變成了算法的內(nèi)在運作機理［4］，而在數(shù)字化的作用下，其偏見正在不斷地固化與加深。同時由于技術(shù)的“非中立性”，在“黑箱”效應(yīng)的影響下受歧視的群體難以察覺，更難以得到救濟。

2.非身份性歧視，包括價格歧視與排名歧視等。此種類型的歧視，主要指的是雖然個人不受到身份的影響，但卻仍然遭到了不公平的對待。算法的使用者通過搜集有關(guān)顧客的終端操作系統(tǒng)以及個人喜好等個人資料，通過算法搭建模型，從而實現(xiàn)對每一位客戶的“精準(zhǔn)營銷”，以及在算法的作用下，利用“算法排名”壁壘，進行不正當(dāng)?shù)母偁帲茐氖袌龈偁幹刃颉?/p>

三、算法歧視的法律適用難題

（一）《電子商務(wù)法》適用上的不足

算法歧視作為大數(shù)據(jù)時代的產(chǎn)物，在使用環(huán)境上也屬于線上交易，但在《電子商務(wù)法》中，卻存在適用上的不足，具體而言：

1.《電子商務(wù)法》第十八條對算法做出了針對性措施，但未禁止算法的使用。這樣的做法，雖然使消費者的選擇權(quán)得到了保護，但是并沒有賦予信息主體算法的拒絕權(quán)，算法的使用者以及設(shè)計者仍然可以通過算法來造成算法歧視這一現(xiàn)象的產(chǎn)生。

2.《電子商務(wù)法》第二十四條規(guī)定了信息主體對于其個人信息的收集使用以及使用方式的決定權(quán)，學(xué)界統(tǒng)稱為“知情—同意權(quán)”［5］。但在實際的使用過程中，很難得到貫徹落實。信息的收集使用往往是通過隱私政策的方式進行實現(xiàn)的，但在實際情況中，用戶往往未實際閱讀其中的內(nèi)容，便同意了相關(guān)的條款。同時，信息的收集者在信息的搜集過程中也未預(yù)料到信息的全部使用方式，無法切實完全履行告知義務(wù)。

（二）《消費者權(quán)益保護法》適用上存在爭議

在《消費者權(quán)益保護法》上的爭議，主要是來自于對算法歧視在法律上如何定性的爭議。一方面，經(jīng)營者有義務(wù)向消費者表露商品或服務(wù)的價格，但卻在同一情況下以另外的更高或更低的價格，展示給另一消費者。

這種價格上的差異，打破了我們對于“同一價格”的傳統(tǒng)認知，但這一行為是否違反了法律，還需要進一步的解釋。另外一個爭議，則是算法歧視行為是否侵犯了關(guān)于消費者的知情權(quán)。這一爭議的關(guān)鍵在于經(jīng)營者是否有義務(wù)向消費者提供其他人交易時的價格信息，這一問題在法律上還未做出規(guī)定。

（三）《個人信息保護法》在實踐運用上的不足

《個人信息保護法》第二十四條規(guī)定：在自動化決策中，個人信息處理者在利用個人信息時，應(yīng)當(dāng)遵守相應(yīng)的規(guī)則，其設(shè)立目的在于自動化決策的特殊性，在個人享有知情同意權(quán)的同時，個人信息處理者應(yīng)當(dāng)保障個人知情同意權(quán)，以及履行相應(yīng)的法定義務(wù)。但問題的關(guān)鍵在于，當(dāng)算法侵害了個人信息權(quán)益，造成了算法歧視時，在實踐中應(yīng)當(dāng)如何運用《個人信息保護法》的規(guī)定，保障個人的合法權(quán)益呢？首先，違反《個人信息保護法》第二十四條關(guān)于透明度與結(jié)果公平合理的要求時，可以直接要求算法使用者承擔(dān)相應(yīng)的責(zé)任。但是，此時仍然存在著一個新的難題，即決策透明度的標(biāo)準(zhǔn)為何，以及如何判斷結(jié)果的公平合理？其次，《個人信息保護法》第六十九條規(guī)定了信息處理者應(yīng)當(dāng)負的民事賠償責(zé)任，但值得細究的是，此條規(guī)定的侵權(quán)損害賠償，是否包括精神損害賠償責(zé)任以及如何認定相應(yīng)的數(shù)額呢？同時，我國的《民法典》對侵害個人信息權(quán)益的侵權(quán)責(zé)任適用哪種歸責(zé)原則并沒有進行明確。

四、算法歧視的認定及其民事責(zé)任

（一）算法歧視的認定

進入大數(shù)據(jù)時代，數(shù)據(jù)資料的生產(chǎn)為我們帶來了巨大的便利。但是，如若對算法歧視采取一個嚴格的審查標(biāo)準(zhǔn)，無疑會扼殺掉大數(shù)據(jù)的創(chuàng)新價值。為此，在司法和監(jiān)管的這一層面，建立起對算法歧視的認定標(biāo)準(zhǔn)［6］就顯得尤為重要。目前，學(xué)界關(guān)于算法歧視的認定標(biāo)準(zhǔn)主要有三大類：

1.在主觀態(tài)度上，著重分析算法歧視這一行為是基于使用者的錯誤感知還是基于使用者的偏好。如果算法的設(shè)計條件是根據(jù)客戶的不同喜好而設(shè)置的差異化選擇，這種情況下是有利于資源的優(yōu)化配置。反之，歧視的發(fā)生導(dǎo)致了使用者的錯誤感知，這種算法則屬于一種歧視，損害了使用者的利益。

2.在使用環(huán)境上，需要觀察市場的透明度。即算法主體是否知曉或者能否知曉自身受到了歧視，這種情況下更能被認定為違法行為。

3.在具體的行為上，需要分析這種具體的算法行為是屬于歧視性算法還是屬于歧視性杠桿［7］。從而判斷算法的使用者或者設(shè)計者對自身的產(chǎn)品或服務(wù)是否附加了歧視性的算法在其中。

在當(dāng)前的法律中，這一思路能夠一定程度上對算法歧視進行認定。但是，隨著算法隨時代不斷變化這一趨勢，我們可以嘗試通過一些原則性的認定標(biāo)準(zhǔn)，來更好地對算法歧視進行認定，具體而言：一是差別性的影響標(biāo)準(zhǔn)。通過觀察算法的最終結(jié)果是否產(chǎn)生了差異性的影響，而在此過程中，不需要考慮算法的使用者或設(shè)計者是否有歧視意圖。二是不同待遇標(biāo)準(zhǔn)。當(dāng)算法的使用者或設(shè)計者有主觀的歧視故意時，通過不同的待遇標(biāo)準(zhǔn)來對算法歧視進行認定。

將兩者進行綜合考慮，顯然前者的認定標(biāo)準(zhǔn)更有利于算法主體來維護自身的合法權(quán)益，在算法歧視中，使用者或設(shè)計者的主觀意圖具有很強的隱蔽性，往往不會表現(xiàn)出強烈的意圖，這使得對其認定十分困難。在不強調(diào)使用者或者設(shè)計者是否存在歧視意圖的前提下，重視算法所產(chǎn)生的結(jié)果是否具有歧視性，能夠?qū)λ痉ê蛯嶋H的審查提供更好的參考價值。

（二）算法歧視的民事責(zé)任

隨著算法決策在日常生活中的廣泛應(yīng)用，算法歧視也引起了普遍的關(guān)注。從時間維度的角度上來看，目前學(xué)界應(yīng)對算法歧視主要有事前預(yù)防和事后救濟兩種模式。顯然，事前預(yù)防較之后者更為重要，但是在欠缺統(tǒng)一標(biāo)準(zhǔn)的情況下，事前預(yù)防這一舉措會受到很多的限制。為此，在傳統(tǒng)民事的框架下，通過事后追責(zé)的救濟模式，是最為可行的方式。

自動化決策，是指計算機算法依據(jù)個人信息進行自動化決策。在此過程中，算法的使用者或設(shè)計者違反了相關(guān)的義務(wù)，應(yīng)當(dāng)承擔(dān)相應(yīng)的民事責(zé)任。

1.違法性。個人信息的處理者或設(shè)計者在自動化決策中，一旦違反了法定義務(wù)，就具備了違法性，反之，如若是依法進行的自動化決策，即使產(chǎn)生了損害，也不承擔(dān)相應(yīng)的責(zé)任。具體而言：一是違反了公平合理性。這是基礎(chǔ)性的要求，行為者在自動化決策中，沒有履行相應(yīng)的告知義務(wù)，導(dǎo)致了不公平的后果，造成了個人權(quán)益的損害。二是提供了個人特征的權(quán)利選項。使用者在商業(yè)活動中，向不特定的公眾在選項中提供了真實且具有可識別性的個人特征，而沒有進行隱私保護。三是沒有提供拒絕方式。個人沒有辦法拒絕行為者在此過程中所提供的商業(yè)推送或服務(wù)，使用戶無法依據(jù)自身的真實意思表示而進行拒絕。四是未經(jīng)信息主體同意，公開決策結(jié)果。未經(jīng)個人同意的授權(quán)，向公眾公開了自動化決策的個人信息，具有違法性。五是泄露個人信息的決策結(jié)果后未采取補救措施。一旦個人信息泄露，行為者必須及時采取補救措施，防范風(fēng)險的進一步擴大，未及時通知相關(guān)部門和權(quán)利主體的，可認為具有違法性，沒有履行有關(guān)的義務(wù)。

2.損害事實。自動化決策的行為主體在實施了相應(yīng)的違法行為之后，造成了權(quán)利主體的利益受損，就產(chǎn)生了相應(yīng)的損害事實，其中包括財產(chǎn)利益和精神利益。一方面，財產(chǎn)利益的損失可依據(jù)行為主體所擁有的財產(chǎn)和因其自動化決策所獲利益來進行判斷。另一方面，精神利益的衡量則可以依據(jù)《民法典》第一千一百八十三條的“嚴重損害”來進行判斷。

3.因果關(guān)系。在利用自動化決策，造成算法歧視的案件中，應(yīng)適用“相當(dāng)因果關(guān)系說”。即自動化決策中的行為主體利用自動化決策實施了某種違法行為，造成了某種損害后果，同時自動化決策主體正好實施了此種行為，且造成了該種后果。則兩者之間具有因果關(guān)系，成立該要件。

4.主觀過錯。這是其主觀要件，當(dāng)權(quán)利主體要求自動化決策的行為者承擔(dān)賠償責(zé)任時，適用過錯推定原則。通常情況下，自動決策的行為主體在其決策過程中，無視了權(quán)利主體的合法利益，實施了違法行為，放任了結(jié)果的發(fā)生，在主觀方面具有過錯。反之，如若行為人證明了自身已經(jīng)盡到了合理的注意義務(wù)，則無需承擔(dān)責(zé)任。