算法歧視的認定標準

寧 園

隨著算法應用的普及，算法歧視早已成為不可忽視的社會問題。學界圍繞如何規(guī)制算法歧視，已經(jīng)形成豐富的治理方案。然而，作為算法歧視規(guī)制的前提問題，“何種算法決策構(gòu)成算法歧視”始終未被專門討論，不少論者似乎都默認，凡是個人在算法應用中遭遇的不利對待均屬于算法歧視。算法技術(shù)是現(xiàn)今社會發(fā)展的重要驅(qū)動力，嚴格規(guī)制算法歧視的同時，也不應任意擴張算法歧視的范圍，過分苛責算法控制者。因此，為防止算法應用遭到過度聲討，本文嘗試解決算法歧視的認定問題，以填補算法歧視規(guī)制的邏輯前提，促進算法規(guī)制方案的真正落地。

一、算法歧視認定環(huán)節(jié)的缺失現(xiàn)象

根據(jù)既有文獻，學界對算法歧視的技術(shù)特點、產(chǎn)生原因、規(guī)制路徑已有諸多討論，并就以下四個方面基本達成共識：一是算法歧視現(xiàn)象頻繁發(fā)生，已對社會平等正義造成巨大沖擊，規(guī)制算法歧視具有現(xiàn)實必要性。二是算法控制者憑借算法技術(shù)取得了對用戶的實際支配力，即算法權(quán)力；算法權(quán)力規(guī)制則是算法歧視規(guī)制的癥結(jié)所在。三是算法并非完全中立，算法歧視既可能源于算法設(shè)計者的偏見植入，也可能源于已被現(xiàn)實偏見污染的分析數(shù)據(jù)。四是主要的算法歧視規(guī)制措施包括限制算法權(quán)力、構(gòu)建算法透明機制、開展算法審查、賦予個人算法解釋請求權(quán)等［1］（P39-40）［2］（P1416）。

遺憾的是，學界有關(guān)算法歧視規(guī)制的研究似乎預設(shè)了算法歧視認定的完成。在現(xiàn)有研究成果中，作為規(guī)制對象的算法歧視要么是一種抽象風險，要么是幾種零星單薄的現(xiàn)象列舉，而何種算法決策構(gòu)成算法歧視這一基礎(chǔ)性問題遭到忽視。正是由于缺乏算法歧視的認定這一邏輯前提，學界有關(guān)算法歧視規(guī)制的研究總體停留在風險控制層面，難以向具體規(guī)制層面推進。盡管已有學者就算法歧視的具體民事責任展開論述，但其直接忽略了作為責任成立基礎(chǔ)的算法歧視認定問題，實踐意義十分有限［3］（P55-68）。

算法歧視認定環(huán)節(jié)的缺失，還進一步導致了算法歧視泛化的現(xiàn)象，突出表現(xiàn)在：一是將算法對社會歧視的單純呈現(xiàn)泛化為算法歧視，如將算法搜索結(jié)果顯示的歧視性語言，定性為算法控制者實施的算法歧視；二是將算法決策的一切差別對待泛化為算法歧視，如將合理的差別定價視為歧視性的“大數(shù)據(jù)殺熟”；三是將算法技術(shù)發(fā)展引發(fā)的社會不平等現(xiàn)象泛化為算法歧視，如將算法紅利分配失衡導致老年人群體被邊緣化定性為算法歧視。在算法歧視泛化趨勢下，合理的算法決策以及非由算法決策導致的不平等現(xiàn)象，均被歸咎于算法控制者①本文所稱的“算法”是指人機交互決策的一系列步驟，即算法控制者通過代碼設(shè)置、數(shù)據(jù)運算和機器自動化進行決策的過程，既包括人工智能算法，又包括傳統(tǒng)計算機軟件算法。算法控制者即通過算法進行決策的主體。［4］（P29-30），這不僅會不當加重算法控制者的責任，更會激化算法利用和算法安全的價值對立，限制算法技術(shù)的發(fā)展和算法應用的普及。

當前，反算法歧視應從風險控制轉(zhuǎn)向具體規(guī)制。為遏制已經(jīng)出現(xiàn)的算法歧視泛化趨勢，有必要明確算法歧視的認定規(guī)則。本文認為，算法歧視是算法控制者利用算法技術(shù)實施的、以算法決策為實現(xiàn)形式的歧視行為。算法歧視仍然秉承傳統(tǒng)歧視的根本結(jié)構(gòu)，認定時不應隨意擴張算法歧視的范圍；同時，算法歧視相比傳統(tǒng)歧視亦具有不可忽視的隱蔽性和復雜性，在具體要件判定上也應作相應調(diào)適。循此基本理念，下文將著重圍繞算法歧視的認定這一主題，闡明算法歧視發(fā)生所需的橫向權(quán)力關(guān)系前提，算法歧視的行為要件和結(jié)果要件，以及算法歧視的構(gòu)成例外。

二、算法歧視發(fā)生的必要前提：橫向權(quán)力關(guān)系的形成

糾正算法歧視泛化，首先須明確反算法歧視以橫向權(quán)力關(guān)系存在為必要。盡管學界普遍認可算法權(quán)力是算法歧視發(fā)生的重要原因，但并未將此提升至構(gòu)成要件的地位。多數(shù)學者要么對算法歧視僅發(fā)生于橫向權(quán)力關(guān)系中缺乏認識，要么傾向于將算法控制者與用戶之間的一切關(guān)系預設(shè)為權(quán)力關(guān)系。既然認識到算法權(quán)力是算法歧視發(fā)生的原因，那么明確算法歧視發(fā)生以橫向權(quán)力關(guān)系存在為必要，還需進一步闡釋以下兩個方面：一是算法歧視發(fā)生且僅發(fā)生于橫向權(quán)力關(guān)系中；二是算法控制者與用戶之間并不當然存在權(quán)力關(guān)系，橫向權(quán)力關(guān)系有其特定的形成條件。

（一）歧視發(fā)生的必要前提：權(quán)力關(guān)系的存在

平等權(quán)作為一項基本權(quán)利，普遍為各國立法所確認。反歧視則是平等權(quán)的規(guī)范性表達，其禁止基于民族、種族、性別、宗教信仰、健康狀況等特征對特定群體或個人進行不合理的差別不利對待②我國不少立法都有禁止歧視規(guī)則，具體可參見《就業(yè)促進法》第三條、《勞動保障部衛(wèi)生部關(guān)于維護乙肝表面抗原攜帶者就業(yè)權(quán)利的意見》《廣告法》第九條、《婦女權(quán)益保障法》第二條、《老年人權(quán)益保障法》第三條等。，進而發(fā)揮限制公權(quán)力和保障社會弱勢群體的作用。從傳統(tǒng)實踐來看，反歧視集中于公法和社會法領(lǐng)域，鮮見于私法領(lǐng)域③我國有關(guān)歧視的司法案例主要為就業(yè)歧視，具體表現(xiàn)為用人單位因勞動者的性別、地域、身高、患有乙肝或艾滋病等情形實施的就業(yè)歧視。除此之外，農(nóng)村集體經(jīng)濟組織對女性、外來戶、外嫁女在財產(chǎn)分配上的歧視在司法實踐中也較為常見。。其原因在于，歧視發(fā)生以權(quán)力關(guān)系的存在為必要，而私法關(guān)系具有平等性，通常與權(quán)力無涉。

首先，從歧視的發(fā)生機制來看，權(quán)力關(guān)系是歧視形成的必要前提。依照馬克斯·韋伯對權(quán)力的解釋，當強勢一方可以貫徹自己的意志而無需顧及弱勢一方的反對時，即存在權(quán)力關(guān)系［5］（P264）。歧視是歧視主體在資源分配中對被歧視主體的利益限制和剝奪，其發(fā)生過程是歧視主體與被歧視主體之間的博弈過程，其實現(xiàn)以歧視主體可以強行貫徹自身意志為必要。在公法和社會法關(guān)系中，不乏掌握權(quán)力的強勢分配者，反歧視則是防止分配者濫用分配權(quán)力、維護分配正義的重要制度工具。相反，在私法關(guān)系中，各主體之間依意思自治進行資源交換，歧視行為欠缺權(quán)力支撐，一方難以將其資源分配意志強加于另一方。可見，由于欠缺歧視發(fā)生所必須的權(quán)力關(guān)系，私法關(guān)系通常與歧視無涉。

其次，反歧視規(guī)制也應以權(quán)力關(guān)系為限，在介入私法關(guān)系時保持謙抑，以避免侵蝕私法自治。理由在于，將“相同情況相同對待，不同情況不同對待”的誡命注入私法關(guān)系，無疑與私法自治背道而馳。在以意思自治為價值根基的私法領(lǐng)域，私主體間的關(guān)系由私主體自由安排，即使存在一定程度的偏見和差別對待，也多應歸于當事人的行為自由范疇，如在“劉某訴中信銀行股份有限公司信用卡糾紛案”（北京金融法院［2021］京74民終942號民事判決書）中，法院認為被告中信銀行針對女性推出的信用卡申領(lǐng)專享服務，是在金融消費者需求多元化、差異化的基礎(chǔ)上所設(shè)定合理的信用卡申領(lǐng)條件，并不構(gòu)成歧視。況且，個人偏見源于生物本能、心理狀態(tài)、社會文化等因素，具有不可根除性。個人行為普遍受偏見影響，對帶有偏見的行為一概禁止是對行為自由的根本顛覆。

綜上所述，反歧視規(guī)制以權(quán)力關(guān)系存在為前提，私法關(guān)系具有平等性，通常不會發(fā)生歧視，也很少受反歧視制度的約束。然而，算法技術(shù)的出現(xiàn)，尤其是算法區(qū)分決策的規(guī)?；瘧?，使算法控制者取得了事實上的資源分配權(quán)力，算法控制者和用戶之間的平等關(guān)系也因此異化為橫向權(quán)力關(guān)系。此時，歧視性分配的發(fā)生風險大大增加，算法歧視由此成為私法關(guān)系中亟待解決的新問題。

（二）橫向權(quán)力關(guān)系的形成要件：用戶意志自由的缺失

算法歧視集中爆發(fā)于算法控制者與用戶之間形成的橫向權(quán)力關(guān)系，此一結(jié)論已得到學界廣泛認同。然而，權(quán)力關(guān)系如何形成，則多見于技術(shù)層面的宏觀描述，鮮見于要件層面的微觀分析［1］（P34-36）。顯然，算法控制者掌握算法技術(shù)并不等于其就取得或濫用了算法權(quán)力，權(quán)力關(guān)系是否形成，還應著重關(guān)注具體的技術(shù)應用是否符合特定要件。

權(quán)力關(guān)系與平等關(guān)系之間的本質(zhì)區(qū)別在于，關(guān)系中的各方主體是否享有平等的意志自由。在權(quán)力關(guān)系中，分配僅體現(xiàn)分配者的意志，其他主體是受其意志支配的被分配者；在平等關(guān)系中，分配則是各方主體平等協(xié)商達成一致結(jié)果的過程?？梢哉f，權(quán)力關(guān)系的形成，就是關(guān)系主體一方或多方意志自由被剝奪的過程。因此，在算法控制者與用戶之間，橫向權(quán)力的形成以算法控制者剝奪用戶的意志自由為核心要素。

從博弈視角來看，平等雙方在博弈中均享有意志自由，是否進行博弈（如是否訂立合同）、博弈形成的規(guī)則（如具體的合同條款）以及由此產(chǎn)生的博弈結(jié)果不受任意一方操縱，即便一方最終承受客觀的不利結(jié)果（如一方依合同以高于市場價的價格購得標的物），該方也始終享有博弈自由。相反，在算法應用場景中，當用戶既無決定是否進行博弈之自由，亦不能參與博弈規(guī)則的制定和選取，只能被動承受博弈結(jié)果時，其處于完全喪失博弈自由的被支配地位，算法控制者和用戶之間的橫向權(quán)力關(guān)系由此形成。因此，本文認為，剝奪用戶博弈自由是橫向權(quán)力形成的實質(zhì)標準，其以博弈鎖定為具體的實現(xiàn)機制，須同時滿足博弈退出封鎖、博弈規(guī)則鎖定和區(qū)分事由鎖定三個條件。

1.博弈退出封鎖。博弈退出封鎖即用戶一旦進入算法系統(tǒng)，則喪失退出算法系統(tǒng)之自由。博弈退出封鎖以用戶進入算法系統(tǒng)、參與博弈為前提。算法控制者通過獲取和分析個人信息開啟博弈并非難事：一方面，個人或為享受算法紅利、或為參與社會生活，會主動提供個人信息；另一方面，算法控制者為實現(xiàn)獲利目的，也會極力攫取個人信息。由此可見，算法控制者設(shè)下的博弈從不缺少或積極參與、或被動入席的用戶。

顯然，若用戶享有退出博弈的自由，則可避免處于算法控制之下。因此，博弈鎖定首先以博弈退出封鎖為必要，即用戶處于算法控制之下而無退出權(quán)。判定用戶是否遭遇退出封鎖，主要以是否存在可替代的算法控制者為標準?？商娲詣t具體包括需求可替代性和供給可替代性兩方面。需求可替代性，即是否存在可以提供相似產(chǎn)品或服務的其他算法控制者供用戶選擇；相似的算法控制者越少，用戶退出特定算法系統(tǒng)后越難以獲得相似產(chǎn)品或服務，特定算法控制者的需求可替代性也就越低。供給可替代性，則是基于其他算法控制者的供給能力來描述特定算法控制者的可替代性，具體應考量其他算法控制者提供相似產(chǎn)品或服務所需的投入成本和收益；成本越高、收益越小，參與競爭的算法控制者越少，特定算法控制者的供給可替代性也就越低。特定算法控制者的需求可替代性或供給可替代性越低，用戶退出算法系統(tǒng)后越難以獲得相似的產(chǎn)品或服務，也就越易遭遇退出封鎖。

退出封鎖的典型情形，是算法控制者取得并濫用市場支配地位。正因如此，不少學者認為，算法價格歧視的形成以企業(yè)具備市場支配地位為必要［6］（P113）。然而，本文認為，算法控制者具有市場支配地位只是適用反壟斷規(guī)制路徑的必要條件，并非算法歧視的構(gòu)成要件。當算法控制者雖不具有市場支配地位，但有強大的用戶基礎(chǔ)時，亦可形成退出封鎖。用戶基礎(chǔ)包括用戶數(shù)量、用戶黏性和用戶活躍度等。其原因在于，在網(wǎng)絡(luò)效應影響下，用戶基礎(chǔ)往往決定算法控制者的需求可替代性和供給可替代性。一方面，算法控制者的用戶基礎(chǔ)越優(yōu)，越能更好地滿足用戶需求，進而難以被其他算法控制者替代。如微信應用的用戶數(shù)量巨大、用戶黏性極高，極大程度地滿足了用戶的社交需求，已成為用戶維系社會關(guān)系的必要工具。另一方面，擁有良好用戶基礎(chǔ)的算法控制者更易持續(xù)吸引和鎖定更多用戶，實現(xiàn)“贏者通吃”，其他算法控制者也就很難超越和替代。至于用戶基礎(chǔ)何時足以形成退出封鎖效應，難以提出確切的量化標準，還須法官在司法裁判中綜合考量用戶數(shù)量、用戶黏性、用戶活躍度等要素后，再作判斷。

2.博弈規(guī)則鎖定。算法權(quán)力的形成和實現(xiàn)還有賴于博弈規(guī)則鎖定，即適用于用戶的算法規(guī)則由算法控制者單方?jīng)Q定。一方面，算法決策依據(jù)的規(guī)則群（包括選取目標變量、設(shè)置分類標簽、具體決策規(guī)則等）由算法控制者單方制定，用戶無權(quán)參與；另一方面，算法控制者還掌握規(guī)則選取權(quán)，即用戶適用于哪一類規(guī)則亦由其單方?jīng)Q定。對此，無法退出博弈的用戶只能概括接受①格式合同與算法歧視的效率實現(xiàn)機制亦有所區(qū)別，格式合同的效率體現(xiàn)在合同內(nèi)容的重復適用，但算法歧視的效率恰恰體現(xiàn)在區(qū)分用戶并實施差別對待上。。相比之下，算法的博弈鎖定遠甚于格式合同對意思自由的限制。格式合同雖亦由規(guī)則提供者單方擬定，但相對人可概括接受也可概括拒絕，而遭遇博弈鎖定的用戶只能接受算法決策的結(jié)果，無權(quán)拒絕。

3.區(qū)分事由鎖定。區(qū)分事由鎖定是算法權(quán)力形成的最關(guān)鍵要素，當用以區(qū)分用戶的事由為用戶固有的、難以改變的特性時，算法規(guī)則即完全鎖定用戶，用戶不可避免地承受特定規(guī)則導向的決策結(jié)果。反之，若用戶可以自由塑造與區(qū)分事由相關(guān)的特點，或區(qū)分事由乃用戶可平等獲得的特性時，用戶可反向選取算法規(guī)則以脫離規(guī)則鎖定。

區(qū)分事由鎖定性的具體判定，須從區(qū)分事由是否具有人身依附性、是否具有可虛擬性兩個方面進行考量。首先，就人身依附型區(qū)分事由而言，主要包含兩類，一是反映個人與生俱來的人格特征的事由，如性別、種族、基因信息、年齡等；二是個人在日常生活和社會交往中積累形成的穩(wěn)定特性，如資產(chǎn)狀況、信用狀況、社會地位等。這些區(qū)分事由依附于用戶的人格或身份，難以重塑或消除，以此為基礎(chǔ)進行區(qū)分決策往往會將用戶鎖定在與其所屬分類相對應的規(guī)則群中。相反，若區(qū)分事由僅涉及用戶偶然的行為、興趣、偏好等，用戶則可以通過獲得、更改相應特性以加入或擺脫某一分類，避免不利決策。如算法控制者對新用戶實行價格優(yōu)惠時，由于新用戶身份的獲得取決于用戶是否是首次實施購買行為，此種區(qū)分本質(zhì)上為動態(tài)平等的區(qū)分而非固化的區(qū)分，老用戶也曾為新用戶，新用戶也會成為老用戶，通常不構(gòu)成算法歧視②當然，對于在促銷策略實施前即已成為老用戶的主體而言，盡管其已被鎖定在不能享受優(yōu)惠的老用戶群體內(nèi)，但只要新用戶之利益并非直接來源于對老用戶的殺熟，其所遭遇的差別對待屬于合理的差別對待，乃算法歧視構(gòu)成之例外。。其次，即使區(qū)分事由的內(nèi)容指向用戶的固有特性，但可虛擬化，用戶亦可通過虛構(gòu)特點逃脫規(guī)則鎖定（如女性用戶在網(wǎng)絡(luò)中使用虛擬的男性身份），故區(qū)分事由還須以不可虛擬化為必要。不可虛擬化通常存在于以下兩種情形中，一是用戶特性源于算法控制者自動收集和分析的數(shù)據(jù)，而非個人主動提供的信息；二是用戶進入算法控制系統(tǒng)時須提供真實信息。

博弈退出封鎖、博弈規(guī)則鎖定和區(qū)分事由鎖定最終導向博弈結(jié)果鎖定：一方面，博弈結(jié)果因博弈規(guī)則自動執(zhí)行必然發(fā)生，用戶無力阻止；另一方面，用戶因博弈退出封鎖被迫承受既定的博弈結(jié)果，無論其是否受到平等對待。

綜上，算法歧視以橫向權(quán)力關(guān)系存在為前提，橫向權(quán)力關(guān)系的形成則由算法控制者實施博弈鎖定、剝奪用戶博弈自由塑造。算法控制者利用技術(shù)優(yōu)勢和信息鴻溝，將用戶鎖定于“必輸”的博弈中，名義上的平等博弈不復存在，異化的算法權(quán)力關(guān)系由此形成。

三、算法歧視認定的具體要件及其例外

算法歧視盡管發(fā)生于新技術(shù)背景下，但仍保有傳統(tǒng)歧視的根本特性。一方面，算法歧視同樣需要權(quán)力支撐；另一方面，算法歧視本質(zhì)上仍是對個人或群體的差別不利對待。因此，算法歧視的構(gòu)成仍須具備傳統(tǒng)歧視所要求的區(qū)分對待要件和差別不利后果要件。

（一）行為要件：算法區(qū)分決策

歧視皆因區(qū)分對待而起，如種族歧視是指“基于種族、膚色、世系、民族或人種的任何區(qū)別、排斥、限制或優(yōu)惠”（詳見《消除一切形式種族歧視國際公約》第一條）；女性歧視是指“基于性別而作的任何區(qū)別、排斥或限制，其影響或其目的均足以妨礙或否認婦女不論已婚未婚而在男女平等的基礎(chǔ)上認識、享有或行使在政治、經(jīng)濟、文化和社會、公民或任何其他方面的人權(quán)和基本自由”（詳見《消除對婦女一切形式歧視公約》第一條）。算法歧視是依托于技術(shù)發(fā)生的歧視，同樣以區(qū)分對待為要件，區(qū)分對待要件具體應從區(qū)分模式和區(qū)分事由兩個方面考量。

1.以“區(qū)分—決策”或者“決策—區(qū)分”為運作模式。算法歧視首先以算法采取區(qū)分決策模式為要件，算法應用中未涉及區(qū)分決策的，即使對用戶造成不利后果，也不構(gòu)成算法歧視，而應交由其他法律制度調(diào)整。在算法歧視中，差別對待主要呈現(xiàn)為兩種具體模式。一是“區(qū)分—決策”模式，二是“決策—區(qū)分”模式?！皡^(qū)分—決策”型差別對待是先進行用戶分類，再分別決策，區(qū)分性直接表現(xiàn)在決策依據(jù)上，是直接的差別對待，其造成的歧視為直接歧視?！皼Q策—區(qū)分”型差別對待是隱蔽的差別對待，算法規(guī)則表面上平等地適用于每個用戶，但其結(jié)果上造成了對不同群體之間的差別對待?！皼Q策—區(qū)分”型差別對待屬于間接差別對待，其所造成的歧視屬于間接歧視①間接歧視即一項法律、規(guī)則、標準盡管表面中立，但最終造成特定群體或個人遭遇差別性不利對待。間接歧視類似于差別性影響類歧視，前者是英國法中與直接歧視并列的歧視類型，后者是美國法中與差別性對待并列的歧視類型，二者的主要區(qū)別體現(xiàn)在是否以主觀故意為要件。。

個性化決策模式同樣屬于區(qū)分決策模式，所謂的“個性化”，只不過是在信息不對稱和算法隱蔽性的雙重作用下，用于“包裝”區(qū)分決策的粉飾之辭，其實際上仍是通過分類模型實施的精致差別對待。不同的是，在個性化模式下，算法區(qū)分事由及由此劃分出的群體類型復雜精細且保持動態(tài)，算法控制者將用戶劃入微分類中，具體決策也在對應的微分類中靈活變動，由此營造出用戶被當作獨特個體對待的假象。

此外，分類正確與否并不影響歧視的構(gòu)成。算法區(qū)分決策模式并不追求分類的真實性和準確性，相反，其是以分類的高容錯率為代價，換取決策的高效簡化。錯誤識別用戶特點并將其劃入錯誤群體的情形，在算法決策中并不鮮見，如將居住于貧困地區(qū)的富人識別為窮人［7］（P9）。區(qū)分的正確與否并不影響歧視的成立，用戶被錯誤區(qū)分并因此遭受不合理的差別對待，亦構(gòu)成歧視。

2.突破“區(qū)分事由法定”。在傳統(tǒng)歧視中，區(qū)分事由主要包括性別、種族、民族、宗教信仰等。傳統(tǒng)反歧視規(guī)制要求區(qū)分事由必須是受法律保護的個人特征，個人因法定事由以外的特征受到差別對待的，則很難被認定為歧視［8］（P775）。然而，算法歧視的認定應當摒棄“區(qū)分事由法定”的限制。原因在于，偽中立性的代理標簽（如以身高、體重代替性別，以清真食品的消費記錄代替宗教，以郵政編碼代替民族），以及算法自動區(qū)分決策背后存在大量潛在、隱蔽且難以預知的區(qū)分事由，“區(qū)分事由法定”將導致諸多算法歧視現(xiàn)象游離于法律規(guī)制之外。因此，有必要突破“區(qū)分事由法定”的限制，保持區(qū)分事由范疇的靈活性和開放性①事實上，我國司法實踐基于維護分配正義之現(xiàn)實需要，早已突破傳統(tǒng)歧視事由的限制，地域歧視、基因歧視等均受到規(guī)制。具體案例可以參考浙江省杭州市中級人民法院（2020）浙01民終736號民事判決書；佛山市中級人民法院（2010）佛中法行終字第381號判決書。。

（二）結(jié)果要件：差別性不利后果

算法歧視的具體認定，還以用戶遭受差別不利對待為結(jié)果要件：一方面，算法區(qū)分決策的結(jié)果須同時具有不利性和差別性；另一方面，此種差別不利后果無須達到社會排斥程度。

1.區(qū)分對待結(jié)果的不利性。區(qū)分對待結(jié)果的不利性即“利益的應得而未得”，表現(xiàn)為用戶應當獲得的利益被剝奪或克減，前者如用戶應當取得信貸資格而未取得，后者如用戶獲批的信貸額度低于其應當取得的獲批額度。

值得注意的是，不利后果不限于現(xiàn)實利益分配的應得而未得。在評分算法中，不利評分盡管不屬于直接的利益分配，但若以評分結(jié)果為資源配置的直接依據(jù)，則評分的不利與利益分配的不利具有一致性，前者亦應被納入不利后果的范疇。

2.區(qū)分對待結(jié)果的差別性。區(qū)分對待結(jié)果的差別性是指，不利后果必須是相對于用戶的“應得”而言的，“不利”是“相對的不利”。差別性要件要求用戶主張受到算法歧視時，證明不利后果的差別性。提供對照是最直接的證明方法，用戶提供滿足以下條件的對照即可證明其受到差別的不利對待：（1）在所涉區(qū)分事由上與他人有不同特征；（2）在其他與決策結(jié)果相關(guān)的事由上，與他人相似或者一致；（3）他人取得更有利的分配結(jié)果。然而，算法歧視中，由于個性化策略、復雜隱蔽的區(qū)分事由、用戶之間存在的信息阻隔等多種原因，用戶尋找對照的難度大，面臨舉證難題。因此，有必要擴充對照范圍。一種可行的方案是，從橫向?qū)φ障蚩v向?qū)φ諗U充，即可以用戶自身過往經(jīng)歷作為對照，證明其因某項事由發(fā)生改變，而遭受差別不利對待?？v向?qū)φ赵谖覈鴤鹘y(tǒng)反歧視實踐中已有應用，如在“盧某與深圳市兆新能源股份有限公司一般人格權(quán)糾紛案”（廣東省深圳市羅湖區(qū)人民法院［2020］粵0303民初26265號民事判決書）中，原告主張其本已通過入職面試，但被告在得知其攜帶某種病毒后又拒絕錄用，構(gòu)成歧視，法院對此予以支持。另一種方案則是承認假想對照，即原告無須提供真實存在的對照，只須證明其一旦消除或取得與區(qū)分事由相關(guān)的某種特性，便有可能獲得更有利的對待即可。對于用戶主張的差別不利對待，算法控制者可通過證明不存在差別不利對待，或差別不利對待具有合理性，而免于算法歧視規(guī)制。

3.差別不利對待無須達到社會排斥程度。還有觀點認為，算法歧視造成的不利后果以達到社會排斥程度為必要［9］（P371）。本文對此持反對觀點。社會排斥是指弱勢群體被部分或全部排斥在充分的社會參與之外，難以獲得基本的生存發(fā)展資源。反歧視是保護弱勢群體不因某種難以改變的特征而喪失基本的生存發(fā)展權(quán)利。造成社會排斥的差別對待當然構(gòu)成歧視，但歧視本身不應以不利性達到社會排斥程度為要件。原因在于，社會排斥程度門檻過高，過度限縮了算法歧視的規(guī)制范疇。若引入此要件，則只有造成機會剝奪或嚴重利益克減的差別對待才能被認定為歧視。然而，在算法區(qū)分決策應用領(lǐng)域，最普遍的差別對待往往在結(jié)果上差異不大，算法控制者正是通過將結(jié)果差異維持在較低水平，悄然獲取巨大利潤。可見，規(guī)模化的輕度差別對待才是算法正義的主要破壞力量，也是反算法歧視的主要規(guī)制對象。

此外，需要強調(diào)的是，算法歧視的不利后果與侵權(quán)責任中的損害后果存在區(qū)別。首先，歧視是利益分配中的應得而未得，是“做加法”過程中利益的未獲得或未充分獲得，是對照下的相對的不利；而損害后果則是個人權(quán)利受到侵害，是對固有權(quán)益“做減法”，是絕對的不利。其次，反歧視本質(zhì)上是群體利益和社會利益的保護機制。反歧視所保護的個人總是具有某種群體性特征，反個體歧視最終是為了反群體歧視；而侵權(quán)責任具有更鮮明的個人主義，其關(guān)注的是個人權(quán)利是否受到侵害，個人是否具有某種群體特征不在其考量范圍內(nèi)［10］（P1119-1120）。

（三）算法歧視的構(gòu)成例外：合理的差別對待

在博弈鎖定形成后，算法控制者對用戶進行區(qū)分對待，強迫其承受差別性的不利后果，即構(gòu)成算法歧視。然而，差別對待具有合理性的，例外地不構(gòu)成算法歧視。差別對待合理性的證明義務由算法控制者承擔。合理性證明主要涉及三方面：一是差別對待目的的合理性，二是差別對待目的與區(qū)分事由之間的合理關(guān)聯(lián)性，三是差別對待的合比例性。

1.差別對待的目的合理性。算法區(qū)分決策的目的可歸結(jié)為追求效率、實現(xiàn)獲利，有多種具體表現(xiàn)形式，如個性化廣告推送意在精準吸引潛在消費者，個性化定價意在擴充消費者群體、攫取消費者剩余，貸款信用評分意在降低壞賬風險等。然而，追求效率并不當然具有合理性，尤其是在用戶被剝奪博弈自由時，算法控制者極可能為提升效率，將自身利益凌駕于用戶利益之上。因此，目的合理性要求決策目的實現(xiàn)并未侵害用戶利益，若算法控制者的決策目的實現(xiàn)以侵害用戶利益為前提，差別對待目的不具有合理性。

2.差別對待目的與區(qū)分事由間的合理關(guān)聯(lián)性。合理關(guān)聯(lián)是指具有正當且必要的關(guān)聯(lián)。如信貸資格的分配與用戶的守約程度（如是否依約定償還貸款）之間具有合理關(guān)聯(lián)，但與用戶的消費習慣則無必要關(guān)聯(lián)，盡管后者可能反映用戶的經(jīng)濟水平和消費理性程度；又如差別定價與用戶特殊需求往往具有必要正當關(guān)聯(lián)，但與用戶的價格敏感度則無必要關(guān)聯(lián)，后者并非實質(zhì)的交易條件，算法控制者以后者作為差別定價的依據(jù)，不符合正當?shù)慕灰琢晳T。

合理關(guān)聯(lián)的證明首先要求算法控制者揭示真實的區(qū)分事由。在算法控制者使用代理標簽進行區(qū)分決策的情形下，由于代理標簽與決策目的之間關(guān)聯(lián)較為疏遠，算法控制者須主動揭示真實的區(qū)分事由，才能完成合理關(guān)聯(lián)的證明?？梢姡侠黻P(guān)聯(lián)證明義務客觀上有利于解決真實區(qū)分事由的認定問題。合理關(guān)聯(lián)性還要求算法控制者證明不存在其他可替代的、能夠防止或者緩解不利后果的區(qū)分事由。算法控制者主張區(qū)分事由不可替代時，用戶可提出可替代性事由或其他相反證明。

3.差別對待的合比例性。差別對待合比例性證明具體包括兩個層面：一是差別對待的區(qū)分事由與不利后果之間具有合比例性；二是差別對待的不利后果與決策目的之間具有合比例性。

區(qū)分事由與不利后果之間的合比例性，要求算法控制者在復合的區(qū)分事由中，為各區(qū)分事由設(shè)置合理權(quán)重。區(qū)分事由在決策目的實現(xiàn)中的作用程度，應與其所生后果的差別性和不利性程度相匹配，次要的區(qū)分事由不應主導差別對待。此一證明義務，要求算法控制者闡明特定區(qū)分事由在決策目的實現(xiàn)中的具體作用和所占權(quán)重，并證明二者具有合比例性。以某訊的征信評分算法為例，其以守約指數(shù)（如是否如期償還信用卡借款）、安全指數(shù)（如個人信息是否準確、賬戶安全性是否足夠高）、財富指數(shù)（如個人資產(chǎn)狀況）、消費指數(shù)（如消費偏好、消費頻率）以及社交指數(shù)（如用戶的人脈關(guān)系）作為評價指標，對用戶進行信用評分［11］。算法控制者必須揭示各指數(shù)在征信評分中的作用及其權(quán)重分布，并說明權(quán)重分布的合比例性。顯然，守約指數(shù)與信用評分的關(guān)聯(lián)最為緊密，其在信用評估中應占最高權(quán)重，而消費指數(shù)、社交指數(shù)僅與信用存在間接的、不穩(wěn)定的關(guān)聯(lián)，權(quán)重設(shè)置應當處于低位。若該評分算法將消費指數(shù)和社交指數(shù)作為主要的評分指標，則存在區(qū)分事由與差別不利后果的比例失當，可能構(gòu)成對消費頻率較低者或者社交偏保守者的歧視。

差別對待的合比例性還包括不利后果與決策目的之間的合比例性，此種合比例性旨在防止算法控制者過分規(guī)避商業(yè)風險，損害用戶利益。為實現(xiàn)效益最大化，算法控制者可能傾向于利用信息優(yōu)勢，一邊摒棄風險用戶，一邊從“合格”用戶處極力攫取利益以作彌補。在此種利益補償機制中，雙邊用戶都淪為算法控制者的犧牲品。不利后果與決策目的間的合比例性，意在規(guī)制算法控制者恣意的趨利避害，要求算法控制者在實現(xiàn)商業(yè)目的時，盡可能減輕針對用戶的不利對待。如在利用信用評分算法進行貸款審批時，算法控制者應靈活配置貸款資格、貸款額度、增信措施、償還期限等要素，以適用于信用評分不同的用戶，而不能為了規(guī)避風險，一概剝奪信用評分偏低群體的貸款資格。不利后果的合比例性還要求算法控制者采取措施緩解不利后果，如優(yōu)化算法模型、為用戶提供反饋渠道等。算法控制者主張不存在消除或緩解不利后果的措施的，用戶可以提出相反證明。

須明確的是，本文認為，算法歧視不以算法控制者是否具有主觀過錯為要件，原因主要有兩點：一是算法決策的隱蔽性特征，導致過錯認定客觀上變得十分困難；二是算法控制者為算法歧視風險的制造者、控制者和獲益者，理應分擔歧視風險。從域外立法來看，英國的反歧視規(guī)制不以主觀過錯為要件［12］（P619）；而美國反歧視制度也明顯出現(xiàn)主觀要件式微的趨勢，一方面，受到規(guī)制的歧視類型從差別對待擴張至差別性影響，后者不再以主觀故意為要件；另一方面，差別對待類型中，主觀故意要件的認定也趨于客觀化［9］（P372-373）。

至此，算法歧視以橫向權(quán)力關(guān)系存在為前提，并須同時滿足行為要件和結(jié)果要件。三個要件及其相互關(guān)系簡要總結(jié)于圖1。

圖1 算法歧視的認定過程示意圖

結(jié)合圖1，筆者還須作兩點說明：一是，橫向權(quán)力關(guān)系為算法歧視發(fā)生的首要要件，若不存在橫向權(quán)力關(guān)系，即使用戶遭受差別不利對待，也不構(gòu)成算法歧視。二是，在橫向權(quán)力關(guān)系形成后，若不滿足區(qū)分決策要件抑或差別不利后果要件，亦不構(gòu)成算法歧視，但算法控制本身是否違法則未有定論，當然，典型的違法情形除外，如濫用算法權(quán)力侵犯言論自由、實施欺詐等。

四、常見算法決策類型中的算法歧視認定

在有關(guān)算法歧視的討論中，常被列舉的算法決策類型包括：單純呈現(xiàn)歧視性內(nèi)容的搜索算法或人機對話、“大數(shù)據(jù)殺熟”、評分算法，下文將結(jié)合構(gòu)成要件對這幾種算法決策是否構(gòu)成算法歧視進行分析。

（一）類型一：搜索算法和人機對話對歧視的鏡像呈現(xiàn)

有學者將搜索算法單純呈現(xiàn)已有偏見和歧視，以及人機對話過程中人工智能“說出”歧視性言辭等現(xiàn)象認定為算法歧視。本文認為，這是典型的算法歧視認定泛化［13］（P141）。應當認為，上述兩種算法決策只是對已有歧視和偏見的鏡像呈現(xiàn)①“鏡像”通俗意義上是指“像照鏡子一樣”，本文所述的“鏡像呈現(xiàn)”是指算法僅單純展示和呈現(xiàn)社會中已經(jīng)存在的偏見和歧視，而并未通過決策制造新的歧視的情形。，其因欠缺區(qū)分決策的行為要件，不構(gòu)成算法歧視。從算法應用模式來看，搜索結(jié)果的產(chǎn)生由爬蟲技術(shù)、索引技術(shù)和查詢展現(xiàn)技術(shù)完成，人機對話內(nèi)容則是通過用戶輸入、自然語言理解、對話管理和自然語言的生成與輸出產(chǎn)生，二者均未涉及區(qū)分模型的應用，不存在對用戶的區(qū)分，更不存在區(qū)分后的差別對待。搜索結(jié)果、對話內(nèi)容中的歧視內(nèi)容源于污染數(shù)據(jù)，而數(shù)據(jù)中的偏見又可追溯至社會現(xiàn)實中的已有偏見。例如，某國執(zhí)法機關(guān)受社會種族偏見的影響，更傾向于逮捕有色人種，算法基于上述社會現(xiàn)實得出“有色人種的犯罪風險更高”的分析結(jié)果，只是對該國社會種族偏見的鏡像呈現(xiàn)，不構(gòu)成算法歧視。然而，算法在鏡像呈現(xiàn)社會偏見和歧視的基礎(chǔ)上作出新的歧視性決策，則另當別論。例如，若該國法院依“有色人種的犯罪風險更高”這一算法分析結(jié)果，對犯罪嫌疑人中的有色人種判處更長刑期，就構(gòu)成算法歧視。

當然，算法呈現(xiàn)歧視內(nèi)容時并非不受其他法律規(guī)制。依據(jù)我國《互聯(lián)網(wǎng)信息服務管理辦法》第15條的規(guī)定，互聯(lián)網(wǎng)信息服務提供者不得制作、復制、發(fā)布、傳播反對憲法所確定的基本原則的信息，煽動民族歧視的信息，侮辱或者誹謗他人的信息，侵害他人合法權(quán)益的信息，以及含有法律、行政法規(guī)禁止的其他內(nèi)容的信息。若算法呈現(xiàn)的歧視內(nèi)容符合上述情形，則算法控制者須依《互聯(lián)網(wǎng)信息服務管理辦法》第20條承擔法律責任。此外，《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》（下文簡稱《算法推薦管理規(guī)定》）第六條規(guī)定算法推薦服務提供者“不得利用算法推薦服務傳播法律、行政法規(guī)禁止的信息，應當采取措施防范和抵制傳播不良信息”，第九條要求算法控制者承擔信息內(nèi)容管理義務，對違法信息采取消除等處置措施。依此規(guī)定，算法控制者傳播歧視性信息或未依法履行信息審查義務的，亦可能面臨法律責任。

除上述兩種情形外，因算法決策之外的原因造成的算法紅利分配失衡，同樣也因不滿足區(qū)分決策要件，不構(gòu)成算法歧視。算法技術(shù)和應用在地區(qū)之間（如經(jīng)濟發(fā)達地區(qū)和經(jīng)濟欠發(fā)達地區(qū)）、群體之間（如不同學歷群體、不同年齡群體之間）普及不平衡導致的算法紅利分配失衡，通常應歸因于社會經(jīng)濟發(fā)展水平差異、收入差異、群體使用智能設(shè)備的能力差異等客觀因素，其并非由算法決策導致，不應由算法控制者擔責。解決算法紅利分配失衡，有賴于系統(tǒng)性的制度合力，以推動經(jīng)濟平衡發(fā)展、加快技術(shù)普及、促進教育發(fā)展、完善社會保障體系等為主要應對策略。

（二）類型二：“大數(shù)據(jù)殺熟”

“大數(shù)據(jù)殺熟”是目前最受爭議的算法決策類型，其最初是指對具有購買經(jīng)歷的消費者（即“熟客”）采取更高定價的個性化定價策略。隨著個性化定價算法的進步，殺熟的范圍從“熟客”擴展到被算法精準捕捉畫像的“熟人”，殺熟程度趨近于完全價格歧視。不少學者認為，“大數(shù)據(jù)殺熟”攫取消費者剩余、侵蝕社會公平正義［14］（P27），應對其進行強力規(guī)制。《深圳經(jīng)濟特區(qū)數(shù)據(jù)條例》第69條禁止利用數(shù)據(jù)分析對交易條件相同的交易相對人實施不合理的差別待遇，正式對“大數(shù)據(jù)殺熟”亮劍。之后出臺的《個人信息保護法》第24條亦禁止自動化決策中的不合理差別對待。也有學者對“大數(shù)據(jù)殺熟”持“一事一議”的謹慎態(tài)度，認為“大數(shù)據(jù)殺熟”有增加社會福利、優(yōu)化資源配置、促進商業(yè)競爭的積極效果，不能一概冠以歧視的污名［15］（P85-98）。應當認為，“大數(shù)據(jù)殺熟”是否構(gòu)成算法歧視不可一概而論，應作個案分析。

1.是否存在博弈鎖定。傳統(tǒng)市場中的殺熟宰客并不鮮見，消費者通常“自認倒霉”，法律對此也有較高的容忍度。然而，一旦轉(zhuǎn)換到算法場景中，殺熟則迅速引發(fā)民眾擔憂和立法關(guān)注。此間態(tài)度截然的根本原因在于，算法中的殺熟是建立在剝奪消費者博弈自由的基礎(chǔ)上的：傳統(tǒng)市場中，商家與消費者基于各自掌握的有限信息，就是否開展交易以及交易價格進行平等磋商，殺熟是自由博弈的結(jié)果，具有偶然性；算法場景下，自由博弈很可能遭到根本破壞，消費者完全喪失議價空間和議價能力，難以逃脫被殺熟的宿命?？梢?，“大數(shù)據(jù)殺熟”是否構(gòu)成算法歧視，首先須判定消費者是否遭受博弈鎖定。為具化分析，本文以某寶和某滴兩種常用平臺為例展開論述。

在某寶平臺上，普通商家通常很難對消費者實施退出封鎖。稍有網(wǎng)購經(jīng)驗的消費者即可通過簡單的消費策略從平臺充分獲取有效的價格信息，進而自主選取有利定價。即使部分消費者因信任特定商家而遭遇殺熟，亦屬自由博弈之結(jié)果，產(chǎn)生的不利后果應由當事人和市場自行消化，不屬于反歧視的規(guī)制范疇。然而，當商家存在價格合謀時，則可能發(fā)生博弈鎖定。如同一行業(yè)所有商家采取同一定價算法，消費者與任一商家交易，都遭遇同樣的定價策略；又如各商家借助算法實時追蹤并效仿其他競爭對手的價格策略，并達成提價默契，對消費者實施默許共謀封鎖［16］（P51）。某滴平臺對乘客用戶的博弈鎖定則十分明顯。一是某滴平臺擁有龐大的車主用戶，乘客用戶對平臺依賴程度高；二是某滴平臺掌握了派單權(quán)和定價權(quán)，為乘客用戶選取交易對象，為每一筆交易定價，甚至在訂單結(jié)束時自動完成價款扣劃，乘客和司機均無議價權(quán)，乘客只能被動接受某滴平臺的價格策略。

此外，還須考量區(qū)分事由的鎖定性。定價算法模型用以區(qū)分消費者的事由是否具有鎖定性，應視情況而定。例如，用戶的支付能力取決于用戶的資產(chǎn)狀況、職業(yè)狀況，是個人難以改變的特性，具有明顯的鎖定效應，以支付能力作為差別定價的依據(jù)，要求支付能力更強者支付更高價款，往往構(gòu)成算法歧視；又如，某滴平臺在出行早高峰、節(jié)假日等用車高峰期調(diào)高價格，是以市場供求變動作為定價基礎(chǔ)，既符合市場規(guī)律，又未形成博弈鎖定，乘客不能因其在早高峰支付更高車費而主張其遭受歧視。

2.是否存在差別性不利后果?！按髷?shù)據(jù)殺熟”建立在消費者分類基礎(chǔ)上，是典型的區(qū)分決策模型，其是否構(gòu)成歧視，還須進一步判定區(qū)分結(jié)果是否存在差別性和不利性。最常見的殺熟為消費者在交易中因“熟客”身份反遭更高要價，此種差別對待顯然具有差別性（與“生客”相比）和不利性（出價更高）。如北京市消費者協(xié)會兩名體驗人員發(fā)現(xiàn)同一房間“熟客”需多支付9元［17］；又如，在“‘大數(shù)據(jù)殺熟’第一案”中，原告作為平臺會員，在預訂房間時反被要求支付遠高于掛牌價（1300元）的“會員價”（2889元）［18］。

3.差別定價是否具有合理性。若算法控制者證明其差別定價具有合理性，則不構(gòu)成算法歧視。差別定價的合理性證明中，差別定價的目的合理性、差別定價與區(qū)分事由之間的合理關(guān)聯(lián)性為最關(guān)鍵的兩項要素。目的合理性須判斷算法控制者的商業(yè)目的是否侵犯了消費者的利益。通常而言，差別定價的商業(yè)目的在于增加利潤、吸引更多消費者，其目的實現(xiàn)有利于對企業(yè)形成經(jīng)濟激勵、增加社會整體福利，因而具有一定的正當性。然而，當差別定價所增加的社會福利源于對特定消費者群體（如價格敏感度低的消費者群體、支付能力強的消費者群體）的利益攫取時，即使社會整體福利有所上升，差別定價也不具有合理性。反之，當社會整體福利的增加來源于商家自身的利益讓渡時，差別定價應被視為正當?shù)纳虡I(yè)策略，具有合理性。差別定價目的與區(qū)分事由之間的合理關(guān)聯(lián)性，即要求差別定價與區(qū)分事由之間具有直接、必要的關(guān)聯(lián)。應當認為，當用戶存在交易條件上的實質(zhì)性差別時，差別定價具有合理性，實質(zhì)性差別包括用戶在交易安全、交易成本、信用狀況、交易環(huán)節(jié)、交易持續(xù)時間等方面的差別，以及在其他符合正當交易習慣和行業(yè)慣例的交易條件上的差別，如交易相對人的特殊需求。

（三）類型三：評分算法

評分算法主要指算法控制者基于特定商業(yè)目的，對用戶的某種特性進行量化評估的算法應用。評分算法是典型的區(qū)分決策，其是否構(gòu)成歧視同樣需要進行個案分析。下文以產(chǎn)品、服務質(zhì)量評分算法和信用評分算法為例，作簡要論述。

1.產(chǎn)品、服務質(zhì)量評分算法。實踐中，平臺會為消費者設(shè)置評價渠道，供消費者對產(chǎn)品、服務及產(chǎn)品銷售者、服務提供者進行評分，評分結(jié)果則直接影響產(chǎn)品銷售者、服務提供者未來的交易機會。通常情況下，產(chǎn)品、服務質(zhì)量評分算法不會對平臺上的產(chǎn)品銷售者、服務提供者造成歧視，原因在于，此種算法的評分指標是與產(chǎn)品或服務質(zhì)量直接相關(guān)的合理因素，平臺只確定評分指標，無權(quán)決定評分結(jié)果，因而不存在博弈鎖定和算法控制。如某滴平臺車主的評分指標包括車內(nèi)環(huán)境、車主駕駛技術(shù)、路線熟悉度等，某寶賣家的評分指標包括商品描述一致性、客服態(tài)度、商品運輸速度等，車主和賣家可通過改善其服務或產(chǎn)品等方式增加評分。當然，實踐中也存在例外情形。以打車軟件某步為例，某步的車主用戶因?qū)儆谟猩朔N而遭遇乘客用戶的不當評分，工作機會和收益也因此減少。此時，某步的車主評分機制已經(jīng)潛在包含了種族這一鎖定性區(qū)分事由，某步作為算法控制者應采取措施予以消除，否則構(gòu)成算法種族歧視［19］。

2.信用評分算法。信用評分算法是信用評估機構(gòu)基于個人基本信息、銀行信用信息、消費信息、資產(chǎn)信息等各項數(shù)據(jù)指標對用戶信用進行評分的技術(shù)應用。信用評估機構(gòu)可能出于不同目的實施信用評分，如銀行的信用評分目的可能是分配信用貸款資格、確定貸款額度，芝麻信用、騰訊征信的信用評分目的則可能是確定和調(diào)整其服務內(nèi)容和服務質(zhì)量（如是否向用戶提供免押金租賃服務、先用后付服務等）。

信用評分算法多應用在消費、住房、教育等關(guān)鍵的社會參與領(lǐng)域，歧視風險較高。當用戶遭遇偏低的信用評分時，是否構(gòu)成算法歧視，還須具體分析，其中的關(guān)鍵要件主要涉及是否存在博弈鎖定、是否造成差別不利后果。首先，信用評分的具體結(jié)果通常由信用評估機構(gòu)依托已有數(shù)據(jù)和算法規(guī)則直接作出，且評分指標是用戶難以改變的身份、行為特征、資產(chǎn)狀況、歷史信用狀況等，故信用評分的主導權(quán)由信用評估機構(gòu)掌握。但信用評估機構(gòu)是否構(gòu)成博弈鎖定，還取決于用戶能否拒絕信用評分服務。當用戶必須接受信用評分時，則發(fā)生博弈鎖定，如個人申請住房貸款必須有合格的信用評估；當用戶可拒絕信用評分時，則不存在博弈鎖定，如用戶有權(quán)拒絕芝麻信用評分，且拒絕后支付寶使用不受實質(zhì)影響。其次，信用評分不當偏低是否會造成差別性不利后果，也須依場景而定：在某些場景中，信用評分未造成不利后果，如評分盡管不當偏低但仍與用戶應得的評分處于同一分數(shù)區(qū)間，不影響決策結(jié)果；在另一些場景中，信用評分不當偏低則會產(chǎn)生差別的不利后果，如銀行信用評分不當偏低，導致個人不能取得住房貸款資格。當然，無論是否構(gòu)成算法歧視，對于錯誤的信用評分，用戶均可依據(jù)《個人信息保護法》第46條行使個人信息更正權(quán)，要求算法控制者更正評分。

甄別私法關(guān)系中的算法歧視，僅僅是反算法歧視的第一步。在完成算法歧視認定的基礎(chǔ)上，進一步構(gòu)建算法歧視規(guī)制的體系化規(guī)則，同樣是立法和司法的重要課題。由于我國尚不存在完備的反歧視私法規(guī)則，宜將一般人格權(quán)侵權(quán)規(guī)制作為算法歧視規(guī)制的權(quán)宜之計：算法控制者實施算法歧視的，可認定為算法控制者侵害用戶的一般人格權(quán)（人格平等）。侵權(quán)的具體判定適用算法歧視的特殊構(gòu)成要件，損害賠償?shù)挠嬎銊t以“應得而未得”部分為標準，如用戶因遭遇歧視性定價而支付多余價款的，算法控制者應返還用戶多支付的部分；算法歧視造成用戶嚴重精神損害的，算法控制者還應承擔精神損害賠償責任。當然，算法歧視規(guī)制還可通過反壟斷規(guī)制、個人信息保護、消費者權(quán)益保護等路徑實現(xiàn)。除此之外，行政機關(guān)也應強化算法監(jiān)管。一方面，應加強對算法源代碼和算法分析數(shù)據(jù)的審查，以防止算法控制者在算法系統(tǒng)中植入偏見，及時排除分析數(shù)據(jù)中的污染數(shù)據(jù)；另一方面，應引導企業(yè)有序、適當?shù)毓_其算法，以推動算法透明，防范算法濫用風險。事實上，與其他算法不正義問題一樣，算法歧視的癥結(jié)在于算法權(quán)力。因此，反算法歧視的規(guī)制重點應為防止算法權(quán)力的形成和濫用。對此，我國有關(guān)立法已有積極動作，如《電子商務法》第18條規(guī)定電子商務經(jīng)營者向消費者提供商品或服務的搜索結(jié)果時，應同時提供不針對消費者個人特征的選項；《算法推薦管理規(guī)定》第17條更是賦予用戶關(guān)閉算法推薦服務的權(quán)利和選擇、刪除用戶標簽的權(quán)利。這些規(guī)定均有利于削弱算法權(quán)力、消除算法控制，從根源上減少算法歧視的發(fā)生。