算法偏見問題的技術(shù)—權(quán)力互構(gòu)論解析

黃曉偉　李育慧

摘要：近年來的數(shù)據(jù)集下架潮、算法偏見大辯論使得算法偏見成為一個(gè)不可忽視的社會(huì)問題，這歸根結(jié)底是由算法的政治性決定的。本研究從技術(shù)與權(quán)力的互構(gòu)共生關(guān)系視角，批判了算法的價(jià)值中立論，在算法賦權(quán)的社會(huì)—技術(shù)系統(tǒng)中，算法作為非人類行動(dòng)者參與到人類行動(dòng)者的決策過程中。算法偏見可以區(qū)分出若干類型，其實(shí)質(zhì)是當(dāng)代數(shù)字化社會(huì)的一種形式偏見，可能加劇新興的數(shù)字排斥。算法社會(huì)的道德底線應(yīng)該是不造成算法傷害，避免算法作惡，同時(shí)還要從激勵(lì)性倫理的角度推動(dòng)算法的負(fù)責(zé)任創(chuàng)新，實(shí)現(xiàn)算法向善。算法風(fēng)險(xiǎn)的基本治理機(jī)制是算法透明，而同樣重要的是算法問責(zé)。

關(guān)鍵詞：算法偏見;算法權(quán)力;技術(shù)與權(quán)力的互構(gòu);數(shù)字排斥;算法向善

中圖分類號(hào)：B829;TP18? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1003-1502（2021）01-0039-10

在啟蒙現(xiàn)代性發(fā)端之初，英國哲學(xué)家培根發(fā)出了“知識(shí)就是力量”的時(shí)代呼喚。隨著工業(yè)化進(jìn)程的擴(kuò)散，世界各國人民也確實(shí)見證了現(xiàn)代技術(shù)迸發(fā)的巨大力量。20世紀(jì)以來，現(xiàn)代性的迷思為世界大戰(zhàn)、環(huán)境公害、核威脅、恐怖主義等風(fēng)險(xiǎn)事件所動(dòng)搖，居于技術(shù)力量背后的“權(quán)力”幽靈不再游蕩，“知識(shí)即權(quán)力”以及“技術(shù)即權(quán)力”的觀念受到越來越多思想家的重視和討論。近年來，算法創(chuàng)新、海量數(shù)據(jù)與運(yùn)算能力共同推動(dòng)了新一代人工智能的蓬勃發(fā)展，由于算法創(chuàng)新的核心驅(qū)動(dòng)作用及其廣泛的社會(huì)影響，一些社會(huì)理論家們甚至宣稱“算法社會(huì)”正在來臨。與此同時(shí)，以黑箱化為特征的算法所引發(fā)的殺熟、歧視、偽造等風(fēng)險(xiǎn)也逐漸暴露，因而有必要批判性地反思算法力量背后的權(quán)力因素。本研究嘗試從算法與權(quán)力的互構(gòu)共生關(guān)系視角，分析“算法偏見”這一基本且為熱點(diǎn)的社會(huì)問題，從而更深入地理解現(xiàn)代技術(shù)的權(quán)力之維，以期為推動(dòng)新一代人工智能的健康發(fā)展提供學(xué)理借鑒。

一、算法偏見何以成為社會(huì)問題

從學(xué)術(shù)史的角度看，社會(huì)科學(xué)領(lǐng)域關(guān)于偏見問題的研究由來已久，經(jīng)歷了從早期聚焦人類偏見到后來關(guān)注技術(shù)偏見的擴(kuò)展。社會(huì)心理學(xué)家戈登·奧爾波特在其經(jīng)典著作《偏見的本質(zhì)》（1954）中，將偏見定義為“因?yàn)殄e(cuò)誤和僵化的推論，而對(duì)某一群體的成員產(chǎn)生反感或厭惡的情緒”，分析了人類偏見的認(rèn)知過程、動(dòng)機(jī)過程和社會(huì)文化過程，但忽視了新型的、內(nèi)隱的、復(fù)數(shù)的偏見形式[1]。由于技術(shù)偏見大多是內(nèi)隱的，早期的偏見研究并不涉及技術(shù)議題，對(duì)非人類行動(dòng)者與人類行動(dòng)者的關(guān)注是不對(duì)稱的。20世紀(jì)末，計(jì)算機(jī)和互聯(lián)網(wǎng)逐步普及，“價(jià)值敏感性設(shè)計(jì)”理念的提出者芭蒂婭·弗里德曼等最早討論了計(jì)算機(jī)系統(tǒng)的偏差問題，尤其關(guān)注那些具有道德含義的偏差[2]。計(jì)算機(jī)倫理學(xué)中的偏見研究由此發(fā)端，如今引起熱議的算法偏見指涉的就是算法造成的具有道德含義的偏差。進(jìn)入21世紀(jì)，算法倫理伴隨深度學(xué)習(xí)的發(fā)展而興起，最早關(guān)于算法倫理的專題論文發(fā)表于2011年，基于醫(yī)學(xué)圖像分析技術(shù)的案例分析，得出了特定算法是負(fù)載價(jià)值的判斷[3]。此后，信息哲學(xué)家盧西亞諾·弗洛里迪與合作者們持續(xù)追蹤并系統(tǒng)綜述了算法倫理領(lǐng)域的爭議與進(jìn)展，指出了由算法決策引發(fā)的六類倫理挑戰(zhàn)：論據(jù)不確定、論據(jù)難理解、證據(jù)有誤導(dǎo)、結(jié)果不公平、影響多變化以及可追溯性，旨在提供對(duì)算法的認(rèn)識(shí)論和規(guī)范性問題的最新分析，并為算法的設(shè)計(jì)、開發(fā)和部署提供可行的治理建議[4] [5]。在快速增長的算法倫理文獻(xiàn)中，算法偏見問題始終是一個(gè)焦點(diǎn)議題，不過從算法權(quán)力角度的探究還有待深化。

時(shí)至今日，算法偏見不再僅僅是一個(gè)人工智能領(lǐng)域的學(xué)術(shù)問題，而成為一個(gè)不容忽視的社會(huì)問題。在新一代人工智能發(fā)展熱中，算法創(chuàng)新開始顯現(xiàn)出熊彼特意義上的“創(chuàng)造性破壞”的現(xiàn)實(shí)特征。一方面，算法賦能數(shù)字經(jīng)濟(jì)發(fā)展的“創(chuàng)造性效應(yīng)”不斷積聚，這在很大程度上得益于三位圖靈獎(jiǎng)得主杰弗里·辛頓、楊立昆、約書亞·本吉奧為深度學(xué)習(xí)算法奠定的基礎(chǔ)，并在多個(gè)領(lǐng)域得到了規(guī)?；瘧?yīng)用;另一方面，有關(guān)算法的社會(huì)爭議也引起公眾對(duì)其“破壞性效應(yīng)”的警惕。以大量應(yīng)用深度學(xué)習(xí)算法的圖像識(shí)別領(lǐng)域?yàn)槔?019年以來因系統(tǒng)性的標(biāo)注缺陷而出現(xiàn)了“數(shù)據(jù)集下架潮”，迄今已涉及微軟公司的MS-Celeb-1M名人人臉數(shù)據(jù)集、杜克大學(xué)的Duke MTMC行人監(jiān)控?cái)?shù)據(jù)集、斯坦福大學(xué)的Brainwash頭部檢測數(shù)據(jù)集、麻省理工學(xué)院的Tiny Images Dataset微小圖像數(shù)據(jù)集，以及目前世界上最大的圖像識(shí)別數(shù)據(jù)集ImageNet中的“人物”子集，不一而足。

如果說上述數(shù)據(jù)集下架潮引發(fā)的社會(huì)關(guān)注還主要集中在數(shù)據(jù)偏見問題，那么一場關(guān)于深度學(xué)習(xí)算法的大辯論將算法偏見問題前所未有地凸顯出來。在2020年的國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議上，杜克大學(xué)的研究者們發(fā)布了一種基于StyleGAN人臉圖像生成器的PULSE算法，這種算法能將模糊圖片迅速高清化。有網(wǎng)友試用了上述算法，輸入美國前總統(tǒng)奧巴馬的模糊照片，卻生成了一張白人男子的照片，算法的不完備性隨即引發(fā)了激烈的辯論。圖靈獎(jiǎng)得主楊立昆發(fā)推特表態(tài)，從技術(shù)角度將此歸結(jié)為數(shù)據(jù)偏見問題，認(rèn)為機(jī)器學(xué)習(xí)系統(tǒng)的偏見來自數(shù)據(jù)的偏見，這一面部采樣系統(tǒng)讓每個(gè)人都變白，是由于網(wǎng)絡(luò)的預(yù)訓(xùn)練基于主要為白人圖片的FlickFaceHQ數(shù)據(jù)集。如果同樣的系統(tǒng)使用塞內(nèi)加爾的數(shù)據(jù)集訓(xùn)練，那每個(gè)人看起來都會(huì)像非洲人”。黑人女性AI科學(xué)家蒂妮特·葛卜路對(duì)楊立昆的立場深表失望，在推特上回應(yīng)，“你不能將機(jī)器學(xué)習(xí)導(dǎo)致的傷害簡單還原為數(shù)據(jù)集偏見”。在輿論壓力下，杜克大學(xué)的研究者們也不得不公開回應(yīng)，算法訓(xùn)練所用的都是虛擬的人臉圖片，不會(huì)用于識(shí)別或重構(gòu)真實(shí)人臉。此外，他們還在預(yù)印本論文中新增了一節(jié)，專門討論算法偏見問題，“PULSE算法可能解釋了一些內(nèi)在于StyleGAN的偏見”，并報(bào)告了該算法識(shí)別不同種族、性別人群圖片的成功率差異[6]。與之類似，新近的AI研究更為詳細(xì)地描述了人工圖像生成算法中隱含的人口統(tǒng)計(jì)學(xué)偏見，發(fā)現(xiàn)生成的圖像更偏向年輕人，尤其是白人女性[7]。最終，這場多方參與、持續(xù)兩周的“算法偏見大辯論”以楊立昆退出推特而暫告一段落，而由此引發(fā)的學(xué)術(shù)討論仍在繼續(xù)。

二、算法觀的分歧：內(nèi)在主義，還是外在主義

現(xiàn)代意義的“算法”概念歷史并不久遠(yuǎn)，早期預(yù)設(shè)了內(nèi)在主義的認(rèn)識(shí)論立場。“Algorithm”的詞源可追溯至波斯數(shù)學(xué)家、“代數(shù)之父”阿爾·花拉子密，最初指代加、減、乘、除等基本算術(shù)法則。直到20世紀(jì)七八十年代，隨著計(jì)算機(jī)科學(xué)的發(fā)展，現(xiàn)代意義的“算法”才成為一個(gè)專業(yè)術(shù)語。在經(jīng)典的計(jì)算機(jī)科學(xué)教科書中，算法通常被定義為一組有窮的計(jì)算規(guī)則，這些規(guī)則給出求解特定類型問題的運(yùn)算序列，并具備有限性、確定性、輸入、輸出和有效性等特征[8]。區(qū)別于基于規(guī)則的傳統(tǒng)機(jī)器學(xué)習(xí)算法范式，杰弗里·辛頓2006年在《科學(xué)》上發(fā)表的關(guān)于深度學(xué)習(xí)算法的論文，真正開啟了新一代人工智能的先河[9]。從技術(shù)角度分析，深度學(xué)習(xí)算法的工作流程可以簡化為：選擇問題→挑選算法→數(shù)據(jù)收集→預(yù)訓(xùn)練→應(yīng)用→校準(zhǔn)→測試→再設(shè)計(jì)。而目前引起熱議及爭議的算法都是深度學(xué)習(xí)算法，是輸入數(shù)據(jù)與學(xué)習(xí)模型的共同產(chǎn)物。

進(jìn)入21世紀(jì)，關(guān)于算法的哲學(xué)與社會(huì)科學(xué)研究開始興起，對(duì)算法概念的理解出現(xiàn)了狹義和廣義之分。計(jì)算機(jī)科學(xué)哲學(xué)家完善了算法的狹義理解，將其界定為數(shù)學(xué)建構(gòu)物，即一種有窮的、抽象的、高效的復(fù)合式控制結(jié)構(gòu)，其命令已給定，用以在設(shè)定的規(guī)定條件下實(shí)現(xiàn)設(shè)定的目標(biāo)[10]。而社會(huì)科學(xué)學(xué)者傾向于一種外在主義的認(rèn)識(shí)論立場，將算法理解為一種社會(huì)—技術(shù)系統(tǒng)，它“不只是一組能夠編碼為計(jì)算機(jī)程序的、足夠精確的指令，還是運(yùn)行于一個(gè)實(shí)體的計(jì)算機(jī)系統(tǒng)之上并能夠影響其他系統(tǒng)的程序”[11]。本研究主要從算法概念的廣義理解去分析算法偏見問題。

近年來的數(shù)據(jù)集下架潮、算法偏見大辯論使得“算法本身是否具有偏見”成為技術(shù)的社會(huì)學(xué)與倫理學(xué)研究紛紛關(guān)注的焦點(diǎn)。事實(shí)上，爭論雙方的分歧首先體現(xiàn)在算法觀上，即算法是一個(gè)純粹數(shù)學(xué)意義上的技術(shù)系統(tǒng)，還是一個(gè)復(fù)雜的社會(huì)—技術(shù)系統(tǒng)？作為“深度學(xué)習(xí)三巨頭”之一的楊立昆就將算法視為單純技術(shù)系統(tǒng)，是算法領(lǐng)域持技術(shù)價(jià)值中立論的典型代表。他早在2019年就曾發(fā)推特表達(dá)過“算法自身的無偏見性”觀點(diǎn)。他寫道，“人類是有偏見的。數(shù)據(jù)是有偏見的，部分是由于人類是有偏見的?；谟衅姷臄?shù)據(jù)訓(xùn)練出來的算法是有偏見的。但學(xué)習(xí)算法本身是無偏見的。數(shù)據(jù)偏見能夠被修正。修正人類偏見則要困難得多?！?/p>

其實(shí)，這種算法無偏見的觀點(diǎn)之所以得到很多人的認(rèn)可，與根深蒂固的技術(shù)價(jià)值中立論有關(guān)。技術(shù)與價(jià)值無涉的觀念古已有之，直到20世紀(jì)下半葉才得到深刻批判。在前現(xiàn)代社會(huì)，亞里士多德的技術(shù)觀影響深遠(yuǎn)，他將“人工物”與 “自然物”對(duì)立起來，認(rèn)為人工物的目的因在其自身之外，無內(nèi)在目的之物只能從屬于手段領(lǐng)域[12]。及至現(xiàn)代，馬克斯·韋伯區(qū)分了“實(shí)質(zhì)合理性”與“形式合理性”，認(rèn)為前者包含價(jià)值偏見，而后者是價(jià)值中立的[13]。在韋伯看來，技術(shù)的本質(zhì)是一種形式合理性，這進(jìn)一步強(qiáng)化了技術(shù)中立性的現(xiàn)代迷思。法蘭克福學(xué)派理論家赫伯特·馬爾庫塞尖銳地批判了技術(shù)中立性的傳統(tǒng)概念，主張技術(shù)成了新的社會(huì)控制形式，在單向度的發(fā)達(dá)工業(yè)社會(huì)，“技術(shù)的合理性已經(jīng)變成政治的合理性”[14]。在反思韋伯與馬爾庫塞的技術(shù)觀基礎(chǔ)上，技術(shù)哲學(xué)家安德魯·芬伯格區(qū)分了“實(shí)質(zhì)偏見”與“形式偏見”，指出關(guān)于技術(shù)的形式偏見是現(xiàn)代社會(huì)獨(dú)一無二的特點(diǎn)，而且不可避免地負(fù)載價(jià)值，“形式偏見的本質(zhì)是在時(shí)間、地點(diǎn)和由相對(duì)中性的要素組成的系統(tǒng)引入方式上存有成見的選擇”[15]。

因此，循著芬伯格的思路，本研究認(rèn)為算法偏見是當(dāng)代數(shù)字化社會(huì)的一種形式偏見，一切算法系統(tǒng)皆是社會(huì)—技術(shù)系統(tǒng)，在引入技術(shù)性與非技術(shù)性要素的過程中都有可能嵌入人類的價(jià)值偏見。那些執(zhí)著于算法無偏見的學(xué)者，仍然將技術(shù)系統(tǒng)視作實(shí)現(xiàn)人類目的的手段與工具，而無視技術(shù)系統(tǒng)的可編碼性和價(jià)值負(fù)載性。而從技術(shù)與權(quán)力互構(gòu)的角度解析算法偏見，就是基于算法的政治價(jià)值負(fù)載性，解讀算法偏見與算法權(quán)力之間的復(fù)雜關(guān)聯(lián)。

三、算法的政治性與算法偏見的多樣性

在數(shù)字化的社會(huì)，人機(jī)協(xié)同決策的場景不斷擴(kuò)展，算法作為非人類行動(dòng)者參與到人類行動(dòng)者的決策過程中?！按髷?shù)據(jù)和算法作為顯然可靠的治理工具，可能會(huì)取代人類的‘自由裁量權(quán)”[16]。從購物/新聞/音樂推薦、貸款發(fā)放、保險(xiǎn)理賠、雇傭招聘，再到精準(zhǔn)醫(yī)療、自動(dòng)駕駛、量刑評(píng)估、預(yù)測性警務(wù)，算法決策服務(wù)及其質(zhì)量已經(jīng)成為利益攸關(guān)方關(guān)注的焦點(diǎn)。當(dāng)然，目前真正能實(shí)際應(yīng)用的場景還相對(duì)有限，可以完全自主決策的、代表通用人工智能的算法仍然處在思想實(shí)驗(yàn)階段。

技術(shù)哲學(xué)家蘭登·溫納的經(jīng)典之問“技術(shù)物有政治性嗎？”[17]對(duì)當(dāng)今理解算法的政治性仍有啟示意義。溫納認(rèn)為，各種技術(shù)系統(tǒng)與現(xiàn)代政治深入地交織在一起——這里的“政治”是指權(quán)力和權(quán)威在人類交往中的配置以及這種配置之下的活動(dòng)。有些技術(shù)的變遷會(huì)產(chǎn)生政治后果（如紐約城市規(guī)劃師羅伯特·摩西為限制少數(shù)族裔和低收入群體而設(shè)計(jì)的一系列低橋），此即“技術(shù)的外在政治性”;有些技術(shù)甚至在某種意義上具有政治本性（如原子彈、核電廠），此即“技術(shù)的內(nèi)在政治性”。事實(shí)上，在算法的政治性問題上，這一區(qū)分仍然是適用的。

一方面，有些算法被外在地賦予政治性，司法領(lǐng)域的量刑評(píng)估算法是一個(gè)典型案例。COMPAS算法是由美國Northpointe公司數(shù)據(jù)科學(xué)家蒂姆·布倫南發(fā)明的司法輔助決策模型，該算法結(jié)合刑事案件被告人對(duì) 137 個(gè)調(diào)查問題的回答（涉及以往犯罪記錄、第一次被捕的年齡及現(xiàn)在年齡、教育水平以及一個(gè)小時(shí)的問卷調(diào)查等人口統(tǒng)計(jì)學(xué)信息）來預(yù)測他們?cè)俅畏缸锏目赡苄?，他聲稱該算法不會(huì)把種族作為變量。美國一些州的法官在被告人申請(qǐng)假釋時(shí)，通過用該算法對(duì)他們?cè)俜傅娘L(fēng)險(xiǎn)進(jìn)行評(píng)估，以作出最終決定。2016年，一家公益機(jī)構(gòu)ProPublica基于佛羅里達(dá)州布勞沃德縣的用戶數(shù)據(jù)開展的調(diào)查發(fā)現(xiàn)，COMPAS算法對(duì)非裔美國人存在偏見。具體而言，假釋評(píng)估時(shí)被算法標(biāo)注為高風(fēng)險(xiǎn)（容易再犯），但后來沒有再犯的白人為23.5%，黑人為44.9%;假釋評(píng)估時(shí)被算法標(biāo)注為低風(fēng)險(xiǎn)（不易再犯），但后來再犯的白人為47.7%，黑人為28.0%。因此，那些雖有前科但沒有再犯的黑人被算法錯(cuò)誤標(biāo)注為高風(fēng)險(xiǎn)罪犯（如表1所示）[18]。

另一方面，有些算法則內(nèi)在地具有政治性，這突出體現(xiàn)在那些意圖實(shí)現(xiàn)政治操控的算法上。以2016年的兩個(gè)政治“黑天鵝事件”為例，英國公投支持“脫歐”和特朗普當(dāng)選美國總統(tǒng)的背后都有一家加拿大政治咨詢公司聚合智囊（AggregateIQ）技術(shù)介入的活躍身影。據(jù)加拿大信息隱私專員辦公室系統(tǒng)的一份官方調(diào)查報(bào)告顯示，聚合智囊利用算法模型刻畫用戶的心理特征并向其投送定制的政治廣告或虛假新聞，介入了英、美、加等國的政治選舉活動(dòng)，期望影響選民的投票決定[19]。電影《脫歐：無理之戰(zhàn)》中，為英國“脫歐派”提供選民定位算法決策服務(wù)的就是這家公司;此外，聚合智囊還一度利用英國一家政治咨詢公司劍橋分析非法獲取并共享的5000 多萬臉書（Facebook）用戶隱私數(shù)據(jù)，為特朗普的總統(tǒng)競選活動(dòng)提供算法決策服務(wù)。其實(shí)，早在2012年的總統(tǒng)競選活動(dòng)中，奧巴馬就已經(jīng)嫻熟地運(yùn)用名為“選民關(guān)系管理系統(tǒng)”的大數(shù)據(jù)分析結(jié)果;盡管最終不敵特朗普，但希拉里在2016年總統(tǒng)競選活動(dòng)中也使用了The Groundwork團(tuán)隊(duì)（受谷歌公司的間接支持）提供的算法決策服務(wù)。

總之，算法偏見之所以成為社會(huì)問題，歸根結(jié)底是由算法的政治性決定的。算法決策為人類決策“賦權(quán)”，但受所輸入數(shù)據(jù)的質(zhì)量以及算法模型本身的限制，內(nèi)在地嵌入了人類正面或負(fù)面的價(jià)值觀，并能動(dòng)地制造著各種風(fēng)險(xiǎn)后果[20]。從技術(shù)與權(quán)力互構(gòu)論的角度分析，可以依據(jù)對(duì)象、起源兩個(gè)標(biāo)準(zhǔn)來進(jìn)一步區(qū)分出算法偏見的六種理想類型。

第一，根據(jù)遭受算法偏見的對(duì)象劃分，主要包括算法中的社會(huì)偏見、用戶偏見和信息偏見[21] 。

1.所謂“社會(huì)偏見”，是指算法可以展現(xiàn)社會(huì)對(duì)個(gè)體或利益攸關(guān)方的偏見，并明確體現(xiàn)在信息系統(tǒng)中，或者受到使用這些系統(tǒng)作出的決定的直接影響。研究者將有害的算法比喻為“數(shù)學(xué)殺傷性武器”，揭露了算法的不透明、規(guī)?；缧缘忍卣鱗22]。下列案例同樣涉及算法的社會(huì)偏見：英國圣喬治醫(yī)學(xué)院的自動(dòng)化招聘模型給來自外國的優(yōu)秀申請(qǐng)人和女性申請(qǐng)人打分偏低，每年2000個(gè)申請(qǐng)者中有60個(gè)申請(qǐng)者無法進(jìn)入面試環(huán)節(jié)，僅僅是因?yàn)樗ㄋ﹤兊姆N族或性別;一位得過躁郁癥的年輕人在康復(fù)后重新求職，但由于不同公司采用了同一套人格測試算法模型，導(dǎo)致他在申請(qǐng)低薪職位時(shí)也接連被拒。

2.所謂“用戶偏見”，是指同一個(gè)信息系統(tǒng)對(duì)不同用戶（個(gè)人、團(tuán)體或組織）的可用性偏見，具體包括系統(tǒng)對(duì)不同用戶的可獲取性，用戶可以使用系統(tǒng)特性的舒適性，以及系統(tǒng)能夠滿足用戶需求的程度等[23]。一個(gè)典型的案例是谷歌實(shí)施的“自殺預(yù)防結(jié)果”項(xiàng)目：當(dāng)用戶在引擎上輸入與自殺相關(guān)詞匯時(shí)，谷歌就會(huì)在第一時(shí)間向具有自殺傾向的群體呈現(xiàn)出能夠預(yù)防其自殺的干預(yù)措施。然而，谷歌這項(xiàng)表面看起來具有巨大社會(huì)效益的項(xiàng)目，面臨的最大挑戰(zhàn)是來自不同的搜索語言得出的算法輸出結(jié)果之間的明顯差異。有研究者發(fā)現(xiàn)，當(dāng)使用英語搜索與自殺相關(guān)的危害信息或求助信息時(shí)，會(huì)有90%以上的概率出現(xiàn)自殺預(yù)防結(jié)果，這遠(yuǎn)遠(yuǎn)高于在使用日語、中文、印地語、德語等地區(qū)進(jìn)行搜索“自殺預(yù)防結(jié)果”顯示的概率。這限制了使用非英語語言地區(qū)的用戶對(duì)于“自殺預(yù)防結(jié)果”項(xiàng)目的可獲得性，從而導(dǎo)致全球網(wǎng)民在健康信息上的“用戶偏見”[24]。

3.所謂“信息偏見”，是指某個(gè)信息系統(tǒng)提供的信息選擇和表征方式而造成的認(rèn)知性偏見。以醫(yī)學(xué)圖像分析的算法為例，它旨在以精確的方式在計(jì)算機(jī)中表現(xiàn)人體生物結(jié)構(gòu)，從而改善有關(guān)疾病的診斷前景。這些算法是否應(yīng)該將某個(gè)生物結(jié)構(gòu)計(jì)算為病變，與所選擇的閾值有關(guān)，由此引起的倫理問題之一是使用產(chǎn)生假正例和假負(fù)例結(jié)果的風(fēng)險(xiǎn)。而閾值往往是“似乎合理”，而非先驗(yàn)正確的，這取決于算法設(shè)計(jì)者在避免假正例/病變之間的偏好，偏好就不可避免地涉及價(jià)值判斷[3]。

第二，根據(jù)算法偏見產(chǎn)生的起源劃分，主要包括先天偏見、過程偏見和后果偏見[21]。

1.所謂“先天偏見”，是由數(shù)據(jù)科學(xué)家的判斷引入，這類有偏見的算法包括算法代碼和指令在預(yù)設(shè)前提的基礎(chǔ)上設(shè)計(jì)的情況。例如，程序員和軟件工程師的偏見心態(tài)找到進(jìn)入算法設(shè)計(jì)方式，成為嵌入在規(guī)定算法的條件和結(jié)果部分的過程中這種算法設(shè)計(jì)者意識(shí)形態(tài)和算法的結(jié)合，可以使算法成為負(fù)載規(guī)范性和命令性陳述的載體。

2.所謂“過程偏見”，是指機(jī)器學(xué)習(xí)算法與社交或信息環(huán)境交互的過程中學(xué)習(xí)和復(fù)制偏見行為。2016年3月，微軟公司在推特（Twitter）上推出的智能聊天機(jī)器人Tay是一個(gè)試驗(yàn)性的機(jī)器學(xué)習(xí)項(xiàng)目，專為與18—24歲之間的年輕人交流而設(shè)計(jì)。但在學(xué)習(xí)過程中，Tay不僅臟話連篇、辱罵用戶，還發(fā)表煽動(dòng)性的政治評(píng)論和種族歧視言論，結(jié)果在短短24小時(shí)內(nèi)就被迫撤下整改。

3.所謂“后果偏見”，是指一些算法輸出的結(jié)果是有偏見的，但并非有意為之。2015 年，谷歌公司處于開發(fā)早期的圖像識(shí)別算法竟然將一些黑人圖片錯(cuò)誤地標(biāo)注為“大猩猩”，為了平息風(fēng)波，谷歌從照片數(shù)據(jù)庫內(nèi)屏蔽了“大猩猩”和其他靈長類動(dòng)物的標(biāo)簽。這起算法事故是對(duì)曾以“不作惡”為行為準(zhǔn)則的谷歌的一個(gè)反諷。

從社會(huì)學(xué)意義上分析，各類的算法偏見將在特定時(shí)空條件下促生一群“數(shù)字窮人”或“數(shù)字難民”，這是因數(shù)字技術(shù)變遷導(dǎo)致的新型社會(huì)排斥問題，即“數(shù)字排斥”?！半m然社會(huì)排斥有各種定義，但它意味著這樣一個(gè)過程：個(gè)人或群體被全部地或部分地排除在充分的社會(huì)參與之外”[25]。個(gè)體或群體的數(shù)字排斥過程有主動(dòng)或被動(dòng)之分，其中算法偏見涉及的案例主要是由被動(dòng)排斥所導(dǎo)致的。總之，算法偏見可能導(dǎo)致勞動(dòng)力市場排斥、公共服務(wù)排斥和社會(huì)關(guān)系排斥等潛在的社會(huì)問題，是數(shù)字社會(huì)治理的重大挑戰(zhàn)之一，若治理無效可能成為新的社會(huì)不平等源頭。

四、算法社會(huì)的倫理治理路徑探究

社會(huì)科學(xué)學(xué)者較早從算法權(quán)力的角度覺察到“算法社會(huì)”正在加速來臨。相比以往，越來越多的經(jīng)濟(jì)與社會(huì)決策依賴算法系統(tǒng)作出的自動(dòng)化決策，正在來臨的算法社會(huì)正是以運(yùn)用算法、智能代理和大數(shù)據(jù)來治理人口為特色的。斯科特·拉什指出，在媒體和代碼無處不在的社會(huì)，權(quán)力越來越集中于算法這種生成性規(guī)則[26]，而戴維·比爾強(qiáng)調(diào)“算法能夠形塑社會(huì)文化形態(tài)，并直接影響個(gè)體的生活”[27]，弗蘭克·帕斯奎爾強(qiáng)調(diào)了算法社會(huì)的黑箱化風(fēng)險(xiǎn)（即“黑箱社會(huì)”），用于作出判斷的算法程序?qū)⒅饔^偏見偽造成看似中立的分?jǐn)?shù)，逐漸成為分配機(jī)遇和施加懲罰的“看不見的仲裁者”[28]。

之于算法社會(huì)的倫理治理，本研究從倫理內(nèi)涵與治理機(jī)制兩個(gè)分析維度，嘗試構(gòu)建一個(gè)倫理治理的矩陣模型。從倫理內(nèi)涵維度分析，可以辨識(shí)出預(yù)防性倫理和激勵(lì)性倫理[29]兩種類型;從治理機(jī)制維度分析，主要有兩種：作為事前治理方式的算法透明制和作為事后治理方式的算法問責(zé)制（如表2所示）。

第一，在算法社會(huì)，對(duì)“機(jī)器人學(xué)三定律”的闡釋應(yīng)該與時(shí)俱進(jìn)，其道德底線應(yīng)該是不造成算法傷害。美國作家艾薩克·阿西莫夫在科幻作品中提出了廣為流傳的“機(jī)器人學(xué)三定律”，即“第一定律——機(jī)器人不得傷害人，也不得見人受到傷害而袖手旁觀;第二定律——機(jī)器人應(yīng)服從人的一切命令，但不得違反第一定律;第三定律——機(jī)器人應(yīng)保護(hù)自身的安全，但不得違反第一、第二定律”[30]。與阿西莫夫虛構(gòu)的科幻世界不同，美國法學(xué)家杰克·巴爾金指出，算法社會(huì)的“機(jī)器人學(xué)三定律”應(yīng)該是針對(duì)人類與人類組織的法則，而不是針對(duì)機(jī)器人本身的法則?！笆紫龋瑱C(jī)器人、算法和智能代理的操作者是信息信托人，對(duì)終端用戶、委托人和客戶負(fù)有誠信和公平交易的特殊責(zé)任。其次，私有的數(shù)字平臺(tái)企業(yè)雖然不是信息信托人，但同樣對(duì)公眾負(fù)有責(zé)任。再次，機(jī)器人、算法和智能代理的使用者核心的公共責(zé)任是不造成算法傷害。”[31] 事實(shí)上，上述倫理準(zhǔn)則可以凝練為“算法社會(huì)的三定律”，即主張數(shù)據(jù)科學(xué)家和算法工程師的角色是用戶的信息信托人，數(shù)字平臺(tái)企業(yè)也需要履行公共責(zé)任，二者的核心責(zé)任是不造成算法傷害。此處的算法傷害，具體可以理解為前述的六類算法偏見，而它們?cè)诂F(xiàn)實(shí)中往往交織在一起。“不造成算法傷害”的道德律令，更多體現(xiàn)了預(yù)防性倫理的視角，其基本治理原則是算法透明，即要求算法的設(shè)計(jì)方或使用方公開披露算法決策相關(guān)的源代碼、輸入數(shù)據(jù)或輸出結(jié)果。

第二，在算法透明制之外，同樣重要的算法風(fēng)險(xiǎn)治理機(jī)制是提高決策學(xué)習(xí)算法的可問責(zé)性。事實(shí)上，算法透明制在操作層面仍有諸多限制，而且透明性不是最終目的，它只是通向可理解性的一個(gè)階梯[28]。簡言之，算法問責(zé)制是要求算法的部署方確保算法按預(yù)期運(yùn)行，并有能力糾正有害后果。算法問責(zé)制的一個(gè)成功應(yīng)用案例是美國對(duì)P2P 算法風(fēng)險(xiǎn)的治理。P2P算法在文件傳輸領(lǐng)域的成功應(yīng)用反而成為一柄“雙刃劍”，即迅速滋生了盜版、淫穢等音視頻內(nèi)容的傳播。為治理此類算法風(fēng)險(xiǎn)，美國音樂電影產(chǎn)業(yè)界與互聯(lián)網(wǎng)產(chǎn)業(yè)界共同推動(dòng)了相關(guān)的版權(quán)立法。由于美國版權(quán)領(lǐng)域有著成熟的責(zé)任追溯體系，因此主要采用了事后治理性質(zhì)的算法問責(zé)機(jī)制，仍然達(dá)到了有效的治理效果，而無須借助算法透明原則深究P2P 算法的技術(shù)性實(shí)質(zhì)[32]。

第三，從激勵(lì)性倫理的視角，算法不僅不得“作惡”，同時(shí)還要積極“向善”。面對(duì)層出不窮的算法偏見問題，一些致力于實(shí)現(xiàn)算法向善的理念已經(jīng)出現(xiàn)。典型案例之一是，為應(yīng)對(duì)可能出現(xiàn)的自動(dòng)駕駛汽車版“電車難題”，有研究者提出了可定制“倫理旋鈕”的構(gòu)想。乘客有三種倫理選擇：第一種是“利他”模式，自動(dòng)駕駛汽車在緊急情況下選擇犧牲乘客以拯救第三方（行人或過路人）;第二種是“利己”模式，緊急情況下犧牲第三方以拯救乘客;第三種是“公正”模式，賦予乘客和第三方以同等的道德權(quán)重，緊急情況下依據(jù)“兩害相權(quán)取其輕”的功利主義原則決策，而在乘客與第三方人數(shù)相同的特殊情況下，可能會(huì)有一個(gè)有利于乘客或第三方的推定，或者在兩者之間進(jìn)行隨機(jī)選擇。此外，選擇不同的倫理旋鈕，還需要引入相應(yīng)的乘客法律責(zé)任、第三方保險(xiǎn)賠償?shù)壬鐣?huì)治理機(jī)制[33]。事實(shí)上，盡管這一方案還有待實(shí)踐的檢驗(yàn)，但已經(jīng)超出了技術(shù)性修正的范疇，開始意識(shí)到在技術(shù)與社會(huì)的交互界面思考解決方案的必要性。

第四，在算法向善的實(shí)踐層面，算法風(fēng)險(xiǎn)治理應(yīng)該重視發(fā)揮第三方機(jī)構(gòu)的專業(yè)監(jiān)督作用。從激勵(lì)性倫理的角度看，算法問責(zé)制的一個(gè)典型案例是算法正義聯(lián)盟，這是由麻省理工學(xué)院計(jì)算機(jī)科學(xué)家喬伊·布拉姆維尼發(fā)起，致力于糾正算法偏見的公益機(jī)構(gòu)。數(shù)據(jù)科學(xué)家們通過網(wǎng)站收集遭受過算法傷害的受害者申訴，并圍繞申訴撰寫文章、錄制視頻、發(fā)起研究課題等，爭取使現(xiàn)有（尤其數(shù)字平臺(tái)企業(yè)的）算法變得更加公正與客觀。主要的工作方式有研究、傳播和監(jiān)督三種：1.通過專業(yè)的科學(xué)研究，調(diào)查、評(píng)測和呈現(xiàn)重要算法的偏見水平，呼吁數(shù)字平臺(tái)企業(yè)改進(jìn)算法;2.通過論文、視頻、演講等傳播形式以及多種藝術(shù)、媒體形式進(jìn)行宣傳報(bào)道，并收集算法傷害的案例和招募志愿者，引起公眾和有關(guān)企業(yè)對(duì)算法偏見的理解和重視;3.發(fā)揮第三方組織的監(jiān)督作用，通過建立“類行業(yè)標(biāo)準(zhǔn)”的規(guī)范協(xié)議（如“安全人臉承諾”），鼓勵(lì)企業(yè)、政府、科研人員等利益攸關(guān)方加入，進(jìn)行自律或他律[34]。

結(jié)? ?語

本研究從算法與權(quán)力的互構(gòu)共生關(guān)系視角，批判了算法的價(jià)值中立論，主張一切算法系統(tǒng)皆是社會(huì)—技術(shù)系統(tǒng)，算法偏見是當(dāng)代數(shù)字社會(huì)的一種形式偏見。算法作為非人類行動(dòng)者參與到人類行動(dòng)者的決策過程中，要么被外在地賦予了政治性，要么內(nèi)在地具有政治本性。層出不窮的算法偏見可能導(dǎo)致新型的數(shù)字排斥，必須高度重視算法風(fēng)險(xiǎn)的社會(huì)治理。其基本的治理機(jī)制是算法透明，而同樣重要的是算法問責(zé);算法社會(huì)的預(yù)防性倫理底線應(yīng)該是不造成算法傷害，避免算法作惡，此外還要從激勵(lì)性倫理的角度推動(dòng)算法的負(fù)責(zé)任創(chuàng)新，實(shí)現(xiàn)算法向善。

在算法偏見已經(jīng)成為一個(gè)不可忽視的社會(huì)問題的今天，特別需要來自社會(huì)科學(xué)領(lǐng)域與自然科學(xué)領(lǐng)域的學(xué)者通力協(xié)作，促進(jìn)深度學(xué)習(xí)算法的健康發(fā)展。在2020年深度學(xué)習(xí)領(lǐng)域的國際頂級(jí)會(huì)議ICLR2020上，社會(huì)科學(xué)學(xué)者反思算法偏見問題的聲音受到廣泛關(guān)注，“沒有歷史深度和社會(huì)深度的計(jì)算深度只是淺薄學(xué)習(xí)”[35]，而非深度學(xué)習(xí)。對(duì)算法風(fēng)險(xiǎn)的社會(huì)治理已經(jīng)開始起步，仍然任重而道遠(yuǎn)。

參考文獻(xiàn)：

[1] 高明華.偏見的生成與消解：評(píng)奧爾波特《偏見的本質(zhì)》[J].社會(huì)， 2015，35（1）.

[2] Friedman B.， Nissenbaum H..Bias in Computer Systems[J]. ACM Transactions on Information Systems， 1996， 14（3）.

[3] Kraemer F.，et al. Is There an Ethics of Algorithms？[J]. Ethics and Information Technology， 2011，13（3）.

[4] Mittelstadt B.， et al. The Ethics of Algorithms： Mapping the Debate[J].Big Data & Society，2016，（12）.

[5] Tsamados A.， et al. The Ethics of Algorithms： Key Problems and Solutions [EB/OL]. https：//www.researchgate.net/publication/343472595，2020-08-06.

[6] Menon S.， et al. PULSE： Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [EB/OL]. https：//arxiv.org/abs/2003.03808，2020-07-20.

[7] Salminen J.， et al. Analyzing Demographic Bias in Artificially Generated Facial Pictures[EB/OL]. https：//dl.acm.org/doi/10.1145/3334480.3382791，2020-04-25.

[8]〔美〕高德納. 計(jì)算機(jī)程序設(shè)計(jì)藝術(shù)（第1卷：基本算法）[M].蘇玉林，譯. 北京：國防工業(yè)出版社， 2007.4-5.

[9] Hinton G.， Salakhutdinov R.. Reducing the Dimensionality of Data with Neural Networks[J]. Science，2006，313（5786）.

[10] Hill R.. What an Algorithm Is？[J]. Philosophy & Technology， 2016，29（3）.

[11] MacKenzie D.. Material Signals： A Historical Sociology of High-Frequency Trading[J]. American Journal of Sociology， 2018，123（6）.

[12]〔古希臘〕亞里士多德.物理學(xué)[M].張竹明，譯. 北京：商務(wù)印書館，1982.43-46.

[13] Weber M.. The Theory of Social and Economic Organization[M].Glencoe，IL： The Free Press，1964.35-40.

[14]〔美〕赫伯特·馬爾庫塞.單向度的人[M].劉繼，譯.上海：譯文出版社，2006.導(dǎo)言7-8.

[15]〔美〕安德魯·芬伯格.技術(shù)批判理論[M].韓連慶，等，譯.北京： 北京大學(xué)出版社，2005.97-98.

[16]〔美〕希拉·賈薩諾夫.發(fā)明的倫理：技術(shù)與人類未來[M].尚智叢，等，譯.北京：中國人民大學(xué)出版社， 2018.177.

[17] Winner L.. Do Artifacts Have Politics？ [J]. Daedalus， 1980，（109）.

[18] Angwin， J.， et al. Machine Bias： There's Software Used Across the Country to Predict Future Criminals. And It's Biased against Blacks [EB/OL]. https：//www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing， 2016-05-23.

[19] McEvoy M.， Therrien D. INVESTIGATION REPORT P19-03 PIPEDA-035913，AggregateIQ Data Services Ltd. [EB/OL].? https：//www.oipc.bc.ca/investigation-reports/2363，2019-11-26.

[20] 黃曉偉.互聯(lián)網(wǎng)平臺(tái)壟斷問題的算法共謀根源及協(xié)同治理思路[J].中國科技論壇， 2019，（9）.

[21] Sattarov F.. Power and Technology： A Philosophical and Ethical Analysis[M]. London： Rowman & Littlefield International， 2019.

[22]〔美〕凱西·奧尼爾. 算法霸權(quán)：數(shù)學(xué)殺傷性武器的威脅[M].馬青玲，譯.北京：中信出版社，2018.

[23]Van Den Hoven J.. Computer Ethics： Philosophical Enquiry[M]. Rotterdam， Netherlands： Rotterdam University Press，1998.

[24] Haim M.， Arendt F.， Scherr S.. Abyss or Shelter？ On the Relevance of Web Search Engines Search Results When People Google for Suicide[J]. Health Communication， 2017， 32（2）.

[25] 景曉芬.“社會(huì)排斥”理論研究綜述[J].甘肅理論學(xué)刊， 2004，（2）.

[26] Lash S.. Power after Hegemony： Cultural Studies in Mutation？ [J]. Theory Culture & Society， 2007， 24（3）.

[27] Beer D. .Power through the Algorithm？ Participatory Web Cultures and the Technological Unconscious[J]. New Media & Society，2009，11（6）.

[28]〔美〕弗蘭克·帕斯奎爾.黑箱社會(huì)：控制金錢和信息的數(shù)據(jù)法則[M].趙亞男，譯. 北京：中信出版社， 2015.

[29]〔美〕理查德·伯恩. 工程倫理：挑戰(zhàn)與機(jī)遇[M]. 叢杭青，等，譯. 杭州：浙江大學(xué)出版社，2020.

[30]〔美〕艾·阿西莫夫. 我，機(jī)器人[M]. 國強(qiáng)，等，譯. 北京：科學(xué)普及出版社，1981.1.

[31] Balkin J.M..The Three Laws of Robotics in the Age of Big Data[J]. Ohio State Law Journal， 2017，78（5）.

[32] 沈偉偉.算法透明原則的迷思——算法規(guī)制理論的批判[J].環(huán)球法律評(píng)論，2019，（6）.

[33] Contissa G.， et al. The Ethical Knob： Ethically-customisable Automated Vehicles and the Law[J]. Artificial Intelligence and Law，2017，25（3）.

[34] 司曉，馬永武，等. 科技向善[M].杭州：浙江大學(xué)出版社，2020.205-211.

[35] Benjamin R.. 2020 Vision： Reimagining the Default Settings of Technology & Society [EB/OL].https：//iclr.cc/virtual_2020/speaker_3.html，2020-04-28.

An Analysis of the Problem of Algorithmic Bias Based on the Co-production Theory of Technology and Power

HUANG Xiaowei， LI Yuhui

Abstract： Recently， many institutions have deleted some controversial datasets， and there is also a heated debate on algorithmic bias. Both events make algorithmic bias a social problem that cannot be ignored， because algorithms themselves are political. This paper criticizes the neutrality notion of algorithm based on the co-production theory of technology and power. In a socio-technological system empowered by algorithms， algorithms have been embedded into the human decision-making process as non-human agent. Several ideal types of algorithmic bias can be identified， while the algorithmic bias by its nature is a kind of formal bias in contemporary digitalized society， and it probably intensifies more and emerging digital exclusions. The ethical baseline of an algorithmic society is the avoidance of being algorithmic nuisances， that is， to avoid the evil algorithms. The aspirational dimension of ethics calls for the responsible innovation of algorithms， that is， the creation of more algorithms for good. The basic risk governance mechanisms of algorithm include algorithmic transparency as well as algorithmic accountability.

Key words： algorithmic bias; algorithmic power; co-production of technology and power; digital exclusion; algorithms for good

責(zé)任編輯：翟? ?祎

基金項(xiàng)目：國家社會(huì)科學(xué)基金青年項(xiàng)目“互構(gòu)論視域的算法風(fēng)險(xiǎn)生成邏輯及治理機(jī)制研究”，項(xiàng)目編號(hào)：19CZX012。

作者簡介：黃曉偉（1987—），男，天津大學(xué)馬克思主義學(xué)院講師。

李育慧（1997—），女，天津大學(xué)馬克思主義學(xué)院碩士研究生。