數(shù)字化“圓形監(jiān)獄”：算法監(jiān)控的規(guī)訓(xùn)與懲罰

郝 喜

（華中師范大學(xué) 馬克思主義學(xué)院，湖北 武漢 430079）

隨著信息技術(shù)、網(wǎng)絡(luò)技術(shù)的發(fā)展與融合，算法監(jiān)控作為一種認(rèn)識與改造世界的重要工具以一種“潤物無聲”的方式滲透到人類社會各個領(lǐng)域，并對人類生產(chǎn)生活方式產(chǎn)生顛覆性影響。正如麥克盧漢所言，“我們塑造了工具，但工具反過來又會塑造我們”。算法監(jiān)控在海量數(shù)據(jù)與強大算力的加持下雖然實現(xiàn)了工具理性的“勝利”，但也孕育了價值理性自我異化的基因，“數(shù)據(jù)控制”成為算法監(jiān)控社會濫用的基本依據(jù)，《數(shù)據(jù)安全法》的頒布為算法監(jiān)控的社會治理提供具體指南。

一、數(shù)字化“圓形監(jiān)獄”釋義

在計算機科學(xué)界，算法常常被認(rèn)為“是按照設(shè)計程序運營以期獲得理想結(jié)果的一系列指令?！保?］算法語境中的監(jiān)控，作為一個學(xué)術(shù)詞，對象是“人”而非“物”，旨在通過形成“數(shù)據(jù)人”，實現(xiàn)對人的算法籌劃。在資本邏輯占統(tǒng)治地位的現(xiàn)代社會，算法通過整合分析監(jiān)控所得數(shù)據(jù)展現(xiàn)出的巨大利潤圖景受到資本推崇。在資本擴張邏輯的支配下，算法監(jiān)控如毛細血管式遍布社會各個角落，使得社會變成了一個數(shù)字化“圓形監(jiān)獄”。“圓形監(jiān)獄”作為一個利用特殊物理空間來顯現(xiàn)權(quán)力的理想建筑由英國思想家邊沁首次提出，它是由中心瞭望塔和四周被分割成許多小囚室的環(huán)形建筑構(gòu)成。在這種結(jié)構(gòu)設(shè)計中，站在中心瞭望塔的監(jiān)視者可以清晰窺視被監(jiān)視者的一舉一動，而被監(jiān)視者只能窺視中心瞭望塔的高大輪廓，在任何時候都不知道自己是否被窺視，“這種清楚和模糊的對立——或者說，就是可見性（確定性）與不可見性（不確定性）之間的對立——保證的權(quán)力與服從間關(guān)系的穩(wěn)定不變?！保?］224也就是說，被監(jiān)視者無法看到瞭望塔上面是否有監(jiān)視者，這種不可見性保證了規(guī)訓(xùn)權(quán)力的自動實施，使得被監(jiān)視者始終保持自我規(guī)訓(xùn)。

?？乱庾R到“圓形監(jiān)獄”的規(guī)訓(xùn)意義，并在此基礎(chǔ)上提出全景敞視主義，并認(rèn)為“全景敞視主義是一種新的‘政治解剖學(xué)’的基本原則，其對象和目標(biāo)不是軍權(quán)的各種關(guān)系，而是規(guī)訓(xùn)的各種關(guān)系?！保?］234福柯認(rèn)為，整個社會就是一個“監(jiān)獄群島”，工廠、學(xué)校、醫(yī)院、收容所等都遍布“圓形監(jiān)獄”的身影，社會通過“權(quán)力的眼睛”對人們進行監(jiān)視與規(guī)范化訓(xùn)練，迫使個體產(chǎn)生被監(jiān)視的狀態(tài)，造成個體“精神對精神的壓力”，個體逐漸放棄反抗，最終達到自我規(guī)訓(xùn)的狀態(tài)。也就是說，監(jiān)視與規(guī)范化訓(xùn)練無處不在，每個人被編織在關(guān)于力量與肉體的權(quán)力技術(shù)中，無時無刻都受到其權(quán)力效應(yīng)的干預(yù)。

數(shù)字化“圓形監(jiān)獄”是隨著算法監(jiān)控技術(shù)的發(fā)展而產(chǎn)生的一個數(shù)字式虛擬監(jiān)獄，而非建筑學(xué)意義上的物理式圓形監(jiān)獄。由此，在本體論上就形成了一個不同于“物理式監(jiān)獄”的一個“新監(jiān)獄”。相較于傳統(tǒng)建筑學(xué)意義上的圓形監(jiān)獄，其隱蔽性大大提高、滲透范圍越來越廣、監(jiān)控程度越來越深，它帶來的不僅是人們主動接受規(guī)訓(xùn)，還有人們被動接受懲罰。一方面，由抽象數(shù)字代碼組成的算法具有不可見性，這種不可見性隱匿了時空結(jié)構(gòu)對監(jiān)控機制的限制，迫使人們自身產(chǎn)生一種有意識的“自我約束”狀態(tài)，人們不知不覺就參與到算法監(jiān)控對其自身的規(guī)訓(xùn)之中；另一方面，技術(shù)化存在的人時刻處于算法監(jiān)控可見范圍之內(nèi)，人們在互聯(lián)網(wǎng)上貢獻的數(shù)據(jù)反過來會成為統(tǒng)涉人們自身物質(zhì)生活、精神生活的“原罪”，成為數(shù)字化“圓形監(jiān)獄”中的“數(shù)字難民”?？梢哉f，“現(xiàn)代電子技術(shù)的發(fā)展已經(jīng)使社會變成了一個數(shù)字化‘圓形監(jiān)獄’，看似自由的現(xiàn)代社會密布著各種監(jiān)視技術(shù)與力量?！保?］

二、算法監(jiān)控的本質(zhì)

如上所述，算法監(jiān)控構(gòu)造的數(shù)字化“圓形監(jiān)獄”以不可見的方式自動實施規(guī)訓(xùn)權(quán)力，以超時空控制的方式實現(xiàn)對人的算法謀劃。算法監(jiān)控具有追求權(quán)力與控制內(nèi)在本質(zhì)，使其與海德格爾所說的“座架”與芒福德所說的“巨機器”的分析聯(lián)系到一起。

（一）算法監(jiān)控與“座架”的關(guān)系

算法監(jiān)控在“座架”的支配下演進為算法霸權(quán)?！啊堋且环N解蔽方式，這種解蔽方式在現(xiàn)代技術(shù)之本質(zhì)中起著支配作用，而其本身不是什么技術(shù)因素?！保?］根據(jù)對海德格爾“座架”的分析可知，作為技術(shù)本質(zhì)的“座架”不是一種“人類行為”，而是與柏拉圖的“理念”與黑格爾的“絕對精神”相類似但又有不同的一種“非人的意志”。在海德格爾看來，在這種意志的統(tǒng)治下，不管人們是有意還是無意，都無法逃脫被“座架”支配的命運，人與物的本性都被“遮蔽”了，變成了一種特定的資源，被用于服務(wù)預(yù)先設(shè)定的目的。算法監(jiān)控在“座架”的支配下，以一種霸權(quán)姿態(tài)與人們相互“交道”。通過超越人本身能動性的方式“促逼”著人們必須按照算法要求“解蔽”自身，進而形塑人們的行動與知覺。算法監(jiān)控要求將人“解釋”為數(shù)據(jù)資源，通過分析整合數(shù)據(jù)資源來提取人們愛好的“DNA”，為人們進行“個性化定制”信息，從而潛移默化地影響人們行動與知覺。

（二）算法監(jiān)控與“巨機器”的關(guān)系

算法監(jiān)控是一個“新的巨機器”。美國技術(shù)哲學(xué)家劉易斯·芒福德在其《技術(shù)與文明》等著作中提出巨機器這一概念。這一概念最早起源于古埃及，一開始指的不是有形的機器，而是一個由人力組成的，為了追求絕對控制的社會組織形式。最早的巨機器由經(jīng)過嚴(yán)格組織化的人力組成，受制于當(dāng)時生產(chǎn)力的發(fā)展水平，它的效率很低。隨著生產(chǎn)力的快速發(fā)展，“新的巨機器”（計算機、算法、大數(shù)據(jù)、人工智能等）被確立起來，傳統(tǒng)巨機器逐漸脫離人們的視野。雖然新型巨機器與傳統(tǒng)巨機器在形式上發(fā)生了巨大變化，但二者本質(zhì)特征并沒有發(fā)生改變，即追求權(quán)力與對他人的控制。芒福德用“巨機器”來表征現(xiàn)代社會技術(shù)的本質(zhì)特征。所謂“巨機器”，“就是與生活技術(shù)、適用性技術(shù)、多元技術(shù)相反的一元化專制技術(shù)，其目標(biāo)是權(quán)力和控制，其表現(xiàn)是制造整齊劃一的秩序?！保?］從這個定義來看，算法監(jiān)控就是一個巨機器的典范?！巴赓u平臺系統(tǒng)通過潛移默化地收集、分析騎手?jǐn)?shù)據(jù)并將數(shù)據(jù)結(jié)果反作用于騎手而使勞動秩序成為可能，進而實現(xiàn)對騎手的‘?dāng)?shù)字控制’?！保?］外賣平臺借助算法巨機器維護自身持續(xù)增值，要求進一步控制社會關(guān)系，將算法監(jiān)控內(nèi)蘊的經(jīng)濟力量轉(zhuǎn)化為政治權(quán)力，主要表現(xiàn)在規(guī)定勞動秩序上。騎手為了生存需要不得不迎合算法巨機器追求權(quán)力與控制的內(nèi)在偏好，時刻受到技術(shù)權(quán)力效應(yīng)的規(guī)制，最終“陷入”整齊劃一的勞動統(tǒng)治秩序之中無法抽身。

在“座架”與“巨機器”的支配下，算法通過監(jiān)控數(shù)據(jù)預(yù)測人們未來行為，并在此基礎(chǔ)上對人們進行規(guī)訓(xùn)與懲罰，主要表現(xiàn)在“信息繭房”與算法歧視等倫理風(fēng)險。這些倫理風(fēng)險與“圓形監(jiān)獄”規(guī)訓(xùn)與懲罰的核心要義存在“邏輯共契”。這是因為，從一般意義上來講，科學(xué)知識來源于對數(shù)據(jù)的分析與解釋，算法憑借著強大的分析整合能力能夠?qū)⒑Ａ繑?shù)據(jù)轉(zhuǎn)化為預(yù)測知識，在此意義上，算法監(jiān)控構(gòu)造的數(shù)字化“圓形監(jiān)獄”，通過數(shù)據(jù)——權(quán)力相互作用來實現(xiàn)規(guī)訓(xùn)與懲罰的運行機制，與?？卵壑械摹皥A形監(jiān)獄”通過知識——權(quán)力相互作用來實現(xiàn)規(guī)訓(xùn)與懲罰的運行機制相一致。

三、數(shù)字化“圓形監(jiān)獄”對人的規(guī)訓(xùn)：信息繭房

凱斯·桑斯坦在《信息烏托邦》中詳細闡述了“信息繭房”這一概念：“在當(dāng)今網(wǎng)上環(huán)境中，人們可以自由地分析和獲取大量的信息，但同時也使自己陷入了一個‘回音室’當(dāng)中。因為公眾自身的信息需求并非全方位的，人們習(xí)慣性地將自己包裹在由興趣引導(dǎo)的信息中，從而將自身桎梏在一個‘繭房’中，這種現(xiàn)象被稱為‘信息繭房’。”［7］正如?？滤裕凇皥A形監(jiān)獄”中，規(guī)訓(xùn)權(quán)力是依靠特殊物理空間造成不可見性的自動實施?！靶畔⒗O房”作為一種由虛擬網(wǎng)絡(luò)空間建構(gòu)的一個虛構(gòu)舒適世界也可被視為實施規(guī)訓(xùn)權(quán)力的一種途徑。在大數(shù)據(jù)時代中，人們技術(shù)化的生活方式使得每個人都會“沉浸”在“信息繭房”之中，受到技術(shù)空間權(quán)力的監(jiān)視與規(guī)訓(xùn)，每個人信息權(quán)力都有可能受到嚴(yán)重沖擊，人們讀書、寫作、科研都將受到“個性化”推薦算法邏輯的控制。就此而言，文化本身成了“編碼空間”，文化空間與網(wǎng)絡(luò)空間在算法監(jiān)控中的聯(lián)合使得文化被算法壟斷，算法監(jiān)控通過強大算力與海量數(shù)據(jù)不僅塑造與框定了文化，更以不被公眾意識到的方式成為文化本身。此時“文化的意義在于操控”。正如尼爾·波斯曼所說，在信息化時代，技術(shù)壟斷文化，文化已經(jīng)向技術(shù)投降，而信息化技術(shù)在其中扮演著至關(guān)重要的作用。

“信息繭房”產(chǎn)生的主要原因有兩個方面：一是自身原因。人自身的思維惰性熱衷于最熟悉的信息來源，這種思維習(xí)慣自然而然地會把自身困在“繭房”中；二是技術(shù)原因。數(shù)字平臺為了能夠在激烈的競爭中留住用戶，就要依靠“投其所好”原則，放大與強化對用戶社會需求的滿足，不斷地推送用戶感興趣的信息，提高用戶滿意度。數(shù)字平臺利用算法來監(jiān)控用戶的數(shù)據(jù)足跡，并在此基礎(chǔ)上進行“個性化推薦”，使得用戶陷入它們編制的“小世界”中。

“信息繭房”是隨著個性化推薦算法的產(chǎn)生而誕生的，而個性化推薦算法是通過分析整合海量監(jiān)控數(shù)據(jù)實現(xiàn)的。具體而言：一是基于內(nèi)容的協(xié)同過濾算法下的“信息繭房”。算法通過對用戶的數(shù)據(jù)瀏覽足跡進行跟蹤與記錄來發(fā)現(xiàn)用戶的內(nèi)在偏好，從而將與用戶興趣愛好相類似的新聞推送給用戶。以“今日頭條”為例，算法通過監(jiān)控用戶在使用“今日頭條”過程中留下的數(shù)據(jù)足跡，分析與提取用戶“愛好DNA”，然后精準(zhǔn)推送用戶感興趣的新聞；二是基于用戶的協(xié)同過濾算法下的“信息繭房”。對于感興趣的商品或內(nèi)容，用戶一般都會產(chǎn)生點擊、購買、收藏等行為，算法通過監(jiān)控用戶的此類行為來衡量用戶之間的相似度。這類算法背后隱藏的邏輯前提為“人以類聚，物以群分”。它一方面是根據(jù)內(nèi)容尋找用戶之間的關(guān)系，當(dāng)用戶在某個平臺上填寫個人喜好的內(nèi)容時，算法就能根據(jù)用戶所填寫的個人資料分析與其他用戶之間的相關(guān)性，如果相關(guān)性較高，就會向用戶推送與他具有相同愛好的用戶所偏好的信息；另一方面是根據(jù)日常生活中的人際關(guān)系來建立用戶之間的關(guān)系，算法通過監(jiān)控用戶在現(xiàn)實生活中所存在的人際關(guān)系網(wǎng)絡(luò)來推薦關(guān)注對象。舉例來說，算法通過分析微博上的點贊數(shù)和關(guān)系網(wǎng)來衡量用戶之間的“友誼”。如果某個人發(fā)出的微博，另外一個人經(jīng)常點贊，算法就會認(rèn)為這兩人“情比金堅”，就會給目標(biāo)客戶推薦關(guān)注對象。毫無疑問，無論是基于內(nèi)容的協(xié)同過濾算法，還是基于用戶的協(xié)同過濾算法都不約而同地把人們困在“繭房”之中，給人們造成不可估量的隱性危害，損害了人們的判斷能力。

從技術(shù)層面分析“信息繭房”產(chǎn)生的原因具有深刻的哲學(xué)反思意蘊。算法通過監(jiān)控所得數(shù)據(jù)將人們包裹在“信息繭房”之中，在此意義上，數(shù)即是術(shù)，具有籌劃性與主宰性。算法通過監(jiān)控數(shù)據(jù)實現(xiàn)對“人之所是”的“先行領(lǐng)會”，達到算法籌劃目的。也就是說，算法利用監(jiān)控數(shù)據(jù)先行規(guī)定關(guān)于人的抽象存在，以“個性化推薦”的方式踐行對人之規(guī)定的“先行領(lǐng)會”，深刻地改變了人的思維方式與生存環(huán)境。一方面，算法通過監(jiān)控數(shù)據(jù)為個人定制“畫像”，每個人都身處“信息繭房”之內(nèi)，同質(zhì)化數(shù)據(jù)撲面而來，使得人們始終追求自我以為正確的邏輯自洽，其思維方式必然將自己的偏見認(rèn)為是真理；另一方面，算法監(jiān)控傾向于將一切“理解”為數(shù)據(jù)，人與物被同化為二進制數(shù)據(jù)，成為算法整合分析的對象。數(shù)據(jù)關(guān)系成為數(shù)據(jù)時代最重要的社會關(guān)系之一。數(shù)據(jù)關(guān)系擴張的直接后果就是將人的一切行為舉止轉(zhuǎn)換為可以計算的數(shù)據(jù)，這使得人們的生存環(huán)境就像桎梏在蠶繭一般的“繭房”之中。當(dāng)下階段，算法監(jiān)控塑造的“信息繭房”強調(diào)利用用戶數(shù)據(jù)進行資本謀劃，進而獲取資本積累的目的性，而忽視了作為主體的人的豐富性，這表現(xiàn)出工具理性與價值理性的矛盾日益突出?？梢哉f，算法監(jiān)控的數(shù)據(jù)生產(chǎn)是影響其“價值理性”的重要因素。

在大數(shù)據(jù)時代中，“信息繭房”以“個性日報”的形式產(chǎn)生影響。“個性日報”實際掩飾了數(shù)據(jù)企業(yè)深度數(shù)據(jù)挖掘的卑劣行徑。算法通過個性化推送信息，看似迎合了不同用戶的需求，實則確切斷了我們與外界的交流。隨著算法個性化推薦日益滲透在我們的日常生活，各大網(wǎng)絡(luò)社交平臺表面上看是信息自由交流的地方，卻不知已經(jīng)成了“信息繭房”成長的溫床。看似自由的交流場域卻在算法監(jiān)控“數(shù)據(jù)壟斷”的規(guī)訓(xùn)下內(nèi)蘊對人們自由的禁錮。人們表面上可以自由地交流且自由做出選擇，但本質(zhì)上早已被數(shù)據(jù)——權(quán)力失衡的運行機制強加了種種不自由的選擇。算法監(jiān)控以推送的方式針對性地強化了用戶閱讀體驗，讓用戶對某個感興趣的信息得到幾何倍數(shù)的增加，但那些對于用戶不感興趣的信息則被悄無聲息地“遮蔽”了，用戶只能接收到某一范圍內(nèi)的信息，進而減少用戶信息相遇的概率，在人與人之間建構(gòu)出一座座“信息孤島”。在“個性日報”的助推下，算法操作信息供給，人們可能因此失去了解外界的權(quán)力，個人獲取信息的渠道趨于窄化，從而影響個人全面的發(fā)展?！靶畔⒗O房”對人們的自主權(quán)也極具威脅。“信息多樣性是人進行自主決策的前提條件，而個性化所造成的信息繭房則會排除主體不感興趣的信息而只推送相關(guān)信息，進而阻礙主體進行自主決策?！保?］可以說，算法監(jiān)控的蔓延使得人由主體性存在轉(zhuǎn)化成工具性存在，人的自主性在算法監(jiān)控的邏輯控制下煙消云散。束縛在“信息繭房”中的個人被異化為數(shù)據(jù)“資源”，變得物質(zhì)化、功能化，作為一種“遺忘的存在”消融在“信息繭房”之中。這本質(zhì)上是在“數(shù)字經(jīng)濟”與“數(shù)字社會”轉(zhuǎn)型嬗變過程中出現(xiàn)的新“異化”形式。

四、數(shù)字化“圓形監(jiān)獄”對人的懲罰：算法歧視

?？聦ⅰ皥A形監(jiān)獄”隱喻為現(xiàn)代的懲罰式社會。算法與監(jiān)控的結(jié)合塑造的數(shù)字化“圓形監(jiān)獄”以新的實踐與形式延伸與強化了傳統(tǒng)“圓形監(jiān)獄”的懲罰功能，數(shù)據(jù)企業(yè)如同“上帝之眼”時刻審視目標(biāo)客體，進而塑造目標(biāo)客體的思維方式與預(yù)測目標(biāo)客體的行為軌跡，其帶來的這種懲罰會更加殘酷，主要表現(xiàn)之一就是算法歧視?！八惴ㄆ缫暿侵笖?shù)據(jù)驅(qū)動的算法決策會導(dǎo)致歧視的做法和后果，換言之，算法決策可以再現(xiàn)已有的社會歧視模式，繼承先前決策者的偏見從而加深流行的不平等。”［9］算法歧視主要分為兩類：第一，身份性歧視。在某種程度上，被算法監(jiān)控所定義的數(shù)據(jù)人就是數(shù)字化“圓形監(jiān)獄”中的“囚犯”，被烙上了歧視的印記。“算法系統(tǒng)會賦予現(xiàn)實主體一種新的身份——‘算法身份’（algorithmic identity）”［10］，我們被一些秘密算法歸類分組，其自動確定了個體的性別、階級、種族等身份特征。可以說，“我們不是被當(dāng)作個體，而是被當(dāng)作某個群體的一員，被迫扣上了某類有色帽子，進而施以不平等對待?！保?1］第二，無關(guān)身份性的算法歧視。這類歧視主要是指“算法決策中個體雖不受身份影響，仍遭到不平等對待，例如大數(shù)據(jù)殺熟與算法歧視?！保?2］無論是關(guān)涉身份性算法歧視，還是無關(guān)身份性算法歧視都能對人們產(chǎn)生難以估量的隱性危害。這就需要深入分析算法監(jiān)控的運行機制，發(fā)現(xiàn)算法歧視產(chǎn)生的根源。

（一）編程人員在“撰寫劇本”時導(dǎo)致的歧視

算法模型作為一種數(shù)學(xué)殺傷性武器可以被看成用“數(shù)學(xué)的方式表達的意見”，算法的運行需要一定的變量，而變量的賦值、分類都是由設(shè)計者人為設(shè)定的。算法編程人員可以通過道德物化的方式將人們撰寫“劇本”中存在的偏見“嵌入”算法中。這主要表現(xiàn)在以下兩個方面：一是價格歧視。算法設(shè)計者建立的算法模型能夠通過監(jiān)控消費者的消費記錄、行動軌跡等行為數(shù)據(jù)，將同樣的商品對不同的用戶顯示不同的價格，“大數(shù)據(jù)殺熟”就是典型的歧視性定價行為。二是結(jié)果偏袒。算法設(shè)計者根據(jù)其內(nèi)在的偏好，使得算法模型對某些結(jié)果產(chǎn)生一定的偏袒，從而可能造成歧視行為的出現(xiàn)。進一步而言，就算編程人員沒有故意將偏見嵌入算法模型中，但他們作為日常社會中生活的人，思想與行動都會受到當(dāng)今社會意識形態(tài)和個人知識儲備水平的影響，從而也很難保證無意識的偏見不被“嵌入”。

（二）數(shù)據(jù)樣本偏差帶來的歧視

數(shù)據(jù)作為算法“活的靈魂”，數(shù)據(jù)的質(zhì)量影響算法決策的質(zhì)量，然而數(shù)據(jù)具有無邊界性、碎片化、滯后性特征，這些特征會導(dǎo)致出現(xiàn)算法歧視現(xiàn)象：一是數(shù)據(jù)具有無邊界性特征。眾所周知，數(shù)據(jù)源于人類的記錄，蘇軾在《赤壁賦》中說道，“耳得之為聲，目遇之成色”，這些聲色“取之不盡用之不竭”。這說明我們聽到的、看到的一切對象都是沒有邊界、無窮無盡。換言之，可記錄的現(xiàn)象是無窮無盡的，算法監(jiān)控的數(shù)據(jù)也難免有遺漏，從而可能導(dǎo)致出乎意料的歧視。二是數(shù)據(jù)具有碎片化特征?！皵?shù)據(jù)一經(jīng)產(chǎn)生，就是碎片化的，數(shù)據(jù)就像玻璃，它從來都是斷片的、不連續(xù)的，數(shù)據(jù)只能記錄事實的一個或數(shù)個側(cè)面，無論怎么記錄，它從來都沒有、有不可能形成一個完全記錄的事實?！保?3］也就是說，數(shù)據(jù)會逼近事實，但數(shù)據(jù)再多，終究不是事實，海量數(shù)據(jù)也不能徹底看清萬事萬物的全貌。因此，算法也不可能完全通過監(jiān)控看清事實的全貌，從而可能在具體應(yīng)用中導(dǎo)致歧視行為的發(fā)生。三是數(shù)據(jù)具有滯后性特征。數(shù)據(jù)是對社會事實的記錄，但事實一被記錄，就成了過去。事實不斷變化，因此記錄也肯定滯后于現(xiàn)實。人們猶如刻舟求劍的楚人，僅能記錄某一節(jié)點的事實，雖然記錄的數(shù)據(jù)越來越多，但我們離現(xiàn)實仍然很遠。因此雖然算法監(jiān)控擁有越來越來的數(shù)據(jù)之后會發(fā)揮更大的威力，但也很有可能做出與事實相悖的預(yù)測。

（三）算法設(shè)計重視相關(guān)性，忽視因果性帶來的歧視

例如，貸款公司在訓(xùn)練其貸款算法時，把“郵政編碼”等數(shù)據(jù)納入其中，從表面上看并沒有什么不妥，但從本質(zhì)上來看，“郵政編碼”表達了這么一種觀點：某個落后地區(qū)的人貸款額度可以適當(dāng)減少，其中就暗含了歧視。另外，有相關(guān)統(tǒng)計表明，美國黑人的犯罪率比白人更高，這個統(tǒng)計結(jié)果影響了美國司法部門幾十年，讓黑人很難得到與白人一樣的司法權(quán)力。從本質(zhì)上來看，這個統(tǒng)計結(jié)果掩蓋了兩者的因果關(guān)系。在現(xiàn)實社會中，黑人難以享受到跟白人一樣的上學(xué)待遇，難以找到與白人一樣的工作等，在某種程度上說，黑人的高犯罪率正是這種現(xiàn)實不平等帶來的后果。算法歧視具有以下兩個特征：

1.算法歧視是自我實現(xiàn)的。例如，ZestFinance公司開發(fā)的一款算法把一些不尋常的觀測值設(shè)置了較高的權(quán)重，比如申請者的貸款申請是否正確地使用了標(biāo)點符號與拼寫語法。標(biāo)點符號和拼寫錯誤表明了教育水平的高低，低教育水平又與階級相關(guān)。當(dāng)窮人不符合標(biāo)準(zhǔn)的語言水平時，算法會抬高他們的貸款利率，如果他們后來因為貸款利率高而導(dǎo)致還款困難，這反過來又會證實他們是高風(fēng)險群體的假設(shè)。

2.算法歧視會自我鞏固與加強。用有偏見的數(shù)據(jù)訓(xùn)練出來的算法模型，其輸出的結(jié)果必然也帶來偏見，然后這一輸出結(jié)果通過對系統(tǒng)進行反饋，就會使偏見得到鞏固與加強。例如，犯罪預(yù)測算法的訓(xùn)練數(shù)據(jù)是關(guān)于大量黑人的犯罪歷史記錄，通過對黑人進行身體歧視導(dǎo)致黑人無法得到與白人一樣的公平待遇，黑人的犯罪率更高了。黑人居高不下的犯罪率又反過來又正好印證了算法的預(yù)言，故很難對算法進行質(zhì)疑，算法對黑人的歧視進一步加強。

五、數(shù)字化“圓形監(jiān)獄”的社會治理

算法與監(jiān)控的秘密合謀塑造的數(shù)字化“圓形監(jiān)獄”迫使人們接受數(shù)字化分析與預(yù)測，并在此基礎(chǔ)上對人們進行規(guī)訓(xùn)與懲罰，使人們面臨“信息繭房”與算法歧視的倫理風(fēng)險。算法監(jiān)控倫理風(fēng)險的社會治理要以算法監(jiān)控技術(shù)為反思、規(guī)范的對象，不僅要考慮算法監(jiān)控技術(shù)本身的特性與結(jié)構(gòu)，而且還要考慮算法監(jiān)控與人和社會之間的關(guān)系——算法監(jiān)控與設(shè)計者以及使用者的關(guān)系、其所帶來的社會影響等，為此，我們要注意以下應(yīng)對策略：

（一）個體層面

目前，大多數(shù)人對語言功能的理解主要停留在“認(rèn)識世界”，而非“改造世界”這一層面，把這習(xí)以為常的理解搬用到互聯(lián)網(wǎng)上就會產(chǎn)生這樣一種認(rèn)識，認(rèn)為只要在網(wǎng)上“君子動口不動手”就不會產(chǎn)生實際影響，從而在網(wǎng)絡(luò)中隨意發(fā)表言論。由于只需要賦予算法幾條基本的指令，它就能最大限度地挖掘我們在網(wǎng)絡(luò)上發(fā)布的信息，這些信息能帶來“信息繭房”與算法歧視。我們必須改變對語言的功能僅為“知”的狹隘理解，要看到語言也能行駛“行”的作用。也就是說，我們要意識到數(shù)據(jù)能夠決定我們做什么，從而在網(wǎng)上“謹(jǐn)言慎行”。而且，伴隨著算法監(jiān)控的塑造作用日益凸顯，我們需要反思算法監(jiān)控技術(shù)的社會角色，將人與機器的對立思維轉(zhuǎn)換為協(xié)作思維，從人——機交織的框架下認(rèn)識到算法監(jiān)控的規(guī)范意蘊。

（二）技術(shù)設(shè)計層面

面對算法監(jiān)控技術(shù)產(chǎn)生的倫理問題，最直接的辦法就是揮舞著倫理大棒進行技術(shù)批判，隨時對該技術(shù)的“越界”行為吹口哨，我們可稱之為技術(shù)倫理研究的“外在主義”進路。“外在主義”進路試圖將算法監(jiān)控的社會應(yīng)用限定在倫理規(guī)定的范圍內(nèi)，這一努力是正當(dāng)?shù)?，因為人要為其?chuàng)造的技術(shù)負責(zé)，但也有一定的局限性。算法監(jiān)控并非是完全被動的“客體”，伴隨著算法監(jiān)控規(guī)范意蘊的日益凸顯，不斷塑形人類思維、行為方式?；诘芽柖倔w論的“外在主義”進路已不再適應(yīng)當(dāng)前技術(shù)實踐的需要。拉圖爾提出的“行動者網(wǎng)絡(luò)理論”隱匿了“人”與“非人”的界限，將技術(shù)物視為與人地位相平等的“行動者”。鑒于技術(shù)物的“行動者”地位，在具體的技術(shù)實踐中，技術(shù)設(shè)計者要與倫理學(xué)專家共同交流協(xié)作，促進“外在進路”與“內(nèi)在進路”協(xié)調(diào)共進。通過具體的技術(shù)設(shè)計將公平、正義、法制等倫理觀念“嵌入”算法監(jiān)控技術(shù)之中，使之在使用情境發(fā)揮善的作用?！白尶萍嫉摹悄堋c人的‘智慧’相結(jié)合”［14］，將算法巨機器轉(zhuǎn)變?yōu)槭苋苏瓶嘏c為人服務(wù)的“有機技術(shù)”。

（三）制度層面

算法通過整合分析監(jiān)控數(shù)據(jù)預(yù)測人們未來行為，“數(shù)據(jù)控制”成為算法監(jiān)控社會濫用的基本依據(jù)。因此，制定相關(guān)制度與政策是引導(dǎo)算法監(jiān)控遵循“以人為中心”發(fā)展方向的基本前提?；诖税l(fā)展方向制定的相關(guān)政策制度應(yīng)該遵循：一是引導(dǎo)算法監(jiān)控朝著為提升人類福祉服務(wù)，破除“以資本為中心”的發(fā)展邏輯；二是引導(dǎo)數(shù)據(jù)企業(yè)加強算法倫理建設(shè)，算法監(jiān)控發(fā)展要兼顧“效率”與“公平”的有機結(jié)合，不能以“便利化”為名，行“控制”之實，算法監(jiān)控并非客觀中立，應(yīng)賦予更多的倫理考量。我國近期頒布的《中華人民共和國數(shù)據(jù)安全法》指出：“開展數(shù)據(jù)處理活動，應(yīng)當(dāng)遵循法律、法規(guī)，尊重社會公德和倫理，遵守商業(yè)道德和職業(yè)道德，誠實守信，履行數(shù)據(jù)安全保護義務(wù)，承擔(dān)社會責(zé)任，不得危害國家安全、公共利益、不得損害個人、組織的合法權(quán)益?！保?5］該法律的頒布為算法監(jiān)控社會治理奠定了基本遵循，能夠有效規(guī)制算法監(jiān)控社會應(yīng)用中“越軌”行為，幫助人們逃離算法監(jiān)控塑造的數(shù)字化“圓形監(jiān)獄”。

六、結(jié)語

算法與監(jiān)控的結(jié)合構(gòu)造出數(shù)字化“圓形監(jiān)獄”，為了實現(xiàn)精準(zhǔn)預(yù)測結(jié)果，算法監(jiān)控范圍已然從虛擬世界過渡到人們現(xiàn)實生活之中，以新的技術(shù)實踐形式延伸了邊沁眼中的“圓形監(jiān)獄”。算法監(jiān)控以不可見的方式自動實施誘導(dǎo)規(guī)訓(xùn)權(quán)力，以超時空控制的方式實現(xiàn)懲罰謀劃。追求權(quán)力與控制的算法監(jiān)控以“座架”“巨機器”為本質(zhì)特征，秉承“圓形監(jiān)獄”中規(guī)訓(xùn)與懲罰的核心理念。通過對人們?nèi)粘Ｉ顢?shù)據(jù)的全方位隱蔽監(jiān)控，導(dǎo)致“工具理性”膨脹，“價值理性”式微，“信息繭房”與算法歧視倫理風(fēng)險隨之產(chǎn)生。對算法監(jiān)控社會應(yīng)用的倫理風(fēng)險不能聽之任之、任憑發(fā)展，需要在利用與管控算法監(jiān)控之間保持必要的張力。算法監(jiān)控在賦能社會道德建設(shè)方面的合理效用還有很大的提升空間，但這有賴于對算法監(jiān)控的合理規(guī)范與社會治理。