• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法治理的技術(shù)迷思與行動選擇

    2022-07-13 21:30:54邱澤奇
    人民論壇·學(xué)術(shù)前沿 2022年10期

    【摘要】算法對人類社會生活影響的普遍性和深刻性讓算法成為堪比自然環(huán)境的人工環(huán)境,算法影響的利弊兩面性以及算法侵害的不斷出現(xiàn)將人類推入算法治理時代。伴隨算法影響不斷擴大的是算法自身復(fù)雜性的增強,算法已經(jīng)從古老的計算演化為實時關(guān)系模型的自我迭代與演進,進而讓算法的過程治理既在技術(shù)上不可行,也在管理上代價高昂。中美歐在算法治理領(lǐng)域的探索實踐呈現(xiàn)不同格局,美國從防范算法侵害入手,形成了政府和第三方的問責(zé)模式;歐盟從數(shù)據(jù)保護入手,逐漸與美國的問責(zé)模式匯流;中國從網(wǎng)絡(luò)安全入手實施治理,但尚未形成有法理邏輯和明確操作路徑的算法治理模式,邁向問責(zé)模式似乎是中國算法治理可能的且有效的行動選擇。

    【關(guān)鍵詞】算法治理? 算法技術(shù)? 問責(zé)模式

    【中圖分類號】D922.16? ? ? ? ? ? ? ? ? ? ? ? ?【文獻標(biāo)識碼】A

    【DOI】10.16619/j.cnki.rmltxsqy.2022.10.003

    對算法治理的討論盡管早在20世紀80年代已初現(xiàn)端倪,可真正廣泛進入人們的視線還是始于近些年中美歐相關(guān)法律的落地和文獻數(shù)量的爆發(fā)式增長。

    1984年是桌面計算機進入流行的初始階段,也是人們對算法開始警覺的起點。次年,美國國會技術(shù)評估辦公室的一份報告指出,在過去20年間,聯(lián)邦政府四分之一的部門已經(jīng)將計算機系統(tǒng)用于執(zhí)法調(diào)查或情報搜集與分析。[1]其中的“計算機系統(tǒng)”便內(nèi)含了算法。隨后,同一間辦公室的報告《電子記錄系統(tǒng)與個人隱私》則明確意識到了算法治理的挑戰(zhàn)。報告指出,運用電子記錄進行個人畫像意味著求解個體特征和行為模式以及其與特定行為的關(guān)聯(lián),進而直接涉及使用個人記錄畫像、產(chǎn)生算法歧視等隱私和自由問題。[2]

    其實,早在20世紀60年代后期,人們已有對自動化的擔(dān)憂,類似于當(dāng)下人們對算法的顧慮。值得記錄的一項反思是對人的特殊性和目的性的強調(diào),認為自動化的設(shè)計、制造、存在都是應(yīng)該圍繞人展開的,人的尊嚴是自動化的第一理念。[3]此后,人們對信息技術(shù)的迭代演進、信息技術(shù)的數(shù)字化,以及數(shù)字技術(shù)向生產(chǎn)和生活各領(lǐng)域不斷滲透帶來的影響一直保持著關(guān)注。只是這些關(guān)注始終呈現(xiàn)為有限的探討,沒有形成持續(xù)的努力。

    人工智能的新一輪爆發(fā)[4]引發(fā)了近些年對算法治理的關(guān)注。大多數(shù)涉及算法治理的文獻甚至不謀而合地形成了一種套路式表述,如:隨著大數(shù)據(jù)、云計算、人工智能技術(shù)應(yīng)用的普及,算法已廣泛且深度地進入平臺經(jīng)濟、智慧城鄉(xiāng)、政府治理等政治、市場、社會領(lǐng)域,成為影響人類生產(chǎn)與生活的關(guān)鍵力量,算法在帶來數(shù)字經(jīng)濟繁榮、政府治理有效、社會發(fā)展活躍的同時,也潛藏著政治、經(jīng)濟、社會、法律等一系列風(fēng)險,且相關(guān)風(fēng)險在逐漸顯現(xiàn)。為此,政府或社會亟需關(guān)注……。中國知網(wǎng)的數(shù)據(jù)顯示,以算法治理為主題的社會科學(xué)文獻在2013年左右只有零星幾篇,2018年開始呈現(xiàn)急劇上升趨勢,2022年前4個月發(fā)表的文獻數(shù)量幾乎與2020年整年的數(shù)量相若。

    在既有的探討中,盡管不少文獻直奔算法治理主題,盡抒胸臆地表達對算法治理的關(guān)注,卻無意或有意地忽視了一些基本問題,如,算法是一個舊已有之的存在,如今為什么要特別關(guān)注?到底什么是算法?如果關(guān)注,又能關(guān)注什么?本文試圖從算法對人類社會生產(chǎn)和生活的廣泛和深刻影響的程度入手,闡述算法已經(jīng)成為人類生產(chǎn)和生活的普遍環(huán)境,不得不予以關(guān)注;本文還將進一步分析算法的技術(shù)邏輯,說明關(guān)注過程治理、試圖對算法進行實時監(jiān)測難以實現(xiàn)算法治理目標(biāo);最后本文將探討算法治理的可能路徑及中美歐的行動選擇。

    進入算法治理時代

    在套路化闡述算法治理的文獻中,人們認為,關(guān)注算法的必要性來自于大數(shù)據(jù)、云計算、人工智能等數(shù)字技術(shù)的廣泛應(yīng)用。問題是,為何相關(guān)技術(shù)廣泛應(yīng)用之后必需治理算法呢?換個問法,數(shù)字技術(shù)的廣泛應(yīng)用與算法有什么關(guān)系?不用算法,可行嗎?即使運用算法,不治理,行嗎?我們認為,回答這些問題是理解算法治理必要性的前提。

    算法古已有之。在中國之外,算法的最早證據(jù)可以追溯到古代美索不達米亞的巴比倫數(shù)學(xué),在伊拉克巴格達附近發(fā)現(xiàn)的一塊公元前2500年左右蘇美爾時期的粘土碑上的除法算法便是證據(jù),[5]古巴比倫的天文學(xué)采用算法程序計算重大天文事件的時間和地點。[6]在中國,算法的最早證據(jù)則可追溯到《黃帝歷》,時間大約在公元前2700年,人們用算法理解天體之間的運動規(guī)律,安排人類的生產(chǎn)和生活。[7]如此可知,算法在人類歷史中始終存在,在近代社會也沒有停止演化,且早已運用于生產(chǎn)和生活之中。[8]可是,為什么直到現(xiàn)在,人們才那么關(guān)注算法治理?

    歸納既有文獻,我們觀察到三種主要理由。一種理由認為,算法侵害[9]是觸發(fā)人們關(guān)注算法治理的根由。人們認為,現(xiàn)實生產(chǎn)和生活中已經(jīng)出現(xiàn)了算法歧視、算法偏見、算法共謀、算法壟斷、算法黑箱、算法遮蔽、算法短視、算法霸權(quán)、算法操縱、算法劫持、算法剝削等與算法關(guān)聯(lián)的社會、經(jīng)濟、甚至政治侵害,給人類社會的政治、經(jīng)濟、社會生活帶來了負面影響。

    另一種理由認為,算法風(fēng)險[10]是觸發(fā)算法治理的根由。人們認為,在個體層次,算法強化著信息繭房,帶來人的認知窄化風(fēng)險。在市場層次,算法遵循商業(yè)邏輯,醞釀著監(jiān)控資本主義的風(fēng)險。在國家層次,算法隱藏著被特定利益集團用于社會控制和政治權(quán)力再生產(chǎn)的政治風(fēng)險。從個體層次到國家層次的風(fēng)險給人類社會的政治、經(jīng)濟、社會生活帶來巨大的不確定性。

    除了算法帶來的侵害和風(fēng)險,還有人將算法影響上升到制度層次,認為算法權(quán)力、算法規(guī)則是觸發(fā)規(guī)則競爭、權(quán)力競爭甚至規(guī)則壟斷、權(quán)力壟斷的根由。值得特別注意的是,這也是西文文獻探討算法治理的主流。早在中文文獻關(guān)注算法之前,西文文獻就以著作形態(tài)探討算法權(quán)力(power of algorithms)了。奧賽羅和佩特里希編輯的論文集[11]運用歷史與現(xiàn)實視角刻畫算法對日常生活的影響,如導(dǎo)航、搜索、保密通信、油鹽醬醋、觀看電視、導(dǎo)購、游戲等,算法已經(jīng)介入人們的日常生活,成為影響甚至支配人們?nèi)粘I畹臋?quán)力。在一般權(quán)力之外,社會學(xué)家似乎偏愛算法的社會權(quán)力(social power of algorithms)。人們認為,算法正在從人類手里獲得決策權(quán),在越來越多的領(lǐng)域或行動中成為人類的代理人,不僅在日常生活中代理個體,還在組織行動中代理組織或機構(gòu)。如果個體和組織層次的代理行動涉及社會秩序的建構(gòu)和預(yù)測,在邏輯上,算法已經(jīng)進入政治生活領(lǐng)域,[12]直接觸碰到了政治權(quán)力。在中文文獻中,算法權(quán)力也在成為一個重要論題。[13]

    同樣,西文文獻也早在以著作形態(tài)探討算法規(guī)則,這些甚至早于對算法權(quán)力的探討。[14]萊辛格直言,代碼即法律。在短短五年內(nèi)對著作的兩次修訂中,萊辛格明確指出,代碼建構(gòu)了數(shù)字空間的規(guī)則,同樣約束著人類行動。計算機代碼與制度具有同樣的規(guī)制效應(yīng)。萊辛格擔(dān)心的是,商業(yè)公司的逐利性會讓規(guī)則朝著有利于盈利的方向偏移,進而影響代碼規(guī)則在數(shù)字空間的公共性。通俗地說,如果我們把法律作為人類公共性的產(chǎn)物,那么,萊辛格擔(dān)心的是,在數(shù)字空間,代碼會將法律的公共性引向為資本牟利。進一步的討論甚至將算法規(guī)則提升到更高規(guī)則層級,[15]認為算法給憲法帶來了挑戰(zhàn),對人的自由及其他基本權(quán)利造成不利影響,更不用說對制度、規(guī)制、公共政策等的影響了。

    的確,算法向生產(chǎn)和生活的不斷滲透對人類社會產(chǎn)生著深刻的影響,小到個體的日常生活決策如食物、衣裝、出行等,中到人與社會每個層次的關(guān)系如群體、組織、市場、社會、國家等,大到人類的基本權(quán)利如自由等。問題是,自算法進入人類生產(chǎn)與生活開始,算法的影響始終存在,人們?yōu)槭裁匆诋?dāng)下關(guān)注算法侵害、算法風(fēng)險、算法權(quán)力、算法規(guī)則呢?換一種方式提問,假設(shè)這些影響只涉及極少數(shù)人,而不涉及整個人類社會,我們還需要如此關(guān)注算法么?答案是否定的。即使有人關(guān)注也無需將其推送到整個社會面前,正如20世紀初人們對生產(chǎn)流水線的關(guān)注、20世紀60年代人們對自動化的關(guān)注一樣,算法可以成為少數(shù)人的興趣或?qū)W術(shù)探討的前沿,而無須成為整個社會關(guān)注的焦點。

    我們認為,社會關(guān)注聚焦于算法治理其實是由兩個因素推動的,除了算法影響的廣度和深度,還有算法影響的覆蓋面。遺憾的是,既有文獻極少涉及后者。事實上,不僅因為算法影響了從個體決策、行動到國家憲法等人類社會生活的各個領(lǐng)域,還因為算法影響了世界的大多數(shù)社會、大多數(shù)人,可以說,整個人類社會的方方面面都處在算法的影響之下,人類參與的政治、經(jīng)濟、社會生活,處處都有算法的影響,一些領(lǐng)域甚至根本是由算法在推動。

    那么,算法影響的覆蓋面到底有多大呢?其實,接受算法影響是有條件的,不滿足相應(yīng)的條件,算法影響便覆蓋不到。要觀察算法影響的覆蓋面,還需從算法影響發(fā)生的條件入手。對算法影響條件的分析也從另一個角度幫助我們理解,算法始終與人類的生產(chǎn)與生活相伴隨,長期以來算法影響覆蓋的人群卻一直非常有限,如同流水線、自動化等在不同層次影響的人群始終是有邊界的。

    在數(shù)字時代,算法影響的第一個條件是接入互聯(lián)網(wǎng)絡(luò)。沒有互聯(lián)網(wǎng)絡(luò)的接入,就沒有個體或組織行動與數(shù)字網(wǎng)絡(luò)的數(shù)據(jù)交換,也不會有任何數(shù)字化算法介入,無論是個體還是機構(gòu)或組織都被排除在算法的影響之外。根據(jù)國際電信聯(lián)盟(ITU)的數(shù)據(jù),截至2021年,世界上依然有37%左右[16]的人口沒有接入互聯(lián)網(wǎng)。根據(jù)中國互聯(lián)網(wǎng)信息中心的數(shù)據(jù),截至2021年12月,在中國以人口總體為分母的互聯(lián)網(wǎng)接入率為73.0%,10.32億接入用戶,其中鄉(xiāng)村用戶占27.6%,城鎮(zhèn)用戶占72.4%。如果以接入設(shè)施覆蓋面觀察,以最小行政單元為計量單位,中國的寬帶覆蓋率為100%,光纖覆蓋率為98%。[17]綜合相關(guān)數(shù)據(jù)可以獲得的判斷是,盡管世界上依然有超過三分之一的人口沒有接入互聯(lián)網(wǎng),尚處在算法影響的范圍之外,中國卻實現(xiàn)了互聯(lián)網(wǎng)接入的充分供給,如果以家庭為單位計算,則人口整體處于算法影響的覆蓋之內(nèi)。在數(shù)字接入的意義上,算法有機會影響到幾乎每一位中國人,如果愿意,每一位中國人也有機會接受算法的影響。算法覆蓋的無邊界性,在歷史上是不曾出現(xiàn)的現(xiàn)象。一個直接的例子是,新冠肺炎疫情流行的近三年來,一塊方寸大小的健康狀況二維碼,讓每一位生活在中國的人都感受到了算法影響的強烈沖擊。

    算法影響的第二個條件是數(shù)據(jù)成為人類生產(chǎn)與生活的環(huán)境。如果只是接入網(wǎng)絡(luò),也不足以讓算法影響觸達每一個接入的節(jié)點(人、組織、事物等)。與算法一致,網(wǎng)絡(luò)也始終伴隨著人類社會存在。人際網(wǎng)絡(luò)是基礎(chǔ)網(wǎng)絡(luò),由此衍生的網(wǎng)絡(luò)林林總總??墒?,網(wǎng)絡(luò)并沒有因為覆蓋面的擴大而改變網(wǎng)絡(luò)的本質(zhì)屬性,網(wǎng)絡(luò)還是人與人、人與事、人與物、物與事等事物之間的一種連接關(guān)系。當(dāng)然,連接的性質(zhì)會因為關(guān)系屬性的差異而發(fā)生變化,從血緣網(wǎng)絡(luò)、地緣網(wǎng)絡(luò),衍生出供應(yīng)網(wǎng)絡(luò)、生產(chǎn)網(wǎng)絡(luò)、創(chuàng)新網(wǎng)絡(luò)、貿(mào)易網(wǎng)絡(luò)、社會網(wǎng)絡(luò)、政治網(wǎng)絡(luò)等。在網(wǎng)絡(luò)上,兩個節(jié)點之間流動的只要不是不斷產(chǎn)生的數(shù)據(jù),不管流動的是什么,即使伴隨著算法,算法的影響也僅限于有限的節(jié)點之間,不足以引發(fā)廣泛的社會關(guān)注??墒?,當(dāng)網(wǎng)絡(luò)上流動的是關(guān)系性數(shù)據(jù)時,算法影響的溢出點便出現(xiàn)了。

    數(shù)據(jù)對算法影響溢出的推動不在于數(shù)據(jù)本身,而在于數(shù)據(jù)的量。在互聯(lián)網(wǎng)上,有人專門關(guān)注數(shù)字網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量,如“數(shù)據(jù)從不睡覺(Data Never Sleeps)”9.0版[18]顯示,在數(shù)字網(wǎng)絡(luò)上每分鐘產(chǎn)生的20類數(shù)據(jù)中,任何一類的數(shù)據(jù)量都是人腦的計算能力無法勝任的,甚至也是個人電腦的處理能力難以勝任的。數(shù)據(jù)量巨大到遠遠超出人類加上簡單工具的處理能力,在歷史上也是不曾出現(xiàn)的現(xiàn)象。數(shù)字網(wǎng)絡(luò)進入社會化應(yīng)用以來,人類活動產(chǎn)生和積累的數(shù)據(jù)量早已超出傳統(tǒng)的處理能力,不借助算法,人類根本無力運用數(shù)據(jù)資源進行生產(chǎn),難以提高生活質(zhì)量。數(shù)據(jù)已經(jīng)成為接入數(shù)字網(wǎng)絡(luò)的人口之生產(chǎn)和生活環(huán)境,巨量的數(shù)據(jù)和應(yīng)用是人類依靠其生物屬性無力應(yīng)付和處理的,由此帶來的直接后果是:算法成為了人類生產(chǎn)與生活必備的外生性能力。這樣我們就可以理解,為什么智能手機在日常生活中會成為人們的第一陪伴。

    算法影響的第三個條件是算法成為人類生產(chǎn)和生活的必備工具。數(shù)據(jù)和算法的組合正在從根本上改變?nèi)祟惖纳a(chǎn),推動著人類從工業(yè)經(jīng)濟邁向數(shù)字經(jīng)濟;也在從根本上改變?nèi)祟惖纳睿苿又祟悘墓I(yè)社會邁向數(shù)字社會,數(shù)據(jù)和算法因此成為人類邁向數(shù)字時代的標(biāo)志性指標(biāo)。

    在經(jīng)濟領(lǐng)域,上市公司的市值排名不只標(biāo)示企業(yè)價值規(guī)模,也指示關(guān)鍵技術(shù)的影響力和社會的取舍。根據(jù)公開數(shù)據(jù),在市值排名前十的公司中,1990年有6家銀行、1家通信硬件公司;2020年則有7家互聯(lián)網(wǎng)公司、2家金融公司。在過去四十年,以設(shè)施設(shè)備等硬件為基礎(chǔ),以組織和社會應(yīng)用為目標(biāo),數(shù)字技術(shù)快速邁過其擴散臨界點,進入變革的起飛階段。中國信通院的數(shù)據(jù)顯示,2020年中國數(shù)字經(jīng)濟增加值為39.2萬億元人民幣,占GDP的比重躍升至38.6%,[19]這意味著,中國數(shù)字經(jīng)濟已越過技術(shù)擴散起飛的臨界點而進入起飛初始階段。預(yù)計,2025年中國數(shù)字經(jīng)濟占GDP的比重將超過50%,[20]中國將真正進入數(shù)字經(jīng)濟時代。

    在社會領(lǐng)域,數(shù)字終端已經(jīng)成為人們的必備工具,且不細說數(shù)字企業(yè)、數(shù)字政府如何運用算法改善生產(chǎn)、改善治理,只從人們?nèi)粘I顚?shù)字工具的應(yīng)用中便能看到由數(shù)據(jù)量推動的算法帶來的影響。在中國互聯(lián)網(wǎng)用戶群體中,90%的人使用即時通訊、80%的人使用政務(wù)服務(wù)、70%的人使用數(shù)字支付,哪一項應(yīng)用的實現(xiàn)都依賴算法。例如,運籌起點到終點的行車路線是出租車司機的基本職業(yè)能力,現(xiàn)如今,司機們卻說,離開了即時導(dǎo)航都無法行車了。

    在政務(wù)領(lǐng)域,省部級政務(wù)接入國家政務(wù)平臺的比例快速上升,居民跨行政區(qū)辦理業(yè)務(wù)的便利性極大增強。在政務(wù)平臺上,實名注冊個人數(shù)達7.74億,法人數(shù)量達7.27億。審批等行政許可事項實現(xiàn)網(wǎng)上受理和最多跑一次的比例達82.13%;一半以上行政許可事項平均時限壓縮超過40%;政府事項網(wǎng)上可辦率超過了90%。[21]數(shù)字連接正在推動中國治理體系和治理能力的現(xiàn)代化。

    任何一項終端工具應(yīng)用的背后都有算法,算法的工具化無處不在。我們甚至可以認為:無算法,不生產(chǎn);無算法,不生活。在生產(chǎn)領(lǐng)域,數(shù)據(jù)已成為人類的新生產(chǎn)資料,算法則成為人類新的生產(chǎn)工具。在生活領(lǐng)域,數(shù)據(jù)已成為人類提升生活質(zhì)量的素材,算法則成為人類新的生活工具。

    人類正在加速進入算法時代,人們之所以關(guān)注算法侵害、算法風(fēng)險、算法權(quán)力、算法規(guī)則,不是因為侵害、風(fēng)險、權(quán)力、規(guī)則本身,而是因為侵害、風(fēng)險、權(quán)力、規(guī)則直接影響到大多數(shù)人的利益和福祉,直接影響到經(jīng)濟發(fā)展的可持續(xù)性,直接影響到社會發(fā)展的平等性,直接影響到政治發(fā)展的公平性。換句話說,在人類邁向數(shù)字時代的同時,我們無法回避算法給人類帶來的如此深重且本質(zhì)性的影響。問題是,算法又是何方神圣,何以有如此魔力?在既有的討論中,一些重要的觀點可能源自對算法的誤解,為此,下文有必要交代我們對算法的理解。

    算法治理的技術(shù)迷思

    盡管算法早已存在于人類社會,可作為概念,算法的詞源卻來自波斯數(shù)學(xué)家花剌子模(Mu?ammad ibn Mūsā al-Khwārizmī)的名字?;ㄘ葑幽C值睦≌Z寫法(Algoritmi)便是今天人們見到的算法作為術(shù)語的拼寫原型。算法的現(xiàn)代意義源自公元9世紀花剌子模向西方譯介印度計算方法。[22]可是,直到計算機和計算機科學(xué)進入人們的生產(chǎn)和生活之前,人們都沒有算法的概念,正如計算機科學(xué)創(chuàng)始人諾斯(Donald Knuth)所說,直到20世紀70年代,“絕大多數(shù)受過教育的人都不知道算法,并且說實話,無論如何,也幾乎沒有必要知道”。[23]

    那么,算法到底是什么?在不同的歷史階段、不同的應(yīng)用場景中,算法有著不同所指,從最簡單的算法到最復(fù)雜的算法??稍诒举|(zhì)上,算法只是一種求解邏輯。舉例盡管常常不是準確的定義方法,卻是幫助人們理解概念準確定義最有效的方法,還是舉一個例子吧。

    在一座超大城市,假設(shè)您是乘客,在地點A上了一輛出租車,告訴司機您要去地點B,您希望盡快到達目的地。一位出色的出租車司機通常對服務(wù)范圍的道路非常熟悉。在您告訴司機目的地的瞬間,司機的頭腦中會快速盤算行車路線,譬如,路線一可能會遇到堵車,路線二不是最短路徑,路線三可能正好適中,或者還有更優(yōu)的滿足盡快到達目的地需求的路線,只是司機不了解。

    其中,從A點到B點,是需要解決的問題。有多個與問題相關(guān)的因素,至少涉及交通工具、道路狀況、交通動態(tài)、選擇偏好。給定乘客的選擇偏好:盡快;再給定交通工具:出租車;司機的路線選擇至少還涉及道路狀況和交通動態(tài)。再假設(shè)道路狀況已知,便有了司機的三條路線選擇。

    如果說司機的三條路線選擇是從A點到B點問題的數(shù)學(xué)解,算法則是司機路線選擇的求解過程。在過程中,從A點到B點的路線用時是因變量,交通工具、道路狀況、交通動態(tài)、選擇偏好等是自變量,其中,每一個自變量對因變量的影響并非等價,如交通工具是條件變量,道路狀況也可以是條件變量,交通工具與道路狀況一起又會衍生出其他變量如路線備選集,交通動態(tài)可能是直接的自變量,卻是只能憑借司機經(jīng)驗的自變量。運用與事實相吻合的關(guān)聯(lián)邏輯,建立自變量與自變量的關(guān)系結(jié)構(gòu),進一步建構(gòu)自變量與因變量的關(guān)系結(jié)構(gòu),形成求解的計算邏輯,就是算法。

    這個例子表明,第一,算法是面對問題的,無論是現(xiàn)實問題還是理論問題,總之是需要解決的問題。盡快到達目的地是需要解決的現(xiàn)實問題,如何把某個商品賣給愿意出高價的人是需要解決的理論和現(xiàn)實問題,人們?yōu)槭裁丛谒阉饕嫔纤阉鞲忻八幰彩切枰鉀Q的理論和現(xiàn)實問題。人類需要解決的問題無處不在,故算法從不缺乏需要解決的問題。

    第二,算法是通過計算解決問題的。因此,任何用到算法的問題,都需要將問題數(shù)學(xué)化為可計算模型。其中又內(nèi)含著一個問題的兩面。一方面,要解決的問題可以被數(shù)學(xué)化即用數(shù)學(xué)模型刻畫,不能建?;驎簳r不能建模的問題是無法運用算法的,如人類或許暫時還無力將A愛戀B的程度數(shù)學(xué)化。另一方面,建構(gòu)的數(shù)學(xué)模型是可計算的。滿足可計算的條件是,至少有用于計算的數(shù)據(jù),至少計算可以獲得解,即存在著運用數(shù)據(jù)進行計算而獲得的解。沒有數(shù)據(jù),無法計算;有數(shù)據(jù)卻沒有計算解也無法計算。通俗地說,運用計算機不是為了計算,而是為了運用計算機的算力更有效率地獲得計算的解。哈雷爾(David Harel)之所以將算法定義為計算機科學(xué)的靈魂,[24]或許理由正是在此。

    算法正是每一位出租車司機頭腦中交通路線的運籌過程。在這個意義上,算法與人類的存在相伴隨。可是,人們關(guān)注算法,并不是因為某位出租車司機頭腦里的交通路線,一個人的算法并不會對其他人構(gòu)成影響,除非存在某種組織結(jié)構(gòu),更不會對大多數(shù)人構(gòu)成影響,進而也不會成為社會關(guān)注的焦點。

    如果不是一位出租車司機,而是成千上萬的出租車和非出租車司機,是幾百萬輛機動車行駛在道路上,即同時有幾百萬個算法在發(fā)生,不僅如此,幾百萬個算法還因為都與道路資源有關(guān)而構(gòu)成相互影響,即每一位司機算法的效率都以其他司機的算法為條件,而且,每一位司機的行車路線、行駛狀態(tài)、駕駛行為都可以成為影響交通路線選擇的因素。在這樣的環(huán)境下,如果還希望獲得最優(yōu)行駛路線,運用人的生物屬性已經(jīng)無力達成目標(biāo),即人類的生物屬性沒有能力處理哪怕是交通路線選擇之類的算法之間的關(guān)系。

    如果道路條件、每一個路口的交通燈變化、道路上每一輛機動車的行駛路線、行駛狀態(tài)、每一個駕駛者的駕駛行為都被數(shù)據(jù)化,都匯集到一個數(shù)據(jù)池,且希望依據(jù)數(shù)據(jù)來獲得最優(yōu)行車路線,即盡快從A點到達B點;那么,此時出租車司機面對的不再只是交通路線選擇,而是多出了許許多多工作,且不說相關(guān)數(shù)據(jù)如何測量、匯集,只說匯集后如何識別、整理與運用,每一項活動都是人類的生物屬性能力難以處理的,唯一可以借用的,只有算法。

    第三,算法是一系列問題和求解數(shù)學(xué)模型的集合。從一個人的算法到一座城市的算法,在數(shù)量規(guī)模擴大的同時,算法也完成了它的華麗轉(zhuǎn)身,從一個數(shù)學(xué)模型變成了無數(shù)個數(shù)學(xué)模型,且無數(shù)個數(shù)學(xué)模型之間不是獨立的,相互之間不僅有關(guān)系,而且關(guān)系還異常復(fù)雜,可能形成有條件的、多層次卷積的、多卷積關(guān)聯(lián)網(wǎng)絡(luò)的或更加復(fù)雜的關(guān)系,且模型之間的關(guān)系不僅有結(jié)構(gòu),還有時序,結(jié)構(gòu)與時序之間還不是確定的。以前置算法為條件的算法以及人類對計算效率的追求,還促進了算法的自我迭代,即以算法為數(shù)據(jù)而改進算法。

    算法不僅與算法交互,也與人類行為或事物的發(fā)展變化交互。還是以城市道路交通為例,道路上的每一位機動車駕駛員都有隨機應(yīng)變的能力和行動,而每一個隨機應(yīng)變都有機會改變前一個時點算法的結(jié)果,也意味著被運用于計算的算法需要面對人類行為的改變、道路狀態(tài)的改變、交通環(huán)境的改變而迭代和優(yōu)化。如此,算法的實際運行遠比人們想象的復(fù)雜,一個看起來只呈現(xiàn)了紅橙黃綠交通狀態(tài)的即時導(dǎo)航系統(tǒng),卻是異常復(fù)雜算法融合的結(jié)果。以谷歌流感模型為例,算法科學(xué)家運用用戶搜索數(shù)據(jù)呈現(xiàn)的2007年流感模型是在4.5億個模型中篩選綜合的結(jié)果。[25]

    可是,如何把不同的算法整合到一起形成求解模型的集合呢?且不說4.5億個模型,即使是45個模型,也是人類的生物屬性無法處理的,數(shù)45個數(shù)還常常出錯呢,算45個模型且將45個模型建立關(guān)聯(lián),更不是人類的生物屬性可以無錯應(yīng)對的了。那么,如何讓用于解決問題的模型不變成進一步需要解決的問題,而真正解決人類問題呢?算法對代碼的需要出現(xiàn)了。

    第四,算法是由代碼連接且結(jié)構(gòu)化的一系列問題和求解數(shù)學(xué)模型的集合。通俗地說,任何由計算機執(zhí)行的指令都是代碼。復(fù)雜算法的代碼量可以多達數(shù)億行,可代碼向計算機傳遞的每一條指令卻只有一個動作,做(do)或不做(else),再復(fù)雜的數(shù)學(xué)模型都需要將其轉(zhuǎn)化為向計算機傳達的簡單指令。復(fù)雜的簡單也因此變成了復(fù)雜的復(fù)雜的一部分,計算機代碼也因此成為了算法的有機組成部分。實現(xiàn)算法代碼化的不是別人,正是人們將數(shù)學(xué)模型轉(zhuǎn)化為結(jié)構(gòu)化的計算邏輯(如Alonzo Church)和被稱為電子計算機鼻祖的圖靈(Alan Turing)將計算邏輯轉(zhuǎn)化為可由計算機執(zhí)行的指令邏輯,其中,每一條指令都以代碼形式呈現(xiàn)。在算法代碼化的進程中,代碼(code)的確是規(guī)則,代碼的確在指示計算機做或不做。由此推演下去,表面上,正是由代碼攜帶的簡單指令構(gòu)成的復(fù)雜算法影響著計算結(jié)果的輸出,帶來了文獻關(guān)注的算法侵害、算法風(fēng)險、算法權(quán)力、算法規(guī)則。可是,一旦我們進一步了解了代碼與算法的關(guān)系,或許會有不一樣的觀點。

    綜上所述,如果僅從技術(shù)上觀察,算法不過是面對理論和現(xiàn)實問題的數(shù)學(xué)求解過程,只是因為求解面對的復(fù)雜性超出了人類生物屬性的能力范圍,人們創(chuàng)造出一種機器,且機器能夠理解人類將復(fù)雜求解過程簡化為做或不做的機器指令,交給機器去求解而已。通俗地說,理解當(dāng)下熱議的算法治理,我們必須認識到,算法對人類社會的影響是隨著第一臺可編程電子計算機和第一種計算機編程語言的出現(xiàn)而出現(xiàn)的,隨著計算機和計算機科學(xué)的發(fā)展,算法才真正開始在解決人類問題的需求中發(fā)揮核心作用,從初期的軍事和科學(xué)領(lǐng)域,到商業(yè)和管理領(lǐng)域,再到當(dāng)下的日常生產(chǎn)和生活領(lǐng)域,算法的影響隨著算法應(yīng)用的拓展和對人群覆蓋性的擴大而呈現(xiàn)。“是計算機科學(xué)的快速發(fā)展,特別是對算法的研究,改變了這一切。如今,算法已變得必不可少。”[26]只是,從解決問題的需求到問題解決的數(shù)學(xué)求解,從極為簡單的數(shù)學(xué)求解到數(shù)學(xué)求解之間的關(guān)系結(jié)構(gòu)化、復(fù)雜化、動態(tài)化,算法已經(jīng)不再簡單如出租車司機的行車路線運籌,在數(shù)字時代,算法已經(jīng)轉(zhuǎn)型為一系列關(guān)系和關(guān)系動態(tài)的代碼化,問題、模型、代碼已經(jīng)成為算法的內(nèi)核。

    算法治理的行動選擇

    上文討論已經(jīng)證明,算法之所以會成為社會關(guān)注的焦點,不在于算法有多復(fù)雜,而在于算法會對許多人甚或?qū)φ麄€社會帶來影響。如果說數(shù)字連接、數(shù)據(jù)豐盈、人類必備是算法影響的三項必要條件,問題求解對能力的要求超出人類生物屬性的極限是算法影響的充分條件;那么,在人類跨入數(shù)字時代、中國進入數(shù)字發(fā)展加速期的當(dāng)下,算法又如何產(chǎn)生影響呢?我們認為,只有理解算法影響人類的機理,才能從出發(fā)點找對算法治理的方向。

    既有文獻對算法影響社會的機制認識大致可以歸結(jié)為兩個本質(zhì)性的爭議。第一,算法是中立的還是有偏見的?斯廷森(Catherine Stinson)指出,人們以為算法是中立的,干凈的數(shù)據(jù)和良好的意圖可以消除偏見,其實,算法并不是中立的,除了有偏見的數(shù)據(jù)和算法生產(chǎn)者以外,算法自身也會產(chǎn)生偏見。這種偏見不一定來自于數(shù)據(jù),也不一定來自算法生產(chǎn)者,而是來自于機器學(xué)習(xí)的進程,算法在不斷的迭代中從用戶對算法推薦的響應(yīng)中進行學(xué)習(xí),創(chuàng)建著針對用戶的選擇性偏差,即偏見。[27]這些偏見不僅具有統(tǒng)計學(xué)意義,也會帶來不同類型不同程度的算法侵害后果,如學(xué)者們筆下的算法共謀、算法壟斷、算法黑箱、算法遮蔽、算法短視、算法霸權(quán)、算法操縱、算法劫持、算法剝削等,即我們統(tǒng)稱的算法侵害,而算法決策的普遍性會讓算法侵害對人類社會構(gòu)成侵害。未來的侵害對當(dāng)下而言即是風(fēng)險,即學(xué)者們說的算法風(fēng)險。[28]

    第二,算法是人類意志的產(chǎn)物還是自主自為的?認同“算法即規(guī)則”[29]觀點的研究者認為,算法已經(jīng)作為獨立行為主體參與人類生產(chǎn)、生活,算法規(guī)則也外化為社會行為規(guī)則,對人類產(chǎn)生深度影響。例如,算法的自動化和智能化特征可能誘使技術(shù)研發(fā)者和應(yīng)用者在提高效率、降低成本的引導(dǎo)下,更多追求控制乃至替代人類行為的自主性。[30]有人甚至認為,算法的自主自為性形成了算法利維坦,成為建構(gòu)人類環(huán)境的重要乃至決定性的力量,不僅每一位社會成員正逐漸在成為算法的附庸,國家權(quán)力運行也在日益依賴算法,社會的技術(shù)理性至上實踐建構(gòu)了算法的絕對權(quán)威。[31]

    在探討算法治理行動之前,我們認為有必要針對算法影響機制的爭議進行澄清和回應(yīng)。實踐總是最客觀的出發(fā)點,讓我們通過一項實證研究來厘清。一項對谷歌圖片算法的研究,對4個以上種族所有年齡段的4萬多張面孔的算法展開的審查顯示,谷歌圖片算法再現(xiàn)了白人男性父權(quán)制結(jié)構(gòu)。算法對白人男性有更多樣化的和更積極的刻畫,對其他人群的描述則更簡單,更加呈現(xiàn)如刻板印象、歧視女性等社會歧視。[32]不過,研究團隊的工作沒有就此停止,而是借鑒布迪厄的文化再生產(chǎn)理論對算法進行再培訓(xùn)。結(jié)果顯示,經(jīng)過再培訓(xùn)的算法呈現(xiàn)了算法對社會文化實踐的刻畫,改善了之前呈現(xiàn)的社會歧視。[33]

    這項研究告訴我們,如果代碼生產(chǎn)者以客觀為由,真實地擬合社會現(xiàn)實,那么,算法的確會攜帶偏見,進而制造算法侵害。復(fù)刻部分人群(如代碼編寫者、數(shù)據(jù)匯集者等)的社會歧視和刻板印象,不只是將現(xiàn)實社會的社會歧視和刻板印象算法化,還意味著將部分人群的社會歧視和刻板印象通過高度互聯(lián)的社會網(wǎng)絡(luò)傳遞給不明真相的用戶,因此也不再只是布迪厄意義上的文化再生產(chǎn),而是對社會歧視的擴散與傳播,甚至是社會歧視的教唆。

    對算法再培訓(xùn)帶來的算法改善則清晰地說明,第一,算法侵害看起來是算法偏見制造的,實際卻是編寫算法的人群制造的,算法只是做了算法可做的事:有效率地運行代碼,為人類提供計算結(jié)果。無論是通過算法迭代還是自編碼,算法都只是放大人類在初始階段植入的偏見和規(guī)則,而不是算法自主自為地形成偏見和規(guī)則。以為算法存在獨立于算法生產(chǎn)者之外的偏見或規(guī)則,以為算法不再是人類生產(chǎn)的產(chǎn)品,其實是一種方向性的誤解。第二,算法并不具有自主自為性。算法的確可以自我改善,自己編寫代碼,可是算法卻沒有自帶偏見、也沒有自造規(guī)則,即使有偏見、有規(guī)則,也是人類將自己的偏見和規(guī)則變成算法代碼形成的偏見和規(guī)則。沒有人類輸入的第一行代碼,便不會有算法的其他代碼,算法的自主性自為性便失去了載體,也根本沒有機會。第三,支持算法偏見和規(guī)則影響力的不是算法本身,而是對算法的運用。如前所述,算法的個體應(yīng)用不會對其他人群產(chǎn)生影響,算法的平臺化運用則是促成算法影響力的機會和力量,無論是算法偏見、算法規(guī)則,還是其他。[34]當(dāng)然,算法的平臺運用并非只是出租車司機頭腦里的交通路線運籌,而是更廣泛的行動關(guān)系(復(fù)雜算法、網(wǎng)絡(luò)算法),一方面是面對問題的技術(shù)解決方案,另一方面是平臺組織與技術(shù)解決方案的關(guān)系體系。同時,由于技術(shù)解決方案和平臺都是面向用戶的,龐大的用戶規(guī)模又具有社會性,最終形成的是技術(shù)解決方案、平臺組織、社會之間的不僅關(guān)涉生產(chǎn)效率,還牽扯社會平等的綜合關(guān)系體系。

    如此,算法治理的方向選擇直接擺在了我們的面前。第一,算法不具有自由意志,算法是人類行動的產(chǎn)出,沒有脫離人類行動的算法,從最簡單的算法到最復(fù)雜的算法,都是如此。因此,算法治理是針對人類生產(chǎn)算法的行動治理。把算法偏見歸咎于算法本身,無異于同風(fēng)車作戰(zhàn)。有人依據(jù)算法承擔(dān)的任務(wù)將算法在人類行動里承擔(dān)的角色劃分為純粹執(zhí)行者、輔助決策者、獨立決策者。[35]這一劃分看似來自實踐,實際上卻對算法自由意志的設(shè)定含混不清,一方面假設(shè)算法是人類產(chǎn)品,另一方面又假設(shè)算法具有自主自為性。

    第二,算法治理一方面是針對算法偏見的治理,另一方面也是針對算法平臺運用的治理。算法治理的目標(biāo),前者是為算法糾偏,后者則是約束算法運用的方向和范圍,以期最大限度地減少算法偏見帶來的算法侵害,維系和促進社會平等。在現(xiàn)實生活中,算法的主要生產(chǎn)者是平臺,制造算法影響力的也是平臺,是故,算法治理便可以匯聚為針對平臺的算法治理。

    在中文語境中,算法治理有雙重含義。第一,用算法進行治理(governance by algorithm)。第二,對算法進行治理(governance to algorithm)。英文語境卻沒有算法治理(algorithm governance)概念,也很難找到一個對應(yīng)的概念,維基百科中甚至沒有相應(yīng)詞條。縱觀中文文獻對算法治理的探討,大多探討的是第二重含義。在接下來的討論中,我們也在第二種意義上使用算法治理,在給定算法不具有自由意志、且不具有自主自為性的前提下,探討針對算法偏見帶來的算法侵害之治理行動。

    算法治理發(fā)端于美國,[36]美國如何應(yīng)對算法侵害呢?直接的答案是,問責(zé)模式,[37]問責(zé)對象是有潛力讓算法產(chǎn)生廣泛且深刻影響的算法生產(chǎn)者和使用者,問責(zé)內(nèi)容包括算法內(nèi)容和非算法流程,問責(zé)的主體是政府或第三方。

    2017年1月12日,美國計算機協(xié)會下屬的美國公共政策委員會(USACM)發(fā)布的《算法透明度和責(zé)任聲明》指出:“生活中無處不在的算法促使我們應(yīng)該專注于解決與算法設(shè)計和技術(shù)相關(guān)的挑戰(zhàn),并從一開始就防止偏見。”圍繞算法公平,從建立算法公平意識到實現(xiàn)算法公平的算法檢驗,這項《聲明》提出了7項促進算法透明度和可靠性的原則,建立了算法治理的外部問責(zé)和控制模式。

    在州、市一級的算法治理中,2017年12月,紐約市議會通過了第一部針對人工智能監(jiān)管的《政府部門自動決策系統(tǒng)法案》(Auto Decision System Task Force Law),要求成立包括自動化決策系統(tǒng)專家和受自動化決策系統(tǒng)影響的公民組織代表在內(nèi)的工作組,對市政機構(gòu)運用自動決策算法的公平性、問責(zé)性和透明度等進行監(jiān)督,由此開啟了算法治理外部問責(zé)與控制的實踐模式。

    2019年4月,美國國會參眾兩院通過了《算法問責(zé)法案》,授權(quán)美國聯(lián)邦貿(mào)易委員會(FTC)要求并監(jiān)督企業(yè)對其人工智能系統(tǒng)的“準確性、公平性、偏見、歧視、隱私和安全性”等問題進行自我審查,且約定這一法案適用于年收入超過5000萬美元或擁有超過100萬用戶數(shù)據(jù)的數(shù)據(jù)代理商和企業(yè)。由此建立了治理對象的范圍。

    2021年5月,美國參議院引入《算法正義與在線平臺透明度法案》,要求規(guī)范算法過程,進而保護個人信息,保障個人特征不因算法而受到歧視?!斗ò浮方⒘怂惴ò踩院陀行詷?biāo)準,對歧視的判斷標(biāo)準進行了詳細解釋,還要求在線平臺為非算法流程承擔(dān)責(zé)任,包括算法運行的可靠性、個人數(shù)據(jù)的可攜帶性和將個人數(shù)據(jù)作為司法證據(jù)的可實現(xiàn)性,由此建立了將個人數(shù)據(jù)證據(jù)化、將算法偏見歸責(zé)化的邏輯閉環(huán)。

    簡單地說,美國把因算法偏見帶來的不良社會后果直接歸責(zé)到算法生產(chǎn)者和使用者,而沒有歸咎于算法自身。

    在數(shù)字時代的三方國際力量中,歐盟是重要一方。盡管歐盟沒有針對算法的專門法律,可針對數(shù)據(jù)保護的一系列法律在實踐中也直接約束了算法的生產(chǎn)和運用。1995年頒布的《數(shù)據(jù)保護指令》確認了數(shù)據(jù)主體的權(quán)利、數(shù)據(jù)保護的監(jiān)管機構(gòu),對數(shù)據(jù)的跨國流通等也作出詳細規(guī)定,建立了以數(shù)據(jù)保護為出發(fā)點的算法治理的邏輯起點。2000年頒布的《電子商務(wù)指令》則規(guī)范了數(shù)字服務(wù)提供者的責(zé)任。2015年歐盟進一步出臺的《數(shù)字單一市場戰(zhàn)略》雖不具有法律效應(yīng),卻在理論上奠定了針對數(shù)字市場的監(jiān)管框架,把算法產(chǎn)出(如搜索結(jié)果、廣告鏈接等)透明度,數(shù)據(jù)流動的組織間關(guān)系、數(shù)據(jù)流動的意愿與約束等都納入市場監(jiān)管范圍,為算法治理指出了方向。2017年頒行的《機器人民事責(zé)任法案》則把算法偏見帶來的算法侵害,如對個人決策帶來的負面影響,對政府行政、司法、公共政策帶來的不利影響等,明確歸責(zé)于算法的生產(chǎn)者和使用者,并且在道德層面對算法生產(chǎn)和使用提出了要求。由此,我們觀察到,歐盟的算法治理從守勢的數(shù)據(jù)保護即通過保護數(shù)據(jù)來保障權(quán)益也轉(zhuǎn)向了不得不面對的算法侵害,并與美國一致,將算法侵害歸責(zé)到算法的生產(chǎn)者和使用者,而不是算法自身。

    歐盟2018年頒布的《通用數(shù)據(jù)保護條例》(GDPR)將自1995年以來零碎的算法治理理念具體化為數(shù)據(jù)保護規(guī)制的重要組成部分,更具體地定義了數(shù)據(jù),對數(shù)據(jù)的提供、匯集等作了更明確的規(guī)定,還詳細約定了數(shù)據(jù)主體的數(shù)據(jù)訪問權(quán)、糾正權(quán)、被遺忘權(quán)、限制處理權(quán)、反對權(quán)、拒絕權(quán)和自主決定權(quán)等權(quán)利,更對數(shù)據(jù)的處理和運用進行了嚴格的限制,明確禁止可能造成算法侵害的數(shù)據(jù)運用,如揭示種族或民族出身,揭示政治觀點、宗教或哲學(xué)信仰,刻畫自然人健康、性取向等。歐洲議會秘書處2019年發(fā)布的《算法問責(zé)和透明治理框架》(A governance framework for algorithmic accountability and transparency)提出了負責(zé)任的研究與創(chuàng)新(RRI)概念,從道德、法律到實踐,明確了算法治理的問責(zé)框架。歐盟委員會2020年提案的《數(shù)字服務(wù)法案》和《數(shù)字市場法案》在數(shù)字治理上則進一步向美國靠攏,強化了算法生產(chǎn)者和使用者的責(zé)任;2021年提案的《人工智能法案》則區(qū)分了規(guī)則算法(rule-based algorithms)和學(xué)習(xí)算法(learning algorithms),建立了基于算法風(fēng)險的算法治理改進路徑,再次強調(diào)算法生產(chǎn)者和使用者的責(zé)任,強調(diào)問責(zé)機制。

    總體上看,雖然歐盟與美國一樣在形成算法治理的邏輯閉環(huán),卻在實踐中從數(shù)據(jù)保護入手,建立了保護個體、組織不受算法侵害的防御性治理框架和法律制度,在算法治理理念上則已向美國靠攏,即采用政府和第三方問責(zé)模式治理算法可能帶來的侵害,且將算法侵害責(zé)任歸咎于算法生產(chǎn)者和使用者。

    到這里為止,其實我們需要問一個問題,為什么美國的算法治理要采用問責(zé)模式?為什么歐盟會向美國靠攏也采用問責(zé)模式?前一節(jié)其實已經(jīng)回答了這個問題的技術(shù)部分,即,算法的復(fù)雜性使得算法自身始終處于迭代之中。換句話說,在生產(chǎn)和生活中運行的算法不是一個確定現(xiàn)象,而是一個動態(tài)。譬如,人們熟悉且經(jīng)常使用的乘用車即時導(dǎo)航系統(tǒng)。無論采用哪一家數(shù)字平臺提供的導(dǎo)航系統(tǒng),都會有一項服務(wù):道路交通動態(tài)實時更新。在從A點駛向B點的進程中,只要出現(xiàn)道路動態(tài)變化,系統(tǒng)都會提醒您前方可能的優(yōu)化備選路線和道路上的事故或擁堵動態(tài),呈現(xiàn)在用戶屏幕上的、變化著的、從綠色到深紅色的道路標(biāo)記變化正是實時計算的產(chǎn)出,也意味著算法在被使用進程中的自我迭代。

    算法的實時迭代意味著對算法代碼進行實時督導(dǎo)(monitoring)和審查(auditing)需要具備與算法生產(chǎn)和使用相當(dāng)或超越的技術(shù)能力。僅此,便意味著在技術(shù)上不可行;或者即使可行,至少也是艱難的和代價高昂的。對超出能力范圍的技術(shù)過程進行監(jiān)管,需要跳出技術(shù)和技術(shù)過程本身,尋求算法治理的關(guān)鍵節(jié)點和效率節(jié)點,正如俗語說的,打蛇要打在七寸上。

    那么,算法治理的關(guān)鍵節(jié)點在哪里呢?算法的生產(chǎn)是一個過程,從算法設(shè)計、代碼編寫到算法產(chǎn)品;算法的應(yīng)用也是一個過程,從算法部署、算法迭代到算法產(chǎn)出。如果沿著算法的生產(chǎn)與應(yīng)用邏輯和流程進行治理,可以稱之為過程治理。一旦算法投入應(yīng)用并達到足夠的規(guī)模,算法便會產(chǎn)生相應(yīng)的社會后果,包括算法偏見。如果針對算法的產(chǎn)出展開治理,可以稱之為結(jié)果治理。算法治理的社會特征在于過程治理的不可行性或代價高昂以及結(jié)果治理的簡單易行,是故,算法治理的關(guān)鍵節(jié)點便已不言而喻,那就是,針對算法結(jié)果進行治理。

    算法問責(zé)便是對結(jié)果的治理,也顯然采用了刪繁就簡原則。第一,在法律上約定算法可追責(zé)性。要求算法透明、算法解釋、數(shù)據(jù)證據(jù)化等,正是為結(jié)果可追責(zé)提供事實前提和法理邏輯前提。第二,在規(guī)則上約定算法責(zé)任實體性。盡管算法即規(guī)則,可算法規(guī)則只適用于計算過程,不適用于外化的社會過程,算法生產(chǎn)者和使用者才是算法的責(zé)任主體,即算法的責(zé)任主體是人或人的集合體,不是算法自身。一些人以為算法的行動責(zé)任已經(jīng)向機器轉(zhuǎn)移,事實上并沒有,機器行動依然是人類行動的一部分或人類行動的目的性延伸。如果我們把算法向人工智能甚至通用人工智能領(lǐng)域的拓展理解為人類對效率追求的時代發(fā)展,在提高效率、降低成本的引導(dǎo)下,即使人類會忽視算法偏見的存在甚至助長算法偏見,算法也依然只是算法,算法的自主性是人類賦予甚至縱容的自主性,在本質(zhì)上還是人類的行動選擇,而不是機器的主動侵入。讓機器為人類的選擇偏見背鍋是人類卸責(zé)的行動,不是機器的行動。

    有鑒于此,作為數(shù)字時代三方國際力量之一的中國,又在如何進行算法治理呢?從1994年制定第一部相關(guān)行政指令《計算機信息系統(tǒng)安全保護條例》到目前,中國共出臺了60多部相關(guān)法律法規(guī)和行政指令。從時間順序來看,可以認為中國的算法治理是從總體安全出發(fā)的。

    雖然早在2000年9月國務(wù)院就頒布了《互聯(lián)網(wǎng)信息服務(wù)管理辦法》,可該《辦法》更多是行政許可對服務(wù)內(nèi)容相關(guān)的約定,屬于數(shù)據(jù)經(jīng)營監(jiān)管類的行政指令。進入算法治理時代以來,第一部相關(guān)法律《中華人民共和國網(wǎng)絡(luò)安全法》(以下簡稱《網(wǎng)絡(luò)安全法》)雖不直接涉及算法,卻奠定了算法治理的基本方向,即以安全為依歸。2017年6月實施的《網(wǎng)絡(luò)安全法》的焦點是網(wǎng)絡(luò)空間安全,也可以被理解為網(wǎng)絡(luò)環(huán)境安全。網(wǎng)絡(luò)安全也被廣泛傳播為國土安全的拓展,即將網(wǎng)絡(luò)空間作為國土空間的一部分,從守護安全出發(fā)強調(diào)數(shù)字基礎(chǔ)設(shè)施、網(wǎng)絡(luò)運行、網(wǎng)絡(luò)信息的安全與保障。第二部相關(guān)法律是2019年1月實施的《中華人民共和國電子商務(wù)法》,焦點在于交易安全,部分內(nèi)容涉及對算法結(jié)果的治理,如支付指令發(fā)生錯誤時的處理等,卻沒有專門涉及算法侵害的內(nèi)容。2019年10月實施的《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》雖聚焦于個人信息,卻依然強調(diào)了信息安全,這里也出現(xiàn)了一個新的動向,即對兒童信息相關(guān)運營商的責(zé)任約定。2020年3月實施的《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》依然是安全導(dǎo)向的,強調(diào)網(wǎng)絡(luò)信息生產(chǎn)與發(fā)布、網(wǎng)絡(luò)內(nèi)容服務(wù)的無害性,即內(nèi)容安全,只有在關(guān)于內(nèi)容服務(wù)的第十二條涉及了算法治理,不過,依然是從內(nèi)容安全出發(fā)的。第十二條規(guī)定:“網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺采用個性化算法推薦技術(shù)推送信息的,應(yīng)當(dāng)設(shè)置符合本規(guī)定第十條、第十一條要求的推薦模型,建立健全人工干預(yù)和用戶自主選擇機制?!钡谑畻l、第十一條規(guī)定的都是內(nèi)容屬性,而不涉及算法侵害。2021年9月實施的《中華人民共和國數(shù)據(jù)安全法》則將網(wǎng)絡(luò)安全進一步延伸到數(shù)據(jù)領(lǐng)域,焦點依然是安全,即在總體國家安全觀的指導(dǎo)下建立健全數(shù)據(jù)安全治理體系。

    2021年11月實施的《中華人民共和國個人信息保護法》(以下簡稱《個人信息保護法》)才真正涉及算法治理,出現(xiàn)了與歐盟GDPR相似的內(nèi)容,不過,安全指向依然清晰明確。個人信息權(quán)益、個人信息處理及個人信息跨境流動,都清晰地指向了個人信息安全。值得指出的是,其中也有一個清晰的轉(zhuǎn)向,即在知情同意的意義上,明確了個人信息的個人權(quán)屬性,區(qū)分了一般個人信息和敏感個人信息,說明了個人在個人信息處理中的權(quán)利,也規(guī)定了違反個人信息處理規(guī)則的法律責(zé)任,如明確涉及算法的第七十條規(guī)定“個人信息處理者違反本法規(guī)定處理個人信息,侵害眾多個人的權(quán)益的,人民檢察院、法律規(guī)定的消費者組織和由國家網(wǎng)信部門確定的組織可以依法向人民法院提起訴訟”。問題是,《個人信息保護法》依然只是原則性規(guī)定,還沒有完成個人信息保護的司法證據(jù)化約定。

    2022年3月實施的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》(以下簡稱《規(guī)定》)才是第一部針對算法的管理規(guī)定。《規(guī)定》雖然只是四部委的行政指令,卻有了針對算法黑箱、算法歧視、信息繭房、輿論操控、不正當(dāng)競爭等算法侵害的規(guī)范。與既往的相關(guān)法律和行政指令不同,《規(guī)定》明確了信息服務(wù)規(guī)范、用戶權(quán)益保護、監(jiān)督管理責(zé)任和法律責(zé)任,將監(jiān)管責(zé)任主體明確為四部委(網(wǎng)信辦、工信部、公安部、市場監(jiān)管總局),并將相關(guān)違規(guī)的法律責(zé)任監(jiān)管納入國家相關(guān)部門管理之中。不過,聯(lián)系2021年9月國家互聯(lián)網(wǎng)信息辦公室、中央宣傳部等九部門聯(lián)合發(fā)布的《關(guān)于加強互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見》(以下簡稱《指導(dǎo)意見》)可以看出,《規(guī)定》依然是一部以安全為導(dǎo)向的行政指令,因為《指導(dǎo)意見》中明確指出要堅持正確導(dǎo)向、依法治理、風(fēng)險防控、權(quán)益保障、技術(shù)創(chuàng)新等五項基本原則,要“利用三年左右時間,逐步建立治理機制健全、監(jiān)管體系完善、算法生態(tài)規(guī)范的算法安全綜合治理格局”的主要目標(biāo)。即使如此,遺憾的是,到此為止,中國的算法治理只有目標(biāo),相關(guān)法律法規(guī)尚沒有像歐美那樣形成從治理理念到判例實踐的閉環(huán),其中,尤其是還看不出算法治理的法治理念,更沒完成算法治理的司法證據(jù)化約定。

    如果說算法偏見帶來的算法侵害是算法治理面對的核心問題;那么,在給定算法偏見人因化或組織化,給定算法技術(shù)處于不斷迭代且動態(tài)演化的場景下,實施算法治理的行動選擇其實不多。

    第一,鑒于算法的技術(shù)復(fù)雜性和動態(tài)性,約定算法透明是讓算法可以作為算法審查[38]和追責(zé)的前提,卻不是實施算法監(jiān)測的理由。如前所述,算法的技術(shù)迷思已經(jīng)宣告了算法監(jiān)測的低效率和高成本,因此,過程治理不是算法治理的可選項??墒?,針對過程的治理要求卻是其他治理選項的必備條件。

    第二,如果我們把算法安全風(fēng)險理解為算法侵害的一個類型,則結(jié)果治理即使不是算法治理的唯一選擇,也是有效選擇。防范風(fēng)險是保障安全的一種策略,治理侵害則是防范風(fēng)險的明智之舉。在算法無處不在且覆蓋廣泛而深刻的數(shù)字時代,算法已經(jīng)成為人類生產(chǎn)和生活的環(huán)境,這也意味著算法風(fēng)險時時刻刻無處不在,而不只是學(xué)者們列出的個體、組織、國家,政治、經(jīng)濟、社會的風(fēng)險。對時時刻刻無處不在的風(fēng)險,優(yōu)化的行動選擇是治理出現(xiàn)的侵害并將其作為未來可能的風(fēng)險源,而不是治理出現(xiàn)概率極小的、可能出現(xiàn)侵害的預(yù)設(shè)風(fēng)險。

    第三,算法侵害的人因化意味著治理行動的對象是算法的生產(chǎn)者和使用者,而不是算法。在相當(dāng)長一段時間內(nèi),支持通用人工智能的算法還不會出現(xiàn),算法依然是人類的產(chǎn)品,即使算法具備學(xué)習(xí)能力,第一行代碼依然是人類編寫的。因此,算法治理的關(guān)鍵是約束算法生產(chǎn)者寫對第一行代碼,約束算法使用者用對第一行代碼,問責(zé)模式至少是當(dāng)下可行且有效的治理模式。

    第四,鑒于算法的生產(chǎn)者和使用者以及對人類構(gòu)成廣泛且深刻影響的主要是平臺組織,把算法治理納入平臺治理、作為平臺治理的一項內(nèi)容,在形成成熟的算法治理進程中至少可以作為一項過渡性的行動選擇。的確,平臺組織匯集了人類的代碼精英,[39]用問責(zé)模式敦促平臺組織約束代碼精英在代碼生產(chǎn)中融入人類的積極價值觀,融入人類共同的倫理,[40]融入保障人類平等的相關(guān)法律和法規(guī),可以從源頭治理算法偏見,預(yù)防算法侵害,進而最大限度地降低算法風(fēng)險。

    結(jié)論

    伴隨數(shù)字連接邁向人類整體連接的是各類數(shù)字終端包括移動終端和傳感器的時時刻刻無處不在,如此廣泛且深刻的數(shù)字連接因連接的“節(jié)點—中心”結(jié)構(gòu)而形成的是數(shù)據(jù)的匯流與應(yīng)用的分發(fā)模式。在匯流與分發(fā)之間,算法成為運用數(shù)據(jù)資源促進人類發(fā)展和平等的關(guān)鍵所在。

    事實是,算法在帶來數(shù)字紅利的同時,也在帶來算法侵害。人們關(guān)注算法侵害不是因為算法侵害本身,而是因為算法利弊之影響對人群的覆蓋。算法古已有之,算法侵害古已有之,之所以沒有形成廣泛的甚至令人焦慮的關(guān)注是因為它不涉及大多數(shù)乃至人類社會整體。如今,數(shù)字連接已經(jīng)覆蓋了世界人口的67%,覆蓋了中國的幾乎所有家庭,算法侵害無孔不入,有機會讓每一位處在數(shù)字網(wǎng)絡(luò)中的人感同身受,人們關(guān)注算法侵害正是源于算法影響的廣泛性和深刻性,人們關(guān)注算法治理也源于人們試圖阻止算法侵害的普遍發(fā)生。

    如果說算法侵害是算法帶來的不利后果,學(xué)者們則用更多源于事實的歸納來具體化這樣的侵害,如算法歧視、算法偏見、算法共謀、算法壟斷、算法黑箱、算法遮蔽、算法短視、算法霸權(quán)、算法操縱、算法劫持、算法剝削等。算法給人們帶來的負面影響還可以列出更多,甚至是一個無窮列表。試圖阻止算法具體的負面影響并不足以防止算法侵害。

    算法侵害源于算法偏見。可是算法偏見不是算法自己的偏見,而是人類偏見在算法中的再現(xiàn)甚至放大。在通用人工智能出現(xiàn)之前(甚至出現(xiàn)之后),盡管算法已經(jīng)從人類的簡單計算活動邁向機器的自編碼,算法始終還是人類的產(chǎn)品,而不是獨立于人類的、具有自由意志的、與人類并行的客觀存在。沒有人類輸入的第一行代碼,便不會有動態(tài)演化的機器算法。如此,阻止乃至防止算法偏見還需首先糾正人類的偏見。

    針對算法偏見來糾正人類的偏見有兩個基本路徑,一是針對偏見發(fā)生的過程,二是針對偏見帶來的后果。落實到算法治理中,前者是過程治理,后者是結(jié)果治理。算法的技術(shù)迷思決定了過程治理是低效率的和高成本的,算法的動態(tài)性也決定了試圖通過過程治理來預(yù)防算法侵害無異于與風(fēng)車作戰(zhàn)。針對算法偏見帶來的結(jié)果進行治理在理論上是更加有效的行動選擇。

    在數(shù)字時代的國際三方中,美國的算法治理采用了算法侵害的事后問責(zé)模式,同時,也為問責(zé)實現(xiàn)如便于算法審查作了算法透明、數(shù)據(jù)證據(jù)化等約定,形成了從算法治理法理到實踐的邏輯閉環(huán)。歐盟的算法治理從保護數(shù)據(jù)的守勢入手,也在邁向美國的算法問責(zé)模式。中國的算法治理以網(wǎng)絡(luò)安全為起點,以總體安全為目標(biāo),尚未呈現(xiàn)清晰的法理,在實踐上頒布了一些點位性規(guī)則,卻還沒有形成以法理為依據(jù)、以社會平等為依歸的算法治理邏輯。我們認為,針對算法偏見的事后問責(zé)或許是殊途同歸的有效選擇。

    (本文系國家社科基金重大項目“新技術(shù)應(yīng)用背景下數(shù)字社會特征研究”子課題“數(shù)字社會的國家治理研究”成果的一部分,項目編號:19ZDA143)

    注釋

    [1]U.S. Congress; Office of Technology Assessment, Federal Government Information Technology: Electronic Surveillance and Civil Liberties, U.S. Government Printing Office, 1985, pp. 3-4, 14-15.

    [2]U.S. Congress; Office of Technology Assessment, Federal Government Information Technology: Electronic Record Systems and Individual Privacy, U.S. Government Printing Office, 1986, pp. 89-95.

    [3]Sterling, T. D., "Guidelines for Humanizing Computerized Information Systems: A Report from Stanley House", Communications of the ACM, 1974, 17(11) , pp. 609-613.

    [4]姜李丹、薛瀾:《我國新一代人工智能治理的時代挑戰(zhàn)與范式變革》,《公共管理學(xué)報》,2022年第2期。

    [5]Chabert, J. L., A History of Algorithms: From the Pebble to the Microchip, Springer Science & Business Media, 2012, pp. 7–8.

    [6]Aaboe, A., Episodes from the Early History of Astronomy, New York: Springer, 2001, pp. 40–62.

    [7]陳久金、楊怡:《中國古代的天文與歷法》,北京:商務(wù)印書館,1998年。

    [8]邱澤奇:《算法向善選擇背后的權(quán)衡與博弈》,《人民論壇》,2021年2月中下期。

    [9]肖紅軍:《算法責(zé)任:理論證成、全景畫像與治理范式》,《管理世界》,2022年第4期;陽鎮(zhèn)、陳勁:《算法治理:成為責(zé)任型數(shù)智企業(yè)》,《清華管理評論》,2021年第4期;丁曉東:《算法與歧視:從美國教育平權(quán)案看算法倫理與法律解釋》,《中外法學(xué)》,2017年第6期。

    [10]孟天廣、李珍珍:《治理算法:算法風(fēng)險的倫理原則及其治理邏輯》,《學(xué)術(shù)論壇》,2022年第1期;張愛軍:《“算法利維坦”的風(fēng)險及其規(guī)制》,《探索與爭鳴》,2021年第1期;賈開:《人工智能與算法治理研究》,《中國行政管理》,2019年第1期。

    [11]Ausiello, G. and Petreschi, R., The Power of Algorithms: Inspiration and Examples in Everyday Life, Springer Science & Business Media, 2013.

    [12]Beer, D., "The Social Power of Algorithms", Information, Communication & Society, 2017, 20(1), pp. 1–13.

    [13]張愛軍、王首航:《算法:一種新的權(quán)力形態(tài)》,《治理現(xiàn)代化研究》,2020年第1期。

    [14][29]Lessig L., Code: And Other Laws of Cyberspace (New edition), New York: Basic Books, 1999. 第二版于2006年出版,基于第二版的中文版于2018年出版。參見[美]勞倫斯·萊斯格:《代碼2.0:網(wǎng)絡(luò)空間中的法律(修訂版)》,北京:清華大學(xué)出版社,2018年。

    [15]Micklitz, H. W.; Pollicino O.; Reichman A., et al., Constitutional Challenges in The Algorithmic Society, New York: Cambridge University Press, 2022.

    [16]參見國際電聯(lián)(ITU)網(wǎng)站:https://www.itu.int/en/ITU-D/Statistics/Pages/stat/default.aspx.

    [17]中國互聯(lián)網(wǎng)絡(luò)信息中心:《第49次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》,2022年。

    [18]參見https://www.domo.com/learn/infographic/data-never-sleeps-9.

    [19][21]主要依據(jù)綜合自中國信通院:《中國數(shù)字經(jīng)濟發(fā)展白皮書》,2022年;中國互聯(lián)網(wǎng)絡(luò)信息中心:《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》,2022年。對兩類報告均參考了其初期和近兩年的數(shù)據(jù)。

    [20]李稻葵在2021年亞洲博鰲論壇上的發(fā)言,參見媒體報道。

    [22]Referred to "Al-Khwarizmi biography," www-history.mcs.st-andrews.ac.uk, Archived from the original on August 2, 2019. Retrieved May 3, 2017.

    [23][26]Knuth, D., The Art of Computer Programming. Volume 1: Fundamental Algorithms, New York: Addison-Wesley Professional, 1997.

    [24]Harel D. and Feldman. Y., Algorithmics: The Spirit of Computing (3rd ed), Harlow: Addison-Wesley, 2004.

    [25]Butler, D., "Web Data Predict Flu", Nature, 2008, 456 (7220), pp. 287–288.

    [27]Stinson C., "Algorithms Are Not Neutral: Bias in Collaborative Filtering", ArXiv, 2021. 2105.01031.

    [28]孟天廣、李珍珍:《治理算法:算法風(fēng)險的倫理原則及其治理邏輯》,《學(xué)術(shù)論壇》,2022年第1期。

    [30]賈開、薛瀾:《第四次工業(yè)革命與算法治理的新挑戰(zhàn)》,《清華管理評論》,2021年第4期。

    [31]張愛軍:《“算法利維坦”的風(fēng)險及其規(guī)制》,《探索與爭鳴》,2021年第1期。

    [32][33]Papakyriakopoulos O., and Mboya A. M., "Beyond Algorithmic Bias: A Socio-Computational Interrogation of the Google Search by Image Algorithm", ArXiv, 2021, 2105.12856.

    [34]算法不只是因偏見帶來侵害,更主要還是因效率帶來算法紅利,算法紅利是數(shù)字紅利的核心。人類對數(shù)字技術(shù)的追逐正是由于數(shù)字紅利的吸引。參見邱澤奇、張樹沁、劉世定等:《從數(shù)字鴻溝到紅利差異——互聯(lián)網(wǎng)資本的視角》,《中國社會科學(xué)》,2016年第10期。算法紅利不在本文討論范圍,故略去。

    [35]肖紅軍:《算法責(zé)任:理論證成、全景畫像與治理范式》,《管理世界》,2022年第4期。

    [36]許可:《馴服算法:算法治理的歷史展開與當(dāng)代體系》,《華東政法大學(xué)學(xué)報》,2022年第1期。

    [37]孫逸嘯、鄭浩然:《算法治理的域外經(jīng)驗與中國進路》,《信息安全研究》,2021年第1期。

    [38]Shen, H.; DeVos, A.; Eslami, M. et al., "Everyday Algorithm Auditing: Understanding the Power of Everyday Users in Surfacing Harmful Algorithmic Behaviors", ArXiv, 2021, 2105.02980.

    [39]Burrell, J. and Fourcade, M., "The Society of Algorithms", Annual Review of Sociology, 2021, 47(1), pp. 213–237.

    [40]Timcke, S., Algorithms and the End of Politics: How Technology Shapes 21st Century American Life, Bristol University Press, 2021.

    責(zé) 編/陳璐穎

    邱澤奇,北京大學(xué)博雅特聘教授、中國社會與發(fā)展研究中心主任、數(shù)字治理研究中心主任、社會學(xué)系教授,教育部“長江學(xué)者”特聘教授。研究方向為數(shù)字社會、數(shù)字治理。主要著作有《邊區(qū)企業(yè)的發(fā)展歷程:國有大企業(yè)和企業(yè)型城市的集體企業(yè)》《中國大陸社會分層狀況的變遷》《社會學(xué)是什么?》《費孝通與江村》《朋友在先——中國對烏干達衛(wèi)生發(fā)展援助案例研究》《技術(shù)與組織:學(xué)科脈絡(luò)與文獻》等。

    欧美老熟妇乱子伦牲交| 少妇的丰满在线观看| 久久精品国产亚洲av高清一级| 亚洲熟妇熟女久久| 国产亚洲精品第一综合不卡| 欧美日韩亚洲高清精品| 精品少妇一区二区三区视频日本电影| 又黄又粗又硬又大视频| 精品久久久精品久久久| 啦啦啦在线免费观看视频4| 国产精品 欧美亚洲| 国产精品久久电影中文字幕| 精品久久久久久电影网| 一区在线观看完整版| 99国产精品一区二区蜜桃av| 黄色视频,在线免费观看| 午夜免费观看网址| 久久精品aⅴ一区二区三区四区| 国产亚洲精品第一综合不卡| 后天国语完整版免费观看| 国产精品久久久久久人妻精品电影| 99国产精品一区二区蜜桃av| a级毛片在线看网站| 免费看十八禁软件| 91国产中文字幕| 国产精华一区二区三区| 久久九九热精品免费| 91国产中文字幕| 国产av又大| 久久香蕉激情| 十八禁人妻一区二区| 中亚洲国语对白在线视频| 一级,二级,三级黄色视频| 大型av网站在线播放| av网站免费在线观看视频| 免费搜索国产男女视频| 日韩欧美免费精品| 亚洲欧美一区二区三区黑人| 天天添夜夜摸| 欧美日韩中文字幕国产精品一区二区三区 | 欧美不卡视频在线免费观看 | 亚洲av片天天在线观看| 黑人操中国人逼视频| 老司机午夜福利在线观看视频| 亚洲免费av在线视频| 波多野结衣一区麻豆| 视频区图区小说| 国产亚洲欧美98| 国产成人欧美在线观看| 国产精品 欧美亚洲| 国产aⅴ精品一区二区三区波| 男女高潮啪啪啪动态图| 淫妇啪啪啪对白视频| 久久精品国产综合久久久| 欧美日韩瑟瑟在线播放| 丰满饥渴人妻一区二区三| 欧美亚洲日本最大视频资源| 超碰97精品在线观看| 国产精品影院久久| 久久国产精品男人的天堂亚洲| 在线观看免费视频网站a站| 国产蜜桃级精品一区二区三区| 国产xxxxx性猛交| 亚洲,欧美精品.| 日韩欧美三级三区| 国产一区二区三区在线臀色熟女 | 人妻丰满熟妇av一区二区三区| 亚洲 欧美一区二区三区| 国产亚洲精品一区二区www| 久久久久久久久中文| 韩国av一区二区三区四区| 欧美精品啪啪一区二区三区| 久久精品亚洲熟妇少妇任你| 变态另类成人亚洲欧美熟女 | 91字幕亚洲| 亚洲美女黄片视频| 精品国产一区二区三区四区第35| 少妇被粗大的猛进出69影院| 亚洲av片天天在线观看| 夜夜躁狠狠躁天天躁| 亚洲va日本ⅴa欧美va伊人久久| 日韩中文字幕欧美一区二区| 欧美一区二区精品小视频在线| 99国产极品粉嫩在线观看| 在线永久观看黄色视频| 亚洲熟妇中文字幕五十中出 | 50天的宝宝边吃奶边哭怎么回事| 男男h啪啪无遮挡| 侵犯人妻中文字幕一二三四区| 欧美+亚洲+日韩+国产| 久久精品aⅴ一区二区三区四区| 国产精品二区激情视频| 99精国产麻豆久久婷婷| 亚洲一区二区三区欧美精品| bbb黄色大片| 国产单亲对白刺激| 国产高清videossex| 欧美久久黑人一区二区| 99久久99久久久精品蜜桃| 水蜜桃什么品种好| 好男人电影高清在线观看| 日韩 欧美 亚洲 中文字幕| 一进一出好大好爽视频| 91成年电影在线观看| 久久人妻熟女aⅴ| 久久久久九九精品影院| 一进一出抽搐动态| 中出人妻视频一区二区| www.精华液| 丁香六月欧美| 亚洲色图av天堂| 嫩草影视91久久| 亚洲国产看品久久| 日本黄色日本黄色录像| 人成视频在线观看免费观看| 欧美日韩精品网址| 新久久久久国产一级毛片| 久久久水蜜桃国产精品网| 老鸭窝网址在线观看| 国产亚洲欧美98| 亚洲 欧美一区二区三区| 亚洲va日本ⅴa欧美va伊人久久| 日韩中文字幕欧美一区二区| 好男人电影高清在线观看| 丰满的人妻完整版| 日韩视频一区二区在线观看| 满18在线观看网站| 真人一进一出gif抽搐免费| 精品欧美一区二区三区在线| 法律面前人人平等表现在哪些方面| 精品一区二区三区av网在线观看| 十分钟在线观看高清视频www| 色婷婷av一区二区三区视频| 国产欧美日韩综合在线一区二区| 99久久国产精品久久久| 日本撒尿小便嘘嘘汇集6| 久久国产精品人妻蜜桃| 久久国产亚洲av麻豆专区| 国产精品98久久久久久宅男小说| 午夜精品国产一区二区电影| 99热只有精品国产| 最近最新中文字幕大全免费视频| 国产精品秋霞免费鲁丝片| 国产av一区在线观看免费| 在线观看舔阴道视频| 老司机靠b影院| 亚洲成人国产一区在线观看| 黄频高清免费视频| 操美女的视频在线观看| 热re99久久国产66热| 夜夜看夜夜爽夜夜摸 | 日韩欧美免费精品| 精品熟女少妇八av免费久了| 可以免费在线观看a视频的电影网站| 日日爽夜夜爽网站| 水蜜桃什么品种好| 亚洲成国产人片在线观看| 99国产精品一区二区蜜桃av| 人人妻人人添人人爽欧美一区卜| 国产一区二区在线av高清观看| 日本 av在线| 国产成人av激情在线播放| 久久人妻av系列| √禁漫天堂资源中文www| 法律面前人人平等表现在哪些方面| 欧美中文日本在线观看视频| 久久久久国产一级毛片高清牌| 一级片'在线观看视频| 精品久久蜜臀av无| 熟女少妇亚洲综合色aaa.| 中文字幕色久视频| 一进一出抽搐动态| e午夜精品久久久久久久| 成人国语在线视频| 国产97色在线日韩免费| 色尼玛亚洲综合影院| 成人18禁高潮啪啪吃奶动态图| 91大片在线观看| 国产1区2区3区精品| 99国产精品99久久久久| 激情在线观看视频在线高清| 正在播放国产对白刺激| 国产高清videossex| 可以在线观看毛片的网站| 中文字幕精品免费在线观看视频| 欧美日韩精品网址| 亚洲三区欧美一区| 99久久久亚洲精品蜜臀av| 18禁观看日本| 亚洲国产毛片av蜜桃av| 少妇被粗大的猛进出69影院| 黄色视频不卡| 亚洲精品中文字幕一二三四区| 亚洲黑人精品在线| 在线观看午夜福利视频| 午夜老司机福利片| av天堂久久9| 成人永久免费在线观看视频| 亚洲精品在线美女| 国产一区二区三区视频了| 每晚都被弄得嗷嗷叫到高潮| av免费在线观看网站| 丝袜在线中文字幕| 日韩欧美国产一区二区入口| 成人黄色视频免费在线看| 欧美精品一区二区免费开放| 亚洲一区高清亚洲精品| 亚洲第一欧美日韩一区二区三区| 高潮久久久久久久久久久不卡| 韩国av一区二区三区四区| 色老头精品视频在线观看| 日本免费一区二区三区高清不卡 | 久久欧美精品欧美久久欧美| 18禁国产床啪视频网站| 狠狠狠狠99中文字幕| 国产精品偷伦视频观看了| 国产亚洲欧美精品永久| 亚洲中文日韩欧美视频| 亚洲熟女毛片儿| 99久久人妻综合| 欧美黄色片欧美黄色片| 黄频高清免费视频| 后天国语完整版免费观看| √禁漫天堂资源中文www| 看黄色毛片网站| 亚洲av五月六月丁香网| 欧美亚洲日本最大视频资源| 国产精品久久久av美女十八| 欧美激情 高清一区二区三区| 日日干狠狠操夜夜爽| 日韩有码中文字幕| 搡老乐熟女国产| 午夜福利影视在线免费观看| 日本黄色视频三级网站网址| 在线观看一区二区三区激情| 午夜免费观看网址| 母亲3免费完整高清在线观看| 国产熟女午夜一区二区三区| 国产单亲对白刺激| 久久人妻av系列| 高清欧美精品videossex| 亚洲精品中文字幕在线视频| 日韩精品免费视频一区二区三区| 五月开心婷婷网| 丝袜人妻中文字幕| 精品一区二区三区四区五区乱码| 国产精品 欧美亚洲| 国产精品野战在线观看 | 久久人妻熟女aⅴ| 国产色视频综合| 少妇的丰满在线观看| 黄色怎么调成土黄色| 亚洲专区国产一区二区| 国产野战对白在线观看| 黄色视频不卡| 亚洲五月婷婷丁香| 国产人伦9x9x在线观看| 日韩免费高清中文字幕av| 亚洲精品在线美女| 99国产精品免费福利视频| 母亲3免费完整高清在线观看| 久久久久国产一级毛片高清牌| 黑人操中国人逼视频| 一本大道久久a久久精品| 一二三四在线观看免费中文在| 国产又爽黄色视频| 久久久久久久午夜电影 | 熟女少妇亚洲综合色aaa.| 啦啦啦在线免费观看视频4| 欧美乱色亚洲激情| 嫩草影视91久久| 天堂动漫精品| 日韩高清综合在线| 很黄的视频免费| 一级毛片女人18水好多| 久久久久国产精品人妻aⅴ院| 日韩欧美国产一区二区入口| 国产精品九九99| 久久99一区二区三区| 国产精品秋霞免费鲁丝片| 久久国产精品人妻蜜桃| 亚洲一区中文字幕在线| 成人国产一区最新在线观看| 亚洲激情在线av| 亚洲七黄色美女视频| 两人在一起打扑克的视频| 黄色怎么调成土黄色| 黄色成人免费大全| av欧美777| 欧美日韩中文字幕国产精品一区二区三区 | 男人操女人黄网站| 黄片播放在线免费| 亚洲欧美激情在线| 成人免费观看视频高清| svipshipincom国产片| 亚洲一区二区三区色噜噜 | 欧美大码av| 亚洲 国产 在线| 精品久久久久久久毛片微露脸| √禁漫天堂资源中文www| www日本在线高清视频| 免费少妇av软件| 亚洲av第一区精品v没综合| av片东京热男人的天堂| 日韩免费高清中文字幕av| 免费看a级黄色片| 久久人妻熟女aⅴ| 国产av一区在线观看免费| 欧美日韩精品网址| 国产精品香港三级国产av潘金莲| 叶爱在线成人免费视频播放| 国产亚洲欧美98| 久久青草综合色| 悠悠久久av| 天堂√8在线中文| 在线观看午夜福利视频| 亚洲精品国产色婷婷电影| 又紧又爽又黄一区二区| 日韩欧美一区视频在线观看| 高清黄色对白视频在线免费看| 亚洲成国产人片在线观看| 欧美性长视频在线观看| 一区福利在线观看| a级毛片在线看网站| 国产成人啪精品午夜网站| 老熟妇乱子伦视频在线观看| 美女大奶头视频| 人成视频在线观看免费观看| 久久久国产一区二区| 老司机深夜福利视频在线观看| 欧美成人午夜精品| 久久天堂一区二区三区四区| 久久久久九九精品影院| 久久人妻av系列| 妹子高潮喷水视频| 午夜福利,免费看| 成人黄色视频免费在线看| 99国产精品99久久久久| 人人妻,人人澡人人爽秒播| 午夜福利免费观看在线| 在线观看日韩欧美| 日日摸夜夜添夜夜添小说| 自线自在国产av| 日韩视频一区二区在线观看| 极品人妻少妇av视频| 色综合婷婷激情| 国产亚洲精品第一综合不卡| 久久精品国产亚洲av高清一级| 高清av免费在线| 美女国产高潮福利片在线看| 亚洲片人在线观看| 欧美精品一区二区免费开放| 91精品国产国语对白视频| 日本五十路高清| 免费高清在线观看日韩| 两人在一起打扑克的视频| 欧美日韩精品网址| 91麻豆精品激情在线观看国产 | 亚洲av片天天在线观看| 精品人妻1区二区| av网站免费在线观看视频| 男女高潮啪啪啪动态图| 欧美日韩亚洲高清精品| 90打野战视频偷拍视频| x7x7x7水蜜桃| 久久精品亚洲熟妇少妇任你| 亚洲成人精品中文字幕电影 | 亚洲人成伊人成综合网2020| 国产亚洲精品综合一区在线观看 | 99国产精品免费福利视频| 国产欧美日韩一区二区精品| 黄色怎么调成土黄色| 女人高潮潮喷娇喘18禁视频| 国内毛片毛片毛片毛片毛片| 99久久综合精品五月天人人| 777久久人妻少妇嫩草av网站| 88av欧美| 欧美日韩视频精品一区| 看黄色毛片网站| 亚洲第一av免费看| 最近最新免费中文字幕在线| 国产精品 欧美亚洲| 国产亚洲精品久久久久久毛片| 一进一出好大好爽视频| 男人的好看免费观看在线视频 | 欧美日韩国产mv在线观看视频| av中文乱码字幕在线| 久久久久久久精品吃奶| 最新美女视频免费是黄的| 老熟妇仑乱视频hdxx| 91av网站免费观看| www.熟女人妻精品国产| 久久婷婷成人综合色麻豆| 国产亚洲精品久久久久5区| 亚洲精品国产一区二区精华液| 亚洲精品成人av观看孕妇| 久久香蕉国产精品| 久久精品国产99精品国产亚洲性色 | 国产蜜桃级精品一区二区三区| 亚洲一区二区三区欧美精品| www.熟女人妻精品国产| 亚洲中文字幕日韩| 久久中文字幕人妻熟女| 亚洲国产中文字幕在线视频| av免费在线观看网站| 国产亚洲欧美在线一区二区| 国产精华一区二区三区| 中文字幕av电影在线播放| 亚洲国产毛片av蜜桃av| 久久精品91无色码中文字幕| 在线国产一区二区在线| 欧美午夜高清在线| 精品久久久久久电影网| 97人妻天天添夜夜摸| 国产亚洲欧美在线一区二区| 亚洲欧美精品综合久久99| 一级a爱视频在线免费观看| 久久久久久久午夜电影 | 久久久国产欧美日韩av| 欧美在线一区亚洲| 国产精品野战在线观看 | 亚洲成a人片在线一区二区| a级毛片黄视频| 88av欧美| 亚洲男人的天堂狠狠| 18禁观看日本| 一级片免费观看大全| 黄色毛片三级朝国网站| 男女做爰动态图高潮gif福利片 | 日韩欧美一区二区三区在线观看| 在线观看免费日韩欧美大片| 欧美日韩国产mv在线观看视频| 亚洲精品国产精品久久久不卡| 亚洲精品成人av观看孕妇| 中文字幕人妻丝袜一区二区| 国产欧美日韩一区二区精品| av电影中文网址| 国产蜜桃级精品一区二区三区| 别揉我奶头~嗯~啊~动态视频| 欧美乱色亚洲激情| 美女高潮喷水抽搐中文字幕| 99久久精品国产亚洲精品| 国产精品亚洲一级av第二区| 亚洲av日韩精品久久久久久密| 午夜成年电影在线免费观看| 女性被躁到高潮视频| videosex国产| 国内久久婷婷六月综合欲色啪| 日韩精品青青久久久久久| 午夜福利在线观看吧| 亚洲欧美一区二区三区久久| 国产免费av片在线观看野外av| 欧美成狂野欧美在线观看| 日韩免费高清中文字幕av| 亚洲成人国产一区在线观看| 嫁个100分男人电影在线观看| 99国产精品99久久久久| 一区福利在线观看| 国产成人av教育| 一边摸一边抽搐一进一出视频| 99热只有精品国产| 黄色片一级片一级黄色片| 麻豆成人av在线观看| 99国产综合亚洲精品| 亚洲精品国产色婷婷电影| 午夜影院日韩av| 欧美成狂野欧美在线观看| 一本大道久久a久久精品| 天堂动漫精品| 国产亚洲欧美精品永久| 韩国精品一区二区三区| a在线观看视频网站| 无限看片的www在线观看| 99国产精品免费福利视频| 久久国产精品男人的天堂亚洲| 69av精品久久久久久| 啦啦啦在线免费观看视频4| 亚洲片人在线观看| 精品欧美一区二区三区在线| 超碰97精品在线观看| 亚洲av电影在线进入| 丰满迷人的少妇在线观看| 美女大奶头视频| 老司机午夜十八禁免费视频| 身体一侧抽搐| 国产精华一区二区三区| a级毛片黄视频| av在线天堂中文字幕 | www日本在线高清视频| 女生性感内裤真人,穿戴方法视频| 国产片内射在线| 久久人人精品亚洲av| av福利片在线| 精品一区二区三区视频在线观看免费 | 久久天堂一区二区三区四区| 精品久久久久久电影网| 国产成人欧美| 国产成人精品无人区| 亚洲精品国产一区二区精华液| 亚洲一区二区三区色噜噜 | 亚洲国产精品一区二区三区在线| 美女福利国产在线| 精品乱码久久久久久99久播| 久久久国产成人精品二区 | 欧美日韩福利视频一区二区| 又紧又爽又黄一区二区| 亚洲av熟女| 亚洲欧美一区二区三区久久| 亚洲熟妇中文字幕五十中出 | 免费少妇av软件| 黄色片一级片一级黄色片| 不卡一级毛片| 国产精品 国内视频| 国产免费男女视频| 淫秽高清视频在线观看| 人人妻人人添人人爽欧美一区卜| 婷婷六月久久综合丁香| 国产麻豆69| 黄色 视频免费看| 欧美乱妇无乱码| 一级黄色大片毛片| 久久人妻熟女aⅴ| 麻豆一二三区av精品| 久久久水蜜桃国产精品网| 亚洲情色 制服丝袜| 午夜免费观看网址| 法律面前人人平等表现在哪些方面| 亚洲美女黄片视频| 亚洲人成伊人成综合网2020| 少妇粗大呻吟视频| 欧美乱妇无乱码| 亚洲五月色婷婷综合| 精品福利永久在线观看| 久久精品亚洲熟妇少妇任你| 久久人妻熟女aⅴ| 欧美性长视频在线观看| 久久中文字幕人妻熟女| 一级毛片高清免费大全| 黄色视频不卡| 久久人人爽av亚洲精品天堂| 两个人免费观看高清视频| 成熟少妇高潮喷水视频| 美女午夜性视频免费| 国产97色在线日韩免费| 日韩欧美国产一区二区入口| 中文字幕人妻熟女乱码| 每晚都被弄得嗷嗷叫到高潮| 欧美精品一区二区免费开放| 动漫黄色视频在线观看| 麻豆av在线久日| 少妇 在线观看| 午夜福利在线观看吧| 少妇 在线观看| 老鸭窝网址在线观看| 97人妻天天添夜夜摸| 欧美在线一区亚洲| 热99国产精品久久久久久7| 亚洲精品中文字幕一二三四区| 无限看片的www在线观看| 国产有黄有色有爽视频| 中文字幕精品免费在线观看视频| 淫秽高清视频在线观看| 亚洲中文日韩欧美视频| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲激情在线av| 国产高清国产精品国产三级| av视频免费观看在线观看| √禁漫天堂资源中文www| 婷婷六月久久综合丁香| 丰满人妻熟妇乱又伦精品不卡| 亚洲精品在线美女| 久9热在线精品视频| 99久久久亚洲精品蜜臀av| 国产av又大| 国产成人欧美| 国产熟女午夜一区二区三区| 久久婷婷成人综合色麻豆| 精品熟女少妇八av免费久了| 一进一出抽搐gif免费好疼 | 亚洲精品中文字幕在线视频| 欧美日韩视频精品一区| 12—13女人毛片做爰片一| 国产熟女午夜一区二区三区| 悠悠久久av| 国产精品美女特级片免费视频播放器 | 国内毛片毛片毛片毛片毛片| 香蕉久久夜色| 男女之事视频高清在线观看| www日本在线高清视频| 久久亚洲真实| 黄网站色视频无遮挡免费观看| 欧美日韩视频精品一区| 成人国产一区最新在线观看| 国产精品亚洲av一区麻豆| 精品一区二区三卡| 多毛熟女@视频| 免费av毛片视频| 国产在线精品亚洲第一网站| 天堂√8在线中文| 真人做人爱边吃奶动态| 俄罗斯特黄特色一大片| www日本在线高清视频| 久久久久国内视频| 国产成人欧美| 亚洲人成伊人成综合网2020| 亚洲精品在线观看二区| 中出人妻视频一区二区| 日本 av在线| 丰满迷人的少妇在线观看| 中文字幕人妻丝袜一区二区| 久久 成人 亚洲| 中文字幕人妻丝袜制服| av免费在线观看网站| 国产精品成人在线| 亚洲专区中文字幕在线|