• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法治理的域外經(jīng)驗與中國進(jìn)路

    2021-01-08 08:08:24孫逸嘯鄭浩然
    信息安全研究 2021年1期

    孫逸嘯 鄭浩然

    1(中南財經(jīng)政法大學(xué)法治發(fā)展與司法改革研究中心 武漢 430073) 2(中央財經(jīng)大學(xué)管理科學(xué)與工程學(xué)院 北京 102206)

    (710976842@qq.com)

    得益于互聯(lián)網(wǎng)信息技術(shù)與信息革命的不斷縱深發(fā)展,人類社會經(jīng)歷了從互聯(lián)網(wǎng)1.0到互聯(lián)網(wǎng)2.0,再到人工智能時代的轉(zhuǎn)型跨越.作為大數(shù)據(jù)時代背景下人工智能產(chǎn)業(yè)與數(shù)字經(jīng)濟(jì)發(fā)展的驅(qū)動引擎,算法技術(shù)由于數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展而逐漸嵌入到人類社會生活的方方面面.隨著網(wǎng)絡(luò)空間與現(xiàn)實空間不斷耦合以及弱人工智能到強(qiáng)人工智能的轉(zhuǎn)變,算法也在不斷地改變甚至重塑著人類社會生活,已經(jīng)成為一種能夠?qū)崿F(xiàn)社會資源配置的新興力量.但算法決策、算法推薦、算法分析等技術(shù)及其架構(gòu)的應(yīng)用為數(shù)字經(jīng)濟(jì)發(fā)展帶來無限機(jī)遇的同時,也由于算法黑箱、算法偏見等問題的強(qiáng)化而潛在地存在諸多風(fēng)險,從而給各國既有的治理體系及其能力提出了較大挑戰(zhàn).

    基于這樣的時代背景,可以說,算法治理作為各國網(wǎng)絡(luò)社會治理體系的重要環(huán)節(jié),其治理體系和治理能力的提高不僅是一國國家治理體系和治理能力的重要體現(xiàn),而且是當(dāng)今數(shù)字經(jīng)濟(jì)發(fā)展現(xiàn)代化的內(nèi)在需求.而如何正確認(rèn)識和把握算法及其可能引發(fā)的風(fēng)險,則是進(jìn)一步討論算法治理和各國經(jīng)驗做法的重要前提.因此,本文旨在比較研究的基礎(chǔ)上,重點(diǎn)圍繞以下2個方面進(jìn)行論述評析:從算法治理的必要性出發(fā),通過論述算法應(yīng)用可能引發(fā)的潛在風(fēng)險,以明晰算法治理何以進(jìn)入治理之視域;探討美國與歐盟在算法治理方面的經(jīng)驗做法,幫助理解在不同文化、制度背景下這2種典型算法治理框架結(jié)構(gòu)形成、發(fā)展的脈絡(luò)及其特點(diǎn).從而為我國算法治理的路徑選擇提供切實可行的路徑依歸.

    1 算法治理的必要性:算法應(yīng)用引發(fā)的潛在風(fēng)險

    深刻理解和反思算法技術(shù)應(yīng)用可能引發(fā)的潛在風(fēng)險,是進(jìn)一步探討算法治理的必要之前提.從社會、法律與政治3個不同維度對算法風(fēng)險進(jìn)行透析,是將算法置于特定的時代背景下的類型化拷問,需要從算法技術(shù)及其背后的算法架構(gòu)甚至算法權(quán)力去審視并回應(yīng)這一問題.

    1.1 社會風(fēng)險

    當(dāng)前算法已經(jīng)深深嵌入到社會運(yùn)行的方方面面,其引發(fā)的社會風(fēng)險主要體現(xiàn)在以下2個方面:一是加劇了“信息繭房”(information cocoon house)現(xiàn)象.在算法應(yīng)用平臺中,用戶的各種信息數(shù)據(jù)通過信息內(nèi)容推薦、信息生產(chǎn)、協(xié)過濾等算法機(jī)制,很容易使用戶被自身的興趣愛好所引導(dǎo)甚至牽制,導(dǎo)致平臺算法源源不斷地向其輸入某一類型的信息流或推薦相關(guān)用戶群,從而使用戶的生活桎梏于像蠶繭一般的“信息繭房”中.比如,F(xiàn)acebook通過“信息流”(news feed)和“流行話題”(trending)這2個主要算法架構(gòu)和程序控制著其平臺新聞傳播的“可見性”. “信息流”被扎克伯格稱為“個性化報紙”訂制功能,也就是按用戶的興趣愛好推薦他們“感興趣的內(nèi)容”; “流行話題”則更強(qiáng)調(diào)其他人在關(guān)注什么信息,更側(cè)重于時事新聞.這2種渠道都將要傳遞的新聞主動推送給用戶,從而建構(gòu)這種主動互動的雙向關(guān)系.然而有學(xué)者對40位Facebook用戶展開了算法意識的調(diào)查,發(fā)現(xiàn)62.5%的參與者不知道Facebook的信息流策展.同時,“信息繭房”還在無形中進(jìn)一步強(qiáng)化了用戶群體的“標(biāo)簽性”,從而加劇了網(wǎng)絡(luò)社會的階層分化,形成新的數(shù)字鴻溝,進(jìn)一步導(dǎo)致網(wǎng)絡(luò)社會的碎片化與群體極化現(xiàn)象.尤其是算法媒體通過算法技術(shù)及其架構(gòu)實現(xiàn)了對人、地點(diǎn)、對象和思想以及與這些過程相關(guān)的思維、行為和表達(dá)習(xí)慣的重新排序、分類和分級[1],進(jìn)而導(dǎo)致“信息繭房”現(xiàn)象的迅速蔓延與日益固化,基于年齡、學(xué)歷、知識背景等對不同內(nèi)容消費(fèi)的階層分化現(xiàn)象逐漸加劇.而這一新數(shù)字鴻溝的出現(xiàn)進(jìn)一步強(qiáng)化了不同階層、群體之間的信息隔膜,造成某一群體針對某一信息不能暢通地與其他群體進(jìn)行溝通交流,由此加劇了群體內(nèi)部的極端化程度,導(dǎo)致群體極化現(xiàn)象的產(chǎn)生[2].二是算法驅(qū)動了“監(jiān)控資本主義”的興起.現(xiàn)代信息社會的網(wǎng)絡(luò)化數(shù)字基礎(chǔ)設(shè)施使得持續(xù)、實時的監(jiān)控成為可能,這不僅為監(jiān)控資本主義的興起提供了必要條件,而且成為算法介入信息資本運(yùn)行的重要基礎(chǔ).作為信息資本主義發(fā)展的更高階段,監(jiān)控資本主義已經(jīng)蔓延到各類算法應(yīng)用尤其是媒體平臺之中.其內(nèi)在邏輯表現(xiàn)為,它通過對用戶數(shù)據(jù)的搜集、萃取、分析,以及個性化、持續(xù)性的實驗對用戶個人實施難以辨別的單項監(jiān)控,產(chǎn)生巨大商業(yè)監(jiān)視效能,繼而由算法預(yù)測和調(diào)整人類行為,獲取利益并控制市場[3].算法應(yīng)用平臺作為商業(yè)利益驅(qū)動的企業(yè)主體,其核心目的不僅在于促進(jìn)平臺應(yīng)用的廣泛適用,而且在于實現(xiàn)以平臺廣泛應(yīng)用帶來的巨大商業(yè)利潤.而隨著算法與平臺組織架構(gòu)的深度融合,算法應(yīng)用平臺實質(zhì)上已經(jīng)通過不斷搜集、篩選、分析用戶各項數(shù)據(jù)而逐漸建立起一座“數(shù)據(jù)資源池”.在大數(shù)據(jù)時代以及商業(yè)資本的帶動下,這座“數(shù)據(jù)資源池”實際上已經(jīng)變成了部分網(wǎng)絡(luò)平臺賺取高額利潤的“原油庫”,用戶的各項數(shù)據(jù)被無形中嵌入到信息產(chǎn)業(yè)及數(shù)據(jù)經(jīng)濟(jì)的生產(chǎn)鏈條,客觀上變成了被算法支配調(diào)控的客體,由此實現(xiàn)通過預(yù)測和修正人類的行為來獲得收益并控制市場.正如學(xué)者哈考特所言:“我們正在見證一個獨(dú)特的西方民主類型的監(jiān)控社會的出現(xiàn),因為我們愿意通過交換個人數(shù)據(jù)來換取網(wǎng)絡(luò)數(shù)字工具的效率和便利,從而讓自己成為算法監(jiān)控的對象[4]”.正如近年來谷歌公司和Facebook的信息販賣和信息泄露等事件,已經(jīng)暴露出這些巨頭公司在其“信息王國”中通過大數(shù)據(jù)攫取利潤的監(jiān)控資本主義行徑.此外,由于以用戶數(shù)據(jù)帶來的巨大利益鏈條,算法應(yīng)用平臺對用戶個人信息的搜集相較于公權(quán)力部門有針對性的監(jiān)控(1)根據(jù)《中華人民共和國網(wǎng)絡(luò)安全法》《互聯(lián)網(wǎng)信息服務(wù)管理辦法》《互聯(lián)網(wǎng)新聞信息服務(wù)管理規(guī)定》等法律法規(guī)的規(guī)定,互聯(lián)網(wǎng)信息辦公室等部門主要對用戶是否存在不得制作、復(fù)制、發(fā)布、傳播法律、行政法規(guī)禁止的信息內(nèi)容進(jìn)行監(jiān)控.而言更為廣泛和普遍,如用戶的瀏覽偏好、信息發(fā)布、位置信息、轉(zhuǎn)發(fā)推薦內(nèi)容等.基于此,算法媒體基于對用戶群體數(shù)據(jù)“信息流”的掌控而通過平臺內(nèi)的廣告投放等引導(dǎo)性機(jī)制調(diào)整用戶行為進(jìn)而獲取利潤.在這一過程中,用戶的行為將會不斷被類型化區(qū)分并與“標(biāo)簽化”的內(nèi)容相匹配,實現(xiàn)用戶行為邏輯與平臺信息投放的契合.由此可見,“監(jiān)控資本主義”作為大數(shù)據(jù)與人工智能時代信息經(jīng)濟(jì)的產(chǎn)物,其打破了傳統(tǒng)的經(jīng)濟(jì)模式及其結(jié)構(gòu),使得傳統(tǒng)法律層面主客體關(guān)系條件下人與機(jī)器的關(guān)系發(fā)生了異化——在監(jiān)視資本主義下,人的價值在于其網(wǎng)絡(luò)行為產(chǎn)生的原始數(shù)據(jù),進(jìn)而為監(jiān)視資本主義所重構(gòu)的新型生產(chǎn)關(guān)系提供重要的原料和商品.

    1.2 法律風(fēng)險

    當(dāng)前,數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展已經(jīng)將傳統(tǒng)的“物物交換”生產(chǎn)生活方式拓展為“數(shù)據(jù)交換”這一新型模式,大型公司通過算法技術(shù)以“同意-公開”的捆綁性前置程序不僅能夠免費(fèi)獲取用戶行為數(shù)據(jù),而且由此獲得制度層面合法性的“外衣”.隨著這些大型公司主體在算法技術(shù)及其架構(gòu)方面優(yōu)勢的不斷強(qiáng)化,傳統(tǒng)“國家-公民”二元主體框架下的金字塔型權(quán)力結(jié)構(gòu)逐漸被打破,并型塑為“政府監(jiān)管的制度權(quán)力、平臺運(yùn)營商的技術(shù)權(quán)力與用戶享有的正當(dāng)權(quán)利” 的扁平化權(quán)力結(jié)構(gòu).在這種新型權(quán)力結(jié)構(gòu)框架下,日常生活中用戶以交換個人數(shù)據(jù)而享受平臺公司應(yīng)用的數(shù)字生活方式[5],隨著算法技術(shù)及其架構(gòu)與公眾社會生活的并軌交融,其可能產(chǎn)生的侵犯公民隱私權(quán)等法律風(fēng)險日漸突出.一方面,算法應(yīng)用需要以持續(xù)監(jiān)控和收集個人數(shù)字行為數(shù)據(jù)為基礎(chǔ),而這種持續(xù)性、無間斷地“搜集—分析—加工—決策”的運(yùn)作邏輯實質(zhì)上就是以公民各類信息如消費(fèi)習(xí)慣、興趣愛好、社交結(jié)構(gòu),甚至家庭成員、醫(yī)療信息、婚姻財產(chǎn)狀況等隱私為導(dǎo)向的挖掘式精準(zhǔn)營銷.在數(shù)字經(jīng)濟(jì)時代背景下這些具有潛在無窮大價值海量的數(shù)據(jù)資源,在實踐中很容易被泄露而應(yīng)直接用于商業(yè)運(yùn)用,甚至作為工具性資源影響政治權(quán)力格局.另一方面,許多大型互聯(lián)網(wǎng)公司借助算法技術(shù)及其架構(gòu),已經(jīng)算法決策、算法推薦等一系列直接涉及用戶正當(dāng)權(quán)益的事項內(nèi)置到算法運(yùn)行程序之中.公眾等社會主體由于信息不對稱、對算法知識的缺乏等原因,加之算法偏見的隱蔽性植入,公眾難以真正理解算法決策的作出及其過程,其知情權(quán)、參與權(quán)等基本權(quán)利難以得到有效保障,實踐中這類損害發(fā)生后也難以舉證進(jìn)行司法救濟(jì).從而使得傳統(tǒng)法學(xué)意義上 “正當(dāng)程序”或者“程序公正”,尤其是行政法強(qiáng)調(diào)的行政裁量權(quán)必須依法公正行使,從而確保公民的正當(dāng)權(quán)利等理論或原則遭受沖擊.再一方面,算法決策的內(nèi)容會損害實質(zhì)性公平與分配正義.盡管有些學(xué)者已經(jīng)從算法媒體治理的角度提出建立專門的監(jiān)管機(jī)構(gòu)、制定通行的監(jiān)管規(guī)則、嵌入公共理性等方式,以增強(qiáng)算法運(yùn)行及其決策的透明性[6],但實際上過分追求算法決策客觀性與無差錯結(jié)果則過于理性化.這是因為數(shù)據(jù)在進(jìn)入算法程序應(yīng)用時,其需要以可解釋性基礎(chǔ)為前提,而在這一算法處理的各個階段包括數(shù)據(jù)的收集、處理、過濾、歸納、分析、輸出等則是一個主觀處理的過程,從而產(chǎn)生算法偏見等現(xiàn)象[7].對此,學(xué)者Gandy[8]早在20多年前在??玛P(guān)于全景敞視主義論述的基礎(chǔ)上就提出,個人和群體信息的收集、處理和共享如何在營銷零售行業(yè)中被用來對商品和服務(wù)的獲取等隱憂.他進(jìn)一步提出:“當(dāng)這些技術(shù)被用來作出涉及公民具體事務(wù)決定時,這種‘故意的歧視’可能會破壞民主、平等、公平公正分配等,但法律對此幾乎沒有提供制度性保護(hù)[9].”而美國白宮則于2016年發(fā)布的《大數(shù)據(jù)報告: 算法系統(tǒng)、機(jī)會和公民權(quán)利》圍繞算法系統(tǒng)和機(jī)器學(xué)習(xí)的設(shè)計,從信貸、職業(yè)、教育以及刑事司法4個方面對大數(shù)據(jù)的適用與加劇算法歧視之間的關(guān)系作出解釋,提出公共部門與私主體之間應(yīng)通過構(gòu)建數(shù)據(jù)道德框架、議定數(shù)據(jù)使用規(guī)則、設(shè)計合理透明的算法系統(tǒng)、促進(jìn)算法學(xué)術(shù)研究等方式,以避免算法歧視,從而實現(xiàn)公民個人權(quán)益的充分保障[10].

    1.3 政治風(fēng)險

    政治及其系統(tǒng)的運(yùn)行邏輯在于,通過合法且權(quán)威性的體制機(jī)制實現(xiàn)社會資源的合理分配,以促進(jìn)社會公平、正義與民主為核心.隨著弱人工智能向強(qiáng)人工智能的轉(zhuǎn)變,算法偏見、黑箱等技術(shù)的不確定因素問題不斷地侵蝕并挑戰(zhàn)著既有的政治生態(tài)甚至政黨的執(zhí)政安全[11].主要體現(xiàn)在政治傳播領(lǐng)域,算法借助其架構(gòu)與技術(shù)優(yōu)勢逐漸擺脫工具化屬性而向本體化的角色轉(zhuǎn)變,并開始實質(zhì)性地作出直接涉及權(quán)力資源調(diào)配的決策.盡管算法被設(shè)計亦或應(yīng)用都在強(qiáng)調(diào)其具有的“中立性”,但由于算法技術(shù)及其架構(gòu)本身就是算法設(shè)計者、運(yùn)行者將一系列代碼按照特定的組成而形成的一種程序性機(jī)制,這種程序化的運(yùn)行鏈條不可避免地會結(jié)構(gòu)性帶有他們的價值偏向與思維邏輯.所以說,在算法媒體中不同類型化的標(biāo)簽式群體所接收到的信息,以及其推薦而層層疊加所形成的“信息繭房”等現(xiàn)象,實則是天然地帶有算法設(shè)計者、運(yùn)行者“偏見”的程序性運(yùn)行機(jī)制所導(dǎo)致的必然性結(jié)果.而這種算法偏見在實踐中會對社會公平正義造成很大的沖擊,甚至?xí)蚱鋵?dǎo)致的種族歧視、性別歧視、工作歧視、家庭歧視、膚色歧視等問題進(jìn)一步?jīng)_擊社會秩序而危及整個政治生態(tài).例如,2016年美國大選期間,特朗普團(tuán)隊聘請數(shù)據(jù)分析公司劍橋分析(Cambridge Analytica),通過竊取5 000萬Facebook用戶的個人數(shù)據(jù)并對其進(jìn)行心理特征分析,從而在游說中依據(jù)每一位用戶的年齡、性別、喜好、政治偏向等因素精準(zhǔn)推送有關(guān)大選的廣告和新聞.對此,劍橋分析公司的產(chǎn)品總監(jiān)奧茨科夫斯基曾評價:“數(shù)據(jù)不會贏得競選,關(guān)鍵是你如何理解數(shù)據(jù)如何使用它,進(jìn)而對抗正常的政治趨勢[12].”此外,在算法“黑箱”及其不可解釋性等內(nèi)部原因的共同作用下,算法程序在執(zhí)行系統(tǒng)程序過程中難免會陷入形成自我固化的“盲區(qū)”,從而導(dǎo)致用戶始終沉浸在算法推薦的信息流之中,且其中隱含的帶有歧視性、狹隘性的信息內(nèi)容難以被用戶發(fā)現(xiàn),從而強(qiáng)化著不同階層的社會偏見,公眾之間的共識不斷被割裂分化,社會的公共性由此不斷被侵蝕.同時,隨著算法在公權(quán)力行使及其治理過程中的應(yīng)用,算法技術(shù)及其架構(gòu)不斷地被嵌入到既有的行政體制機(jī)制之中并發(fā)揮效能,從而在社會救助、精準(zhǔn)扶貧、醫(yī)療福利等領(lǐng)域提供強(qiáng)有力的科技與算力支撐.但算法在增益社會治理與國家治理現(xiàn)代化的過程中,傳統(tǒng)的科層體制也在被不斷地注入工具理性,傳統(tǒng)公權(quán)力運(yùn)行機(jī)制更加依賴以算法為代表的人工智能技術(shù)及其架構(gòu),這不可避免地會將算法偏見、算法黑箱等問題潛在地植入到整個國家權(quán)力運(yùn)行及其決策系統(tǒng)之中.由此,如果這些問題造成的錯誤決策或偏見性決策等通過國家制度系統(tǒng)得以“表達(dá)”,則會損害政府的公共性、權(quán)威性,甚至引發(fā)比較嚴(yán)重的政治風(fēng)險.例如近來澳大利亞國家審計署審查發(fā)現(xiàn),國家數(shù)字健康署推行的“我的健康記錄”計劃及其體系存在較為嚴(yán)重的網(wǎng)絡(luò)安全問題和隱私風(fēng)險,且為得到妥善有效的管控.事件爆出后,民眾紛紛選擇退出這一系統(tǒng),并呼吁聯(lián)邦政府暫停此計劃的實施.盡管之前聯(lián)邦政府通過《我的健康記錄法案(2012年)》《我的健康記錄條例(2012年)》《我的健康記錄規(guī)則(2016年)》等法案為“我的健康記錄系統(tǒng)”提供了制度規(guī)則[13],但實踐來看這一計劃及其立法框架未能有效保障公民權(quán)益,將個人各類醫(yī)療信息置于可能被濫用、盜用的風(fēng)險之中,政府也因此受到民眾的質(zhì)詢.

    2 算法風(fēng)險應(yīng)對的典型樣態(tài):美國與歐盟的模式梳理

    如前所述,作為數(shù)據(jù)治理體系的重要環(huán)節(jié),世界各國和地區(qū)圍繞算法治理化解已經(jīng)作出了諸多探索并形成了可借鑒的經(jīng)驗,以期最大程度上預(yù)防并化解算法應(yīng)用可能導(dǎo)致的諸多風(fēng)險,進(jìn)而促進(jìn)數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展.以美國和歐盟為代表的發(fā)達(dá)國家和地區(qū)已經(jīng)結(jié)合自身不同的文化背景、發(fā)展理念、規(guī)則框架等,形成了適合于本國家或者區(qū)域數(shù)字經(jīng)濟(jì)發(fā)展并與其制度體系相洽的算法治理模式.

    2.1 算法治理的概念及其內(nèi)涵

    近年來,隨著算法歧視、算法偏見以及個人信息隱私被侵犯等風(fēng)險逐漸增加并進(jìn)入公眾視野,算法治理(algorithm governance)同數(shù)據(jù)權(quán)屬、個人信息隱私保護(hù)、網(wǎng)絡(luò)安全挑戰(zhàn)等問題一同被推向網(wǎng)絡(luò)社會治理的前臺.特別是臉書內(nèi)容推薦歧視、英國就業(yè)性別歧視、劍橋分析影響美國大選、美國芝加哥法院COMPAS算法案件等事件的披露,公眾和社會對算法治理的需求顯著提高.而這一過程中,算法治理內(nèi)涵也已經(jīng)發(fā)生了較大轉(zhuǎn)變,經(jīng)歷了從“行業(yè)—國家—全球”的范圍轉(zhuǎn)變,成為各個國家與社會治理的重要內(nèi)容.

    里約熱內(nèi)盧州立大學(xué)Doneda教授和哈佛大學(xué)Almeida教授[14]在其《什么是算法治理》一文中提出,算法治理包含嚴(yán)格的法律法規(guī)、純粹的技術(shù)觀點(diǎn)等不同層次,其重點(diǎn)通常是問責(zé)制、透明度和技術(shù)保證.而基于算法的性質(zhì)、具體內(nèi)容和風(fēng)險分析等因素,算法治理有著不同的特定治理路徑.硅谷企業(yè)家Tim[15]則從規(guī)制的角度提出算法治理的監(jiān)管系統(tǒng)應(yīng)該具有如下4個特征:1)對算法應(yīng)用的預(yù)期結(jié)果有深刻的理解;2)實時測量以確定是否正在取得成果;3)監(jiān)管框架根據(jù)數(shù)據(jù)更新能夠作出調(diào)整;4)對算法本身是否正確以及是否按預(yù)期運(yùn)行進(jìn)行定期、深入的分析.結(jié)合當(dāng)今數(shù)字經(jīng)濟(jì)發(fā)展的時代背景與上述學(xué)者對算法治理的認(rèn)識,本文認(rèn)為算法治理是指:一國針對算法技術(shù)及其架構(gòu)的應(yīng)用、處理、保護(hù)等方面所采取的策略、方針、政策、法律等一系列制度安排的總和.算法治理內(nèi)涵可以從以下幾個維度理解:1)主體層面.包括政府、社會公眾、企業(yè)、第三方專業(yè)機(jī)構(gòu)等不同主體.2)內(nèi)容層面.其主要內(nèi)容包括算法技術(shù)的規(guī)范適用、算法風(fēng)險預(yù)防、算法問責(zé)、算法透明性、算法可解釋性等.3)方式層面.其既包括法律規(guī)范、政策方針、行業(yè)規(guī)則等制度性資源,也涵蓋道德倫理、自我調(diào)整等非制度性資源.4)目的層面.其目的在于規(guī)范算法技術(shù)的科學(xué)合理適用,防范算法應(yīng)用可能帶來的諸多風(fēng)險,以切實保障公民合法權(quán)益,促進(jìn)人工智能行業(yè)與數(shù)字經(jīng)濟(jì)的深度融合發(fā)展.因此,算法治理實質(zhì)上就是針對算法技術(shù)的治理,其既作為網(wǎng)絡(luò)社會治理的重要環(huán)節(jié)而統(tǒng)籌于整個網(wǎng)絡(luò)社會治理規(guī)則體系之中,又因其獨(dú)特的技術(shù)規(guī)制、引導(dǎo)等全部內(nèi)容助推網(wǎng)絡(luò)社會治理體系法治化、現(xiàn)代化,以適應(yīng)數(shù)字經(jīng)濟(jì)對海量數(shù)據(jù)的快速、便捷、規(guī)范使用與網(wǎng)絡(luò)社會治理的制度需求.

    2.2 美國基于“算法問責(zé)”的專門監(jiān)管模式

    作為最早應(yīng)用互聯(lián)網(wǎng)的國家之一,美國在信息技術(shù)、人工智能、科技創(chuàng)新等數(shù)字經(jīng)濟(jì)基礎(chǔ)內(nèi)容方面一直領(lǐng)先全球,在世界數(shù)字經(jīng)濟(jì)市場體系中處于優(yōu)勢地位.基于其自身強(qiáng)大的資本力量與領(lǐng)先的信息技術(shù),美國自互聯(lián)網(wǎng)應(yīng)用以來一直在全球范圍內(nèi)推進(jìn)數(shù)據(jù)流通與數(shù)據(jù)應(yīng)用,旨在通過加快本國企業(yè)占領(lǐng)世界數(shù)字經(jīng)濟(jì)市場的步伐,從而在全球范圍內(nèi)建立基于以其為主導(dǎo)數(shù)據(jù)規(guī)則的經(jīng)濟(jì)市場,進(jìn)而實現(xiàn)對數(shù)字經(jīng)濟(jì)市場資本的攫取.同時,面對數(shù)字經(jīng)濟(jì)發(fā)展帶來的一些問題,尤其是算法應(yīng)用可能引發(fā)的諸多風(fēng)險,美國基于其政策和法律體系較早地作出了監(jiān)管策略和法律回應(yīng),形成了較為具體且靈活的治理框架及其結(jié)構(gòu),即通過綜合運(yùn)用法律法規(guī)、自治規(guī)則、道德規(guī)范,形成政府、行業(yè)、第三方機(jī)構(gòu)、公民等不同主體的治理合力,以規(guī)范算法的不同場景適用.

    2017年1月12日,美國計算機(jī)協(xié)會下屬美國公共政策委員會(USACM)發(fā)布的《關(guān)于算法透明度和責(zé)任的聲明》指出:“生活中無處不在的算法促使我們應(yīng)該專注于解決與算法的設(shè)計和技術(shù)方面相關(guān)的挑戰(zhàn),并從一開始就防止偏見”.并提出了7項促進(jìn)算法透明度和可靠性的原則,以旨在確保以算法為代表的技術(shù)和政策生態(tài)系統(tǒng)中實現(xiàn)公平,這包括:1)意識.算法系統(tǒng)的所有者、設(shè)計者、構(gòu)建者、用戶和其他利益相關(guān)者等相關(guān)主體應(yīng)意識到算法在應(yīng)用中可能存在的偏見及潛在危害.2)獲取和救濟(jì).監(jiān)管機(jī)構(gòu)應(yīng)采用機(jī)制對算法決策提出質(zhì)詢,使受到基于算法的決策不利影響的個人和團(tuán)體獲得救濟(jì).3)責(zé)任制.即使無法詳細(xì)解釋算法如何產(chǎn)生結(jié)果,機(jī)構(gòu)也應(yīng)對其所使用算法的決策負(fù)責(zé).4)解釋.鼓勵使用算法決策的機(jī)構(gòu)對算法所遵循的程序及其作出的具體決策進(jìn)行解釋.5)數(shù)據(jù)來源.算法的設(shè)計者應(yīng)該對數(shù)據(jù)如何收集加以描述,同時對算法數(shù)據(jù)收集過程引起的潛在偏差進(jìn)行探究.6)可審查性.對算法的模型、應(yīng)用及其數(shù)據(jù)和決策進(jìn)行記錄,以便在懷疑有損害的情況下對其進(jìn)行審查.7)驗證和測試.機(jī)構(gòu)應(yīng)使用嚴(yán)格的方法來驗證其模型,并記錄方法和結(jié)果[16].該聲明的發(fā)布不僅將以算法為代表人工智能存在的算法歧視、算法偏見、算法黑箱等問題推向公眾視野,而且在公共政策層面提出了解決此類問題的原則性規(guī)定,為立法層面出臺相關(guān)法案提供了實踐導(dǎo)引.

    為了進(jìn)一步規(guī)范算法技術(shù)在政府機(jī)構(gòu)及其權(quán)力運(yùn)行如犯罪預(yù)測、量刑建議等活動中的應(yīng)用,防止算法決策引發(fā)的偏見與歧視問題,2017年12月,美國紐約市議會通過了首部針對人工智能進(jìn)行監(jiān)管的《政府部門自動決策系統(tǒng)法案》.這部法案要求成立一個由自動化決策系統(tǒng)專家和受自動化決策系統(tǒng)影響的公民組織代表組成的工作組,以就市政機(jī)構(gòu)使用自動決策算法的公平性、問責(zé)性和透明度等問題進(jìn)行專門監(jiān)督,并作出如下具體規(guī)定:明確界定需要受到規(guī)制的政府機(jī)構(gòu)自動化決策系統(tǒng);受政府機(jī)構(gòu)自動化決策系統(tǒng)影響的個人可以要求提供解釋和證據(jù);制定判斷是否存在算法歧視的程序;向受政府機(jī)構(gòu)自動化決策系統(tǒng)影響的個人救濟(jì)途徑;應(yīng)當(dāng)將政府機(jī)構(gòu)自動化決策系統(tǒng)(包括代碼、算法等技術(shù)性信息)向公眾公開.由此,對公共領(lǐng)域的算法應(yīng)用在法律層面作出專門回應(yīng),這不僅有利于促進(jìn)公權(quán)力決策的規(guī)范性、正當(dāng)性與權(quán)威性,而且進(jìn)一步完善了算法規(guī)制的法律框架,為算法治理的規(guī)制體系奠定了重要基礎(chǔ).

    2019年4月,為了進(jìn)一步規(guī)范人工智能機(jī)器學(xué)習(xí)系統(tǒng)的道德使用,解決高風(fēng)險的人工智能系統(tǒng)比如檢測人臉或基于敏感個人數(shù)據(jù)作出重要決定的技術(shù),以及更大范圍內(nèi)保護(hù)用戶數(shù)據(jù)的隱私和安全,美國眾議院和參議院的民主黨議員提出《2019年算法問責(zé)法案》,要求企業(yè)對其人工智能工具和系統(tǒng)的“準(zhǔn)確性、公平性、偏見、歧視、隱私和安全性”等問題進(jìn)行自我審查,并將這一監(jiān)管權(quán)力提議授予聯(lián)邦貿(mào)易委員會(FTC).同時,這項法案將適用于能夠獲取大量信息的大型科技公司,包括年收入超過5 000萬美元的公司,以及擁有超過100萬消費(fèi)者數(shù)據(jù)的數(shù)據(jù)代理商和企業(yè)[17].可以看出,該法案的提出也是美國在上述算法治理的先行經(jīng)驗基礎(chǔ)之上,為了進(jìn)一步促進(jìn)算法在數(shù)字經(jīng)濟(jì)時代的規(guī)范應(yīng)用,保障非公共領(lǐng)域的用戶權(quán)益,在聯(lián)邦層面進(jìn)行的立法探索.如果這一法案獲得批準(zhǔn),將會為美國的算法治理提供堅實的制度支撐.

    從上述主要實踐可以看出,美國針對算法治理體現(xiàn)出較為明顯的實踐導(dǎo)向,注重以“算法問責(zé)”為核心而構(gòu)建起算法妥恰應(yīng)用的外部控制模式.這一模式實質(zhì)在于通過社會、經(jīng)濟(jì)和政治機(jī)制等不同維度的合力以實現(xiàn)對算法的權(quán)力制衡[18],具有如下特點(diǎn):1)注重引入第三方機(jī)構(gòu)對算法透明、算法決策的專業(yè)審查作用;2)著力推動行業(yè)自治,促進(jìn)企業(yè)主體針對算法運(yùn)行進(jìn)行自我監(jiān)督、自我解釋;3)充分發(fā)揮公眾監(jiān)督力量,將公眾參與置于涉及算法運(yùn)行的各個階段;4)針對公共領(lǐng)域內(nèi)算法運(yùn)行進(jìn)行立法規(guī)制,而在非公共領(lǐng)域則突出政府協(xié)助、行業(yè)主導(dǎo)、公眾參與的治理模式.總體來看,美國的算法治理模式從不同的立法層級、規(guī)則構(gòu)建、問責(zé)設(shè)計、監(jiān)督方式、權(quán)益保護(hù)等方面針對人工智能尤其是算法規(guī)制作出具有延續(xù)性的制度回應(yīng),這與美國在個人信息隱私保護(hù)、數(shù)據(jù)保護(hù)、網(wǎng)絡(luò)安全保護(hù)、未成年人網(wǎng)絡(luò)保護(hù)等統(tǒng)籌于網(wǎng)絡(luò)社會治理的整體性框架之中,其治理思路、框架、路徑本質(zhì)上都是遵循盡量避免政府的直接干預(yù),注重對新興技術(shù)的引導(dǎo)和支持,以促進(jìn)社會經(jīng)濟(jì)尤其是數(shù)字經(jīng)濟(jì)發(fā)展的技術(shù)路線,呈現(xiàn)出“條塊分割”型的專門治理樣態(tài).

    2.3 歐盟基于“增益用戶權(quán)利”的結(jié)構(gòu)控權(quán)模式

    作為當(dāng)今世界數(shù)字經(jīng)濟(jì)發(fā)展的重要區(qū)域之一,歐盟在數(shù)據(jù)保護(hù)、數(shù)據(jù)治理法治化等方面一直走在世界前列.但由于歐盟各成員國之間在文化傳統(tǒng)、法律規(guī)范、制度體系、經(jīng)濟(jì)發(fā)展、科技創(chuàng)新等方面存在的差異,歐盟始終難以構(gòu)建區(qū)域內(nèi)較有影響力的互聯(lián)網(wǎng)巨頭企業(yè),由此導(dǎo)致其推進(jìn)自身數(shù)字經(jīng)濟(jì)體系建設(shè)的過程步履緩慢.因此,相較于美國注重以靈活的治理體系以保護(hù)和促進(jìn)新興經(jīng)濟(jì)發(fā)展,歐盟始終以打破不同成員國之間的數(shù)字孤島、保障人的數(shù)字化發(fā)展及其基本權(quán)利為目的,大力推進(jìn)數(shù)字化單一市場戰(zhàn)略為出發(fā)點(diǎn),并以嚴(yán)格立法的形式構(gòu)建起了強(qiáng)有力的數(shù)據(jù)保護(hù)規(guī)則體系.基于這樣的背景,歐盟目前并未通過專門立法以引導(dǎo)算法治理,而是將算法治理內(nèi)嵌于其數(shù)據(jù)保護(hù)框架之中,通過具體條款以調(diào)控算法應(yīng)用在不同階段對人造成的偏見、歧視等損害.這種統(tǒng)籌協(xié)調(diào)于數(shù)據(jù)保護(hù)整體框架之中的算法治理模式實質(zhì)就是以增益公民權(quán)利對抗算法應(yīng)用可能帶來的危害后果.

    歐盟于1995年頒行了歐洲第1部個人數(shù)據(jù)保護(hù)法規(guī)《數(shù)據(jù)保護(hù)指令》,在立法目的、立法原則、數(shù)據(jù)主體的權(quán)利、數(shù)據(jù)保護(hù)監(jiān)管機(jī)構(gòu)、跨國數(shù)據(jù)流通的限制等方面作出詳細(xì)規(guī)定,由此構(gòu)筑起了歐盟數(shù)據(jù)保護(hù)的基本框架,為各成員國之間妥善處理保護(hù)數(shù)據(jù)主體權(quán)利和促進(jìn)自由貿(mào)易提供了規(guī)則體系支撐[19].為了進(jìn)一步打破成員國之間的數(shù)字壁壘,促進(jìn)區(qū)域間數(shù)字商品、服務(wù)和市場健康發(fā)展,歐盟委員會在2015年5月出臺的《數(shù)字單一市場戰(zhàn)略》中提出,構(gòu)建數(shù)字化單一市場戰(zhàn)略將建立在三大支柱之上,其第一大支柱是使全歐洲境內(nèi)的消費(fèi)者和企業(yè)能夠更好地使用在線產(chǎn)品和服務(wù);第二大支柱是為數(shù)字網(wǎng)絡(luò)和服務(wù)的蓬勃發(fā)展提供更好的環(huán)境;第三大支柱是使歐洲數(shù)字經(jīng)濟(jì)的潛力實現(xiàn)最大化.其中,在第二大支柱的具體內(nèi)容中提出一些在線平臺如搜索引擎、社交媒體、電子商務(wù)平臺、應(yīng)用程序商店、價格比較網(wǎng)站等在數(shù)字經(jīng)濟(jì)生活中發(fā)揮了越來越重要的作用,但這些擁有重要市場力量的平臺通過算法處理、分析、轉(zhuǎn)化用戶數(shù)據(jù)的行為已經(jīng)引發(fā)了社會公眾的擔(dān)憂,提出需要根據(jù)新的數(shù)字環(huán)境構(gòu)建適合平臺發(fā)展的監(jiān)管框架.對此,歐盟委員會提出從以下幾個方面對在線平臺以及互聯(lián)網(wǎng)中介服務(wù)提供商進(jìn)行綜合評價,以制定后續(xù)的監(jiān)管框架.1)透明度,如:搜索結(jié)果的透明度(含付費(fèi)鏈接和廣告);2)在線平臺對用戶數(shù)據(jù)的使用情況;3)在線平臺與數(shù)據(jù)服務(wù)商之間的關(guān)系;4)對平臺在用戶數(shù)據(jù)進(jìn)行平臺間轉(zhuǎn)移的限制及意愿進(jìn)行分析;5)如何對互聯(lián)網(wǎng)上的非法內(nèi)容進(jìn)行最佳處理.這一戰(zhàn)略的提出不僅為歐盟推動數(shù)字單一市場與數(shù)據(jù)保護(hù)體系的構(gòu)建奠定了規(guī)則基礎(chǔ)與制度框架,而且也為算法應(yīng)用帶來的挑戰(zhàn)提供了初步的治理策略.為了回應(yīng)機(jī)器人和人工智能發(fā)展過程中帶來的歧視、非正當(dāng)程序與可解釋性等問題,歐盟于2017年2月通過了《機(jī)器人民事責(zé)任法案》.該法案提出,進(jìn)一步發(fā)展和增加使用的自動化和算法決策無疑會影響個人的選擇(如一個企業(yè)或一個互聯(lián)網(wǎng)用戶)和行政、司法或其他公共機(jī)關(guān)的權(quán)威,需要現(xiàn)有的法律框架針對這些問題予以回應(yīng),并確認(rèn)這些問題造成危害后果時從業(yè)務(wù)視角模型和人員設(shè)計模式2方面明確法律責(zé)任.同時,鑒于安全保障以及人工控制和核查的可能性需要納入自動化和算法決策過程,實現(xiàn)對算法技術(shù)應(yīng)用的合法合理限制.這部法案還強(qiáng)調(diào)要構(gòu)建符合算法合理應(yīng)用的道德框架,通過為算法應(yīng)用的發(fā)展、設(shè)計、生產(chǎn)、使用和修改制訂一個明確、嚴(yán)格和有效的指導(dǎo)道德框架,以補(bǔ)充上述提到法律框架難以規(guī)制的方面[20].

    隨著互聯(lián)網(wǎng)信息網(wǎng)絡(luò)、大數(shù)據(jù)、云計算等新興技術(shù)的迅猛發(fā)展,為了進(jìn)一步應(yīng)對大數(shù)據(jù)與數(shù)字經(jīng)濟(jì)背景下用戶數(shù)據(jù)指數(shù)級增長帶來的保護(hù)新挑戰(zhàn),歐盟在《數(shù)據(jù)保護(hù)指令》建立起的數(shù)據(jù)保護(hù)體系基礎(chǔ)上,于2018年5月正式實施《通用數(shù)據(jù)保護(hù)條例》(GDPR,以下簡稱“條例”).這部新條例由11章共99條組成,對其立法目的、數(shù)據(jù)處理的原則、數(shù)據(jù)主體的權(quán)利、控制者和處理者的義務(wù)、獨(dú)立監(jiān)管機(jī)構(gòu)、合作與一致性、責(zé)任救濟(jì)、處罰規(guī)則、授權(quán)行為和執(zhí)行行為等作出詳細(xì)規(guī)定.進(jìn)一步聚焦到算法治理方面:1)條例第2條規(guī)定:“本規(guī)例適用于全部或部分以自動方式處理個人數(shù)據(jù),以及以自動方式以外的方式處理構(gòu)成檔案系統(tǒng)一部分或擬構(gòu)成檔案系統(tǒng)一部分的個人數(shù)據(jù).”第4條規(guī)定“‘個人數(shù)據(jù)’是指與已識別或可識別的自然人(數(shù)據(jù)當(dāng)事人)有關(guān)的任何數(shù)據(jù);可識別的自然的人是可以確定的,直接或間接,特別是通過引用一個標(biāo)識符,比如名字、身份證號碼、位置數(shù)據(jù),在線標(biāo)識符或特定的1個或多個因素的物理、生理、遺傳、心理、經(jīng)濟(jì)、文化和社會身份的自然人.”質(zhì)言之,這2條規(guī)定將基于算法技術(shù)而產(chǎn)生的大量數(shù)據(jù)分析、處理、決策行為,以及可能導(dǎo)致的算法偏見、算法歧視等危害后果納入到條例確立的框架體系的調(diào)整范圍之內(nèi).2)對于敏感數(shù)據(jù)數(shù)據(jù)處理方面,條例第9條規(guī)定:“對揭示種族或民族出身,政治觀點(diǎn)、宗教或哲學(xué)信仰,工會成員的個人數(shù)據(jù),以及以唯一識別自然人為目的的基因數(shù)據(jù)、生物特征數(shù)據(jù),健康、自然人的性生活或性取向的數(shù)據(jù)的處理應(yīng)當(dāng)被禁止[21]”,但其列出了應(yīng)當(dāng)被禁止的例外情形如獲得數(shù)據(jù)主體的統(tǒng)一、為了公共利益之必要等.3)條例第3章“數(shù)據(jù)主體權(quán)利”對數(shù)據(jù)主體行使權(quán)利的透明度、交流和模式,數(shù)據(jù)控制者關(guān)于糾正或刪除個人數(shù)據(jù)或限制處理的通知義務(wù),數(shù)據(jù)主體收集的個人數(shù)據(jù)的提供,以及數(shù)據(jù)主體的數(shù)據(jù)訪問權(quán)、糾正權(quán)、被遺忘權(quán)、限制處理權(quán)、反對權(quán)、拒絕權(quán)和自主決定權(quán)等作出的詳細(xì)規(guī)定.這些規(guī)定不僅從法律層面使數(shù)據(jù)控制者應(yīng)增強(qiáng)其適用算法技術(shù)的透明度,并作出便于數(shù)據(jù)主體理解的解釋,而且通過賦予數(shù)據(jù)主體被遺忘權(quán)、訪問權(quán)、糾正權(quán)等新興數(shù)據(jù)權(quán)利的方式,增強(qiáng)數(shù)據(jù)主體對自身行為數(shù)據(jù)的階段性控制,以此對抗因算法決策產(chǎn)生的算法歧視、算法偏見等現(xiàn)象.4)條例第4章“數(shù)據(jù)控制者”對其基本義務(wù)、數(shù)據(jù)保護(hù)的設(shè)計和默認(rèn)、記錄數(shù)據(jù)處理活動信息、數(shù)據(jù)保護(hù)影響評估和事先咨詢、行為準(zhǔn)則等內(nèi)容作出詳細(xì)規(guī)定.尤其是條例第29~32條對數(shù)據(jù)處理者的行為義務(wù)包括“處理的主題和處理的期限、性質(zhì)和處理目的、對處理活動的記錄、處理過程的安全性”等等作出明確規(guī)定,通過嚴(yán)苛的法律責(zé)任以規(guī)范數(shù)據(jù)處理者的行為.此外,第37~39條還提出設(shè)置數(shù)據(jù)保護(hù)專員制度與獨(dú)立的監(jiān)管機(jī)構(gòu),從而為數(shù)據(jù)控制者和處理者合理規(guī)范使用用戶數(shù)據(jù)提供了強(qiáng)有力的外部監(jiān)督體系,由此從數(shù)據(jù)被處理的各個階段構(gòu)建起以數(shù)據(jù)控制者和處理者責(zé)任義務(wù)為核心的問責(zé)機(jī)制.

    總體來看,歐盟關(guān)于算法應(yīng)用導(dǎo)致的相關(guān)治理問題已經(jīng)取得較好成效,尤其是自GDPR實施以來,其在逐步推進(jìn)嚴(yán)密規(guī)范、系統(tǒng)完備數(shù)據(jù)保護(hù)體系的同時,也構(gòu)筑起散布于這些法規(guī)條例之中的算法治理體系.這種基于“增益用戶權(quán)利”的控權(quán)模式具有如下特征:1)服務(wù)并統(tǒng)籌于歐盟數(shù)據(jù)治理體系框架之中,且隨著其數(shù)據(jù)之體系的不斷完善而完善;2)圍繞保障并不斷增益數(shù)據(jù)主體的新型數(shù)據(jù)權(quán)利為核心,進(jìn)而對抗數(shù)據(jù)主體可能遭受的算法危害;3)通過設(shè)置數(shù)據(jù)保護(hù)官、專門的監(jiān)管機(jī)構(gòu)等方式,從法律制度層面不斷強(qiáng)化算法規(guī)范應(yīng)用的外部監(jiān)督體系.但由于歐盟出臺的相關(guān)條例尚未從制度層面區(qū)分算法具體應(yīng)用的不同場景、結(jié)構(gòu)及其功效,這種注重對用戶個人新型權(quán)利法益保護(hù)的控權(quán)型算法治理模式,則可能在具體實踐中致使算法治理難以合理相洽于歐盟整個數(shù)據(jù)治理結(jié)構(gòu)中,從而會對以人工智能為代表新興行業(yè)的發(fā)展形成一種難以避免的壓制性力量.

    3 域外經(jīng)驗與本土展望:我國算法治理的路徑優(yōu)化

    當(dāng)前,我國的算法治理問題及其治理需求主要集中在以算法商業(yè)應(yīng)用的平臺經(jīng)濟(jì)中.隨著我國大數(shù)據(jù)戰(zhàn)略的實施與人工智能技術(shù)的廣泛應(yīng)用,算法、算力及其架構(gòu)在為數(shù)字經(jīng)濟(jì)蓬勃發(fā)展奠定關(guān)鍵技術(shù)基礎(chǔ)的同時,也潛在地增加了由算法偏見、算法歧視、算法黑箱等問題可能引起諸多風(fēng)險的可能性.特別是近年來魏則西事件、脈脈非法抓取使用新浪微博個人信息案件、淘寶大數(shù)據(jù)殺熟等為典型代表的算法推薦、算法新聞負(fù)面事件的頻頻發(fā)生,進(jìn)一步將以算法治理為深層次邏輯的平臺治理推向網(wǎng)絡(luò)社會治理的前臺,其不僅涉及到平臺信息內(nèi)容、平臺經(jīng)濟(jì)驅(qū)動等關(guān)乎經(jīng)濟(jì)利益分配乃至權(quán)力分配格局的進(jìn)一步優(yōu)化,更關(guān)系到我國的信息主權(quán)安全.面對我國現(xiàn)實且緊迫的治理需求,國家立法機(jī)關(guān)以及以國家互聯(lián)網(wǎng)信息辦公室、中共中央網(wǎng)絡(luò)安全和信息化委員會辦公室為代表的公權(quán)力部門,在遵循《中華人民共和國網(wǎng)絡(luò)安全法》(簡稱《網(wǎng)絡(luò)安全法》)等網(wǎng)絡(luò)空間基礎(chǔ)性法律的前提下,對以算法技術(shù)為代表的人工智能治理內(nèi)嵌于平臺治理之中,并遵循規(guī)范治理與技術(shù)治理的原則,修訂并出臺了相關(guān)法律法規(guī)、規(guī)范性文件如《中華人民共和國電子商務(wù)法(2018年修訂)》(簡稱《電子商務(wù)法》)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《信息安全技術(shù)個人信息安全規(guī)范》《App違法違規(guī)收集使用個人信息行為認(rèn)定方法》等(2)這些法律法規(guī)、規(guī)范性文件中均對以算法為代表的人工智能技術(shù)規(guī)制作出相關(guān)規(guī)定,如:《電子商務(wù)法》第18條、第35條、第40條規(guī)定電子商務(wù)經(jīng)營者在使用算法推薦技術(shù)發(fā)送廣告等行為的,應(yīng)當(dāng)遵循相關(guān)法律規(guī)定,切實保護(hù)用戶權(quán)益.《網(wǎng)絡(luò)生態(tài)治理規(guī)定》第13條、14條、15條、16條對網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺應(yīng)當(dāng)加強(qiáng)以人工編輯、機(jī)器算法等方式推薦、呈現(xiàn)信息環(huán)節(jié)的管理,應(yīng)當(dāng)建立體現(xiàn)主流價值導(dǎo)向的推薦模型,建立健全人工干預(yù)機(jī)制,建立用戶自主選擇機(jī)制等內(nèi)容作出規(guī)定.《信息安全技術(shù)個人信息安全規(guī)范》在第3,5,7部分對用戶畫像等作出詳細(xì)規(guī)定.同時,《個人信息保護(hù)法》《數(shù)據(jù)安全法》已經(jīng)進(jìn)入審議階段.,以引導(dǎo)平臺企業(yè)主體行為,規(guī)范算法技術(shù)的合理適用,促進(jìn)平臺經(jīng)濟(jì)與網(wǎng)絡(luò)經(jīng)濟(jì)、網(wǎng)絡(luò)社會與現(xiàn)實社會的持續(xù)健康發(fā)展.但從算法治理的整體效狀檢視,當(dāng)前我國算法治理的實際能效難以與社會對其治理的現(xiàn)代化現(xiàn)實需求相匹配,主要體現(xiàn)為算法治理的制度基礎(chǔ)尚不堅實且靈活、治理理念重責(zé)任監(jiān)管、治理技術(shù)不精細(xì),等等.因此,基于我國制度特色與算法治理的本土探索,結(jié)合上述對算法引發(fā)的諸多風(fēng)險以及歐美算法治理的模式選擇與經(jīng)驗,提出未來我國算法治理的可行性路徑,以期實現(xiàn)算法治理的制度科學(xué)化、結(jié)構(gòu)合理化、方式精細(xì)化、過程民主化,以科學(xué)完備、系統(tǒng)合理的算法治理制度助推網(wǎng)絡(luò)社會治理體系和治理能力現(xiàn)代化.

    3.1 構(gòu)架“多方均衡”的算法治理體系

    算法治理作為社會治理尤其是網(wǎng)絡(luò)社會治理的重要環(huán)節(jié),其治理效能與治理能力的提升不僅有助于為共建共治共享的社會治理格局提供有效的法治保障,而且能夠進(jìn)一步完善網(wǎng)絡(luò)社會治理體系,推進(jìn)國家治理體系和治理能力現(xiàn)代化.而堅持和樹立科學(xué)的算法治理理念是引導(dǎo)算法治理行動策略、實現(xiàn)算法治理現(xiàn)代化的基本前提.首先,不同于歐盟通過為公民個人賦權(quán)以對抗算法風(fēng)險,亦或美國通過構(gòu)建外部專業(yè)的問責(zé)機(jī)制確保算法規(guī)范應(yīng)用,我國的算法治理體系構(gòu)建應(yīng)在綜合考慮基本國情、經(jīng)濟(jì)發(fā)展、數(shù)據(jù)安全、信息保護(hù)等因素的基礎(chǔ)上,確立構(gòu)建滿足國家數(shù)據(jù)安全、數(shù)字經(jīng)濟(jì)發(fā)展、人工智能產(chǎn)業(yè)升級和個人信息保護(hù)的“多方均衡”算法治理理念.這既是在網(wǎng)絡(luò)社會治理整體治理格局角度下,綜合平衡不同利益主體、行業(yè)發(fā)展的現(xiàn)實選擇,也與我國堅持和完善共建共治共享社會治理格局的基本要求在理論與實踐邏輯上相洽.其次,依據(jù)算法應(yīng)用的不同階段、場域、方式及其可能造成后果影響的大小,有重點(diǎn)、分主次地制定政策與法律規(guī)范以引導(dǎo)算法治理.由于法律天然具有的滯后性使得其難以對算法為代表的人工智能技術(shù)的飛速發(fā)展帶來的諸多風(fēng)險與挑戰(zhàn)作出及時回應(yīng),對此,可以借鑒美國在此方面注重以行業(yè)政策、公共政策如算法倫理原則等方式,在未來妥當(dāng)利用政策具有的靈活性而有效及時地引導(dǎo)算法治理.同時,在此基礎(chǔ)上,還須確立整體主義的算法治理思路.這是指對算法治理的制度設(shè)計就是要在考量算法應(yīng)用在不同行業(yè)發(fā)展及其特性基礎(chǔ)上,綜合公權(quán)力部門、公民、第三方機(jī)構(gòu)、算法應(yīng)用等不同主體的關(guān)聯(lián)性因素進(jìn)行整體性制度構(gòu)建.這要求在具體制度設(shè)計中須明確其目的與價值注重修正公權(quán)力部門、平臺運(yùn)營商、公民三方主體的權(quán)利(力)、義務(wù)(責(zé)任)的畸輕畸重偏差,厘定其三方主體之間的權(quán)利(力)、義務(wù)(責(zé)任)邊界,為司法實踐中存在的相關(guān)法律問題提供正當(dāng)明確的制度依據(jù).此外,在法律制度體系建構(gòu)層面,須以《網(wǎng)絡(luò)安全法》和即將出臺的《中華人民共和國個人信息保護(hù)法》(簡稱《個人信息保護(hù)法》)《中華人民共和國數(shù)據(jù)安全法》(簡稱《數(shù)據(jù)安全法》)等網(wǎng)絡(luò)空間治理的基礎(chǔ)性法律為上位法依據(jù),并結(jié)合國家網(wǎng)絡(luò)安全與信息發(fā)展的方針、相關(guān)行業(yè)規(guī)則、技術(shù)標(biāo)準(zhǔn)等,針對算法應(yīng)用主體的特征、不同主體之間的權(quán)利(力)義務(wù)(責(zé)任)關(guān)系等方面進(jìn)行專門性立法.

    3.2 健全算法治理的制度基礎(chǔ)

    合理的算法治理結(jié)構(gòu)旨在通過監(jiān)督、激勵、控制和協(xié)調(diào)的一整套制度安排,以充分發(fā)揮各治理主體的能動性,從而實現(xiàn)治理資源的有效配置.一方面,在法律層面實現(xiàn)數(shù)據(jù)保護(hù)與算法權(quán)力規(guī)制的有序銜接.從我國當(dāng)前法律制度體系來看,傳統(tǒng)的法律制度偏重于對信息內(nèi)容的管控,如《網(wǎng)絡(luò)安全法》《全國人民代表大會常務(wù)委員會關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》《互聯(lián)網(wǎng)信息服務(wù)管理辦法》《互聯(lián)網(wǎng)新聞信息服務(wù)管理規(guī)定》《互聯(lián)網(wǎng)文化管理暫行規(guī)定》《互聯(lián)網(wǎng)群組信息服務(wù)管理規(guī)定》等多部法律法規(guī)及規(guī)范性文件,都以信息內(nèi)容及其保護(hù)為出發(fā)點(diǎn)對網(wǎng)絡(luò)信息的傳播、搜集、認(rèn)定作出相關(guān)規(guī)定.這種側(cè)重于對信息內(nèi)容管控的法律制度安排不僅導(dǎo)致傳統(tǒng)結(jié)果監(jiān)管思路下,公權(quán)力部門內(nèi)容審查范圍擴(kuò)大、難度增加與算法應(yīng)用主體監(jiān)控責(zé)任加強(qiáng)的尷尬局面,而且忽視了人工智能時代由于算法技術(shù)應(yīng)用導(dǎo)致的信息分類處理的不可解釋性、“黑箱”現(xiàn)象.其實質(zhì)上是從加強(qiáng)對數(shù)據(jù)控制以保護(hù)個人信息法益的角度去建構(gòu)這一法律體系,實踐中可能會對以數(shù)據(jù)共享互惠為基礎(chǔ)運(yùn)行法則的互聯(lián)網(wǎng)應(yīng)用及其發(fā)展造成一定的制度阻礙.實現(xiàn)數(shù)據(jù)內(nèi)容保護(hù)與算法權(quán)力規(guī)制的有序銜接須綜合考量當(dāng)前網(wǎng)絡(luò)法律體系尤其是不同法益保護(hù)面向、層級、屬性的制度規(guī)范而提出來的規(guī)制思路.這是沿循當(dāng)前個人信息保護(hù)法律框架,結(jié)合算法應(yīng)用主體的發(fā)展特點(diǎn)、架構(gòu)特征及其可能導(dǎo)致的社會風(fēng)險而提出來的層級協(xié)調(diào)體系.盡管當(dāng)前不少學(xué)者對于算法提出“技術(shù)中立”的原假設(shè),但事實往往是算法一旦走向應(yīng)用,不同行業(yè)領(lǐng)域的利益屬性交織而使其難以保持中立.因此,算法媒體規(guī)制的重點(diǎn)不在于是否要分場景、層次、級別的適用算法,而在于從制度體系層面實現(xiàn)對算法技術(shù)、架構(gòu)及其應(yīng)用的規(guī)制.這要求公權(quán)力部門在進(jìn)行具體制度設(shè)計時須以涉及個人信息保護(hù)的基本法律框架為基礎(chǔ),在處理好數(shù)據(jù)流通與個人數(shù)據(jù)基本權(quán)利保障之間平衡的前提下,將對平臺運(yùn)營商所設(shè)計算法程序規(guī)制作為重點(diǎn),通過建立一系列風(fēng)險防控機(jī)制預(yù)防、預(yù)測、預(yù)警算法應(yīng)用主體可能出現(xiàn)的危害后果,由此從源頭上控制并盡量避免平臺資本無序崛起、媒體公共性消解等風(fēng)險的發(fā)生.

    另一方面,在內(nèi)容層面積極保障用戶權(quán)益并明確其救濟(jì)途徑.人工智能技術(shù)的創(chuàng)新發(fā)展不僅使得人類生產(chǎn)生活發(fā)生了顛覆性變化,更促使人的權(quán)利集合中增加了數(shù)據(jù)法益的要素,改變了傳統(tǒng)人權(quán)實現(xiàn)及其保護(hù)的權(quán)利邏輯.這一系列變化亟需新的法律制度體系以應(yīng)對人權(quán)內(nèi)涵的變化、人權(quán)價值的實現(xiàn)以及人權(quán)保障的滿足.而算法作為人工智能技術(shù)的典型代表,對其治理之目的不僅在于防止算法技術(shù)性權(quán)力的不合理擴(kuò)張,還在于充分實現(xiàn)用戶個人數(shù)據(jù)權(quán)利的充分保障,這包括數(shù)據(jù)信息自主權(quán)、數(shù)據(jù)信息知情權(quán)、數(shù)據(jù)信息表達(dá)權(quán)、數(shù)據(jù)信息公平利用權(quán)、數(shù)據(jù)信息隱私權(quán)、數(shù)據(jù)信息財產(chǎn)權(quán),等等.同時,我國現(xiàn)行有關(guān)算法應(yīng)用規(guī)制的《互聯(lián)網(wǎng)新聞信息服務(wù)管理規(guī)定》《互聯(lián)網(wǎng)信息內(nèi)容管理行政執(zhí)法程序規(guī)定》等法律法規(guī)幾乎未對公民個人權(quán)利救濟(jì)的具體情形、方式、程度等作出明確規(guī)定,反而是算法應(yīng)用主體發(fā)布的章程如《新浪微博公約》對用戶正當(dāng)權(quán)益受損的救濟(jì)途徑、方式等作出較為詳細(xì)的規(guī)定.因此,未來針對算法應(yīng)用的相關(guān)法律法規(guī)亦或是行業(yè)規(guī)范等,均應(yīng)當(dāng)注重將個人在算法應(yīng)用平臺中的救濟(jì)權(quán)利予以制度化、規(guī)范化,唯有通過制度保障與權(quán)益法定相結(jié)合的方式才能最大程度地保障用戶切身權(quán)益.此外,結(jié)合上述相關(guān)制度設(shè)計,這種救濟(jì)權(quán)利可以進(jìn)一步分為平臺救濟(jì)與司法救濟(jì)2個環(huán)節(jié),實踐中個人的權(quán)利救濟(jì)主張應(yīng)當(dāng)在申請包括算法決策的解釋、算法可解釋內(nèi)容等平臺救濟(jì)未果的基礎(chǔ)上,再被導(dǎo)入司法救濟(jì),實現(xiàn)發(fā)揮平臺效用與節(jié)省司法資源之協(xié)調(diào).

    3.3 設(shè)置限制算法技術(shù)性權(quán)力擴(kuò)張的機(jī)制

    算法技術(shù)及其架構(gòu)的復(fù)雜性決定了算法治理需要遵循一定的治理原則,依據(jù)算法具體適用的不同場域、方式、類型及其他相關(guān)因素進(jìn)行精細(xì)化設(shè)計.

    一方面,對算法問責(zé)方式適用“場景式類型化劃分”+“層級監(jiān)管措施”的模式.相比公權(quán)力機(jī)關(guān)監(jiān)管所有的算法決策、設(shè)定一般性的監(jiān)管規(guī)則,通過構(gòu)建算法問責(zé)機(jī)制以促進(jìn)算法決策正當(dāng)性已經(jīng)逐漸成為業(yè)界共識.公權(quán)力機(jī)關(guān)應(yīng)以促進(jìn)算法技術(shù)及其構(gòu)建正確應(yīng)用為基本目標(biāo),通過一系列框架和程序設(shè)計對因不同算法應(yīng)用可能產(chǎn)生的損害后果進(jìn)行劃分認(rèn)定,從而使?jié)撛诘奈:梢栽凇八惴ㄏ到y(tǒng)”中評估、控制和糾正,如圖1所示,即算法應(yīng)用主體對發(fā)生的違法違規(guī)現(xiàn)象進(jìn)行事實和法律認(rèn)定;確定算法是否按照算法應(yīng)用主體設(shè)定的既定程序(符合算法應(yīng)用主體的意愿)運(yùn)行;確認(rèn)算法應(yīng)用主體是否有對已經(jīng)發(fā)生的違法現(xiàn)象進(jìn)行確認(rèn)并作出措施積極修正.在這個權(quán)責(zé)框架內(nèi),政府、企業(yè)主體、專業(yè)評估機(jī)構(gòu)等主體,還須結(jié)合算法應(yīng)用可能造成權(quán)益分配、行為后果、危害程度等不同企業(yè)應(yīng)用作出層級劃分,并據(jù)此出臺不同類型的相關(guān)監(jiān)管措施,由此避免在實踐中對企業(yè)主體處罰的“一刀切”等現(xiàn)象,實現(xiàn)算法應(yīng)用層面激勵約束并舉的引導(dǎo)性策略.

    另一方面,厘定算法可解釋性內(nèi)容及其原則.隨著算法應(yīng)用在方式、層次、深度方面的逐漸加深,算法由初級到深度學(xué)習(xí)的過程中經(jīng)歷了結(jié)構(gòu)的簡單到復(fù)雜、線性到非線性的轉(zhuǎn)變,這也使得社會公眾的認(rèn)識體系越來越難以與其運(yùn)行邏輯相匹配.基于此,無論基于算法應(yīng)用主體自身規(guī)訓(xùn)“算法權(quán)力”的考量,亦或是公權(quán)力部門規(guī)制算法應(yīng)用主體、保障用戶基本權(quán)利的需要,有必要專門針對算法應(yīng)用的具體場景而厘定算法可解釋性的相關(guān)內(nèi)容及其進(jìn)行解釋的原則.其可解釋內(nèi)容主要包括:算法應(yīng)用主體適用算法的類型、方式、領(lǐng)域及其應(yīng)用基本原理;算法應(yīng)用主體為適用算法運(yùn)行而構(gòu)建的基本架構(gòu)及其類型;算法對用戶數(shù)據(jù)信息搜集、處理、分類、再分發(fā)的基本知識.但考慮到商業(yè)秘密、技術(shù)創(chuàng)新、知識產(chǎn)權(quán)保護(hù)等因素,其解釋的內(nèi)容不應(yīng)包含具體的技術(shù)細(xì)節(jié).同時,算法應(yīng)用主體須遵循便于理解原則、相關(guān)性原則、層級性原則等具體原則,以便于實踐中用戶理解算法運(yùn)行機(jī)制,合理保護(hù)其自身權(quán)益.

    圖1 算法應(yīng)用產(chǎn)生損害后果的認(rèn)定程序

    3.4 增益算法治理的公共性

    公共性是當(dāng)今構(gòu)建民主社會的內(nèi)在核心之一,其一般體現(xiàn)為制度、理念與行動的公共性,科學(xué)的治理理念與制度體系為治理的行動提供了重要支撐,而合理的治理行動又是治理理念與制度體系得以彰顯的具體表達(dá)方式.從這個視角來看,我國算法治理的路徑優(yōu)化除了須在更新治理理念、調(diào)整治理結(jié)構(gòu)、細(xì)化治理方式的基礎(chǔ)之上,還需要政府發(fā)揮主導(dǎo)性協(xié)調(diào)作用,著力推進(jìn)多方主體參與算法治理的互動體系,從而以算法治理的過程公共性促進(jìn)算法的多元共治.因為算法治理實質(zhì)上就是政府、算法應(yīng)用主體(企業(yè))、公民等主體,即公共利益、商業(yè)利益以及個人利益之間互動、博弈與平衡的過程,而算法治理的最終目的則要求妥善實現(xiàn)不同主體之間權(quán)力分布與利益分配互融相洽的格局.因此,作為天然地?fù)?dān)負(fù)公共治理職責(zé)的政府須根據(jù)人工智能發(fā)展的階段性特征與算法技術(shù)應(yīng)用的實際情況,通過搭建算法治理的互動平臺和有效載體,建立政府、企業(yè)、公眾互動協(xié)調(diào)的治理機(jī)制.如未來算法媒體行業(yè)在設(shè)計其算法問責(zé)機(jī)制或制定具體的《可解釋性準(zhǔn)則》等規(guī)定時,公權(quán)力部門要發(fā)揮好其引導(dǎo)作用,通過構(gòu)建平臺基于行政職權(quán)分擔(dān)的社會責(zé)任體系與加強(qiáng)用戶平臺治理的話語權(quán)[22],將不同主體間尤其是公民關(guān)于問責(zé)機(jī)制、算法可解釋性內(nèi)容的訴求意愿共同嵌入到制定過程之中,從而使算法可解釋性及其內(nèi)容構(gòu)建更具有正當(dāng)性,以為司法實踐提供可操作性與規(guī)范性的指引.

    4 結(jié) 語

    人類社會不斷發(fā)展演進(jìn)的歷史經(jīng)驗表明,每一次新技術(shù)的產(chǎn)生在逐漸影響、推進(jìn)、革新社會結(jié)構(gòu)及其制度的同時,也潛在隱藏著諸多風(fēng)險.基于規(guī)制風(fēng)險而設(shè)置的各類防范舉措、方針亦或政策等也將會通過漸進(jìn)且結(jié)構(gòu)性的預(yù)期回應(yīng),對新技術(shù)的應(yīng)用與發(fā)展提供更科學(xué)合理的制度支撐.當(dāng)下,在人工智能、大數(shù)據(jù)與數(shù)字經(jīng)濟(jì)時代多重疊加的背景下,算法作為一種革命性技術(shù)力量正在顛覆著人類傳統(tǒng)生產(chǎn)生活方式而邁入數(shù)字社會,而基于算法風(fēng)險預(yù)防、預(yù)測與化解的需要,算法治理作為一種時代需求也亟需各國進(jìn)行制度回應(yīng).無論是美國的 “算法問責(zé)”外部控制模式,亦或是歐盟的“增益用戶權(quán)利”內(nèi)部控權(quán)模式,究其本質(zhì)都是對算法及其權(quán)力的規(guī)范適用.但算法治理終究是一個復(fù)雜的系統(tǒng)性工程,如果說算法是這個時代的偉大發(fā)明,那么算法治理則是各國難以忽視的時代難題.因為算法的應(yīng)用不僅僅是顛覆了人類的生活方式,它其實更深層次地改變了傳統(tǒng)的經(jīng)濟(jì)生產(chǎn)方式、結(jié)構(gòu)、體系以及與之相匹配的制度規(guī)則體系與權(quán)力分配格局.我國已經(jīng)圍繞人工智能發(fā)展、數(shù)字驅(qū)動戰(zhàn)略與網(wǎng)絡(luò)社會治理,針對算法治理作出了立法、政策、行業(yè)規(guī)則方面的制度回應(yīng),但仍然與國家治理能力與治理體系現(xiàn)代化的社會需求、制度需求、時代需求存在一定的差距.不可否認(rèn)的是,未來算法治理的路線圖與具體方式將會更加明晰,但當(dāng)下需要學(xué)術(shù)界和實務(wù)界共同努力并從實現(xiàn)科技與法律、良法與善治之協(xié)調(diào)的視角,對其實踐中產(chǎn)生的各類問題進(jìn)行分析回應(yīng),為立法機(jī)關(guān)、行政機(jī)關(guān)、不同行業(yè)提供合理切實建議,從而進(jìn)一步探尋算法治理的“中國方案”,為世界分享算法治理的“中國經(jīng)驗”.

    2022亚洲国产成人精品| 两个人的视频大全免费| 亚洲欧美中文字幕日韩二区| 精品久久国产蜜桃| 18在线观看网站| 日本黄大片高清| 九九爱精品视频在线观看| 亚洲综合精品二区| 国产成人免费观看mmmm| 菩萨蛮人人尽说江南好唐韦庄| 熟女电影av网| 日韩成人伦理影院| 精品亚洲乱码少妇综合久久| 国产精品女同一区二区软件| 欧美日韩在线观看h| 人妻一区二区av| 在线观看一区二区三区激情| 中文字幕人妻熟人妻熟丝袜美| 综合色丁香网| 亚洲伊人久久精品综合| 男女啪啪激烈高潮av片| 亚洲在久久综合| 老熟女久久久| 亚洲国产精品成人久久小说| 成人影院久久| 欧美日韩视频精品一区| 你懂的网址亚洲精品在线观看| 午夜福利,免费看| 午夜免费男女啪啪视频观看| 国产乱人偷精品视频| 日韩 亚洲 欧美在线| 亚洲四区av| 一二三四中文在线观看免费高清| 高清av免费在线| 九九久久精品国产亚洲av麻豆| 日产精品乱码卡一卡2卡三| 国产av精品麻豆| 欧美老熟妇乱子伦牲交| av在线老鸭窝| 秋霞在线观看毛片| 精品卡一卡二卡四卡免费| 丰满乱子伦码专区| 中文精品一卡2卡3卡4更新| 亚洲激情五月婷婷啪啪| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 爱豆传媒免费全集在线观看| 亚洲精品自拍成人| 人人妻人人爽人人添夜夜欢视频| 如何舔出高潮| 一本久久精品| 国产精品秋霞免费鲁丝片| 天堂中文最新版在线下载| 国产又色又爽无遮挡免| 亚洲美女搞黄在线观看| 久久久精品94久久精品| 中文欧美无线码| 少妇高潮的动态图| 免费少妇av软件| 三上悠亚av全集在线观看| 妹子高潮喷水视频| 欧美xxxx性猛交bbbb| 国产精品国产三级国产专区5o| 夜夜骑夜夜射夜夜干| 黄片播放在线免费| 亚洲国产欧美在线一区| 久久精品久久久久久噜噜老黄| 交换朋友夫妻互换小说| 天堂俺去俺来也www色官网| 日本午夜av视频| 欧美xxⅹ黑人| 成人免费观看视频高清| h视频一区二区三区| 大又大粗又爽又黄少妇毛片口| 亚洲国产精品国产精品| 2021少妇久久久久久久久久久| 最近中文字幕高清免费大全6| 色哟哟·www| 五月玫瑰六月丁香| 少妇人妻 视频| 亚洲精品久久久久久婷婷小说| 国产高清不卡午夜福利| 久久久欧美国产精品| 国产高清三级在线| 欧美亚洲日本最大视频资源| 曰老女人黄片| 一区二区三区乱码不卡18| 久久97久久精品| 在线观看国产h片| xxx大片免费视频| 午夜av观看不卡| 亚洲av欧美aⅴ国产| 天天操日日干夜夜撸| 日本免费在线观看一区| 人妻 亚洲 视频| 欧美成人午夜免费资源| 婷婷色av中文字幕| 国产 精品1| 日本欧美国产在线视频| 亚洲精品乱久久久久久| 精品一区二区免费观看| 国产一区二区在线观看日韩| 街头女战士在线观看网站| 国产免费福利视频在线观看| 亚洲精品美女久久av网站| 国产精品国产av在线观看| 午夜影院在线不卡| 国产色爽女视频免费观看| 99久久人妻综合| 丝袜喷水一区| 免费黄频网站在线观看国产| 亚洲国产精品国产精品| 伊人久久国产一区二区| 内地一区二区视频在线| 国产亚洲一区二区精品| 国产视频内射| 欧美丝袜亚洲另类| 中文字幕制服av| videos熟女内射| 天天影视国产精品| 亚洲国产毛片av蜜桃av| 国产在线一区二区三区精| 日本欧美视频一区| h视频一区二区三区| 另类亚洲欧美激情| 午夜免费男女啪啪视频观看| 97超碰精品成人国产| 在线观看免费视频网站a站| 精品亚洲成国产av| 亚洲国产精品国产精品| 亚洲美女搞黄在线观看| 亚洲av在线观看美女高潮| 精品99又大又爽又粗少妇毛片| 亚洲国产精品国产精品| 18+在线观看网站| 99视频精品全部免费 在线| 成年人免费黄色播放视频| 大香蕉久久网| 成人亚洲欧美一区二区av| 日本免费在线观看一区| 我的老师免费观看完整版| 边亲边吃奶的免费视频| 只有这里有精品99| 欧美日韩精品成人综合77777| 亚洲精品日韩av片在线观看| 日韩伦理黄色片| 美女主播在线视频| 日本wwww免费看| 色吧在线观看| 有码 亚洲区| 国产精品女同一区二区软件| 亚洲精品国产av成人精品| 久久久久精品性色| 欧美xxxx性猛交bbbb| 动漫黄色视频在线观看| 纯流量卡能插随身wifi吗| 三上悠亚av全集在线观看| 亚洲国产欧美日韩在线播放| 久久精品国产a三级三级三级| 欧美av亚洲av综合av国产av| 欧美变态另类bdsm刘玥| 另类亚洲欧美激情| 国产男女超爽视频在线观看| 国产伦人伦偷精品视频| 久久久国产成人免费| 亚洲第一欧美日韩一区二区三区 | 久久人妻熟女aⅴ| 国产亚洲欧美在线一区二区| 精品国产乱码久久久久久男人| 欧美在线一区亚洲| 两性夫妻黄色片| bbb黄色大片| 婷婷丁香在线五月| 老司机午夜福利在线观看视频 | 啦啦啦视频在线资源免费观看| 久久精品国产综合久久久| 亚洲欧美日韩另类电影网站| 乱人伦中国视频| a级片在线免费高清观看视频| 成年人免费黄色播放视频| 亚洲九九香蕉| 久久中文字幕人妻熟女| 狠狠狠狠99中文字幕| 男女免费视频国产| 91国产中文字幕| 少妇的丰满在线观看| 制服人妻中文乱码| 亚洲av成人一区二区三| 亚洲专区国产一区二区| 亚洲欧美色中文字幕在线| 国产一区二区激情短视频| 露出奶头的视频| a级毛片在线看网站| 性少妇av在线| 高清在线国产一区| 精品少妇内射三级| 麻豆成人av在线观看| av线在线观看网站| av欧美777| 亚洲精品粉嫩美女一区| 亚洲av日韩在线播放| 嫁个100分男人电影在线观看| 精品一区二区三区四区五区乱码| 欧美日韩亚洲国产一区二区在线观看 | 一区在线观看完整版| 午夜老司机福利片| 人妻久久中文字幕网| 国产成人av激情在线播放| 一区二区三区乱码不卡18| 久久婷婷成人综合色麻豆| 搡老岳熟女国产| 国产一区二区三区在线臀色熟女 | 欧美精品亚洲一区二区| 狠狠精品人妻久久久久久综合| 国产真人三级小视频在线观看| 亚洲第一青青草原| 两个人免费观看高清视频| 亚洲精品粉嫩美女一区| 交换朋友夫妻互换小说| 日韩有码中文字幕| 亚洲avbb在线观看| 国精品久久久久久国模美| 欧美乱码精品一区二区三区| 精品福利观看| av线在线观看网站| 欧美黑人精品巨大| 91av网站免费观看| tocl精华| √禁漫天堂资源中文www| 国产精品一区二区免费欧美| 亚洲国产欧美网| 久久国产精品影院| videos熟女内射| www.999成人在线观看| 亚洲国产精品一区二区三区在线| 制服诱惑二区| 免费av中文字幕在线| 亚洲中文日韩欧美视频| 精品国产亚洲在线| 色在线成人网| 亚洲男人天堂网一区| 黄色视频,在线免费观看| 嫁个100分男人电影在线观看| 99香蕉大伊视频| 一级片'在线观看视频| 国精品久久久久久国模美| 丰满饥渴人妻一区二区三| 啦啦啦免费观看视频1| 久久久水蜜桃国产精品网| 老鸭窝网址在线观看| e午夜精品久久久久久久| 一级毛片精品| 在线观看66精品国产| 男人舔女人的私密视频| 国产精品久久久av美女十八| 在线天堂中文资源库| 桃红色精品国产亚洲av| 国产成人av教育| 色尼玛亚洲综合影院| 久久精品亚洲精品国产色婷小说| 日韩一区二区三区影片| 精品亚洲成国产av| 久久久水蜜桃国产精品网| 久久精品成人免费网站| 极品人妻少妇av视频| 天堂8中文在线网| 老司机在亚洲福利影院| 十八禁高潮呻吟视频| 国产高清激情床上av| 国产不卡av网站在线观看| www.999成人在线观看| 极品教师在线免费播放| 日韩人妻精品一区2区三区| 精品国产乱码久久久久久小说| 国产高清videossex| 国产成人精品久久二区二区免费| 婷婷成人精品国产| 男女床上黄色一级片免费看| 中文欧美无线码| 国产亚洲欧美精品永久| 国产在视频线精品| 丝袜在线中文字幕| 午夜福利一区二区在线看| 亚洲九九香蕉| 亚洲一卡2卡3卡4卡5卡精品中文| 91大片在线观看| 9热在线视频观看99| 丁香六月天网| 色94色欧美一区二区| 精品熟女少妇八av免费久了| 青青草视频在线视频观看| 中文字幕精品免费在线观看视频| 嫩草影视91久久| 91精品三级在线观看| 日韩人妻精品一区2区三区| 日韩大片免费观看网站| 丝袜美足系列| 不卡一级毛片| 精品亚洲成国产av| 成人亚洲精品一区在线观看| 极品人妻少妇av视频| 国产免费视频播放在线视频| 动漫黄色视频在线观看| 国产91精品成人一区二区三区 | www.熟女人妻精品国产| 国产亚洲一区二区精品| 午夜福利一区二区在线看| 肉色欧美久久久久久久蜜桃| 成人黄色视频免费在线看| 欧美精品av麻豆av| 国产精品熟女久久久久浪| 亚洲成人免费av在线播放| 欧美日韩中文字幕国产精品一区二区三区 | 曰老女人黄片| 亚洲少妇的诱惑av| 亚洲,欧美精品.| 亚洲人成电影观看| 久久影院123| 久久国产精品影院| 欧美老熟妇乱子伦牲交| 国产黄色免费在线视频| 中文字幕最新亚洲高清| 亚洲色图av天堂| 久久毛片免费看一区二区三区| av网站免费在线观看视频| 婷婷丁香在线五月| 久热爱精品视频在线9| 男女床上黄色一级片免费看| 亚洲人成电影观看| 最新美女视频免费是黄的| 亚洲中文字幕日韩| 久久精品aⅴ一区二区三区四区| 欧美日韩亚洲综合一区二区三区_| 波多野结衣一区麻豆| svipshipincom国产片| 欧美性长视频在线观看| 国产真人三级小视频在线观看| 国产福利在线免费观看视频| 欧美日韩视频精品一区| 精品一区二区三区av网在线观看 | 久久久国产欧美日韩av| 国产精品九九99| 一进一出抽搐动态| 免费一级毛片在线播放高清视频 | 欧美日韩黄片免| 久久天堂一区二区三区四区| 久久久精品国产亚洲av高清涩受| 午夜91福利影院| 日韩视频在线欧美| 极品教师在线免费播放| av福利片在线| 青青草视频在线视频观看| 飞空精品影院首页| 欧美激情极品国产一区二区三区| 成人国语在线视频| 精品少妇一区二区三区视频日本电影| 女性生殖器流出的白浆| 中文字幕色久视频| 亚洲国产欧美网| videos熟女内射| 国产亚洲精品久久久久5区| 亚洲免费av在线视频| 亚洲专区字幕在线| 18禁观看日本| 国产精品.久久久| 久9热在线精品视频| 亚洲欧美日韩高清在线视频 | 欧美精品一区二区大全| 性少妇av在线| 高清欧美精品videossex| 搡老岳熟女国产| 国产成人精品久久二区二区91| 精品欧美一区二区三区在线| 女人爽到高潮嗷嗷叫在线视频| 日韩欧美国产一区二区入口| 午夜福利免费观看在线| 亚洲伊人久久精品综合| av电影中文网址| 欧美精品高潮呻吟av久久| 久久国产精品大桥未久av| 久久性视频一级片| 丰满人妻熟妇乱又伦精品不卡| 女同久久另类99精品国产91| 1024香蕉在线观看| 国产精品成人在线| 在线观看免费高清a一片| 人人妻,人人澡人人爽秒播| 亚洲九九香蕉| 午夜激情久久久久久久| 两性午夜刺激爽爽歪歪视频在线观看 | 免费高清在线观看日韩| 99久久精品国产亚洲精品| 亚洲va日本ⅴa欧美va伊人久久| 久久国产精品男人的天堂亚洲| 69av精品久久久久久 | 精品亚洲成a人片在线观看| 国产精品av久久久久免费| 亚洲成国产人片在线观看| 久久久久网色| kizo精华| 欧美成狂野欧美在线观看| 日日摸夜夜添夜夜添小说| 国产深夜福利视频在线观看| 叶爱在线成人免费视频播放| 亚洲免费av在线视频| 国产免费视频播放在线视频| 伊人久久大香线蕉亚洲五| 香蕉丝袜av| www.精华液| 激情视频va一区二区三区| 日韩三级视频一区二区三区| 久9热在线精品视频| 99久久99久久久精品蜜桃| 国产精品久久久av美女十八| 一级片免费观看大全| 两个人看的免费小视频| 亚洲精品国产区一区二| 国产在线免费精品| 色综合欧美亚洲国产小说| 亚洲欧美激情在线| 精品亚洲成国产av| 黄色视频不卡| 最新在线观看一区二区三区| 欧美日韩av久久| 80岁老熟妇乱子伦牲交| 高清毛片免费观看视频网站 | 亚洲色图av天堂| 亚洲第一青青草原| 一进一出抽搐动态| 欧美 亚洲 国产 日韩一| 国产淫语在线视频| 亚洲人成电影观看| 啦啦啦视频在线资源免费观看| 亚洲美女黄片视频| 男女免费视频国产| 9色porny在线观看| 十八禁高潮呻吟视频| 精品福利永久在线观看| svipshipincom国产片| 不卡一级毛片| 国产精品自产拍在线观看55亚洲 | 国产国语露脸激情在线看| 亚洲成人手机| 久久精品熟女亚洲av麻豆精品| 男女边摸边吃奶| 久久青草综合色| 国产一区有黄有色的免费视频| 大型av网站在线播放| 国产在线精品亚洲第一网站| 日韩欧美国产一区二区入口| 高清黄色对白视频在线免费看| 久久影院123| 国产精品影院久久| 精品福利永久在线观看| 天堂8中文在线网| 少妇精品久久久久久久| 黄片大片在线免费观看| 9191精品国产免费久久| 在线观看免费视频网站a站| 久久性视频一级片| 午夜91福利影院| 国产精品久久久人人做人人爽| 一区在线观看完整版| 免费在线观看视频国产中文字幕亚洲| 80岁老熟妇乱子伦牲交| 两人在一起打扑克的视频| 一级黄色大片毛片| 成人免费观看视频高清| 亚洲欧洲日产国产| 老熟妇仑乱视频hdxx| 亚洲国产精品一区二区三区在线| 国产精品一区二区在线不卡| 午夜视频精品福利| 国产免费福利视频在线观看| 国产人伦9x9x在线观看| 乱人伦中国视频| 亚洲一区二区三区欧美精品| 成人18禁高潮啪啪吃奶动态图| 夜夜骑夜夜射夜夜干| 亚洲成人国产一区在线观看| 国产单亲对白刺激| 每晚都被弄得嗷嗷叫到高潮| 男女边摸边吃奶| 国产成+人综合+亚洲专区| 在线天堂中文资源库| 免费av中文字幕在线| 无遮挡黄片免费观看| 99精品久久久久人妻精品| 变态另类成人亚洲欧美熟女 | 日本a在线网址| 日日夜夜操网爽| 18禁国产床啪视频网站| 亚洲国产欧美在线一区| av国产精品久久久久影院| 精品一品国产午夜福利视频| 午夜老司机福利片| 精品一区二区三区视频在线观看免费 | 日韩欧美免费精品| 一级毛片女人18水好多| 久久久欧美国产精品| 自拍欧美九色日韩亚洲蝌蚪91| 天天躁夜夜躁狠狠躁躁| 超色免费av| 777久久人妻少妇嫩草av网站| 露出奶头的视频| 免费在线观看日本一区| 欧美变态另类bdsm刘玥| 可以免费在线观看a视频的电影网站| www.自偷自拍.com| 在线观看免费日韩欧美大片| a级毛片黄视频| 少妇裸体淫交视频免费看高清 | 亚洲性夜色夜夜综合| 亚洲成国产人片在线观看| 国产亚洲一区二区精品| 久久人妻熟女aⅴ| 欧美中文综合在线视频| 老熟妇仑乱视频hdxx| 久久久久国内视频| 国产老妇伦熟女老妇高清| 国产精品自产拍在线观看55亚洲 | 免费在线观看日本一区| 亚洲男人天堂网一区| 欧美中文综合在线视频| 精品国产一区二区三区四区第35| 成人国语在线视频| 好男人电影高清在线观看| 精品熟女少妇八av免费久了| 国产日韩欧美视频二区| 母亲3免费完整高清在线观看| 国产亚洲精品一区二区www | 日韩欧美一区二区三区在线观看 | 久久中文字幕人妻熟女| 99国产精品99久久久久| 99在线人妻在线中文字幕 | svipshipincom国产片| 欧美av亚洲av综合av国产av| 日本vs欧美在线观看视频| 不卡一级毛片| 久久久久国内视频| 亚洲欧美精品综合一区二区三区| 亚洲欧美一区二区三区黑人| 丰满少妇做爰视频| 免费高清在线观看日韩| 中文字幕高清在线视频| 日韩三级视频一区二区三区| 丰满迷人的少妇在线观看| 欧美黑人精品巨大| 大片电影免费在线观看免费| 国产日韩欧美亚洲二区| 久久久精品国产亚洲av高清涩受| 午夜视频精品福利| 成人黄色视频免费在线看| 精品一区二区三区视频在线观看免费 | 国产福利在线免费观看视频| 色综合婷婷激情| 成人免费观看视频高清| 一级毛片女人18水好多| 亚洲第一青青草原| 免费av中文字幕在线| 少妇被粗大的猛进出69影院| svipshipincom国产片| 国产免费av片在线观看野外av| 国产精品 欧美亚洲| 国产精品香港三级国产av潘金莲| 亚洲免费av在线视频| 亚洲精品在线观看二区| 日韩有码中文字幕| 美女视频免费永久观看网站| 桃红色精品国产亚洲av| 亚洲五月色婷婷综合| 一级,二级,三级黄色视频| 欧美激情久久久久久爽电影 | 国内毛片毛片毛片毛片毛片| 丰满少妇做爰视频| 免费高清在线观看日韩| 亚洲中文日韩欧美视频| 国产精品九九99| 国产1区2区3区精品| 国产三级黄色录像| 久久国产亚洲av麻豆专区| 国产三级黄色录像| 久久国产亚洲av麻豆专区| 露出奶头的视频| 精品少妇内射三级| 亚洲人成77777在线视频| 亚洲成人手机| 91成年电影在线观看| 精品少妇内射三级| 露出奶头的视频| 美国免费a级毛片| 天堂中文最新版在线下载| 国产成人免费无遮挡视频| 久久久国产精品麻豆| 少妇猛男粗大的猛烈进出视频| 美女高潮到喷水免费观看| 黄色毛片三级朝国网站| 成人亚洲精品一区在线观看| 精品卡一卡二卡四卡免费| 成在线人永久免费视频| 亚洲av片天天在线观看| 极品教师在线免费播放| 午夜91福利影院| 亚洲国产精品一区二区三区在线| www日本在线高清视频| 男女下面插进去视频免费观看| 欧美激情久久久久久爽电影 | 国产免费福利视频在线观看| 久久精品亚洲熟妇少妇任你| 精品福利永久在线观看| 久久国产精品影院| 欧美亚洲 丝袜 人妻 在线| 国产亚洲一区二区精品| 欧美精品一区二区免费开放| 国产高清视频在线播放一区| 日本一区二区免费在线视频|