• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智能社會的治理與風(fēng)險行政法的建構(gòu)與證成

    2019-05-10 00:13:34何淵
    東方法學(xué) 2019年1期
    關(guān)鍵詞:風(fēng)險治理人工智能

    何淵

    內(nèi)容摘要:人工智能的成功將是史無前例的,但充滿不確定性、失控性及全球化的風(fēng)險卻如影隨形般威脅著人類社會。需要重構(gòu)一個以多元、開放、分享為基本特征的風(fēng)險治理體系,市場、社會及國家這三種治理機制循環(huán)往復(fù),時而正向運動,時而反向運動,同時還包括國家內(nèi)部的立法與行政、中央與地方之間的雙向自循環(huán)系統(tǒng),共同形成一個整體的四重雙向治理生態(tài)。這給行政法實現(xiàn)從“秩序行政”“給付行政”到“風(fēng)險行政”的轉(zhuǎn)型提供了歷史契機,以“風(fēng)險”和“治理”為基石的“風(fēng)險行政法”應(yīng)運而生。

    關(guān)鍵詞:人工智能 風(fēng)險治理 四重雙向法律治理體系 風(fēng)險行政法

    中國分類號:DF3文獻標(biāo)識碼:A文章編號:1674-4039-(2019)01-0068-83

    引言

    在農(nóng)業(yè)社會,人們通過植物和動物認識世界;在工業(yè)社會,人們通過蒸汽機征服世界;在互聯(lián)網(wǎng)時代,人們通過路由器連接世界;在人工智能時代,人們通過大數(shù)據(jù)和算法改造世界。就像望遠鏡讓我們能夠感受宇宙,顯微鏡讓我們能夠觀測微生物一樣,人工智能 〔1 〕正在改變我們的生活以及理解世界的方式?!? 〕一次脫胎換骨式的重大時代轉(zhuǎn)型正在開啟,人工智能的發(fā)展不僅在生產(chǎn)和商業(yè)領(lǐng)域,而且在運輸、醫(yī)療、救援、教育、金融、農(nóng)業(yè)和司法等領(lǐng)域,起著提高效率、減少消耗、增強安全水平和提供更高質(zhì)量的服務(wù)的作用。北京 〔3 〕、上海 〔4 〕及重慶 〔5 〕相繼出臺規(guī)范性文件來監(jiān)管自動駕駛汽車的路測行為,機器開始正式出版詩集和畫集,智能顧投已經(jīng)替代人類完成一些復(fù)雜的金融交易,面部識別軟件也開始運用到海關(guān)、火車站等場景的安全檢查,甚至用于識別恐怖分子。

    但脫胎于現(xiàn)代性的人工智能風(fēng)險也如影隨形般發(fā)生了,數(shù)據(jù)涉及的隱私權(quán)問題頻發(fā),年初支付寶年度賬單默認勾選《芝麻服務(wù)協(xié)議》被質(zhì)疑侵犯隱私權(quán),百度涉嫌侵害消費者個人信息安全被江蘇省消保委提起公益民事訴訟。而算法涉及的政治倫理問題也開始顯現(xiàn),特朗普團隊利用數(shù)以千萬的Facebook數(shù)據(jù),通過挖掘算法使總統(tǒng)大選獲勝;世界上首起UBER自動駕駛汽車公共道路致死案也在美國亞利桑那州發(fā)生。隨著平臺企業(yè)將人工智能的商業(yè)邏輯推向極致,大數(shù)據(jù)和算法潛在的風(fēng)險和“創(chuàng)造性破壞”也必將隨之爆發(fā),國家主權(quán)、生產(chǎn)關(guān)系、社會結(jié)構(gòu)及法律秩序等關(guān)鍵議題都面臨著“顛覆式重構(gòu)”。這集中體現(xiàn)為隱私與數(shù)據(jù)權(quán)、數(shù)據(jù)歧視、倫理與人格尊嚴(yán)、生態(tài)、就業(yè)、貧富兩極化、國家能力及國家安全等系列問題。正如馬斯克所說:“人類下一個生存威脅恐怕就是人工智能。對于人工智能應(yīng)該在國際或者國家層面上有相應(yīng)的監(jiān)管措施,以防人類做出不可挽回的傻事來。” 〔6 〕

    基于此,筆者主要討論的是人工智能的風(fēng)險以及人類的法律應(yīng)對。一方面,以費雪的“行政憲制主義理論” 〔7 〕為依據(jù),提煉出核心法律問題是“法治政府”在人工智能風(fēng)險治理中的作用、性質(zhì)及理想類型;另一方面,以波蘭尼的“雙向運動理論” 〔8 〕和萊斯格的“代碼2.0理論” 〔9 〕為依據(jù),在“法律(政府)、市場、準(zhǔn)則(社會規(guī)范)、架構(gòu)(代碼)”等機制之間構(gòu)建人工智能風(fēng)險的四重雙向法律治理體系,“風(fēng)險行政法”也許正是我們公法學(xué)人在新時代的新貢獻。

    一、人工智能風(fēng)險的法律特征

    生活在人工智能時代,不像是處在一輛被小心翼翼控制并熟練地駕駛著的汽車之中,更像是坐在朝向四方疾馳狂奔的不可駕馭的野馬身上,膽戰(zhàn)心驚,更不知道未來會發(fā)生什么?!?0 〕人工智能風(fēng)險的本質(zhì)正是現(xiàn)代性的后果,是一種人為的技術(shù)風(fēng)險,不是自然帶來的。由此產(chǎn)生的“社會可接受性”更是加劇了人類行為的不確定性,這種現(xiàn)代性風(fēng)險既不分階級,也不分國界,而且還是無處不在的。具體特征闡述如下:

    (一)不確定性

    在一個到處充斥著數(shù)據(jù)的“人工智能時代”,人類社會正在從“原子世界”向“比特世界”演進,不斷演繹著“人是生而平等的,卻無往不在枷鎖之中”的事情,人工智能賦予了人類很大的自由,人類實踐著空間維度的自由,甚至開始追求時間維度的自由,但過于泛濫的大數(shù)據(jù)卻給予了人類太多的選擇,能力有限的人類變得如同遇到洪水猛獸般不知所措。這就是未來社會的不可預(yù)測性,“被動自由”問題變得日益突出。這主要由以下原因?qū)е拢?/p>

    第一,大數(shù)據(jù)的“全體性”“混雜性”及“相關(guān)性”必然帶來的是風(fēng)險的不確定性。在小數(shù)據(jù)時代,人們受限于技術(shù),只能選擇分析隨機樣本;但在大數(shù)據(jù)時代,收集與分析全樣本是現(xiàn)實可行的。大數(shù)據(jù)中的“大”非絕對意義的大,而是指全數(shù)據(jù);〔11 〕在小數(shù)據(jù)時代,由于數(shù)據(jù)量少,人們執(zhí)迷于數(shù)據(jù)的精確性,而在大數(shù)據(jù)時代,人們開始追求大而全的數(shù)據(jù),這種混雜性確保了大量數(shù)據(jù)的真正利用,人類從此打開了一扇未涉世界的窗戶;〔12 〕在小數(shù)據(jù)時代,人們苛求因果關(guān)系,但在大數(shù)據(jù)時代,人們只追求相關(guān)關(guān)系,知道“是什么”就足夠了,沒必要知道“為什么”?!?3 〕

    第二,算法的不可預(yù)見性也直接導(dǎo)致了風(fēng)險的不確定性。擁有強大算法能力的人工智能決策系統(tǒng)則不同,它能夠在短時間精確計算所有可能性的基礎(chǔ)上,選擇機器認為的最佳方案。而人工智能決策系統(tǒng)并不受預(yù)置的價值觀念、經(jīng)驗法則、道德法制等因素的制約,它們很有可能做出人類根本不可能考慮的實施方案。這就是算法帶來的不可預(yù)見性。由此,盡管人類制造了人工智能,但我們卻無法預(yù)見到人工智能最終的決策選擇。隨著深度學(xué)習(xí)技術(shù)的進步,人工智能行為的不可預(yù)見性問題更加凸顯,而且程度不斷加深。一個具有自主學(xué)習(xí)能力的人工智能系統(tǒng),實踐中大數(shù)據(jù)的喂養(yǎng)使其愈發(fā)進化,使得最細心的制造者都沒有辦法控制或預(yù)測指數(shù)級升級的人工智能的決策過程及決策結(jié)果,這就是一個黑箱。〔14 〕

    第三,架構(gòu)的封閉性更加劇了風(fēng)險的不確定性。網(wǎng)絡(luò)“性質(zhì)”并非由上帝的旨意來決定,而僅僅是由它的架構(gòu)設(shè)計來決定?!?5 〕網(wǎng)絡(luò)的架構(gòu)既可以是開放分享式的,也可以是封閉控制式的。最初的萬維網(wǎng)是開放分享式的,是一種去中心化的、沒有等級制度的架構(gòu),但這種架構(gòu)存在致命缺陷,即缺乏安全性標(biāo)準(zhǔn)。于是,平臺企業(yè)的商業(yè)邏輯和國家的安全邏輯共同導(dǎo)致了封閉性網(wǎng)絡(luò)的產(chǎn)生。少數(shù)巨頭控制了資源的流動,通過集中式基礎(chǔ)服務(wù)深入不同領(lǐng)域,形成半封閉的互聯(lián)網(wǎng)領(lǐng)地;政府部門使用分口和屬地管理方法,使互聯(lián)網(wǎng)治理變得碎裂化。由此,一個背離早期互聯(lián)網(wǎng)的封閉式網(wǎng)絡(luò)就此形成,“門檻很高”的人工智能軍備競賽使中心化趨勢愈演愈烈,“強者恒強”。

    (二)失控性

    “自然存在度在世界流變體系中呈現(xiàn)為逐層遞減的分布趨勢”,“愈進化的存在物其存在度愈低……它可以顯示某種相對活躍或較為主動的存在‘能力,卻不得不借助于日益精巧的求存能力來為日益衰落的‘自在自負其責(zé)。” 〔16 〕該遞弱代償原則也適用于人工智能時代的人類,一方面人們擁有了包括“數(shù)據(jù)權(quán)”在內(nèi)的更多自由權(quán)利,具有更多認識世界和改造世界的主觀能力;但另一方面,現(xiàn)代性風(fēng)險使人們對大數(shù)據(jù)和算法的依賴性越來越高,人們的自然存在度日益下降,逐漸喪失了對世界和社會認知的絕大多數(shù)自主性。一些日常生活中的事物都可能在一夜之間就變成帶來危險的“特洛伊木馬”?!?7 〕人工智能愈發(fā)明顯的強自主性以及人類對其的高度依賴性,最終演變?yōu)槭Э匦?。具體原因如下:

    第一,強自主性帶來了失控性問題。與人類早期科技不同,人工智能的本質(zhì)特征是以行為自動化為基礎(chǔ)的機器決策自主化。這種自主化有強弱之分。以自動駕駛為例,人類對于3級以上的具有自主性決策能力的人工智能系統(tǒng)的監(jiān)管將是非常困難的。〔18 〕尤其當(dāng)機器系統(tǒng)自帶深度學(xué)習(xí)而進行指數(shù)級升級的情況下,人類失去本地化控制或全方位控制只是時間問題。雖然失控并不必然帶來風(fēng)險,但當(dāng)人工智能目標(biāo)與人類終極福祉背道而馳時,風(fēng)險就不可避免出現(xiàn)了。由于人工智能只是一種基于大數(shù)據(jù)基礎(chǔ)的最優(yōu)算法,它不會進行價值判斷,也不懂什么“善良風(fēng)俗”,更不會堅守“道德底線”。比如人類為人工智能設(shè)定的目標(biāo)是減少人類的痛苦,在不受任何人為干預(yù)的情況下,人工智能系統(tǒng)自主選擇的極端方案很有可能是“盡快滅絕人類”?!?9 〕由此,失控的強人工智能很有可能會給人類帶來生存性風(fēng)險。

    第二,人工智能研發(fā)的隱秘性和分散性加劇了失控性。與核能、轉(zhuǎn)基因等傳統(tǒng)風(fēng)險源不同,人工智能的研發(fā)不需要建造大量的基礎(chǔ)設(shè)施,不需要雇傭大量的員工,甚至不需要購置生產(chǎn)設(shè)備,只需一臺電腦或一部智能手機即可。因此,大量初創(chuàng)科技公司或個人都從事于人工智能行業(yè),他們甚至可以在全球的每一個角落隨時隨地進行研發(fā)。這種物理上的隱秘性和分散性使得監(jiān)管機關(guān)很難確定是誰以及在何處制造潛在的威脅,社會風(fēng)險由此不斷集聚?!?0 〕

    (三)全球化

    與財富一樣,前現(xiàn)代社會的風(fēng)險分配是附著在階級模式上,只不過是以顛倒的方式進行:財富在上層聚集,而風(fēng)險在下層聚集。〔21 〕而在人工智能時代,雖然貧困依然是等級制的,但大數(shù)據(jù)和算法帶來的風(fēng)險卻是民主的?!帮w去來器效應(yīng)”逐漸打破了階級和民族國家的邊界,人工智能風(fēng)險在其范圍內(nèi)以及它所影響的那些人中間,表現(xiàn)為平等的影響。同時,風(fēng)險的全球化伴隨著信息革命而出現(xiàn),食物鏈實際上把地球上所有的人連接在一起,而全球化趨勢帶來了不具體的普遍性的苦痛?!?2 〕人工智能研發(fā)的全球化趨勢非常明顯:軟硬件生產(chǎn)的全球分散程度及交互程度遠超以往任何科技;全球協(xié)助研發(fā)成為可能,項目參與者可以生活在不同國家,而且并無法律上的關(guān)系;〔23 〕數(shù)據(jù)的跨境流動將更為便利,而跨國公司因法律環(huán)境而進行的總部變更將更加頻繁。這樣一種全球化趨勢給政府監(jiān)管帶來了前所未有的難度,也帶來了“數(shù)據(jù)本地化”的要求?!?4 〕

    由此,為了防范人工智能帶來的諸多風(fēng)險,在不阻礙創(chuàng)新的前提下重構(gòu)法律治理體系顯得尤為重要。從這個意義上說,我們理應(yīng)觀察科技風(fēng)險治理對國家和社會、政府和市場的關(guān)系演變以及法律體系歷史變遷的影響,這也是行政法學(xué)的重要任務(wù)。

    二、人工智能風(fēng)險的法律治理模式選擇

    “這是以往的哥白尼革命、達爾文革命及神經(jīng)科學(xué)革命中不存在的,人類在宇宙中的特殊地位受到威脅,人類已不再是信息圈毋容置疑的主宰,機器開始替代我們執(zhí)行越來越多的原本需要人的思想來解決的任務(wù)?!?〔25 〕與蒸汽機、電腦等工具的輔助性功能不同,人工智能的強自主性可能會替代人類的作用,這種風(fēng)險是現(xiàn)實的、巨大的且驟然的。

    那么,人工智能的風(fēng)險到底能不能被治理?“某只看不見的手正在建造一種與網(wǎng)絡(luò)空間誕生時完全相反的架構(gòu),這只看不見的手,由政府和商務(wù)共同推動,正在構(gòu)筑一種能夠?qū)崿F(xiàn)最佳控制并使高效規(guī)制成為可能的架構(gòu)。” 〔26 〕事實上,憲法和法律也是這樣一種架構(gòu),它們不僅是一種文本,更是一種生活方式,規(guī)范著人工智能在虛擬空間的行為方式、權(quán)利義務(wù)分配,最終保護人類的道德底線和終極目標(biāo)。從這個意義上說,重要的問題不是人工智能風(fēng)險是否能被治理,而是如何構(gòu)建整體性的法律治理體系的問題。

    而“技術(shù)風(fēng)險爭論并不單單是一個個不相關(guān)聯(lián)的技術(shù)或倫理上的不同意見,它關(guān)系到政府機構(gòu)應(yīng)當(dāng)如何認定和理解技術(shù)風(fēng)險并采取相應(yīng)的措施”,〔27 〕關(guān)鍵問題是如何充分發(fā)揮法律和政府在風(fēng)險評定及決策中的良好作用。為此,費雪在總結(jié)已有兩種進路的基礎(chǔ)上,提出了新思路:

    (一)科學(xué)進路

    該進路主張科學(xué)和專業(yè)知識是人工智能風(fēng)險決策的主要依據(jù)?!凹夹g(shù)問題的解決方案就是推動和促進科學(xué)決策或?qū)<覜Q策……據(jù)此,國家須要保證風(fēng)險決策盡可能地客觀,保證決策者是其專業(yè)領(lǐng)域的專家……科學(xué)需要被帶入政治過程、帶入規(guī)制過程、帶入法庭,這樣,技術(shù)風(fēng)險才能得到恰當(dāng)?shù)睦斫?。?〔28 〕公眾對專業(yè)知識的依賴,不僅關(guān)系到如何從彼此孤立的事件的既定普遍性中獲得安全性的問題,而且更關(guān)系到公眾如何通過反思性運用專業(yè)知識來計算利害得失?!?9 〕在他們看來,只有當(dāng)充分的科學(xué)證據(jù)能夠證明人工智能技術(shù)并不會對人類的人身財產(chǎn)和國家的安全造成嚴(yán)重威脅,并且能夠讓社會成員普遍接受人工智能是一種安全有效的新技術(shù)時,決策者對人工智能風(fēng)險的法律治理才具有了科學(xué)的邏輯前提。

    (二)民主進路

    該進路主張民主和倫理等價值作為人工智能風(fēng)險決策的主要依據(jù)?!翱茖W(xué)的‘客觀性實際上是給意識形態(tài)披上偽裝斗篷,而且風(fēng)險決策關(guān)系到共同體民眾整體上意愿怎樣生活。因此,科學(xué)只是一個有限的決策工具……國家應(yīng)當(dāng)采取更為民主的應(yīng)對風(fēng)險的進路?!?〔30 〕該進路強調(diào)的是人工智能風(fēng)險的社會可接受性,評價指標(biāo)為“接受程度”和“充分保護程度”,倫理價值、自治觀念及誠信和公序良俗原則的重構(gòu)顯得尤為重要。國家應(yīng)當(dāng)以立法的形式推出風(fēng)險評估及決策過程中的公眾參與制度,保證各種不同的價值判斷得到充分的闡述和尊重。

    (三)行政憲制主義

    無論是科學(xué)進路,還是民主進路,法律在人工智能風(fēng)險治理中的作用都被描述成簡單工具性的、無關(guān)緊要的或者會起妨礙作用的?!?1 〕在費雪看來,法律的作用是非常明顯的,它并不是工具性的或不相干的,它不僅精確界定和打造了“科學(xué)”“民主”“倫理價值”及“專家知識”等概念及社會影響力,而且還創(chuàng)造了人工智能風(fēng)險決策的機構(gòu)情境,控制決策者行為的合法性和合理性,規(guī)范被規(guī)制者及參與者的行為規(guī)則;法律也不會起到妨礙的作用,法律發(fā)出的不同聲音讓人工智能的風(fēng)險決策者置身于充滿競爭性規(guī)則的法律網(wǎng)絡(luò)之中,法律的妥協(xié)性有利于人工智能風(fēng)險的社會可接受性的實現(xiàn)。〔32 〕由此,行政憲制主義抓住了人工智能風(fēng)險決策情境中法律的規(guī)范性質(zhì),也抓住了因為對有原則的憲制政府存在不同認識而造成的法律的變動常性?!?3 〕

    事實上,人工智能風(fēng)險治理的主要目標(biāo)如下:保護個人數(shù)據(jù)隱私、安全及相關(guān)權(quán)益;抵御可能的集體風(fēng)險,維護國家安全、公共安全及社會穩(wěn)定;在個人數(shù)據(jù)權(quán)益保護和社會自主創(chuàng)新之間實現(xiàn)平衡。為了實現(xiàn)上述目標(biāo),我們需要重構(gòu)一個風(fēng)險治理體系,而核心問題是政府和法律的作用。該體系的特征如下:

    (一)從封閉到開放

    由于網(wǎng)絡(luò)的非開放性架構(gòu)導(dǎo)致了人工智能風(fēng)險治理結(jié)構(gòu)的封閉性,具體表現(xiàn)為“行政主體—行政相對人”的固定規(guī)制結(jié)構(gòu),這種封閉性治理結(jié)構(gòu)極大地增加公眾的存在性焦慮及風(fēng)險的社會可接受性。在抽象體系的交匯口,連接公眾與信任關(guān)系的當(dāng)面承諾,通常表現(xiàn)出明白無誤的可信任性與誠實性,并伴隨著一種“習(xí)以為常”或“鎮(zhèn)定自若”的態(tài)度。〔34 〕這就需要開放的經(jīng)濟、開放的社會和開放的政府,開放是人類社會之所以能夠進步最深厚、最強大的基礎(chǔ)。〔35 〕在人工智能時代,建立政府與公眾之間的這種抽象性信任機制的最好辦法,是實現(xiàn)從風(fēng)險規(guī)制到風(fēng)險治理的轉(zhuǎn)變,是重構(gòu)一種以“開放和分享”為特征的法律治理結(jié)構(gòu)。這種結(jié)構(gòu)以風(fēng)險治理過程中的多元主體參與和風(fēng)險評估、決策制度的過程復(fù)合性為基本特征,以政府及其他主體所處的制度環(huán)境和多元互動為焦點,以協(xié)商式行政方式建構(gòu)風(fēng)險治理的網(wǎng)絡(luò)和關(guān)系契約。

    (二)從單維度到多維度

    面對著以復(fù)雜、不確定性和失控性為特征的人工智能風(fēng)險,我們需要一種整體性的風(fēng)險治理體系,即應(yīng)當(dāng)從中央與地方、政府與市場、立法與行政、國家與社會四個面向,以開放和多維度的方式來重構(gòu)治理結(jié)構(gòu),意在實現(xiàn)政府、市場、社會及公眾之間的一個新型社會,一個更開放的社會,一個權(quán)力分享的社會,一個網(wǎng)狀的社會。具體來說,對于人工智能的風(fēng)險治理,我們要實現(xiàn)從單維度到多維度的轉(zhuǎn)變,我們不僅需要政府的規(guī)制,也需要市場的自發(fā)秩序;我們不僅需要全國人大的立法規(guī)制,也需要國務(wù)院的行政規(guī)制;我們不僅需要中央政府高屋建瓴式的領(lǐng)導(dǎo)性規(guī)制,也需要地方政府對癥下藥式的自主性規(guī)制;我們不僅需要國家的外在強制性規(guī)制,也需要包括平臺公司在內(nèi)的社會自我規(guī)制。

    (三)從單向授權(quán)到雙向運動

    傳統(tǒng)的風(fēng)險治理結(jié)構(gòu)的特征往往是政府向市場、行政向立法、中央向地方、國家向社會的單向權(quán)力運動或放權(quán),但對于人工智能的治理,我們需要一種雙向的權(quán)力(利)運動模式,即承認上述單向運動的合理性和有效性的同時,還需要一種反向的權(quán)力(利)運動形式,即市場向政府、立法向行政、地方向中央、社會向國家的鱘魚回歸式的權(quán)力(權(quán)利)運行,這一點從某種意義上更為重要。

    由此,現(xiàn)有的以追求秩序行政為目標(biāo),以法律保留原則、法律安定性原則和法律明確性原則為基石的封閉式行政法學(xué)理論顯然不足以抑制人工智能帶來的風(fēng)險。我們無法再以絕對性、確定性、統(tǒng)一性、可計算性為前提的法學(xué)理論來構(gòu)建前人工智能時代的法律秩序,我們需要一種以“開放與分享”為基本特征的整體性四維雙向風(fēng)險治理體系。

    三、四重雙向風(fēng)險治理體系第一維:政府與市場

    根據(jù)政府參與的深度和廣度,對于人工智能風(fēng)險的治理大致可以分為私法模式和公法模式,私法模式以市場為基石,公法模式則以政府為基石。而政府與市場的關(guān)系則是四重雙向風(fēng)險治理體系的第一維度。

    (一)正向運動

    正向運動的產(chǎn)生原因是什么呢?由于包括技術(shù)和效率等國家能力的欠缺,以及基于經(jīng)濟便利和政治因素的考量,政府在很多情況下會考慮通過企業(yè)力量和市場機制來實現(xiàn)人工智能行業(yè)的發(fā)展以及對其風(fēng)險的防范。但“未來社會的生產(chǎn)部門主要由少數(shù)的從業(yè)者、機器人以及人工智能共同完成,而憤怒的失業(yè)者則構(gòu)成了社會中的不安定因素”?!?6 〕從實踐來看,人工智能發(fā)展的根本推動力是商業(yè)企業(yè)的市場邏輯,其本質(zhì)是平臺公司以最低成本利用社會中的生產(chǎn)資料和勞動力,獲得高額剩余價值。剛開始是依靠瘋狂抓取、交易和其他不正當(dāng)競爭方式獲得大量數(shù)據(jù);后來隨著《國家安全法》和最高人民法院、最高人民檢察院《關(guān)于侵犯公民個人信息刑事案件解釋》的出臺,獲取數(shù)據(jù)的社會成本和風(fēng)險不斷增長,如微信等平臺公司開始努力把既有用戶改造成免費的內(nèi)容生產(chǎn)者,于是用戶的數(shù)據(jù)也就成為了平臺企業(yè)的資本。等到發(fā)展到一定規(guī)模,這些新型生產(chǎn)方式開始尋求國家和法律認可的“合法性”。在這過程中,我們看到了人工智能的“非法興起”過程,〔37 〕也看到了政府在“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”口號下對市場不斷放權(quán)而形成了“正向運動”過程中的“野蠻生長”問題。而在后“野蠻生長”階段,政府如何通過法律上確認人工智能這類新生產(chǎn)方式的合法性以及如何對相關(guān)利益進行合理配置,這將是非常關(guān)鍵的問題?!?8 〕

    在政府放任的“野蠻生長”階段,“非法興起”使得市場和平臺公司等商業(yè)力量迅速成為人工智能發(fā)展的主要推動機制。以此為契機,我國在自動駕駛、語音及人臉識別、智能投顧、機器人等人工智能領(lǐng)域都取得了長足進步;以深度學(xué)習(xí)為代表的機器技術(shù)開始進入政府的智慧城市建設(shè);206工程強勢進入上海法院,人工智能開始成為司法機關(guān)重要的輔助決策系統(tǒng),甚至被認為是法院的未來圖景。以“政府?dāng)?shù)據(jù)開放”為例,政府與企業(yè)力量、市場機制實現(xiàn)深度融合的方式如下:〔39 〕

    第一,政府和企業(yè)的全方位戰(zhàn)略合作。如上海市政府與騰訊公司簽訂了戰(zhàn)略合作框架協(xié)議,共建智慧城市。雙方通過云計算和大數(shù)據(jù)能力,推動信息化服務(wù)產(chǎn)業(yè)鏈條的完形,以及在社會信用管理等領(lǐng)域進行大數(shù)據(jù)技術(shù)的探索。〔40 〕第二,政府機關(guān)委托企業(yè)經(jīng)營的數(shù)據(jù)大平臺。如阿里健康受國家食藥總局委托作為藥品電子監(jiān)管網(wǎng)技術(shù)運營商,提供技術(shù)及維護服務(wù),但網(wǎng)站的所有權(quán)歸國家食藥總局所有,目前經(jīng)營權(quán)移交回國家食藥總局。〔41 〕第三,政府和企業(yè)利用共享大數(shù)據(jù)的合作治理。如最高人民法院首次聯(lián)手芝麻信用共享被執(zhí)行人信息,開創(chuàng)了第三方商業(yè)征信機構(gòu)首次通過最高人民法院官方授權(quán),通過互聯(lián)網(wǎng)聯(lián)合信用懲戒的先河,主要方式是限制失信被執(zhí)行人購買機票、租車、貸款?!?2 〕第四,政府和企業(yè)合作運營綜合性的數(shù)據(jù)大平臺。如云上貴州系統(tǒng)平臺是全國首個省級政府和企業(yè)數(shù)據(jù)統(tǒng)籌存儲、共享開放和開發(fā)利用的云服務(wù)平臺。帶動企業(yè)、社會數(shù)據(jù)集聚及開發(fā)應(yīng)用,提升政府治理能力現(xiàn)代化水平,推動產(chǎn)業(yè)發(fā)展,服務(wù)改善民生?!?3 〕第五,企業(yè)提供技術(shù)平臺,由政府自主運行數(shù)據(jù)平臺。如備受爭議的全國教育技術(shù)服務(wù)平臺(IME平臺)由天天艾米公司免費幫助教育部搭建,具體負責(zé)運營的是教育部直屬事業(yè)單位教育信息管理中心。〔44 〕

    (二)反向運動

    作為人工智能風(fēng)險治理維度之一的政府和市場關(guān)系,往往會經(jīng)歷雙向運動?!艾F(xiàn)代社會的原動力是由一雙重傾向支配著:一方面是市場不斷的擴張,另一方面是這個傾向遭到一個相反的傾向——把市場之?dāng)U張局限在一個特定的方向——的對抗。這一對抗自律性市場危害性的社會保護傾向非常重要。” 〔45 〕具體來說,作為正向運動的市場力量盲目擴張帶來的外部性問題是市場機制本身所無法解決的,這就需要一場旨在保護人、自然和社會組織的反向運動。

    那么,這種反向運動的產(chǎn)生原因是什么呢?自生自發(fā)的市場秩序從來都是烏托邦,人工智能帶來的巨大風(fēng)險自然也不能由市場機制本身所能化解,而市場機制自身所帶來的外部性卻日益顯現(xiàn),具體表現(xiàn)在:

    第一,隱私權(quán)。身處后隱私時代的我們,人人都變成了“透明人”,并深陷于一個巨大的“黑箱社會”之中?!吧鐣€體不知道自己有多少信息被記錄了,這些信息會傳播到什么地方,也不知道哪些人會使用它,使用這些信息的目的何在,更無從知道這些信息的泄露會產(chǎn)生怎樣的后果,依據(jù)這些信息所作的判斷是否準(zhǔn)確,是否存在偏見或破壞性?” 〔46 〕事實上,微信決定了我們是誰,淘寶和京東決定了我們想要什么,攜程和滴滴決定了我們?nèi)ツ膬?,而百度決定了我們怎么想,微博則決定了我們心中的“她”。我們在不經(jīng)意間把自己的隱私權(quán)利和自由轉(zhuǎn)交給了一個缺乏倫理道德標(biāo)準(zhǔn)的冷血人工智能之網(wǎng),我們深陷其中,再也無力掙脫。從隱私需求的整體性看:隱私保護已成為互聯(lián)網(wǎng)用戶和非互聯(lián)網(wǎng)用戶的共同關(guān)切。〔47 〕由于大數(shù)據(jù)的爆炸性增長和云計算能力的指數(shù)級進步,我們的風(fēng)險不再僅僅局限于隱私的泄露,還在于我們成為了“不會被忘記的人”,更為可怕的是,我們還成為了“被決定未來的人”。

    就人類而言,時間是最好的療傷劑,遺忘是常態(tài),記憶才是例外。但隨著人工智能時代的到來,這種平衡被打破了。往事像炫目的刺青一樣永遠刻在我們的數(shù)字皮膚上,洗也洗不掉!隨著海量數(shù)據(jù)存在越來越廉價的云存儲器上,平臺企業(yè)對數(shù)據(jù)的獲取成本遠遠比選擇性刪除某些需要被遺忘數(shù)據(jù)的時間成本要低得多。于是,“在信息權(quán)力與時間的交會處,永遠的記憶創(chuàng)造了空間和實踐圓形監(jiān)獄的幽靈。完整的數(shù)字化記憶摧毀了歷史,損害了我們的判斷和我們及時行動的能力”。〔48 〕

    隱私的傳統(tǒng)保護模式主要是一種私法機制,采取的是目前仍舊在世界廣泛流行的嚴(yán)格的“告知-許可-例外”權(quán)利模式。雖然隱私保護的對象大致經(jīng)歷了從住宅到人、到信息再到數(shù)據(jù)的轉(zhuǎn)變,但不變的是在這個過程中市場始終起到了基礎(chǔ)性的配置作用。但在人工智能時代,這種私法保護模式將面臨著越來越多的局限性:其一,不管是告知與許可、模糊化還是匿名化,這三大傳統(tǒng)的隱私保護策略都將失效?!?9 〕如作為“隱私例外”法律基礎(chǔ)的“匿名化”將由于撞庫和大數(shù)據(jù)等再識別技術(shù)出現(xiàn)而難以奏效。美國在線隱私再識別案充分證明了這一點,撞庫技術(shù)使用戶代碼與“如何殺死你的妻子”“死人的照片”和“撞車照片”等聯(lián)系在一起?!?0 〕其二,人工智能的預(yù)測能力的確可以為我們打造一個更安全、更高效的社會,但是“未來一切被預(yù)測”卻否定我們之所以為人的重要組成部分——自由選擇的能力和行為責(zé)任自負。〔51 〕以上局限性亟待政府主導(dǎo)的反向運動通過保護性干預(yù)來突破,畢竟“規(guī)范和監(jiān)督個人數(shù)據(jù)處理行為,保護個人隱私不受侵犯是每個國家的基本義務(wù)”?!?2 〕具體如下:

    1.建議政府重構(gòu)一種能夠平衡公共利益和個人利益之間關(guān)系的隱私權(quán)保護模式,既保護公民的隱私權(quán)益,也要通過數(shù)據(jù)再利用實現(xiàn)巨大的經(jīng)濟價值和社會效應(yīng)。具體包括:一是,該模式應(yīng)更注重數(shù)據(jù)使用者的企業(yè)、公眾為其行為承擔(dān)法律責(zé)任,而不是將重心放在收集數(shù)據(jù)之初取得隱私權(quán)者的同意上?!?3 〕二是,該模式提倡“差別隱私”,即政府和企業(yè)應(yīng)當(dāng)通過對數(shù)據(jù)進行模糊化處理,使確定個人與特定數(shù)據(jù)的因果關(guān)系變得困難,〔54 〕公民的隱私自然得到保護。

    2.建議政府發(fā)動一場“互聯(lián)網(wǎng)遺忘”運動。提倡數(shù)字化節(jié)制、保護信息隱私權(quán)、建設(shè)數(shù)字隱私權(quán)基礎(chǔ)設(shè)施、調(diào)整人類的現(xiàn)有認知、打造良性的信息生態(tài)以及完全語境化等對策?!?5 〕具體而言,人類走出“數(shù)字記憶”的最好方法就是刪除,恢復(fù)人們的記憶能力。對政府而言,就是確定數(shù)據(jù)時效性問題,即政府通過行政立法的方式規(guī)定不同類型的數(shù)據(jù)必須刪除的最長時間,而數(shù)據(jù)的存續(xù)時間長短取決于數(shù)據(jù)的經(jīng)濟價值、社會效應(yīng)及法律風(fēng)險等;對于公民而言,則是被遺忘權(quán)的問題,“不是通過委以技術(shù)手段將數(shù)字化記憶的問題推離我們的意識,恰恰相反,讓人們察覺到遺忘的價值和重要性”,〔56 〕這就需要政府通過立法方式正式賦予公民“被遺忘權(quán)”。

    第二,倫理問題。不管我們是否承認,“一切被記錄,一切被監(jiān)管”的人工智能時代已經(jīng)來臨,數(shù)據(jù)開放帶來的倫理問題若隱若現(xiàn),具體表現(xiàn)在:

    1.大數(shù)據(jù)和高級算法可能會使所有人喪失了未來的自由選擇權(quán)。當(dāng)醫(yī)療數(shù)據(jù)集比醫(yī)生更了解病人身體狀況、醫(yī)療病例和醫(yī)療方法時,絕大多數(shù)病人的選擇很可能是拋棄醫(yī)生,而選擇相信精確算法基礎(chǔ)上的人工智能;當(dāng)基于高級算法的數(shù)據(jù)集能夠準(zhǔn)確預(yù)測員工未來幾年的能力值、忠誠度、經(jīng)濟貢獻值以及生育計劃的話,公司會選擇據(jù)此提前解雇某些可能成為負資產(chǎn)的員工;當(dāng)基于高級算法的健康數(shù)據(jù)集能夠預(yù)測某人未來的健康狀況時,那么沒有保險公司愿意接受他的人壽保險申請;更為恐怖的是,當(dāng)基于算法的信用數(shù)據(jù)集可以預(yù)測某人未來犯罪的可能性時,公安部門可能會以“預(yù)防犯罪”為名提前干預(yù)他的自由權(quán)利。大數(shù)據(jù)的高速流動和再利用也許可以“打造一個更安全、更高效的社會,但是卻否定了我們之所以為人的重要組成部分——自由選擇的能力和行為責(zé)任自負。大數(shù)據(jù)成為了集體選擇的工具,但也放棄了我們的自由意志”。〔57 〕而“算法共謀承擔(dān)責(zé)任的主體也存在著較大的爭議,使人類和機器的責(zé)任模糊化”。〔58 〕

    2.大數(shù)據(jù)和高級算法可能會帶來數(shù)據(jù)歧視問題。數(shù)據(jù)表面上看是中立的,似乎并不涉及價值判斷,但在數(shù)據(jù)商業(yè)化過程中,一旦冷冰冰的政府?dāng)?shù)據(jù)加上高深理性的算法,數(shù)據(jù)歧視的產(chǎn)生可能就不可避免了。當(dāng)健康大數(shù)據(jù)可以基本準(zhǔn)確預(yù)測某位孕婦可能懷的是女孩,該孕婦可能會據(jù)此選擇墮胎,這是典型的性別歧視;當(dāng)司法大數(shù)據(jù)推測黑人的犯罪率較高或阿拉伯人成為恐怖分子的可能性較高,那么監(jiān)管部門可能會對他們重點監(jiān)管,甚至提前預(yù)防犯罪,而有些公司也可能會據(jù)此拒絕雇傭他們,這就是典型的種族歧視和職業(yè)歧視;當(dāng)電商平臺根據(jù)消費大數(shù)據(jù),用高級算法作一個精確的推薦系統(tǒng),如收入較低的顧客瀏覽此平臺時,非常多的打折信息會不斷跳出來騷擾,又如平臺給“經(jīng)常打好評”和“很少退貨者”寄送假貨,而某旅游網(wǎng)站的“同房不同價”,這是典型的消費歧視。這就是人工智能時代“開放的大數(shù)據(jù)”加上“復(fù)雜卻差異化的算法”帶來的歧視,這是商業(yè)領(lǐng)域隱匿的“窮人與狗不得入內(nèi)”?!?9 〕

    以上市場外部性亟待政府的反向運動通過保護性干預(yù)來解決。具體包括:

    1.建議政府通過立法方式重塑“公正”“合法推定原則”及“無罪推定原則”等概念。在充斥著“過去決定未來”及“數(shù)據(jù)預(yù)測未來”的人工智能社會,政府需要重新定義公正的概念,“個人動因的保護”應(yīng)成為公正的新內(nèi)容。人們應(yīng)該只為他們的行為負責(zé),而不能為未來的趨勢或傾向負責(zé),應(yīng)當(dāng)堅決杜絕政府或企業(yè)依據(jù)大數(shù)據(jù)預(yù)測的行為而非真實的行為對人們進行評級或獎懲。只有這樣,自然人在法律上才是作為真正的“人”來對待,他們有行為選擇自由和通過自主行為被評判的人。這是人工智能時代的“合法推定原則”及“無罪推定原則”的新含義?!?0 〕

    2.建議政府通過立法的方式積極推動企業(yè)算法的公開、公平和公正等特別保護措施。對于政府行為的合法性和合理性,法律設(shè)置了非常詳盡的實體法和程序法的規(guī)定。但對于同樣涉及我們每個人的權(quán)利和自由(甚至我們的未來)等重要利益的企業(yè)決策和評價,法律卻沒有任何限制性規(guī)定,這在法理上是說不通的。因為商業(yè)算法會直接影響到我們每個人的利益,所以企業(yè)不僅要遵循公開原則,向全社會無條件公布算法的具體內(nèi)容;企業(yè)還要遵循正當(dāng)程序原則,不能既作算法的評分裁判者又作算法的事實參與者;企業(yè)還要遵循可辯駁原則,企業(yè)在對用戶作出不利的評價之前,必須給用戶辯駁和說明理由的機會。

    總之,市場向政府的反向運動在法律上主要體現(xiàn)為公法模式。這種風(fēng)險治理模式是通過政府有意識的保護性立法和政府干預(yù)手段而實現(xiàn)。它強調(diào)的是政府的強力介入,通過詳盡規(guī)則的出臺,政府的人為設(shè)計甚至是政府的制度性導(dǎo)向來實現(xiàn)人工智能風(fēng)險的治理。這種模式中起主要作用的公法機制,往往是顯性的。以歐盟為例,對于人工智能涉及的個人隱私等權(quán)利保護,成員國并非依賴私法權(quán)利體系及個人司法救濟來實現(xiàn),而主要通過公法機制來實現(xiàn)。“從《數(shù)據(jù)保護指令》到《統(tǒng)一數(shù)據(jù)保護條例》,歐盟一直致力于建立‘行業(yè)行為準(zhǔn)則+法律強制性規(guī)范的雙重規(guī)范體系和‘?dāng)?shù)據(jù)控制者自律+政府?dāng)?shù)據(jù)監(jiān)管機構(gòu)的監(jiān)督管理的雙重管理體系,尤其是新的條例要求歐盟各成員國均要建立獨立的數(shù)據(jù)監(jiān)管機構(gòu),建立數(shù)據(jù)主體向監(jiān)管機構(gòu)投訴、受理及處理的一整套完備的行政救濟制度框架。” 〔61 〕

    四、四重雙向風(fēng)險治理系統(tǒng)第二維:立法與行政

    人工智能的風(fēng)險治理應(yīng)當(dāng)以公民基本權(quán)利的保護為根本出發(fā)點,基于人工智能風(fēng)險預(yù)防特征,考察不同國家權(quán)力在手段與功能上的配置,實現(xiàn)治理責(zé)任的轉(zhuǎn)移和優(yōu)化。〔62 〕行政、立法及司法三項主要國家權(quán)力如何在人工智能風(fēng)險的法律治理中實現(xiàn)合法合理的分工,這也是一個非常關(guān)鍵的問題。

    (一)正向運動

    在人工智能風(fēng)險治理的職能分工中,行政機關(guān)因其權(quán)力的獨特性承擔(dān)了越來越多的責(zé)任。由此,立法向行政放權(quán)的正向運動開始啟動,具體有三種方式:通過《立法法》及其他法律的明文授權(quán),授予行政機關(guān)廣泛的行政立法權(quán);通過法律文本中的不確定概念賦予行政機關(guān)更多的自由裁量權(quán);通過設(shè)置“風(fēng)險預(yù)防原則”賦予行政機關(guān)更多的事實上的風(fēng)險決策權(quán)。而這個正向運動主要是由行政的以下特性決定:

    第一,主動性及調(diào)動資源的能力?!靶姓淖饔迷谟谛纬缮鐣?、實現(xiàn)國家目的,特別是在福利國家或社會國家中,國家的任務(wù)更為龐雜而繁重,行政往往必須積極介入社會、經(jīng)濟、文化、教育、交通等各種關(guān)系人民生活的領(lǐng)域,成為一只處處看得見的手,如此方能滿足人民和社會的需要?!?〔63 〕相比立法、司法,行政是一種積極主動的國家作用,這種積極主動性也隨之帶來了強大的調(diào)動國家、社會資源的能力,這對于人工智能風(fēng)險的治理至關(guān)重要。

    人工智能風(fēng)險標(biāo)準(zhǔn)的制定、評估及反饋需要查閱和收集大量相關(guān)的風(fēng)險信息。這類相關(guān)信息往往涉及人工智能風(fēng)險的法律性質(zhì)、影響的范圍以及政府治理的法律后果,甚至可能直接關(guān)系到人工智能項目的生與死?!?4 〕另外,人工智能風(fēng)險標(biāo)準(zhǔn)制定、評估及反饋不僅需要決策者與相關(guān)利益者之間進行大量的商談,還需要上下級決策者之間的日常式溝通。根據(jù)人工智能風(fēng)險的性質(zhì)不同,這種交流和對話可以包括收集風(fēng)險信息、咨詢專家意見、各種形式的公眾參與以及利益集團的討價還價?!?5 〕對于這樣全天候待機式的工作,立法機關(guān)既沒有時間也沒有迅速集中大量資源的能力,顯然無法勝任。

    第二,專業(yè)性。在時間和空間分離的巨大跨距之中,脫域機制通過將社會關(guān)系從它們所處的特色的地域“情境”中提取出來,使得這種時空延伸成為可能。〔66 〕而專家系統(tǒng)正是這樣一種能夠預(yù)防人工智能風(fēng)險的抽象式脫域機制。對專家系統(tǒng)的依賴和對專家知識的需求,正是行政替代立法及司法發(fā)揮某些國家作用的傳統(tǒng)理由之一。由于行政機關(guān)往往只承擔(dān)一項具體的任務(wù),其工作人員也可以只聚焦于特定行業(yè)的相關(guān)事項,他們很容易成為某一領(lǐng)域的專家。同時,在日常工作中他們還需要跟各種具有不同特定技能、經(jīng)驗或知識背景的專業(yè)人士打交道,具有短時間內(nèi)組織和聚集科學(xué)共同體和職業(yè)共同體中頂尖專家的能力。這種專家化和專業(yè)化的優(yōu)勢對于人工智能風(fēng)險的治理至關(guān)重要,治理過程所需要的專家系統(tǒng)是一個各行業(yè)各領(lǐng)域?qū)<抑R在人工智能風(fēng)險的評估和標(biāo)準(zhǔn)制定過程中的綜合預(yù)測和運用的過程。

    第三,靈活性。與立法機關(guān)、司法機關(guān)相比,行政機關(guān)在機構(gòu)組織形式、行政負責(zé)人的挑選與任期、行使職權(quán)的方式等各方面具有更大的自由裁量空間和更多靈活性。事實上,行政機關(guān)依據(jù)《立法法》擁有了廣泛的立法性權(quán)力,依據(jù)《行政復(fù)議法》擁有了處理法律糾紛的司法性權(quán)力,而且還能發(fā)揮其實施法律的傳統(tǒng)國家作用。這種“三位一體”的行政權(quán)所體現(xiàn)的靈活性對人工智能的風(fēng)險治理意義重大。風(fēng)險標(biāo)準(zhǔn)制定中的核心問題是風(fēng)險的可接受性,這不僅需要考慮特定的科學(xué)評估及客觀事實,而且也要關(guān)注不同社會階層的社會利益和政治關(guān)懷。事實上,立法機關(guān)雖然是最民主的,但其不具備處置具體風(fēng)險的專家系統(tǒng)、機構(gòu)能力和時間;同樣法院也不具備專家系統(tǒng),不具備可用來收集風(fēng)險信息和商談的手段,更缺乏主動對特定風(fēng)險的持續(xù)監(jiān)管與及時反應(yīng)的能力。〔67 〕由此,人工智能風(fēng)險標(biāo)準(zhǔn)的制定過程中所涉及沖突的利益考量及具體的政治平衡只能由兼具主動性、集中調(diào)動資源的能力、專業(yè)性及靈活性的行政機關(guān)來完成。

    (二)反向運動

    由于行政缺乏民主正當(dāng)性,“行政立法”“行政司法”及廣泛的“行政自由裁量權(quán)”存在合憲性上的先天性缺陷,行政這個過度膨脹的當(dāng)代憲制國家“尷尬傳家寶”面臨著“鳩占鵲巢”的嫌疑,這樣一種強大的利維坦式國家作用令人感到不安且充滿了法律爭議。于是,一場保護性的反向運動應(yīng)運而生,核心問題是如何控制人工智能風(fēng)險治理中的行政自由裁量權(quán),而這正是法律的主要功能。這種法律的作用本質(zhì)上是一種行政憲制主義的形式,重點是如何把治理人工智能風(fēng)險的問題融入公共行政的合法性、合理性及有效性的法律爭論之中?!?8 〕為此,費雪提出兩個不同的行政憲制主義范式,這些范式不但解釋了立法與行政之間的憲法關(guān)系,而且也描述了法律作用與風(fēng)險評估、決策以及民主、科學(xué)之間的相互依賴關(guān)系。

    第一,理性—工具范式。該范式下行政的人工智能風(fēng)險評估及決策行為,可看作是對立法授權(quán)所完成的“傳送帶”動作,包括確認特定的技術(shù)風(fēng)險,評估可能采取的規(guī)制手段的法律后果及用“利益代表制”確認社會的價值偏好?!?9 〕該范式解決了風(fēng)險治理中行政的合法性,評價標(biāo)準(zhǔn)是法律是否得到完全的貫徹實施。但立法機關(guān)并沒有能力對不確定的人工智能風(fēng)險的治理制定出具體明確的指令,這顯然是不可能完成的任務(wù)。事實上,行政行為合法性已不再僅僅聚焦于“防止行政機關(guān)對私人自治領(lǐng)域的未授權(quán)的侵入,而是確保所有受影響利益在行政機關(guān)行使其被授予的立法權(quán)力過程中得到公平的代表”,〔70 〕事實上的廣泛行政自由裁量權(quán)在人工智能時代也不可避免。

    第二,商談—建構(gòu)范式。該范式主張授予行政機關(guān)行使實質(zhì)性、強自由的裁量權(quán),立法并非是一套精確的命令,而只是為行政裁量權(quán)設(shè)定一般性原則和考慮的相關(guān)因素。行政不再只是立法的代理人,而是實施其自由意志的機構(gòu)?!?1 〕該范式為“社會可接受性”這一人工智能風(fēng)險治理的關(guān)鍵點提供了可靠的法律機制,而商談是行政機關(guān)在風(fēng)險標(biāo)準(zhǔn)制定過程中用于厘清相關(guān)問題、確定專家知識及作出最終決策的絕佳工具。這種基于商談基礎(chǔ)上的風(fēng)險治理體系的成功建構(gòu)并不是商談的民主性質(zhì),而是一種集體共同解決問題的優(yōu)先手段,這是一種公共理性?!?2 〕

    事實上,從“行政憲制主義”重新描述人工智能的風(fēng)險治理,也許并不能直接產(chǎn)生具體的技術(shù)解決方案,但卻打開了一扇理論建構(gòu)之窗,這有利于我們重新定位法律和政府在人工智能風(fēng)險決策中的重要作用,并促使行政法學(xué)者開始試圖重構(gòu)人工智能風(fēng)險的整體法律治理系統(tǒng)。

    五、四重雙向風(fēng)險治理系統(tǒng)第三維:中央與地方

    上文提到了市場與政府、立法與行政之間的雙向運動,而縱向的央地關(guān)系也是難以回避的維度。

    (一)正向運動

    地方政府一方面基于“GDP錦標(biāo)賽”的需求,積極推動本地經(jīng)濟試驗與人工智能產(chǎn)業(yè)發(fā)展深度融合,人工智能產(chǎn)業(yè)的實踐推手主要是地方政府而非中央政府;另一方面,對于隨之而來的人工智能風(fēng)險,地方政府也是身先士卒地積極探索法律治理模式,并不斷積累經(jīng)驗。我國是一個民主集中制原則下的單一制國家,其特征是中央的領(lǐng)導(dǎo)權(quán)和地方的自主權(quán)有機結(jié)合。而在人工智能的產(chǎn)業(yè)發(fā)展和風(fēng)險治理實踐中,我國出現(xiàn)了一個明顯的中央向地方不斷授權(quán)以及地方自主權(quán)不斷擴大的正向運動,這種正向運動的產(chǎn)生原因如下:

    第一,單一制與有效治理的融合。按照憲法的規(guī)定,我國是單一制國家,體現(xiàn)為中央在財政、人事、自然資源等方面對地方的最高領(lǐng)導(dǎo)權(quán),而有效治理能力的增強是以地方自主權(quán)的擴大為基礎(chǔ),法律上表現(xiàn)為中央向地方的自上而下的放權(quán)和授權(quán)。周雪光把這種中國國家治理邏輯歸納為“一統(tǒng)體制和有效治理的關(guān)系”。〔73 〕同樣,面對人工智能風(fēng)險的不確定性,尤其在“地廣人多”和“經(jīng)濟發(fā)展不均衡”的社會情境下,我國實現(xiàn)對人工智能風(fēng)險的有效治理的良方之一是中央向地方不斷放權(quán)和授權(quán)。在這過程中,中央與各省之間存在一種顯性或隱性的談判,各省得到是制度化的或特定的某種利益,而作為回報,各省保證將代表中央以特定的方式做出行動?!?4 〕于是,單一制與有效性在人工智能風(fēng)險治理領(lǐng)域?qū)崿F(xiàn)了融合。

    第二,新時代的特色法治經(jīng)驗。重構(gòu)人工智能風(fēng)險的治理體系大致需要以下幾步:第一步,由地方政府就風(fēng)險治理先行先試,積累有效治理的初步經(jīng)驗;第二步,由地方人大基于已有的“地方性經(jīng)驗”制定“地方性立法”,然后進一步試錯并積累經(jīng)驗;第三步,由國務(wù)院在充分總結(jié)地方經(jīng)驗教訓(xùn)的基礎(chǔ)上制定行政法規(guī);第四步,如有必要,再考慮上升為法律,適用于全國。這種新時代的特色法治經(jīng)驗的形成主要有兩個依據(jù):其一,我國經(jīng)濟文化情境差異巨大。我國疆域廣闊,人口眾多,多民族多文化,經(jīng)濟發(fā)展極度不平衡,東部、西部以及南方、北方的地理氣候資源變化多端,這決定了我國需要“差異化”的地方性立法及行政;其二,“民主集中制”原則 〔75 〕為新時代特色法治經(jīng)驗提供了堅實的憲法基礎(chǔ)。

    由此看來,對于人工智能的風(fēng)險治理,地方行使自主權(quán)是法律的常態(tài),而中央行使領(lǐng)導(dǎo)權(quán)則是法律的例外。只有當(dāng)?shù)胤降男袨榭赡芨淖冎醒牒偷胤降恼纹胶鈺r,中央領(lǐng)導(dǎo)權(quán)的介入才有必要?!?6 〕而地方的主要工作如下:

    第一,出臺人工智能的地方規(guī)劃及行動方案。據(jù)不完全統(tǒng)計,截至2018年3月,全國31省、自治區(qū)、直轄市中,包括北京、〔77 〕上海、〔78 〕廣東 〔79 〕及浙江 〔80 〕等15個省市已經(jīng)發(fā)布了人工智能規(guī)劃,其中的12個省市還進一步提出了具體的產(chǎn)業(yè)目標(biāo),目前還有江蘇、山東、河南、陜西等省市正在編寫人工智能規(guī)劃。另外,其中的27個省市在“互聯(lián)網(wǎng)+”規(guī)劃中提及人工智能、22個省市在戰(zhàn)略新興產(chǎn)業(yè)規(guī)劃中設(shè)置了“人工智能專項”、19個省市在大數(shù)據(jù)規(guī)劃中提及人工智能、9個省市在科技創(chuàng)新規(guī)劃中設(shè)置了“人工智能章節(jié)”?!?1 〕這些規(guī)劃的核心內(nèi)容是:發(fā)揮地方政府在培育人工智能產(chǎn)業(yè)中環(huán)境營造、政策支持、規(guī)劃引導(dǎo)等方面的重要作用;嘗試建立人工智能風(fēng)險治理的組織機制,擬建立由分管市領(lǐng)導(dǎo)牽頭,科委、產(chǎn)業(yè)園等參加的工作協(xié)調(diào)機制。上海、廣東以及浙江等省市的規(guī)劃也有類似的規(guī)定。

    第二,制定實驗性政策及地方立法。地方政府應(yīng)當(dāng)加強人工智能相關(guān)法規(guī)、倫理和社會問題研究,推動建立保障人工智能發(fā)展的法規(guī)和倫理道德框架。根據(jù)新時代的特色法治經(jīng)驗,在人工智能產(chǎn)業(yè)發(fā)達的城市,如深圳或杭州就風(fēng)險治理進行試點,積累有效治理的初步經(jīng)驗;由地方人大基于已有“地方性經(jīng)驗”制定“地方性立法”,然后進一步試錯,為國務(wù)院制定行政法規(guī)和未來的全國人大立法提供實踐基礎(chǔ)和理論支撐。

    第三,試驗性設(shè)立獨立的人工智能風(fēng)險及安全監(jiān)管機構(gòu)。地方立法既要保證該監(jiān)管機構(gòu)組成機構(gòu)及成員的獨立性,也要確保監(jiān)管機構(gòu)行使職權(quán)時程序上的透明度。安全監(jiān)管委員會的主要成員可以從所在地公安局及市場監(jiān)管局選任,該機構(gòu)應(yīng)當(dāng)具有如下主要職責(zé):人工智能風(fēng)險的評估及風(fēng)險標(biāo)準(zhǔn)的制定、風(fēng)險決策過程正式和非正式的公眾參與制度的出臺、對人工智能平臺企業(yè)行使行政調(diào)查權(quán)及限期整改等矯正性權(quán)力、向上級機關(guān)或立法機關(guān)提出建議的權(quán)力以及定期發(fā)布人工智能風(fēng)險預(yù)警和治理的年度報告等。

    由此,地方政府主導(dǎo)的人工智能風(fēng)險治理試驗從宣示開明的政治姿態(tài)演變?yōu)閯討B(tài)的經(jīng)濟實踐,其內(nèi)在的政治與法律意涵開始不斷豐富?!?2 〕

    (二)反向運動

    人工智能的風(fēng)險治理應(yīng)當(dāng)是一種制度化體系,這種頂層制度設(shè)計只能由中央政府來構(gòu)建和提供,其目的在于保護自然人的數(shù)據(jù)權(quán)益,維護國家安全、公共安全和社會穩(wěn)定,但卻不能因噎廢食,阻礙數(shù)據(jù)合法的自由流通并完全禁止人工智能的研發(fā)。我們建議,全國人大在充分吸收地方的經(jīng)驗和教訓(xùn)的基礎(chǔ)上制定《人工智能發(fā)展法》,具體制度如下:

    第一,設(shè)立人工智能系統(tǒng)的登記認證審查制度。立法的重點是圍繞如何在不阻礙創(chuàng)新的前提下最大限度控制和防范人工智能的潛在風(fēng)險,因此,除了自動駕駛系統(tǒng)這類可能對自然人的人身財產(chǎn)權(quán)造成巨大威脅以及智能武器這類可能威脅國家安全、公共安全的人工智能系統(tǒng)之外,立法并不能也沒有必要對所有的人工智能系統(tǒng)設(shè)立嚴(yán)格的事前行政許可制度。

    筆者建議,設(shè)立適用于所有人工智能系統(tǒng)的登記認證審查制度,即所有的人工智能系統(tǒng)都應(yīng)當(dāng)按照法律的要求去監(jiān)管部門登記備案,但絕大多數(shù)并不需要事先取得監(jiān)管機構(gòu)的批準(zhǔn)性許可文書。同時,實現(xiàn)認證程序與侵權(quán)責(zé)任體系深度結(jié)合。企業(yè)可以自愿申請監(jiān)管部門或授權(quán)的專業(yè)機構(gòu)的認證程序,經(jīng)過權(quán)威認證的人工智能系統(tǒng)的設(shè)計者、生產(chǎn)者或銷售者僅需承擔(dān)有限侵權(quán)責(zé)任,而沒有經(jīng)過認證的人工智能系統(tǒng)將會承擔(dān)嚴(yán)格的連帶責(zé)任?!?3 〕

    筆者還建議,設(shè)立抽查式事后的安全審查制度,監(jiān)管機構(gòu)審查的關(guān)鍵詞是“安全”,即查看人工智能系統(tǒng)“是否落實網(wǎng)絡(luò)安全等級保護制度,按照國家標(biāo)準(zhǔn)規(guī)范要求,采取管理和技術(shù)措施,保護網(wǎng)絡(luò)、信息系統(tǒng)、數(shù)據(jù)資源安全”,立法應(yīng)當(dāng)授予監(jiān)管部門“安全一票否決”的權(quán)力,即涉及“安全”問題,監(jiān)管部門有權(quán)強制啟動嚴(yán)格的事先行政許可制度,即人工智能系統(tǒng)獲得行政許可需要經(jīng)過多重多階段的嚴(yán)格安全測試,在沒有獲得許可前不能上市銷售。

    第二,設(shè)立人工智能專員制度。當(dāng)實施政府?dāng)?shù)據(jù)開放和利用的機構(gòu)是政府部門時,或者當(dāng)其核心業(yè)務(wù)是用算法處理大量數(shù)據(jù)且需要進行定期的、系統(tǒng)化的大規(guī)模監(jiān)控時,或者當(dāng)其核心業(yè)務(wù)是用算法去處理就業(yè)、社會保險與社會保障法等領(lǐng)域以及與犯罪和違法行為有關(guān)的大規(guī)模特殊數(shù)據(jù)時,立法應(yīng)當(dāng)明確要求數(shù)據(jù)控制者和處理者指定一名人工智能專員?!?4 〕人工智能專員在履職過程中,應(yīng)當(dāng)從處理行為的性質(zhì)、范圍、環(huán)境以及目的的角度合理充分關(guān)注算法和數(shù)據(jù)所帶來的不確定風(fēng)險,一旦發(fā)現(xiàn)問題需代表雇主及時向監(jiān)管機構(gòu)報告;應(yīng)當(dāng)就數(shù)據(jù)合規(guī)、算法公開以及隱私保護等內(nèi)容進行內(nèi)部的員工培訓(xùn);與監(jiān)管機構(gòu)就大數(shù)據(jù)及算法等內(nèi)容保持溝通及協(xié)作,共同抵御風(fēng)險?!?5 〕

    第三,建設(shè)國家統(tǒng)一的大數(shù)據(jù)平臺。國家統(tǒng)一大數(shù)據(jù)平臺需要有足夠的立法支撐和可操作的實施方案,同時應(yīng)當(dāng)通過立法設(shè)立首席信息官、首席技術(shù)官及首席數(shù)據(jù)官等專業(yè)機構(gòu)。這樣的國家大數(shù)據(jù)平臺只能由中央政府來建構(gòu),并且需要一個較長時間的經(jīng)驗積累和試錯。從地方分散實踐到中央統(tǒng)一立法的反向運動是可取的,我國地方數(shù)據(jù)平臺從數(shù)據(jù)量、時效性、數(shù)據(jù)集可視化、互動分享等方面與美國存在巨大的差距,其中一個重要原因是各自為政下形成的“低法治”數(shù)據(jù)割據(jù)。由此,一個旨在全面提升數(shù)據(jù)的有用性和易用性以及公眾數(shù)據(jù)利用效果的全國性數(shù)據(jù)開放平臺的建設(shè)必須提上全國人大的議事日程,應(yīng)當(dāng)將中國最為重要的政府?dāng)?shù)據(jù)統(tǒng)一集中到一個網(wǎng)站,為全國所有公眾無差別地提供一站式的、內(nèi)容豐富的、便于再利用的數(shù)據(jù)群,而這個工作只能由《人工智能發(fā)展法》來完成?!?6 〕

    猜你喜歡
    風(fēng)險治理人工智能
    我校新增“人工智能”本科專業(yè)
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    江蘇省中小企業(yè)技術(shù)創(chuàng)新風(fēng)險社會分?jǐn)傊贫葘嵺`研究
    價值工程(2017年24期)2017-07-17 15:05:01
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    山西文化旅游產(chǎn)業(yè)集群風(fēng)險治理研究
    互聯(lián)網(wǎng)金融分析
    時代金融(2016年27期)2016-11-25 16:13:38
    下一幕,人工智能!
    下一幕,人工智能!
    金融服務(wù)外包風(fēng)險治理機制及管理框架構(gòu)建
    日日啪夜夜撸| 国产成人91sexporn| 哪里可以看免费的av片| 99久久精品国产国产毛片| 欧美成人免费av一区二区三区| 中文字幕久久专区| 午夜福利在线观看免费完整高清在 | 亚洲欧洲国产日韩| 日韩制服骚丝袜av| 一区福利在线观看| 久久婷婷人人爽人人干人人爱| 99久久中文字幕三级久久日本| 精品午夜福利在线看| 精品久久国产蜜桃| 一边亲一边摸免费视频| 欧美日韩乱码在线| 97在线视频观看| 九九在线视频观看精品| 你懂的网址亚洲精品在线观看 | 午夜福利在线在线| 久久精品久久久久久噜噜老黄 | 青春草亚洲视频在线观看| 亚洲婷婷狠狠爱综合网| 亚洲av第一区精品v没综合| 99在线人妻在线中文字幕| 亚洲欧美日韩卡通动漫| 狂野欧美白嫩少妇大欣赏| 老司机福利观看| 成人综合一区亚洲| 欧美人与善性xxx| 我的老师免费观看完整版| 国产午夜精品久久久久久一区二区三区| www.色视频.com| 国产高清视频在线观看网站| 亚洲自偷自拍三级| 听说在线观看完整版免费高清| 久久久久久大精品| 久久精品影院6| 97在线视频观看| 两个人视频免费观看高清| 欧美激情在线99| 六月丁香七月| 能在线免费观看的黄片| 中文字幕制服av| 国产久久久一区二区三区| 99热这里只有是精品50| 麻豆一二三区av精品| 成人高潮视频无遮挡免费网站| 亚洲一区二区三区色噜噜| 成人国产麻豆网| 欧美激情在线99| 亚洲av不卡在线观看| 日本熟妇午夜| 我的老师免费观看完整版| 国产精品综合久久久久久久免费| 最好的美女福利视频网| 亚洲综合色惰| 床上黄色一级片| av在线天堂中文字幕| 好男人视频免费观看在线| 国产麻豆成人av免费视频| 欧洲精品卡2卡3卡4卡5卡区| 在线天堂最新版资源| 国产精品久久久久久精品电影| 美女内射精品一级片tv| 高清在线视频一区二区三区 | av.在线天堂| 在线免费观看的www视频| 久久久久九九精品影院| 久久久a久久爽久久v久久| 日本-黄色视频高清免费观看| 美女国产视频在线观看| 亚洲av免费高清在线观看| 亚洲在线观看片| 亚洲一区二区三区色噜噜| 久久人人爽人人爽人人片va| 精品人妻熟女av久视频| 国产在线男女| 少妇被粗大猛烈的视频| 少妇猛男粗大的猛烈进出视频 | 一区福利在线观看| 噜噜噜噜噜久久久久久91| 卡戴珊不雅视频在线播放| 精品一区二区三区视频在线| av女优亚洲男人天堂| 18禁黄网站禁片免费观看直播| 我的女老师完整版在线观看| 超碰av人人做人人爽久久| 一本一本综合久久| 色视频www国产| 晚上一个人看的免费电影| 青春草视频在线免费观看| 日韩,欧美,国产一区二区三区 | 国产亚洲精品久久久久久毛片| 国产三级中文精品| 我要搜黄色片| 尤物成人国产欧美一区二区三区| 国产女主播在线喷水免费视频网站 | 日本黄色视频三级网站网址| 国产成人福利小说| 久久午夜福利片| 国产69精品久久久久777片| 亚洲av成人精品一区久久| 亚洲成av人片在线播放无| 99视频精品全部免费 在线| 国产精品久久久久久亚洲av鲁大| 日韩制服骚丝袜av| 午夜亚洲福利在线播放| 99久国产av精品| 少妇熟女aⅴ在线视频| eeuss影院久久| av卡一久久| 老师上课跳d突然被开到最大视频| h日本视频在线播放| 久久人人精品亚洲av| 日韩三级伦理在线观看| 日韩强制内射视频| 国产精华一区二区三区| 嘟嘟电影网在线观看| 青春草视频在线免费观看| 美女脱内裤让男人舔精品视频 | 精品久久久久久久末码| 久久人人爽人人片av| 丝袜喷水一区| 亚洲不卡免费看| 久久久久久大精品| 亚洲精品国产成人久久av| 在线观看美女被高潮喷水网站| 99在线视频只有这里精品首页| 夜夜夜夜夜久久久久| 亚洲一区高清亚洲精品| 老师上课跳d突然被开到最大视频| 91精品一卡2卡3卡4卡| 国产在线男女| 91在线精品国自产拍蜜月| 春色校园在线视频观看| 亚洲欧美精品综合久久99| 国产色婷婷99| av天堂中文字幕网| 男人舔女人下体高潮全视频| 亚洲无线在线观看| 久久久色成人| 内地一区二区视频在线| 麻豆一二三区av精品| 亚洲欧美精品自产自拍| 男人舔女人下体高潮全视频| 舔av片在线| 国产真实乱freesex| 中文字幕久久专区| 国产高潮美女av| 亚洲欧洲国产日韩| 天堂影院成人在线观看| 精品久久久久久久久久久久久| 成人午夜精彩视频在线观看| 三级男女做爰猛烈吃奶摸视频| 天天躁夜夜躁狠狠久久av| 精品国产三级普通话版| 亚洲国产欧美人成| 国产成人影院久久av| 一级毛片我不卡| 69人妻影院| 午夜福利成人在线免费观看| 亚洲性久久影院| 亚洲精品日韩在线中文字幕 | 99久国产av精品国产电影| 又爽又黄无遮挡网站| 欧美xxxx性猛交bbbb| 日韩欧美一区二区三区在线观看| 国产av不卡久久| 国产精品三级大全| 淫秽高清视频在线观看| 深夜精品福利| 久久久精品欧美日韩精品| 免费观看的影片在线观看| 欧美高清性xxxxhd video| 欧美高清成人免费视频www| 22中文网久久字幕| 国产成人精品婷婷| 97热精品久久久久久| 久久精品久久久久久久性| 又爽又黄无遮挡网站| 国产高清三级在线| 99热这里只有是精品50| 三级毛片av免费| 国产色爽女视频免费观看| 波野结衣二区三区在线| 亚洲欧美日韩无卡精品| 亚洲欧洲日产国产| 国产黄色视频一区二区在线观看 | 麻豆一二三区av精品| 国产精品福利在线免费观看| 青青草视频在线视频观看| 男人狂女人下面高潮的视频| 18+在线观看网站| av福利片在线观看| 国产精品一及| 99国产精品一区二区蜜桃av| 男插女下体视频免费在线播放| 一边亲一边摸免费视频| 卡戴珊不雅视频在线播放| 只有这里有精品99| 99热网站在线观看| 嫩草影院入口| 色尼玛亚洲综合影院| 18+在线观看网站| 免费观看在线日韩| 免费电影在线观看免费观看| av视频在线观看入口| 麻豆乱淫一区二区| 内射极品少妇av片p| 欧美又色又爽又黄视频| 少妇被粗大猛烈的视频| 欧美在线一区亚洲| 国产av一区在线观看免费| 国产亚洲精品久久久久久毛片| 哪个播放器可以免费观看大片| 亚洲精品日韩av片在线观看| 国产午夜精品论理片| 成人高潮视频无遮挡免费网站| 日韩av不卡免费在线播放| 亚洲内射少妇av| 久久九九热精品免费| 日本三级黄在线观看| 国产成人freesex在线| 亚洲av中文av极速乱| 亚洲国产欧美在线一区| 91久久精品国产一区二区成人| 好男人在线观看高清免费视频| 一级av片app| 欧美色欧美亚洲另类二区| 男人狂女人下面高潮的视频| 亚洲不卡免费看| 亚洲成av人片在线播放无| 国产熟女欧美一区二区| 国产一区二区三区av在线 | 变态另类丝袜制服| 嫩草影院新地址| 精品一区二区三区视频在线| 欧美xxxx性猛交bbbb| 国产中年淑女户外野战色| 国产大屁股一区二区在线视频| 亚洲欧美日韩东京热| 一区二区三区高清视频在线| 国产成人91sexporn| 少妇人妻精品综合一区二区 | av在线蜜桃| 免费电影在线观看免费观看| 天天躁日日操中文字幕| 亚洲av不卡在线观看| 欧美人与善性xxx| 久久人人精品亚洲av| 少妇裸体淫交视频免费看高清| 欧美色欧美亚洲另类二区| 波多野结衣巨乳人妻| 欧美一区二区精品小视频在线| 深爱激情五月婷婷| 亚洲丝袜综合中文字幕| 久久这里只有精品中国| 亚洲欧美精品综合久久99| ponron亚洲| 亚洲av熟女| 日韩大尺度精品在线看网址| 草草在线视频免费看| 久久精品夜色国产| 亚洲一区二区三区色噜噜| 天美传媒精品一区二区| 亚洲丝袜综合中文字幕| 久久久久久久久久黄片| 日本三级黄在线观看| 亚洲激情五月婷婷啪啪| 老司机影院成人| 亚洲最大成人中文| 97在线视频观看| 尤物成人国产欧美一区二区三区| 精品久久久久久久久亚洲| 一进一出抽搐动态| 亚洲人成网站在线观看播放| 日韩成人伦理影院| 99热这里只有是精品50| 少妇熟女aⅴ在线视频| 少妇丰满av| videossex国产| 精品久久久噜噜| 国产精品日韩av在线免费观看| 一夜夜www| 国产高清激情床上av| 欧美激情国产日韩精品一区| 两性午夜刺激爽爽歪歪视频在线观看| 人人妻人人澡欧美一区二区| 日本免费a在线| 99久久成人亚洲精品观看| 小说图片视频综合网站| 久久精品久久久久久噜噜老黄 | 久久99精品国语久久久| a级毛片免费高清观看在线播放| 狂野欧美白嫩少妇大欣赏| 中国美白少妇内射xxxbb| 国产精品无大码| 成人午夜高清在线视频| 99精品在免费线老司机午夜| 久久精品国产清高在天天线| 成人二区视频| 日日啪夜夜撸| 国产人妻一区二区三区在| 久久精品国产亚洲av涩爱 | 人妻少妇偷人精品九色| а√天堂www在线а√下载| 亚洲国产精品成人久久小说 | 18禁在线无遮挡免费观看视频| 美女高潮的动态| 国产av一区在线观看免费| 国内少妇人妻偷人精品xxx网站| 岛国在线免费视频观看| 国产 一区 欧美 日韩| 日本五十路高清| 性插视频无遮挡在线免费观看| 久久久精品大字幕| av在线观看视频网站免费| 久久韩国三级中文字幕| 99热这里只有精品一区| 悠悠久久av| 欧美日韩乱码在线| 亚洲人成网站高清观看| 欧美日本亚洲视频在线播放| 69人妻影院| 真实男女啪啪啪动态图| 国产午夜福利久久久久久| 一级毛片电影观看 | 青春草亚洲视频在线观看| 三级毛片av免费| 人妻制服诱惑在线中文字幕| 国产成人91sexporn| 亚洲国产精品成人久久小说 | 爱豆传媒免费全集在线观看| 给我免费播放毛片高清在线观看| 99久久人妻综合| 99久久九九国产精品国产免费| 欧美变态另类bdsm刘玥| 91久久精品电影网| 噜噜噜噜噜久久久久久91| 国产美女午夜福利| 狠狠狠狠99中文字幕| 亚洲欧美日韩高清专用| 丝袜喷水一区| 日韩一本色道免费dvd| or卡值多少钱| 精品人妻熟女av久视频| 99久久精品一区二区三区| 2022亚洲国产成人精品| 偷拍熟女少妇极品色| 免费黄网站久久成人精品| 国内少妇人妻偷人精品xxx网站| 日本一二三区视频观看| 黄色日韩在线| 免费搜索国产男女视频| www.av在线官网国产| 国产精品女同一区二区软件| 中文资源天堂在线| 舔av片在线| 国产成人午夜福利电影在线观看| 欧美一区二区国产精品久久精品| 国产精品电影一区二区三区| 长腿黑丝高跟| 日韩视频在线欧美| 日韩欧美精品v在线| 男人的好看免费观看在线视频| 亚洲内射少妇av| 毛片一级片免费看久久久久| 亚洲国产色片| 午夜视频国产福利| 日韩av不卡免费在线播放| 岛国在线免费视频观看| 国产69精品久久久久777片| 日韩大尺度精品在线看网址| 自拍偷自拍亚洲精品老妇| 欧美zozozo另类| 亚洲va在线va天堂va国产| 国产黄色小视频在线观看| 成年av动漫网址| 在线天堂最新版资源| 波多野结衣高清作品| 欧美丝袜亚洲另类| 国产毛片a区久久久久| 亚洲国产欧美在线一区| 国产69精品久久久久777片| 在线天堂最新版资源| a级毛片a级免费在线| 女的被弄到高潮叫床怎么办| 亚洲欧美日韩无卡精品| 国产亚洲欧美98| av天堂在线播放| 秋霞在线观看毛片| 免费看a级黄色片| 少妇熟女欧美另类| 自拍偷自拍亚洲精品老妇| 人妻系列 视频| 亚洲精品乱码久久久久久按摩| 熟女人妻精品中文字幕| 亚洲av中文av极速乱| 少妇熟女欧美另类| 国产一区二区三区av在线 | 天堂中文最新版在线下载 | 搞女人的毛片| 一夜夜www| 日韩国内少妇激情av| 天美传媒精品一区二区| 婷婷亚洲欧美| 一边摸一边抽搐一进一小说| 寂寞人妻少妇视频99o| 男人的好看免费观看在线视频| 欧美区成人在线视频| 午夜老司机福利剧场| 在线天堂最新版资源| 午夜免费激情av| 国产精品.久久久| 国产精品三级大全| 99热这里只有精品一区| 欧美最新免费一区二区三区| 亚洲人成网站在线观看播放| 黄色一级大片看看| 床上黄色一级片| 国产精品永久免费网站| av国产免费在线观看| 51国产日韩欧美| av.在线天堂| 丝袜美腿在线中文| 看片在线看免费视频| 国内揄拍国产精品人妻在线| 亚洲欧美清纯卡通| 成人午夜精彩视频在线观看| 在线观看一区二区三区| 午夜激情欧美在线| 插逼视频在线观看| 色播亚洲综合网| 久久久久免费精品人妻一区二区| 精品午夜福利在线看| 直男gayav资源| 亚洲精品日韩av片在线观看| 少妇熟女欧美另类| 99久久久亚洲精品蜜臀av| 能在线免费看毛片的网站| 国产毛片a区久久久久| 18禁在线播放成人免费| 国产精品野战在线观看| 精品一区二区免费观看| 亚洲成a人片在线一区二区| 国产精品综合久久久久久久免费| 一边摸一边抽搐一进一小说| 精品少妇黑人巨大在线播放 | 精品国产三级普通话版| 日本黄色片子视频| 亚洲成人久久性| 美女被艹到高潮喷水动态| 我的老师免费观看完整版| 好男人视频免费观看在线| 国产探花极品一区二区| 国产亚洲91精品色在线| 内地一区二区视频在线| 午夜福利在线在线| 日本一二三区视频观看| 国产午夜精品论理片| 在线免费观看的www视频| 人妻系列 视频| 亚洲中文字幕一区二区三区有码在线看| 日韩成人av中文字幕在线观看| 联通29元200g的流量卡| 一区福利在线观看| 少妇人妻精品综合一区二区 | 国产一区二区在线观看日韩| 成人性生交大片免费视频hd| 国内精品一区二区在线观看| 国产精品人妻久久久影院| 蜜桃亚洲精品一区二区三区| 成人毛片60女人毛片免费| 男女视频在线观看网站免费| 99在线人妻在线中文字幕| 精品久久久久久久末码| 伦精品一区二区三区| a级毛片免费高清观看在线播放| 在线国产一区二区在线| 日日干狠狠操夜夜爽| av福利片在线观看| 麻豆国产av国片精品| 亚洲精品久久久久久婷婷小说 | 成人二区视频| 久久99热这里只有精品18| 国产成人a区在线观看| 亚洲精品粉嫩美女一区| 日韩成人伦理影院| 夜夜爽天天搞| 寂寞人妻少妇视频99o| 国产精华一区二区三区| 亚洲经典国产精华液单| 麻豆国产97在线/欧美| 长腿黑丝高跟| 国产91av在线免费观看| 亚洲精品亚洲一区二区| 成人无遮挡网站| 日韩一区二区视频免费看| 日韩制服骚丝袜av| 国产精品久久久久久久久免| 大型黄色视频在线免费观看| 成人特级黄色片久久久久久久| 毛片一级片免费看久久久久| 不卡视频在线观看欧美| 偷拍熟女少妇极品色| 夜夜爽天天搞| 欧美变态另类bdsm刘玥| 国产精品一区二区三区四区久久| 九九爱精品视频在线观看| 久久国产乱子免费精品| 免费看av在线观看网站| 婷婷色综合大香蕉| 国产在线精品亚洲第一网站| 国产视频首页在线观看| 久久鲁丝午夜福利片| 最后的刺客免费高清国语| 两个人的视频大全免费| 国产精品一二三区在线看| 亚洲欧美成人综合另类久久久 | 国产伦理片在线播放av一区 | 麻豆成人av视频| 一边摸一边抽搐一进一小说| 在线观看av片永久免费下载| 老司机福利观看| 爱豆传媒免费全集在线观看| 国产亚洲精品av在线| av卡一久久| 99久久久亚洲精品蜜臀av| 久久久国产成人精品二区| 九九久久精品国产亚洲av麻豆| 日韩视频在线欧美| 最近中文字幕高清免费大全6| 国产精品一区二区在线观看99 | АⅤ资源中文在线天堂| 久久精品国产亚洲av涩爱 | 国产精品福利在线免费观看| 国产乱人偷精品视频| 国国产精品蜜臀av免费| 久久鲁丝午夜福利片| 毛片女人毛片| 亚洲国产精品sss在线观看| 老女人水多毛片| 亚洲最大成人av| 婷婷精品国产亚洲av| 久99久视频精品免费| 久久国产乱子免费精品| 国产在线精品亚洲第一网站| av在线天堂中文字幕| 一级黄色大片毛片| 非洲黑人性xxxx精品又粗又长| 一区福利在线观看| av专区在线播放| 欧美激情在线99| 亚洲成人久久性| 欧美成人精品欧美一级黄| 美女黄网站色视频| 亚洲无线观看免费| 免费观看的影片在线观看| 人人妻人人澡欧美一区二区| 国产在视频线在精品| 青春草亚洲视频在线观看| 波野结衣二区三区在线| 少妇人妻精品综合一区二区 | 人妻少妇偷人精品九色| 天天躁夜夜躁狠狠久久av| 午夜激情福利司机影院| 又粗又爽又猛毛片免费看| 国产片特级美女逼逼视频| 亚洲一区二区三区色噜噜| 99久国产av精品国产电影| 国产极品精品免费视频能看的| 日韩欧美精品免费久久| 成人亚洲欧美一区二区av| 高清毛片免费观看视频网站| 欧美区成人在线视频| 免费观看的影片在线观看| 欧美日韩一区二区视频在线观看视频在线 | 欧美日韩综合久久久久久| 国产成人影院久久av| 在线观看66精品国产| 亚洲精品久久国产高清桃花| 全区人妻精品视频| 国产亚洲av嫩草精品影院| 亚洲电影在线观看av| 99久国产av精品国产电影| 色哟哟哟哟哟哟| 成人性生交大片免费视频hd| 久久精品人妻少妇| 99热6这里只有精品| 久久99蜜桃精品久久| 一级av片app| avwww免费| 亚洲美女搞黄在线观看| 国产精品久久久久久精品电影| av在线老鸭窝| 亚洲国产欧洲综合997久久,| 91久久精品国产一区二区成人| 久久久久国产网址| 一区二区三区免费毛片| 日韩av不卡免费在线播放| 中文字幕精品亚洲无线码一区| 寂寞人妻少妇视频99o| 国产老妇伦熟女老妇高清| 国产精品无大码| 亚洲天堂国产精品一区在线| 长腿黑丝高跟| 国产精品乱码一区二三区的特点| 午夜福利在线观看吧| ponron亚洲| 校园春色视频在线观看| 亚洲18禁久久av| 亚洲国产日韩欧美精品在线观看| 天天躁日日操中文字幕| 一进一出抽搐gif免费好疼|