• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    風險防范下算法的監(jiān)管路徑研究

    2018-04-14 13:55:58張凌寒
    交大法學 2018年4期
    關(guān)鍵詞:監(jiān)管算法用戶

    張凌寒

    一、 問題的提出: 假新聞事件凸顯算法監(jiān)管緊迫性

    2016年Facebook遭到社會廣泛指責,認為其造成了假新聞泛濫進而對本屆美國總統(tǒng)選舉產(chǎn)生了巨大影響。[注]Facebook 假新聞影響選舉的指責,從2016年 9 月就開始被多次報道。2016年11 月 11 日,美國《財富》雜志刊文指責 Facebook 稱,盡管 Facebook 沒有散播慫恿選民投票支持特朗普的新聞,但是 Facebook上流傳著關(guān)于美國政治虛假的小道消息使得選舉的天平向特朗普傾斜?!逗辗翌D郵報》也放出調(diào)查報道稱,F(xiàn)acebook熱門話題板塊上針對希拉里的謠言數(shù)量尤為突出,并借此質(zhì)疑 Facebook 對這類謠言的整治不力?!都~約雜志》也發(fā)文稱,數(shù)千萬的 Facebook 用戶都有預(yù)謀或者情緒性地分享了針對希拉里的虛假新聞。此外,紐約大學新聞系教授 Jay Rosen、社會學家 Zeynep Tufekci、尼曼新聞實驗室負責人 Joshua Benton 也在近日分別撰文稱,希拉里敗選與 Facebook 上傳播的虛假消息關(guān)系密切。參見《美國主流媒體與扎克伯格激辯: Facebook 的假新聞到底幫沒幫特朗普勝選?》,載搜狐網(wǎng)(http://it.sohu.com/20161114/n473138951.shtml,最后訪問時間2018-02-25)。然而,2017年數(shù)項研究成果顯示,F(xiàn)acebook上的假新聞數(shù)量僅有1%而已。[注]史安斌、王沛楠: 《作為社會抗爭的假新聞——美國大選假新聞現(xiàn)象的闡釋路徑與生成機制》,載《新聞記者》 2017 年第6期,第 4~12頁。原因在于,算法主宰了社交媒體對用戶的新聞投放,其推送標準是用戶的點擊率和轉(zhuǎn)發(fā)率而非新聞的真實性。因此頗具噱頭的假新聞被用戶高頻點擊或轉(zhuǎn)發(fā),并進一步被算法推送而廣泛傳播。

    美國大選中的假新聞事件引起了對算法如何進行監(jiān)管的關(guān)注和憂慮。算法已經(jīng)主導(dǎo)和控制了社交媒體上的信息傳播。如《紐約時報》數(shù)字版使用“非常前沿和復(fù)雜的算法”挑選文章推送,將用戶點擊率提高了38倍。[注]Shan Wang: The New York Times Built a Slack Bot to Help Decide Which Stories to Post to Social Media(AUG. 13, 2015)(http://www.niemanlab.org/2015/08/the-new-york-times-built-a-slack-bot-to-help-decide-which-stories-to-post-to-social-media/,最后訪問時間2017-03-20)。學者們擔心,社交媒體的算法過度利用了用戶偏好數(shù)據(jù)推送信息,制造了信息“過濾泡沫”,造成用戶接受的觀點越來越極端。[注]Eytan Bakshy, Solomon Messing, and Lada A. Adamic, “Exposure to Ideologically Diverse News and Opinion On Facebook”, 348 (6239) Science 1130-1132 (2015). David Lazer, “The rise of the social algorithm” 348 (6239) Science 1090-1091 (2015).不僅如此,算法通過社交媒體平臺對公眾日常生活產(chǎn)生巨大影響,人們通過搜索引擎獲取知識和商業(yè)信息,通過Facebook、微博社交和獲取新聞,通過評價類的社交媒體知曉餐館評價,通過約會類的社交媒體結(jié)識伴侶。算法甚至開始逐漸被用于公共部門管理影響公民權(quán)利。如何對算法進行有效的監(jiān)管,是人工智能時代法律制度急需應(yīng)對的挑戰(zhàn)。

    算法的定義從Tarleton Gillespie的假設(shè)開始,即“算法不需要是軟件: 在最廣泛的意義上,它們是基于指定計算將輸入數(shù)據(jù)轉(zhuǎn)換為期望輸出的編碼過程。這個過程既指出了一個問題,也指出了解決這個問題的步驟”。[注]Tarleton Gillespie,“The Relevance of Algorithms”, in T. Gillespie, P. J. Boczkowski, and K. A. Foot (eds.), Media Technologies: Essays on Communication, Materiality, And Society (Cambridge Mass.: MIT Press, 2014), pp.167-194.因此,算法是“為了解決一個特定問題或者達成一個明確的結(jié)果而采取的一系列步驟”[注]Nicholas Diakopoulos, “Algorithmic Accountability”, 3(3) Digital Journalism 398-415 (2015).。具體到社交媒體算法,算法的目標是獲得和保持用戶的數(shù)量,并且盡量提高用戶的參與度。所以,它收集社交媒體用戶數(shù)據(jù),預(yù)測用戶的偏好進行推薦,而用戶對于推薦內(nèi)容的刺激和反饋可以為下一步的推薦提供數(shù)據(jù)。

    本文無意進行人工智能時代法律制度的宏大敘事,而是以社交媒體的算法作為切入點,分析算法技術(shù)發(fā)展帶來的監(jiān)管挑戰(zhàn),并梳理現(xiàn)有法律制度對算法發(fā)展應(yīng)對的缺陷和不足,提出應(yīng)對人工智能的技術(shù)挑戰(zhàn),應(yīng)以風險防范為目的,對算法同時進行事先與事后監(jiān)管,主體與技術(shù)監(jiān)管,以期用法律化解風險。

    二、 現(xiàn)有的算法監(jiān)管路徑: 法律框架與制度假設(shè)

    當前,我國并沒有任何直接對算法監(jiān)管的法律規(guī)定。應(yīng)對算法造成的不利法律后果,我國采取結(jié)果監(jiān)管的法律規(guī)制路徑。具體言之,通過事后的內(nèi)容審查發(fā)現(xiàn)算法造成的不利法律后果,進而將這種不利后果的法律責任分配給開發(fā)者或使用者——網(wǎng)絡(luò)平臺。本部分對現(xiàn)有的有關(guān)算法的監(jiān)管路徑進行梳理與分析。

    (一) 算法監(jiān)管的法律框架: 結(jié)果監(jiān)管下的內(nèi)容審查與平臺責任

    大數(shù)據(jù)時代到來后,網(wǎng)絡(luò)信息傳播呈指數(shù)級增長,算法被廣泛應(yīng)用。相對于網(wǎng)絡(luò)平臺,國家權(quán)力在網(wǎng)絡(luò)空間影響力日益減弱。為此各國普遍加強了對于網(wǎng)絡(luò)信息內(nèi)容的監(jiān)管,并要求網(wǎng)絡(luò)平臺對網(wǎng)絡(luò)信息非法內(nèi)容的傳播承擔平臺責任。

    1. 結(jié)果監(jiān)管路徑: 內(nèi)容審查范圍的擴大

    各國對算法造成的不利后果進行內(nèi)容審查的范圍近年來普遍擴大。以社交媒體上的假新聞泛濫為例,各國普遍加強了社交媒體的內(nèi)容審查,不僅對恐怖、色情、仇恨等侵害公共利益的非法內(nèi)容嚴加監(jiān)管,對誹謗的侵害私權(quán)利的內(nèi)容也加強了監(jiān)管。[注]為加強網(wǎng)絡(luò)言論管理,德國聯(lián)邦議會周五通過了新的網(wǎng)絡(luò)管理法,新法將于2017年10月正式實施。在此法律下,F(xiàn)acebook等社交媒體未能在24小時內(nèi)刪除“顯而易見的非法內(nèi)容”——包括仇恨性言論、誹謗及煽動暴力等,將面臨德國監(jiān)管部門的罰款(http://finance.sina.com.cn/roll/2017-07-01/doc-ifyhryex5667798.shtml,最后訪問時間2017-07-15)。印尼要求社交媒體關(guān)閉宣揚極端言論的賬戶。印尼通信部長警告社交媒體不關(guān)閉激進內(nèi)容賬戶將被阻止共享(http://finance.sina.com.cn/roll/2017-07-01/doc-ifyhryex5667798.shtml,最后訪問時間2017-07-12)。

    我國一直重視互聯(lián)網(wǎng)傳播內(nèi)容的政府監(jiān)管。2000年實施的《互聯(lián)網(wǎng)信息服務(wù)管理辦法》作為基礎(chǔ)性法規(guī),規(guī)定了互聯(lián)網(wǎng)信息服務(wù)提供者不得制作、復(fù)制、發(fā)布、傳播的八項內(nèi)容, 涵蓋“反對憲法所確定的基本原則的”“危害國家安全”等非法內(nèi)容,并設(shè)定了一個兜底條款 “含有法律、行政法規(guī)禁止的其他內(nèi)容”。[注]《互聯(lián)網(wǎng)信息服務(wù)管理辦法》第 15 條。近一兩年,新規(guī)密集出臺,[注]2016年和2017年,國家互聯(lián)網(wǎng)信息辦公室進入立“法”密集期,“微信十條”“賬號十條”和“約談十條”先后出臺。將內(nèi)容審查的范圍進一步擴大,如侵害私權(quán)利的“侮辱或者誹謗他人,侵害他人合法權(quán)益的”,以及模糊的道德性規(guī)定“危害社會公德或者民族優(yōu)秀文化傳統(tǒng)的”等。[注]《互聯(lián)網(wǎng)文化管理暫行規(guī)定》。并且,對內(nèi)容審查也提出了倡導(dǎo)性要求,如“弘揚社會主義核心價值觀”等。[注]《互聯(lián)網(wǎng)群組信息服務(wù)管理規(guī)定》。對算法的監(jiān)管通過事后對內(nèi)容進行審查的方式進行,審查范圍的擴大也意味著對算法結(jié)果監(jiān)管的加強。

    2. 法律責任承擔: 平臺監(jiān)控責任的加強

    在互聯(lián)網(wǎng)發(fā)展早期,如算法造成的不利法律后果,如內(nèi)容分發(fā)的算法造成了侵害著作權(quán)的法律后果,則由網(wǎng)絡(luò)平臺承擔民事侵權(quán)責任。一般網(wǎng)絡(luò)平臺可以主張不提供內(nèi)容或盡到合理注意義務(wù)而通過“避風港”規(guī)則免責,這一原則也被世界多國立法采納。[注]2000年,歐盟發(fā)布《電子商務(wù)指令》移植了避風港原則和紅旗標準,其第14條規(guī)定,除用戶受控于平臺或依平臺指令實施的侵權(quán)行為外,平臺不知道用戶的行為違法,或在知悉違法行為或事實后刪除該違法信息或采取措施阻止該違法信息的傳輸,不承擔侵權(quán)責任?!吨噶睢返?5條明確了平臺原則上不負有積極查找平臺內(nèi)違法行為和信息的義務(wù),除非基于保護國家安全、國防和公共安全以及為防止、追查、偵破和懲治刑事犯罪的需要而要求采取有針對性、臨時性的監(jiān)控措施?!缎录悠码娮咏灰追ā愤M一步細化了紅旗標準。《新加坡電子交易法》第26條:“僅提供接入、存取服務(wù)的網(wǎng)絡(luò)服務(wù)提供者對站內(nèi)第三方制作、發(fā)布、傳播或散布的侵權(quán)信息,除違反合同特別約定,或違反成文法規(guī)定的監(jiān)管要求,或者是違反成文法或法院的刪除、阻止、限制訪問的要求外,不承擔民事責任和刑事責任?!薄栋臀骶W(wǎng)絡(luò)民事基本法》第19條:“除法律另有規(guī)定外,網(wǎng)絡(luò)服務(wù)提供者僅在接到法院令后,未在規(guī)定時間內(nèi)刪除或屏蔽侵權(quán)信息時,才對站內(nèi)用戶侵害他人權(quán)益的行為承擔侵權(quán)責任?!?/p>

    早在2000年的《互聯(lián)網(wǎng)信息服務(wù)管理辦法》就強調(diào)平臺對用戶發(fā)布的不法內(nèi)容有避免傳播的義務(wù),處理措施包括停止傳輸,保存記錄與向國家有關(guān)機關(guān)報告。[注]參見《互聯(lián)網(wǎng)信息服務(wù)管理辦法》第16條:“互聯(lián)網(wǎng)信息服務(wù)提供者發(fā)現(xiàn)其網(wǎng)站傳輸?shù)男畔⒚黠@屬于本辦法第十五條所列內(nèi)容之一的,應(yīng)當立即停止傳輸,保存有關(guān)記錄,并向國家有關(guān)機關(guān)報告。”它為網(wǎng)絡(luò)平臺設(shè)立了合理注意義務(wù),在其“發(fā)現(xiàn)”不法內(nèi)容時要及時采取措施,否則網(wǎng)絡(luò)平臺要承擔不法信息傳播的責任。近兩年,國家網(wǎng)信辦密集立法并明確提出,對于虛假信息采取“強雙責”的方針——強化網(wǎng)絡(luò)平臺的主體責任與社會責任。[注]見《強化網(wǎng)站主體責任正當時》,載中華人民共和國互聯(lián)網(wǎng)信息辦公室官方網(wǎng)站(http://www.cac.gov.cn/2016-12/22/c_1120166441.htm,最后訪問時間 2017-07-15)。不僅要求網(wǎng)絡(luò)平臺在明知不法信息的情況下承擔責任,更是將對信息的主動監(jiān)控義務(wù)加諸網(wǎng)絡(luò)平臺。[注]參見《互聯(lián)網(wǎng)用戶公眾賬號信息服務(wù)管理規(guī)定》第7條: 互聯(lián)網(wǎng)直播服務(wù)提供者應(yīng)當落實主體責任,配備與服務(wù)規(guī)模相適應(yīng)的專業(yè)人員,健全信息審核、信息安全管理、值班巡查、應(yīng)急處置、技術(shù)保障等制度。提供互聯(lián)網(wǎng)新聞信息直播服務(wù)的,應(yīng)當設(shè)立總編輯。互聯(lián)網(wǎng)直播服務(wù)提供者應(yīng)當建立直播內(nèi)容審核平臺,根據(jù)互聯(lián)網(wǎng)直播的內(nèi)容類別、用戶規(guī)模等實施分級分類管理,對圖文、視頻、音頻等直播內(nèi)容加注或播報平臺標識信息,對互聯(lián)網(wǎng)新聞信息直播及其互動內(nèi)容實施先審后發(fā)管理(http://www.cac.gov.cn/2017-09/07/c_1121624269.htm)。參見《互聯(lián)網(wǎng)用戶公眾賬號信息服務(wù)管理規(guī)定》第11條:“信息服務(wù)提供者應(yīng)加強對本平臺公眾賬號的監(jiān)測管理,發(fā)現(xiàn)有發(fā)布、傳播違法信息的,應(yīng)當立即采取消除等處置措施,防止傳播擴散,保存有關(guān)記錄,并向有關(guān)主管部門報告?!眳⒁姟痘ヂ?lián)網(wǎng)跟帖評論服務(wù)管理規(guī)定》第8條:“跟帖評論服務(wù)提供者對發(fā)布違反法律法規(guī)和國家有關(guān)規(guī)定的信息內(nèi)容的,應(yīng)當及時采取警示、拒絕發(fā)布、刪除信息、限制功能、暫停更新直至關(guān)閉賬號等措施,并保存相關(guān)記錄。”(http://www.cac.gov.cn/2017-08/25/c_1121541842.htm)在這種制度框架下,網(wǎng)絡(luò)平臺承擔了違法內(nèi)容造成不利法律后果的民事責任,并且開始逐漸承擔普遍性的信息主動監(jiān)控責任。

    (二) 現(xiàn)有算法監(jiān)管路徑的制度假設(shè)

    網(wǎng)絡(luò)技術(shù)具有較強的專業(yè)性,而網(wǎng)絡(luò)信息傳播的法律規(guī)制隱含著立法者對于技術(shù)的理解。對于結(jié)果進行監(jiān)管的路徑包括內(nèi)容審查與平臺責任,其隱含著如下制度前提:

    1. 內(nèi)容審查: 開發(fā)者的“全能性”假設(shè)

    對于網(wǎng)絡(luò)不法信息傳播的內(nèi)容審查范圍日趨擴大化,隱含著立法者假設(shè)網(wǎng)絡(luò)平臺等軟件的開發(fā)者和使用者可以完全控制信息的生產(chǎn)和傳播,并具有對網(wǎng)絡(luò)信息審查的“全能”的能力和權(quán)限。因此,對不法信息審查的內(nèi)容范圍不僅局限于違法信息,也包括對私權(quán)利侵害的審查,甚至涵蓋對道德標準的審查。例如2017年的阿里云案件,雖然阿里云發(fā)布聲明,稱其作為云服務(wù)提供者并沒有權(quán)限和能力審查租用網(wǎng)絡(luò)空間的用戶數(shù)據(jù),但法院仍判定其涉嫌共同侵權(quán)。[注]參見2017年阿里云服務(wù)器一審敗訴的案件。北京市石景山區(qū)人民法院對阿里云被訴侵權(quán)案做出一審判決。法院認定被告阿里云公司構(gòu)成侵權(quán),需賠償樂動卓越公司經(jīng)濟損失和合理費用約26萬元。2015年8月,樂動卓越公司發(fā)現(xiàn)某網(wǎng)站提供的《我叫MT暢爽版》涉嫌非法復(fù)制其開發(fā)的《我叫MT online》的數(shù)據(jù)包。樂動卓越公司通過whois域名查詢系統(tǒng)、域名備案系統(tǒng)等,均沒有查到涉案網(wǎng)站經(jīng)營人的相關(guān)信息。但他們發(fā)現(xiàn)《我叫MT暢爽版》的游戲內(nèi)容存儲于阿里云公司的服務(wù)器,并通過該服務(wù)器向用戶提供游戲服務(wù)。接著,樂動卓越公司兩次致函阿里云,要求其刪除涉嫌侵權(quán)內(nèi)容,并提供服務(wù)器租用人的具體信息,阿里云并沒有予以積極回應(yīng)。樂動卓越公司便以阿里云涉嫌共同侵權(quán)為由,向北京市石景山法院提起訴訟,請求法院判令阿里云公司斷開鏈接,停止為《我叫MT暢爽版》游戲繼續(xù)提供服務(wù)器租賃服務(wù),并將儲存在其服務(wù)器上的《我叫MT暢爽版》游戲數(shù)據(jù)庫信息提供給樂動卓越公司;賠償經(jīng)濟損失共計100萬元。隨后阿里云就此事發(fā)布聲明,稱作為云服務(wù)器提供商,阿里云無權(quán)審查任何用戶數(shù)據(jù)。法院的理由是,平臺的技術(shù)開發(fā)者和使用者有能力知曉非法內(nèi)容的存在,不能聲稱自己無法控制信息的傳播。因此對造成的社會危害不能夠逃脫責任。同樣的立法精神也體現(xiàn)在了2016年轟動全國的快播案中。[注]2016年9月13日,北京市海淀區(qū)人民法院對深圳快播科技公司及其主管人員王欣等四名被告人涉嫌傳播淫穢物品牟利案進行了一審宣判。深圳市快播科技有限公司成立于2007年12月26日,公司相繼開發(fā)了“快播”服務(wù)器軟件和“快播”網(wǎng)頁播放器,卻被控用來大量傳播淫穢色情視頻。本案否定了軟件開發(fā)者“技術(shù)中立”地位,強調(diào)了軟件開發(fā)者和運行者對用戶上傳內(nèi)容的監(jiān)管義務(wù)。

    2. 平臺責任: 算法的“工具性”假設(shè)

    網(wǎng)絡(luò)平臺承擔民事責任,以及對內(nèi)容承擔普遍的主動監(jiān)控義務(wù),隱含著立法者對平臺與算法關(guān)系的假設(shè)。即算法是網(wǎng)絡(luò)平臺的工具,網(wǎng)絡(luò)平臺作為算法的開發(fā)者和使用者,從對算法的運行和算法的決策,都具有類似對“工具”的控制能力。例如,對于網(wǎng)絡(luò)平臺上的算法進行的新聞分發(fā)和推薦,假設(shè)平臺與傳統(tǒng)媒體有相同的管理和控制能力,進而要求網(wǎng)絡(luò)平臺新聞服務(wù)提供者與傳統(tǒng)媒體一樣承擔看門人的法律責任。[注]參見《互聯(lián)網(wǎng)跟帖評論服務(wù)管理規(guī)定》第8條:“跟帖評論服務(wù)提供者對發(fā)布違反法律法規(guī)和國家有關(guān)規(guī)定的信息內(nèi)容的,應(yīng)當及時采取警示、拒絕發(fā)布、刪除信息、限制功能、暫停更新直至關(guān)閉賬號等措施,并保存相關(guān)記錄?!?http://www.cac.gov.cn/2017-08/25/c_1121541842.htm)

    這種算法工具性假設(shè)還意味著,網(wǎng)絡(luò)平臺對于算法的運行結(jié)果有充分的預(yù)測能力。因此監(jiān)管者對于算法產(chǎn)生不利后果的技術(shù)原因并不感興趣,無論在算法運行的“黑箱”中發(fā)生了什么,只要在法律對網(wǎng)絡(luò)平臺能力假設(shè)中此種后果可以被避免,平臺即需要承擔相應(yīng)的責任。

    通過對算法造成的結(jié)果進行監(jiān)管,事后追究責任是傳統(tǒng)的法律規(guī)制手段。由于算法一直被認為是不應(yīng)公開的商業(yè)秘密,這種監(jiān)管路徑可以避免立法者和司法者介入算法運行的內(nèi)部結(jié)構(gòu),陷入司法者并不了解的技術(shù)領(lǐng)域。追究事后責任是較為穩(wěn)妥的規(guī)制方法,可以避免司法機構(gòu)過于依賴專業(yè)知識,而僅僅處理純粹的法律問題。然而,人工智能時代,算法的技術(shù)發(fā)展和角色轉(zhuǎn)變都給傳統(tǒng)監(jiān)管路徑帶來了新的挑戰(zhàn)。

    三、 人工智能時代算法的發(fā)展及其帶來的監(jiān)管挑戰(zhàn)

    人工智能時代,算法迅速發(fā)展出全新特性,超出了公眾對于算法與其開發(fā)者和使用者關(guān)系的認知,為傳統(tǒng)的監(jiān)管路徑帶來了巨大挑戰(zhàn)。

    (一) 算法機器深度學習技術(shù): 開發(fā)者“全能性”的否認

    人工智能時代,算法的功能不再局限于處理數(shù)據(jù)并按照設(shè)計的特定目的決策和行動,而是發(fā)展出了利用數(shù)據(jù)進行機器學習,進行自我深化發(fā)展的功能。機器學習,多層神經(jīng)網(wǎng)絡(luò)等技術(shù)的發(fā)展,使得人類愈發(fā)無法了解和還原算法決策的內(nèi)在運行機制,進而使得已經(jīng)飽受詬病的“監(jiān)管黑箱”的不透明性進一步深化。

    社交媒體上算法尤其具有代表性。這種算法本質(zhì)是推薦算法,即用戶不需要提交任何查詢的興趣偏好,系統(tǒng)就可以自動化算法來進行信息推送。比如對于新聞推薦,算法根據(jù)文本內(nèi)容、關(guān)鍵詞、用戶的點擊、收藏和轉(zhuǎn)發(fā)行為獲得用戶的反饋信息進行信息推薦。這種反饋信息包括顯性的評分、評論,也包括隱形的停留時間、點擊次數(shù)等。人工神經(jīng)網(wǎng)絡(luò)的研究為社交媒體的推薦算法提供了深度學習完善自身的條件,社交媒體平臺的兩個關(guān)鍵特征又為機器學習提供了最佳的機會。第一,社交媒體信息的量級和細節(jié)程度。社交媒體擁有用戶個人的及其與好友互動的大量信息,這些信息不僅細節(jié)豐富,并且與個人用戶的歷史具有對應(yīng)性。第二,社交媒體為算法提供了可以即時反饋的機制,即算法可以通過用戶的反饋,及時更改調(diào)整,探索有助于其優(yōu)化目標的策略。[注]Samuel Albanie, Hillary Shakespeare, and Tom Gunter, “Unknowable Manipulators: Social Network Curator Algorithms”, arXiv preprint arXiv: 1701.04895 (2017).

    機器深度學習使得算法可以自動將各種低層次特征計算為更加抽象的高層特征。例如將色彩選擇,圖片上傳時間,打字速度等抽象為更高層的特征,基于此而發(fā)展更加智能的決策方式。這種深度學習使得算法輸入可以為提取得到的多種特征,輸出可以為目標任務(wù)的標簽或者數(shù)值,本質(zhì)上構(gòu)建了一種復(fù)雜的非線性變換。[注]趙鑫: 《深度學習在推薦算法上的應(yīng)用進展》,中國人工智能學會通訊第7期(http://www.yunzhan365.com/basic/25489680.html,最后訪問時間2017-08-19)。換句話說,算法自動學習向深層架構(gòu)發(fā)展,它的規(guī)則和運作方式很可能開發(fā)者都無法理解。

    算法的輸出目標一旦被設(shè)立,就會自動通過深度學習接近這一目標。大部分深度學習推薦算法將數(shù)據(jù)變換到一個隱含空間,在這個隱含空間可以計算推薦物品與用戶的相似性,但是很難提供直接的決策理由。[注]Adnan Masood: 《深度神經(jīng)網(wǎng)絡(luò)的灰色區(qū)域: 可解釋性問題》(2015-08-18 08:15,http://www.csdn.net/article/2015-08-17/2825471,最后訪問時間2017-07-20)。例如,Google的AlphaGo項目設(shè)計的視頻游戲算法,算法通過學習發(fā)展的策略不僅勝過了頂級的人類玩家,而且通過數(shù)據(jù)來優(yōu)化自身,最后算法學會了利用游戲設(shè)計中的弱點,將對手逼入角落贏得勝利。[注]David Silver, Aja Huang, Chris J Maddison, Arthur Guez, Laurent Sifre, George Van Den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, et al.,“Mastering the Game of Go with Deep Neural Networks and Tree Search”, 529(7587)Nature 484-489 (2016).然而開發(fā)者并無法具體解釋這一過程是如何達到的。機器學習的發(fā)展使得算法的開發(fā)者和使用者對于算法完全了解和掌控的假設(shè)不再成立。算法的不透明性不再僅僅對技術(shù)領(lǐng)域之外的人,其內(nèi)部機制和決策過程甚至對其開發(fā)者和使用者不再完全透明,更遑論“全能性”的掌控。

    (二) 算法自動決策的應(yīng)用:“工具性”特質(zhì)的超越

    人工智能時代,算法的角色逐漸超越了網(wǎng)絡(luò)平臺的“工具性”角色,而成為信息配置的基本規(guī)則。算法的自動決策逐漸在人類社會中扮演日益重要的角色,開始獨立擁有巨大的資源配置權(quán)力。最初, 策展人算法僅僅是左右了社交媒體上的信息流動,決定了用戶的閱讀內(nèi)容,幫助保險公司和招聘單位決定保險價格和篩選雇員。隨著人工智能的發(fā)展,算法具有智能性,開始主動對用戶實施影響展開操縱行為。如Facebook的“情感蔓延”項目通過控制對50萬名用戶的新聞投放,用積極或消極的語言來表述新聞,來使用戶受其影響而自己發(fā)出積極或者消極的消息。[注]G. S.McNeal, Controversy over Facebook Emotional Manipulation Study Grows and Timeline Becomes More Clear, Forbes(2014, June 30, http:// www.forbes.com/sites/gregorymcneal/2014/06/30/controversy-over-facebook-emotional-manipulation-study-grows-as-timeline-becomes-more-clear/,最后訪問時間2017-05-17)。美國電子隱私信息中心敦促聯(lián)邦貿(mào)易委員會要求Facebook公布平臺推送新聞的算法,并對公眾公開算法細節(jié)。[注]Adam DI Kramer, Jamie E Guillory, and Jeffrey T Hancock,“Experimental Evidence of Massive-Scale Emotional Contagion Through Social Networks”,111(24) Proceedings of the National Academy of Sciences 8788-8790 (2014).現(xiàn)在,算法下的自動化決策已經(jīng)進入許多國家公共部門,在社會保障、醫(yī)療保健、公職人員監(jiān)督和司法系統(tǒng)等領(lǐng)域發(fā)揮重要作用。例如,美國許多法院使用計算機程序來評估重復(fù)犯罪的風險,這已被證明是“偏向黑人”。[注]Anupam Chander, “The Racist Algorithm”, 115 Mich. L. Rev. 1023 (2016).甚至在我國的大學食堂,學生家庭情況的識別和貧困生補助工作也得到了算法的技術(shù)支持。[注]據(jù)報道,中科大采用算法,根據(jù)學生的消費頻率、消費金額來識別貧困生并進行隱形資助。而未曾在學校食堂經(jīng)常用餐卻消費很低的學生也由算法判斷不符合資助標準。參見《暖心!這所大學竟用這種方式,偷偷資助“不舍得吃飯”的學生……》(2017年7月10日, http://www.sohu.com/a/157397381_252526,最后訪問時間2017-08-20)。正如勞倫斯·萊斯格告訴我們,“代碼是一種法則”——系統(tǒng)的架構(gòu),使之運營的代碼和算法,將會對自由造成深遠影響。

    由于人工智能技術(shù)的專業(yè)性,人們?nèi)菀渍J為算法更為客觀并日漸依賴算法的自動決策。算法既會審查并撤下越南戰(zhàn)爭的經(jīng)典新聞?wù)掌?,[注]張耀升: 《制造假新聞刪越戰(zhàn)照片政要媒體圍攻Facebook算法》,見搜狐新聞(http://media.sohu.com/20160913/n468359527.shtml,最后訪問時間2017-08-15)。也可能拒絕求職者或者健康保險。用戶暫時仍沒有權(quán)利要求算法給出合理解釋,或者說即使有權(quán)利算法的開發(fā)者可能也無法給出解釋。尤其值得注意的是,社交媒體上信息流動的規(guī)則由算法控制,而算法由私人公司創(chuàng)設(shè)。這些規(guī)則主宰了網(wǎng)絡(luò)空間的信息流動,卻不像法律一樣接受公眾的質(zhì)詢和監(jiān)督。算法的地位早已超越了平臺的“工具”。我們生活在一個算法越來越對公民生活享有裁決權(quán)的世界,由源源不絕的數(shù)據(jù)驅(qū)動的算法儼然已成為新的權(quán)力代理人。

    具有智能的算法是否應(yīng)該成為法律主體留待哲學家們討論,但人工智能時代帶來的法律挑戰(zhàn)卻是迫在眉睫的。尤其是在全球各國百舸爭流發(fā)展人工智能的時候,制定相關(guān)法律政策既要保護產(chǎn)業(yè)創(chuàng)新機制不受到抑制,又要保護網(wǎng)絡(luò)用戶權(quán)利不受到過度損害。當前算法技術(shù)的發(fā)展亟待法律規(guī)制思路的轉(zhuǎn)化與具體規(guī)則的完善。

    四、 人工智能時代算法監(jiān)管的完善:風險防范下的雙軌制監(jiān)管路徑

    2016年聯(lián)合國發(fā)布《人工智能政策報告》,表達了對人工智能的關(guān)注,針對人工智能技術(shù)發(fā)展帶來的各種問題提出了新的思考方式和解決途徑。人工智能時代技術(shù)的迅猛發(fā)展并未給法律制度的應(yīng)對留下足夠的時間。對于當前算法發(fā)展帶來的法律風險和監(jiān)管挑戰(zhàn),匆忙應(yīng)對的立法難免存在缺陷與不足,而行政法規(guī)與政策則具有較強的靈活性。短期內(nèi)應(yīng)對法律風險最為關(guān)鍵的是轉(zhuǎn)化結(jié)果監(jiān)管的基本思路,并以此為指導(dǎo)進行基本規(guī)則的設(shè)計。

    (一) 算法監(jiān)管基本思路的轉(zhuǎn)化: 從結(jié)果監(jiān)管到風險防范

    由于網(wǎng)絡(luò)傳播的特性,算法帶來的不利法律后果往往十分嚴重。一方面,算法在人類社會日益扮演重要角色,其造成的損害往往十分嚴重;另一方面,網(wǎng)絡(luò)傳播速度使得算法造成的損害難以挽回,而且這種損害無法用傳統(tǒng)方式進行計算,更無法移轉(zhuǎn)至加害人。正如王澤鑒先生指出,“對于損害,傳統(tǒng)侵權(quán)行為法系采取移轉(zhuǎn)方式,而現(xiàn)代侵權(quán)法系采分散方式,其所關(guān)心的基本問題,不是加害人之行為在道德上應(yīng)否非難,而是加害人是否具有較佳之能力分散風險”。[注]王澤鑒: 《民法學說與判例研究》(第二冊),中國政法大學出版社1998年版,第165頁。因此偏重于結(jié)果監(jiān)管往往不能達到預(yù)想的目的,對算法監(jiān)管的基本思路應(yīng)在結(jié)果監(jiān)管的同時,更將重點轉(zhuǎn)移至風險的防范。誠如吳漢東教授所言,“對于現(xiàn)代各國而言,人工智能發(fā)展的政策考量,其實是基于風險的制度選擇和法律安排,我們應(yīng)通過法律化解風險,通過法律吸納風險,將風險社會置于法治社會的背景之中,即對智能革命時代的法律制度乃至整個社會規(guī)范進行新的建構(gòu)?!盵注]吳漢東: 《人工智能時代的制度安排與法律規(guī)制》,載《法律科學》2017年第5期。對于算法帶來的風險,除了對結(jié)果進行監(jiān)管,更應(yīng)注重建立一套完整的以風險防范為目的的制度。

    首先,風險防范始于預(yù)防。結(jié)果監(jiān)管指向內(nèi)容審查,而對預(yù)防性監(jiān)管則必然指向?qū)λ惴ū旧磉M行審查。這就意味著監(jiān)管審查的對象,從單軌的內(nèi)容監(jiān)管應(yīng)轉(zhuǎn)化為內(nèi)容與算法的雙軌制監(jiān)管。這種監(jiān)管以算法安全為目的,以預(yù)防技術(shù)產(chǎn)生的負面效應(yīng)或副作用。算法的研發(fā)與設(shè)計應(yīng)遵循道德標準和設(shè)計的規(guī)則、運行階段應(yīng)充分對用戶公開透明其設(shè)計目的和策略議程,以上均應(yīng)當接受監(jiān)管部門的審查,建立標準審核流程。歸根結(jié)底,以算法為審查對象目的在于增強算法對公眾的透明度,以預(yù)防風險的發(fā)生。

    其次,算法的風險防范制度,還應(yīng)建立一套算法的責任制度。平臺責任假設(shè)算法作為工具,而技術(shù)責任則將算法作為法律客體進行規(guī)制,圍繞算法建立法律責任與倫理責任。以風險防范為目的的責任體系,應(yīng)從單軌的平臺責任,轉(zhuǎn)化為平臺責任與技術(shù)責任的雙軌責任制。此類責任對應(yīng)的是用戶的權(quán)利,使利害關(guān)系人知曉算法的決策過程,既是對算法設(shè)計者的制約,也是賦予算法利害關(guān)系人免于受到算法不利結(jié)果反復(fù)損害的權(quán)利。算法的開發(fā)者和使用者承擔雙軌制的技術(shù)責任和平臺責任,實質(zhì)上是通過雙軌制對算法造成的責任進行合理的分配。法律這樣分配風險有助于形成人對算法自動化決策的基本信任,而工業(yè)的發(fā)展、科技的研發(fā)等都需要一種信任模式的建立和良性運作。[注]龍衛(wèi)球: 《我國智能制造的法律挑戰(zhàn)與基本對策研究》,載《法學評論》 2016年第6期,第1~13頁。

    最后,算法的風險防范制度,應(yīng)以算法運行機制為基礎(chǔ)。數(shù)據(jù)是算法發(fā)揮作用的必備要素,或者說,人工智能的本質(zhì)就是算法和數(shù)據(jù)的利用。以社交媒體為例,其算法帶來的風險簡要來說基于社交媒體提供的關(guān)鍵資產(chǎn)——數(shù)據(jù)。這些數(shù)據(jù)既包括用戶自身提供的內(nèi)容也包括用戶根據(jù)社交媒體的反饋機制產(chǎn)生的數(shù)據(jù)。對用戶數(shù)據(jù)收集進行合理程度的保護和限制,這也將會對隱私權(quán)保護、機器學習數(shù)據(jù)來源、用戶操縱行為等產(chǎn)生系列影響,如算法收集的敏感數(shù)據(jù)數(shù)量下降會進而減少機器學習的深化程度和用戶操縱行為的精準程度。

    算法監(jiān)管機制應(yīng)以風險防范為基本思路,實行包括內(nèi)容審查與算法審查并重,平臺責任與技術(shù)責任并行的雙軌制監(jiān)管思路。同時,應(yīng)基于算法的運行機制,對算法的生產(chǎn)資源——數(shù)據(jù)進行管理,對算法造成的消極后果進行風險防范。以下部分將予以詳述。

    (二) 風險防范下監(jiān)管對象的雙軌制: 內(nèi)容監(jiān)管與算法監(jiān)管

    算法由編程者設(shè)計,進而給網(wǎng)站帶來巨大的商業(yè)價值,因此其本質(zhì)上是具有商業(yè)秘密屬性的智力財產(chǎn)?;诖死砟?,早期各國均不主張對算法進行直接監(jiān)管,而由技術(shù)優(yōu)勢而生的先進算法是互聯(lián)網(wǎng)公司在商業(yè)競爭中的法寶。[注]See “Trade Secrets:10 of the Most Famous Examples”: “Google developed a search algorithm and continues to refine it. Some changes are announced but many are not. Google continues to modify its top secret algorithm to keep businesses and people from gaming the system. It is the top search engine today and shows no signs of giving up its place. ”Google公司開發(fā)和不斷改進的排名算法是其在商業(yè)競爭中制勝的主要原因(https://info.vethanlaw.com/blog/trade-secrets-10-of-the-most-famous-examples,最后訪問時間2017-08-20)。尤其計算機程序的復(fù)制非常容易且難以證明侵權(quán)行為,所以互聯(lián)網(wǎng)公司一直堅持發(fā)布算法可能會造成更多的危害。[注]Maxime Cannesson, and Steven L. Shafer, “All Boxes Are Black”,122 (2) Anesthesia & Analgesia 309-317(2016).算法的直接審查既存在著商業(yè)秘密方面的顧慮,也存在著技術(shù)上的壁壘。

    然而,算法已經(jīng)不僅是導(dǎo)致非法內(nèi)容的原因,而且已經(jīng)成為配置資源的規(guī)則的時候,就應(yīng)該像法律一樣具有公開性和可預(yù)測性,接受公眾的審查和質(zhì)詢。而算法開發(fā)者和使用者主動接受公眾的質(zhì)詢也是自我澄清和保護的手段。在引言中談到的Facebook在美國大選中受到輿論的廣泛指責,甚至參議員致信要求Facebook澄清“熱門話題”中的新聞是否存在主觀性時,F(xiàn)acebook的創(chuàng)始人扎克伯格不僅撰文駁斥,甚至發(fā)布了一個28頁的內(nèi)部編輯指南,詳細介紹了編輯者和算法如何在網(wǎng)站上選擇“熱門話題”的過程。[注]Facebook, “Trending Review Guidelines”, Released May 11, 2016 (https://fbnewsroomus.files.wordpress.com/2016/05/full-trending-review-guidelines.pdf,最后訪問時間2017-08-20)。對算法的審查和質(zhì)詢將成為必然的發(fā)展趨勢。

    1. 算法監(jiān)管的內(nèi)容和限度

    應(yīng)對算法的哪些方面進行審查?限度在哪里?算法的審查應(yīng)以用戶權(quán)利的保護為必要限度,不應(yīng)要求源代碼和算法內(nèi)部運算透明,否則殊無必要且抑制私營公司的創(chuàng)新效應(yīng)。算法應(yīng)該向公眾予以公開的是在編碼決策過程中,設(shè)計者設(shè)置的算法的目的和政策議程。

    按照設(shè)計者設(shè)置的算法是否有特定的目的和政策議程,我們可以將算法分為“中性算法”和“定向算法”。[注]Omer Tene, and Jules Polonetsky, “Taming the Golem: Challenges of Ethical Algorithmic Decision Making” (2017).舉個簡單的例子,如果Facebook在設(shè)置“熱點新聞”的時候僅僅根據(jù)點擊率進行排名,那么這種算法就是中性算法。而如果Facebook的新聞排名算法優(yōu)先推送不利于某個候選人的新聞,就是定向算法。僅僅根據(jù)數(shù)據(jù)進行運算得出結(jié)果的算法,即使產(chǎn)生了某些不公平的后果,往往是由于現(xiàn)實社會的偏見造成的。例如,美國著名的約會社交軟件Buzzfeed利用算法對用戶進行自動匹配。由于算法追求更高的匹配成功率,最后匹配的結(jié)果絕大部分是將相同種族的人進行匹配推薦。而這并不是由設(shè)計者的種族主義偏見造成的,而是人們潛意識地喜歡與自己同一種族的人約會。[注]Katie Notopoulos, “The Dating App That Knows You Secretly Aren’t Into Guys From Other Races”, BUZZ FEED, Jan. 14, 2016 (http://www.buzzfeed.com/katienotopoulos/coffee-meets-bagel-racial-preferences 7l5zKPb2).而如果算法特意設(shè)置了政策導(dǎo)向,為了推進種族之間的融合而忽略這一偏好事實,向用戶推薦不同種族的約會對象,這樣的算法就是具有目的的定向算法。尤其需要指出的是,在技術(shù)上區(qū)分二者較為容易,但在法律上勢必無法給予二者明確的界定。一個算法是否帶有定向性不是涇渭分明的二分法,而是呈現(xiàn)一個頻譜,即使是中性算法可能也不免受到設(shè)計者價值觀的影響,而定向算法的目的性和策略也有強弱之分。

    2. 算法監(jiān)管應(yīng)建立信息披露義務(wù)

    針對算法的監(jiān)管,應(yīng)為算法的開發(fā)者和使用者建立信息披露義務(wù)。當算法的設(shè)計目的是為了推進預(yù)定義的策略議程,而有針對性地設(shè)計策略定向算法時,算法的設(shè)計必須遵循道德標準和設(shè)計的規(guī)則,應(yīng)當接受監(jiān)管部門審核,審核內(nèi)容包括設(shè)計目的和策略議程。如果搜索引擎決定清除搜索結(jié)果清楚的明顯的偏見和歧視,應(yīng)該讓用戶知道他們正在看到一個修剪整齊的版本。事實上在具體案件上監(jiān)管部門已經(jīng)開始實行這一政策。例如,在魏則西事件后,聯(lián)合調(diào)查組要求百度采用以信譽度為主要權(quán)重的排名算法并落實到位,嚴格限制商業(yè)推廣信息的比例對其逐條加注醒目標識,并予以風險提示。[注]參見《國信辦聯(lián)合調(diào)查組結(jié)果: 百度競價排名影響魏則西選擇百度: 從6方面整改》(2016-05-09 http://www.guancha.cn/economy/2016_05_09_359617.shtml, 最后訪問時間2017-08-20)。在社交媒體上,算法編輯必須對于用戶來說可見,可審閱和發(fā)布明確聲明。用戶有權(quán)知道他們在社交媒體上看到的內(nèi)容是否政策中立。否則,即使意圖是高尚的,社交媒體也會因沒有充分的透明度而陷入困境。

    算法監(jiān)管的內(nèi)容、流程,以及加諸互聯(lián)網(wǎng)企業(yè)的強制披露義務(wù),均為專業(yè)性和技術(shù)性較強的領(lǐng)域。因此應(yīng)設(shè)立專業(yè)的監(jiān)管部門進行算法監(jiān)管,根據(jù)算法的功能進行層次不同的信息披露機制的設(shè)計。這種內(nèi)容與算法的雙軌制監(jiān)管,是建立平臺、數(shù)據(jù)和算法的監(jiān)管體系的核心制度?,F(xiàn)在網(wǎng)絡(luò)治理的模式以平臺責任作為起始點,數(shù)據(jù)和內(nèi)容作為平臺責任的支撐,其中包括監(jiān)管平臺在數(shù)據(jù)的收集、使用過程中的責任,也包括平臺在內(nèi)容發(fā)布和監(jiān)管中的責任?,F(xiàn)行監(jiān)管體系中缺失對于算法的監(jiān)管。算法以數(shù)據(jù)作為資料生成內(nèi)容,實際上是網(wǎng)絡(luò)治理模式中的核心要素。及時建立對于算法的監(jiān)管審查制度,對平臺責任以及網(wǎng)絡(luò)空間治理具有關(guān)鍵意義。

    (三) 風險防范下責任承擔的雙軌制: 平臺責任與技術(shù)責任

    對算法的責任應(yīng)從單軌的平臺責任,轉(zhuǎn)化為平臺責任與技術(shù)責任并重的雙軌責任體制。技術(shù)責任意指機器倫理,法律責任的設(shè)置應(yīng)圍繞技術(shù)的運行,而非不論網(wǎng)絡(luò)平臺與算法的關(guān)系,一味由平臺承擔責任。在算法的技術(shù)發(fā)展下,平臺與算法的關(guān)系已遠非“工具”一詞可以概括,故應(yīng)該對責任承擔的制度設(shè)計予以調(diào)整。

    1. 技術(shù)責任之一: 賦予相對人的算法解釋權(quán)

    算法的技術(shù)責任即意味著相對人的權(quán)利。賦予相對人算法解釋權(quán)即是加諸算法開發(fā)者和使用者的技術(shù)責任。算法解釋權(quán)是指在因算法的機器學習和自動決策而認為自己可能或已經(jīng)遭受損害的人,并有權(quán)要求知曉任何自動個人數(shù)據(jù)處理的邏輯,可以向算法做出的決定提出異議,并要求算法更正其錯誤。算法解釋權(quán)是典型的人工智能時代新型的救濟權(quán)利。它與行政相對人請求復(fù)議的權(quán)利相似,只不過行政復(fù)議請求的對象是掌握公權(quán)力的政府,而算法解釋權(quán)請求的對象是掌握著技術(shù)權(quán)力的算法設(shè)計者和使用者。

    算法日益滲入日常生活不可避免會出現(xiàn)錯誤。例如美國航空公司的一位資深駕駛員稱,由于計算機算法將他與一位愛爾蘭共和軍領(lǐng)導(dǎo)人混淆,使得他先后80次在機場遭到拘禁。[注]見《應(yīng)建立第三方機構(gòu)以管控作出糟糕決定的人工智能》,載搜狐網(wǎng)(http://www.sohu.com/a/125322861_465915,最后訪問時間2017-08-21)。而由于人們對于算法客觀性和可靠性的盲目信任,這種對算法決策結(jié)果的挑戰(zhàn)和更正尤為艱難。各國逐漸展開了和算法解釋權(quán)相關(guān)的立法工作。如英國的《數(shù)據(jù)保護法案》(Data Protection Act)規(guī)定,人們有權(quán)對人工智能做出的決定進行挑戰(zhàn)。歐洲2016年通過的新的《歐洲通用數(shù)據(jù)保護條例》(GDPR)提出,“每個數(shù)據(jù)主體應(yīng)該有權(quán)知道和獲取通信,特別是關(guān)于任何自動個人數(shù)據(jù)處理中涉及的邏輯,至少是在基于分析的情況下,這種處理的后果”。[注]“Every data subject should ... have the right to know and obtain communication in particular with regard to ... the logic involved in any automatic personal data processing and, at least when based on profiling, the consequences of such processing.” Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation).《歐洲通用數(shù)據(jù)保護條例》(GDPR)中也提出,“應(yīng)該采取適當?shù)谋U洗胧?,其中?yīng)包括數(shù)據(jù)主體的具體信息和獲得人為干預(yù)(而非數(shù)據(jù)干預(yù))的權(quán)利,以表達其觀點,已獲得對此類評估之后達成的決定的解釋,并對決定提出質(zhì)疑?!盵注]《歐洲通用數(shù)據(jù)保護條例》(GDPR)中在第71條明確提出了解釋權(quán),表述為被自動決策的人應(yīng)該具有適當?shù)谋Wo,具體應(yīng)包括數(shù)據(jù)主體的特別信息和獲得人類干預(yù),表達自己的觀點,并且有權(quán)獲得評估決定的解釋,并對決定提出質(zhì)疑。“Recital 71, a person who has been subject to automated decision-making: should be subject to suitable safeguards, which should include specific information to the data subject and the right to obtain human intervention, to express his or her point of view, to obtain an explanation of the decision reached after such assessment and to challenge the decision.”

    從技術(shù)層面來說,有很多研究力量投入到了和決策策略有關(guān)的深層神經(jīng)網(wǎng)絡(luò)的理解中,如對隨機擾動技術(shù)、[注]Matthew D Zeiler and Rob Fergus,“Visualizing and Understanding Convolutional Networks”, in European Conference on Computer Vision (Springer, 2014), pp.818-833.不變形分析、可視化和維度降低,[注]Aravindh Mahendran and Andrea Vedaldi,“Understanding Deep Image Representations by Inverting Them”, In 2015 IEEE conference on computer vision and pattern recognition (CVPR), IEEE, 2015, pp.5188-5196.但是顯然這種技術(shù)上的可解釋性并非法律上的可解釋性所指的“有法律意義的信息”。而對權(quán)利人有法律意義的解釋內(nèi)容可能分為兩個層面: 其一,解釋的對象是系統(tǒng)功能,例如該自動決策系統(tǒng)的邏輯、意義、算法設(shè)定的目的和一般功能,包括但不限于系統(tǒng)的需求規(guī)范、決策樹、預(yù)定義模型、標準和分類結(jié)構(gòu)等。其二,解釋的對象是具體決策,及特定自動決策的理由、原因、產(chǎn)生決策結(jié)果的個人數(shù)據(jù),例如每種指標的功能權(quán)重,機器定義的特定案例決策規(guī)則,起參考輔助作用的信息等。[注]Bryce Goodman, and Seth Flaxman,“European Union Regulations on Algorithmic Decision-Making and a Right to Explanation”, in 2016 ICML Workshop on Human Interpretability in Machine Learning, New York, NY: ArXiv e-prints.這些信息都可以解釋自動決策產(chǎn)生的原因。舉例而言,很多互聯(lián)網(wǎng)信貸公司借助用戶的社交媒體和購物記錄等信息來對用戶進行信用評級發(fā)放小額信貸。這種自動的信用評分系統(tǒng),用戶可以申請信貸公司或算法提供者解釋算法的功能,和通用的邏輯(比如參與決策的數(shù)據(jù)類型和特征,以及決策樹的類別),算法的目的和意義(進行信用評分以發(fā)放貸款),和設(shè)想的后果(可能影響信用記錄,影響利率)。在第二個層面,用戶可以要求解釋具體決定的邏輯和個人數(shù)據(jù)的權(quán)重,例如用戶的信用評分結(jié)果參考了哪些數(shù)據(jù)以及這些數(shù)據(jù)在決策樹或者模型中的權(quán)重。

    第一個層次的信息類似行政復(fù)議中對行政決定的合法性審查,通過對算法的決策基本情況的了解,用戶有權(quán)知曉算法是否合法,是否包含歧視因素,等等。而第二個層面的審查類似行政復(fù)議中對行政決定的合理性審查,否則,如果一個人被互聯(lián)網(wǎng)信貸公司拒絕,他被告知,算法充分考慮了他的信用記錄、年齡和郵政編碼,但此人仍然不清楚申請被拒的原因,解釋權(quán)便形同虛設(shè)。雖然歐盟有法律提出相對人應(yīng)享有“拒絕接受數(shù)字化決策,要求人為干預(yù)”的權(quán)利,但其仍停留在學理討論階段。[注]Ibid.不僅應(yīng)建立風險防范的事前審查機制,[注]司曉、曹建峰: 《論人工智能的民事責任:以自動駕駛汽車和智能機器人為切入點》,載《法律科學:西北政法大學學報》2017年第 5期,第166~173頁。同時應(yīng)重視類似算法解釋權(quán)等應(yīng)對損害的事后解決機制,算法解釋權(quán)意在如何分配風險以求得全社會利益最大化。

    2. 技術(shù)責任之二: 機器倫理的發(fā)展

    算法解釋權(quán)的行使面臨著重大限制,原因是各國政府更加傾向于保護科技產(chǎn)業(yè)的發(fā)展而避免發(fā)展技術(shù)責任。一直到現(xiàn)在,對于數(shù)據(jù)控制者必須對用戶披露的信息類型,以及適用于自動化決策的算法訪問權(quán)限的限制,尚未在歐洲各地的法院的判例中得到普遍的明確范圍。[注]“for instance, debate in the UK House of Lords concerning the meaning of ‘logic involved’ and ‘trade secrets’ in the 1998 Data Protection Act: Grand Committee on the Data Protection Bill, ‘Official Report of the Grand Committee on the Data Protection Bill [HL] ’(Hansard, 23 February 1998)” (UK Parliament-House of Lords 1998) (http://hansard.millbanksystems.com/grand_committee_report/1998/feb/23/official-report-of-the-grand-committee#S5LV0586P0_19980223_GCR_1,最后訪問時間 2017-08-02)。例如德國數(shù)據(jù)保護法規(guī)定,數(shù)據(jù)控制者必須在決策的“評估”中向用戶通報其所考慮的因素,但不必揭示給予每個因素的精確重量(即在自動化決策過程中使用的版權(quán)保護算法)。[注]Douwe Korff, “New Challenges to Data Protection Study-Country Report: United Kingdom”(European Commission DG Justice, Freedom and Security 2010), 48(http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1638938,最后訪問時間 2017-07-15)。根據(jù)幾位評論家的觀點,[注]Br?utigam and Schmid-Wudy (n 35) 62; Jens Hammersen and Ulrich Eisenried, “Ist Redlining in Deutschland erlaubt? Pl?doyer für eine weite Auslegung des Auskunftsanspruchs” [2014] ZD Zeitschrift für Datenschutz 342.德國SCHUFA59判決[注]Judgment of the German Federal Court Bundesgerichtshof 28 January 2014-VI ZR 156/13. LG Gie?en 6 March 2013-1S 301/12. Also, AG Gie?en 11 October 2014-47 C 206/12.顯示,用戶沒有權(quán)力徹底調(diào)查自動處理系統(tǒng)(在判例中是信用評分)的準確性,因為基礎(chǔ)公式受到商業(yè)秘密的保護。

    面對算法解釋權(quán)的限制,發(fā)展機器倫理作為替代規(guī)則成了必然選擇。解釋權(quán)不是在算法決策中實現(xiàn)問責制和透明度的唯一途徑。[注]For additional discussion of transparency and the GDPR, see: Dimitra Kamarinou, Christopher Millard and Jatinder Singh, “Machine Learning with Personal Data”(https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2865811,最后訪問時間2017-08-22)。立法者可能需要通過對算法通過道德審查標準,來防止對用戶的操縱或產(chǎn)生不公平的后果。在敏感性和風險較高的算法決策領(lǐng)域更適用倫理性的審查要求。當然,目前這種方法面臨著許多挑戰(zhàn)。在短期的具體規(guī)則中,可以采用人工篩查的手段,預(yù)見性地將算法可能出現(xiàn)的歧視問題等進行解決。算法本質(zhì)上是“以數(shù)學方式或者計算機代碼表達的意見”,設(shè)計者很容易將自己的偏見嵌入算法系統(tǒng)中。例如,美國一些法院使用的一個犯罪風險評估算法COMPAS被證明是對黑人造成了系統(tǒng)性歧視。發(fā)展機器倫理要求社會學家、法學家等共同設(shè)計倫理框架,在算法設(shè)計階段就為算法的研發(fā)和應(yīng)用提供道德準則。

    以算法解釋權(quán)為核心的技術(shù)責任必然將成為人工智能時代亟待深入研究的主題。算法解釋權(quán)制度中,權(quán)利人的資格要求,行使的前提,行使的程序等,以及機器倫理的道德標準等都需深入研究,本文篇幅所限不再展開。需要指出的是,平臺責任與技術(shù)責任并非一定涇渭分明,某些情況下可能存在交叉。平臺在很多情況下本身就是算法的開發(fā)者與算法運行的維護者,技術(shù)責任的承擔主體可能就是平臺,例如算法解釋和機器倫理的考察可能都指向平臺。例如,上文中提到的Facebook的情感蔓延項目,當Facebook收集較多的用戶數(shù)據(jù)用情感操縱算法進行處理后,美國FTC要求Facebook平臺公布算法,這同時體現(xiàn)了公權(quán)力通過對平臺的監(jiān)管來實現(xiàn)內(nèi)容和算法的雙重監(jiān)管。然而,平臺責任和技術(shù)責任評價對象不同,算法的設(shè)計者和使用者也并不必然重合,這兩點決定了平臺責任和技術(shù)責任需做出區(qū)分。

    (四) 風險防范下的生產(chǎn)性資源保護: 數(shù)據(jù)資產(chǎn)收集與使用的限制

    進入人工智能時代,數(shù)據(jù)的體量和質(zhì)量決定了算法是否足夠“聰明”。數(shù)據(jù)對于算法造成的風險防范具有至關(guān)重要的作用: 一方面,從數(shù)據(jù)體量入手,限制數(shù)據(jù)的收集可以防范算法造成的用戶隱私泄露的風險;另一方面,注重數(shù)據(jù)收集的質(zhì)量,可以避免算法以歧視性的數(shù)據(jù)作為自動決策的依據(jù),造成歧視性后果。需要注意的是,數(shù)據(jù)的收集以及使用無法回避平臺在數(shù)據(jù)收集和管理方面的責任。算法監(jiān)管的體系性和有效性,亟待完善數(shù)據(jù)管理方面的平臺責任制度。

    1. 敏感數(shù)據(jù)收集的合理限制

    數(shù)據(jù)的范疇和形式在不斷進行擴張。以社交媒體為例,其數(shù)據(jù)量大,更新快,且具有難得的多樣性,用戶體量、使用語言、表達方式極為豐富。[注]參見清華大學電子工程系信息認知與系統(tǒng)智能研究所副所長黃永峰于2015年12月23日在清華RONGv2.0系列論壇之 “社會關(guān)系網(wǎng)絡(luò)與大數(shù)據(jù)技術(shù)”專場上所做的題為《網(wǎng)絡(luò)社交媒體的情感認知與計算》的演講(http://www.sohu.com/a/61999021_308467,最后訪問時間2017-08-20)。在人工智能的競爭中,社交媒體平臺成為企業(yè)發(fā)掘個人數(shù)據(jù)的“金礦”。在這座數(shù)據(jù)“金礦”中,算法對于數(shù)據(jù)的分析和利用能力,使得有關(guān)個人隱私的敏感數(shù)據(jù)范疇在不斷擴大。例如,在2016年兩位科學家發(fā)布研究結(jié)果,可以通過用戶在Instagram上發(fā)布的照片的內(nèi)容、配色方案等用算法進行分析,預(yù)測用戶的抑郁癥傾向。其預(yù)測指標可以實現(xiàn)在醫(yī)生確診前識別抑郁癥患者,診斷準確性甚至優(yōu)于普通醫(yī)師。[注]M. De Choudhury, M. Gamon, S. Counts, & E. Horvitz, “Predicting Depression via Social Media”, Proceedings of the Seventh International AAAI Conference on Weblogs and Social Media (ICWSM)(2013),pp.128-137(https://www.aaai.org/ocs/index.php/ICWSM/ICWSM13/paper/download/6124/6351,最后訪問時間 2017-08-20)。獨立于提供的內(nèi)容的其他特征,如可以由任何人使用的任何計算機實時捕獲的自然打字模式,也被確定為早期識別微妙的精神運動障礙的可能患者,具有帕金森病或癡呆早期診斷的潛在應(yīng)用。[注]L.Giancardo, A.Snchez-Ferro, I.Butterworth,C. S. Mendoza, & J. M.Hooker, “Psychomotor Impairment Detection via Finger Interactions with a Computer Keyboard during Natural Typing”, Scientific Reports 5, 9678(2015).

    然而,法律關(guān)注和保護的數(shù)據(jù)仍局限于涉及個人隱私的敏感數(shù)據(jù)。如可以定位個人的姓名、身份證號碼、銀行卡號密碼等,或者體現(xiàn)個人社會活動的通話記錄、短信記錄、位置信息等。如2017年公安部破獲的販賣公民個人信息達50億條的特大案件,數(shù)據(jù)形式包括物流信息、交易信息、個人身份等。[注]參見《黑產(chǎn)團伙長期販賣公民信息,泄露數(shù)據(jù)達 50 億條》:“近期,公安部破獲了一起盜賣公民信息的特大案件,50億條公民信息遭到泄漏,而嫌疑犯被傳是京東網(wǎng)絡(luò)安全部員工,與黑客長期相互勾結(jié)。據(jù)公安部披露,犯罪嫌疑人鄭某鵬利用京東網(wǎng)絡(luò)安全部員工這一身份,長期監(jiān)守自盜,與黑客相互勾結(jié),為黑客攻入網(wǎng)站提供重要信息,包括在京東、QQ上的物流信息、交易信息、個人身份等。”(http://www.leagsoft.com/news/p/1864,最后訪問時間2017-09-07)在人工智能高度發(fā)展的時代,非專業(yè)人士無法合理預(yù)期個人數(shù)據(jù)被算法使用的方式和后果,即使可以,也由于生活和網(wǎng)絡(luò)的高度融合無法拒絕提供個人數(shù)據(jù)。這些數(shù)據(jù)無意識地貢獻了包含著精神健康、身體健康、經(jīng)濟狀況等敏感的可識別的特征。例如,用戶的精神健康狀態(tài)可以通過其社交媒體發(fā)布的信息被識別和診斷,甚至被醫(yī)療保險公司用來確定用戶的保險費用。在這種情況下,用戶被剝奪了個人決定是否受到診斷的權(quán)利,患者衛(wèi)生信息保密的法律也被徹底架空,而這些健康隱私有可能被私營公司購買以確定營銷目標,或者被用來避免高風險的醫(yī)療保險客戶。用戶在使用服務(wù)的需要下被裹挾前行,往往并沒有其他選擇權(quán)。用戶應(yīng)被賦予切實存在的選擇權(quán)利,比如在社交媒體通過按鍵選擇的方式增加用戶對數(shù)據(jù)被收集和使用的自主性。

    2. 歧視性數(shù)據(jù)資產(chǎn)的使用限制

    數(shù)據(jù)是現(xiàn)實社會的反應(yīng),因此很可能包含著現(xiàn)實社會的歧視現(xiàn)狀。算法決策是在用過去預(yù)測未來,而過去的歧視可能會在算法中得到鞏固并在未來得到加強,因為錯誤的輸入形成的錯誤輸出作為反饋,進一步加深了錯誤。數(shù)據(jù)的有效性、準確性,也會影響整個算法決策和預(yù)測的準確性。因此,應(yīng)在對數(shù)據(jù)資產(chǎn)的管理中,充分認識到數(shù)據(jù)資產(chǎn)質(zhì)量的重要性,避免歧視性數(shù)據(jù)資產(chǎn)的適用。

    例如,2013年,波士頓采取了創(chuàng)新方案解決普通市政道路坑洼問題。Boston Street Bump程序可以使用智能手機運動感應(yīng)功能,向市政府報告用戶駕駛時遇到的街頭坑洼引起的震動,以確定要修復(fù)的街道上的問題。有趣的是,數(shù)據(jù)中心統(tǒng)計城市的富裕地區(qū)比貧困地區(qū)有更多的坑洞。這是由于智能手機在貧富地區(qū)不均等分配造成的。[注]Phil Simon, “Potholes and Big Data: Crowdsourcing Our Way to Better Government”(https://www.wired.com/insights/2014/03/potholes-big-data-crowdsourcing-way-better-government/,最后訪問時間2017-09-02)。同理,如果將算法應(yīng)用在犯罪評估、信用貸款、雇傭評估等關(guān)切人身利益的場合,歧視性數(shù)據(jù)資源帶來的群體、種族的利益影響更為巨大。應(yīng)以風險防范為目標,對數(shù)據(jù)資產(chǎn)的質(zhì)量進行充分管理。具體手段應(yīng)包括建立數(shù)據(jù)評估機制,數(shù)據(jù)去噪篩查機制,以及由專業(yè)人士研究如何對數(shù)據(jù)進行復(fù)原。

    人工智能發(fā)展帶來的不僅有法律監(jiān)管的風險和挑戰(zhàn),更有監(jiān)管技術(shù)和手段的豐富和提高。許多過去不可能的監(jiān)管措施隨著物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的發(fā)展都將變?yōu)榭赡堋1O(jiān)管的思路轉(zhuǎn)化為風險防范是關(guān)鍵,具體措施的發(fā)展可以留待人工智能和算法技術(shù)的發(fā)展來逐步解決。未來風險可控的前提下,人工智能極大地造福于人類的愿景值得期待和憧憬。

    五、 余 論

    從社交媒體的新聞推送開始,本文梳理了傳統(tǒng)的算法監(jiān)管的制度框架及其隱含假設(shè),并介紹了人工智能時代算法通過社交媒體海量數(shù)據(jù)和機器學習取得的發(fā)展。這些發(fā)展對傳統(tǒng)監(jiān)管路徑提出了巨大挑戰(zhàn)。面對算法發(fā)展帶來的風險,有必要采取預(yù)防性的行為和因應(yīng)性的制度?!胺芍贫鹊膬r值和意義就在于規(guī)范和追尋技術(shù)上的可以管理的哪怕是可能性很小或影響范圍很小的風險和災(zāi)難的每一個細節(jié)。”[注][德] 烏爾里?!へ惪耍?《從工業(yè)社會到風險社會——關(guān)于人類生存、社會結(jié)構(gòu)和生態(tài)啟蒙等問題的思考(上篇)》,王武龍編譯,《馬克思主義與現(xiàn)實》2003年第3期。對風險進行法律控制是人工智能時代法律對社會發(fā)展做出的積極回應(yīng)。對于個人數(shù)據(jù)收集、使用行為的限制,設(shè)立具有不同層次的算法強制披露義務(wù)以增強算法透明度,創(chuàng)設(shè)算法解釋權(quán)給利害關(guān)系人以救濟,都是在通過不同角度去應(yīng)對科技發(fā)展帶來的風險。

    本文僅僅是對人工智能時代法律應(yīng)對風險具體規(guī)則的拋磚引玉,許多具體制度設(shè)計仍有待法學學者的深入研究。而在這些研究中有一點應(yīng)予明確: 現(xiàn)今的制度框架總體來說是有利于科技發(fā)展和進步的,法律的適當滯后并不必然是缺陷。面對科技的發(fā)展,法律應(yīng)有一種保守克制的態(tài)度,而這種克制態(tài)度的重要體現(xiàn)之一,就是并不必然將所有問題歸咎于人工智能和算法的發(fā)展,而急于對算法發(fā)展進行不必要的限制。對于算法控制的信息流動和進行的自動決策的批判不絕于縷,而這種算法發(fā)展帶來的“黑箱”可能并不是唯一原因。事實上,太陽底下無新事,過去的股票內(nèi)幕交易,某些行政決策又何嘗不是所謂的“黑箱”呢?相比人的決策,算法決策更不容易受到固有偏見的影響而更加公平客觀?!洞髷?shù)據(jù): 打擊歧視和授權(quán)團體的工具》一書中提到了多個案例,展示了企業(yè)、政府和民間社會組織如何利用數(shù)據(jù)分析來保護和授權(quán)弱勢群體,數(shù)據(jù)驅(qū)動的決策可以有效減少歧視,促進公平和機會。[注]Future of Privacy Forum & Anti-Defamation League, Big Data: A Tool for Fighting Discrimination and Empowering Groups, 2014 (https://fpf.org/wp-content/uploads/Big-Data-A-Tool-for-Fighting-Discrimination-and-Empowering-Groups-Report1.pdf).對算法帶來的風險進行法律規(guī)制時,制度達到目的衡量的標準應(yīng)是現(xiàn)實世界的一般標準,而非人人大同的烏托邦。秉承這一原則,有利于在創(chuàng)制法律制度時,充分衡平科技發(fā)展與權(quán)利保護。

    猜你喜歡
    監(jiān)管算法用戶
    基于MapReduce的改進Eclat算法
    Travellng thg World Full—time for Rree
    進位加法的兩種算法
    關(guān)注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    關(guān)注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    一種改進的整周模糊度去相關(guān)算法
    關(guān)注用戶
    商用汽車(2016年4期)2016-05-09 01:23:12
    監(jiān)管
    監(jiān)管和扶持并行
    如何獲取一億海外用戶
    两性夫妻黄色片| 69av精品久久久久久| 女性生殖器流出的白浆| www.999成人在线观看| 亚洲av美国av| 老汉色av国产亚洲站长工具| 亚洲av美国av| 亚洲无线在线观看| 女生性感内裤真人,穿戴方法视频| 免费高清视频大片| 国产精品爽爽va在线观看网站 | 久久久久国产精品人妻aⅴ院| 一本综合久久免费| 一边摸一边抽搐一进一出视频| 成人国产综合亚洲| 激情在线观看视频在线高清| 欧美日韩精品网址| 欧美日韩精品网址| 精品国产超薄肉色丝袜足j| 日本三级黄在线观看| 桃色一区二区三区在线观看| 亚洲成a人片在线一区二区| 国产亚洲欧美98| 女人精品久久久久毛片| www国产在线视频色| 法律面前人人平等表现在哪些方面| av天堂久久9| 欧美久久黑人一区二区| 亚洲欧美日韩高清在线视频| 国产精品野战在线观看| 亚洲午夜理论影院| 国产熟女xx| 欧美 亚洲 国产 日韩一| 日韩国内少妇激情av| 九色亚洲精品在线播放| 精品国产亚洲在线| 国产99白浆流出| 久久久久久人人人人人| 99国产极品粉嫩在线观看| 99国产极品粉嫩在线观看| 国产三级在线视频| 亚洲国产毛片av蜜桃av| 日本欧美视频一区| 国产不卡一卡二| 男女做爰动态图高潮gif福利片 | 日韩精品免费视频一区二区三区| 天天躁狠狠躁夜夜躁狠狠躁| 午夜福利欧美成人| 国产欧美日韩一区二区三| 免费高清视频大片| 国产精品自产拍在线观看55亚洲| 国产精品av久久久久免费| 人成视频在线观看免费观看| 久久久久久久久久久久大奶| 国产av又大| 操美女的视频在线观看| 亚洲成国产人片在线观看| 伦理电影免费视频| 日韩大尺度精品在线看网址 | 啦啦啦 在线观看视频| 亚洲av日韩精品久久久久久密| 51午夜福利影视在线观看| 丝袜人妻中文字幕| 国产欧美日韩综合在线一区二区| 国产区一区二久久| 亚洲第一欧美日韩一区二区三区| 午夜久久久久精精品| 欧美一级毛片孕妇| 性欧美人与动物交配| 亚洲欧美精品综合久久99| 久久久久久久久免费视频了| 久久 成人 亚洲| 看片在线看免费视频| 看片在线看免费视频| 欧美乱码精品一区二区三区| 亚洲欧美日韩另类电影网站| 国产成人欧美| 亚洲国产精品999在线| 午夜福利,免费看| 久久久久久大精品| 亚洲精品中文字幕一二三四区| 日韩高清综合在线| av欧美777| 午夜视频精品福利| 国产精品久久久久久亚洲av鲁大| 午夜影院日韩av| 黄片小视频在线播放| 黄色视频,在线免费观看| 这个男人来自地球电影免费观看| 精品一区二区三区四区五区乱码| 亚洲欧美精品综合久久99| 日韩大尺度精品在线看网址 | 亚洲,欧美精品.| 色综合站精品国产| 69av精品久久久久久| 成年人黄色毛片网站| 久久草成人影院| 亚洲色图综合在线观看| av电影中文网址| 亚洲欧美激情在线| 国产男靠女视频免费网站| 久久精品aⅴ一区二区三区四区| 一二三四社区在线视频社区8| 夜夜爽天天搞| 欧美色视频一区免费| 久久久久国产一级毛片高清牌| 亚洲欧洲精品一区二区精品久久久| 一区二区三区国产精品乱码| 欧美日韩精品网址| 91字幕亚洲| 在线观看一区二区三区| 十八禁网站免费在线| 国产成人精品久久二区二区91| 亚洲五月婷婷丁香| av片东京热男人的天堂| 欧美久久黑人一区二区| 亚洲自偷自拍图片 自拍| 成人特级黄色片久久久久久久| 亚洲精品一区av在线观看| 久久婷婷人人爽人人干人人爱 | 国内精品久久久久精免费| 午夜福利18| 中文亚洲av片在线观看爽| 亚洲国产高清在线一区二区三 | 中文字幕最新亚洲高清| 成人精品一区二区免费| 变态另类成人亚洲欧美熟女 | 成年人黄色毛片网站| 亚洲第一欧美日韩一区二区三区| 我的亚洲天堂| 欧美精品啪啪一区二区三区| 黑人巨大精品欧美一区二区mp4| 神马国产精品三级电影在线观看 | 久久国产精品人妻蜜桃| 91在线观看av| 国产视频一区二区在线看| av中文乱码字幕在线| 精品乱码久久久久久99久播| 日韩av在线大香蕉| 国产精华一区二区三区| 中出人妻视频一区二区| 99精品在免费线老司机午夜| 久热爱精品视频在线9| 天天躁狠狠躁夜夜躁狠狠躁| 久久精品人人爽人人爽视色| 桃红色精品国产亚洲av| 国产亚洲欧美精品永久| 成人精品一区二区免费| 亚洲国产欧美日韩在线播放| 亚洲成人精品中文字幕电影| 亚洲熟妇熟女久久| 久久天躁狠狠躁夜夜2o2o| 亚洲成a人片在线一区二区| 我的亚洲天堂| 国产亚洲av高清不卡| 波多野结衣av一区二区av| 国产精品久久久人人做人人爽| 亚洲无线在线观看| 国产色视频综合| 成熟少妇高潮喷水视频| 黄色毛片三级朝国网站| 黑人巨大精品欧美一区二区mp4| 国产精品久久久av美女十八| 变态另类丝袜制服| 一边摸一边抽搐一进一小说| 欧美黄色淫秽网站| 亚洲欧美日韩高清在线视频| 亚洲国产精品合色在线| www.自偷自拍.com| 国产欧美日韩一区二区三| 国产精品自产拍在线观看55亚洲| 大香蕉久久成人网| 色av中文字幕| 色综合婷婷激情| 亚洲电影在线观看av| 男人舔女人下体高潮全视频| 国产一区二区激情短视频| 久久久久国内视频| 狂野欧美激情性xxxx| 精品久久久精品久久久| 午夜视频精品福利| 欧美老熟妇乱子伦牲交| 一个人观看的视频www高清免费观看 | 亚洲国产欧美网| 亚洲三区欧美一区| 国产又爽黄色视频| 一个人免费在线观看的高清视频| 十八禁人妻一区二区| 亚洲男人的天堂狠狠| 亚洲自偷自拍图片 自拍| 日韩欧美国产一区二区入口| 欧美日本中文国产一区发布| 午夜福利在线观看吧| 最新在线观看一区二区三区| 中文字幕久久专区| 亚洲中文字幕一区二区三区有码在线看 | 伊人久久大香线蕉亚洲五| 久久精品影院6| a在线观看视频网站| svipshipincom国产片| 超碰成人久久| 美女大奶头视频| 久久中文字幕人妻熟女| 99精品久久久久人妻精品| 精品一区二区三区av网在线观看| 午夜激情av网站| 国产精品久久久av美女十八| 淫秽高清视频在线观看| 操出白浆在线播放| 日日爽夜夜爽网站| 人人妻,人人澡人人爽秒播| 精品久久久久久久毛片微露脸| av片东京热男人的天堂| 啦啦啦免费观看视频1| 久久精品成人免费网站| 国产在线精品亚洲第一网站| 黑人巨大精品欧美一区二区蜜桃| 欧美日韩乱码在线| 国产人伦9x9x在线观看| 久久久久久人人人人人| 国产亚洲欧美在线一区二区| 极品人妻少妇av视频| 亚洲自偷自拍图片 自拍| 午夜福利一区二区在线看| 久久午夜亚洲精品久久| 国产成人精品久久二区二区免费| 精品国产一区二区三区四区第35| 亚洲成av人片免费观看| 精品卡一卡二卡四卡免费| 午夜免费成人在线视频| 电影成人av| 精品日产1卡2卡| 亚洲熟女毛片儿| 亚洲熟妇熟女久久| 国产极品粉嫩免费观看在线| 亚洲国产日韩欧美精品在线观看 | 国产亚洲欧美98| 女人被狂操c到高潮| 亚洲av片天天在线观看| 亚洲国产欧美日韩在线播放| 亚洲精品美女久久久久99蜜臀| tocl精华| 久久人妻av系列| 欧美日韩瑟瑟在线播放| 亚洲成人精品中文字幕电影| 琪琪午夜伦伦电影理论片6080| 久久这里只有精品19| 久久国产亚洲av麻豆专区| av天堂在线播放| 亚洲无线在线观看| 国产麻豆69| 精品久久久精品久久久| 人人妻,人人澡人人爽秒播| 久久久水蜜桃国产精品网| 国产亚洲av嫩草精品影院| 午夜免费鲁丝| 欧美日本视频| 纯流量卡能插随身wifi吗| 在线天堂中文资源库| 真人一进一出gif抽搐免费| 久久人妻av系列| 久久久久久免费高清国产稀缺| 久久精品国产清高在天天线| 亚洲精品久久国产高清桃花| 法律面前人人平等表现在哪些方面| 欧美不卡视频在线免费观看 | 国产精品久久电影中文字幕| 免费在线观看日本一区| 在线十欧美十亚洲十日本专区| 亚洲国产精品999在线| 国产成人精品无人区| 国产单亲对白刺激| 女性被躁到高潮视频| 国产真人三级小视频在线观看| 搡老妇女老女人老熟妇| 国产精品秋霞免费鲁丝片| 真人做人爱边吃奶动态| 欧美一区二区精品小视频在线| 亚洲精品国产精品久久久不卡| 欧美乱妇无乱码| 高潮久久久久久久久久久不卡| 日本黄色视频三级网站网址| 亚洲视频免费观看视频| 国产精品久久久久久人妻精品电影| 国产极品粉嫩免费观看在线| 国产1区2区3区精品| 成人国产一区最新在线观看| 亚洲熟妇熟女久久| 可以在线观看的亚洲视频| 人妻丰满熟妇av一区二区三区| 亚洲国产欧美日韩在线播放| 久久香蕉国产精品| 日韩有码中文字幕| 成人精品一区二区免费| 大型黄色视频在线免费观看| 欧美激情极品国产一区二区三区| 中文字幕人妻熟女乱码| av电影中文网址| 久久狼人影院| 一级,二级,三级黄色视频| 日韩欧美国产在线观看| 精品国产超薄肉色丝袜足j| 天堂√8在线中文| 国产麻豆成人av免费视频| 两性午夜刺激爽爽歪歪视频在线观看 | 少妇熟女aⅴ在线视频| netflix在线观看网站| 午夜影院日韩av| cao死你这个sao货| 亚洲在线自拍视频| 欧美+亚洲+日韩+国产| 日韩视频一区二区在线观看| 欧美中文日本在线观看视频| 免费无遮挡裸体视频| 亚洲第一青青草原| 久久久久九九精品影院| 亚洲欧美日韩高清在线视频| 亚洲 国产 在线| 69av精品久久久久久| 制服人妻中文乱码| 纯流量卡能插随身wifi吗| 久久中文字幕一级| 成人18禁在线播放| 999久久久精品免费观看国产| www.999成人在线观看| 非洲黑人性xxxx精品又粗又长| 可以在线观看毛片的网站| 色老头精品视频在线观看| 男男h啪啪无遮挡| 亚洲国产日韩欧美精品在线观看 | 欧美乱码精品一区二区三区| 欧美日韩福利视频一区二区| 91精品国产国语对白视频| 国产xxxxx性猛交| 欧美成人性av电影在线观看| 国产片内射在线| 国产乱人伦免费视频| 久久久久亚洲av毛片大全| 一级,二级,三级黄色视频| 免费在线观看日本一区| 男女做爰动态图高潮gif福利片 | 男男h啪啪无遮挡| 99re在线观看精品视频| 免费在线观看黄色视频的| 又紧又爽又黄一区二区| 老汉色av国产亚洲站长工具| 精品一区二区三区四区五区乱码| 久久久久国产精品人妻aⅴ院| 欧美黑人精品巨大| 久久性视频一级片| 看片在线看免费视频| 男人舔女人下体高潮全视频| 中亚洲国语对白在线视频| 淫妇啪啪啪对白视频| 乱人伦中国视频| 国产精品 国内视频| 可以在线观看毛片的网站| 精品国产一区二区三区四区第35| 亚洲成av人片免费观看| 好看av亚洲va欧美ⅴa在| 久热这里只有精品99| 成人手机av| 咕卡用的链子| 午夜免费观看网址| 国产成人一区二区三区免费视频网站| 免费在线观看视频国产中文字幕亚洲| 欧美在线黄色| 久9热在线精品视频| 又黄又粗又硬又大视频| 亚洲第一青青草原| 可以在线观看的亚洲视频| 无限看片的www在线观看| 亚洲男人天堂网一区| 亚洲免费av在线视频| 亚洲欧美日韩另类电影网站| 久久精品aⅴ一区二区三区四区| 嫁个100分男人电影在线观看| 中文字幕av电影在线播放| 国产在线观看jvid| 亚洲片人在线观看| 性色av乱码一区二区三区2| 9色porny在线观看| 国产男靠女视频免费网站| 夜夜爽天天搞| 看黄色毛片网站| 一区二区日韩欧美中文字幕| 精品欧美国产一区二区三| 成人永久免费在线观看视频| 一区福利在线观看| 一区二区三区精品91| 熟妇人妻久久中文字幕3abv| 黄色视频不卡| 亚洲欧美激情综合另类| 岛国在线观看网站| www.999成人在线观看| 女人被狂操c到高潮| 妹子高潮喷水视频| 大陆偷拍与自拍| 亚洲在线自拍视频| 日韩 欧美 亚洲 中文字幕| 国产麻豆69| 一级a爱视频在线免费观看| 久久久久久大精品| www.精华液| 自线自在国产av| 视频在线观看一区二区三区| 精品国产国语对白av| 亚洲av美国av| 欧美黄色淫秽网站| 国产99白浆流出| 亚洲国产精品成人综合色| 精品久久久久久久人妻蜜臀av | 黄色视频,在线免费观看| 正在播放国产对白刺激| 黑人巨大精品欧美一区二区蜜桃| 最近最新免费中文字幕在线| 欧美乱码精品一区二区三区| 岛国视频午夜一区免费看| 两人在一起打扑克的视频| 亚洲一区二区三区色噜噜| 国产高清有码在线观看视频 | 国产av在哪里看| 日本 欧美在线| 欧美日本视频| 国产精品免费一区二区三区在线| 国产区一区二久久| 精品一区二区三区视频在线观看免费| 日日干狠狠操夜夜爽| 黄色毛片三级朝国网站| 精品人妻在线不人妻| e午夜精品久久久久久久| 国产成人欧美| 亚洲五月天丁香| 9191精品国产免费久久| 精品国产美女av久久久久小说| 精品无人区乱码1区二区| 侵犯人妻中文字幕一二三四区| 欧美日韩亚洲综合一区二区三区_| 久久人人爽av亚洲精品天堂| 一区福利在线观看| av片东京热男人的天堂| 国产成人欧美| 国产精品久久视频播放| 成人永久免费在线观看视频| 天堂√8在线中文| 欧美国产日韩亚洲一区| 久久国产乱子伦精品免费另类| 9热在线视频观看99| www.自偷自拍.com| 日本 欧美在线| 无限看片的www在线观看| 亚洲精品粉嫩美女一区| 在线播放国产精品三级| 国产亚洲精品第一综合不卡| 俄罗斯特黄特色一大片| 脱女人内裤的视频| 久久中文看片网| 色综合欧美亚洲国产小说| 国产精品影院久久| 制服诱惑二区| 一级a爱视频在线免费观看| 午夜亚洲福利在线播放| 午夜日韩欧美国产| 亚洲精品粉嫩美女一区| 久久久久精品国产欧美久久久| 亚洲国产精品sss在线观看| 日本vs欧美在线观看视频| 亚洲少妇的诱惑av| 精品无人区乱码1区二区| 欧美亚洲日本最大视频资源| 亚洲五月婷婷丁香| 精品国产超薄肉色丝袜足j| 99riav亚洲国产免费| 国产乱人伦免费视频| 欧美日韩乱码在线| 一区二区三区国产精品乱码| 国产精品一区二区三区四区久久 | 中亚洲国语对白在线视频| 久久精品亚洲精品国产色婷小说| 国产一区二区三区综合在线观看| 国产精品永久免费网站| 国产一区在线观看成人免费| 日本撒尿小便嘘嘘汇集6| 亚洲国产欧美日韩在线播放| www.www免费av| 国语自产精品视频在线第100页| 国产亚洲精品久久久久5区| 波多野结衣巨乳人妻| 欧美日本中文国产一区发布| 国产高清videossex| 美女大奶头视频| 欧美黄色淫秽网站| 好男人电影高清在线观看| 亚洲九九香蕉| 99久久综合精品五月天人人| 国产精品久久久久久亚洲av鲁大| 男人操女人黄网站| 亚洲专区国产一区二区| 夜夜爽天天搞| 又黄又爽又免费观看的视频| 露出奶头的视频| 成人欧美大片| 变态另类丝袜制服| 久久久久久久久免费视频了| 国产精品久久久人人做人人爽| 91麻豆av在线| 亚洲自拍偷在线| 久久久久久亚洲精品国产蜜桃av| 亚洲全国av大片| 操出白浆在线播放| 久久久久久人人人人人| 欧美乱妇无乱码| 欧美日韩黄片免| 国产精华一区二区三区| 亚洲三区欧美一区| 中国美女看黄片| 麻豆成人av在线观看| 老鸭窝网址在线观看| 色老头精品视频在线观看| 国产成人精品无人区| 不卡av一区二区三区| 欧美激情高清一区二区三区| 国产成+人综合+亚洲专区| 国产精品精品国产色婷婷| 国产成人精品久久二区二区免费| 亚洲精品国产精品久久久不卡| 夜夜躁狠狠躁天天躁| 人人妻人人爽人人添夜夜欢视频| 成人18禁高潮啪啪吃奶动态图| 丰满的人妻完整版| 天堂影院成人在线观看| 黄色女人牲交| 久久伊人香网站| 国产免费av片在线观看野外av| www.精华液| 国产精品久久久人人做人人爽| 国产av一区在线观看免费| 亚洲,欧美精品.| 欧美久久黑人一区二区| 国产精品一区二区三区四区久久 | 免费不卡黄色视频| 日本五十路高清| 很黄的视频免费| 国产亚洲精品第一综合不卡| 国产精品亚洲av一区麻豆| 一级a爱片免费观看的视频| 女人被狂操c到高潮| 日韩成人在线观看一区二区三区| 欧美中文日本在线观看视频| 亚洲第一av免费看| 可以免费在线观看a视频的电影网站| 午夜福利18| 久久久久国产一级毛片高清牌| 国产不卡一卡二| 成人18禁在线播放| 久久精品国产清高在天天线| 国产精品一区二区免费欧美| 美女高潮喷水抽搐中文字幕| 91老司机精品| 国产精品九九99| 咕卡用的链子| 91av网站免费观看| 欧美日韩瑟瑟在线播放| 久久亚洲真实| 久久国产精品影院| 国产色视频综合| 欧美一区二区精品小视频在线| 无人区码免费观看不卡| 免费看a级黄色片| 亚洲成国产人片在线观看| 啦啦啦免费观看视频1| 亚洲国产中文字幕在线视频| 亚洲激情在线av| 国产激情欧美一区二区| 久久久精品欧美日韩精品| 又黄又爽又免费观看的视频| 麻豆av在线久日| 精品一区二区三区视频在线观看免费| 欧美人与性动交α欧美精品济南到| 韩国精品一区二区三区| 日韩一卡2卡3卡4卡2021年| 欧美日本亚洲视频在线播放| 久久草成人影院| 男女做爰动态图高潮gif福利片 | 一边摸一边抽搐一进一出视频| 人成视频在线观看免费观看| 侵犯人妻中文字幕一二三四区| 成人手机av| 男人舔女人的私密视频| 亚洲免费av在线视频| 国产在线观看jvid| 亚洲第一电影网av| 日本精品一区二区三区蜜桃| 日日摸夜夜添夜夜添小说| 一个人免费在线观看的高清视频| 无限看片的www在线观看| 亚洲国产精品成人综合色| 欧美成人午夜精品| 久久香蕉激情| 村上凉子中文字幕在线| 欧美中文综合在线视频| 国产欧美日韩一区二区三| 精品一区二区三区av网在线观看| 变态另类丝袜制服| 搡老熟女国产l中国老女人| 欧美成人性av电影在线观看| 又紧又爽又黄一区二区| 制服诱惑二区| 午夜免费成人在线视频| 欧美另类亚洲清纯唯美| 亚洲成人国产一区在线观看| 中文字幕久久专区| 99国产综合亚洲精品| 97人妻天天添夜夜摸| 亚洲成av人片免费观看|