• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    論算法認知偏差對人工智能法律規(guī)制的負面影響及其矯正

    2022-02-16 00:52:00劉澤剛
    政治與法律 2022年11期
    關(guān)鍵詞:規(guī)制人工智能算法

    劉澤剛

    (西南政法大學行政法學院,重慶 401120)

    讓?鮑德里亞嘗言:“人通過對事物的想象、命名和概念化而令事物存在,同時也加速了它們的消亡,在不知不覺中令它們脫離原初的真實狀態(tài)?!薄?〕[法]讓?鮑德里亞:《為何一切尚未消失?》,張曉明譯,南京大學出版社2017年版,第64頁。“算法”已從內(nèi)涵清晰的技術(shù)概念變成含義模糊且極具情緒煽動力的流行語匯。法學文獻中層見疊出的“算法”表述往往脫離技術(shù)事實,在規(guī)范上也無準確所指,有些甚至是明顯的張冠李戴?!八惴ā备袷菍θ斯ぶ悄軙r代各種負面情緒的想象和命名,折射了普通人在信息時代無助的精神狀態(tài)。實際上,算法并非是引起當前人工智能各種缺陷的主要原因。企業(yè)和平臺等主體的“算計”,以及數(shù)據(jù)中蘊含的對現(xiàn)實世界的既有“看法”,才是人工智能各種問題的根源。正所謂“匹夫無罪,懷璧其罪”。準確認知是有效法律規(guī)制的重要前提。算法認知偏差不僅扭曲了技術(shù)事實,還可能影響法律對人工智能的有效規(guī)范。

    一、算法認知偏差的主要表現(xiàn)及其糾偏

    實定法秩序是法學研究的重要依據(jù)。在法律規(guī)范沒有明確界定的情況下,學者可以對研究對象采取靈活定義??傮w來說,法學研究者對算法采取了比較寬泛的界定:鮮有學者采用嚴格的技術(shù)性算法概念;大部分學者采用了將一切相關(guān)現(xiàn)象統(tǒng)統(tǒng)納入的模糊表述;也有學者采用中義,將算法界定為“人類和機器交互的決策,即人類通過代碼設(shè)置、數(shù)據(jù)運算與機器自動化判斷進行決策的一套機制”?!?〕丁曉東:《論算法的法律規(guī)制》,載《中國社會科學》2020年第12期?;谔囟ǖ难芯恐黝}與目的,這些界定都有其合理性。但2020年以來,國際組織、歐盟和美國推出的人工智能規(guī)范中都采用了尊重技術(shù)性算法定義的立場。在此情況下,以實定法為導向的研究應(yīng)充分尊重現(xiàn)實,不宜過度擴展算法概念外延,否則易在認知偏差的作用下,形成對人工智能法律規(guī)制問題的誤識。

    認知偏差是指那些扭曲現(xiàn)實理解,干擾清晰、精確、客觀思考能力的心理因素。近年來,信念偏差、消極偏見、可得性啟發(fā)、從眾心理等認知偏差嚴重扭曲了人們對算法的客觀認識?!?〕信念偏差是指通過結(jié)論的可信度來判斷一個推論的正確與否。消極偏見是指人們相信消極信息多于積極信息的傾向。可得性啟發(fā)是指人們會無意識地依據(jù)被提及的事件的頻率來判斷事件發(fā)生的可能性。從眾效應(yīng)是指人在下意識讓自己的想法向大多數(shù)人的想法靠攏的傾向。參見[美]布魯克?諾埃爾?摩爾、理查德?帕克:《批判性思維》(第12版),朱素梅譯,機械工業(yè)出版社2021年版,第12-19頁。人們依據(jù)人工智能應(yīng)用的負面效果判定算法應(yīng)承擔主要責任。關(guān)于算法的負面信息已經(jīng)被廣泛擴散并廣受認同。接受到這些消極信息的人們對自己隨時都在遭受算法的迫害和算計感到不安與焦慮。大量以算法規(guī)制、算法治理為主題的論文缺乏技術(shù)知識與實踐反思。出版社將其他主題的作品改頭換面為“算法”書籍出版?!?〕例如原名Future Politics : Living Together in a World Transformed by Tech的書籍在國內(nèi)出版時被改名為《算法的力量:人類如何共同生存?》。原書很明顯不是以算法為主題的書籍,但中文版書名卻很容易令人誤解。同樣原名Classic Computer Science Problems in Python的技術(shù)書籍被改名為《算法精粹:經(jīng)典計算機科學問題的Python實現(xiàn)》;原名Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy被改名為《算法霸權(quán):數(shù)學殺傷性武器的威脅》。參見[英]杰米?薩斯坎德:《算法的力量:人類如何共同生存?》,李大白譯,北京日報出版社2022年版;[美]大衛(wèi)?科帕克:《算法精粹:經(jīng)典計算機科學問題的Python實現(xiàn)》,戴旭譯,人民郵電出版社2020年版;[美]凱西?奧尼爾:《算法霸權(quán):數(shù)學殺傷性武器的威脅》,馬青玲譯,中信出版社2018年版。媒體和市場陷入“技術(shù)炒作的怪圈”?!?〕[美]羅莉安?普拉特:《決策智能:鏈接數(shù)據(jù)、行為和結(jié)果的新智能》,禾搖譯,電子工業(yè)出版社2021年版,第13-14頁。在這種紛亂的背景下,不愿信任算法也不能容忍算法犯錯的“算法厭惡”盛行?!?〕參見 [美]保羅?多爾蒂、詹姆斯?威爾遜:《機器與人:埃森哲論新人工智能》,趙亞男譯,中信出版社2018年版,第150頁。與此同時,“算法依賴”日益嚴重:“我們把大部分決策權(quán)交給了復雜的機器。資格自動認證系統(tǒng)、排名算法和風險預測模型決定了哪些社區(qū)會受到治安巡查,哪些家庭能獲得所需資源,誰會被列入工作候選名單,誰又要接受欺詐調(diào)查?!薄?〕[美]弗吉尼亞?尤班克斯:《自動不平等:高科技如何鎖定、管制和懲罰窮人》,李明倩譯,商務(wù)印書館2021年版,第3頁。

    “算法厭惡”和“算法依賴”都采用了“提喻”手法,用“算法”這個局部存在指代整體性的“人工智能系統(tǒng)”?!?〕提喻也稱舉隅法,舉隅指舉一反三,即在提到某人或某物時,不直接用其正規(guī)全名,而用與其密不可分的事物或者局部特征來代替。算法廣泛存在于生產(chǎn)、生活中,甚至打開電腦的過程都是由一系列算法支撐的。但人們并不關(guān)心底層的基礎(chǔ)算法以及與個體權(quán)益無直接關(guān)聯(lián)的算法。法學文獻中存在大量“提喻”性的“算法”,其真實所指是對自然人權(quán)益有直接影響的人工智能系統(tǒng)。然而,這種對算法的過分關(guān)注包含著嚴重的認知偏差。只有排除干擾,回歸理性才能認清人工智能算法的本質(zhì)并據(jù)此進行有效的法律規(guī)制。具體來說,當前亟需從以下幾個方面對算法認知偏差進行糾偏。

    (一)算法不是唯一

    算法無疑是人工智能的核心要素。但本輪人工智能發(fā)展的契機是大數(shù)據(jù)和強算力。在大數(shù)據(jù)環(huán)境下,數(shù)據(jù)、算力、AI框架和模型框架對人工智能的重要性有明顯提升。算法不僅不是唯一重要的因素,其在某些領(lǐng)域的重要性甚至有明顯的降低趨勢。

    1.數(shù)據(jù)

    當前人工智能系統(tǒng)中數(shù)據(jù)的作用更加根本,甚至決定了算法發(fā)揮作用的方式。以機器學習為例,湯姆米?切爾曾做過經(jīng)典界定:“對于某類任務(wù)T和性能度量P,如果一個計算機程序在T上以P衡量的性能隨著經(jīng)驗E而自我完善,那么我們稱這個計算機程序在從經(jīng)驗E中學習。”〔9〕[美] Tom M.Mitchell:《機器學習》,曾華軍、張銀奎等譯,機械工業(yè)出版社2003年版,第3頁。機器學習適于處理那些可能存在潛在規(guī)律,但用傳統(tǒng)編程難以解決且有大量數(shù)據(jù)的問題?!?0〕可以簡單地將機器學習視為實現(xiàn)人工智能的一種技術(shù)路徑,而深度學習、強化學習則是機器學習的子集??紤]到當前機器學習廣泛適用的情況,只要沒有特別說明,本文所說的人工智能主要是指以機器學習為技術(shù)路徑的人工智能系統(tǒng)?!皩W習”是計算機從數(shù)據(jù)學得最優(yōu)模型的過程,因此機器學習算法也被稱為“學習算法”?,F(xiàn)實的機器學習系統(tǒng)構(gòu)建通常會選擇幾種不同的算法來訓練模型,比較其性能并從中選擇最優(yōu)的算法?!?1〕參見[美]塞巴斯蒂安?拉施卡:《Python機器學習》,高明、徐瑩、陶虎成譯,機械工業(yè)出版社2017年版,第7頁。而且,模型往往需要多次重新訓練。算法選擇的主要依據(jù)是需要解決問題的性質(zhì)以及數(shù)據(jù)的情況。數(shù)據(jù)的規(guī)模和特征對機器學習的性能往往具有決定作用。例如在訓練集樣本量較小的年代通行的經(jīng)典梯度下降法和牛頓法在處理大數(shù)據(jù)問題時的效率非常低下。正因為如此,隨機梯度下降法這種在大數(shù)據(jù)條件下效率巨高的方法得到廣泛運用和發(fā)展?!?2〕參見史春奇、卜晶祎、施智平:《機器學習:算法背后的理論與優(yōu)化》,清華大學出版社2019年版,第135頁。訓練數(shù)據(jù)對模型性能影響更大。即便獲得算法的原始代碼也不足以真正理解特定人工智能系統(tǒng)的工作原理,因為它實際上取決于輸入其中的數(shù)據(jù)。由于數(shù)據(jù)無可取代的重要性,當前的技術(shù)趨勢常被稱為數(shù)據(jù)驅(qū)動的人工智能。

    2.算力

    很多前沿性大規(guī)模深度學習人工智能項目的算法框架并不神秘,但訓練卻需要超大的數(shù)據(jù)集與驚人的計算量。例如2020年Open AI公司推出的GPT-3模型的高性能以規(guī)模為代價,使用的最大數(shù)據(jù)集在處理前容量達到了45TB,參數(shù)多達1750億個,計算需求高達3640pfs-day?!?3〕petaflop/s-day(pfs-day)是Open AI提出的算力的單位,其度量方法是:把一次加法或者乘法運算當作一次操作,如果每秒執(zhí)行10的15次方(peta)次運算并持續(xù)一天時間,這樣的算力消耗相當于1pfs-day。GPT-3在一定程度上證明了超大數(shù)據(jù)加上超大算力確實能導致人工智能性能的極大躍升?!?4〕關(guān)于GPT-3的詳細情況可參考該項目論文:Language Models are Few-Shot Learners, https://arxiv.org/abs/2005.14165, 2022年8月17日訪問。該論文作者多達31人,而且文末介紹了每個人的具體貢獻。僅從作者陣容也不難推知項目的復雜程度。強化學習的奠基人理查德?薩頓指出,人工智能70年發(fā)展的教訓之一是所有試圖簡化人類思維無可比擬的復雜性的嘗試都失敗了。人工智能的未來在于通用的搜索和學習方法,而非依賴人類知識。在薩頓看來,算力的杠桿作用是對人工智能發(fā)展唯一重要的因素。〔15〕See Rich Sutton, The Bitter Lesson, http://www.incompleteideas.net/IncIdeas/BitterLesson.html, last visited on Aug.17, 2022.盡管很多學者并不同意薩頓這種看似極端的看法,但人工智能近來迅猛的發(fā)展確實主要仰賴搜索和學習這些看似并不高明的“蠻力”,而搜索和學習性能的提升都是以算力的增長為前提。特別是在深度學習大模型的競爭性發(fā)展中,由于模型的總體框架基本定型,算力顯得比算法更具決定性。例如,由于Transformer這類大模型的訓練需要在短時間內(nèi)投入巨大算力,近年來前沿性大模型項目都是由在算力方面準備充分的美國公司和機構(gòu)主導研發(fā)。

    3.AI框架

    普通主體沒有實力從零開始搭建人工智能開發(fā)所需的軟硬件系統(tǒng)。實踐中,大部分人工智能項目并不單獨設(shè)計算法并圍繞算法搭建軟硬件環(huán)境,而是高度依賴既有AI框架進行開發(fā)。AI框架是AI算法模型設(shè)計、訓練和驗證的一套標準接口、特性庫和工具包,集成了算法的封裝、數(shù)據(jù)的調(diào)用以及計算資源的使用,同時面向開發(fā)者提供開發(fā)界面和高效的執(zhí)行平臺。AI框架是人工智能開發(fā)環(huán)節(jié)中的基礎(chǔ)工具,發(fā)揮著AI技術(shù)生態(tài)操作系統(tǒng)的功能?!?6〕中國信息通信研究院:《AI框架發(fā)展白皮書(2022 年)》,http://www.caict.ac.cn/kxyj/qwfb/bps/202202/t20220225_397170.html,2022 年8月19日訪問。目前最流行的AI框架是TensorFlow和PyTorch。TensorFlow更傾向于工業(yè)應(yīng)用領(lǐng)域,具有強大的移植性,利于工業(yè)部署。PyTorch語法簡便,開發(fā)周期短,已逐步成為科研領(lǐng)域主流平臺。在絕大部分情況下,工程師在AI框架中部署算法時只需依據(jù)任務(wù)目標選擇調(diào)用恰當算法,算法在屏蔽了底層硬件和操作系統(tǒng)細節(jié)的前提下發(fā)揮作用。

    4.模型框架

    人工智能項目的模型框架影響了算法的選擇和使用。2017年以來在自然語言處理(NLP)領(lǐng)域出現(xiàn)了一系列以Transformer為基礎(chǔ)架構(gòu)的性能優(yōu)異的大模型?!?7〕國內(nèi)一些文獻在描述Transformer時往往將其不恰當?shù)胤Q為一種算法。但從技術(shù)角度看,Transformer是一種整合了許多算法的自注意力(Self-attention)模型架構(gòu)。2022年,Deepmind的研究人員發(fā)表論文,用偽代碼(介于自然語言和計算機語言之間的文字和符號,是簡要表達算法的方法)簡要梳理了Transformer模型中的算法。從中可以看出,Transformer至少使用了15種算法。詳見Mary Phuong & Marcus Hutter, Formal Algorithms for Transformers, arXiv:2207.09238v1 [cs.LG].這種新范式導致大型NLP項目在框架和模型方面有統(tǒng)一的趨勢。開發(fā)者可以用預訓練良好的模型,針對不同任務(wù)目標進行微調(diào),使其同時適用于不同的下游任務(wù)。目前這種模式已經(jīng)超越NLP,在計算機視覺、多模態(tài)任務(wù)等領(lǐng)域也表現(xiàn)優(yōu)異。算法在特定任務(wù)領(lǐng)域的專門性和特異性已有所削弱。此外,在近年來興起的聯(lián)邦學習領(lǐng)域,各種經(jīng)典學習算法都需要依據(jù)聯(lián)邦學習框架進行有針對性的修改?!?8〕聯(lián)邦學習是一種帶有隱私保護、安全加密技術(shù)的分布式機器學習框架,旨在利用分散在各用戶的本地數(shù)據(jù)集協(xié)同訓練模型,為保證參與方隱私,訓練過程中,訓練數(shù)據(jù)不會離開本地,取而代之的是模型相關(guān)的信息(例如模型架構(gòu),參數(shù)梯度)會被共享至服務(wù)器端,從而降低了數(shù)據(jù)泄露的風險。參見王健宗、李澤遠、何安珣:《深入淺出聯(lián)邦學習:原理與實踐》,機械工業(yè)出版社2021年版,第11頁、第23頁。這些都充分說明了模型框架對算法的深刻影響。

    以上論述并不是否定算法的重要性,而是指出用“算法”籠統(tǒng)指代包含數(shù)據(jù)、算力、AI框架、模型框架以及人工干預等要素的人工智能系統(tǒng)是不恰當?shù)摹R云湃拿枋霾粌H扭曲了技術(shù)事實,而且混淆了不同層次和不同特性的對象。

    (二)算法不是算計

    算法往往被想象為針對無辜人群的精巧算計,而人們對自身利益受損的風險容易反應(yīng)過度。這無疑加深了算法概念的消極色彩,但算法本身并不能賦予人工智能精巧算計的特征。

    計算機處理特定問題時既可采取規(guī)范設(shè)計的方法,也可采取從數(shù)據(jù)中學習的方法?!?9〕See Yaser S.Abu-Mostafa, Malik Magdon-Ismail & Hsuan-Tien Lin, Learning From Data: A Short Course, AML Book, 2012, p.9.在傳統(tǒng)編程中,人類將經(jīng)驗歸納為嚴謹?shù)倪壿嫻讲⒂镁幊陶Z言將其描述出來,編譯成機器代碼后由計算機精確執(zhí)行。而作為從數(shù)據(jù)中學習的模式,機器學習則具有先天的不精確性和不確定性。機器學習的基本原理是“概率近似正確”(PAC)理論。在PAC原理下,只能希望計算機基于某種學習算法學得的模型所對應(yīng)的假設(shè)盡可能接近目標概念?!?0〕參見周志華、王魏、高尉、張利軍:《機器學習理論導引》,機械工業(yè)出版社2021年版,第26頁。PAC也可直譯為“可能近似正確”,其中有兩個不確定的表述:“近似”指的是在取值上只要與真實值的偏差小于預設(shè)就是“近似正確”;“可能”則指只要“近似正確”的概率足夠大就可認為“可能近似正確”。即便不能深入理解PAC的數(shù)學內(nèi)涵,我們也能體會到學習算法需要處理大量的不確定性問題。以機器學習為原理的人工智能在算法選擇和實現(xiàn)層面并沒有多少進行精巧算計和利益分配的空間,反而充斥著大量依靠直覺和經(jīng)驗的調(diào)整參數(shù)的粗重工作。正是在這種看似很不智能的調(diào)整參數(shù)操作中,機器學習算法才能不斷優(yōu)化,最后學習到逼近目標的模型。真正賦予人工智能系統(tǒng)算計特征的往往是算法之外的因素,例如數(shù)據(jù)質(zhì)量,尤其是數(shù)據(jù)本身蘊含的模式和偏見。此外,在主流的監(jiān)督學習模式中,人類主體設(shè)定的預期輸出往往是各種問題的根本來源。算法只是根據(jù)預期的輸出在數(shù)據(jù)上找到最優(yōu)模型。

    (三)“黑箱”不是“黑幕”

    算法實際上是人工智能系統(tǒng)內(nèi)較為清晰透明的部分。所謂“黑箱”并不是算法不夠透明,更不是人為故意隱瞞真相,而是主動采取的認知方法或客觀存在的認知難題??茖W界把關(guān)注內(nèi)部結(jié)構(gòu)和原理的認知方式稱為“白箱(白盒)”,與其相反的認知方式被稱為“黑箱(黑盒)”。在初步研究某種事物或需簡化研究對象時往往主動采取這種暫時忽略其內(nèi)部結(jié)構(gòu)和機理,只關(guān)注其輸入輸出以及與周圍環(huán)境關(guān)系的黑箱方法。另一種黑箱則是被動的。在機器學習領(lǐng)域就存在暫時無法逃避的“黑箱”。例如,目前被廣泛采用的人工神經(jīng)網(wǎng)絡(luò)(ANN)的輸入層和輸出層之間就是一個黑箱,科學界至今仍不完全了解神經(jīng)網(wǎng)絡(luò)輸出某種結(jié)果的確切原因?!?1〕參見[美]杰弗瑞?希頓:《人工智能算法(卷3):深度學習和神經(jīng)網(wǎng)絡(luò)》,王海鵬譯,人民郵電出版社2021年版,第8頁?;贏NN的深度學習更像是“實驗科學”而非“嚴格科學”,其實用效果良好的原理并沒有得到徹底揭示?!叭斯ぶ悄芎谙洹笨啥x為無法完全理解的人工智能決策過程以及無法預測的人工智能決策或輸出?!?2〕See Yavar Bathaee, The Artificial Intelligence Black Box and The Failure of Intent and Causation, 31 Harvard Journal of Law &Technology 889, 905 (2018).人工智能的可驗證性與可解釋性雖可通過一些技術(shù)手段進行,但這類黑箱問題暫時無法得到根本解決。然而,這是人工智能原理的黑箱而非算法的黑箱。畢竟算法是指可操作清晰的步驟。算法黑箱本來就是矛盾的概念。如果一種算法存在模糊和黑箱,它就是客觀上不可操作的,就不是算法。

    另外,不能把因認知能力不足產(chǎn)生的心理狀態(tài)稱為“黑箱”。否則黑箱將無處不在。醫(yī)學界對很多有效的治療方法和藥物的原理依然沒有完全認知,在這種性命攸關(guān)的領(lǐng)域也幾乎沒有“醫(yī)療黑箱”“藥物黑箱”的說法。實際上,人類運用了很多基本原理不明的技術(shù)。例如科學界對超導基本原理的認知仍不夠完整,很多常溫和高溫超導現(xiàn)象至今缺乏完備理論解釋,但這并不影響人類將其廣泛應(yīng)用于磁懸浮列車等領(lǐng)域?,F(xiàn)代社會是高度分工和專業(yè)化的,每個人都有大量知識盲區(qū),如果沒有對相關(guān)領(lǐng)域規(guī)范和技術(shù)起碼的信任,社會將難以正常運行。

    “算法黑箱”這類表達的流行與媒體的過度炒作有明顯關(guān)聯(lián)。媒體報道、普及性讀物以及社會科學研究文獻中的“黑箱”“算法黑箱”等“熱詞”在人工智能專業(yè)書籍中很少出現(xiàn)?!?3〕例如旨在對現(xiàn)有研究成果進行全面介紹的《人工智能:一種現(xiàn)代的方法》(第3版)中沒有任何章節(jié)或小節(jié)討論黑箱問題。參見[美]羅素、諾維格:《人工智能:一種現(xiàn)代的方法》(第3版),殷建平、祝恩、劉越、陳躍新譯,清華大學出版社2013年版。而在公認存在“黑箱”的深度學習領(lǐng)域,非常流行的《深度學習》也根本沒有討論過黑箱問題,術(shù)語索引中也沒有“黑箱”一詞。參見[美]伊恩?古德費洛、[加]約書亞?本吉奧、[加]亞倫?庫維爾:《深度學習》,趙申劍、黎彧君、符天凡、李凱譯,人民郵電出版社2017年版,第486-500頁。研究者和規(guī)范制訂者應(yīng)當深知這并不是準確的表達,更不能據(jù)此進行推理和行動。

    (四)算法不是私產(chǎn)

    公眾對算法的惡感還源自一種誤解:算法是大公司打造出來用于謀利的財產(chǎn)。但單純數(shù)學意義上的算法并沒有直接的財產(chǎn)價值,原則上也不受法律的排他性保護?!吨腥A人民共和國專利法》第25條規(guī)定對“智力活動的規(guī)則和方法”不授予專利權(quán),而算法就屬于解決特定問題的智力活動的規(guī)則和方法。當然,如果一個“解決技術(shù)問題、產(chǎn)生技術(shù)效果的技術(shù)方案”符合新穎性、創(chuàng)造性和實用性的要求,即便里面包含了算法,也可以被授予專利權(quán)。但被授權(quán)的是“技術(shù)方案”而非算法。實際上,基礎(chǔ)和經(jīng)典的算法從性質(zhì)上看大部分屬于排除授予專利權(quán)的“科學發(fā)現(xiàn)”?;A(chǔ)算法相當于數(shù)學的定律或公理,普通算法工程師沒有能力發(fā)明獨特算法,只是根據(jù)問題類型選擇合適算法,并根據(jù)需要進行局部優(yōu)化和改進,大部分情況下也會受到基礎(chǔ)AI框架的限制。然而,很多人都錯誤地認為某些公司掌握了一些不為人知、擁有專利壁壘的算法,并據(jù)此賺取超額利潤。例如,不少人認為Google的成功在很大程度上是因為其兩位創(chuàng)始人在公司成立前發(fā)明了高效的PageRank算法。實際上,在Google成立之前,利用鏈接關(guān)系對網(wǎng)頁排序已是比較成熟的技術(shù)領(lǐng)域。PageRank只是當時效果較好的多種鏈接分析排序算法之一,并非Google“獨門絕活”。

    當然,各國對算法作為專利的態(tài)度有所不同??傮w而言,美國在算法專利審查和批準方面比較寬松。大公司經(jīng)常申請單純算法專利且屢獲成功。面對業(yè)界和社會的批評,這些公司都承諾獲取專利后不會禁止他人免費使用相關(guān)算法,申請專利只是一種防御性措施。例如,盡管PageRank算法于2001年獲得美國專利,但專利所有者并未禁止其他主體免費使用該算法。隨著技術(shù)和觀念的發(fā)展,一些前沿性人工智能項目(甚至包括一些大公司的項目)還有開源算法的趨勢。

    二、算法認知偏差對人工智能法律規(guī)制的負面影響

    規(guī)制是一種基于問題的活動,而問題的識別、分析、解決受制于我們對世界的認識和理解?!?4〕See Julia Black, Learning from Regulatory Disasters, 10 Policy Quarterly 3, 3-11 (2014).準確認知是有效法律規(guī)制的重要前提。如果放任算法認知偏差泛濫,會造成人工智能法律規(guī)制在對象、依據(jù)、目的、程度等層面出現(xiàn)嚴重問題。

    (一)規(guī)制失焦

    問題識別的錯誤會導致規(guī)制的失敗。算法僅僅是人工智能系統(tǒng)的一個組成部分。過分強調(diào)算法概念,勢必會造成法律規(guī)制偏離焦點,并造成后續(xù)立法和實踐方面的諸多困難。盡管目前學界和媒體偏愛“算法規(guī)制”這類術(shù)語,但現(xiàn)實中卻極少有將“算法”作為專門規(guī)范對象的立法。已生效和擬議中的人工智能法律規(guī)制的文件中都沒有將算法作為其主要的規(guī)制對象。

    從全球范圍來看,2021年11月25日聯(lián)合國教科文組織發(fā)布的《人工智能倫理建議書》是首個針對人工智能倫理制定的全球規(guī)范框架。盡管該建議書不是嚴格意義上的法律,但表達了共識,勢必對各國人工智能立法形成重大影響。在這部文件中“算法”(algorithms)出現(xiàn)了8次,“人工智能”(AI)出現(xiàn)了358次,“人工智能系統(tǒng)”(AI systems)出現(xiàn)了131次。〔25〕See UNESCO, Recommendation on the Ethics of Artificial Intelligence, https://en.unesco.org/artificial-intelligence/ethics, last visited on Aug.19, 2022.

    從區(qū)域范圍來看,歐盟目前已生效和擬議中的法律并沒有將算法作為其主要規(guī)制對象。由于人工智能極度依賴數(shù)據(jù)驅(qū)動,《歐盟通用數(shù)據(jù)保護條例》(以下簡稱:GDPR)實際上對人工智能有著極強的約束作用。GDPR中與算法直接相關(guān)的規(guī)范對象是“自動化決策和用戶畫像”。只要人工智能系統(tǒng)使用歐盟公民的個人數(shù)據(jù)就必須受到GDPR的規(guī)范。因此,GDPR雖不是人工智能規(guī)制的專門立法,卻是當之無愧的人工智能重要規(guī)范。GDPR中沒有出現(xiàn)一次“算法”的表述。2021年4月歐盟公布了新的框架《人工智能法案》(以下簡稱:AIA),以規(guī)范歐盟27個成員國對人工智能的使用。該提案可能仍需數(shù)年調(diào)整和修訂才能成為正式法律,但它仍然是迄今為止全球范圍內(nèi)最雄心勃勃的人工智能立法,代表了未來法律規(guī)制的趨勢。在這部法案的解釋性備忘錄中,“算法的”(algorithmic)出現(xiàn)了1次,在正文中“算法”出現(xiàn)了2次,而“人工智能”出現(xiàn)了737次,“人工智能系統(tǒng)”則出現(xiàn)了 361次?!?6〕See Artificial Intelligence Act, https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206, last visited on Aug.19, 2022.以下引用AIA文本內(nèi)容不再逐一標注出處。

    2022年,歐盟公布了《數(shù)字市場法案》(以下簡稱:DMA)和《數(shù)字服務(wù)法》(以下簡稱:DSA)。〔27〕基于歐盟獨特復雜的立法制度,這兩項立法真正的適用還需時日,最后適用的具體文本也可能有所調(diào)整。但由于這兩部立法經(jīng)過了長期醞釀和充分討論,主要架構(gòu)和重要內(nèi)容不會有太大變化。本文引述條文反映的是文章寫作時的情況。特此說明。關(guān)于DMA和DSA通過、生效和適用的信息可參見Digital Services: Landmark Rules Adopted for a Safer, Open Online Environment,https://www.europarl.europa.eu/news/en/press-room/20220701IPR34364/digital-services-landmark-rules-adopted-for-a-safer-open-onlineenvironment, last visited on Aug.20, 2022.DMA的主要目標是規(guī)制超級公司和平臺在歐洲的商業(yè)行為和市場主導地位。DSA旨在迫使科技公司對其平臺上的內(nèi)容承擔更大的責任。DSA的解釋性備忘錄雖有幾次提及“算法”,但措辭謹慎,并沒有過分拔高算法地位。其正文出現(xiàn)了3次“算法”表述:第12條要求中介服務(wù)提供者向用戶提供“用于內(nèi)容審核的任何政策、程序、措施和工具的信息,包括算法決策和人工審查”;第54條規(guī)定歐盟委員會及其指定的審計員或?qū)<以诂F(xiàn)場檢查期間可以要求超大型在線平臺和有關(guān)主體“就其組織、運作、信息技術(shù)系統(tǒng)、算法、數(shù)據(jù)處理和業(yè)務(wù)行為提供解釋”;第57條規(guī)定歐盟委員會可以命令相關(guān)超大型在線平臺“提供對其數(shù)據(jù)庫和算法的訪問和相關(guān)解釋”。不難看出,普通用戶與算法的關(guān)聯(lián)僅僅在于內(nèi)容審核的算法決策信息。關(guān)于算法解釋,則屬于監(jiān)管方與平臺企業(yè)之間的關(guān)系范疇,而且屬于可選項目而非強制項目。另外,普通用戶非常關(guān)心的推薦系統(tǒng)算法問題,DSA也選擇了規(guī)制產(chǎn)品和服務(wù)而非算法的路徑。DSA第29條規(guī)定超大型在線平臺應(yīng)以清晰、易于獲取和理解的方式,公開其推薦系統(tǒng)中使用的主要參數(shù),還應(yīng)提供易于操作的選擇和修改推薦系統(tǒng)在線界面首選項功能,這些選項決定了向用戶呈現(xiàn)的信息排序?!?8〕Digital Services Act, https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:52020PC0825&from=en, last visited on Aug.20, 2022.很明顯,這些規(guī)定采取的是一種事后的整體規(guī)制立場,針對的是最后呈現(xiàn)給用戶的系統(tǒng)界面,而非推薦系統(tǒng)的算法。

    從國別范圍看,立法制度和政治體制的差異是造成國內(nèi)誤解“算法”在歐美國家具有正式法律地位的重要原因。歐美國家議會提出法案(bill)相對容易,所以有不少以“算法”為名的法案。例如美國幾位眾議員于2022年初向眾議院提起了一份《2022年算法責任法案》。但“算法責任法案”并非該法案的正式名稱,其正式全稱為《用以指導聯(lián)邦貿(mào)易委員會對自動化決策系統(tǒng)和有人工智能參與的關(guān)鍵決策進行影響評估以及其他相關(guān)目的的法案》。這只是一份尚未生效的法案。2019年已有議員在116屆眾議院提出過簡稱為《2019年算法責任法案》的提案。2022年的這份提案針對的對象是美國聯(lián)邦貿(mào)易委員會,即便順利通過也不是普遍適用性立法。從議案全稱不難看出其擬定的規(guī)范對象是自動決策和有人工智能參與的關(guān)鍵決策,只是出于迎合大眾、吸引關(guān)注的目的才將其簡稱為“算法責任法案”。整個法案除了簡稱的標題中出現(xiàn)過一次“算法的”之外,通篇再無任何“算法”表述。〔29〕Algorithmic Accountability Act of 2022, https://www.congress.gov/bill/117th-congress/house-bill/6580/text, last visited on Aug.20, 2022.歐美國家的政府機構(gòu)也樂于迎合民眾心理出臺一些以“算法”為名的文件。但這些文件基本都是以指南(Guidance)或標準(Standard)形式出現(xiàn),僅具有指導意義但并無法律強制力。其調(diào)整對象也多是人工智能系統(tǒng)而非算法。

    (二)規(guī)制失據(jù)

    法律規(guī)制不僅應(yīng)合理界定對象,還應(yīng)建立在堅實的規(guī)范依據(jù)之上。目前對人工智能有幾條主要的規(guī)范路徑。一是專門立法路徑。這條道路起步較晚,以歐盟AIA為代表的相關(guān)立法仍處于探索階段,尚未形成生效立法。但專門立法必成主流趨勢。二是美國式的靈活運用現(xiàn)有法律應(yīng)對人工智能挑戰(zhàn)的路徑。美國聯(lián)邦政府認為現(xiàn)行法律框架能夠應(yīng)對人工智能的挑戰(zhàn),而且傾向于減少監(jiān)管以保證美國人工智能產(chǎn)業(yè)保持領(lǐng)先地位。三是數(shù)據(jù)法路徑。歐盟在AIA這類專門立法生效前,對人工智能進行法律規(guī)制主要還是依據(jù)GDPR這類數(shù)據(jù)法規(guī)范。例如基于個人數(shù)據(jù)保護的立場對涉及高風險數(shù)據(jù)處理的人工智能進行嚴格規(guī)范,對自動決策和用戶畫像這類依托人工智能的活動的效力和范圍進行合理限制。這條路徑看似間接,實則具有穩(wěn)固的基礎(chǔ)??梢灶A見,今后大部分國家都將采取專門立法加數(shù)據(jù)法的模式規(guī)范人工智能。可見,最可靠的規(guī)制路徑是數(shù)據(jù)而非算法。這也是因為算法的法律性質(zhì)仍然存在很大爭議?!?0〕參見陳景輝:《算法的法律性質(zhì):言論、商業(yè)秘密還是正當程序?》,載《比較法研究》2020年第2期。通過算法規(guī)制人工智能缺乏現(xiàn)實的規(guī)范基礎(chǔ)。即便強行將算法作為規(guī)制進路,也很難逃避數(shù)據(jù)的基礎(chǔ)地位,主要表現(xiàn)為以下幾個方面。

    第一,機器學習是算法向數(shù)據(jù)學習,數(shù)據(jù)決定了人工智能系統(tǒng)的質(zhì)量。2020年6月杜克大學的人工智能圖像修復項目PULSE因涉嫌種族歧視引發(fā)爭議。有網(wǎng)友將美國前總統(tǒng)奧巴馬的模糊照片用PULSE處理后生成了一張男性白人照片。深度學習先驅(qū)、圖靈獎得主楊立昆認為這種系統(tǒng)偏差是由于數(shù)據(jù)集主要由白人照片構(gòu)成導致。PULSE項目基于StyleGAN算法開發(fā)。StyleGAN的開發(fā)者撰文承認:“這種偏見很可能是從StyleGAN接受訓練的數(shù)據(jù)集繼承而來的……盡管可能還有我們不知道的其他因素?!薄?1〕James Vincent, What a Machine Learning Tool That Turns Obama White Can (and Can’t) Tell Us about AI Bias, https://www.theverge.com/21298762/face-depixelizer-ai-machine-learning-tool-pulse-stylegan-obama-bias, last visited on Aug.20, 2022.PULSE項目的問題說明數(shù)據(jù)集的質(zhì)量和特征在特定情形下甚至可能成為主導人工智能項目成敗的因素。

    第二,關(guān)于數(shù)據(jù)和問題的先驗知識是影響算法的重要因素?!皼]有免費的午餐定理”(NFL)指出:“如果一個算法在某類問題上表現(xiàn)得更好,那么它會以在其他類別的問題上性能下降的形式付出代價。”〔32〕[美]阿米特?V.喬希:《機器學習與人工智能:從理論到實踐》,李征、袁科譯,機械工業(yè)出版社2021年版,第14頁。NFL定理對“算法崇拜”有警示作用:在缺乏對問題的認知、數(shù)據(jù)分布完全隨機且平等的情況下,任何算法的預期性能都是相似的,但如果具備關(guān)于問題和數(shù)據(jù)生成的先驗知識,就可以利用它們設(shè)計出更好的算法。因此,即便要對算法進行監(jiān)管,也應(yīng)結(jié)合更具決定性的數(shù)據(jù)要素一并監(jiān)管。

    第三,數(shù)據(jù)處理不當是人工智能領(lǐng)域很多問題產(chǎn)生的根源。實踐中,算法工程師有約70%以上的時間都用于數(shù)據(jù)準備工作?!?3〕參見大威編著:《從零開始:機器學習的數(shù)學原理和算法實踐》,人民郵電出版社2021年版,第230頁。人工智能不少規(guī)范層面的問題都是由數(shù)據(jù)預處理(Data Preprocessing)導致。作為最常見的數(shù)據(jù)預處理工作,特征工程通常包括特征建構(gòu)、特征提取、特征選擇等方法。其中特征選擇是最常用的技術(shù)。實施特征選擇有兩個主要原因:一是現(xiàn)實數(shù)據(jù)的屬性過多,容易造成“維數(shù)災難”;二是去除與學習任務(wù)不相關(guān)的特征可以有效降低學習難度?!?4〕參見周志華:《機器學習》,清華大學出版社2016年版,第247頁。實踐中,特征選擇往往蘊含了特定的價值偏向和利益算計。對數(shù)據(jù)特征的取舍在很大程度上決定了模型的取向。另外,考慮到現(xiàn)實中大部分人工智能系統(tǒng)都采取監(jiān)督學習的方案,必須依靠大量的標注數(shù)據(jù)。獲取大批量高質(zhì)量的標注數(shù)據(jù)需要花費大量的人力和時間。在金融、法律、醫(yī)學等領(lǐng)域,數(shù)據(jù)標注還需要行業(yè)專家或業(yè)務(wù)人員參與才能滿足需求。這在提高了數(shù)據(jù)標注成本的同時也將現(xiàn)實世界的偏見和錯誤植入系統(tǒng)。

    第四,數(shù)據(jù)在可信人工智能(Trustworthy AI)的發(fā)展中很可能會占據(jù)比算法更為重要的位置。近年來,越來越多的學者認為人工智能的主導方向應(yīng)從以模型為中心轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。例如,吳恩達認為過去人工智能的主流范式是下載數(shù)據(jù)集并專注于改進代碼。得益于這種范式,深度學習網(wǎng)絡(luò)有了顯著的改善。大數(shù)據(jù)與大模型作為深度學習引擎已經(jīng)成功運行多年且仍具有活力。但在某些場景下大數(shù)據(jù)并不適用,高質(zhì)量的小規(guī)模數(shù)據(jù)才是更好的解決方案。〔35〕See Andrew Ng Predicts the Next 10 Years in AI, https://venturebeat.com/2022/03/21/andrew-ng-predicts-the-next-10-years-in-ai/, last visited on Aug.25, 2022.以數(shù)據(jù)為中心的人工智能基于給定的標準模型開發(fā)平臺,側(cè)重于可通過數(shù)據(jù)清洗、篩選、標注、增強等過程來系統(tǒng)地改進數(shù)據(jù),進而提升人工智能系統(tǒng)的性能和可信性。〔36〕See Weixin Liang, Girmaw Abebe Tadesse & Daniel Ho et al., Advances, Challenges and Opportunities in Creating Data for Trustworthy AI, 4 Nature Machine Intelligence 669, 670 (2022).可信人工智能的發(fā)展當然離不開算法和模型的可靠性、透明性的提升。然而,在模型架構(gòu)已基本固定、改善空間有限的情況下,數(shù)據(jù)改善的價值就更加凸顯。雖然關(guān)于未來人工智能到底是繼續(xù)延續(xù)大數(shù)據(jù)加大模型的范式,還是轉(zhuǎn)向以數(shù)據(jù)為中心的范式仍有爭議,但數(shù)據(jù)在可信人工智能建設(shè)中發(fā)揮更大作用的可能性很大。規(guī)制對象的發(fā)展趨勢是規(guī)制政策制訂的重要依據(jù)。法律界有必要緊密關(guān)注以數(shù)據(jù)為中心的人工智能發(fā)展走向。

    基于以上考慮,數(shù)據(jù)的收集、儲存和處理應(yīng)是人工智能法律規(guī)制的關(guān)鍵問題。個人數(shù)據(jù)保護以及數(shù)據(jù)法制經(jīng)過多年發(fā)展已經(jīng)形成了相對成熟的規(guī)范體系和規(guī)制架構(gòu)。只要抓住數(shù)據(jù)這個關(guān)鍵,人工智能法律規(guī)制可收到事半功倍的效果。相反,緊盯中性的算法,不僅缺乏規(guī)范依據(jù),規(guī)制效果也很難得到提升。

    (三)規(guī)制失鵠

    成功的法律規(guī)制以目標的清晰和現(xiàn)實為前提。當前對人工智能進行法律規(guī)制必須兼顧權(quán)利、產(chǎn)業(yè)、科技三個方面的目標。三類目標很難進行價值排序,也不存在先天互斥的關(guān)系。只要規(guī)制路徑設(shè)置得當,完全可以兼顧。但若將算法作為人工智能規(guī)制的重點,對三種目標來說都是不利的。

    首先,過度強調(diào)算法不利于準確把握人工智能系統(tǒng)對人的尊嚴和權(quán)利的影響,還可能給相關(guān)主體卸責帶來可乘之機。人工智能系統(tǒng)充斥著大量來自人類的決策、干預和管理。讓人負起責任是人工智能規(guī)制的恰當途徑。過度強調(diào)算法,容易走入“見物不見人”的盲區(qū),忽視相關(guān)主體的法律責任,不利于權(quán)利的切實保護。以專家系統(tǒng)(Expert System)這類被廣泛應(yīng)用的傳統(tǒng)人工智能為例,我們不難看出人類因素的重要性。專家系統(tǒng)適合處理那些依靠傳統(tǒng)編程無法有效解決、偏重于運用不確定和不精確的啟發(fā)式知識且需要人類專家有效參與的領(lǐng)域。〔37〕參見[美]史蒂芬?盧奇、丹尼?科佩克:《人工智能》(第2版),林賜譯,人民郵電出版社2018年版,第249頁。算法在專家系統(tǒng)中并不是那么重要。專家系統(tǒng)并不按特定的步驟序列執(zhí)行,且允許不精確的推理,也能處理不完整和不確定的模糊數(shù)據(jù)?!?8〕參見 [澳]尼格尼維斯基:《人工智能:智能系統(tǒng)指南》(原書第3版),陳薇等譯,機械工業(yè)出版社2012年版,第21頁。專家系統(tǒng)的偏差主要是因為人類設(shè)定的目標和參與專家的判斷失誤導致。機器學習類的人工智能項目同樣需要從目標設(shè)定、數(shù)據(jù)預處理到訓練中的超參數(shù)調(diào)整以及系統(tǒng)維護等全過程的人為參與?;谶@種認識,歐盟GDPR第13條至第15條基于個人數(shù)據(jù)保護權(quán)對自動決策進行限制,文本中完全沒有提及算法,而是著重強調(diào)了數(shù)據(jù)控制者應(yīng)向數(shù)據(jù)主體提供相關(guān)信息,尤其是數(shù)據(jù)處理的相關(guān)邏輯、包括相關(guān)處理對于數(shù)據(jù)主體的預期后果的有效信息。此處的相關(guān)邏輯絕不僅指算法,而是與自動決策處理數(shù)據(jù)相關(guān)的一切信息。此外,GDPR第22條規(guī)定數(shù)據(jù)主體有反對單純自動化決策的權(quán)利,也是在強調(diào)機器之外人的責任。只有在以人的責任為基礎(chǔ)的人工智能系統(tǒng)中,算法才能得到真正有效地規(guī)制。

    其次,過度強調(diào)算法監(jiān)管不利于人工智能產(chǎn)業(yè)發(fā)展。如前文所述,人工智能項目的實際研發(fā)往往需要嘗試多種算法以尋求最佳模型,實際部署后仍有可能進行多次算法調(diào)整。算法備案、算法審計、算法解釋等合規(guī)義務(wù)對處于探索期的產(chǎn)業(yè)級人工智能項目是非常沉重的成本。這不僅可能延長研發(fā)周期,還存在一定商業(yè)秘密泄露風險。大型企業(yè)或超大型平臺具有成熟的合規(guī)部門還可應(yīng)對自如,中小企業(yè)和初創(chuàng)企業(yè)面對這類監(jiān)管門檻則會步履維艱。如果不區(qū)分企業(yè)規(guī)模,一味強調(diào)算法監(jiān)管,不利于人工智能產(chǎn)業(yè)的自由競爭和良性發(fā)展。

    最后,過度強調(diào)算法監(jiān)管不利于科技發(fā)展??萍疾⒎仟毩⒌默F(xiàn)象,而是與眾多因素息息相關(guān)。當前人工智能的發(fā)展高度依賴大數(shù)據(jù)和強算力。前沿性大型人工智能項目往往由大企業(yè)聯(lián)合高校和研究機構(gòu)進行開發(fā)。過度干預算法這類技術(shù)細節(jié),容易造成連鎖反應(yīng),最終影響科學研究。

    (四)規(guī)制失度

    規(guī)制方式和強度的選擇與對現(xiàn)實的判斷緊密相關(guān)。過度監(jiān)管往往是由于判斷錯誤導致。從遠景來看,“隨著算法社會的來臨,人類正將決策權(quán)逐漸讓渡給算法接管”的情況有可能發(fā)生?!?9〕參見張凌寒:《算法規(guī)制的迭代與革新》,載《法學論壇》2019年第2期。但迄今為止,大部分國家僅是部分進入“信息社會”,“算法社會”仍然只是比喻性說法。作為人工智能的組件,算法本身并沒有決策能力,人類也不可能將決策權(quán)全面交給人工智能。社會對算法和人工智能的功能和形態(tài)存在模糊認知和夸張誤讀。這造成了對人工智能的過度心理防御,加上對算法的認知偏差,可能導致對算法的過度監(jiān)管。實際上,“人工智能的能力被過分夸大了?,F(xiàn)階段,大多數(shù)深度學習系統(tǒng)都部署在一個非常受控的環(huán)境中,并給出了有限的決策邊界”。〔40〕[?。菖衽?布拉馬尼亞:《PyTorch深度學習》,王海玲、劉江峰譯,人民郵電出版社2020年版,第6頁。人工智能并不是一種新技術(shù),包括專家系統(tǒng)的各類人工智能系統(tǒng)早已廣泛運用,且一直處于受控狀態(tài)。由于大數(shù)據(jù)和算力提升,人工智能技術(shù)在近年得到井噴式發(fā)展,在成為重要產(chǎn)業(yè)的同時對人們的影響也不斷增強。傳統(tǒng)規(guī)制模式需要調(diào)整,但規(guī)制升級不應(yīng)該是簡單地加大力度,而應(yīng)綜合實際情況和對未來趨勢的判斷,謹慎選擇規(guī)制路徑和監(jiān)管力度。

    從客觀層面看,將算法作為核心,容易過早介入,過深干預。在機器學習中,算法并不是人工智能的最終形態(tài)。對算法進行全面監(jiān)管,就要對人工智能研發(fā)、調(diào)試、運行過程中所有的算法都進行調(diào)控。這明顯是過深介入了本屬技術(shù)層次的活動。另外,用戶接觸的是被產(chǎn)品化和優(yōu)化的模型,而不是用以求解模型的算法。從可能投入的規(guī)制資源以及規(guī)制效率的角度出發(fā),即便要對過程監(jiān)管,也應(yīng)基于結(jié)果對過程的回溯式調(diào)控,而不應(yīng)過分關(guān)注某種過程要素。畢竟算法也僅僅是人工智能系統(tǒng)研發(fā)和部署過程中諸多要素之一。過分夸大算法風險,過度強調(diào)事前規(guī)制,無疑會給人工智能產(chǎn)業(yè)發(fā)展帶來更大的研發(fā)、部署、合規(guī)成本。

    從主觀層面看,過分強調(diào)算法,過早介入調(diào)控也不利于打消對算法的疑慮。有研究表明,如果存在影響算法輸出的可能性,普通用戶會更樂于接受在他們眼里并不完美的算法結(jié)果。修改算法輸出的機會比影響算法輸入更能有效地減少算法厭惡。〔41〕See Berkeley J.Dietvorst, Joseph P.Simmons, Cade Massey, Overcoming Algorithm Aversion: People Will Use Imperfect Algorithms If They Can (Even Slightly) Modify Them, 64 Management Science 1155, 1155-1170 (2016).普通人對人工智能系統(tǒng)的技術(shù)細節(jié)沒有能力也沒有興趣深入了解。只要能對人工智能系統(tǒng)的輸出產(chǎn)生影響,自主調(diào)整人工智能服務(wù)的相關(guān)參數(shù)和選項,人們對算法和人工智能的厭惡就會得到很大程度的緩解。可信人工智能的建設(shè)在增強人們信任的同時也應(yīng)注意調(diào)控力度,以期創(chuàng)造利于人工智能健康發(fā)展的環(huán)境。

    三、我國算法治理需妥善處理三種關(guān)系

    2021年我國相繼出臺了《關(guān)于加強互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導意見》(以下簡稱:《意見》)和《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》(以下簡稱:《規(guī)定》)。這兩份文件提出的算法治理思路具有明顯的創(chuàng)新性。有學者敏銳地指出:“在世界范圍內(nèi),這都是從未有過的嘗試。在未知領(lǐng)域的探索,往往‘道以多歧亡羊’。”〔42〕許可:《算法規(guī)制體系的中國建構(gòu)與理論反思》,載《法律科學》2022年第1期。我國算法治理可謂敢為天下先,但其中也存在一定風險。有三個方面的關(guān)系尤需妥善處理。

    (一)當下與未來

    按照《意見》計劃,我國將“利用三年左右時間,逐步建立治理機制健全、監(jiān)管體系完善、算法生態(tài)規(guī)范的算法安全綜合治理格局”。發(fā)展眼光在人工智能規(guī)制領(lǐng)域特別重要。例如,在2019年根據(jù)當時情況認定“并不存在關(guān)于人工智能的一般化的法律規(guī)制”是沒有問題的?!?3〕汪慶華:《人工智能的法律規(guī)制路徑:一個框架性討論》,載《現(xiàn)代法學》2019年第2期。但2021年4月歐盟推出AIA后,人工智能法律規(guī)制的格局發(fā)生了重大變化。我國未來應(yīng)該也會走向?qū)iT人工智能立法的道路。這不僅是全球人工智能治理大勢所趨,也符合系統(tǒng)治理的規(guī)律。因此,有必要認真思考當前算法治理框架與未來人工智能法律規(guī)制架構(gòu)的關(guān)系。

    從立法的一般規(guī)律來看,當前正在開展的算法治理作為一種有益探索,其很大一部分內(nèi)容和經(jīng)驗會被吸收到將來的人工智能立法之中。但既然是探索,就不宜過分突進,否則容易走入“過擬合”(over fitting)的尷尬境地?!斑^擬合”是指模型在訓練數(shù)據(jù)集上表現(xiàn)很好,但在測試數(shù)據(jù)集和真實數(shù)據(jù)上表現(xiàn)不好。出現(xiàn)過擬合的主要原因在于模型把樣本數(shù)據(jù)的個別特點當成了一般規(guī)律。當法律把人工智能的問題過度歸因于算法,循此路徑形成的法律規(guī)制模式可能在與算法緊密相關(guān)的問題上表現(xiàn)不錯,但對人工智能這個真實的問題域卻沒有很好的規(guī)范能力。因此,算法治理應(yīng)留有余地,為人工智能法律規(guī)制留出充足的制度建構(gòu)空間。

    一方面,從術(shù)語使用角度看,出于習慣和方便,當前仍然可以相對模糊地使用“算法”術(shù)語。甚至可以借鑒美國《算法責任法案》的做法,在使用正式和準確法律描述的同時,將“算法”作為文件的簡稱或代稱。這樣不僅有利于吸引公眾注意力,也能夠更好地兼顧法律術(shù)語的嚴謹性。但另一方面,在描述歐盟和美國人工智能治理現(xiàn)象時應(yīng)尊重客觀事實,尤其是歐盟人工智能立法實際上采取狹義算法立場的事實,不宜進行過分寬泛模糊的描述。這樣不利于我們分析和借鑒域外經(jīng)驗。出于路徑依賴的考慮,我國人工智能立法的關(guān)鍵術(shù)語可能會保持自身特色,但算法治理的相關(guān)表述和機制設(shè)計可以更有預見性地考慮與未來立法的協(xié)調(diào)問題。

    (二)名義與實質(zhì)

    《規(guī)定》中提出的算法治理模式的名義與實質(zhì)需要進一步厘清。從文件名稱看,《規(guī)定》規(guī)制的似乎是“算法推薦管理”或“算法”,但其真正的對象應(yīng)是“算法推薦服務(wù)”?!兑?guī)定》中設(shè)置的大部分義務(wù)都針對“服務(wù)”而非“算法”。此外,《規(guī)定》的調(diào)整類型范圍包括“生成合成類、個性化推送類、排序精選類、檢索過濾類、調(diào)度決策類等”,幾乎覆蓋了用戶日常接觸的主流的互聯(lián)網(wǎng)服務(wù)類型??此莆覈呀?jīng)通過算法治理全面調(diào)控人工智能。

    然而,《規(guī)定》在實質(zhì)層面并沒有提供全面的算法治理和人工智能規(guī)制框架。目前我國人工智能規(guī)制主要由幾個部委共同推進。國家互聯(lián)網(wǎng)信息辦公室主導信息內(nèi)容領(lǐng)域人工智能監(jiān)管,規(guī)制各種信息內(nèi)容風險;工業(yè)和信息化部主導人工智能國家戰(zhàn)略和行動方案,以促進和培育壯大產(chǎn)業(yè)發(fā)展,平衡創(chuàng)新與治理安全;科學技術(shù)部側(cè)重于倫理準則層面的人工智能治理,推動科技企業(yè)建立內(nèi)部審查機制。此外,中國人民銀行、國家衛(wèi)生健康委員會、人力資源和社會保障部在各自領(lǐng)域出臺相關(guān)文件,重點解決本領(lǐng)域算法的可解釋性和透明性問題。很明顯,《規(guī)定》的性質(zhì)仍然是基于內(nèi)容的治理,其目的在于引導算法推薦活動“向上向善”,防止算法推薦活動不合理應(yīng)用帶來的各種問題,尤其是防止相關(guān)服務(wù)影響正常的傳播、市場和社會秩序,危害意識形態(tài)安全和社會公平公正,避免損害公民合法權(quán)益等。《規(guī)定》設(shè)定的治理框架具有明顯的階段和范圍限定。因此,不宜將《規(guī)定》理解為全面的算法治理框架,更不能將其視為完整的人工智能規(guī)制架構(gòu)。

    (三)規(guī)范與發(fā)展

    經(jīng)過一段缺乏規(guī)范的“野蠻生長”后,互聯(lián)網(wǎng)服務(wù)和人工智能產(chǎn)業(yè)滋生了各種弊端,亟需規(guī)制。但合理的規(guī)制應(yīng)注意平衡規(guī)范與發(fā)展的目標,尤其應(yīng)當注意保護相關(guān)產(chǎn)業(yè)健康發(fā)展。目前我國人工智能產(chǎn)業(yè)規(guī)制已有比歐美更加嚴格的發(fā)展趨勢。

    以算法備案義務(wù)為例,國內(nèi)有研究者認為歐盟AIA對高風險人工智能規(guī)定了算法備案義務(wù)?!?4〕參見許可、劉暢:《論算法備案制度》,載《人工智能》2022年第1期。但僅從文本來看,這種義務(wù)似乎并不存在。AIA第51條規(guī)定高風險人工智能應(yīng)用在投放市場或投入使用之前,其提供者或授權(quán)代表應(yīng)在歐盟數(shù)據(jù)庫中登記附件八要求的信息,且登記信息需向公眾開放。附件八規(guī)定的登記信息共包括12類,全是諸如“提供商的名稱地址和聯(lián)系方式、人工智能系統(tǒng)預期目的描述、人工智能系統(tǒng)狀態(tài)(是否處于服務(wù)狀態(tài))”等一般信息。如果不把“人工智能系統(tǒng)”等同于“算法”,那么AIA確實沒有規(guī)定強制性的算法備案義務(wù)。然而,《規(guī)定》第24條要求具有輿論屬性或者社會動員能力的算法推薦服務(wù)提供者應(yīng)當在提供服務(wù)之日起10個工作日內(nèi),通過互聯(lián)網(wǎng)信息服務(wù)算法備案系統(tǒng)填報服務(wù)提供者的名稱、服務(wù)形式、應(yīng)用領(lǐng)域、算法類型、算法自評估報告、擬公示內(nèi)容等信息,履行備案手續(xù)。很明顯,這是一種沒有區(qū)分項目風險等級的強制性算法備案義務(wù)。

    2019年美國政府發(fā)布名為《保持美國在人工智能領(lǐng)域的領(lǐng)導地位》的行政令,〔45〕See Executive Order on Maintaining American Leadership in Artificial Intelligence, Whitehouse (Feb.11, 2019), https://trumpwhitehouse.archives.gov/presidential-actions/executive-order-maintaining-american-leadership-artificial-intelligence/, last visited on Aug.29, 2022.2020年公布《人工智能應(yīng)用規(guī)范指南》?!?6〕See Russell T.Vought, Memorandum for the Heads of Executive Departments and Agencies on Guidance for Regulation of Artificial Intelligence Applications, https://www.whitehouse.gov/wp-content/uploads/2020/01/Draft-OMB-Memo-on-Regulation-of-AI-1-7-19.pdf,last visited on Aug.29, 2022.這兩份文件奠定了弱化監(jiān)管以加強美國全球領(lǐng)導地位的總基調(diào)。美國人工智能產(chǎn)業(yè)領(lǐng)先優(yōu)勢有擴大趨勢,這與其寬松的規(guī)制政策關(guān)系緊密。當前國際競爭加劇,如果我們在規(guī)制領(lǐng)域作繭自縛,很可能將在未來競爭中處于劣勢。在人工智能法律規(guī)制框架方面,我國可以多借鑒歐盟,尤其是AIA的規(guī)范內(nèi)容。但這種借鑒必須伴隨清醒的產(chǎn)業(yè)發(fā)展意識,尤其應(yīng)當避免不自覺地照搬歐盟針對美國巨頭企業(yè)的嚴厲規(guī)制手段。由于過分細致的規(guī)制對象會對產(chǎn)業(yè)進程造成實質(zhì)介入與干擾,歐美目前都未對算法技術(shù)進行專門規(guī)范。這一現(xiàn)象值得我國各界深思。面對嚴峻的國際競爭環(huán)境和復雜的國內(nèi)經(jīng)濟態(tài)勢,我們確實需要警惕過度監(jiān)管的負面影響。

    四、準確的算法認知是改善算法治理現(xiàn)狀的重要前提

    隨著《意見》和《規(guī)定》的頒布,我國在2022年進行了算法備案公示工作并已取得初步成效。但30份算法公示報告也反映出《規(guī)定》及備案實踐仍然存在一些明顯的不足?!?7〕備案清單和30份公示文本可通過“互聯(lián)網(wǎng)信息服務(wù)算法備案系統(tǒng)”(https://beian.cac.gov.cn)進行查詢和下載。以下引用清單和公示文本內(nèi)容不再逐一標注出處。不同的算法認知會對這些不足形成不同的解釋和解決方案。以下將對備案和公示的主要問題進行簡要分析,并指出對算法的恰當認知是理解和妥善解決這些問題的重要前提。

    (一)備案和公示的基本情況

    2022年8月,國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《關(guān)于發(fā)布互聯(lián)網(wǎng)信息服務(wù)算法備案信息的公告》及其附件《境內(nèi)互聯(lián)網(wǎng)信息服務(wù)算法備案清單》(2022年8月)。首批備案的共有24家企業(yè)的30種算法,涵蓋阿里巴巴、騰訊、百度、網(wǎng)易、美團、快手、微博、字節(jié)跳動、小米等多家大型互聯(lián)網(wǎng)企業(yè),應(yīng)用類型涉及APP、網(wǎng)站和小程序。從算法類型上看,有17種個性化推送類,4種檢索過濾類,4種排序精選類、3種調(diào)度決策類和2種生成合成類。首批算法備案在監(jiān)管范圍、應(yīng)用場景和算法類型方面都有較好的覆蓋度。

    (二)備案和公示的問題分析

    1.公示信息質(zhì)量

    算法公示不可能呈現(xiàn)所有算法技術(shù)和部署實施細節(jié)。正如有學者指出:“算法透明并不要求算法源代碼的公開,僅要求對算法基本原理、主要運行機制的公示。通過算法透明,可有效發(fā)揮公眾監(jiān)督、行業(yè)監(jiān)督和政府監(jiān)管的效力?!薄?8〕胡堅波:《多措并舉推進我國算法治理》,載《人民論壇?學術(shù)前沿》2022年第10期。現(xiàn)行公示內(nèi)容分為算法基本原理、算法運行機制、算法應(yīng)用場景、算法目的意圖和算法公示情況五個版塊。其中最重要的無疑是基本原理和運行機制。但30份公示文檔公示的信息質(zhì)量堪憂。例如鳳凰網(wǎng)公示的算法原理是:“鳳凰網(wǎng)個性化推薦算法使用深度神經(jīng)網(wǎng)絡(luò),根據(jù)用戶的行為歷史數(shù)據(jù)加以訓練和計算,發(fā)掘出用戶可能的興趣并推薦感興趣的內(nèi)容,提高用戶體驗?!?0余字的常識敘述包含的有效信息很少。新浪網(wǎng)公示的算法原理則是:“使用基于snvd日志、apache日志、畫像團隊offline特征日志、nlp/cv內(nèi)容理解特征日志和推薦引擎snapshot日志數(shù)據(jù)生產(chǎn)的特征樣本,利用畫像召回模型、協(xié)同召回模型、雙塔召回模型和deepfm模型等多種模型,根據(jù)ctr、時長、互動等多個目標進行模型訓練,通過tf-serving服務(wù)進行部署,實現(xiàn)針對app用戶的實時新聞個性化推薦功能?!蓖ㄆ褂贸橄蠹夹g(shù)語言,完全脫離普通人的知識和認知,實際上也沒有提供任何有效信息。用戶和公眾很難根據(jù)公示信息加深對相關(guān)算法推薦服務(wù)的理解,遑論進行監(jiān)督和保護權(quán)益。

    2.算法分類框架

    《規(guī)定》將算法推薦技術(shù)分為生成合成類、個性化推送類、排序精選類、檢索過濾類、調(diào)度決策類五個類別。百度對其備案的三種算法的描述分別為“百度信息檢索算法”“百度熱搜榜排序精選算法”“百度內(nèi)容安全算法”。在官方公告中將百度備案的內(nèi)容安全和信息檢索算法都歸為“檢索過濾類”。但從目標、性質(zhì)和信息流向來看,這兩類算法其實有很大區(qū)別。內(nèi)容安全算法的目標在于“防范和抵制違法信息及不良信息的發(fā)布及傳播”;其應(yīng)用性質(zhì)是一種內(nèi)容審核機制;信息流向是從用戶到互聯(lián)網(wǎng)。這些特征明顯不同于用戶從互聯(lián)網(wǎng)獲取信息的檢索類算法。企業(yè)基于現(xiàn)實沒有嚴格依據(jù)現(xiàn)有分類體系對其算法進行描述?!兑?guī)定》“削足適履式”的強行歸類反而揭示了依據(jù)剛性分類對算法進行監(jiān)管存在困難。

    3.風險描述方法

    《規(guī)定》中依據(jù)服務(wù)類型的分類體系明顯不同于歐盟基于風險分級的體系。歐盟強調(diào)系統(tǒng)性地進行風險評估,對高風險應(yīng)用重點監(jiān)管,對中低風險應(yīng)用則采取寬松規(guī)制。綜合AIA第6條、第7條以及附件三文本可知,歐盟主要依據(jù)兩個標準識別高風險。一是應(yīng)用領(lǐng)域,包括如下8個領(lǐng)域:自然人的生物識別和分類,關(guān)鍵基礎(chǔ)設(shè)施的管理和運營,教育和職業(yè)培訓,就業(yè)、用工管理和自營職業(yè)機會,獲得和享受基本的私人服務(wù)和公共服務(wù)及福利,執(zhí)法,移民、庇護和邊境管制管理,司法和民主進程。二是存在危害健康和安全的風險,或?qū)緳?quán)利造成不利影響的風險,而且其嚴重性和可能性等于或大于附件三中提到的8個領(lǐng)域的高風險人工智能系統(tǒng)所構(gòu)成的危害或不利影響風險。不難看出,歐盟對高風險人工智能系統(tǒng)的界定兼顧了公共利益與個體權(quán)益?!兑?guī)定》中“具有輿論屬性或者社會動員能力”這個分類在功能上大致等同于歐盟的高風險標準。只有具備這種能力的算法推薦服務(wù)才需要進行包括備案公示在內(nèi)的重點監(jiān)管。但這種高風險是從特定公共利益角度進行描述,淡化了對用戶權(quán)益的風險描述,而且也沒有覆蓋常見的高風險領(lǐng)域。

    4.規(guī)制對象設(shè)定

    《規(guī)定》第17條要求:“算法推薦服務(wù)提供者應(yīng)當向用戶提供不針對其個人特征的選項,或者向用戶提供便捷的關(guān)閉算法推薦服務(wù)的選項。用戶選擇關(guān)閉算法推薦服務(wù)的,算法推薦服務(wù)提供者應(yīng)當立即停止提供相關(guān)服務(wù)?!钡谝运惴橐?guī)制對象的情況下,這種要求很難做到。例如,美團僅備案公示了配送調(diào)度決策類算法。但普通用戶使用美團APP首先涉及個性化推送類、排序精選類算法。如果進行商品和服務(wù)查詢,還涉及檢索過濾類算法。這些算法無疑與個人特征緊密相關(guān),但在APP界面上并無便捷的關(guān)閉算法推薦服務(wù)的選項。這可能是因為相關(guān)要求還需時間逐步落實。但更重要的原因是對美團提供的服務(wù)而言,這幾類算法是緊密關(guān)聯(lián)和互相支撐的,很難單獨剝離并關(guān)閉某項服務(wù)而不影響整體服務(wù)。這種狀況凸顯了以算法而不以人工智能系統(tǒng)為規(guī)制對象的缺陷。

    (三)基于準確算法認知的算法治理優(yōu)化方案

    當前算法治理的不足很難通過局部和短期調(diào)整得到根治,只有在準確的算法認知指導下,綜合考慮當下與未來、名義與實質(zhì)、規(guī)范與發(fā)展這幾對關(guān)系,通過穩(wěn)妥規(guī)劃和謹慎實施方可得到妥善解決。

    首先,從提高公示信息質(zhì)量角度出發(fā),可基于不同的算法認知采用不同的解釋和改善方案。一種方案是制訂一個更具剛性的公示內(nèi)容和質(zhì)量要求。但算法推薦服務(wù)的情況千差萬別,技術(shù)和市場瞬息萬變,過于細致和具體的算法原理和機制展示會對企業(yè)施加過重義務(wù)。然而,即便在新浪網(wǎng)那樣的技術(shù)性描述基礎(chǔ)上,使用了普及性、符合大眾知識背景的描述性說明,用戶和公眾仍然可能無法真正理解算法的原理和機制。目前算法公示信息的性質(zhì)大致相當于前文所述的歐盟AIA規(guī)定的高風險人工智能系統(tǒng)登記信息。這類登記內(nèi)容只能提供一些基礎(chǔ)性和背景性的信息。如果采取嚴格的算法概念,現(xiàn)有公示內(nèi)容并不是真正的算法原理和機制。真正的算法原理和運行機制對普通大眾的意義不大。我們宜回歸現(xiàn)實,正視名義與實質(zhì)的偏離,采取另一種方案,即將公示內(nèi)容定性或更名為人工智能系統(tǒng)或服務(wù)(產(chǎn)品)系統(tǒng)的一般信息。而對高風險服務(wù)(產(chǎn)品)和巨頭企業(yè)服務(wù)(產(chǎn)品)信息,則可由監(jiān)管部門根據(jù)需要向相關(guān)企業(yè)和主體進行索取并要求相應(yīng)解釋。這也是目前歐盟在DSA和DMA中采取的策略。

    其次,為減少因算法分類和分級的不足帶來的隱患,應(yīng)防止過深介入治理對象。人工智能的研究和產(chǎn)業(yè)仍處于高速發(fā)展之中。對這類規(guī)制對象,最好不要過分干預技術(shù)細節(jié),而應(yīng)該采取更具彈性的規(guī)制方法?!兑?guī)定》關(guān)于算法的分類雖然可以覆蓋大部分應(yīng)用和產(chǎn)品的情況,但也有明顯的不足。對此,可以采取靈活介入的方式進行解決。主管部門完全可以利用規(guī)定中五類算法后的“等”字,更具彈性地適時更新分類體系。不過,更明智的解決方案是正視規(guī)范與發(fā)展的關(guān)系,不必過細規(guī)定算法類型,而是將服務(wù)(產(chǎn)品)的風險等級作為主要考量因素。對中低風險的服務(wù)(產(chǎn)品)寬松規(guī)制,將治理重點集中于對公共利益和個人權(quán)利影響較大的高風險服務(wù)(產(chǎn)品)。此外,完全可以借鑒歐盟通過應(yīng)用領(lǐng)域確定風險程度的做法,對人工智能服務(wù)(產(chǎn)品)進行更為細致的風險分級描述。這種做法更符合風險治理和系統(tǒng)治理的理念,也更有益于保護公共利益和個人權(quán)利。

    最后,為妥善解決規(guī)制對象缺乏系統(tǒng)性的問題,可從當下與未來的角度加以思考。實際上,這種問題是將作為組件的算法等同于人工智能系統(tǒng)所致。盡管當前重點治理算法有一定的合理性,但從長遠來看,還是應(yīng)該將人工智能系統(tǒng)作為規(guī)制對象。算法治理應(yīng)具備未來視角,在未來人工智能專門立法的格局下審視和調(diào)整當前措施。否則算法治理的局限性很難破解,相關(guān)治理措施很難收到實效,用戶和大眾的權(quán)益也很難得到切實保障。

    五、結(jié) 語

    從1956年達特茅斯會議至今,人工智能經(jīng)歷了幾起幾落,每一次衰落都是源于高峰期的承諾無法兌現(xiàn)?!?9〕參見尼克:《人工智能簡史》(第2版),人民郵電出版社2021年版,第260頁。機器學習是本輪人工智能高潮的主力,圍繞其產(chǎn)生的各種浮夸宣傳甚囂塵上。與此同時,在復雜系統(tǒng)中,法律的真實含義與字面含義之間的差異也難以辨識。法律在技術(shù)性的、復雜的、非線性的環(huán)境中更容易受人操控。〔50〕參見 [美]納西姆?尼古拉斯?塔勒布:《反脆弱:從不確定性中獲益》,雨珂譯,中信出版社2014年版,第359頁。法律界應(yīng)充分認識到未來的不確定性與復雜性,冷靜觀察人工智能的發(fā)展動向,盡量不要倉促做出簡單結(jié)論。尤其需要認真思考法律與人工智能之間多維多變的復雜關(guān)系。不宜采用還原論的思維方式,將人工智能問題化約為算法問題。相反,應(yīng)該擴大視野,考慮到復雜現(xiàn)實,從產(chǎn)業(yè)、經(jīng)濟、社會發(fā)展等角度綜合分析、謹慎處理人工智能的法律規(guī)制問題。人工智能已經(jīng)成為深度影響人類生活的要素。不僅普通人不知所措,法學界也有才短思澀之感,于是才會出現(xiàn)對算法的認知偏差。但法律是社會變革的穩(wěn)定舵。面對人工智能帶來的規(guī)范層面的挑戰(zhàn),法律界應(yīng)主動排除認知偏差干擾,客觀理性分析相關(guān)現(xiàn)象,找出穩(wěn)健有效的法律規(guī)制路徑。

    猜你喜歡
    規(guī)制人工智能算法
    主動退市規(guī)制的德國經(jīng)驗與啟示
    南大法學(2021年4期)2021-03-23 07:56:10
    基于MapReduce的改進Eclat算法
    Travellng thg World Full—time for Rree
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    進位加法的兩種算法
    人工智能與就業(yè)
    保護與規(guī)制:關(guān)于文學的刑法
    刑法論叢(2018年4期)2018-05-21 00:44:30
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    論《反不正當競爭法》的規(guī)制范疇
    法治研究(2016年4期)2016-12-01 03:41:40
    下一幕,人工智能!
    南風窗(2016年19期)2016-09-21 16:51:29
    日日摸夜夜添夜夜添av毛片 | a级毛片a级免费在线| 色噜噜av男人的天堂激情| 99国产极品粉嫩在线观看| 18禁黄网站禁片免费观看直播| 久9热在线精品视频| 国产亚洲精品久久久久久毛片| 国产69精品久久久久777片| bbb黄色大片| 亚洲精品影视一区二区三区av| 中文字幕熟女人妻在线| 一进一出抽搐gif免费好疼| 又爽又黄无遮挡网站| 欧美zozozo另类| 色哟哟哟哟哟哟| 亚洲欧美日韩高清在线视频| 亚洲成人久久爱视频| 国产精品女同一区二区软件 | 啦啦啦韩国在线观看视频| 国产一区二区激情短视频| 亚洲国产欧洲综合997久久,| 久久欧美精品欧美久久欧美| 亚洲av五月六月丁香网| 最近最新中文字幕大全电影3| 久久人妻av系列| 中文字幕免费在线视频6| 99久国产av精品| 成年免费大片在线观看| 在线看三级毛片| 欧美色欧美亚洲另类二区| 桃色一区二区三区在线观看| 岛国在线免费视频观看| 欧美性猛交╳xxx乱大交人| 一本久久中文字幕| 99热这里只有是精品在线观看 | 成人国产一区最新在线观看| 亚洲国产欧洲综合997久久,| 啪啪无遮挡十八禁网站| 美女高潮的动态| 国产在线精品亚洲第一网站| 国语自产精品视频在线第100页| 国产免费一级a男人的天堂| 久久精品国产自在天天线| 欧美性猛交黑人性爽| 日本一二三区视频观看| 尤物成人国产欧美一区二区三区| 亚洲国产高清在线一区二区三| 日本 av在线| 成人午夜高清在线视频| 99热这里只有是精品在线观看 | 最近视频中文字幕2019在线8| 一个人免费在线观看的高清视频| 99riav亚洲国产免费| 亚洲第一欧美日韩一区二区三区| 欧美精品啪啪一区二区三区| 欧美bdsm另类| 97热精品久久久久久| 国产成人啪精品午夜网站| 一个人看的www免费观看视频| 在线观看一区二区三区| 欧美黑人巨大hd| 亚洲人成网站在线播| 免费无遮挡裸体视频| 日韩中字成人| 久久久久国内视频| 欧美一级a爱片免费观看看| 国产午夜福利久久久久久| 亚洲自偷自拍三级| 国产美女午夜福利| 伊人久久精品亚洲午夜| 国产欧美日韩一区二区三| 国模一区二区三区四区视频| 日韩大尺度精品在线看网址| 2021天堂中文幕一二区在线观| 九九热线精品视视频播放| 无人区码免费观看不卡| 18+在线观看网站| 91午夜精品亚洲一区二区三区 | 亚洲最大成人手机在线| 看片在线看免费视频| 国产爱豆传媒在线观看| 欧美乱色亚洲激情| 欧美激情在线99| 国产精品免费一区二区三区在线| 色综合亚洲欧美另类图片| 日本 av在线| 精品久久久久久久久av| 国产欧美日韩精品亚洲av| 两个人视频免费观看高清| 久久性视频一级片| 久久久国产成人精品二区| 免费观看精品视频网站| 婷婷亚洲欧美| 欧美又色又爽又黄视频| 久久婷婷人人爽人人干人人爱| 精品久久久久久久人妻蜜臀av| 亚洲精品日韩av片在线观看| 99国产精品一区二区蜜桃av| 亚洲美女搞黄在线观看 | 丰满的人妻完整版| 欧美在线一区亚洲| 国产一区二区在线av高清观看| 国产精品一区二区三区四区久久| 日韩成人在线观看一区二区三区| 悠悠久久av| 亚洲美女黄片视频| 精品乱码久久久久久99久播| 性色av乱码一区二区三区2| 在现免费观看毛片| 久久久国产成人精品二区| 观看免费一级毛片| 一个人看视频在线观看www免费| 国语自产精品视频在线第100页| 波多野结衣高清无吗| 他把我摸到了高潮在线观看| 国产一区二区三区在线臀色熟女| 日本 av在线| 久久久久国内视频| 天堂网av新在线| 日本免费一区二区三区高清不卡| 18禁在线播放成人免费| 精品人妻一区二区三区麻豆 | 久9热在线精品视频| 成人一区二区视频在线观看| 三级国产精品欧美在线观看| 精品免费久久久久久久清纯| 国产精品一区二区免费欧美| 成人毛片a级毛片在线播放| 琪琪午夜伦伦电影理论片6080| 国产亚洲欧美98| 伦理电影大哥的女人| 免费av毛片视频| 最近在线观看免费完整版| 人人妻人人看人人澡| 丁香欧美五月| 午夜老司机福利剧场| 99热精品在线国产| 亚洲精品成人久久久久久| 中亚洲国语对白在线视频| 真实男女啪啪啪动态图| 人人妻人人澡欧美一区二区| 最近最新免费中文字幕在线| a级一级毛片免费在线观看| 国产av在哪里看| 久久久久久久精品吃奶| 久久久久久久亚洲中文字幕 | 99热这里只有是精品50| 成人特级黄色片久久久久久久| 久久精品影院6| aaaaa片日本免费| 人妻制服诱惑在线中文字幕| www.色视频.com| 成人性生交大片免费视频hd| 国内精品一区二区在线观看| 长腿黑丝高跟| aaaaa片日本免费| 国产精品美女特级片免费视频播放器| 亚洲av一区综合| 丝袜美腿在线中文| 国产精品亚洲av一区麻豆| 色5月婷婷丁香| 国产精品99久久久久久久久| 99久久久亚洲精品蜜臀av| 他把我摸到了高潮在线观看| 毛片一级片免费看久久久久 | 一区二区三区四区激情视频 | 少妇熟女aⅴ在线视频| 99久久久亚洲精品蜜臀av| 成人国产一区最新在线观看| 精品人妻视频免费看| 十八禁网站免费在线| 久久亚洲真实| 久久草成人影院| 国产在线男女| 国产老妇女一区| 精品久久国产蜜桃| 欧美成狂野欧美在线观看| 精品99又大又爽又粗少妇毛片 | 久久久精品欧美日韩精品| 久久久国产成人免费| 午夜精品一区二区三区免费看| 欧美激情久久久久久爽电影| 悠悠久久av| 亚州av有码| 欧美xxxx黑人xx丫x性爽| 婷婷丁香在线五月| 亚洲无线观看免费| 色在线成人网| or卡值多少钱| 别揉我奶头~嗯~啊~动态视频| 免费观看精品视频网站| 日本黄大片高清| 日韩欧美三级三区| 欧美成人一区二区免费高清观看| 欧美日韩亚洲国产一区二区在线观看| 日韩国内少妇激情av| 日本与韩国留学比较| 舔av片在线| 熟女人妻精品中文字幕| 蜜桃亚洲精品一区二区三区| 精品一区二区三区人妻视频| 嫩草影院入口| 91在线观看av| 亚洲综合色惰| 久久精品国产99精品国产亚洲性色| 久久香蕉精品热| 琪琪午夜伦伦电影理论片6080| 亚洲人成网站在线播| 国产爱豆传媒在线观看| 俺也久久电影网| 国产精品不卡视频一区二区 | a级一级毛片免费在线观看| 欧美bdsm另类| 桃色一区二区三区在线观看| 欧美三级亚洲精品| 亚洲av第一区精品v没综合| 午夜精品一区二区三区免费看| 精品人妻视频免费看| 久久午夜亚洲精品久久| 内射极品少妇av片p| 欧美黑人欧美精品刺激| 女人被狂操c到高潮| 欧美日韩黄片免| 国产黄色小视频在线观看| 久久久久久久亚洲中文字幕 | av在线老鸭窝| 久久精品国产自在天天线| 精品熟女少妇八av免费久了| 亚洲人成网站在线播放欧美日韩| 国内毛片毛片毛片毛片毛片| 欧美一级a爱片免费观看看| 五月伊人婷婷丁香| 老司机午夜十八禁免费视频| 日本成人三级电影网站| 深爱激情五月婷婷| 成人美女网站在线观看视频| 久久精品国产亚洲av香蕉五月| 男女视频在线观看网站免费| 国产色爽女视频免费观看| 精品一区二区三区人妻视频| 亚洲最大成人av| 国产单亲对白刺激| 久久欧美精品欧美久久欧美| 99精品久久久久人妻精品| 少妇高潮的动态图| 日韩欧美免费精品| 免费人成在线观看视频色| avwww免费| 午夜激情福利司机影院| 亚洲第一区二区三区不卡| 狠狠狠狠99中文字幕| 国产精品电影一区二区三区| 久久精品国产清高在天天线| 久久久国产成人精品二区| 99久久久亚洲精品蜜臀av| 性插视频无遮挡在线免费观看| 国产精品不卡视频一区二区 | 91在线观看av| 国产精品日韩av在线免费观看| 国产精品久久电影中文字幕| 久久人人精品亚洲av| 欧美乱妇无乱码| 国产熟女xx| 久久人人爽人人爽人人片va | 深夜a级毛片| 日韩亚洲欧美综合| 亚洲 欧美 日韩 在线 免费| 51午夜福利影视在线观看| 日韩av在线大香蕉| 久久人妻av系列| 少妇被粗大猛烈的视频| 亚洲精品456在线播放app | 国产成人福利小说| 99热这里只有是精品50| 深夜a级毛片| 国产成人aa在线观看| 女同久久另类99精品国产91| 最近最新免费中文字幕在线| 伦理电影大哥的女人| 午夜福利免费观看在线| netflix在线观看网站| 久久人人爽人人爽人人片va | 国产精品野战在线观看| 亚洲色图av天堂| 免费av毛片视频| 三级毛片av免费| 精品不卡国产一区二区三区| 俄罗斯特黄特色一大片| 波多野结衣巨乳人妻| 黄色女人牲交| 午夜福利成人在线免费观看| 国产乱人视频| АⅤ资源中文在线天堂| 日韩欧美在线二视频| av中文乱码字幕在线| 久久久久九九精品影院| 国产精品98久久久久久宅男小说| 69人妻影院| 日日夜夜操网爽| 色综合亚洲欧美另类图片| 亚洲人成伊人成综合网2020| 熟女电影av网| 久久精品久久久久久噜噜老黄 | 波多野结衣巨乳人妻| 夜夜看夜夜爽夜夜摸| 搡老岳熟女国产| 有码 亚洲区| 精品久久久久久久久av| 国产一区二区三区在线臀色熟女| 国产三级黄色录像| 久久九九热精品免费| 国产日本99.免费观看| 久久久久久久久中文| 亚洲无线观看免费| 国产精品国产高清国产av| 欧美+亚洲+日韩+国产| 亚洲精品一区av在线观看| 日韩精品青青久久久久久| 亚洲av免费在线观看| 亚洲av第一区精品v没综合| 欧美日韩福利视频一区二区| 亚洲人成网站高清观看| 日韩精品中文字幕看吧| 亚洲av成人不卡在线观看播放网| 精品乱码久久久久久99久播| 亚洲精品影视一区二区三区av| 夜夜夜夜夜久久久久| 真人做人爱边吃奶动态| av在线蜜桃| 久久这里只有精品中国| 51国产日韩欧美| 又黄又爽又刺激的免费视频.| 亚洲美女搞黄在线观看 | 国产免费男女视频| 亚洲精品456在线播放app | 亚洲三级黄色毛片| 91字幕亚洲| 亚洲av第一区精品v没综合| 精品99又大又爽又粗少妇毛片 | 在线看三级毛片| 精品一区二区三区av网在线观看| 欧美最新免费一区二区三区 | av在线天堂中文字幕| 天天躁日日操中文字幕| 美女 人体艺术 gogo| 国产色爽女视频免费观看| 国内精品美女久久久久久| 国产一区二区三区在线臀色熟女| 免费在线观看亚洲国产| 国产精品人妻久久久久久| 免费看a级黄色片| 精品免费久久久久久久清纯| 精品99又大又爽又粗少妇毛片 | 国产一区二区三区视频了| 久久久久久国产a免费观看| 狂野欧美白嫩少妇大欣赏| 亚洲国产日韩欧美精品在线观看| 人人妻,人人澡人人爽秒播| 国产伦人伦偷精品视频| 久久久久精品国产欧美久久久| 亚洲中文字幕一区二区三区有码在线看| 亚洲18禁久久av| 真人一进一出gif抽搐免费| 亚洲在线自拍视频| 亚洲第一区二区三区不卡| 变态另类丝袜制服| 97超级碰碰碰精品色视频在线观看| 亚洲国产精品合色在线| 日韩欧美一区二区三区在线观看| 一边摸一边抽搐一进一小说| 人妻久久中文字幕网| 看黄色毛片网站| 中文字幕av成人在线电影| 天堂动漫精品| 亚洲av免费高清在线观看| 啦啦啦观看免费观看视频高清| 在线十欧美十亚洲十日本专区| 久久国产乱子免费精品| 国产精品免费一区二区三区在线| 69av精品久久久久久| 欧美3d第一页| 国产精品一区二区免费欧美| 欧美乱色亚洲激情| av中文乱码字幕在线| 一个人免费在线观看电影| 首页视频小说图片口味搜索| 国产成+人综合+亚洲专区| avwww免费| 啪啪无遮挡十八禁网站| 午夜久久久久精精品| 国产麻豆成人av免费视频| 美女xxoo啪啪120秒动态图 | 成人鲁丝片一二三区免费| 脱女人内裤的视频| 日韩欧美 国产精品| 国产一区二区亚洲精品在线观看| 国产成人aa在线观看| 欧美高清成人免费视频www| 国产一区二区在线av高清观看| 99热精品在线国产| 成人特级av手机在线观看| 人人妻人人看人人澡| 亚洲av日韩精品久久久久久密| 国产精品野战在线观看| 国产精品精品国产色婷婷| 日日摸夜夜添夜夜添av毛片 | 日本撒尿小便嘘嘘汇集6| 亚洲av成人不卡在线观看播放网| 欧美3d第一页| 亚洲片人在线观看| 又爽又黄a免费视频| 香蕉av资源在线| av在线老鸭窝| 精品久久久久久久久av| 中文资源天堂在线| 搡老妇女老女人老熟妇| 亚洲av二区三区四区| 18美女黄网站色大片免费观看| 在线a可以看的网站| 在线观看午夜福利视频| 国产免费一级a男人的天堂| 好男人在线观看高清免费视频| 身体一侧抽搐| 一级黄片播放器| 最好的美女福利视频网| 校园春色视频在线观看| 色综合亚洲欧美另类图片| 九色国产91popny在线| 国产高清视频在线观看网站| 亚洲欧美日韩高清在线视频| 丰满乱子伦码专区| 欧美日本视频| 亚洲av熟女| 免费无遮挡裸体视频| 嫩草影院入口| 亚洲电影在线观看av| 亚洲欧美日韩高清专用| 久久精品人妻少妇| 成人鲁丝片一二三区免费| 欧美bdsm另类| 国产又黄又爽又无遮挡在线| 不卡一级毛片| 麻豆国产av国片精品| 日韩人妻高清精品专区| 久久99热6这里只有精品| 少妇人妻一区二区三区视频| 亚洲久久久久久中文字幕| 国产精品一及| 美女被艹到高潮喷水动态| or卡值多少钱| 免费看光身美女| 性插视频无遮挡在线免费观看| 麻豆成人av在线观看| 国产精华一区二区三区| 日本免费一区二区三区高清不卡| xxxwww97欧美| 欧美bdsm另类| 国产成人a区在线观看| 九色成人免费人妻av| 少妇的逼水好多| 男女之事视频高清在线观看| 亚洲av二区三区四区| 午夜精品在线福利| 亚洲精品在线观看二区| 精品久久久久久成人av| 波多野结衣高清作品| 国产激情偷乱视频一区二区| 国产精品女同一区二区软件 | 草草在线视频免费看| 乱码一卡2卡4卡精品| 欧美精品国产亚洲| 免费av观看视频| а√天堂www在线а√下载| 在线a可以看的网站| 精品一区二区三区视频在线| 国产精品一区二区性色av| 51国产日韩欧美| 91av网一区二区| 在线播放国产精品三级| 久久精品影院6| 日日摸夜夜添夜夜添av毛片 | 精品99又大又爽又粗少妇毛片 | 欧美成狂野欧美在线观看| 亚洲精品亚洲一区二区| 中出人妻视频一区二区| 日韩欧美一区二区三区在线观看| 成人欧美大片| 欧美成人性av电影在线观看| 夜夜看夜夜爽夜夜摸| 热99re8久久精品国产| 成人三级黄色视频| 别揉我奶头 嗯啊视频| 国产精品一区二区三区四区久久| 可以在线观看毛片的网站| 听说在线观看完整版免费高清| 欧美激情国产日韩精品一区| 99久久无色码亚洲精品果冻| 国产精品一区二区性色av| 99久久精品国产亚洲精品| 国产不卡一卡二| 久久久精品大字幕| 俄罗斯特黄特色一大片| 国产精品亚洲一级av第二区| 18禁裸乳无遮挡免费网站照片| 成年女人看的毛片在线观看| 成人性生交大片免费视频hd| 大型黄色视频在线免费观看| 91麻豆av在线| 99热只有精品国产| 中文资源天堂在线| 99riav亚洲国产免费| 亚洲精品亚洲一区二区| 欧美极品一区二区三区四区| 亚洲人成伊人成综合网2020| 国产精品1区2区在线观看.| 日韩欧美三级三区| a级毛片免费高清观看在线播放| 又黄又爽又刺激的免费视频.| 九九久久精品国产亚洲av麻豆| 日本撒尿小便嘘嘘汇集6| 亚洲成人免费电影在线观看| 九九热线精品视视频播放| 亚洲精品456在线播放app | 亚洲国产日韩欧美精品在线观看| 搡女人真爽免费视频火全软件 | 99国产精品一区二区蜜桃av| 国产高清三级在线| 神马国产精品三级电影在线观看| 男女床上黄色一级片免费看| 日韩欧美精品免费久久 | 午夜影院日韩av| 精品久久久久久久末码| 高潮久久久久久久久久久不卡| 国产精品乱码一区二三区的特点| eeuss影院久久| 制服丝袜大香蕉在线| 午夜福利成人在线免费观看| 久久国产乱子伦精品免费另类| 精品熟女少妇八av免费久了| 在线a可以看的网站| 51午夜福利影视在线观看| 久久久久久久久中文| 欧美一区二区国产精品久久精品| 在线国产一区二区在线| 我要看日韩黄色一级片| 国产欧美日韩精品一区二区| 成人特级av手机在线观看| 国产伦一二天堂av在线观看| 免费搜索国产男女视频| 熟女电影av网| 精品人妻熟女av久视频| 亚洲精品一区av在线观看| 蜜桃亚洲精品一区二区三区| 搡女人真爽免费视频火全软件 | 久久久久久久久大av| 国产综合懂色| 五月玫瑰六月丁香| 可以在线观看毛片的网站| a级毛片免费高清观看在线播放| 看黄色毛片网站| 一级毛片久久久久久久久女| 少妇高潮的动态图| 久久天躁狠狠躁夜夜2o2o| 久久香蕉精品热| 亚洲成av人片免费观看| 久久热精品热| 国产单亲对白刺激| 日韩欧美一区二区三区在线观看| 亚洲av成人精品一区久久| 色综合站精品国产| 国产中年淑女户外野战色| 少妇高潮的动态图| 欧美xxxx黑人xx丫x性爽| 亚洲专区中文字幕在线| 精品午夜福利视频在线观看一区| 全区人妻精品视频| 性色avwww在线观看| 老熟妇仑乱视频hdxx| 夜夜夜夜夜久久久久| 99久久精品热视频| 亚洲三级黄色毛片| 日本免费a在线| 熟女电影av网| 国产淫片久久久久久久久 | 久久久久久久久久黄片| 国产探花在线观看一区二区| 少妇裸体淫交视频免费看高清| www.熟女人妻精品国产| 91麻豆精品激情在线观看国产| 麻豆一二三区av精品| 超碰av人人做人人爽久久| 亚洲色图av天堂| 成年人黄色毛片网站| 国产高清视频在线播放一区| 热99re8久久精品国产| 搡老岳熟女国产| av黄色大香蕉| 亚洲熟妇中文字幕五十中出| 91在线观看av| 亚洲国产精品成人综合色| 久久香蕉精品热| 51国产日韩欧美| 亚洲精品成人久久久久久| 国产aⅴ精品一区二区三区波| 久久精品影院6| 久久久久久久久久成人| 成人性生交大片免费视频hd| 丰满的人妻完整版| 亚洲va日本ⅴa欧美va伊人久久| 国产麻豆成人av免费视频| 丰满人妻一区二区三区视频av| 久久久久国产精品人妻aⅴ院| 国产成人aa在线观看| 97超视频在线观看视频| 伦理电影大哥的女人|