• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    破解公權(quán)力領(lǐng)域的算法歧視:權(quán)力正當(dāng)程序的回歸

    2022-11-01 06:44:12胡晶晶
    知識(shí)產(chǎn)權(quán) 2022年4期

    胡晶晶

    內(nèi)容提要:算法排他權(quán)通過(guò)賦予私人市場(chǎng)獨(dú)占期來(lái)?yè)Q取對(duì)算法的行政監(jiān)管,以期克服公權(quán)力領(lǐng)域算法歧視問(wèn)題。但其關(guān)于算法透明和5年算法保護(hù)期的做法不可行;其旨在平衡公共利益與算法擁有者私人利益的嘗試不合理。其實(shí)質(zhì)是借私權(quán)外衣來(lái)維護(hù)公共利益,這混淆了公私法界限,不符合公法介入私法的正當(dāng)性標(biāo)準(zhǔn)。破解公權(quán)力領(lǐng)域算法歧視的關(guān)鍵不在于技術(shù)層面如何避免形成歧視性算法決策,而在于權(quán)力層面如何避免歧視性算法決策上升為算法權(quán)力。公權(quán)力領(lǐng)域算法權(quán)力的特殊性(公權(quán)力屬性和權(quán)力生成的間接性)為其正當(dāng)程序的構(gòu)建提供了基本思路:算法權(quán)力須納入公權(quán)力運(yùn)行軌道中,算法須始終保持工具地位,公權(quán)力機(jī)關(guān)須始終掌握對(duì)算法決策的質(zhì)疑和否定權(quán),只要阻斷歧視性算法決策向算法權(quán)力轉(zhuǎn)化,算法歧視問(wèn)題便迎刃而解。

    引言

    早在20世紀(jì)50年代,算法自動(dòng)化決策就開(kāi)始應(yīng)用于政府行政部門(mén)。近年來(lái),算法在我國(guó)公權(quán)力領(lǐng)域的應(yīng)用也日益常態(tài)化。2019年1月,國(guó)務(wù)院辦公廳印發(fā)了《關(guān)于全面推行行政執(zhí)法公示制度執(zhí)法全過(guò)程記錄制度重大執(zhí)法決定法制審核制度的指導(dǎo)意見(jiàn)》,其中第17條就明確要求“要積極推進(jìn)人工智能技術(shù)在行政執(zhí)法實(shí)踐中的運(yùn)用,研究開(kāi)發(fā)行政執(zhí)法裁量智能輔助信息系統(tǒng)”“有效約束規(guī)范行政自由裁量權(quán),確保執(zhí)法尺度統(tǒng)一”。

    公權(quán)力部門(mén)應(yīng)用算法自動(dòng)化決策輔助行政決定或司法裁判、預(yù)測(cè)調(diào)配資源,算法技術(shù)與公權(quán)力由此緊密結(jié)合在一起。算法在增強(qiáng)公權(quán)力運(yùn)行效率的同時(shí),也引發(fā)了人們對(duì)算法歧視的警惕和擔(dān)憂。政策輔助系統(tǒng)或司法智能系統(tǒng)自動(dòng)輸出的決策可能會(huì)導(dǎo)致權(quán)利分配不公平,對(duì)不同群體造成區(qū)別對(duì)待或影響,此即算法歧視。如果歧視性算法決策得不到糾正,算法決策會(huì)不斷重復(fù)和加深對(duì)特定人群的歧視,損害其公民權(quán)利,引發(fā)更深層次的社會(huì)問(wèn)題。

    針對(duì)算法歧視問(wèn)題,學(xué)界提出了多種解決方案。從最初的“算法技術(shù)監(jiān)督路徑”到“算法權(quán)力規(guī)制路徑”,學(xué)者的視角從表層的技術(shù)轉(zhuǎn)向了其背后的權(quán)力。近期出現(xiàn)的算法排他權(quán)主張則試圖將市場(chǎng)壟斷與技術(shù)監(jiān)管相結(jié)合來(lái)制約算法權(quán)力。

    本文聚焦于公權(quán)力領(lǐng)域的算法歧視問(wèn)題,在分析評(píng)價(jià)算法排他權(quán)的基礎(chǔ)上,揭示公權(quán)力領(lǐng)域算法權(quán)力的特殊性,并厘清歧視性算法決策與算法歧視之間的關(guān)系,進(jìn)而指出算法權(quán)力回歸正當(dāng)程序才是該問(wèn)題的破解之道。

    一、算法技術(shù)規(guī)制的創(chuàng)新:算法排他權(quán)制度的困境

    針對(duì)算法應(yīng)用于公權(quán)力領(lǐng)域而產(chǎn)生的算法歧視問(wèn)題,有學(xué)者指出構(gòu)建算法透明度和算法可解釋規(guī)則的方案都存在著缺陷,主張將藥品數(shù)據(jù)的管制性排他權(quán)移植到算法保護(hù)中,允許算法擁有者以公開(kāi)算法(源代碼備案)為代價(jià)來(lái)?yè)Q取5年的市場(chǎng)排他權(quán),從而增加算法透明度,克服算法監(jiān)督困難。該制度追求算法透明和算法擁有者個(gè)人利益最大化的雙重目標(biāo)。其試圖兼顧公共利益與私人利益的初衷值得肯定,但結(jié)果可能適得其反。以行政手段干預(yù)市場(chǎng)競(jìng)爭(zhēng),刻意制造市場(chǎng)壟斷的做法,既不利于算法創(chuàng)新,也無(wú)法有效維護(hù)公共利益。

    (一)算法排他權(quán)不可行

    算法排他權(quán)不可行的理由有二。第一,算法排他權(quán)追求算法透明這一目標(biāo),但回避了兩大難題:算法透明在技術(shù)上難以實(shí)現(xiàn);算法透明不等于算法可解釋性。第二,算法排他權(quán)為算法統(tǒng)一劃定了5年保護(hù)期,但這種“一刀切”的做法無(wú)法適應(yīng)算法的技術(shù)發(fā)展要求。

    算法透明的實(shí)現(xiàn)有兩種技術(shù)方式:一是主動(dòng)公開(kāi),即開(kāi)發(fā)者將算法所涉及的數(shù)據(jù)和步驟進(jìn)行全面具體的公開(kāi);二是被動(dòng)公開(kāi),即采取反向工程破解算法。但無(wú)論何種方式,都不可能完全打開(kāi)“算法黑箱”(Algorithmic Black Box),公開(kāi)所有的算法運(yùn)行細(xì)節(jié)。

    在客觀方面,具有深度學(xué)習(xí)能力的算法不再是純粹的工具,而是逐漸形成了自己的“生命力”。即便是制造算法的技術(shù)人員也不能完全知曉和掌握該算法自行生成的內(nèi)在邏輯和步驟。為了完成模型擬合的任務(wù),算法會(huì)不斷地自我進(jìn)化,自動(dòng)生成越來(lái)越復(fù)雜的模型變量,變得更加錯(cuò)綜復(fù)雜和不透明。算法黑箱只能依靠不斷試錯(cuò)來(lái)破解,但鑒于模型和數(shù)據(jù)的無(wú)限可能性,逐一試錯(cuò)排查并不現(xiàn)實(shí)。

    在主觀方面,算法擁有者通常拒絕公開(kāi)算法。即便公開(kāi)數(shù)據(jù)和算法步驟,也可以通過(guò)刻意摻入大量的無(wú)用信息來(lái)制造數(shù)據(jù)廢墟,致使公布的信息數(shù)量龐大且質(zhì)量良莠不齊,要從中發(fā)掘出這些重要信息并非易事。算法開(kāi)發(fā)公司有足夠的動(dòng)機(jī)采取這種策略,因?yàn)閷?duì)于他們而言,其核心算法是實(shí)現(xiàn)商業(yè)成功的重要“秘密武器”。

    即便我們假設(shè)算法透明在技術(shù)上可以實(shí)現(xiàn),算法歧視問(wèn)題也不會(huì)迎刃而解,因?yàn)樗惴ㄍ该鞑坏扔谒惴山忉?。“看?jiàn)”不等于“理解”。普通人難以理解算法,不僅因?yàn)橛?jì)算機(jī)程序本身極為專業(yè)復(fù)雜,而且因?yàn)榇髷?shù)據(jù)的邏輯關(guān)系是相關(guān)性,而非人們所熟悉的因果性。公開(kāi)也不等于公正。算法透明未必能帶來(lái)算法公正,反而會(huì)破壞算法擁有者的核心競(jìng)爭(zhēng)力,損害創(chuàng)新動(dòng)力,社會(huì)進(jìn)步也隨之放緩,最終企業(yè)的私人利益和公共利益將兩敗俱傷。

    之所以將算法排他權(quán)期限設(shè)置為5年,是因?yàn)樗惴ㄩ_(kāi)發(fā)者需要一定的排他期限來(lái)獲取足夠的經(jīng)濟(jì)回報(bào)以激勵(lì)創(chuàng)新,而過(guò)長(zhǎng)的保護(hù)期又不利于算法競(jìng)爭(zhēng)和創(chuàng)新。然而,這種事先的立法安排可能與現(xiàn)實(shí)相脫節(jié),理由如下。

    第一,不同算法更新?lián)Q代的速度不同,統(tǒng)一劃定5年保護(hù)期的潛在假設(shè)是,所有類型算法的商業(yè)價(jià)值期都是5年。但事實(shí)顯然并非如此。

    假設(shè)某種算法在現(xiàn)實(shí)中已被其他算法所淘汰而喪失了商業(yè)價(jià)值,但其仍處在排他權(quán)保護(hù)期內(nèi),那么就會(huì)出現(xiàn)以下矛盾:根據(jù)財(cái)產(chǎn)理論,喪失了利益性要件的算法就應(yīng)同時(shí)喪失其財(cái)產(chǎn)地位;而根據(jù)算法排他權(quán)制度,該算法卻仍作為一種法定財(cái)產(chǎn)權(quán)繼續(xù)存在。該矛盾對(duì)于權(quán)利人和公眾都無(wú)益處。由于喪失商業(yè)價(jià)值,該算法必然被權(quán)利人閑置;由于排他權(quán)的有效性,該算法又無(wú)法為公眾免費(fèi)利用,信息流動(dòng)將受到限制。再者,算法排他權(quán)的制度設(shè)想未涉及權(quán)利保護(hù)的例外與限制,那么,只要算法尚處于排他權(quán)保護(hù)期內(nèi),他人出于個(gè)人學(xué)習(xí)、科研和實(shí)驗(yàn)等非營(yíng)利性目的而使用該算法也必須向權(quán)利人尋求許可并支付許可費(fèi)。

    相反,假設(shè)某算法仍具有高經(jīng)濟(jì)價(jià)值,但排他權(quán)保護(hù)期已屆滿,那么,一旦發(fā)生侵權(quán)糾紛,該算法既無(wú)法繼續(xù)接受算法排他權(quán)的保護(hù),也無(wú)法作為商業(yè)秘密來(lái)尋求反不正當(dāng)競(jìng)爭(zhēng)法的保護(hù)。因?yàn)樗惴ㄅ潘麢?quán)是以公開(kāi)算法換取排他地位,已公開(kāi)的信息不可能重新回到保密狀態(tài)。

    第二,既然統(tǒng)一設(shè)置保護(hù)期的做法缺乏合理性,那么,能否根據(jù)不同算法各自的商業(yè)價(jià)值期限來(lái)設(shè)置不同保護(hù)期呢?該做法看似合理,但缺乏現(xiàn)實(shí)可操作性。技術(shù)日新月異,市場(chǎng)又充滿不確定性,即便是專業(yè)技術(shù)人員恐怕也很難預(yù)測(cè)某個(gè)算法的商業(yè)價(jià)值究竟可以存續(xù)多久。

    相比之下,更實(shí)際有效的做法是令算法排他權(quán)期限隨著算法技術(shù)的市場(chǎng)價(jià)值而靈活變動(dòng)。每個(gè)權(quán)利人都會(huì)主動(dòng)根據(jù)算法的利益存續(xù)狀態(tài)來(lái)制定保密策略。當(dāng)特定算法技術(shù)面臨被淘汰時(shí),權(quán)利人為了節(jié)約成本,自然會(huì)解除對(duì)該算法的保密措施。該算法便進(jìn)入公共領(lǐng)域成為一種公共信息。在此之前,保密措施使得算法具有天然的排他效力??梢?jiàn),相較于有明確保護(hù)期的算法排他權(quán)而言,無(wú)固定保護(hù)期的商業(yè)秘密制度更適合算法保護(hù)的需要。

    (二)算法排他權(quán)不合理

    算法排他權(quán)根本上是知識(shí)產(chǎn)權(quán)領(lǐng)域的一種制度創(chuàng)新,但從制度目標(biāo)到具體架構(gòu)都不符合知識(shí)產(chǎn)權(quán)法理。

    首先,知識(shí)產(chǎn)權(quán)的根本邏輯是,通過(guò)賦予私人一定期間的排他權(quán),最終來(lái)實(shí)現(xiàn)創(chuàng)新或維護(hù)市場(chǎng)競(jìng)爭(zhēng)秩序的公共利益目標(biāo)。算法排他權(quán)表面上也符合這一邏輯,但實(shí)則相去甚遠(yuǎn):不同于知識(shí)產(chǎn)權(quán)將公共利益作為間接達(dá)成的終極目標(biāo),算法排他權(quán)將公共利益作為直接目標(biāo),實(shí)際上扭曲了私權(quán)理念。其次,知識(shí)產(chǎn)權(quán)具有公法特點(diǎn),公法介入私法本身雖具有一定合理性,但算法排他權(quán)并不符合公法介入私法的條件。再次,算法一旦公開(kāi)極易被競(jìng)爭(zhēng)者“算計(jì)”(Gaming),權(quán)利人的損失可能超過(guò)收益,知識(shí)產(chǎn)權(quán)的激勵(lì)機(jī)制難以達(dá)成。最后,將算法納入監(jiān)管就能有效維護(hù)公共利益嗎?這值得商榷。

    算法排他權(quán)是參照藥品領(lǐng)域管制性排他權(quán)而設(shè)計(jì)的。管制性排他權(quán)的基本內(nèi)容是,在一定期限內(nèi),產(chǎn)品上市主管機(jī)關(guān)不得根據(jù)原研藥的臨床試驗(yàn)數(shù)據(jù)來(lái)批準(zhǔn)仿制藥的上市申請(qǐng)。由此保障原研藥生產(chǎn)者在這段期限內(nèi)享有市場(chǎng)獨(dú)占地位,提高其創(chuàng)新回報(bào),實(shí)現(xiàn)激勵(lì)效果。該權(quán)利依賴于行政審批程序。權(quán)利相對(duì)人是行政審批機(jī)關(guān),而非原研藥生產(chǎn)者的競(jìng)爭(zhēng)者。但該權(quán)利的內(nèi)容是對(duì)私人經(jīng)濟(jì)利益的維護(hù),因此性質(zhì)上仍屬于私法上的民事權(quán)益。并且,管制性排他權(quán)是一種新型的知識(shí)產(chǎn)權(quán)類型,同時(shí)具備“準(zhǔn)專利權(quán)”“準(zhǔn)商業(yè)秘密”“財(cái)產(chǎn)權(quán)”多種屬性。

    管制性排他權(quán)和算法排他權(quán)的基本思路都是:通過(guò)行政審批來(lái)限制競(jìng)爭(zhēng)者參與市場(chǎng)競(jìng)爭(zhēng),制造權(quán)利人的市場(chǎng)壟斷地位。值得注意的是,兩種制度分別針對(duì)醫(yī)藥產(chǎn)業(yè)和互聯(lián)網(wǎng)技術(shù)產(chǎn)業(yè),巨大的產(chǎn)業(yè)差異從根本上決定了:如果直接將醫(yī)藥領(lǐng)域的制度框架套用于算法領(lǐng)域,將難以期待獲得相同效果。

    醫(yī)藥創(chuàng)新需要付出巨額成本,有必要通過(guò)制度安排來(lái)保障其成本回收和盈利,否則新一輪醫(yī)藥開(kāi)發(fā)將難以展開(kāi)?,F(xiàn)實(shí)中,藥品專利保護(hù)期已屆滿,但新藥開(kāi)發(fā)者可能還沒(méi)能收回成本的例子并不少見(jiàn)。管制性排他權(quán)的意義就在于,延長(zhǎng)新藥的市場(chǎng)壟斷地位,幫助其收回開(kāi)發(fā)成本以開(kāi)展新一輪藥品創(chuàng)新活動(dòng)。

    互聯(lián)網(wǎng)技術(shù)開(kāi)發(fā)當(dāng)然也有成本,但通常不會(huì)面臨像醫(yī)藥產(chǎn)業(yè)那樣如何收回高額成本的問(wèn)題。也就是說(shuō),對(duì)于算法開(kāi)發(fā)者而言,提供壟斷地位的現(xiàn)實(shí)必要性并不成立。恰恰相反,如果賦予某算法壟斷地位,最終可能出現(xiàn)對(duì)創(chuàng)新的反激勵(lì)效果。中國(guó)互聯(lián)網(wǎng)企業(yè)壽命平均是3至5年,獲得算法保護(hù)期可能意味著一勞永逸,至少權(quán)利人缺乏改進(jìn)該算法的動(dòng)力。算法排他權(quán)也使競(jìng)爭(zhēng)者望而卻步,因?yàn)樗惴ㄊ袌?chǎng)將被他人壟斷5年意味著已經(jīng)沒(méi)有競(jìng)爭(zhēng)余地。

    醫(yī)藥適合專利保護(hù),而算法更適合商業(yè)秘密的保護(hù)模式。在醫(yī)藥領(lǐng)域,醫(yī)藥制造的信息公開(kāi)后,競(jìng)爭(zhēng)者即便試圖搭便車(chē)也需要付出高昂的成本,從生產(chǎn)到上市都需要耗費(fèi)大量時(shí)間和資金;而相同的情況卻不會(huì)發(fā)生在互聯(lián)網(wǎng)領(lǐng)域。某互聯(lián)網(wǎng)公司公開(kāi)其算法后,競(jìng)爭(zhēng)者在抄襲基礎(chǔ)上替換個(gè)別代碼就能形成新算法,侵權(quán)不易發(fā)現(xiàn)且難以舉證。

    上述分析也反映出,管制性排他權(quán)的內(nèi)在邏輯與傳統(tǒng)知識(shí)產(chǎn)權(quán)一致,都是幫助權(quán)利人提高市場(chǎng)收益以激勵(lì)創(chuàng)新。算法排他權(quán)表面上也符合專利法“以公開(kāi)換壟斷”的邏輯,即賦予權(quán)利人壟斷地位以激勵(lì)創(chuàng)新;作為代價(jià),將算法納入備案監(jiān)管以實(shí)現(xiàn)算法透明。然而,事實(shí)卻恰恰相反:算法透明才是真正的目的,給予權(quán)利人5年壟斷權(quán)是為了補(bǔ)償算法透明的負(fù)面效果——權(quán)利人因算法公開(kāi)而喪失競(jìng)爭(zhēng)優(yōu)勢(shì),并面臨競(jìng)爭(zhēng)者搭便車(chē)的威脅。

    此外,從效果看,該激勵(lì)機(jī)制無(wú)法達(dá)成,算法透明也并不必然有利于公共利益。下文將予以詳述。

    可見(jiàn),無(wú)論是從制度目標(biāo)還是實(shí)際效果來(lái)看,算法排他權(quán)實(shí)際上已經(jīng)脫離了私法語(yǔ)境,進(jìn)入了以管制為目標(biāo)的公法領(lǐng)域。即便算法排他權(quán)在一定程度上符合近年來(lái)知識(shí)產(chǎn)權(quán)領(lǐng)域私法公法化的趨勢(shì),但這本身并不足以證成算法排他權(quán)的制度正當(dāng)性,而需要進(jìn)一步考察算法排他權(quán)是否符合私法公法化的基本要求,以及在算法的法律規(guī)制問(wèn)題上,公法是否有必要介入私法領(lǐng)域?

    私法公法化趨勢(shì)本身具有合理性。在民法現(xiàn)代模式中,以個(gè)人為焦點(diǎn)的社會(huì)經(jīng)濟(jì)倫理已不再通用,民法的社會(huì)責(zé)任主義逐漸興起。法律價(jià)值多元化便是支撐私法公法化的一個(gè)重要依據(jù)。私法以自治為核心理念,以自由為根本價(jià)值追求,但秩序、安全和正義等價(jià)值要素自始至終都在私法的價(jià)值要素中占有十分重要的地位。知識(shí)產(chǎn)權(quán)領(lǐng)域私法公法化的正當(dāng)性就在于,在維護(hù)私人利益的同時(shí)促進(jìn)公共福利,實(shí)現(xiàn)私人自治和公共管制的雙重目標(biāo)。該趨勢(shì)突出表現(xiàn)為,知識(shí)產(chǎn)權(quán)法中公法規(guī)范類型化擴(kuò)充,從而增進(jìn)知識(shí)產(chǎn)品的社會(huì)效益。由此看來(lái),算法排他權(quán)的出現(xiàn)也是知識(shí)產(chǎn)權(quán)公法化趨勢(shì)的一種表現(xiàn)。

    現(xiàn)實(shí)中算法被作為商業(yè)秘密保護(hù),由此產(chǎn)生了算法商業(yè)秘密的私人利益與算法不透明背后的公共利益之間的沖突。此種沖突突出表現(xiàn)為算法歧視。算法排他權(quán)的前提正是,目前完全由私法來(lái)調(diào)整算法法律關(guān)系的現(xiàn)狀應(yīng)得到改變,因?yàn)檫@種調(diào)整方式下,算法權(quán)利人的利益實(shí)現(xiàn)是以公共利益受損為代價(jià)的。為了糾正這種利益不平衡,通過(guò)行政手段干預(yù)市場(chǎng),借助算法排他權(quán)人為設(shè)定5年市場(chǎng)壟斷期,這本質(zhì)上就是一種公法介入私法的方案。

    不可否認(rèn),算法商業(yè)秘密與公共利益之間存在一定沖突。一方面,只要符合商業(yè)秘密的構(gòu)成要件(采取保密措施、秘密性和商業(yè)價(jià)值性),任何算法內(nèi)容,無(wú)論是算術(shù)運(yùn)算、邏輯運(yùn)算、關(guān)系運(yùn)算,還是數(shù)據(jù)傳輸指令、賦值運(yùn)算、指令系統(tǒng),都可以成為商業(yè)秘密。2020年9月公布的《最高人民法院關(guān)于審理侵犯商業(yè)秘密民事案件適用法律若干問(wèn)題的規(guī)定》就將算法納入了技術(shù)信息范疇。算法商業(yè)秘密的法律地位得到肯定。商業(yè)秘密保護(hù)擴(kuò)張至算法,反映了信息社會(huì)維系商業(yè)道德和商業(yè)秩序的需要。商業(yè)秘密與算法黑箱各自在法律和技術(shù)層面的不公開(kāi)性疊加在一起所產(chǎn)生的不可知性,引發(fā)了人們對(duì)算法歧視的擔(dān)憂。例如,在2016年美國(guó)盧米斯案中,法院以保護(hù)商業(yè)秘密為由拒絕公開(kāi)COMPAS風(fēng)險(xiǎn)評(píng)估工具背后的評(píng)估方法,而被告認(rèn)為,法官依靠自動(dòng)化決策結(jié)果對(duì)其量刑的行為侵害了其正當(dāng)程序權(quán)利。

    但對(duì)于這種利益沖突,應(yīng)避免絕對(duì)化、簡(jiǎn)單化地理解,畢竟私人利益與公共利益總是交織在一起,只要私權(quán)行使不超過(guò)其權(quán)利邊界,他人就有容忍的義務(wù)。公眾是由無(wú)數(shù)個(gè)體組成的,如果一味追求維護(hù)公共利益而限制私權(quán)行使,那么,公共利益的基礎(chǔ)也不復(fù)存在。僅當(dāng)私權(quán)行使嚴(yán)重影響公共利益,而私法規(guī)則對(duì)此卻無(wú)能為力時(shí),公法的介入才具備必要性。

    就商業(yè)秘密而言,其公共利益限制主要針對(duì)危害國(guó)家安全或公共安全、影響公共健康等具有違法性、危害性和必要性的情形。算法黑箱對(duì)公共利益的威脅主要在于公民基本權(quán)利(如知情權(quán)等)層面,而較少涉及國(guó)家社會(huì)層面的公共安全或健康。再者,鑒于憲法權(quán)利的司法適用普遍缺乏具體的適用條款,即便要追究算法黑箱對(duì)公民基本權(quán)利造成的損害,在司法實(shí)踐中也難以獲得支持。

    商業(yè)秘密本質(zhì)上是商業(yè)公司的私人利益,如果要求作為私權(quán)的算法商業(yè)秘密為了維護(hù)算法透明所代表的公共利益而放棄自身訴求,那么公共領(lǐng)域與私人領(lǐng)域的界限、公權(quán)力與私權(quán)利各自的行使方式都將混淆不清。

    退一步講,即便算法歧視極大地?fù)p害了公共利益,算法排他權(quán)提供的解決方案也缺乏合理性。面對(duì)利益沖突問(wèn)題,算法排他權(quán)與其說(shuō)協(xié)調(diào)兼顧了兩種利益,不如說(shuō)進(jìn)行了利益取舍:犧牲個(gè)人利益以維護(hù)公共利益。對(duì)于算法權(quán)利人而言,算法排他權(quán)為其帶來(lái)的損失(算法公開(kāi)導(dǎo)致喪失核心競(jìng)爭(zhēng)力)大于其獲得的經(jīng)濟(jì)收益(通過(guò)行政限制而獲得的市場(chǎng)壟斷利益)。

    算法排他權(quán)本質(zhì)上是以私法手段(知識(shí)產(chǎn)權(quán)類型創(chuàng)設(shè))追求公法目的(維護(hù)公共利益)。該價(jià)值取舍態(tài)度恰恰是私法公法化最應(yīng)當(dāng)警惕的。公權(quán)力的介入應(yīng)保持謙抑,因?yàn)樗椒üɑ枪珯?quán)力對(duì)私權(quán)的強(qiáng)限制,過(guò)度介入會(huì)戕害私法自治。公權(quán)力只在私權(quán)自治的外圍參與社會(huì)治理,而不得以“公共利益”的名義影響私權(quán)的自生自發(fā)秩序,否則,應(yīng)當(dāng)對(duì)私權(quán)主體進(jìn)行補(bǔ)償甚至賠償。而算法排他權(quán)以監(jiān)督算法的公共利益為由對(duì)算法市場(chǎng)進(jìn)行強(qiáng)行干預(yù),限制市場(chǎng)競(jìng)爭(zhēng),已經(jīng)超出了不影響私法秩序的合理限度。

    從結(jié)果上看,政府介入和干預(yù)市場(chǎng)本身就存在政府失靈的風(fēng)險(xiǎn),對(duì)于算法排他權(quán)而言,這種危險(xiǎn)更容易兌現(xiàn)。國(guó)家機(jī)關(guān)及其工作人員同樣有尋求自身利益的行為目標(biāo),這與知識(shí)產(chǎn)權(quán)法公法化所追求的公共利益目標(biāo)并非始終一致。根據(jù)公共選擇理論,只要知識(shí)產(chǎn)權(quán)運(yùn)營(yíng)蘊(yùn)含著獲利機(jī)會(huì),知識(shí)產(chǎn)權(quán)法公法化就必然隱含著公權(quán)力濫用的風(fēng)險(xiǎn)。算法排他權(quán)本質(zhì)上是一種行政機(jī)關(guān)賦予的獨(dú)占市場(chǎng)的特權(quán)。哪種算法可以進(jìn)入市場(chǎng),主要取決于哪個(gè)算法開(kāi)發(fā)者率先向行政機(jī)關(guān)提出申請(qǐng)。由此一來(lái),同一時(shí)期最先進(jìn)的算法技術(shù)可能因申請(qǐng)延遲而被排除在市場(chǎng)之外。

    從更宏觀的視角觀察,5年算法壟斷期即便能滿足公民知情權(quán)的公共利益需要,也會(huì)使其他公共利益遭受損害。一方面,互聯(lián)網(wǎng)技術(shù)發(fā)展迅猛,獲得排他權(quán)保護(hù)的算法可能應(yīng)用未滿5年就已經(jīng)過(guò)時(shí),難以與同期其它先進(jìn)系統(tǒng)相兼容。這必然極大地影響公權(quán)力機(jī)關(guān)的辦事效率和準(zhǔn)確性,不僅浪費(fèi)公共資源,給公眾造成不便,甚至可能危及公共秩序。另一方面,其它更先進(jìn)的算法在5年內(nèi)無(wú)法應(yīng)用于某公權(quán)力領(lǐng)域,那么該算法就缺乏大數(shù)據(jù)作為學(xué)習(xí)基礎(chǔ),進(jìn)一步的深度學(xué)習(xí)和算法迭代就無(wú)法實(shí)現(xiàn),阻礙算法技術(shù)創(chuàng)新。以上種種難道不是對(duì)整個(gè)公共利益的更大損害嗎?

    此外,有研究顯示,算法公開(kāi)可能與國(guó)家安全、社會(huì)秩序和個(gè)人隱私等私主體權(quán)利發(fā)生沖突。如果算法歧視問(wèn)題的解決需要以犧牲更高位階的價(jià)值為代價(jià),那么算法排他權(quán)在維護(hù)公共利益的問(wèn)題上可謂是“撿了芝麻丟了西瓜”。

    總之,算法排他權(quán)試圖通過(guò)私權(quán)設(shè)置來(lái)達(dá)成公法的調(diào)整目標(biāo):維護(hù)公共利益。這表面上順應(yīng)了知識(shí)產(chǎn)權(quán)領(lǐng)域私法公法化的潮流,實(shí)際上卻逾越了公法介入私法的邊界限制,以“私權(quán)保護(hù)”之名行“行政監(jiān)督”之實(shí)。畢竟,私法公法化只要求公法“輔助或補(bǔ)充”私法,而絕不意味著公法“替代”私法或者公私法混為一談。

    如上文所述,算法排他權(quán)是知識(shí)產(chǎn)權(quán)領(lǐng)域的一種制度創(chuàng)新。知識(shí)產(chǎn)權(quán)制度最重要的理論依據(jù)是,激勵(lì)市場(chǎng)主體投資知識(shí)財(cái)產(chǎn)的創(chuàng)造活動(dòng),那么,激勵(lì)機(jī)制在算法排他權(quán)制度中能否達(dá)成呢?

    從傳統(tǒng)知識(shí)產(chǎn)權(quán)的視角看,算法排他權(quán)與專利權(quán)比較相近。專利權(quán)是以信息公開(kāi)換取獨(dú)占使用地位,但獨(dú)占使用地位未必能帶來(lái)市場(chǎng)排他;而算法排他權(quán)是以信息公開(kāi)直接換取市場(chǎng)排他效力。前者賦予權(quán)利人的僅僅是一種市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì),而后者相當(dāng)于直接把市場(chǎng)壟斷的“蛋糕”劃分給權(quán)利人。

    如前所述,中國(guó)互聯(lián)網(wǎng)企業(yè)的平均壽命并不長(zhǎng)。對(duì)于一個(gè)獲得了算法排他權(quán)的中小型互聯(lián)網(wǎng)公司而言,他們無(wú)需參與市場(chǎng)競(jìng)爭(zhēng),從而缺乏持續(xù)技術(shù)創(chuàng)新的動(dòng)力。對(duì)于大型互聯(lián)網(wǎng)公司而言,如果選擇算法排他權(quán)來(lái)保護(hù)其算法,則必須放棄商業(yè)秘密保護(hù),由此產(chǎn)生的損失可能超過(guò)5年市場(chǎng)壟斷期帶來(lái)的利益。

    算法排他權(quán)的論者明確指出,該制度不具有強(qiáng)制性,且其建立并不排斥算法擁有者尋求商業(yè)秘密法的保護(hù)。這并不意味著,某算法可以同時(shí)享有排他權(quán)和商業(yè)秘密的保護(hù),而應(yīng)理解為,算法擁有者有權(quán)在兩條保護(hù)路徑中進(jìn)行選擇。

    如果算法擁有者選擇了算法排他權(quán),就必須向行政主管機(jī)關(guān)申報(bào),并披露算法的編寫(xiě)思路和源代碼。獲知算法源代碼的行政機(jī)關(guān)及其工作人員并沒(méi)有保密義務(wù),一經(jīng)披露,算法商業(yè)秘密就喪失了保密性以及由此形成的天然排他性,成為公共產(chǎn)品??梢?jiàn),正如專利權(quán)與商業(yè)秘密之間非此即彼的關(guān)系,選擇算法排他權(quán)就意味著放棄算法商業(yè)秘密,算法將喪失保密性及其附帶的天然排他性,而算法排他權(quán)的擬制排他性卻無(wú)法阻止競(jìng)爭(zhēng)者“搭便車(chē)”。

    算法是企業(yè)的核心競(jìng)爭(zhēng)力,一旦算法公開(kāi)或向相關(guān)主體解釋,就可能引發(fā)“算計(jì)”問(wèn)題,侵權(quán)風(fēng)險(xiǎn)就會(huì)由此滋生。對(duì)于算法排他權(quán)的競(jìng)爭(zhēng)者而言,算法披露使得“抄襲(復(fù)制)”輕而易舉,并且難以被發(fā)現(xiàn)。算法是抽象的邏輯思維,抄襲者只需要替換或刪除個(gè)別程序或步驟,就可以輕易地規(guī)避侵權(quán),并且,抄襲者自然會(huì)對(duì)基于侵權(quán)而形成的新算法采取保密措施,由此令侵權(quán)行為無(wú)跡可尋。

    對(duì)于算法開(kāi)發(fā)者而言,算法排他權(quán)最誘人之處在于5年的市場(chǎng)獨(dú)占期。而事實(shí)上,大多數(shù)公共服務(wù)部門(mén)都存在著技術(shù)依賴現(xiàn)象,一旦開(kāi)始應(yīng)用某種算法,就會(huì)長(zhǎng)時(shí)期使用下去,因?yàn)楦鼡Q系統(tǒng)可能會(huì)帶來(lái)與原系統(tǒng)的對(duì)接兼容問(wèn)題以及成本問(wèn)題。這種事實(shí)上的技術(shù)壟斷效應(yīng)持續(xù)的時(shí)期可能遠(yuǎn)遠(yuǎn)超過(guò)算法排他權(quán)的5年期限。

    綜上,知識(shí)產(chǎn)權(quán)領(lǐng)域傳統(tǒng)的以信息公開(kāi)為基礎(chǔ)的激勵(lì)機(jī)制無(wú)法用于解釋算法排他權(quán)的合理性。對(duì)于算法開(kāi)發(fā)者而言,面對(duì)算法排他權(quán)與算法商業(yè)秘密這兩種保護(hù)路徑,最佳選擇仍然是后者。算法商業(yè)秘密能確保權(quán)利人享有一定的市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì),直到算法過(guò)時(shí)而喪失價(jià)值性;而算法排他權(quán)則使權(quán)利人自公開(kāi)之際就失去了算法原本能帶來(lái)的競(jìng)爭(zhēng)優(yōu)勢(shì),損失大于收益。若真正創(chuàng)設(shè)算法排他權(quán)制度,恐怕其無(wú)用武之地,反而徒增制度創(chuàng)設(shè)成本。

    算法排他權(quán)的制度目標(biāo)是,通過(guò)備案將算法納入行政監(jiān)管,由此實(shí)現(xiàn)算法透明并解決算法歧視問(wèn)題。但這一推理過(guò)程并不能成立,因?yàn)樗惴ūO(jiān)管能否完成向算法透明再到算法正義的飛躍,具有極大的不確定性。

    (1)從算法監(jiān)管到算法透明

    算法排他權(quán)要求權(quán)利人將“算法源代碼提交行政機(jī)關(guān)備案并對(duì)不存在算法歧視予以說(shuō)明”,這一做法能實(shí)現(xiàn)算法透明嗎?

    將算法納入行政監(jiān)管確實(shí)可以實(shí)現(xiàn)一定程度的算法透明。例如,2018年中國(guó)人民銀行等部門(mén)聯(lián)合發(fā)布了《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見(jiàn)》,該意見(jiàn)要求金融機(jī)構(gòu)運(yùn)用人工智能技術(shù)開(kāi)展資產(chǎn)管理業(yè)務(wù)時(shí),應(yīng)當(dāng)向金融監(jiān)管部門(mén)報(bào)備人工智能模型的主要參數(shù)。這意味著算法透明得到了一定程度的貫徹。

    但通過(guò)算法監(jiān)管實(shí)現(xiàn)的算法透明比較有限。隨著算法不斷進(jìn)行深度學(xué)習(xí),計(jì)算模型將越來(lái)越復(fù)雜,即便是算法的開(kāi)發(fā)者都難以解釋,監(jiān)管人員自然更無(wú)法理解具體的算法程序。此外,算法監(jiān)管缺乏現(xiàn)實(shí)性,因?yàn)樗惴ùa往往龐大且復(fù)雜,對(duì)其進(jìn)行逐條審查、全面測(cè)試需要耗費(fèi)高昂的成本。

    (2)從算法透明到算法正義

    人們傾向于相信“眼見(jiàn)為實(shí)”,將“看見(jiàn)”置于“理解”之上,在這種信息公開(kāi)的虛幻中,又理所當(dāng)然地把公開(kāi)等同于公正。事實(shí)上,算法透明本身不等同于算法的可解釋性。如果缺乏可解釋性,那么算法透明本身并無(wú)意義。

    即便算法監(jiān)管到算法透明已達(dá)成,從算法透明再到算法可解釋性的跨越也難以實(shí)現(xiàn),這是由算法自我深度學(xué)習(xí)和迭代的復(fù)雜性,以及大數(shù)據(jù)天然的特殊邏輯關(guān)系共同決定的。即便技術(shù)人員能理解并解釋算法,受決策影響的個(gè)人或公眾也很難理解計(jì)算機(jī)代碼和算法對(duì)數(shù)據(jù)的處理方式。因?yàn)槿祟惱斫馐澜绲倪壿嬇c大數(shù)據(jù)的邏輯無(wú)法契合。人們主要通過(guò)因果關(guān)系了解世界,但大數(shù)據(jù)力圖發(fā)現(xiàn)的并非因果關(guān)系,而是相關(guān)關(guān)系。也就是說(shuō),基于大數(shù)據(jù)的算法與可解釋性要求各自有著完全不同的邏輯。

    二、算法決策、算法權(quán)力與算法歧視

    盡管算法排他權(quán)的論者也承認(rèn),算法歧視問(wèn)題根本上是算法權(quán)力規(guī)制的問(wèn)題,但其制度設(shè)計(jì)卻并未圍繞算法權(quán)力展開(kāi),仍停留在如何實(shí)現(xiàn)算法運(yùn)行透明的技術(shù)層面。事實(shí)上,無(wú)論是算法透明還是算法排他權(quán),都是從算法歧視產(chǎn)生的技術(shù)性原因出發(fā)來(lái)尋求解決途徑。這一思路將歧視性算法決策直接等同于對(duì)人造成負(fù)面影響的算法歧視問(wèn)題,未能認(rèn)識(shí)到算法決策首先須轉(zhuǎn)化為算法權(quán)力,才有可能進(jìn)一步引發(fā)算法歧視。

    本文認(rèn)為,算法歧視根本上是動(dòng)態(tài)的權(quán)力運(yùn)行問(wèn)題,而非靜態(tài)的技術(shù)問(wèn)題。技術(shù)層面的歧視性算法決策與權(quán)力層面的算法歧視不能等同視之。二者的嚴(yán)格區(qū)分對(duì)于解決公權(quán)力領(lǐng)域的算法歧視問(wèn)題至關(guān)重要。

    (一)技術(shù)層面:歧視性算法決策

    技術(shù)領(lǐng)域的算法偏向與權(quán)力運(yùn)行層面的算法歧視表面上相似,二者相關(guān),但并不等同,也并不必然具有因果關(guān)系,前者未必會(huì)引發(fā)后者。對(duì)于算法而言,一定程度的“偏向(對(duì)標(biāo)準(zhǔn)的偏離)”必不可少。如果算法模擬的決策總是與標(biāo)準(zhǔn)保持一致,那么該算法輸出的決策毫無(wú)意義。但算法偏向未必會(huì)導(dǎo)致算法歧視。算法的偏向程度超過(guò)合理限度時(shí)會(huì)引發(fā)算法歧視,至于何種程度的偏向才算得上是算法歧視,雖然可以依靠技術(shù)上的檢測(cè)標(biāo)準(zhǔn)來(lái)衡量,但檢測(cè)準(zhǔn)確性總是難以評(píng)判。畢竟“歧視”是一個(gè)雜糅了文化、社會(huì)、道德觀念和時(shí)間因素的概念,是一種帶有強(qiáng)烈主觀色彩的價(jià)值判斷?!皟r(jià)值判斷”不可避免地需要對(duì)不同類型和不同群體的價(jià)值進(jìn)行排序,不同主體從各自的立場(chǎng)出發(fā)可能會(huì)作出不同的回答,總會(huì)有一部分群體認(rèn)為某一決策結(jié)果對(duì)他們而言是不公正的,尤其是那些直接受到算法決策影響的個(gè)體/群體往往容易產(chǎn)生被歧視的懷疑心理。

    可見(jiàn),算法偏向是算法固有的技術(shù)特征,算法決策必然帶有一定的“偏向性”,而“偏向”是否達(dá)到“歧視”的程度,不存在客觀標(biāo)準(zhǔn)。因此,要想得出完全中立的算法決策在技術(shù)上不可能實(shí)現(xiàn)。進(jìn)一步,算法歧視源于歧視性算法決策,既然后者在技術(shù)上無(wú)解,那么從技術(shù)層面尋求破解前者的思路也就行不通。

    很多研究將算法歧視歸咎于算法的“不透明性”。算法透明的內(nèi)在假設(shè)是,只要公開(kāi)算法運(yùn)行過(guò)程,就能避免算法輸出不公正的歧視性決策。但這一假設(shè)并不現(xiàn)實(shí)。“不透明”是算法技術(shù)的固有屬性,算法深度學(xué)習(xí)的特性決定了,算法黑箱無(wú)法被打開(kāi)。因此,即便多數(shù)人認(rèn)為某種算法決策確實(shí)帶有“歧視性”,也因無(wú)法打開(kāi)算法黑箱而無(wú)法探明“歧視”發(fā)生于哪個(gè)技術(shù)環(huán)節(jié),進(jìn)而無(wú)法從根本上確保算法決策輸出多數(shù)人滿意的公正結(jié)果。

    結(jié)合算法排他權(quán)來(lái)分析,它本質(zhì)上是對(duì)算法透明的修正,仍未脫離算法透明的基本思路,即要求算法運(yùn)行過(guò)程公開(kāi)透明以保證輸出結(jié)果不偏不倚。要實(shí)現(xiàn)這一思路,算法運(yùn)行就不能偏離標(biāo)準(zhǔn),且運(yùn)行過(guò)程須公開(kāi)透明。也就是說(shuō),算法固有的兩個(gè)技術(shù)特征——算法偏向和算法黑箱——必須被改變。而喪失這些特征的算法顯然無(wú)法完成處理大數(shù)據(jù)進(jìn)行深度學(xué)習(xí)的根本使命。

    如果我們承認(rèn)法律介入技術(shù)的前提是尊重技術(shù)本身的獨(dú)立性和中立性,那么,我們?cè)谙硎芩惴ㄗ詣?dòng)化帶來(lái)便利的同時(shí),也應(yīng)當(dāng)接受算法偏向和黑箱可能產(chǎn)生的副作用。否則,如果非要扭曲算法的固有屬性,算法的進(jìn)化迭代便無(wú)從談起,技術(shù)創(chuàng)新和社會(huì)進(jìn)步將不得不放慢腳步。

    (二)權(quán)力層面:算法歧視

    算法自動(dòng)化決策本身是一種技術(shù),當(dāng)該決策開(kāi)始影響或控制人的想法或行為,具備資源調(diào)配能力時(shí),算法就從單純的技術(shù)轉(zhuǎn)化為一種實(shí)質(zhì)意義上的權(quán)力,即算法權(quán)力。在人尚未接觸到算法決策時(shí),算法決策僅僅以靜態(tài)的客觀事實(shí)而存在。此時(shí)即便算法輸出結(jié)果帶有歧視性,也不會(huì)對(duì)人造成影響或形成控制力,對(duì)人的歧視性后果無(wú)從發(fā)生??梢?jiàn),算法決策轉(zhuǎn)化為算法權(quán)力的必要條件是,算法決策與人或資源發(fā)生接觸;歧視性算法決策要轉(zhuǎn)化為算法歧視,也必須以存在這類接觸為前提。

    事實(shí)上,歧視性算法決策與算法歧視這兩個(gè)概念有必要予以明確區(qū)分。算法歧視是歧視性算法決策作用于個(gè)體或群體的后果。歧視性算法決策源自技術(shù)上的諸多不可控因素,是算法偏向的極端表現(xiàn);而算法歧視本質(zhì)上是權(quán)力濫用的結(jié)果。

    商業(yè)領(lǐng)域的算法權(quán)力天然缺乏約束,因?yàn)樗苯幼饔糜谌?。其形成過(guò)程可以概括為:歧視性算法決策→(接觸人或資源后形成)算法權(quán)力→(動(dòng)態(tài)運(yùn)行)算法操縱→(操縱結(jié)果)算法歧視。

    而公權(quán)力領(lǐng)域的算法權(quán)力則間接作用于當(dāng)事人,它受到公權(quán)力機(jī)關(guān)的控制和約束。只有經(jīng)過(guò)公權(quán)力機(jī)關(guān)認(rèn)可后,算法決策才能以公權(quán)力的形態(tài)影響當(dāng)事人。此時(shí)的算法歧視形成過(guò)程可以概括為:歧視性算法決策→公權(quán)力機(jī)關(guān)認(rèn)可→(接觸人/資源而形成)算法權(quán)力→算法歧視。

    在明晰了二者的差異后,便可知并非所有的歧視性算法決策都必然引發(fā)算法歧視。只有當(dāng)前者轉(zhuǎn)化為了算法權(quán)力且缺乏有效限制時(shí),算法歧視才會(huì)滋生。在公權(quán)力領(lǐng)域,如果算法自動(dòng)生成的決策帶有歧視性,公權(quán)力機(jī)關(guān)發(fā)現(xiàn)并避免了該決策轉(zhuǎn)化為最終決策,那么,影響行政相對(duì)人或訴訟當(dāng)事人的算法歧視便無(wú)從產(chǎn)生。

    因此,解決公權(quán)力領(lǐng)域算法歧視問(wèn)題的關(guān)鍵并不在于技術(shù)層面如何避免產(chǎn)生歧視性算法決策,而在于權(quán)力層面如何避免歧視性算法決策直接作用于人或資源從而形成算法權(quán)力。

    三、算法權(quán)力規(guī)制的回歸:算法正當(dāng)程序

    公權(quán)力領(lǐng)域的算法權(quán)力具有公權(quán)力屬性,因此仍應(yīng)遵從公權(quán)力運(yùn)行的基本要求:正當(dāng)程序原則。當(dāng)出現(xiàn)算法歧視時(shí),相對(duì)人/當(dāng)事人有權(quán)提出質(zhì)疑或?qū)で笊暝V,此時(shí)被審查的對(duì)象并非單純的算法決策,而是算法決策參與構(gòu)成的最終的公權(quán)力決策;審查關(guān)鍵也并非算法決策的技術(shù)運(yùn)行過(guò)程是否透明,而是公權(quán)力決策過(guò)程是否公開(kāi)透明。

    (一)公權(quán)力領(lǐng)域算法權(quán)力的特殊性

    相較于商業(yè)領(lǐng)域的算法權(quán)力,公權(quán)力領(lǐng)域的算法權(quán)力有兩方面特殊性:(1)權(quán)力生成的間接性;(2)公權(quán)力屬性。

    從上文可知,不同于商業(yè)領(lǐng)域的算法權(quán)力直接作用于人或資源(算法決策→算法權(quán)力),算法權(quán)力在公權(quán)力領(lǐng)域的生成具有間接性。商業(yè)領(lǐng)域的算法實(shí)際享有“決策者”的地位,而公權(quán)力機(jī)關(guān)在大多數(shù)情形下僅將算法作為輔助決策的工具,算法決策是否以及在多大程度上參與到最終決策中,都由公權(quán)力機(jī)關(guān)決定。這意味著,算法自動(dòng)化決策并非直接作用于人或資源,在算法決策接觸到公民而轉(zhuǎn)化為算法權(quán)力之前,需要經(jīng)過(guò)公權(quán)力機(jī)關(guān)的認(rèn)可或過(guò)濾。亦即:算法自動(dòng)化決策→公權(quán)力機(jī)關(guān)認(rèn)可或過(guò)濾→算法權(quán)力。

    經(jīng)過(guò)公權(quán)力機(jī)關(guān)認(rèn)可或過(guò)濾的算法決策便以行政命令或司法裁判的形式作用于相對(duì)人/當(dāng)事人。有學(xué)者將這一過(guò)程形象地描述為,算法技術(shù)事實(shí)上被公權(quán)力“收編”,算法權(quán)力披上了公權(quán)力的外衣而對(duì)相對(duì)人/當(dāng)事人發(fā)生直接的法律效力,實(shí)質(zhì)上具備了公權(quán)力屬性。

    算法權(quán)力的以上兩個(gè)特點(diǎn)在公權(quán)力應(yīng)用算法的各種場(chǎng)景中都有所體現(xiàn)。有的行政機(jī)關(guān)運(yùn)用反應(yīng)型算法來(lái)壓縮行政環(huán)節(jié),提高行政效率。有的司法機(jī)關(guān)和行政機(jī)關(guān)運(yùn)用預(yù)測(cè)型司法來(lái)推測(cè)未來(lái)趨勢(shì),預(yù)測(cè)風(fēng)險(xiǎn),為人工決策提供“專家咨詢意見(jiàn)”。反應(yīng)型算法實(shí)際上成為了行政活動(dòng)的一個(gè)組成環(huán)節(jié),解決行政活動(dòng)的信息不對(duì)稱問(wèn)題;預(yù)測(cè)型算法僅存在于公權(quán)力機(jī)關(guān)的內(nèi)部決策之中,旨在為公權(quán)力機(jī)關(guān)的決策層提供更全面的專業(yè)意見(jiàn),以避免信息不充分而導(dǎo)致決策不完善或失誤。

    反應(yīng)型算法多適用于行政執(zhí)法決定,最常見(jiàn)的例子是交通違章的自動(dòng)識(shí)別。算法對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行識(shí)別分析,按照技術(shù)標(biāo)準(zhǔn)形成車(chē)輛違法數(shù)據(jù),交警部門(mén)審核后發(fā)出處罰通知。簡(jiǎn)單的事實(shí)認(rèn)定和法律適用都由算法完成,相應(yīng)的行政活動(dòng)程序得到壓縮。但算法決策并不能直接成為行政決策,需要經(jīng)過(guò)人工審核才能以行政處罰的形式送達(dá)違法者,亦即:算法決策→人工審核→行政執(zhí)法決定。算法決策通過(guò)人工審核程序而受到監(jiān)督,該程序發(fā)揮了把關(guān)糾錯(cuò)的重要功能。

    相較于反應(yīng)型算法,預(yù)測(cè)型算法更普遍地適用于行政機(jī)關(guān)的預(yù)測(cè)性事項(xiàng)和司法活動(dòng)中。例如,稅務(wù)機(jī)關(guān)應(yīng)用算法預(yù)測(cè)稅務(wù)風(fēng)險(xiǎn)較高的相對(duì)人;上海市高級(jí)人民法院的“刑事案件智能輔助辦案系統(tǒng)”應(yīng)用于刑事審判中的證據(jù)審查、事實(shí)認(rèn)定、法律判斷以及審前程序中的逮捕社會(huì)危險(xiǎn)性評(píng)估等領(lǐng)域,以幫助決策者作出判斷。司法裁判活動(dòng)并非單純的事實(shí)認(rèn)定和法律適用,其核心是法官的心證過(guò)程,這是算法無(wú)法替代的。因此算法在司法活動(dòng)中只能提供參考意見(jiàn),提供輔助決策、輔助支持、案件管理等功能,而不能像在行政執(zhí)法活動(dòng)中那樣替代人來(lái)完成事實(shí)認(rèn)定和法律適用工作。正因如此,歐洲主要國(guó)家只是在審前程序有個(gè)別刑事司法人工智能應(yīng)用,審判階段幾乎不存在司法人工智能應(yīng)用。例如,德國(guó)警方除試用人臉識(shí)別、在個(gè)別地區(qū)使用預(yù)測(cè)性警務(wù)外,基本沒(méi)有引入刑事司法人工智能應(yīng)用;法國(guó)禁止將基于人工智能技術(shù)的法律服務(wù)軟件應(yīng)用于刑事案件,并且通過(guò)立法禁止基于法官和書(shū)記官成員的身份進(jìn)行的人工智能裁判指引??梢?jiàn),預(yù)測(cè)型算法的作用主要體現(xiàn)在,為公權(quán)力機(jī)關(guān)提供“專家咨詢服務(wù)”,至于“完全或部分采納算法決策,還是予以否決”,決定權(quán)始終在公權(quán)力機(jī)關(guān)手中。決策過(guò)程可以表示為:算法決策→提供咨詢→公權(quán)力決策。

    綜上,在公權(quán)力領(lǐng)域,無(wú)論是反應(yīng)型算法還是預(yù)測(cè)型算法的運(yùn)用,算法權(quán)力對(duì)人的影響都是間接發(fā)生的,算法決策首先需要獲得公權(quán)力機(jī)關(guān)的監(jiān)督審查或認(rèn)可才能轉(zhuǎn)化為算法權(quán)力,正是這一中間環(huán)節(jié)使得算法權(quán)力成為了一種具有強(qiáng)制性的公權(quán)力(算法決策→公權(quán)力機(jī)關(guān)的審查認(rèn)可→算法權(quán)力)。在明確這點(diǎn)的基礎(chǔ)上,進(jìn)一步需要考察的問(wèn)題就是,如何解決算法權(quán)力濫用問(wèn)題。

    (二)公權(quán)力屬性的算法權(quán)力仍應(yīng)遵從正當(dāng)程序原則

    算法決策轉(zhuǎn)化為算法權(quán)力的間接性意味著,算法決策僅僅是公權(quán)力機(jī)關(guān)最終決策的影響因素或組成部分,從算法啟動(dòng)運(yùn)行到輸入數(shù)據(jù)都是由公權(quán)力機(jī)關(guān)發(fā)送指令進(jìn)行控制的,決策內(nèi)容表達(dá)的仍是公權(quán)力機(jī)關(guān)的意思。即便算法決策成為最終決策,也不意味著算法成為了真正的決策者,算法始終只是公權(quán)力機(jī)關(guān)的輔助工具。公權(quán)力機(jī)關(guān)與相對(duì)人/當(dāng)事人之間原有的法律關(guān)系并沒(méi)有因算法的運(yùn)用而被割裂或發(fā)生改變。因此,算法參與的行政行為或司法行為,并不會(huì)因缺乏意思表示要素而脫離行政/司法正當(dāng)程序的約束。

    無(wú)論是行政程序還是司法程序,都要求遵循正當(dāng)程序原則。公權(quán)力運(yùn)行程序包括工具性價(jià)值和程序性價(jià)值,前者關(guān)注具體流程,追求行政/司法效率,后者則關(guān)注相對(duì)人/當(dāng)事人的聽(tīng)證、申辯等程序性權(quán)利。借助算法的技術(shù)力量,公權(quán)力運(yùn)行程序得以簡(jiǎn)化,工具性價(jià)值得以提升。但程序性權(quán)利不能隨著算法的運(yùn)用而被省略,否則會(huì)損害程序性價(jià)值,使相對(duì)人/當(dāng)事人的程序性權(quán)利無(wú)法得到保障,導(dǎo)致“權(quán)力—權(quán)利”格局失衡。因此,從公權(quán)力運(yùn)行角度分析,算法權(quán)力的公權(quán)力屬性意味著,算法權(quán)力運(yùn)行必須遵從傳統(tǒng)的公權(quán)力運(yùn)行規(guī)則——正當(dāng)程序原則。

    再?gòu)臋?quán)力運(yùn)行本身的角度看,鑒于權(quán)力濫用的危險(xiǎn)總是存在,這種權(quán)力需要道德證成(moral justification)。道德證成必然包含著正當(dāng)程序(due process)的要求,且需要結(jié)合價(jià)值目標(biāo)進(jìn)行審查,即實(shí)質(zhì)性的正當(dāng)程序(substantial due process)。

    一言以蔽之,公權(quán)力運(yùn)行理論與社會(huì)權(quán)力運(yùn)行理論的分析都表明,在公權(quán)力領(lǐng)域形成的算法權(quán)力必須符合正當(dāng)程序要求。

    (三)算法權(quán)力的正當(dāng)程序構(gòu)建

    現(xiàn)代法律程序所要實(shí)現(xiàn)的最低限度的正當(dāng)程序至少包括公開(kāi)性、不偏私和參與性要求。相應(yīng)地,在公權(quán)力領(lǐng)域形成的算法權(quán)力由于具有公權(quán)力屬性,自然也應(yīng)當(dāng)遵從以上要求。本文側(cè)重于探討公權(quán)力機(jī)關(guān)在破解算法歧視問(wèn)題中的作用,因此有關(guān)公民監(jiān)督公權(quán)力的“參與性”內(nèi)容在此不作展開(kāi)。

    正當(dāng)程序要求權(quán)力擁有者公開(kāi)權(quán)力運(yùn)行過(guò)程,以此證明權(quán)力行使的正當(dāng)性。這體現(xiàn)在兩方面:(1)權(quán)力運(yùn)行的程序設(shè)計(jì)是正當(dāng)?shù)?,沒(méi)有給權(quán)力的任意行使提供機(jī)會(huì);(2)權(quán)力運(yùn)行的整個(gè)過(guò)程是公開(kāi)的。相應(yīng)地,算法權(quán)力的正當(dāng)程序應(yīng)當(dāng)包括兩方面內(nèi)容:靜態(tài)方面,算法內(nèi)部編程設(shè)計(jì)本身應(yīng)當(dāng)是中立的,摒除價(jià)值判斷的,且算法程序設(shè)計(jì)應(yīng)當(dāng)公開(kāi);動(dòng)態(tài)方面,算法運(yùn)行過(guò)程應(yīng)當(dāng)是公開(kāi)的,且接受應(yīng)用算法的公權(quán)力機(jī)關(guān)和公眾的監(jiān)督。然而,這兩點(diǎn)都難以實(shí)現(xiàn),因?yàn)樗麄冞`背了算法技術(shù)固有的偏向性和不透明性。那么,這是否意味著正當(dāng)程序道路走不通?

    正當(dāng)程序的要求是針對(duì)算法權(quán)力,而非算法技術(shù)。即便技術(shù)層面的算法透明無(wú)法實(shí)現(xiàn),也不會(huì)影響權(quán)力層面正當(dāng)程序目標(biāo)的達(dá)成。

    就算法設(shè)計(jì)的中立性要求而言,正當(dāng)程序雖然無(wú)法改變算法固有的技術(shù)性偏向,但可以限制非技術(shù)性因素,即那些刻意為算法編程制定歧視性標(biāo)準(zhǔn)的行為。這就要求公權(quán)力機(jī)關(guān)在應(yīng)用算法時(shí)對(duì)算法程序的數(shù)據(jù)篩選標(biāo)準(zhǔn)有所了解。為此,算法開(kāi)發(fā)者須作出相關(guān)說(shuō)明或解釋。如果認(rèn)為數(shù)據(jù)篩選標(biāo)準(zhǔn)不合理,可能侵害某些群體的利益,造成歧視性后果,那么公權(quán)力機(jī)關(guān)應(yīng)有能力發(fā)現(xiàn)并要求開(kāi)發(fā)者對(duì)標(biāo)準(zhǔn)進(jìn)行調(diào)整糾正。

    “不偏私”要求決定法律結(jié)果的法律主體應(yīng)當(dāng)處于中立地位,對(duì)參與程序的任何一方不得存有偏見(jiàn)或歧視。對(duì)于如何避免算法決策出現(xiàn)偏見(jiàn)或歧視,算法權(quán)力的間接性為此提供了啟示:在歧視性決策與相對(duì)人/當(dāng)事人之間,公權(quán)力機(jī)關(guān)應(yīng)扮演好主導(dǎo)者和監(jiān)督者角色,保持對(duì)算法決策進(jìn)行監(jiān)督和否決的能力。

    算法既可能出錯(cuò)也并不“中立”,缺乏監(jiān)督的算法決策可能出現(xiàn)歧視,缺乏限制的算法權(quán)力極易走向?yàn)E用。公權(quán)力機(jī)關(guān)對(duì)算法自動(dòng)化決策的限制,根本上是對(duì)算法權(quán)力上升為公權(quán)力這一過(guò)程的控制。至于“限制”的度如何劃定,關(guān)鍵在于如何平衡效率(應(yīng)用算法提高公權(quán)力運(yùn)行效率)與公正(算法自動(dòng)化決策導(dǎo)致算法歧視)之間的關(guān)系。對(duì)此本文認(rèn)為,應(yīng)從算法應(yīng)用場(chǎng)景類型和算法自動(dòng)化決策類型兩方面展開(kāi),根據(jù)不同的決策內(nèi)容來(lái)決定采用何種類型的算法系統(tǒng),進(jìn)而制定具有針對(duì)性的適用規(guī)則。

    公權(quán)力機(jī)關(guān)的決策類型名目繁多,但歸根結(jié)底無(wú)非三種類型:(1)有的決策只需要基于事實(shí)認(rèn)定就可以作出,即“單純事實(shí)認(rèn)定型決策”,例如根據(jù)車(chē)輛時(shí)速來(lái)決定是否開(kāi)罰單;(2)有的決策需要在事實(shí)認(rèn)定基礎(chǔ)上納入其它相關(guān)因素來(lái)綜合作出,即“裁量型決策”,例如行政罰款或司法裁判;(3)還有的決策面向未來(lái),需要基于歷史相關(guān)數(shù)據(jù)和各種客觀因素,對(duì)未來(lái)可能發(fā)生的事項(xiàng)或人的行為作出預(yù)測(cè),即“預(yù)測(cè)型決策”,例如城市未來(lái)的建設(shè)規(guī)劃和資源調(diào)配。

    第(1)類決策運(yùn)用了簡(jiǎn)單的對(duì)比分析方式,只需要輸入待查找對(duì)象的信息(如犯罪嫌疑人的照片)或既定標(biāo)準(zhǔn)(如高速路的限速標(biāo)準(zhǔn)),并將實(shí)時(shí)獲得的數(shù)據(jù)(如公共場(chǎng)所的路人影像或高速路上每輛車(chē)的時(shí)速)與之進(jìn)行對(duì)比,就可以得出清晰的結(jié)論:是或否。

    第(2)類和第(3)類決策的過(guò)程就較為復(fù)雜,需要綜合多種因素分析,結(jié)論往往表現(xiàn)為發(fā)生概率的百分比。例如刑事量刑或行政處罰決定都需要綜合分析行為人的行為后果、動(dòng)機(jī)、社會(huì)影響等因素后作出。那么,對(duì)于以上各類決策事項(xiàng),不同類型算法可以在多大程度上參與決策呢?

    本文認(rèn)為,算法自動(dòng)化類型與決策類型存在著一定的對(duì)應(yīng)關(guān)系。根據(jù)算法是否獨(dú)立作出決策,算法自動(dòng)化決策可分為全自動(dòng)化決策和半自動(dòng)化決策。算法全自動(dòng)化決策應(yīng)僅限于第(1)類決策;第(2)類和第(3)類決策宜采用算法半自動(dòng)化決策。

    就裁量型和預(yù)測(cè)型決策而言,人類應(yīng)始終掌握決策權(quán),算法只能處于輔助工具的次要地位,因此只能適用算法半自動(dòng)化決策系統(tǒng)。算法半自動(dòng)化決策為公權(quán)力機(jī)關(guān)提供類似專家咨詢的服務(wù),但咨詢意見(jiàn)可能會(huì)因輸入的數(shù)據(jù)帶有偏向性,或因算法模型帶有某種價(jià)值取向而存在歧視甚至錯(cuò)誤,因此算法決策不能直接成為具有法律效力的決策,只能為公權(quán)力機(jī)關(guān)提供參考。

    結(jié)語(yǔ)

    通常而言,解決問(wèn)題的邏輯是“對(duì)癥下藥”:根據(jù)問(wèn)題產(chǎn)生的原因來(lái)探索解決途徑。但該思路對(duì)于算法歧視問(wèn)題卻難以奏效。算法歧視問(wèn)題的產(chǎn)生原因在于技術(shù)層面,數(shù)據(jù)輸入、運(yùn)行過(guò)程和輸出各環(huán)節(jié)的任何一個(gè)偏差都可能促成歧視性的決策結(jié)果。然而,純粹停留在技術(shù)層面的解決思路只能是“隔靴搔癢”,碰觸不到問(wèn)題關(guān)鍵,旨在實(shí)現(xiàn)算法透明的算法排他權(quán)即是如此。算法歧視本質(zhì)上是算法權(quán)力濫用的結(jié)果,因而,要解決公權(quán)力領(lǐng)域的算法歧視問(wèn)題,有必要首先明確公權(quán)力領(lǐng)域的算法權(quán)力是如何生成的,以及這類算法權(quán)力的特殊屬性。公權(quán)力領(lǐng)域算法權(quán)力的公權(quán)力屬性決定了,這類權(quán)力必須納入權(quán)力運(yùn)行的正常程序軌道中;否則,算法權(quán)力一旦走向?yàn)E用,就極易引發(fā)算法歧視。算法權(quán)力生成的間接性為正當(dāng)程序的構(gòu)建提供了基本思路:應(yīng)用于公權(quán)力領(lǐng)域的算法須始終保持其工具地位,而不能像其在商業(yè)領(lǐng)域中那樣成為“決策者”;公權(quán)力機(jī)關(guān)須始終掌握對(duì)算法決策的質(zhì)疑和否定權(quán),阻斷歧視性算法決策向算法權(quán)力轉(zhuǎn)化?;诖?,公權(quán)力通過(guò)介入算法設(shè)計(jì)來(lái)限制算法權(quán)力,以人的理性矯正機(jī)器運(yùn)行中產(chǎn)生的偏見(jiàn),并以公民權(quán)利監(jiān)督算法權(quán)力,才能滿足正當(dāng)程序關(guān)于“公開(kāi)性”“不偏私”“參與性”的要求。

    亚洲色图 男人天堂 中文字幕| 亚洲av片天天在线观看| 久久中文字幕人妻熟女| 欧美黑人欧美精品刺激| 亚洲国产高清在线一区二区三 | 婷婷亚洲欧美| 中文字幕高清在线视频| 久久人妻av系列| 国产精品 欧美亚洲| 国产精品美女特级片免费视频播放器 | 久久婷婷人人爽人人干人人爱| 精华霜和精华液先用哪个| 在线观看免费视频日本深夜| xxx96com| 精品熟女少妇八av免费久了| 黄色视频,在线免费观看| 在线天堂中文资源库| 黄色 视频免费看| 99国产精品99久久久久| 国产单亲对白刺激| 在线观看免费日韩欧美大片| 国产一区二区在线av高清观看| 久久久国产欧美日韩av| 级片在线观看| 欧美丝袜亚洲另类 | 婷婷六月久久综合丁香| 亚洲五月色婷婷综合| 亚洲一区二区三区不卡视频| 99国产精品一区二区蜜桃av| 国产精品免费一区二区三区在线| 精品国产亚洲在线| 黑人操中国人逼视频| 国产激情久久老熟女| 无人区码免费观看不卡| 免费人成视频x8x8入口观看| 99国产精品一区二区蜜桃av| 欧美成人性av电影在线观看| 午夜亚洲福利在线播放| 亚洲自拍偷在线| 久久国产亚洲av麻豆专区| 大香蕉久久成人网| 久久天躁狠狠躁夜夜2o2o| cao死你这个sao货| 大型av网站在线播放| 黄色视频不卡| 88av欧美| 成人18禁高潮啪啪吃奶动态图| 亚洲熟妇熟女久久| 久久婷婷成人综合色麻豆| 不卡av一区二区三区| 亚洲欧美日韩高清在线视频| 99久久综合精品五月天人人| 午夜精品久久久久久毛片777| 亚洲aⅴ乱码一区二区在线播放 | 国产精品影院久久| 国产高清视频在线播放一区| 激情在线观看视频在线高清| 亚洲中文字幕日韩| av免费在线观看网站| 黄色片一级片一级黄色片| 亚洲精品色激情综合| 天天躁夜夜躁狠狠躁躁| 老熟妇乱子伦视频在线观看| 亚洲精品av麻豆狂野| 欧美国产日韩亚洲一区| 美女 人体艺术 gogo| 免费看十八禁软件| 成在线人永久免费视频| 男女床上黄色一级片免费看| 久久国产精品男人的天堂亚洲| 亚洲全国av大片| 日韩国内少妇激情av| 国内精品久久久久精免费| 国产精品野战在线观看| 久久国产亚洲av麻豆专区| 精品久久久久久久人妻蜜臀av| 两人在一起打扑克的视频| 久久中文字幕人妻熟女| 欧美激情 高清一区二区三区| 宅男免费午夜| 亚洲精品美女久久av网站| 国产精品二区激情视频| 18禁黄网站禁片免费观看直播| 日韩欧美国产一区二区入口| 亚洲av成人不卡在线观看播放网| 成人亚洲精品一区在线观看| 久久久精品欧美日韩精品| 美女高潮到喷水免费观看| 宅男免费午夜| 国产高清激情床上av| 精华霜和精华液先用哪个| 美女大奶头视频| 在线永久观看黄色视频| videosex国产| 久久久精品欧美日韩精品| 国产精品久久久久久精品电影 | 日韩av在线大香蕉| 久久亚洲真实| 国产成人影院久久av| 真人一进一出gif抽搐免费| 国产视频内射| 国产激情久久老熟女| 最新美女视频免费是黄的| 精品久久久久久成人av| √禁漫天堂资源中文www| 国产又黄又爽又无遮挡在线| 欧美中文综合在线视频| 成人亚洲精品av一区二区| 午夜成年电影在线免费观看| 精品国产乱子伦一区二区三区| 国产成人精品久久二区二区免费| 夜夜躁狠狠躁天天躁| 成人亚洲精品av一区二区| 久久久久久亚洲精品国产蜜桃av| 国产真实乱freesex| 很黄的视频免费| 国产视频内射| 精品熟女少妇八av免费久了| 亚洲五月天丁香| 国产黄色小视频在线观看| 亚洲人成77777在线视频| 99在线人妻在线中文字幕| www.999成人在线观看| 日韩三级视频一区二区三区| 欧美性猛交黑人性爽| 黄色视频不卡| 免费高清在线观看日韩| 日韩av在线大香蕉| 美女 人体艺术 gogo| 在线av久久热| 国内精品久久久久久久电影| 国产熟女午夜一区二区三区| 日韩大码丰满熟妇| 日本 欧美在线| 亚洲黑人精品在线| av视频在线观看入口| 国产一区二区激情短视频| 美女午夜性视频免费| 成年版毛片免费区| 悠悠久久av| 国产高清视频在线播放一区| 亚洲精品在线美女| 免费在线观看视频国产中文字幕亚洲| netflix在线观看网站| 久久久久久久久中文| 日日爽夜夜爽网站| 一级毛片女人18水好多| 久久国产精品人妻蜜桃| 国内久久婷婷六月综合欲色啪| 亚洲国产中文字幕在线视频| 婷婷丁香在线五月| 欧美成人免费av一区二区三区| 99久久综合精品五月天人人| 91大片在线观看| 两个人看的免费小视频| 国产成+人综合+亚洲专区| 熟女电影av网| 97人妻精品一区二区三区麻豆 | 少妇被粗大的猛进出69影院| 午夜福利欧美成人| 免费av毛片视频| 国产免费av片在线观看野外av| 亚洲狠狠婷婷综合久久图片| 嫁个100分男人电影在线观看| 亚洲一区高清亚洲精品| www.熟女人妻精品国产| 日本在线视频免费播放| 在线国产一区二区在线| 一级黄色大片毛片| 午夜福利在线在线| 亚洲成av片中文字幕在线观看| 啦啦啦 在线观看视频| 一a级毛片在线观看| 最好的美女福利视频网| 久热这里只有精品99| 午夜福利免费观看在线| 色播亚洲综合网| 热99re8久久精品国产| 亚洲欧洲精品一区二区精品久久久| 99热这里只有精品一区 | 精品久久久久久久久久久久久 | 国产成人啪精品午夜网站| 久久久久久久久中文| 在线播放国产精品三级| 我的亚洲天堂| 国产熟女xx| 不卡一级毛片| 婷婷精品国产亚洲av在线| 男女下面进入的视频免费午夜 | 夜夜爽天天搞| 欧美色欧美亚洲另类二区| 国产精品永久免费网站| xxx96com| www.精华液| 精品高清国产在线一区| 欧美激情久久久久久爽电影| 亚洲专区中文字幕在线| 国产免费av片在线观看野外av| 精品国产美女av久久久久小说| av欧美777| 在线永久观看黄色视频| 免费高清视频大片| 欧美日韩亚洲综合一区二区三区_| 欧美成人性av电影在线观看| 俺也久久电影网| 一个人观看的视频www高清免费观看 | 久久精品人妻少妇| 99国产极品粉嫩在线观看| 无遮挡黄片免费观看| 神马国产精品三级电影在线观看 | 老汉色∧v一级毛片| 亚洲 国产 在线| 国产又爽黄色视频| 久久中文看片网| av有码第一页| 男女之事视频高清在线观看| 最近最新免费中文字幕在线| 麻豆国产av国片精品| 久久这里只有精品19| 久久久久国产一级毛片高清牌| 日韩欧美在线二视频| 中文字幕久久专区| 国产伦在线观看视频一区| 国产精品1区2区在线观看.| 亚洲 欧美 日韩 在线 免费| 午夜福利18| 国产主播在线观看一区二区| 久久久国产精品麻豆| 亚洲国产欧美一区二区综合| 99热6这里只有精品| 精品国产乱子伦一区二区三区| 亚洲精品av麻豆狂野| netflix在线观看网站| 亚洲av五月六月丁香网| 亚洲美女黄片视频| 亚洲无线在线观看| tocl精华| 最近最新中文字幕大全电影3 | 99久久久亚洲精品蜜臀av| 男女午夜视频在线观看| 午夜a级毛片| 黑丝袜美女国产一区| 中文字幕人妻熟女乱码| 精品久久久久久久久久免费视频| 久热爱精品视频在线9| 欧美+亚洲+日韩+国产| 亚洲熟妇中文字幕五十中出| 色综合站精品国产| 亚洲欧美一区二区三区黑人| 两性夫妻黄色片| 老司机福利观看| 亚洲av中文字字幕乱码综合 | 成人午夜高清在线视频 | 日日爽夜夜爽网站| 女性被躁到高潮视频| 国产精品综合久久久久久久免费| 欧美黄色片欧美黄色片| 嫩草影院精品99| 一级作爱视频免费观看| 成人18禁高潮啪啪吃奶动态图| 黑人巨大精品欧美一区二区mp4| 男女做爰动态图高潮gif福利片| 亚洲av成人av| a在线观看视频网站| 美女扒开内裤让男人捅视频| 黄色毛片三级朝国网站| 国产精品免费视频内射| 精华霜和精华液先用哪个| 欧美激情高清一区二区三区| 最新在线观看一区二区三区| 老司机深夜福利视频在线观看| 国产精品影院久久| 久热这里只有精品99| 国产精品,欧美在线| 长腿黑丝高跟| 在线观看免费午夜福利视频| 亚洲在线自拍视频| 日韩中文字幕欧美一区二区| 国产亚洲精品久久久久久毛片| 免费在线观看影片大全网站| 日韩欧美一区视频在线观看| 国产精品爽爽va在线观看网站 | 首页视频小说图片口味搜索| 91大片在线观看| 女性被躁到高潮视频| 韩国精品一区二区三区| 亚洲国产欧洲综合997久久, | 人妻丰满熟妇av一区二区三区| 日韩欧美 国产精品| 日韩 欧美 亚洲 中文字幕| 国产av不卡久久| 狠狠狠狠99中文字幕| 在线观看免费午夜福利视频| 国产久久久一区二区三区| 91在线观看av| 身体一侧抽搐| 国产av一区二区精品久久| 叶爱在线成人免费视频播放| 青草久久国产| 亚洲精品国产一区二区精华液| 色综合婷婷激情| 亚洲精品中文字幕在线视频| 久久精品夜夜夜夜夜久久蜜豆 | 身体一侧抽搐| 草草在线视频免费看| 欧美日韩亚洲综合一区二区三区_| 国产真实乱freesex| 亚洲av电影不卡..在线观看| 亚洲自偷自拍图片 自拍| 人人妻,人人澡人人爽秒播| 中文字幕另类日韩欧美亚洲嫩草| 亚洲成国产人片在线观看| 国产精品一区二区精品视频观看| 国产精品久久久av美女十八| 欧美黑人精品巨大| 性色av乱码一区二区三区2| 可以在线观看的亚洲视频| 熟女少妇亚洲综合色aaa.| 国产精品一区二区精品视频观看| 亚洲成人国产一区在线观看| 真人一进一出gif抽搐免费| 久久久久久久久中文| 久久久久久九九精品二区国产 | 色综合亚洲欧美另类图片| 国产精华一区二区三区| 国产99久久九九免费精品| 男人舔奶头视频| 欧美激情高清一区二区三区| 非洲黑人性xxxx精品又粗又长| 国产在线精品亚洲第一网站| 国产熟女xx| 久久久久久人人人人人| 久热这里只有精品99| 精品久久久久久久末码| 国产又黄又爽又无遮挡在线| 日韩中文字幕欧美一区二区| 黄色视频不卡| 别揉我奶头~嗯~啊~动态视频| 日本三级黄在线观看| 婷婷精品国产亚洲av| 久久精品夜夜夜夜夜久久蜜豆 | 男人舔女人的私密视频| 黑丝袜美女国产一区| 法律面前人人平等表现在哪些方面| 国产视频一区二区在线看| 久久久水蜜桃国产精品网| 亚洲人成伊人成综合网2020| 中文在线观看免费www的网站 | 国语自产精品视频在线第100页| 丰满的人妻完整版| 嫁个100分男人电影在线观看| 国产精品一区二区免费欧美| 妹子高潮喷水视频| 一二三四社区在线视频社区8| av视频在线观看入口| 精品久久久久久久久久久久久 | 91麻豆精品激情在线观看国产| 国产熟女午夜一区二区三区| 可以在线观看毛片的网站| 国产精品99久久99久久久不卡| 国产三级在线视频| 国产亚洲欧美在线一区二区| 亚洲成a人片在线一区二区| 国产精品国产高清国产av| 免费电影在线观看免费观看| 在线天堂中文资源库| 男人的好看免费观看在线视频 | 久久久国产成人精品二区| 日本熟妇午夜| 久热这里只有精品99| www.www免费av| 国产成人av激情在线播放| 亚洲成人免费电影在线观看| 国产私拍福利视频在线观看| av视频在线观看入口| 久久久久精品国产欧美久久久| 欧美 亚洲 国产 日韩一| 亚洲精品一区av在线观看| 国产精品精品国产色婷婷| 夜夜夜夜夜久久久久| 国产精品亚洲美女久久久| 色在线成人网| 日本a在线网址| 亚洲av电影不卡..在线观看| 亚洲午夜精品一区,二区,三区| 男人舔女人下体高潮全视频| 亚洲一码二码三码区别大吗| 亚洲av电影不卡..在线观看| 曰老女人黄片| 欧美黑人精品巨大| 午夜免费激情av| 真人做人爱边吃奶动态| 97人妻精品一区二区三区麻豆 | 亚洲一区高清亚洲精品| 亚洲av成人一区二区三| 久久欧美精品欧美久久欧美| 91成年电影在线观看| 欧美人与性动交α欧美精品济南到| 亚洲最大成人中文| 欧美黄色片欧美黄色片| 成年免费大片在线观看| 老熟妇乱子伦视频在线观看| 欧美激情极品国产一区二区三区| 99久久综合精品五月天人人| 成人国产综合亚洲| 国产不卡一卡二| 亚洲欧美一区二区三区黑人| 亚洲在线自拍视频| 日韩成人在线观看一区二区三区| 午夜福利在线观看吧| 国产精品亚洲av一区麻豆| 色婷婷久久久亚洲欧美| 日韩欧美三级三区| 一本一本综合久久| 九色国产91popny在线| 亚洲中文字幕一区二区三区有码在线看 | 丝袜美腿诱惑在线| 高清在线国产一区| 自线自在国产av| 两个人视频免费观看高清| 制服诱惑二区| 看黄色毛片网站| 啦啦啦免费观看视频1| 又大又爽又粗| 欧美最黄视频在线播放免费| 夜夜看夜夜爽夜夜摸| 欧美日韩中文字幕国产精品一区二区三区| 色av中文字幕| 亚洲全国av大片| 中国美女看黄片| 又黄又粗又硬又大视频| 少妇被粗大的猛进出69影院| 午夜精品在线福利| 久久国产亚洲av麻豆专区| 一区二区日韩欧美中文字幕| 在线观看免费日韩欧美大片| 在线观看午夜福利视频| 少妇的丰满在线观看| av免费在线观看网站| 长腿黑丝高跟| 亚洲一区高清亚洲精品| 国产视频一区二区在线看| 视频区欧美日本亚洲| 老司机福利观看| 国产一区二区三区视频了| av在线天堂中文字幕| 欧美国产日韩亚洲一区| 国产高清视频在线播放一区| 69av精品久久久久久| 亚洲国产欧美网| 岛国视频午夜一区免费看| www国产在线视频色| 亚洲一区中文字幕在线| 1024香蕉在线观看| 热99re8久久精品国产| 亚洲午夜精品一区,二区,三区| 亚洲av美国av| 国产视频内射| 精品少妇一区二区三区视频日本电影| 男女床上黄色一级片免费看| 国产视频内射| 老司机在亚洲福利影院| 哪里可以看免费的av片| 国产色视频综合| 中文在线观看免费www的网站 | 熟女少妇亚洲综合色aaa.| 悠悠久久av| 欧美zozozo另类| 国产99久久九九免费精品| 巨乳人妻的诱惑在线观看| 一本久久中文字幕| 一二三四在线观看免费中文在| 午夜福利免费观看在线| 高潮久久久久久久久久久不卡| 91成人精品电影| 俺也久久电影网| 久久久久免费精品人妻一区二区 | 性色av乱码一区二区三区2| 观看免费一级毛片| 精品国产一区二区三区四区第35| 欧美日韩福利视频一区二区| 日本熟妇午夜| 国产一区二区在线av高清观看| 一本精品99久久精品77| 亚洲第一av免费看| 日韩一卡2卡3卡4卡2021年| 国产99白浆流出| 久久天躁狠狠躁夜夜2o2o| 久久国产亚洲av麻豆专区| 日韩欧美一区二区三区在线观看| 91国产中文字幕| 欧美日韩瑟瑟在线播放| videosex国产| 淫妇啪啪啪对白视频| 在线永久观看黄色视频| 欧美日韩亚洲国产一区二区在线观看| 91字幕亚洲| 久9热在线精品视频| 熟女电影av网| 欧美成人性av电影在线观看| 看免费av毛片| 国产蜜桃级精品一区二区三区| 性欧美人与动物交配| 韩国精品一区二区三区| 欧美色视频一区免费| 黄网站色视频无遮挡免费观看| 亚洲国产精品成人综合色| 国产激情欧美一区二区| 黄片小视频在线播放| 成年女人毛片免费观看观看9| 亚洲国产欧美日韩在线播放| 国产精品 国内视频| 麻豆一二三区av精品| 99热只有精品国产| 成人18禁在线播放| 美女午夜性视频免费| 最新在线观看一区二区三区| 久久欧美精品欧美久久欧美| tocl精华| 亚洲人成网站在线播放欧美日韩| 精品免费久久久久久久清纯| 人人妻人人看人人澡| 亚洲av成人av| 亚洲欧洲精品一区二区精品久久久| 国产男靠女视频免费网站| 麻豆成人午夜福利视频| 欧美日韩黄片免| 国产精品久久视频播放| 婷婷亚洲欧美| 18禁美女被吸乳视频| 天天一区二区日本电影三级| 国产亚洲精品久久久久5区| 欧美乱码精品一区二区三区| 久久久久久大精品| 精品久久久久久久人妻蜜臀av| АⅤ资源中文在线天堂| 亚洲天堂国产精品一区在线| 国产高清激情床上av| 久久草成人影院| 男人舔女人下体高潮全视频| 熟女少妇亚洲综合色aaa.| 国产又色又爽无遮挡免费看| 狂野欧美激情性xxxx| 欧美又色又爽又黄视频| 亚洲一卡2卡3卡4卡5卡精品中文| 国产视频一区二区在线看| 亚洲精华国产精华精| 国语自产精品视频在线第100页| 免费女性裸体啪啪无遮挡网站| 国产伦一二天堂av在线观看| 制服丝袜大香蕉在线| 两性午夜刺激爽爽歪歪视频在线观看 | 丝袜美腿诱惑在线| 亚洲欧美日韩高清在线视频| 亚洲激情在线av| 在线播放国产精品三级| 一区福利在线观看| 在线播放国产精品三级| 国产av一区二区精品久久| √禁漫天堂资源中文www| 一区二区日韩欧美中文字幕| 欧美中文综合在线视频| 巨乳人妻的诱惑在线观看| 精品无人区乱码1区二区| 大型黄色视频在线免费观看| 中文字幕人妻熟女乱码| 少妇粗大呻吟视频| 久久久久九九精品影院| 在线观看66精品国产| 午夜福利在线观看吧| 久热爱精品视频在线9| 中亚洲国语对白在线视频| 国产精品98久久久久久宅男小说| 黄色视频,在线免费观看| 久久精品国产综合久久久| 亚洲狠狠婷婷综合久久图片| 色播在线永久视频| a级毛片a级免费在线| 在线国产一区二区在线| 久久久国产精品麻豆| 亚洲中文日韩欧美视频| 久久久精品欧美日韩精品| 熟妇人妻久久中文字幕3abv| 18禁美女被吸乳视频| 亚洲av五月六月丁香网| 久久久久久久精品吃奶| 欧美激情久久久久久爽电影| 黄频高清免费视频| 一区二区三区国产精品乱码| 成人免费观看视频高清| 精品久久久久久久人妻蜜臀av| 女生性感内裤真人,穿戴方法视频| 日本一本二区三区精品| 亚洲男人天堂网一区| 久久久久久久久免费视频了| 国产成年人精品一区二区| 精品一区二区三区av网在线观看| 国产精品,欧美在线| 久久人妻av系列| 88av欧美| 日日夜夜操网爽| 国产亚洲欧美在线一区二区| 男男h啪啪无遮挡| 久久久久久大精品| 亚洲专区字幕在线| 亚洲aⅴ乱码一区二区在线播放 | 国产免费男女视频| 欧美激情高清一区二区三区| av电影中文网址| а√天堂www在线а√下载| 欧美国产精品va在线观看不卡| 亚洲一码二码三码区别大吗| 国产精品99久久99久久久不卡| 给我免费播放毛片高清在线观看| 国产爱豆传媒在线观看 |