• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能時代警察執(zhí)法行為創(chuàng)新
    ——基于個人信息處理的視角

    2022-11-23 01:26:43赫廣平孟昭陽
    關(guān)鍵詞:信息處理警務個人信息

    赫廣平,孟昭陽

    (1.上海交通大學,上海 200030;2.上海公安學院,上海 200137;3.中國人民公安大學,北京 100038)

    警察執(zhí)法創(chuàng)新作為社會治理創(chuàng)新的重要組成部分,既是公安改革的重要環(huán)節(jié),也是法治公安建設(shè)的核心要義。隨著新一代人工智能的興起,公安機關(guān)啟動建設(shè)智慧警務新模式,①智慧警務模式已在我國公安機關(guān)廣泛興起并取得了顯著成果,尤以上海、浙江、廣東、江蘇等區(qū)域的智慧警務建設(shè)成效較具代表性。將人工智能等新興技術(shù)廣泛運用到警察執(zhí)法創(chuàng)新實踐中,促使算法自動化決策機制②算法自動化決策機制是整個智慧警務建設(shè)的核心樞紐。智慧警務建設(shè)通過“物聯(lián)網(wǎng)+信息數(shù)據(jù)+超強算力+智能算法”多維技術(shù)群支撐,實現(xiàn)“物聯(lián)網(wǎng)”空間邏輯、“信息數(shù)據(jù)”載體邏輯、“云計算”驅(qū)動邏輯、“智能算法”中樞邏輯的多元耦合,支撐對公共全風險領(lǐng)域的“精準預防”“精確打擊”“精致服務”。日益通過信息收集、信息分析、信息決策等信息處理環(huán)節(jié)嵌入警察執(zhí)法之中,推動了警察執(zhí)法行為的形式創(chuàng)新,在應對我國公共安全領(lǐng)域中的突發(fā)公共安全事件風險、恐怖主義安全風險以及高科技犯罪風險中顯現(xiàn)出強大的風險治理功能。但是,新一代人工智能技術(shù)在強化警察機關(guān)對執(zhí)法對象的風險治理能力的同時,也產(chǎn)生了諸如“信息收集”[1]“信息標注”[2]“信息自動識別”[3]“信息泄露”[4]等個人信息處理與保護的公法問題,加劇了“公民個人信息權(quán)利與警察信息處理權(quán)力”日益失衡的格局。人工智能背景下的警察執(zhí)法創(chuàng)新離不開法治的引領(lǐng)和保障,必須回應智能時代的警察法治需求。因此,如何將人工智能背景下的警察執(zhí)法行為創(chuàng)新納入法治軌道,有效回應人工智能背景下警察執(zhí)法行為創(chuàng)新的法治需求,實現(xiàn)警察執(zhí)法創(chuàng)新發(fā)展與法治建設(shè)的互動共進、協(xié)調(diào)共治,成為推動人工智能背景下警察執(zhí)法行為創(chuàng)新法治化進程中面臨的重大理論與現(xiàn)實命題。為此,本文首先從實踐角度入手,分析人工智能背景下警察執(zhí)法行為創(chuàng)新的實踐特征與法律風險;進而,從規(guī)范角度切入,梳理并評價人工智能背景下警察執(zhí)法行為創(chuàng)新的規(guī)范問題;最后,以制度層面為著力點,探尋人工智能背景下警察執(zhí)法行為創(chuàng)新的法治進路。

    一、人工智能時代警察執(zhí)法行為創(chuàng)新的實踐透視

    人工智能時代,警察執(zhí)法過程中依托“物聯(lián)網(wǎng)+信息數(shù)據(jù)+超強算力+智能算法”多維技術(shù)群支撐,實現(xiàn)“物聯(lián)網(wǎng)”空間邏輯、“信息數(shù)據(jù)”載體邏輯、“云計算”驅(qū)動邏輯、“智能算法”中樞邏輯的有機協(xié)同,呈現(xiàn)出與傳統(tǒng)人力式警務實踐不同的嶄新特征。因而有學者指出:“在大數(shù)據(jù)智能化建設(shè)背景下,警察執(zhí)法無論在執(zhí)法任務、執(zhí)法組織、執(zhí)法職能還是執(zhí)法方式上都面臨著改革。”[5]可以說,智慧警務的興起與改革,不斷推動著警察執(zhí)法的智能化升級,也在不斷促進傳統(tǒng)警察執(zhí)法行為形式的創(chuàng)新發(fā)展。

    (一)警察執(zhí)法行為創(chuàng)新的實踐特征

    “在智能社會,信息處理活動對人們可能的選擇空間與獲得的結(jié)果起到重要作用。從這個意義而言,數(shù)據(jù)權(quán)力(data power)日益成為一種廣泛而普遍的社會事實?!保?]154具體到警務領(lǐng)域,人工智能技術(shù)拓展了警察執(zhí)法行為的形式向度,警察執(zhí)法智能化的行為表現(xiàn)呈現(xiàn)出“警察信息處理”的新型執(zhí)法行為形式化特征。所謂“形式化”,即從行政活動的復雜現(xiàn)實中,抽離出個別要素,并分析其在行政關(guān)聯(lián)性上的意義,再賦予所截取的行政活動片段以一定的要求與法律效果[7]。為行政活動賦予一定的法律形式,可以使行政活動形成較為穩(wěn)定而清晰的外部預期、內(nèi)容設(shè)置、程序要求、實體要求、違法責任、執(zhí)行能力與開放的救濟渠道[8]。傳統(tǒng)警察法研究中,警察執(zhí)法行為已具有較為固定的形態(tài),已經(jīng)形成各種較為豐富的形式化警察行為的理論資源,如警察行政處罰、警察行政強制、警察行政許可等形式化警察執(zhí)法行為[9]。在人工智能時代,“警察機關(guān)創(chuàng)新性地采取了數(shù)據(jù)收集、數(shù)據(jù)分析和危險預防等措施,從時間上對公民行為提前介入,從廣度上對有違法犯罪危險的潛在公民進行干預?!保?0]83可見,警察執(zhí)法在運用智能信息技術(shù)過程中日益形成的一系列信息收集、控制、共享、分析、應用的自動化或半自動化信息處理行為,屬于新型警察執(zhí)法行為形式,也是未形式化的警察執(zhí)法行為,其內(nèi)涵仍需進一步明確,尚未得到警察法學界的足夠關(guān)注。

    實踐中,結(jié)合《個人信息保護法》對個人信息處理行為的規(guī)范概括,警察信息處理行為可以進一步從“警察信息收集”“警察信息控制”“警察信息共享”“警察信息分析”以及“警察信息應用”等類型展開。 第一,警察信息收集。人工智能背景下警察執(zhí)法行為的形式創(chuàng)新首先體現(xiàn)為自動化的信息數(shù)據(jù)收集。在警務活動中,警察信息收集主要以“由警察機關(guān)直接實施信息收集”“由警察機關(guān)委托社會主體實施信息收集”“由警察機關(guān)向高科技公司主體調(diào)取信息數(shù)據(jù)”等模式構(gòu)成[10]84-85。第二,警察信息控制。在警察信息收集基礎(chǔ)上,對于信息數(shù)據(jù)的存儲、更正與刪除等控制行為是警察信息處理活動的重要環(huán)節(jié)??刂浦饕菍?shù)據(jù)實際控制與管理的統(tǒng)稱,從技術(shù)意義而言,其更多地表現(xiàn)形式是存儲數(shù)據(jù)及管控數(shù)據(jù)。但如果當數(shù)據(jù)收集、儲存的目的已經(jīng)達成,那么繼續(xù)存儲數(shù)據(jù)就沒有意義,必須要進行數(shù)據(jù)刪除的活動,就這個意義而言,刪除數(shù)據(jù)可以理解為是一種數(shù)據(jù)控制權(quán)的終止[11]83。因此,規(guī)范意義的“警察信息控制”涵蓋信息存儲、信息更正與刪除等行為內(nèi)容。第三,警察信息共享。共享是信息控制者向他人提供數(shù)據(jù),包括披露(向特定人提供)和公開(向不特定人提供)[11]83-84。具體到警務信息領(lǐng)域,公安機關(guān)進行信息共享是根據(jù)履職需要,向其他行政機構(gòu)提出政務數(shù)據(jù)資源共享需求。同時,公安機關(guān)向其他區(qū)域公安機關(guān)或其他行政機構(gòu)共享數(shù)據(jù)的,需要符合國家、地區(qū)政務數(shù)據(jù)共享要求以及相關(guān)數(shù)據(jù)管理分類分級規(guī)范。此外,公安機關(guān)需要按照國家以及地區(qū)關(guān)于政務數(shù)據(jù)共享的規(guī)定,落實公共安全數(shù)據(jù)資源訪問接口或其他數(shù)據(jù)共享途徑,確保與其他區(qū)域公安機關(guān)以及其他行政機構(gòu)之間的數(shù)據(jù)實時聯(lián)通和同步更新。第四,警察信息分析。在信息收集基礎(chǔ)上,警察機關(guān)以收集的信息數(shù)據(jù)為基礎(chǔ),通過算法模型展開的警務信息數(shù)據(jù)分析處理。識別分析,主要是利用數(shù)據(jù)對個人特征進行分析,進而做出對個人或群體決定產(chǎn)生重要影響的行為,其使用目的就在于獲取有關(guān)個體或群體知識的一種數(shù)據(jù)處理行為,其運行主要是通過預測性分析等方法開展對個人信息的處理或運算[11]82。可以說,警察信息分析是警察機關(guān)在人工智能技術(shù)的支持下,基于算法運用開展數(shù)據(jù)的自動化處理與數(shù)據(jù)挖掘工作,實現(xiàn)對疑似犯罪嫌疑對象行為進行畫像,從而篩選出其中可能存在犯罪風險的行為人以及事件,形成相應自動化分析結(jié)論,作為警察機關(guān)采取相應決策進行后續(xù)措施的依據(jù)。第五,警察信息應用。應用是依據(jù)分析結(jié)果進行的行動[11]84。在警察信息收集、信息控制、信息共享與信息分析之后的行動,是警察目標性部署的干預措施[12],也即警察信息應用。在警察機關(guān)的信息應用中,一方面,警察機關(guān)基于信息數(shù)據(jù)研判的結(jié)果對已發(fā)生的行政案件和刑事案件開展調(diào)查,并根據(jù)警察法規(guī)范采取相應的警察措施手段。另一方面,警察機關(guān)根據(jù)大數(shù)據(jù)智能化算法模型形成的公共安全風險預測性分析結(jié)論,通過優(yōu)化巡防警力的部署與分配等預防性措施,對公共安全風險源采取多樣化、強度適當?shù)木祛A防性措施手段[10]85-86。

    (二)警察執(zhí)法行為創(chuàng)新的法律風險

    1.信息收集風險

    信息收集風險主要表現(xiàn)在兩方面。首先是信息質(zhì)量不高。人工智能背景下警察執(zhí)法創(chuàng)新實踐中存在著信息質(zhì)量不高的問題。警察執(zhí)法智能化中常常伴隨信息錯誤、信息重復、信息缺失、信息過時等信息質(zhì)量問題。特別是,隨著數(shù)據(jù)生命周期的發(fā)展與進步,信息質(zhì)量仍會遇到新的技術(shù)問題[13]117。可以說,只要數(shù)據(jù)不那么精準,哪怕僅有一定程度的劣質(zhì)、錯誤數(shù)據(jù)也會影響到整個大數(shù)據(jù)智能化分析結(jié)果的辨識度與有效性,更會直接影響警察風險預防措施的應用,并對警察執(zhí)法智能化產(chǎn)生負面法律效果。其次是信息收集偏差。人工智能背景下警察執(zhí)法創(chuàng)新實踐中存在著信息收集偏差的問題。實際上,警務領(lǐng)域長期以來就存在著有案不報、報案不立等“犯罪黑數(shù)”現(xiàn)象,因而也就造成了很多基層的犯罪數(shù)據(jù)并不全面,存在很大的犯罪數(shù)據(jù)統(tǒng)計局限[13]117-118。

    2.信息安全風險

    信息安全風險,主要指兩個方面的問題。(1)信息泄露問題。信息泄露幾乎是所有行業(yè)都面臨的安全問題。信息泄露是一種安全事件,可能導致系統(tǒng)或服務器中的信息被實施非經(jīng)授權(quán)的訪問。在警務領(lǐng)域,公共安全信息數(shù)據(jù)中涵蓋了警察機關(guān)治安、刑偵、經(jīng)偵、技網(wǎng)偵、人口、出入境、交通等警種在執(zhí)法與管理過程中形成的個人一般信息數(shù)據(jù)以及個人敏感信息數(shù)據(jù)。一旦上述公共安全信息數(shù)據(jù)發(fā)生泄露,將會危害警察機關(guān)管轄區(qū)域的社會穩(wěn)定與發(fā)展。近幾年來,警察機關(guān)內(nèi)部發(fā)生個人信息數(shù)據(jù)泄露的案件時有發(fā)生,并見諸報端??梢哉f,警務公共安全信息數(shù)據(jù)的大規(guī)模收集與集聚可能加大個人信息及隱私泄露的風險,一旦信息數(shù)據(jù)在傳輸、存儲、調(diào)用過程中發(fā)生泄露,不僅會對個人信息和隱私造成重大安全風險,并引發(fā)公眾對警察機關(guān)的不滿乃至信賴危機。(2)信息篡改問題。智能時代,政府治理中的數(shù)據(jù)資源很多來自物聯(lián)網(wǎng)環(huán)境的傳感器,在數(shù)據(jù)報送過程中有可能被人為篡改。反之亦然,智能終端也可能接收到偽造的數(shù)據(jù)。對數(shù)據(jù)的偽造或篡改也是智慧城市數(shù)據(jù)資源面臨的一種安全威脅。典型的偽造報送數(shù)據(jù)的案例是,2014 年10 月兩名安全研究人員發(fā)現(xiàn)西班牙 Endesa,Iberdrola以及E.ON 三大主要電力公司的800 萬智能電表中存在漏洞,該漏洞將使得入侵者成功進行電費欺詐,甚至關(guān)閉電路系統(tǒng)[14]。在大數(shù)據(jù)智能化時代,信息數(shù)據(jù)往往存儲于云存儲平臺之中,此時,大數(shù)據(jù)存儲者和擁有者是分離的,因此,信息數(shù)據(jù)時刻面臨著被一些不法云服務商進行篡改的風險。強化警務公共安全數(shù)據(jù)自身的安全保障,消除數(shù)據(jù)主體對信息數(shù)據(jù)被收集后產(chǎn)生的安全問題疑慮,已經(jīng)顯得尤為迫切。

    3.算法應用風險

    算法應用風險,首先是算法歧視問題。警察執(zhí)法智能化主要基于智能算法進行數(shù)據(jù)分析與處理。就理論上而言,其相較于傳統(tǒng)的人力式主觀經(jīng)驗分析似乎會精確而客觀,但實際上整個數(shù)據(jù)分析與處理過程并未脫離人員的算法指標設(shè)定與應用實施,因而,警察執(zhí)法智能化無法避免存在警務執(zhí)法人員或高科技公司技術(shù)人員的歧視與偏見。警務執(zhí)法人員在高科技公司技術(shù)人員的輔助下將信息“技術(shù)需求”編入到智能算法中,形成隱性的價值偏見[15]。在警察執(zhí)法智能工具的開發(fā)階段,高科技公司往往隱含著固有的技術(shù)性依賴思維以及追逐利益最大化的心理偏見,特別是當技術(shù)人員并未對警察執(zhí)法所需要遵照的實體性或程序性規(guī)范進行深入理解的情況下就做出相應技術(shù)設(shè)計[13]117-118,故無法防止可能出現(xiàn)的警察執(zhí)法智能工具產(chǎn)生重視功能效果而輕視法律價值的后果。隨著新一代人工智能技術(shù)的深入發(fā)展與應用,智能算法的創(chuàng)新與迭代發(fā)展將會對警察執(zhí)法中的偏見和歧視造成進一步的影響。

    其次是算法不透明問題。算法自動化決策機制往往被視為一種“算法黑箱”,其大致是指智能算法運行與決策過程的不透明,換句話說,人們只能了解到數(shù)據(jù)的輸入和輸出結(jié)果,無法對其運算過程進行掌握?!八惴ê谙洹蓖瑯哟嬖谟诰靾?zhí)法智能化過程中,盡管其緣于智能算法自身的技術(shù)特征,但已對警察執(zhí)法中正當程序原則產(chǎn)生重要影響[13]117-118。由于智能算法涉及的模型復雜度非常高,即使能夠通過調(diào)整參數(shù)的方法改進其性能,但仍然無法在根本上改變其不透明的特性[16]30-31。尤其是智能算法的學習特性,模型可能會隨時間而變化,特別是在遇到新數(shù)據(jù)時需調(diào)整模型,可以說,學習本身就意味著不透明。在許多情況下,警察執(zhí)法智能化過程中,高科技公司技術(shù)人員實際上根本無法對算法如何做出決策的全過程給出讓人清晰易懂的說明。盡管技術(shù)人員可以對進入系統(tǒng)的信息數(shù)據(jù)進行操控,并進一步對算法指標權(quán)重進行設(shè)計,但其作出的這種說明與解釋也極具挑戰(zhàn)性??梢哉f,警察執(zhí)法智能化的最大的法律風險就是來自其“算法黑箱”機制,這種機制運行包含著海量數(shù)據(jù)點以及數(shù)千行代碼且屬于一種異常復雜的底層算法決策模型。算法的黑箱性或不透明性可謂是天然形成,盡管算法模型學習了因,輸出了果,但中間的過程卻難以探明[16]30-31。

    4.權(quán)利干預風險

    第一,對公民個人信息(隱私)權(quán)的干預與影響。從警察執(zhí)法智能化對公民個人信息權(quán)利的干預與影響來看,警察機關(guān)收集個人信息數(shù)據(jù)增加了對個人信息(隱私)權(quán)利侵害的風險。個人作為信息主體對個人信息享有當然的權(quán)利,但基于風險治理的目的,警察機關(guān)通過直接或間接方式收集了公民個人信息數(shù)據(jù)予以存儲,或者實施進一步的識別、共享等行為,既可能造成個人信息(隱私)泄露的安全風險,也可能存在被警察機關(guān)內(nèi)部執(zhí)法人員不規(guī)范使用或濫用的風險。因此,警察機關(guān)需要在規(guī)則與技術(shù)方面加強制度設(shè)計,既對警察機關(guān)進行信息收集活動規(guī)范化提供支撐,也對警務執(zhí)法人員在信息處理的具體職責與權(quán)限進行限定,從而為保護個人信息權(quán)利提供制度與技術(shù)保障[17]7。

    第二,對公民知情權(quán)的干預與影響。從警察執(zhí)法智能化對公民知情權(quán)利的干預與影響來看,警察執(zhí)法智能化存在法律程序與技術(shù)程序上的不透明問題,增加了對公民知情權(quán)利造成不利影響的法律風險。一方面,警察執(zhí)法智能化體現(xiàn)為技術(shù)程序的不透明。其中,就信息數(shù)據(jù)與智能算法而言,警察執(zhí)法智能化在信息來源、信息清洗、信息存儲以及算法應用等方面都處于一種不透明的狀態(tài),且信息是否準確、信息質(zhì)量是否存在偏差、算法是否存在歧視等方面都無法得到印證。另一方面,警察執(zhí)法智能化存在法律程序的不透明。就說理闡釋而言,警察執(zhí)法程序當中的“說理闡釋”一般應被用于警察執(zhí)法過程當中,但在警察執(zhí)法智能化過程中,當事人對大數(shù)據(jù)智能化分析平臺做出的結(jié)果及算法依據(jù)無法理解,就連警察人員或高科技公司技術(shù)人員也未必能對智能算法的設(shè)計原理與應用方案進行清晰的說明與闡釋。因此,在警察執(zhí)法智能化存在不透明的情況下,執(zhí)法相對人無法獲悉其是否被“智能算法”列為潛在的公共安全風險治理對象,也無法對自己在哪一行政環(huán)節(jié)被人工智能所“信息處理”進行申訴與辯解[13]120。因此,警察執(zhí)法智能化過程中,執(zhí)法相對人的知情權(quán)未能得到切實有效的保障。

    二、人工智能時代警察執(zhí)法行為創(chuàng)新的規(guī)范審思

    人工智能背景下警察執(zhí)法創(chuàng)新實踐促使執(zhí)法行為進行形式創(chuàng)新,也即“個人信息處理行為形式”日益形成。從執(zhí)法層面而言,警察機關(guān)的個人信息處理運行面臨信息收集、信息安全、算法應用以及權(quán)利干預的法律風險,那么,在規(guī)范層面,警察機關(guān)個人處理行為是否具備完備的合法性基礎(chǔ),也是需要進一步考察的問題。因此,對警察機關(guān)個人信息處理行為的規(guī)范依據(jù)①本文“規(guī)范梳理”的“規(guī)范”一詞具有一定的張力,其內(nèi)容不僅涵括憲法、法律、行政法規(guī)、部門規(guī)章以及其他部門規(guī)范性法律文件,還包括國家政策以及國家標準等規(guī)范文件。進行系統(tǒng)梳理與深度評價是檢驗警察信息處理行為合法性的重要基礎(chǔ)。

    (一)規(guī)范梳理:以中國法為中心

    我國尚未對于警察機關(guān)個人信息處理行為進行專門的立法規(guī)范。①為規(guī)范警察機關(guān)的個人信息處理行為,德國第三代《警察法》,即《德國聯(lián)邦與各邦統(tǒng)一警察法標準草案》第8條a-c,第9 條,第10 條及第10 條a-h 等條款對資料收集職權(quán)進行了精細化的規(guī)范設(shè)置。2018 年歐盟的《歐洲議會及歐盟理事會2016/680 號條例》又對警察信息處理權(quán)力體系進行了較為全面和完整的規(guī)定。該條例第3 條以定義形式對警察信息處理權(quán)力體系進行了規(guī)范闡釋,將警察信息處理權(quán)概括為信息收集、信息記錄、信息組織、信息建構(gòu)、信息存儲、信息適配或修改、信息檢索、信息咨詢、信息使用、信息披露、信息傳播或其他利用、信息排列或組合、信息限制、信息刪除或銷毀等內(nèi)容,參見歐盟《歐洲議會及歐盟理事會2016/680 號條例》第3 條等的規(guī)定。我國臺灣地區(qū)《警察職權(quán)行使法》 第9 條至第18 條也對警察機關(guān)進行了資料收集職權(quán)的配置。2016 年,公安部發(fā)布《中華人民共和國人民警察法》(修訂草案稿)公開征求意見,其中第25 條即增設(shè)了“信息收集查閱和調(diào)取”的有關(guān)內(nèi)容,嘗試對警察機關(guān)的“個人信息處理行為”進行法律授權(quán),引發(fā)了理論與實務界的廣泛探討,但時至今日該法尚未有進一步的推進。故而,在我國既有的規(guī)范文件中進一步探尋能夠支撐警察機關(guān)進行個人信息處理行為的規(guī)范依據(jù)就顯得十分必要。為此,本部分一方面基于“政策文件—法律法規(guī)—標準文件”的規(guī)范框架,從總體視角探尋警察機關(guān)個人處理行為的規(guī)范體系構(gòu)成,另一方面則具體從個人信息收集、個人信息安全保障、個人信息算法應用、個人信息權(quán)利保障等四個維度對警察機關(guān)個人信息處理的規(guī)范依據(jù)展開類型化的梳理,從而進一步挖掘警察機關(guān)進行個人信息處理行為規(guī)范體系的內(nèi)部邏輯關(guān)系。本部分所形成的規(guī)范體系情況詳見下頁表1。

    (二)規(guī)范評價:規(guī)范控制的不足

    通過上文對人工智能背景下警察執(zhí)法行為創(chuàng)新規(guī)范依據(jù)的梳理,可以看出,現(xiàn)行個人信息處理與保護規(guī)范體系中,對于警察機關(guān)個人信息處理行為的直接規(guī)范,在法律層面基本上是“留白”[18]。在對個人信息數(shù)據(jù)進行相應的保護過程中,最應當進行規(guī)制與約束的機構(gòu)是各級政府機構(gòu)、公共機構(gòu)及大型企業(yè)機構(gòu)等。上述機構(gòu)極有便利與動力在信息和觀念領(lǐng)域?qū)€體施加控制與影響力。但是,既有規(guī)范體系對上述機構(gòu)缺乏足夠的控制力與威懾力[19]。

    1.現(xiàn)有規(guī)范對警察機關(guān)個人信息處理行為的實體性控制不足

    警察信息處理的實體性規(guī)范存在啟動條件的虛置現(xiàn)象,進而導致對警察信息處理的實體性控制不足。特別是,警察信息處理權(quán)力尚未獲得法律層面的明確授權(quán)以及對該項權(quán)力啟動的法律情形欠缺明確劃分,也就導致現(xiàn)有規(guī)范體系存在對警察機關(guān)個人信息處理行為的實體性控制不足問題。警察信息處理可以在預測警務方面發(fā)揮功效,將應對犯罪風險的模式由被動變?yōu)橹鲃?。例如,北京犯罪?shù)據(jù)分析和趨勢預測系統(tǒng)模式、山東大數(shù)據(jù)警務云模式、江蘇犯罪警情預測系統(tǒng)模式等等警務預防預測系統(tǒng)模式的建立、發(fā)展與運行應用,均對社會公共安全風險預防起到不同程度的治理功效。從另一個方面來說,出于民主正當性以及法治主義的考慮,限制基本權(quán)利通常情況下應遵循法律保留原則,這也就意味著,國家公權(quán)力如果要對公民的基本權(quán)利加以限制,必須通過立法授權(quán)方式方可進行[20]。風險社會,警察機關(guān)介入公民個人信息領(lǐng)域,進行信息收集、控制、共享、分析與應用,以實現(xiàn)對社會公共安全領(lǐng)域風險情況的預防,但同時意味著警察活動的前移與警察權(quán)的擴張,進而可能造成對法律保留原則與法律明確性原則的突破。盡管《個人信息保護法》設(shè)專節(jié)規(guī)定了國家機關(guān)處理個人信息的規(guī)則,但其仍屬于一般性的概括性規(guī)范且較為粗疏,仍需要包括公安機關(guān)在內(nèi)的各國家機關(guān)結(jié)合各自管轄的工作應用場景來對個人信息處理行為進行權(quán)限和程序的詳細規(guī)范設(shè)計。

    2.現(xiàn)有規(guī)范對警察機關(guān)個人信息處理行為的程序性控制不足

    警務個人信息處理的程序性規(guī)范存在約束乏力現(xiàn)象,進而導致對警察信息處理的程序性控制不足。正當程序原則,是指行政權(quán)力的行使應當遵循最低限度公正的程序要求。行政法理論中,正當程序原則的基本要求是通過信息公開、聽取意見、說明理由等方面的具體制度來實現(xiàn)的[21]。然而,人工智能時代,警察執(zhí)法過程中運用大數(shù)據(jù)進行的數(shù)據(jù)收集,基于人工智能技術(shù)的算法進行大數(shù)據(jù)分析等個人信息處理行為,已經(jīng)超越了程序性意義上的規(guī)范要求。在整個執(zhí)法啟動過程

    中,警察執(zhí)法始于預測性思維,針對不特定公民實施執(zhí)法,警察執(zhí)法并未對公民實施相應告知,存在執(zhí)法不透明問題。同時,基于大數(shù)據(jù)、算法技術(shù)的“黑箱現(xiàn)象”,也加劇了警察與公民執(zhí)法互動過程中的信息不透明度,更遑論對公民的說理與聽取意見。同時,警察執(zhí)法形成的大數(shù)據(jù)分析結(jié)果顯然是判明公民個體違法犯罪風險概率的結(jié)論,其本身的屬性亦尚存爭議。此外,現(xiàn)有規(guī)范對警察機關(guān)個人信息處理過程中的個人信息權(quán)利的保護與救濟也較為乏力。警察機關(guān)與信息主體之間存在巨大的“信息鴻溝”,一方面是警察機關(guān)在處理信息主體的個人信息,而另一方面則是信息主體根本無法知曉具體的信息處理行為人或責任人,更遑論提出具體的權(quán)利救濟。實踐中,警察機關(guān)通過智能化信息處理手段干預個人信息的行為具備技術(shù)性、虛擬性以及便利性等特征,使得信息權(quán)利人難以對其進行有效防御。就通說而言,我國司法救濟體系一般僅針對已經(jīng)發(fā)生的侵害行為,尚未具備對潛在的威脅進行預先防范的功能。故而,信息權(quán)利人在考慮通過訴訟方式獲得相應司法救濟的同時,可能因為無法負擔相應的程序成本而選擇放棄[22]。因此,總體而言,現(xiàn)有規(guī)范體系存在對警察機關(guān)個人信息處理行為的程序性控制不足問題。

    三、人工智能時代警察執(zhí)法行為創(chuàng)新的制度回應

    習近平指出:“制度是關(guān)系黨和國家事業(yè)發(fā)展的根本性、全局性、穩(wěn)定性、長期性問題?!保?3]“制度規(guī)范具有支撐國家有序治理的功能……同時,制度是法律規(guī)則的集成,是法律體系的凝結(jié)。”[24]7通過加強人工智能背景下警察執(zhí)法行為創(chuàng)新的制度建設(shè)是回應法治公安建設(shè)的必然選擇。具體而言,可以從實體與程序維度,通過加強警察信息處理職權(quán)配置、完善警察信息處理職權(quán)運行等制度設(shè)計進行回應。

    (一)加強警察信息處理職權(quán)配置的實體性制度設(shè)計

    1.明確警察信息處理職權(quán)的法律依據(jù)

    在實體法律控制方面,基于合法性原則的制度構(gòu)建是其中的重要環(huán)節(jié)。無論是英美法系中的行政法,大陸法系中的行政法,包括我國行政法中,合法性原則的內(nèi)容主要包括兩方面:第一是權(quán)力來源的合法性;第二是行政行為必須符合法律規(guī)定[25]。因此,人工智能背景下基于概括目的的警察執(zhí)法權(quán)力需要進一步明確化,需要考慮的首要問題就是警察信息處理權(quán)力配置的法律依據(jù)問題。這不僅是對合法性原則的基本要求的遵循,也有利于強化對公民個人信息權(quán)利的保障。在學界,已有學者注意到警察機關(guān)大量運用智能技術(shù)需要給予職權(quán)配置的問題?!盎ヂ?lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)等新技術(shù)迅猛發(fā)展及功能演進,不斷將警務模式的變革推向高潮,除了需要對信息的收集、整合、利用與管理方面進行功能強化,同時也需要增配相關(guān)的警察職權(quán),比如:信息收集與技術(shù)運用、強制性生物信息采集、公共圖像監(jiān)控系統(tǒng)的銜接。”[26]405《個人信息保護法》通過專節(jié)(第33 條至第37 條)規(guī)定了國家機關(guān)處理個人信息的規(guī)則,在保障國家機關(guān)依法履行職責的同時,要求國家機關(guān)處理個人信息應當依照法律、行政法規(guī)規(guī)定的權(quán)限和程序進行?!?016 年12 月《人民警察法》修改意見稿中已對配置‘信息收集權(quán)’提出了相應立法建議內(nèi)容?!保?7]可見無論在理論層面,還是在立法、實務層面,對國家機關(guān)的信息處理進行職權(quán)配置已經(jīng)形成共識??梢哉f,在智能時代,警察機關(guān)為實現(xiàn)對公共安全領(lǐng)域的風險治理而進行相應的個人信息處理活動具有一定的理論正當性。在規(guī)范層面,警察機關(guān)依據(jù)《警察法》《反恐怖法》《網(wǎng)絡安全法》《交通安全法》等法律依據(jù)開展信息處理活動也具有一定的制度基礎(chǔ)。但就規(guī)范支撐程度而言,《反恐怖法》《網(wǎng)絡安全法》《交通安全法》僅可以成為警察機關(guān)在反恐、網(wǎng)安、交通領(lǐng)域進行信息處理的法律依據(jù),警察機關(guān)在上述領(lǐng)域之外進行信息處理活動就需要具有獨立統(tǒng)合意義的《警察法》來為警察機關(guān)賦予預防犯罪的概括性預防權(quán)限。因此,為了實現(xiàn)對公共安全領(lǐng)域的風險治理法治化,在未來警察法修改中還需要明確警察信息處理的職權(quán)內(nèi)容,將其法定化,以取得警察法理論與制度意義上的權(quán)力正當性與合法性。

    2.建立警察信息處理的分級分類規(guī)則

    第一,需要確立警察機關(guān)個人信息處理的分級分類理念。警察機關(guān)在進行個人信息處理中,應確立分級分類的個人信息保護理念。有學者指出:“在個人信息保護立法建設(shè)中,應當確立堅持個人數(shù)據(jù)分類分級的理念,通過公法與私法協(xié)調(diào)并進的規(guī)制路徑,形成多元主體參與共治的規(guī)范體系?!保?8]為此,警務數(shù)據(jù)資源分類分級可依照“可用且可知”“可用不可知”“不可用不可知”的分類分級指導思想,結(jié)合數(shù)據(jù)采集手段隱蔽性、特殊性及數(shù)據(jù)涉及公民隱私程度、公民對該數(shù)據(jù)被公安部門獲取的接受程度制定相應分級標準。

    第二,需要開展警察處理的個人信息分級分類設(shè)計。對于警察機關(guān)處理的個人信息可以按照信息數(shù)據(jù)資源獲取方式、信息涉及范圍的不同進行分級。當然,警察機關(guān)個人信息數(shù)據(jù)分級分類規(guī)則仍需根據(jù)社會對信息數(shù)據(jù)的認知程度、業(yè)務發(fā)展等情況進行動態(tài)調(diào)整。具體而言,警察機關(guān)個人信息數(shù)據(jù)處理分類分級設(shè)計可以參見下表2。

    3.確立警察信息處理職權(quán)的啟動條件

    有學者指出,“警察機關(guān)在進行信息收集與技術(shù)運用的過程中,如沒有法律對權(quán)力主體、啟動條件進行規(guī)范,容易造成權(quán)力的濫用,對公民個人信息權(quán)利造成損害……警察機關(guān)的改革與發(fā)展,日益受到法治精神的引領(lǐng)與推動,《人民警察法》中配置的每一項警察職權(quán),均應深入進行法治化構(gòu)造,最大程度細化適用條件與優(yōu)化程序設(shè)計,既能夠?qū)崿F(xiàn)控制權(quán)力行使過程的有效目標,也有利于實現(xiàn)司法審查的功效?!保?6]405因此,修改并完善《人民警察法》,對警察數(shù)據(jù)運用職權(quán)進行要件設(shè)計,這不僅同法律保留原則的要求協(xié)調(diào)一致,同時也符合法律明確性的內(nèi)在要求。因此,在大數(shù)據(jù)、人工智能技術(shù)迅猛發(fā)展的今天,我國警察法修改方向應結(jié)合當前科技變革的形勢及相應技術(shù)標準,基于我國行政法、警察法關(guān)于行政機關(guān)數(shù)據(jù)運用的學理基礎(chǔ),對警察信息處理職權(quán)進行“本土化”的合理設(shè)置與分級分類啟動條件的規(guī)范設(shè)計。(1)風險防控工作。公安機關(guān)在利用數(shù)據(jù)對社會公共安全高風險點、高風險人員進行全領(lǐng)域感知、全范圍監(jiān)測、全天候預警,發(fā)現(xiàn)公共安全風險等工作中,原則上可以使用A 級、B級、C 級數(shù)據(jù)資源,對高風險人員、重點風險點管控可運用D 級數(shù)據(jù)資源。若確因工作需要,由特定業(yè)務警種運用第五級數(shù)據(jù)資源提供支撐。(2)應急處突工作。公安機關(guān)在對正在威脅社會公共安全的突發(fā)事件進行綜合研判、科學有效處置等工作中,原則上可以使用A 級、B 級、C 級、D 級數(shù)據(jù)資源。若確因工作需要,由特定業(yè)務警種運用E 級數(shù)據(jù)資源提供支撐。(3)公安常態(tài)管理工作。公安機關(guān)在進行預防、制止和偵查違法犯罪活動,如刑事案件偵查、情報專案偵查,以及追捕被通緝或者批準、決定逮捕的在逃犯罪嫌疑人、被告人的工作中,原則上可以使用A 級、B 級、C 級、D 級數(shù)據(jù)資源。若確因工作需要,由特定業(yè)務警種運用E 級數(shù)據(jù)資源提供支撐。公安機關(guān)在維護社會治安秩序、交通秩序,組織、實施消防等公安日常工作中,原則上可以使用A 級、B 級、C 級數(shù)據(jù)資源。若對重點人員、涉嫌違法犯罪人員開展工作時,需要使用上一級數(shù)據(jù)資源,可由數(shù)據(jù)管理部門對數(shù)據(jù)脫敏降級后提供。若確因工作需要,由特定業(yè)務警種運用E級數(shù)據(jù)資源提供支撐。(4)協(xié)助監(jiān)管工作。在公共安全數(shù)據(jù)分析應用過程中,公安機關(guān)發(fā)現(xiàn)公共安全領(lǐng)域外的管理風險、管理隱患的,應當及時向行政主管部門或?qū)俚卣A警,及時消除社會管理、城市運行的隱患,避免因社會矛盾聚集而誘發(fā)公共安全事件。原則上可以使用A 級、B 級數(shù)據(jù)資源。若工作中確需使用上一級數(shù)據(jù)資源,由數(shù)據(jù)管理部門對數(shù)據(jù)脫敏降級后提供。(5)提供社會服務。公安機關(guān)在提供社會公共服務的工作中,原則上可以使用A級數(shù)據(jù)資源。若工作中確需使用上一級數(shù)據(jù)資源,由數(shù)據(jù)管理部門對數(shù)據(jù)脫敏降級后提供。

    (二)完善警察信息處理職權(quán)運行的程序性制度設(shè)計

    權(quán)力的運行需要進行制度化的設(shè)計。“依法制約權(quán)力,就是要通過精細的制度設(shè)計,形成科學的權(quán)力結(jié)構(gòu)和運行機制。”[24]43要確保權(quán)力在法治軌道上運行,就是要“嚴守法定權(quán)責邊界,確保執(zhí)法權(quán)力在法定權(quán)限內(nèi)依法運行”[29]。因此,警察信息處理職權(quán)運行法治化就需要進行相應的制度設(shè)計。為此,本文以正當程序原則的內(nèi)涵要求為遵循,結(jié)合警察機關(guān)個人信息處理活動的實踐特征,從公開透明與說理解釋方面對警察信息處理職權(quán)運行程序設(shè)計進行探討。

    1.建立公開透明的警察信息處理職權(quán)運行規(guī)則

    人工智能時代,智慧警務的建設(shè)運行使“智能算法”越來越嵌入警察執(zhí)法活動中,使得警察自動化信息處理活動日益面臨“算法黑箱”難題。公開透明是現(xiàn)代正當法律程序的基本要求。盡管算法在一定程度上對正當程序原則造成了沖擊,但是其基本原理仍指引警察信息處理職權(quán)運行規(guī)則朝向公開透明邁進。

    第一,提升警察信息處理適用范圍的可見性。在我國智慧警務創(chuàng)新實踐中,基于“信息數(shù)據(jù)”“智能算法”的智能警務系統(tǒng)大量運行,如警察服務領(lǐng)域的“公安一網(wǎng)通辦系統(tǒng)”、警察預防領(lǐng)域的“反電詐預警系統(tǒng)”,對警察信息處理行為的公開性產(chǎn)生重要影響。在以上系統(tǒng)的運行中,警察機關(guān)需要基于“信息數(shù)據(jù)”“智能算法”開展自動化信息處理,形成相應的警務決策。然而,警察機關(guān)基于智能算法個人信息處理行為形成的上述警務決策并未提前開展明確的警務規(guī)劃、分類與公告。因此,警察機關(guān)不應僅將智能警務系統(tǒng)看作是警務工作輔助系統(tǒng),而是需要適度公布警察機關(guān)的自動化決策清單,向公民告知并明確哪些警務活動系由自動化信息處理實施的,進而讓公民知悉警務自動化信息處理行為可能對其權(quán)利造成的影響。

    第二,適度公開警察信息處理的指標要素權(quán)重。形式的變化并不當然意味著政府可以免除自身的信息公開義務與責任[30]9。警察機關(guān)基于智能化算法的個人信息處理行為不能因為警察機關(guān)意思表示的形式要素變化而逃逸公法對其進行的控制與規(guī)范。就其本質(zhì)而言,無論智能應用平臺的設(shè)置、啟動與運行具備何種自動化因素,其仍為行政機關(guān)做出的指示??梢哉f,行政機關(guān)是啟動行政程序的主導者,所作的任何意思表示或行政決定最終也是具有法律效果及規(guī)制效力的具體行政行為[31]。在智慧警務的創(chuàng)新實踐中,智能警務系統(tǒng)中的算法設(shè)計往往涉及警務評價指標要素的權(quán)重(比例大小),通過不同比例權(quán)重的設(shè)計往往會對自動化信息處理產(chǎn)生不同的分析結(jié)論。因而,在同一案件事實下,警察執(zhí)法活動基于不同比例權(quán)重的算法設(shè)計可能會對警察執(zhí)法相對人產(chǎn)生極為不同的分析結(jié)論,進而可能對警察執(zhí)法相對人的權(quán)利造成不同的影響。當然,警察執(zhí)法中的算法指標權(quán)重可能涉及國家秘密、警務秘密等不能公開或不宜公開的事項。因此,上述警務算法指標要素權(quán)重需要根據(jù)具體場景來選擇是否公開或進行多大程度的公開。

    第三,加強警察信息處理環(huán)節(jié)的公開度。智能時代,警察機關(guān)基于算法應用的自動化信息處理行為不僅需要符合行政信息公開的基本要求,也需要在輸入數(shù)據(jù)、決策過程和最終決策等環(huán)節(jié)遵循信息公開原則的基本要求。德國頒布的“算法在公共管理中的透明度”文件中指出,德國政府部門使用的算法必須在以下方面進行公開:第一,關(guān)于程序輸入及輸出數(shù)據(jù)類別的信息;第二,關(guān)于算法所涉的邏輯,涵蓋所使用的計算公式,輸入數(shù)據(jù)的權(quán)重以及基本專業(yè)知識與用戶部署的個人配置內(nèi)容;第三,關(guān)于最終決策的范圍與程序可能產(chǎn)生的后果。可見,“政府機關(guān)在應用算法決策過程中,一旦超越行政信息公開原則的基本精神與要義,那么,無論是算法自動化決策的公平性還是可責性將無從談起?!保?0]12因此,警察信息處理的諸多環(huán)節(jié)需要保持一定的公開性,圍繞信息處理的特征與內(nèi)容對數(shù)據(jù)與算法要素進行公開。

    2.設(shè)置警察信息處理職權(quán)運行的說理解釋規(guī)則

    行政法意義上的說明理由制度,要求公權(quán)力機關(guān)在做出行政決定時,為表明其作出的理由與決定存在特定的內(nèi)在聯(lián)系,而向其他利害關(guān)系人闡釋相應法律依據(jù)與事實狀態(tài),并通過相關(guān)法律和事實狀態(tài)開展推理或裁量而導出結(jié)論的制度過程[32]。智能時代,因信息數(shù)據(jù)來源與算法設(shè)計不透明等因素,警察機關(guān)的信息處理行為結(jié)果是如何形成的,往往難以為信息主體所知曉。為此,智能時代的警察信息處理行為的運行應確保說明解釋制度的執(zhí)行。各國的立法者與學界就自動化決策的算法應當具備可解釋性,使得用戶有權(quán)知曉決策的原因方面已經(jīng)達成共識。①法國數(shù)字事務部長認為,“如果政府不能解釋其決定,就不應該使用算法?!眳⒁姡篔oshua New,Daniel Castro.How Policymakers Can Foster Algorithmic Accountability[R/OL].http://www2.datainnovation.org/2018-algorithmic-accountability.pdf;Association for Computing Machinery US Public Policy Council (USACM):Statement on Algorithmic Transparency and Accountability[R/OL].https://www.acm.org/articles/bulletins/2017/january/usacm-statement-algorithmic-accountability.如果說算法自動化決策屬于專家論證的一種類型,那么行政決策要想保證其科學性,仍需要通過設(shè)置同行政決策專家咨詢相配套的說理闡釋機制。對于行政機關(guān)來說,通過理性化的說理解釋以回應公眾可能產(chǎn)生的質(zhì)疑,不僅是對行政決策正當性與適當性的充分闡明,也是對社會公眾作出的責任性回應[33]126。就效果而言,缺乏正當性理由的專家意見將對行政決策的有效性產(chǎn)生重要影響。通常,以專家咨詢結(jié)論在說理上存在不足為由被否定的行政決策司法判例并不少見[33]132。在執(zhí)法領(lǐng)域,如果在執(zhí)法過程中執(zhí)法機關(guān)沒有合理的理由來支撐對執(zhí)法相對人進行不利的行政處理,不僅會嚴重損害執(zhí)法相對人的程序性權(quán)利,而且會使執(zhí)法相對人無法獲得必要的行政救濟[30]14。當然,在說理機制的知情意涵之外,還需要提供必要的救濟方式。就算法自動化決策而言,其說理機制應至少涵括理由內(nèi)容、原因以及形成決策結(jié)果的個人信息數(shù)據(jù)等要素。例如,在說理機制中不僅需要闡明各項指標所占功能權(quán)重比例,還需要對機器定義的場景應用規(guī)則以及起到輔助決策作用的信息數(shù)據(jù)等要素內(nèi)容進行一并闡明。需要重點說明的是,一旦行政決策觸及行政相對人的實體性權(quán)利、程序性權(quán)利及救濟性權(quán)利等關(guān)涉法律最低限度的正義的情況時,就需要將算法自動化決策的整個運行過程、結(jié)果以及推理方式進行清晰的說理闡釋。因此,警察執(zhí)法智能化過程中在對執(zhí)法相對人進行說理時,需要對算法進行解釋,并遵循下述標準:一是需要確保算法解釋內(nèi)容的完整性,警務自動化信息處理的算法解釋需要警務部門設(shè)置統(tǒng)一格式的算法解釋文本機制加以對外提供,其中,應確保算法設(shè)計者和用戶提供的解釋對象等文本要素內(nèi)容的完整;二是確保算法解釋方法的普及性,從本質(zhì)上講,自動化信息處理行為的算法解釋是信息主導方做出的“單方信號發(fā)出”行為。但在實踐中,由于警察機關(guān)與執(zhí)法相對人在權(quán)力和技術(shù)上的巨大鴻溝,這就要求“對自動化信息處理算法的解釋必須按照通俗易懂的語言和方式進行解釋與溝通,否則將會因為解釋的不可知性而失去進行救濟的意義”[30]15。

    總之,以新一代人工智能技術(shù)為代表的新興信息科學技術(shù)不斷深度嵌入警察權(quán)力,在賦予警察權(quán)強大治理動能的同時,也不斷考驗著警察權(quán)力配置與運行規(guī)則的合法性以及公民基本權(quán)利保障規(guī)則的有效性。風險社會與智能時代交織的雙重背景使得公民個人信息權(quán)利與警察信息處理權(quán)力關(guān)系日益失衡,如何保持二者之間的平衡與協(xié)調(diào)成為當前警察法學界無法回避的理論與現(xiàn)實問題。為了回應警察執(zhí)法創(chuàng)新帶來的法治需求,中央相繼通過和頒布《關(guān)于全面深化公安改革若干重大問題的框架意見》《關(guān)于深化公安執(zhí)法規(guī)范化建設(shè)的意見》等文件,強調(diào)要“建設(shè)中國特色社會主義法治體系相適應的現(xiàn)代警務運行機制和執(zhí)法權(quán)力運行機制”[34],進而實現(xiàn)“全面建設(shè)法治公安”[35]的愿景目標。法治公安的核心要義就在于通過規(guī)范警察權(quán)力運行,保障公民基本權(quán)利,促進和實現(xiàn)更高水平意義上的“平安中國”與“數(shù)字法治”建設(shè)。隨著《民法典》《數(shù)據(jù)安全法》《個人信息保護法》的相繼落地實施,我國公安部門應積極加強警務領(lǐng)域的個人信息處理立法制定并開展警務個人信息處理執(zhí)法的規(guī)范化建設(shè),不斷銜接個人信息保護的立法體系建設(shè)趨勢,回應公眾對警察機關(guān)個人信息處理與保護制度日益增長的需求。

    猜你喜歡
    信息處理警務個人信息
    如何保護勞動者的個人信息?
    工會博覽(2022年16期)2022-07-16 05:53:54
    個人信息保護進入“法時代”
    東營市智能信息處理實驗室
    基于Revit和Dynamo的施工BIM信息處理
    警惕個人信息泄露
    綠色中國(2019年14期)2019-11-26 07:11:44
    地震烈度信息處理平臺研究
    CTCS-3級列控系統(tǒng)RBC與ATP結(jié)合部異常信息處理
    HIV感染的警務預防與處置
    警務實戰(zhàn)訓練教學中開設(shè)
    警用直升機的作用及在我國警務實戰(zhàn)中的應用
    中文字幕人妻丝袜一区二区| 亚洲在线自拍视频| 欧美人与性动交α欧美软件| 12—13女人毛片做爰片一| 久久天堂一区二区三区四区| 免费搜索国产男女视频| 精品午夜福利视频在线观看一区| 99久久99久久久精品蜜桃| 热re99久久精品国产66热6| 美女午夜性视频免费| 久久久精品欧美日韩精品| 99在线视频只有这里精品首页| √禁漫天堂资源中文www| 咕卡用的链子| 免费看a级黄色片| 在线天堂中文资源库| 国产精品偷伦视频观看了| 法律面前人人平等表现在哪些方面| 国产成+人综合+亚洲专区| 亚洲av成人不卡在线观看播放网| 90打野战视频偷拍视频| 国产极品粉嫩免费观看在线| 可以在线观看毛片的网站| 国产99白浆流出| 一进一出好大好爽视频| www.www免费av| 一级片'在线观看视频| 国产免费男女视频| 亚洲国产毛片av蜜桃av| 性色av乱码一区二区三区2| 国产亚洲欧美98| 一区二区三区国产精品乱码| 99久久人妻综合| 黄色视频不卡| 18禁黄网站禁片午夜丰满| 亚洲色图综合在线观看| 18禁观看日本| 露出奶头的视频| 视频区图区小说| 一级毛片精品| 99久久人妻综合| 淫秽高清视频在线观看| 很黄的视频免费| 99国产精品99久久久久| 亚洲av成人不卡在线观看播放网| 极品教师在线免费播放| av片东京热男人的天堂| 国产成+人综合+亚洲专区| 久久人人精品亚洲av| 黑丝袜美女国产一区| 国产成人av教育| 日日爽夜夜爽网站| 99久久人妻综合| 嫩草影院精品99| 无人区码免费观看不卡| 9191精品国产免费久久| 村上凉子中文字幕在线| 日本a在线网址| 大码成人一级视频| 亚洲av五月六月丁香网| 日韩成人在线观看一区二区三区| 悠悠久久av| 老鸭窝网址在线观看| 免费av毛片视频| 99国产极品粉嫩在线观看| 国产野战对白在线观看| 丁香欧美五月| 亚洲精品一二三| 在线免费观看的www视频| 亚洲成人国产一区在线观看| 麻豆一二三区av精品| 嫩草影院精品99| 超碰97精品在线观看| 日韩三级视频一区二区三区| 亚洲成人久久性| 日韩精品青青久久久久久| 亚洲一区中文字幕在线| 可以在线观看毛片的网站| 国产日韩一区二区三区精品不卡| 精品国内亚洲2022精品成人| 精品久久久精品久久久| 亚洲色图av天堂| 欧美人与性动交α欧美精品济南到| 又大又爽又粗| 人人妻人人澡人人看| 狂野欧美激情性xxxx| 人妻丰满熟妇av一区二区三区| 窝窝影院91人妻| 水蜜桃什么品种好| 午夜福利,免费看| 制服诱惑二区| 国产成人精品久久二区二区免费| 99久久人妻综合| 丝袜美腿诱惑在线| 久久久久国产一级毛片高清牌| 人人妻,人人澡人人爽秒播| 亚洲av电影在线进入| 久久久精品国产亚洲av高清涩受| 国产成+人综合+亚洲专区| 巨乳人妻的诱惑在线观看| 亚洲一码二码三码区别大吗| 成人影院久久| 国产欧美日韩一区二区三区在线| 国产亚洲精品久久久久5区| 国产成人欧美在线观看| 国产精品98久久久久久宅男小说| 国产精品免费一区二区三区在线| 久99久视频精品免费| 亚洲av片天天在线观看| 欧美在线黄色| 国产精品偷伦视频观看了| 欧美最黄视频在线播放免费 | 亚洲中文av在线| 久久这里只有精品19| 成人精品一区二区免费| 久久国产精品男人的天堂亚洲| 国产精品久久久久久人妻精品电影| 欧美中文综合在线视频| 热re99久久精品国产66热6| 久久香蕉国产精品| 欧美一级毛片孕妇| 黄色成人免费大全| 五月开心婷婷网| 国产区一区二久久| 亚洲午夜精品一区,二区,三区| 精品人妻在线不人妻| 欧美精品一区二区免费开放| 欧美日韩国产mv在线观看视频| 波多野结衣av一区二区av| 久久久久久久精品吃奶| 日韩大尺度精品在线看网址 | 久久香蕉国产精品| 久久久国产成人精品二区 | 久久午夜亚洲精品久久| 在线观看舔阴道视频| 国产在线观看jvid| 国产精华一区二区三区| 亚洲 欧美一区二区三区| 亚洲专区中文字幕在线| 亚洲av熟女| 最近最新中文字幕大全电影3 | 久久国产亚洲av麻豆专区| 日本五十路高清| 亚洲一码二码三码区别大吗| 国产精品一区二区免费欧美| av中文乱码字幕在线| 高清黄色对白视频在线免费看| 制服人妻中文乱码| 波多野结衣高清无吗| 性色av乱码一区二区三区2| 校园春色视频在线观看| 欧美亚洲日本最大视频资源| 久久天堂一区二区三区四区| 电影成人av| 成熟少妇高潮喷水视频| 成人永久免费在线观看视频| 1024香蕉在线观看| 免费在线观看黄色视频的| 国产成+人综合+亚洲专区| 男人舔女人下体高潮全视频| 午夜精品久久久久久毛片777| 91九色精品人成在线观看| 日韩 欧美 亚洲 中文字幕| 色精品久久人妻99蜜桃| 麻豆一二三区av精品| 亚洲第一av免费看| 欧美乱妇无乱码| 亚洲av成人一区二区三| 日韩精品免费视频一区二区三区| 欧美日韩视频精品一区| 欧美 亚洲 国产 日韩一| 黄色女人牲交| 无人区码免费观看不卡| 侵犯人妻中文字幕一二三四区| 久久精品影院6| 十分钟在线观看高清视频www| 变态另类成人亚洲欧美熟女 | 久99久视频精品免费| 99国产精品一区二区三区| 在线永久观看黄色视频| 精品无人区乱码1区二区| 一边摸一边抽搐一进一出视频| 99精品欧美一区二区三区四区| 99久久精品国产亚洲精品| 久久久久国产精品人妻aⅴ院| 在线免费观看的www视频| 亚洲欧美激情综合另类| 欧美成人午夜精品| 国产有黄有色有爽视频| 91大片在线观看| 日本五十路高清| 午夜福利在线观看吧| 看片在线看免费视频| 丁香欧美五月| 一进一出抽搐动态| 精品少妇一区二区三区视频日本电影| 成人亚洲精品一区在线观看| 国产精品 欧美亚洲| 天天躁夜夜躁狠狠躁躁| 在线观看午夜福利视频| 老司机深夜福利视频在线观看| 婷婷六月久久综合丁香| x7x7x7水蜜桃| 精品国产超薄肉色丝袜足j| 国产有黄有色有爽视频| 午夜免费鲁丝| 男女下面进入的视频免费午夜 | 国产午夜精品久久久久久| 可以免费在线观看a视频的电影网站| 成人特级黄色片久久久久久久| 亚洲中文av在线| 法律面前人人平等表现在哪些方面| 女人被躁到高潮嗷嗷叫费观| av超薄肉色丝袜交足视频| 一级毛片精品| 亚洲成人国产一区在线观看| 中出人妻视频一区二区| 日韩精品青青久久久久久| 18美女黄网站色大片免费观看| 啦啦啦在线免费观看视频4| 国产真人三级小视频在线观看| 久久久久久久午夜电影 | 天堂动漫精品| 美女扒开内裤让男人捅视频| 亚洲精品一区av在线观看| 日韩高清综合在线| 亚洲一区二区三区不卡视频| 老汉色av国产亚洲站长工具| 亚洲男人的天堂狠狠| 丝袜在线中文字幕| www.www免费av| 午夜福利影视在线免费观看| 黄色视频不卡| 欧美久久黑人一区二区| 精品一区二区三卡| x7x7x7水蜜桃| 一进一出抽搐gif免费好疼 | 欧美日韩亚洲高清精品| 一级,二级,三级黄色视频| 一区二区三区国产精品乱码| 亚洲精品一二三| 亚洲成国产人片在线观看| 不卡一级毛片| 亚洲五月天丁香| netflix在线观看网站| 亚洲精品一二三| 少妇的丰满在线观看| 免费在线观看影片大全网站| 色精品久久人妻99蜜桃| 757午夜福利合集在线观看| 久久香蕉国产精品| 久久午夜综合久久蜜桃| 精品一区二区三卡| 女人被狂操c到高潮| 精品国产亚洲在线| 久久天躁狠狠躁夜夜2o2o| 9191精品国产免费久久| 亚洲中文av在线| 天堂影院成人在线观看| 一区二区日韩欧美中文字幕| 桃色一区二区三区在线观看| ponron亚洲| 午夜福利在线观看吧| 香蕉久久夜色| 久久久久久大精品| 久久青草综合色| 80岁老熟妇乱子伦牲交| 久久草成人影院| 天天躁夜夜躁狠狠躁躁| 黄片大片在线免费观看| 又黄又爽又免费观看的视频| 国产伦人伦偷精品视频| 韩国av一区二区三区四区| 人人妻人人爽人人添夜夜欢视频| 伦理电影免费视频| 男女做爰动态图高潮gif福利片 | 亚洲欧美日韩高清在线视频| 丰满的人妻完整版| 亚洲男人的天堂狠狠| 女人高潮潮喷娇喘18禁视频| 国产成人一区二区三区免费视频网站| 国产欧美日韩一区二区三区在线| 成人黄色视频免费在线看| 亚洲精品一卡2卡三卡4卡5卡| 国内毛片毛片毛片毛片毛片| 日日摸夜夜添夜夜添小说| 少妇被粗大的猛进出69影院| av网站在线播放免费| 神马国产精品三级电影在线观看 | 18禁观看日本| 欧美日韩视频精品一区| 国产精品亚洲一级av第二区| 国产精品久久视频播放| 亚洲午夜精品一区,二区,三区| 午夜福利在线免费观看网站| 一级毛片高清免费大全| 日韩三级视频一区二区三区| av国产精品久久久久影院| 欧美午夜高清在线| 久久草成人影院| 亚洲 欧美 日韩 在线 免费| 99riav亚洲国产免费| 美女国产高潮福利片在线看| 日日干狠狠操夜夜爽| 91在线观看av| 琪琪午夜伦伦电影理论片6080| 久久人人爽av亚洲精品天堂| 欧美老熟妇乱子伦牲交| 国产高清国产精品国产三级| 午夜福利一区二区在线看| 日韩欧美一区二区三区在线观看| 视频区图区小说| 精品一区二区三区视频在线观看免费 | 亚洲人成77777在线视频| 欧美大码av| 日本欧美视频一区| 人妻久久中文字幕网| 国产av在哪里看| 国产精品美女特级片免费视频播放器 | 天堂俺去俺来也www色官网| 免费女性裸体啪啪无遮挡网站| 一区二区三区国产精品乱码| videosex国产| 男男h啪啪无遮挡| 亚洲熟妇中文字幕五十中出 | 99在线人妻在线中文字幕| 成人18禁高潮啪啪吃奶动态图| 国产又色又爽无遮挡免费看| 成熟少妇高潮喷水视频| 一级a爱片免费观看的视频| 夜夜夜夜夜久久久久| 三上悠亚av全集在线观看| 国产精品免费一区二区三区在线| 久久精品国产99精品国产亚洲性色 | 国产精品免费视频内射| 18美女黄网站色大片免费观看| 激情在线观看视频在线高清| 亚洲av第一区精品v没综合| 欧美乱码精品一区二区三区| 香蕉丝袜av| 9191精品国产免费久久| 久久中文字幕人妻熟女| 9191精品国产免费久久| 国内毛片毛片毛片毛片毛片| 免费在线观看视频国产中文字幕亚洲| 欧美日韩乱码在线| 一本大道久久a久久精品| 久久香蕉国产精品| 亚洲中文日韩欧美视频| 天天添夜夜摸| 午夜91福利影院| videosex国产| 咕卡用的链子| 18禁美女被吸乳视频| 国产亚洲精品一区二区www| 露出奶头的视频| 久久久久久久久中文| 久久久水蜜桃国产精品网| 国产在线精品亚洲第一网站| 99精品欧美一区二区三区四区| 精品久久蜜臀av无| 天堂俺去俺来也www色官网| 欧美在线一区亚洲| 午夜91福利影院| 国产精品国产av在线观看| 成年女人毛片免费观看观看9| 午夜影院日韩av| 国产区一区二久久| 欧美在线黄色| 色尼玛亚洲综合影院| 一区福利在线观看| 亚洲欧洲精品一区二区精品久久久| 久久精品国产亚洲av香蕉五月| 国产亚洲欧美精品永久| 两个人免费观看高清视频| svipshipincom国产片| 欧美黑人精品巨大| 91大片在线观看| 欧美激情 高清一区二区三区| 制服人妻中文乱码| 国产欧美日韩精品亚洲av| 久久青草综合色| 亚洲精品美女久久av网站| 久久热在线av| 国产午夜精品久久久久久| 日日摸夜夜添夜夜添小说| 国产亚洲欧美在线一区二区| 午夜91福利影院| 日韩欧美免费精品| 美女国产高潮福利片在线看| 亚洲一区二区三区欧美精品| 国产无遮挡羞羞视频在线观看| 成人黄色视频免费在线看| 不卡一级毛片| 国产精品美女特级片免费视频播放器 | 波多野结衣高清无吗| 精品久久久久久电影网| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲欧美精品综合久久99| 国产在线观看jvid| 国内久久婷婷六月综合欲色啪| 丰满的人妻完整版| 人人妻人人添人人爽欧美一区卜| 亚洲精品美女久久久久99蜜臀| 我的亚洲天堂| 国产三级黄色录像| 午夜福利影视在线免费观看| 日韩av在线大香蕉| 水蜜桃什么品种好| 一本一本综合久久| 日本免费一区二区三区高清不卡| 国产亚洲欧美98| 一级a爱片免费观看的视频| 欧美另类亚洲清纯唯美| 国内揄拍国产精品人妻在线| 久久国产精品人妻蜜桃| 床上黄色一级片| 麻豆一二三区av精品| 最近视频中文字幕2019在线8| 国产成+人综合+亚洲专区| 两个人视频免费观看高清| 精品福利观看| 久久性视频一级片| 欧美+亚洲+日韩+国产| 麻豆av噜噜一区二区三区| 精品人妻视频免费看| 婷婷丁香在线五月| 高清日韩中文字幕在线| 日日夜夜操网爽| 九九热线精品视视频播放| 国产熟女xx| 91在线精品国自产拍蜜月| 国产白丝娇喘喷水9色精品| www.www免费av| 三级国产精品欧美在线观看| 久久久久性生活片| 男女下面进入的视频免费午夜| 久久伊人香网站| 免费电影在线观看免费观看| 国产激情偷乱视频一区二区| 搡老妇女老女人老熟妇| 国产视频一区二区在线看| 精品一区二区三区视频在线| 日本五十路高清| 欧美成人免费av一区二区三区| 久久精品国产亚洲av香蕉五月| 国产亚洲精品久久久久久毛片| 国产精品久久视频播放| 1000部很黄的大片| 国产69精品久久久久777片| 欧美bdsm另类| 精品一区二区三区av网在线观看| 琪琪午夜伦伦电影理论片6080| 国产伦在线观看视频一区| 亚洲黑人精品在线| 国产精品一区二区性色av| 非洲黑人性xxxx精品又粗又长| 亚洲美女黄片视频| 亚洲不卡免费看| 欧美黑人欧美精品刺激| 人人妻人人看人人澡| 欧美日韩乱码在线| 九九在线视频观看精品| 热99re8久久精品国产| 美女免费视频网站| 天堂影院成人在线观看| 亚洲av日韩精品久久久久久密| 久久精品国产亚洲av涩爱 | 成人毛片a级毛片在线播放| 99久久精品国产亚洲精品| 男人舔女人下体高潮全视频| 亚洲在线观看片| 我要看日韩黄色一级片| h日本视频在线播放| 男人和女人高潮做爰伦理| 欧美性猛交╳xxx乱大交人| 夜夜躁狠狠躁天天躁| 2021天堂中文幕一二区在线观| 嫩草影视91久久| 一本久久中文字幕| 波野结衣二区三区在线| 欧美一区二区亚洲| 搡老熟女国产l中国老女人| 亚洲精品粉嫩美女一区| 日韩欧美国产在线观看| 色噜噜av男人的天堂激情| 首页视频小说图片口味搜索| 成人国产一区最新在线观看| 男人和女人高潮做爰伦理| 高潮久久久久久久久久久不卡| 18+在线观看网站| 久久久久久国产a免费观看| 99精品在免费线老司机午夜| 高清日韩中文字幕在线| 国产精品一区二区免费欧美| 久久久成人免费电影| 亚洲第一欧美日韩一区二区三区| 国产精品影院久久| 日韩有码中文字幕| 我的老师免费观看完整版| 一区二区三区四区激情视频 | 又黄又爽又免费观看的视频| 黄色视频,在线免费观看| 亚洲成av人片在线播放无| 久久久久久久午夜电影| 免费人成在线观看视频色| 国产精品一区二区三区四区久久| 国产高清三级在线| 国产精品免费一区二区三区在线| 精品久久久久久久久久久久久| 在线免费观看的www视频| 级片在线观看| 丰满人妻一区二区三区视频av| 欧美成人免费av一区二区三区| 久久精品国产自在天天线| 人妻丰满熟妇av一区二区三区| 少妇裸体淫交视频免费看高清| 三级男女做爰猛烈吃奶摸视频| 欧美xxxx性猛交bbbb| 色噜噜av男人的天堂激情| 免费在线观看日本一区| 亚洲七黄色美女视频| 亚洲一区二区三区色噜噜| 免费看日本二区| 国产高清视频在线观看网站| 99国产精品一区二区三区| 成年人黄色毛片网站| 亚洲国产精品999在线| 国产综合懂色| 免费大片18禁| 欧美三级亚洲精品| 性欧美人与动物交配| 国产成年人精品一区二区| 特级一级黄色大片| 真人一进一出gif抽搐免费| 婷婷精品国产亚洲av在线| 亚洲第一电影网av| 有码 亚洲区| 亚洲色图av天堂| 狂野欧美白嫩少妇大欣赏| 婷婷六月久久综合丁香| 国产精品人妻久久久久久| 老鸭窝网址在线观看| 国产三级中文精品| 国产av一区在线观看免费| 我要看日韩黄色一级片| 成人特级黄色片久久久久久久| 99久久精品国产亚洲精品| 国产精品,欧美在线| 色5月婷婷丁香| 给我免费播放毛片高清在线观看| 亚洲自拍偷在线| 精品一区二区三区av网在线观看| 亚洲七黄色美女视频| 一区二区三区高清视频在线| 国产成人啪精品午夜网站| 90打野战视频偷拍视频| 中文亚洲av片在线观看爽| 日本黄色片子视频| 欧美精品国产亚洲| 欧美不卡视频在线免费观看| 无人区码免费观看不卡| 宅男免费午夜| 内射极品少妇av片p| 麻豆国产av国片精品| 精品久久久久久久久亚洲 | 日本免费一区二区三区高清不卡| 日韩欧美在线二视频| 淫秽高清视频在线观看| 熟女电影av网| 亚洲第一欧美日韩一区二区三区| 九色成人免费人妻av| 黄色日韩在线| 99热这里只有是精品在线观看 | 亚洲无线观看免费| 一本一本综合久久| 午夜a级毛片| 欧美高清成人免费视频www| 男插女下体视频免费在线播放| 成人三级黄色视频| 免费一级毛片在线播放高清视频| 天天躁日日操中文字幕| 国产精品久久久久久亚洲av鲁大| 国产色爽女视频免费观看| 岛国在线免费视频观看| 国产三级中文精品| 九色国产91popny在线| 狠狠狠狠99中文字幕| 久久精品人妻少妇| 精品人妻一区二区三区麻豆 | av国产免费在线观看| 天堂av国产一区二区熟女人妻| 久久久久国内视频| 美女免费视频网站| 少妇的逼水好多| 国产成人影院久久av| 亚洲精品成人久久久久久| 中文字幕高清在线视频| 久久性视频一级片| 久久亚洲精品不卡| netflix在线观看网站| 精品欧美国产一区二区三| 搡女人真爽免费视频火全软件 | 成年免费大片在线观看| 哪里可以看免费的av片| 一个人看的www免费观看视频| 亚洲成a人片在线一区二区| 久久精品影院6| 欧美日韩综合久久久久久 | 久久久久久久亚洲中文字幕 | 日韩欧美 国产精品| 久久久久精品国产欧美久久久| 日本a在线网址| 神马国产精品三级电影在线观看| 亚洲在线自拍视频|