• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    試論數(shù)據(jù)算法權(quán)力的異化及法律應(yīng)對

    2023-04-12 00:00:00鄒開亮劉祖兵

    摘要:數(shù)據(jù)算法權(quán)力屬于數(shù)據(jù)與算法相互投喂形成的權(quán)力范式。數(shù)據(jù)算法權(quán)力具有偽中立性、擴張性和隱匿性。共生關(guān)系下的數(shù)據(jù)算法權(quán)力誘發(fā)社會倫理問題、數(shù)據(jù)權(quán)屬爭議和數(shù)據(jù)鴻溝等風(fēng)險。借鑒歐盟GDPR確立的個人數(shù)據(jù)保護原則和美國“自由市場+部分領(lǐng)域強監(jiān)管”為基礎(chǔ)的實用主義原則,以數(shù)據(jù)所有權(quán)為突破口,擬建立基于多元中心的數(shù)據(jù)權(quán)屬制度。建立個人數(shù)據(jù)使用的事前審批制度和收益共享機制;構(gòu)建平臺企業(yè)算法綜合信用評分機制;加強數(shù)據(jù)監(jiān)管,建立資本強制退出制度;確保數(shù)據(jù)算法權(quán)力的社會主義性質(zhì),引導(dǎo)其遵循人民性的價值指向;構(gòu)建以數(shù)據(jù)算法法典為代表的法律規(guī)范體系;提升政府算法素養(yǎng);打破數(shù)據(jù)“黑箱”;促進非個人數(shù)據(jù)自由流動。

    關(guān)鍵詞:數(shù)據(jù)算法權(quán)力;數(shù)據(jù)權(quán)屬;數(shù)據(jù)鴻溝;多元中心;強制退出

    中圖分類號:D923 文獻標志碼:A 文章編號:1001-5744(2023)04-0112-09

    基金項目:國家社會科學(xué)基金項目“算法控制下網(wǎng)約勞動者權(quán)益保障困境與制度創(chuàng)新研究”(21BFX126);江西省研究生創(chuàng)新專項資金項目“重構(gòu)與借鑒:人工智能侵權(quán)規(guī)制路徑”(YC2022-s543)

    作者簡介:鄒開亮(1976— ),江西豐城人,華東交通大學(xué)人文社會科學(xué)學(xué)院副教授,碩士研究生導(dǎo)師,主要從事經(jīng)濟法、數(shù)字法學(xué)研究。

    在大數(shù)據(jù)技術(shù)高速發(fā)展的加持下,作為人工智能技術(shù)內(nèi)核的算法(algorithm)已然成為數(shù)字文明時期推動社會變革的精銳力量。人類對算法技術(shù)期望之,亦敬畏之。算法在實現(xiàn)助力傳統(tǒng)工商業(yè)數(shù)字化轉(zhuǎn)型、提升公共服務(wù)和促進社會加速發(fā)展的同時,也在效率優(yōu)勢的掩飾下加快歸集權(quán)力場域。算法與數(shù)據(jù)相互投喂,衍化為共生的權(quán)力范式,即數(shù)據(jù)算法權(quán)力。

    資本控制下的數(shù)據(jù)算法權(quán)力持續(xù)對社會主體施加影響力和支配力,人類社會對其過度依賴滋生“數(shù)據(jù)算法權(quán)力”的異化并激發(fā)諸多社會矛盾,“算法歧視”“數(shù)據(jù)利維坦”“數(shù)據(jù)鴻溝”和“算法公平”等成為阻礙社會治理的棘手問題。歐美諸國在數(shù)據(jù)產(chǎn)權(quán)保護和算法規(guī)制方面的法治建設(shè)已取得豐碩成果。歐盟《通用數(shù)據(jù)保護條件》(General Data Protection Regulation,GDPR)成為個人數(shù)據(jù)保護與算法治理的新典范。美國以“自由市場+部分領(lǐng)域強監(jiān)管”為基礎(chǔ)的實用主義路徑釋放出巨大的數(shù)據(jù)利用與流通價值,為促進非個人數(shù)據(jù)的自由流通提供了重要借鑒。我國正處于技術(shù)快速發(fā)展和社會快速變革的關(guān)鍵時期,相關(guān)法律制度的缺位業(yè)已掣肘社會治理成效。因此,權(quán)衡技術(shù)發(fā)展與社會公平儼然成為當(dāng)下數(shù)據(jù)算法權(quán)力治理研究的重要課題。

    一 緣起:數(shù)據(jù)算法權(quán)力范式

    (一)數(shù)據(jù)算法權(quán)力內(nèi)涵

    在數(shù)據(jù)與算法的相互喂養(yǎng)下,算法控制者基于數(shù)據(jù)資源與算法技術(shù)優(yōu)勢對人類社會施加間接控制與直接影響,成為一種新的權(quán)力范式,即數(shù)據(jù)算法權(quán)力。數(shù)據(jù)與算法在事實上的相互投喂,形成互為前提與結(jié)果的共生關(guān)系。基于此,脫離數(shù)據(jù)研究算法權(quán)力或者僅研究數(shù)據(jù)權(quán)力而忽略算法均是片面的。一方面數(shù)據(jù)是算法權(quán)力的“養(yǎng)分”,亦是算法的處理對象,始終伴隨算法的產(chǎn)生、訓(xùn)練、運行和優(yōu)化的全過程,另一方面算法作為數(shù)據(jù)權(quán)力發(fā)生效能的核心機構(gòu),二者形成事實上的手段和目的之關(guān)系[1],二者在所屬權(quán)力主體上亦存在高度耦合性,即數(shù)據(jù)與算法的控制者多為同一主體或為強利益相關(guān)者。數(shù)據(jù)算法權(quán)力的內(nèi)涵如下。

    第一,數(shù)據(jù)算法延展人類生存方式。數(shù)據(jù)算法滲透到人類社會的各個角落,改變了人類信息獲取、工作和出行等行為方式,左右著人類思維方式和價值選擇。技術(shù)驅(qū)動的算法紅利越來越廣泛而深刻地影響著人們的生活[2]。數(shù)字經(jīng)濟異軍突起,算法成為支撐數(shù)據(jù)豐富和算力強化的基礎(chǔ),成為數(shù)字社會的“骨架”,人類社會各個角落無不顯現(xiàn)其身影。例如,算法重構(gòu)用戶與服務(wù)商間的關(guān)系。傳統(tǒng)的線下實體店購物為各類紛繁復(fù)雜的線上網(wǎng)購商城替換,口頭的雙向比價被“算法比價”所取代;算法平臺控制下的網(wǎng)約車滿足了人們個性化出行需求,抬手叫車的要約方式被在線預(yù)約取代。同時,精準的“算法導(dǎo)航”彌補了人類在遠途出行情景中對線路認知的局限;緊密的聘用勞動關(guān)系逐漸被松散和靈活的平臺用工所取代……婚戀擇偶由“算法匹配”推薦所代勞;甚至政黨間的競選也成為算法控制下的人頭數(shù)據(jù)爭奪戰(zhàn),“推特治國”一度活躍于西方政壇。與此同時,算法的普及使人類不再僅以客觀物質(zhì)形式存在。代碼構(gòu)建起來的算法系統(tǒng)在人類客觀物質(zhì)世界的基礎(chǔ)上繪制出數(shù)字世界,人類社會關(guān)系在數(shù)字“宇宙”中得以延伸。人類的一舉一動同步轉(zhuǎn)化為該宇宙中的數(shù)據(jù)元素和邏輯節(jié)點,自由地在兩個“宇宙”中穿插并行。由此,數(shù)據(jù)與算法或?qū)⒊蔀槿祟愑忠淮嬖谛问健?/p>

    第二,數(shù)據(jù)算法賦能企業(yè)數(shù)字化轉(zhuǎn)型。數(shù)字化轉(zhuǎn)型是一場全方位、系統(tǒng)化的變革,是在大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)和云計算等數(shù)字技術(shù)的驅(qū)動下,經(jīng)濟、政治、社會以及文化等諸多領(lǐng)域都轉(zhuǎn)型升級[3]。算法作為企業(yè)轉(zhuǎn)型三要素中的核心技術(shù)力量,是數(shù)字化轉(zhuǎn)型的基礎(chǔ)和先決條件[4],為其提供了強有力的技術(shù)支撐。企業(yè)數(shù)字化轉(zhuǎn)型是運用數(shù)字技術(shù)對企業(yè)的商業(yè)模式進行升級重構(gòu)[5],是商業(yè)模式的創(chuàng)新。企業(yè)數(shù)字化建設(shè),旨在應(yīng)用算法系統(tǒng)提升企業(yè)決策能力,是基于對數(shù)據(jù)的管控和使用進行的精準定位,提升企業(yè)應(yīng)對市場風(fēng)險的能力。算法支撐的數(shù)字平臺改變企業(yè)價值創(chuàng)造的方式,它將組織的層級活動和流程與數(shù)據(jù)驅(qū)動相結(jié)合,企業(yè)智能分析數(shù)據(jù)、監(jiān)控數(shù)據(jù)質(zhì)量、利用挖掘數(shù)據(jù)和數(shù)據(jù)內(nèi)化重構(gòu)等功能得以激發(fā),促進企業(yè)內(nèi)外資源重構(gòu)與整合,推動企業(yè)數(shù)字化的深度變革[6]。在企業(yè)內(nèi)部,為應(yīng)對數(shù)字化變革的沖擊,企業(yè)展開去科層改革,組織結(jié)構(gòu)變得扁平化;在營商環(huán)境層面,數(shù)據(jù)要素進入社會治理視域。政府出臺政策推動企業(yè)“依附升級”,彌補企業(yè)在數(shù)字技術(shù)和算法平臺架構(gòu)上的能力短板[7]。

    第三,數(shù)據(jù)算法嵌入社會治理。人工智能算法的技術(shù)力量日益嵌入國家權(quán)力運行與社會治理過程,孕育著“技術(shù)賦權(quán)”的巨大機會[8]。在國家制度層面,社會治理權(quán)來源于社會公眾的權(quán)利讓渡和社會道德約束。隨著城市大腦、智能交通和智慧社區(qū)等技術(shù)方案構(gòu)想的實現(xiàn),算法被人們引入社會治理環(huán)節(jié),并獲得與其他社會規(guī)范等值的效力。社會主體及其行為被賦予數(shù)據(jù)屬性,即以二進制的形式被數(shù)據(jù)所記錄,成為硬件載體上的一串串字符。算法基于強大的數(shù)據(jù)處理能力獲得與公權(quán)力的高契合度,在其輔助下公權(quán)力運行效率得以增強。近年來,各地政府應(yīng)用算法技術(shù)開展智慧城市建設(shè),司法機關(guān)應(yīng)用算法輔助司法審判、疫情防控部門應(yīng)用算法布局疫情防治等已經(jīng)成為常態(tài)。在政務(wù)服務(wù)過程中,算法發(fā)揮著愈發(fā)重要的作用。在實效層面,算法正引領(lǐng)一種政府治理模式的又一輪變革。算法的超強計算能力與數(shù)據(jù)的普適記錄能力在助力政府提升決策科學(xué)性與執(zhí)法準確性方面的作用已充分顯現(xiàn)。公安機關(guān)應(yīng)用指紋識別和DNA匹對技術(shù),有效提升了刑事偵察的司法效率。定罪量刑辦案系統(tǒng)輔助法官批量化處理同類化的刑事案件。數(shù)字防疫在近些年疫情防控中成為又一法寶,充分彰顯數(shù)據(jù)和算法嵌入社會治理的成果,算法日益成為社會高效治理的常態(tài)化工具。數(shù)據(jù)算法權(quán)力憑借其無以倫比的效率優(yōu)勢成為社會公共權(quán)力的重要組成部分,成為人類社會治理的得力工具。

    (二)數(shù)據(jù)算法權(quán)力屬性

    1.偽中立性

    人類決策從基因里帶有偏見和歧視。算法以客觀符號為基本形式表現(xiàn)出來,數(shù)字算法權(quán)力常以價值中立的面目示人,所以人們常誤以為算法是中立的和客觀的,但事實絕非如此。

    一方面,數(shù)據(jù)算法的價值取向是“經(jīng)由設(shè)計的價值觀”[9],具有趁力性。自算法藍圖設(shè)計到模型建立、數(shù)據(jù)訓(xùn)練的全生命周期都記錄著設(shè)計者的價值取向。人類決策從基因里就帶有偏向和歧視,人類的價值觀自始受各種因素影響。因此,算法設(shè)計中無可避免地被嵌入歧視因子,這給算法決策帶來難以回避的風(fēng)險,并在大肆宣揚中立的外衣下不斷擴大歧視的外沿。數(shù)據(jù)記錄生產(chǎn)者的價值取向,不具有客觀中立性。久而久之,數(shù)據(jù)算法權(quán)力訓(xùn)練出很強的趁力性,即肆意以看似合法的方式替代人類決策,致使人類可決策范疇不斷被限縮,最終為算法自動化決策所剝奪。

    另一方面,資本掌控數(shù)據(jù)算法權(quán)力的運行邏輯,具有逐利性。算法決策以數(shù)據(jù)為基礎(chǔ),數(shù)據(jù)價值則更多以資本意志為導(dǎo)向,而非基于應(yīng)然的事實依據(jù)。算法影響力的運行基礎(chǔ)是行業(yè)數(shù)據(jù)的海量投喂。資本的本質(zhì)在于逐利,資本也是事實上的數(shù)據(jù)掌握者。因此,資本從算法運行的底層邏輯層上回答了算法是什么,算法為了誰的問題。“算法歧視”“大數(shù)據(jù)殺熟”“數(shù)據(jù)利維坦”和“數(shù)據(jù)鴻溝”等問題涌現(xiàn),法律的局限性和滯后性助長了部分算法設(shè)計者與算法使用者的投機心理。他們憑借算法技術(shù)和數(shù)據(jù)基礎(chǔ)設(shè)施所形成的優(yōu)勢地位控制社會資源的分配,試圖重塑大眾認知方式和行為模式,形成一種具有特別影響力的社會力量。因此,算法技術(shù)外顯出資本化、私力化傾向[10]。數(shù)據(jù)算法權(quán)力的調(diào)整,是資本力量和利益集團一次次博弈的結(jié)果,也是強勢資本幕后操縱的產(chǎn)物。

    2.擴張性

    算法本身蘊含著強大的技術(shù)權(quán)力,算法黑箱的技術(shù)壁壘加劇了人類與算法之間的權(quán)力失衡[11]。數(shù)據(jù)算法權(quán)力作為一種復(fù)雜的社會關(guān)系,它隨著社會力量的發(fā)展而作出動態(tài)調(diào)整。具備深入學(xué)習(xí)能力的算法已不再止步于功能層次的社會需求。算法的高效運行強化著其社會權(quán)力的合理性基礎(chǔ)。在大數(shù)據(jù)喂養(yǎng)和算力的加持下,賦予擁有深度學(xué)習(xí)能力的算法通過自主學(xué)習(xí)和強化訓(xùn)練來持續(xù)提升自身影響力,解決諸多人類自力難以有效應(yīng)對的治理難題,致使人類依賴性不斷加強。算法權(quán)力嵌入人類社會治理,深刻影響著人類思想和行為。由此,算法權(quán)力擴張,并顯現(xiàn)出權(quán)力壟斷的勢頭。貪婪的資本與數(shù)據(jù)算法權(quán)力的結(jié)合使數(shù)據(jù)與算法被壟斷成為現(xiàn)實。資本使算法設(shè)計者被以一種高度組織化、效率化的管理模式集合起來[12],這種模式推動著集體技術(shù)創(chuàng)新的加速進行,在質(zhì)和量上成就高度復(fù)雜的算法技術(shù)。高行業(yè)壁壘隨之形成,算法技術(shù)壟斷也接踵而至。至此,數(shù)據(jù)算法權(quán)力實現(xiàn)在社會部門之間的擴張。

    此外,數(shù)據(jù)算法權(quán)力借助政治權(quán)力的背書實現(xiàn)在整個社會范圍內(nèi)的擴張。出于社會公共管理需要,各國政府主動尋求與算法權(quán)力的合作。例如,西方國家政黨利用算法影響力精準“培養(yǎng)”選民偏向,力求左右國家領(lǐng)導(dǎo)人選舉的結(jié)果。在我國,數(shù)據(jù)算法權(quán)力被應(yīng)用于諸如疫情防控等突發(fā)公共事件中,保護了人民的生命財產(chǎn)安全,維護了社會穩(wěn)定。國家政治權(quán)力主動吸納數(shù)據(jù)算法權(quán)力,有效提升了國家社會治理能力,數(shù)據(jù)算法權(quán)力也由此成為規(guī)制國家機器運行的技術(shù)支撐,成為理所應(yīng)當(dāng)?shù)奶貦?quán)。至此,數(shù)據(jù)算法權(quán)力實現(xiàn)在整個社會的擴張。

    3.隱蔽性

    數(shù)據(jù)算法權(quán)力來源隱蔽。數(shù)據(jù)算法權(quán)力嵌入社會治理,其權(quán)力不僅源于技術(shù)本身的工具屬性,還來自資本對社會大眾價值的裹脅。但是,僅從技術(shù)和資本角度看待數(shù)據(jù)算法權(quán)力是有失偏頗的。除此之外,數(shù)據(jù)主體對算法功能的“認可”和對數(shù)據(jù)能力的依賴才是其獲得社會權(quán)力的深層次來源,而這種自愿授權(quán)是隱性的。對數(shù)據(jù)普適記錄能力和算法效率優(yōu)勢的依賴使得數(shù)據(jù)算法權(quán)力在正當(dāng)性的掩護下大行其道,以至于人們無力察覺數(shù)據(jù)算法權(quán)力侵權(quán)后果,即數(shù)據(jù)算法權(quán)力的來源十分隱蔽。

    數(shù)據(jù)算法權(quán)力主體隱蔽。數(shù)據(jù)算法權(quán)力受眾與權(quán)力主體常常發(fā)生混同,致使一方作為權(quán)力的受害者,同時又是權(quán)力的施害方。例如,抖音平臺預(yù)設(shè)直播帶貨商戶排名機制,作為算法平臺受眾的商戶基于該機制進行一系列提名動作,諸如邀請點贊、送燈牌和刷禮物以及關(guān)注等,商戶在獲得高好評率和活躍排名后被平臺賦予放禮袋、觀眾管理等相關(guān)權(quán)限。在此場景中,淪為“數(shù)字勞工”的直播商戶既是權(quán)力的受害方又是權(quán)力的施害者,而他更多關(guān)注的是獲得權(quán)力后即將帶來的利益,而非自身是否處于數(shù)據(jù)算法權(quán)力的統(tǒng)治之下。數(shù)據(jù)算法權(quán)力主體往往依托于技術(shù)優(yōu)勢隱藏于代碼之后,他們只需要掌握算法的編寫技術(shù)、運行規(guī)則或所有權(quán),就可以以隱蔽的身份行使權(quán)力[13]。

    數(shù)據(jù)算法權(quán)力運行過程和結(jié)果隱蔽。數(shù)據(jù)算法權(quán)力常以非物理侵害結(jié)果的形式出現(xiàn),即算法非物理性輸出對人類社會關(guān)系的影響難以被察覺,或雖被察覺亦難以被鑒別為實質(zhì)權(quán)力損害。例如,外賣平臺基于騎手創(chuàng)造的配送數(shù)據(jù)持續(xù)“優(yōu)化”配送線路,使騎手深陷自己貢獻的數(shù)據(jù)暖房之中而無法依靠自力察覺,淪為算法控制下的數(shù)據(jù)“囚徒”。即使部分騎手發(fā)現(xiàn)無法滿足平臺規(guī)定的時效要求,他也僅僅會從自身的配送速度和對線路熟悉程度上找原因,很少會有人將超時配送歸因于數(shù)據(jù)算法權(quán)力的壓迫。又如,購物平臺基于用戶數(shù)據(jù)展開精準化、個性化的信息定制,向用戶推送強偏好的營銷信息?!八惴ㄉ鐓^(qū)”隔離不同類型用戶群體,階層化的信息壁壘使用戶視域狹窄和缺乏可比性。在此機制之下,價格歧視一度盛行于購物平臺之上,用戶被“大數(shù)據(jù)殺熟”卻不得自知。

    二 歧途:數(shù)據(jù)算法權(quán)力的異化

    權(quán)力(power)無分良惡,屬于事物客觀的影響力。而異化的權(quán)力則不然,它表達的是一種脫離權(quán)力主體控制并走向反派或者受異種力量支配的逆向變化,是對主體控制的脫離和反噬。因缺乏對數(shù)據(jù)記錄能力和算法數(shù)據(jù)處理能力合謀的足夠警惕,數(shù)據(jù)與算法聯(lián)合反向約束、束縛主體,二者合圍衍生為事實上的壟斷力量。

    (一)數(shù)據(jù)與算法共生

    德國科學(xué)家德貝里(Antodedebary)于1879年首次提出并解釋了“共生(symbiosis)”的概念,他認為“共生”是不同物種出于生存與發(fā)展的需要而默契地共同生存[14],是一種彼此依賴、共生發(fā)展和共同生存、協(xié)同進化的狀態(tài)[15]。共生理論的思想基礎(chǔ)是過程哲學(xué),該學(xué)說認為實體的構(gòu)成性即是本體自身,它的存在就是一種關(guān)聯(lián)的形成性、合生性、聯(lián)結(jié)性[16]。我國學(xué)者胡守鈞將共生理論引入社會學(xué)研究領(lǐng)域,創(chuàng)設(shè)了社會共生論,他從主體、資源和約束條件要素定義社會關(guān)系[17],成為該學(xué)說具有代表性的分說體系?;貧w當(dāng)下,共生關(guān)系存在于數(shù)據(jù)權(quán)力與算法權(quán)力之間,事實上的共生關(guān)系維持著二者和諧并推動著數(shù)據(jù)算法權(quán)力異化。

    一方面,數(shù)據(jù)與算法相互強化對方影響力。在主體關(guān)系要素層面,算法權(quán)力主體與數(shù)據(jù)權(quán)力主體高度耦合,當(dāng)下統(tǒng)歸于資本。最初,算法僅被用于基礎(chǔ)數(shù)據(jù)計算。隨著數(shù)據(jù)池的不斷擴大,加之算法產(chǎn)生的數(shù)據(jù)持續(xù)復(fù)雜化,數(shù)據(jù)的普適記錄能力隨之強化。數(shù)據(jù)的離散性和加密性使更高級的算法需求亟待滿足。由此,數(shù)據(jù)持續(xù)投喂算法,成為數(shù)據(jù)算法權(quán)力興起的現(xiàn)實基礎(chǔ)。與此同時,算法權(quán)力也增強了數(shù)據(jù)處理能力。面對海量的非結(jié)構(gòu)化數(shù)據(jù),算法從離散性信息中發(fā)現(xiàn)憑肉眼無法識別的信息,高效擬合隱藏其背后的規(guī)律。經(jīng)由算法處理后的數(shù)據(jù)并非原始數(shù)據(jù),而是相較而言信息更為豐富、結(jié)構(gòu)性更復(fù)雜的數(shù)據(jù)。在數(shù)據(jù)與算法相互投喂過程中,二者在權(quán)力場域內(nèi)部互為資源并聯(lián)合為一體,其主體也憑借權(quán)力優(yōu)勢成為新型數(shù)據(jù)算法寡頭。

    另一方面,數(shù)據(jù)權(quán)力與算法權(quán)力相互制衡彼此的發(fā)展。在社會權(quán)力約束層面,數(shù)據(jù)和算法共同制約著社會關(guān)系,處于相對平衡的狀態(tài)。當(dāng)下,人類一切活動都被數(shù)據(jù)記錄。人類活動產(chǎn)生數(shù)據(jù),數(shù)據(jù)反向制約算法權(quán)力運行。算法控制著人類,使其淪為算法奴役之下的“數(shù)字勞工”。資本的介入,使得二者以暫時平衡的狀態(tài)共同順服于資本意志。當(dāng)下,數(shù)據(jù)算法也滲透至國家公權(quán)力體系中,成為人類在社會治理中不得不面對的問題。

    數(shù)據(jù)與算法共生并不意味著二者處于永久的平衡狀態(tài)。從內(nèi)部看,算法權(quán)力與數(shù)據(jù)權(quán)力彼此強化和制衡,兩股力量處于動態(tài)的轉(zhuǎn)化狀態(tài),即數(shù)據(jù)權(quán)力和算法權(quán)力此消彼長,相互強化。從外部看,二者持續(xù)合為一股復(fù)合的權(quán)力范式,即數(shù)據(jù)算法權(quán)力,或自然擴張或沖破制度約束轉(zhuǎn)向異化。

    (二)數(shù)據(jù)與權(quán)力異化

    通常情況下,數(shù)據(jù)算法權(quán)力會按社會技術(shù)主體預(yù)設(shè)的路徑有序地發(fā)揮效能。然后,隨著資本和極端因素的介入,被喂養(yǎng)的算法并未按設(shè)計者的初衷完成進化。數(shù)據(jù)收集的片面化、數(shù)據(jù)污染和數(shù)據(jù)失真等問題使數(shù)據(jù)算法權(quán)力產(chǎn)生偏差。

    數(shù)據(jù)樣本以偏概全,片面化的數(shù)據(jù)或?qū)⑹顾惴ㄔ馐芷垓_。大數(shù)據(jù)的價值在于全面。一方面,資本控制下的平臺意欲壟斷數(shù)據(jù),不愿意將數(shù)據(jù)公開,甚至拒絕共享數(shù)據(jù)基礎(chǔ)設(shè)施[18],因此數(shù)據(jù)的完整性遭受破壞;另一方面,算法收集的數(shù)據(jù)也具有片面性。算法平臺將用戶偶發(fā)性的反饋歸于某一數(shù)據(jù)類型的做法仍為常態(tài),用戶隨機性的點贊、回復(fù)并不能確定該用戶即對該類信息感興趣,也有可能是出于同類心理或者反感情緒。同時,單一算法識別易對用戶產(chǎn)生模糊化、簡單化定位,容易把用戶一次性、偶然性的表面行為解讀為用戶真實的、深層的興趣和心理需求[19]。此外,平臺審核程序在結(jié)果上破壞數(shù)據(jù)全面性,即平臺偏見反向剝奪算法營養(yǎng)均衡,造成在算法發(fā)育中信息偏食。

    數(shù)據(jù)污染算法之善。數(shù)據(jù)本身屬于意識形態(tài)的存在,蘊含偏見與不平等。有學(xué)者認為,數(shù)據(jù)是客觀的。但是筆者認為,大數(shù)據(jù)并非原始數(shù)據(jù),而是被算法施加影響的邏輯關(guān)系元素,大數(shù)據(jù)是“決策者基于人為偏好而得到的”[20]。因此,“認為大數(shù)據(jù)不存在意識形態(tài)的看法”這本身就對大數(shù)據(jù)賦予“意識形態(tài)”[21]。數(shù)據(jù)的偏好也隨著數(shù)據(jù)類型和主體產(chǎn)生差異,否認數(shù)據(jù)的意識形態(tài)性就是借用所謂客觀性掩蓋決策者的主觀偏見[22]。另外,算法收集數(shù)據(jù)的途徑多樣,無論是自動投喂還是主動獲取的數(shù)據(jù)都有可能成為“荼毒”算法的元兇。當(dāng)下,“數(shù)據(jù)投毒”亦成為數(shù)據(jù)對抗雙方慣用的策略之一?,F(xiàn)代商業(yè)競爭是基于數(shù)據(jù)的對抗。一方利用數(shù)據(jù)實施欺騙,即利用頻繁的重復(fù)的帶偏見的數(shù)據(jù)供給,蓄意使對方算法平臺遭受欺騙,致使其原生底層算法基于錯誤的數(shù)據(jù)供養(yǎng)而逐漸改變該價值取向,數(shù)據(jù)中毒污染算法之善。原本正義的算法或?qū)⑥D(zhuǎn)向邪惡,公平、透明和等價等原則遭受踐踏。由此,公平的商業(yè)倫理變得扭曲。投喂片面的數(shù)據(jù)、失效的數(shù)據(jù)和造假的“臟數(shù)據(jù)”都會誘發(fā)數(shù)據(jù)算法權(quán)力的異化。而算法平臺的數(shù)據(jù)過濾機制也未必能完全消除臟數(shù)據(jù),算法基于這些臟數(shù)據(jù)產(chǎn)出的數(shù)據(jù)也成為污染其他算法的原罪。

    算法處理數(shù)據(jù)的過程使數(shù)據(jù)失去客觀性,數(shù)據(jù)失真引發(fā)權(quán)力異化風(fēng)險。算法設(shè)計者有意無意地將偏見傾注到分析模型中,此舉直接導(dǎo)致分析結(jié)果喪失客觀性。算法輸出的看似客觀性的數(shù)據(jù),可能成為后真相的另一種推手,因為數(shù)據(jù)生產(chǎn)環(huán)節(jié)的偏差可能導(dǎo)致客觀性數(shù)據(jù)堆積成的假象[23]。更有甚者,為得到期望的結(jié)果而故意修改算法模型。亦有將算法數(shù)據(jù)分析應(yīng)用于公共領(lǐng)域時,其出發(fā)點往往并非從客觀數(shù)據(jù)得出中立的結(jié)果。恰恰相反,相關(guān)部門在多數(shù)情況下是為了論證期望的結(jié)果而進行反向數(shù)據(jù)投喂,以此來佐證其預(yù)判的科學(xué)性。在此情景下,獲得對數(shù)據(jù)真相的完整認知即為了驗證符合算法主體需要的結(jié)果。同時,數(shù)據(jù)失真亦經(jīng)常發(fā)生在數(shù)據(jù)采集過程中。在數(shù)據(jù)生產(chǎn)環(huán)節(jié),人類主體“代勞”行為時常出現(xiàn)。例如,學(xué)生家長在被要求代為打卡、評測,導(dǎo)致相關(guān)教育部門無法全面掌握學(xué)生真實數(shù)據(jù)。在疫情常態(tài)化清零中也時常發(fā)生代為掃碼采集核酸信息的問題,致使流調(diào)部門無力溯源,給我國疫情防控工作帶來重大風(fēng)險。

    (三)權(quán)力異化的危害

    數(shù)據(jù)與算法相互投喂下的數(shù)據(jù)算法權(quán)力發(fā)生極化會帶來一系列問題,諸如剝奪人類決策權(quán)、個人隱私裸露、數(shù)據(jù)鴻溝和“算法利維坦”等。

    1.剝奪人類決策權(quán)

    算法延展人類生存方式,將各方主體緊密聯(lián)接在賽博空間內(nèi),削弱了物理距離產(chǎn)生的隔閡,為算法歧視的傳播提供了可能性。大數(shù)據(jù)喂養(yǎng)下的算法是偽中立的,設(shè)計者的偏見通過代碼化的思考邏輯以隱蔽的方式被嵌入算法中,大數(shù)據(jù)與算法相互投喂強化算法歧視的社會影響,無形中對人類主體的倫理觀念進行弱化和消弭,致使傳統(tǒng)道德觀念在算法規(guī)則統(tǒng)治下的賽博世界里效力減退[24]。算法的可解釋性問題和公平性問題混雜成為當(dāng)下算法治理的難題。算法技術(shù)的發(fā)展得益于機器學(xué)習(xí),無監(jiān)督學(xué)習(xí)算法或被動數(shù)據(jù)投喂或主動爬取數(shù)據(jù)供養(yǎng)自身,以實現(xiàn)算法輔助決策。算法發(fā)育過程的不可知性滋生數(shù)據(jù)黑箱,這又反向引起算法邏輯的不可解釋性問題和運行結(jié)果的不可解釋性問題?!八惴ㄆ缫暋薄按髷?shù)據(jù)殺熟”“數(shù)據(jù)利維坦”和“算法公平”等問題涌現(xiàn),嚴重沖擊著傳統(tǒng)社會倫理秩序,造成社會不公平。

    自動化決策剝奪人類決策權(quán)。數(shù)據(jù)算法權(quán)力的數(shù)據(jù)處理能力誘使人類放棄決策權(quán)。相較于人類的理性思辨能力而言,算法的數(shù)據(jù)處理效能是其與生俱有的優(yōu)勢,也是算法得以發(fā)明的內(nèi)在動因。大數(shù)時代,數(shù)據(jù)呈井噴式增長。龐大的數(shù)據(jù)要求主體具備規(guī)范化的數(shù)據(jù)收集能力、批量化的數(shù)據(jù)處理能力和精準化的數(shù)據(jù)預(yù)測能力。在此背影下,人類受限于自身難以有效處理海量數(shù)據(jù)帶來的巨大困擾,致使其在享受算法帶來便利的同時自愿放棄選擇權(quán),加劇算法的不可解釋性,人類知情權(quán)、被遺忘權(quán)等實體權(quán)力遭受挑釁。算法在幫助人們進行選擇,也越來越多地代替人們選擇。從表面上看,人類擁有最后的選擇機會,僅僅是可選擇空間發(fā)生變化。但從實質(zhì)上看,人類決策越來越多地淪為算法控制下的自動決定。

    人類決策成為算法預(yù)判用戶畫像的顯化。算法基于強大的數(shù)據(jù)分析能力和精準預(yù)測能力對用戶展開全方位的信息收集,借助信息差的巨大優(yōu)勢溫柔地剝奪人類決策權(quán)。例如,抖音App根據(jù)用戶喜好推薦看似定制化的信息,造成使用者過度沉浸于該類信息下,心甘情愿地受困于“信息繭房”之中。其認知、價值觀被迫改變或者得到強化,激發(fā)人與人之間的價值沖突。算法收集和處理數(shù)據(jù)的范圍又在持續(xù)擴張。用戶裝載該款A(yù)pp的設(shè)備、操作系統(tǒng)、使用時間段、地理位置和屏幕點擊力度等外圍信息也會被秘密地收集,這類看似無價值的數(shù)據(jù)記錄著比用戶的直接請求的數(shù)據(jù)更為客觀和精準的信息,它們被直接用于分析用戶性格并繪制人格畫像。平臺憑借這些看似無關(guān)的數(shù)據(jù)預(yù)判用戶需求,在推薦用戶可能請求的信息前已計算出來的結(jié)果集合,而非僅僅根據(jù)點贊、回復(fù)和搜索這類直接相關(guān)的反饋。抖音商場基于以上數(shù)據(jù)開展更加有針對性的營銷活動,致使用戶基本喪失議價權(quán)。某些平臺的做法更為隱蔽,他們在App安裝過程中私自向操作系統(tǒng)嵌入插件,用于收集用戶使用數(shù)據(jù),進行隱私窺探。數(shù)據(jù)的豐富使算法能迎合用戶的依賴心里,權(quán)力從用戶讓渡給算法。長此以往,算法變得比用戶更了解用戶,用戶也越來越愿意將選擇權(quán)交給算法。

    由此觀之,數(shù)據(jù)與算法相互投喂下的人類決策權(quán)被剝奪問題業(yè)已成為當(dāng)下社會治理必須回應(yīng)的難題,也是在我國數(shù)字法治建設(shè)進程中不得不研究的重要課題。

    2.個人隱私裸露

    平臺企業(yè)是在傳統(tǒng)商業(yè)轉(zhuǎn)型過程中成長起來的,數(shù)據(jù)成為平臺企業(yè)的重要生產(chǎn)要素。數(shù)據(jù)權(quán)屬爭議成為平臺企業(yè)在數(shù)據(jù)采集、處理和應(yīng)用過程中不可回避的問題。數(shù)據(jù)算法權(quán)力誘發(fā)數(shù)據(jù)權(quán)屬爭議。數(shù)據(jù)于法律層面并非簡單的信息問題,而是一個權(quán)力問題[25]。算法的發(fā)展使海量數(shù)據(jù)被輕易地獲取、收集與應(yīng)用成為可能。數(shù)字經(jīng)濟大繁榮的今天,商業(yè)競爭多集中于數(shù)據(jù)爭奪。在近年來的商業(yè)實戰(zhàn)中,因數(shù)據(jù)引發(fā)的爭議不斷涌現(xiàn)。自新浪微博起訴脈脈案打響數(shù)據(jù)不正當(dāng)競爭第一槍以來,其后陸續(xù)發(fā)生順豐和菜鳥互斷接口事件[26]、騰訊與華為數(shù)據(jù)爭奪糾紛[27]和淘寶訴美景不正當(dāng)競爭案等,案件爭議焦點多表現(xiàn)在數(shù)據(jù)權(quán)屬和合理利用問題上,即數(shù)據(jù)所有權(quán)與隱私保護問題。

    個人數(shù)據(jù)權(quán)屬問題的本質(zhì)仍為隱私保護問題。個人數(shù)據(jù)具有可識性,簡單地讀取就能識別特定用戶個體。即使經(jīng)匿名化處理后,只要可參考數(shù)據(jù)足夠豐富,應(yīng)用必要的數(shù)據(jù)匹配和合并分析技術(shù)依舊能推斷出數(shù)據(jù)宿主。在此語境下,個人數(shù)據(jù)所有權(quán)的本質(zhì)是個人隱私保護的問題。在實踐中,數(shù)據(jù)的所有權(quán)常常衍生出用益物權(quán),即控制、開發(fā)、許可和轉(zhuǎn)讓四項積極權(quán)能和相應(yīng)的消極防御權(quán)能[28]。數(shù)據(jù)的用益物權(quán)涉及數(shù)據(jù)的開發(fā)與使用權(quán)能。

    歐美在個人數(shù)據(jù)保護方面的法律法規(guī)較為完善,但在數(shù)據(jù)權(quán)屬上也存在較大分歧。美國秉持尊重數(shù)據(jù)市場和行業(yè)自律的理念,通過擴張適用普通法的隱私權(quán)為個人數(shù)據(jù)提供保護,在醫(yī)療、教育等特殊領(lǐng)域使用個人數(shù)據(jù)單獨立法,重點保護可識別的個人信息[29]。該國少數(shù)學(xué)者主張個人對數(shù)據(jù)的支配權(quán),應(yīng)用市場手段解決數(shù)據(jù)可能糾紛。歐洲出臺《通用數(shù)據(jù)保護條例》(GDPR)明確用戶對個人數(shù)據(jù)的控制權(quán),并對世界各國個人隱私保護發(fā)揮著重要作用。自《中華人民共和國個人信息保護法》出臺后,我國對個人數(shù)據(jù)權(quán)屬問題做了概括性的規(guī)定,但在數(shù)據(jù)用益物權(quán)上仍然留有空白。

    3.數(shù)據(jù)鴻溝風(fēng)險

    數(shù)據(jù)算法共謀誘發(fā)數(shù)據(jù)鴻溝。數(shù)據(jù)生產(chǎn)者和掌控者在保有量和處理能力上的差異越發(fā)明顯。一方面,個人是數(shù)據(jù)的生產(chǎn)者,卻未成為數(shù)據(jù)的實際所有者。用戶個人生產(chǎn)海量原始數(shù)據(jù),但他們無法掌控這些數(shù)據(jù);另一方面,數(shù)據(jù)的控制者憑借超強的數(shù)據(jù)處理能力在數(shù)據(jù)存儲、分析和利用等方面影響公眾生活,甚至借此優(yōu)勢窺探公眾私聊,即數(shù)據(jù)鴻溝在數(shù)據(jù)生產(chǎn)者和掌控者之間泛起。數(shù)據(jù)鴻溝具有持續(xù)性,依靠個人力量難以填平鴻溝[30]。雙方力量的懸殊不斷擴大,數(shù)據(jù)鴻溝隨之愈演愈烈。

    數(shù)據(jù)鴻溝誘發(fā)嚴重的社會問題。擁有絕對信息優(yōu)勢的數(shù)據(jù)掌控者在利用算法精準分析大眾偏好的基礎(chǔ)上有針對性地展開個性化的信息灌輸。社會大眾被困于數(shù)據(jù)和算法共謀的信息囚籠里,社會監(jiān)視、社會分類和社會歧視成為常態(tài)。人們被動接受的“教養(yǎng)”被潛移默化為大眾普遍認知,久而久之是社會階層固化和社會貧富的兩極化。這就是數(shù)據(jù)算法權(quán)力運行的基本脈絡(luò),也是代碼背后的資本卷積社會財富的底層邏輯。簡言之,數(shù)據(jù)權(quán)屬模糊是誘發(fā)數(shù)據(jù)鴻溝的原罪,也是算法治理的核心問題。

    4.“算法利維坦”

    數(shù)據(jù)算法權(quán)力快速擴展其影響范圍。政府為應(yīng)對復(fù)雜的社會治理現(xiàn)實,常常借助數(shù)據(jù)普適記錄能力和算法數(shù)據(jù)分析能力開展一系列的工作,這就為數(shù)據(jù)算法嵌入社會公共治理提供了契機。數(shù)據(jù)算法技術(shù)被廣泛嵌入社會治理,治理主體因此產(chǎn)生強烈的技術(shù)依賴性。社會治理過程被簡化為零碎的治理模塊,缺乏系統(tǒng)性。政府作為社會治理的重要主體,利用算法技術(shù)價值理性和工具理性編織出新型的國家權(quán)力網(wǎng)絡(luò),國家意志通過算法得以展現(xiàn),國家監(jiān)控能力和社會管理能力得以加強[31]。

    數(shù)據(jù)算法權(quán)力是以國家為代表的治理主體運用技術(shù)手段再現(xiàn)現(xiàn)實權(quán)力的技術(shù)權(quán)力。算法基于機器優(yōu)勢與人類爭奪決策權(quán)力,基于架構(gòu)優(yōu)勢框定人類認知和引導(dǎo)行為模式,借助嵌入優(yōu)勢指數(shù)級擴張其影響,反向塑造社會運行方式[32]。在國家權(quán)力層面,算法借助效率優(yōu)勢嵌入社會治理體系中,影響國家權(quán)力的正常運行,逐漸發(fā)展為建構(gòu)大眾生存環(huán)境的影響力量,社會成員自愿淪為其附庸并甘心臣服于算法的監(jiān)控之下,久而久之國家公權(quán)力的正常運行亦無法擺脫算法的控制。在政黨權(quán)力層面,政黨借助算法將其階級意識外化為選民意識。數(shù)據(jù)與算法成為塑造政黨價值與政策秩序的手段,也成為政黨競爭中爭取的重要目標之一。在西方諸國,每隔幾年就上演一次算法競選大戰(zhàn)。特朗普應(yīng)用Twitter和Facebook大肆宣揚其政治主張以影響公民選舉行為,后成功當(dāng)選第45屆美國總統(tǒng),但在第46屆總統(tǒng)大選中卻因失去對上述兩大算法平臺的控制權(quán)而被政治對手打下擂臺,其后賬號被封標志著其“推特治國”政治抱負的破滅。

    數(shù)據(jù)算法權(quán)力與公共權(quán)力聯(lián)合,甚至在某些國家已初步達成政治權(quán)力結(jié)盟。數(shù)據(jù)算法權(quán)力參與國家社會治理時以社會大眾的認同為前提,這是以數(shù)據(jù)算法權(quán)力的高效率表現(xiàn)為基礎(chǔ)的。一方面,國家賦權(quán)與法律制衡失效滋生算法權(quán)威和算法獨裁,客觀上隱現(xiàn)算法寡頭的統(tǒng)治風(fēng)險,制約國家權(quán)力的順暢運行和政治平衡發(fā)展[33]。另一方面,數(shù)據(jù)算法權(quán)力和國家公權(quán)力達成技術(shù)聯(lián)盟,在社會層面則表現(xiàn)為一種權(quán)力的過渡,即國家與數(shù)據(jù)算法權(quán)力相互強化彼此的力量。算法以數(shù)據(jù)效率為首要原則,這與政治社會的民主平等原則背道而馳,終將把政治價值排除在算法技術(shù)原則之外。

    三 祛魅:數(shù)據(jù)算法權(quán)力治理回應(yīng)

    學(xué)術(shù)界對數(shù)據(jù)所有權(quán)爭議多聚焦于用戶、平臺和二者共有三種權(quán)屬分配模式的利弊權(quán)衡上,亦有少數(shù)學(xué)者提出數(shù)據(jù)統(tǒng)歸國有的主張[34]。對于個人數(shù)據(jù)和非個人數(shù)據(jù)而言,以上四種路徑會不可避免地帶來諸多嚴重社會問題。歐盟和美國在數(shù)據(jù)治理上有著許多可借鑒的成功經(jīng)驗,我們以此為基礎(chǔ)進一步展開制度建設(shè),力求完善適合我國本土的數(shù)據(jù)算法權(quán)力治理機制。

    (一)域外治理借鑒

    歐盟和美國的數(shù)據(jù)立法理念和司法實務(wù)在世界范圍內(nèi)產(chǎn)生深遠影響,帶來可借鑒的思路。歐盟《通用數(shù)據(jù)保護條例》(GDPR)實現(xiàn)數(shù)據(jù)權(quán)力主體、控制者、數(shù)據(jù)處理者和國家等多重主體權(quán)益保護的目標。其后相繼出臺《數(shù)據(jù)治理法案》《數(shù)據(jù)法案》《數(shù)據(jù)市場法案》《數(shù)據(jù)服務(wù)法案》和《建立歐盟數(shù)據(jù)經(jīng)濟》等法律規(guī)范,賦予數(shù)據(jù)生產(chǎn)者權(quán)利和鼓勵企業(yè)授權(quán)第三方訪問數(shù)據(jù)資源等,促進數(shù)據(jù)流通和增值。美國應(yīng)用“自由市場+部分領(lǐng)域強監(jiān)管”為基礎(chǔ)的實用主義路徑釋放數(shù)據(jù)利用與流通的價值[35]。雖然未在立法和司法中明確數(shù)據(jù)權(quán)屬問題,但是在尊重數(shù)據(jù)自由流通和數(shù)字經(jīng)濟價值的原則下以產(chǎn)業(yè)利益為向?qū)?,弱化個人數(shù)據(jù)主體的控制權(quán),強調(diào)企業(yè)在收集和應(yīng)用數(shù)據(jù)時應(yīng)遵守實體與程序規(guī)范。《隱私法》將未公開的個人數(shù)據(jù)置于隱私權(quán)框架內(nèi)予以保護,金融、健康和數(shù)據(jù)跨境等特殊領(lǐng)域內(nèi)可識別的個人信息被單獨立法[36]。除獲得商業(yè)秘密和知識產(chǎn)權(quán)保護的數(shù)據(jù)外,已公開的個人數(shù)據(jù)和非個人數(shù)據(jù)被納入《計算機欺詐與濫用法》(CFAA)或競爭法的調(diào)整范疇。

    歐盟方案是世界數(shù)據(jù)監(jiān)管體系中的典型代表。歐盟數(shù)據(jù)監(jiān)管權(quán)力緣起于個人信息保護的現(xiàn)實需要,他們堅信個人隱私權(quán)與個人數(shù)據(jù)權(quán)是公民人權(quán)在數(shù)據(jù)層面的表現(xiàn),且具有現(xiàn)實的憲法依據(jù)。該方案在行權(quán)機構(gòu)設(shè)計和權(quán)力分配上都提供了成熟的方案,亦存在諸多問題。

    在行權(quán)機構(gòu)的設(shè)計層面,歐盟數(shù)據(jù)監(jiān)督權(quán)主要由歐洲數(shù)據(jù)監(jiān)管局(European Data Protection Supervisor,EDPS)和各成員國的數(shù)據(jù)監(jiān)管機構(gòu)行使。EDPS由數(shù)據(jù)監(jiān)管監(jiān)督官及副官負責(zé),下設(shè)各部門辦公室和機關(guān)主管。2016年5月頒布《通用數(shù)據(jù)保護條例》(GDPR)后,增設(shè)數(shù)據(jù)監(jiān)管委員會和數(shù)據(jù)監(jiān)管官(Data Protection Officer,DPO)共同行使歐盟層面的調(diào)查權(quán)、矯正權(quán)、告知權(quán)、認證權(quán)、參訴權(quán)和行政處罰權(quán)等數(shù)據(jù)監(jiān)管權(quán)力。各國數(shù)據(jù)監(jiān)管機構(gòu)由歐盟各成員國依據(jù)《95指令》所創(chuàng)設(shè),用于對成員國內(nèi)部數(shù)據(jù)控制者進行監(jiān)督,保障《95指令》在成員國轉(zhuǎn)化成現(xiàn)實立法。GDPR第6章第51條規(guī)定,以上數(shù)據(jù)監(jiān)管機構(gòu)皆為獨立的政府部門,其機構(gòu)成員由國家高層獨立任命,機構(gòu)獨立行使職權(quán)和機構(gòu)運行獨立的財政權(quán)。此外,為促進GDPR在各成員國國內(nèi)順利適用和強化各國數(shù)據(jù)監(jiān)管機構(gòu)之間的合作,歐洲數(shù)據(jù)保護委員會從第29條工作組(WP29)分化出來,成立數(shù)據(jù)監(jiān)管統(tǒng)一促進部門。另設(shè)歐盟監(jiān)察專員(European Ombudsman,EO)行使對聯(lián)盟機構(gòu)或組織行政失職追責(zé)權(quán)。

    歐盟數(shù)據(jù)監(jiān)管權(quán)是由歐盟及其成員依賴政府機構(gòu)統(tǒng)一運行。從現(xiàn)有的權(quán)力配置方案看,其監(jiān)管權(quán)力配置合理、運行高效,實現(xiàn)了公民個人數(shù)據(jù)權(quán)利保護和規(guī)范數(shù)據(jù)服務(wù)市場的期望,但是依然存在監(jiān)管過于嚴格、統(tǒng)一指標難以落地以至于阻礙數(shù)據(jù)產(chǎn)業(yè)可持續(xù)發(fā)展的弊端,有待進一步優(yōu)化。

    (二)相關(guān)治理制度完善

    在國內(nèi),現(xiàn)有數(shù)據(jù)算法權(quán)力治理秉持兩種截然不同的上層方案:一種是數(shù)據(jù)國有化,即數(shù)據(jù)權(quán)力由以平臺企業(yè)和個人為代表的社會主體讓渡給國家,國家成為數(shù)據(jù)的權(quán)利人,個人數(shù)據(jù)與非個人數(shù)據(jù)均由國家所有,國家是數(shù)據(jù)的守門人;另一種則是數(shù)據(jù)完全私有化,即社會主體行使數(shù)據(jù)所有權(quán),政府出臺相應(yīng)的法律規(guī)范規(guī)制越位行為,扮演的是裁判者的角色。筆者認為,單獨實施以上任意方案都將不可避免地帶來嚴重的社會治理風(fēng)險。

    數(shù)據(jù)國有化誘發(fā)“算法利維坦”風(fēng)險?!八惴ɡS坦”是以數(shù)據(jù)算法權(quán)力越位為表征的政治風(fēng)險,其底層邏輯暗含公民權(quán)利讓渡于數(shù)據(jù)算法權(quán)力的半契約意義,導(dǎo)致數(shù)據(jù)算法權(quán)力凌駕于公民權(quán)利之上[37]。數(shù)據(jù)私有化無異于應(yīng)用市場調(diào)節(jié)機制解決其權(quán)屬爭議,那么數(shù)據(jù)必將成為資本爭奪的對象?;谫Y本化的數(shù)據(jù)投喂,數(shù)據(jù)算法權(quán)力的異化將不可難免。鑒于上文已詳細探討,此處不再贅述。

    1.數(shù)據(jù)權(quán)屬層面

    個人數(shù)據(jù)不僅具有記錄公民個人信息的基礎(chǔ)功能,也具有人權(quán)屬性。它不僅關(guān)乎公民個人隱私,更是踐行憲法人權(quán)保護原則的基本要求。隨著我國入世后國際經(jīng)濟文化交往的頻繁化,GDPR規(guī)定的基本原則和具體法律規(guī)范亦成為我國立法工作的必要遵循。故而,個人數(shù)據(jù)所有權(quán)歸于公民個人的權(quán)屬問題應(yīng)當(dāng)在立法層面得以明確。但是,個人數(shù)據(jù)的權(quán)屬明確并非意味著對其用益物權(quán)的絕對保留。個人數(shù)據(jù)亦有其價值屬性,特別是在當(dāng)下數(shù)字經(jīng)濟大發(fā)展的時代背景下,個人數(shù)據(jù)存在經(jīng)濟價值挖掘的現(xiàn)實可能性。因此,應(yīng)在符合監(jiān)管原則的前提下規(guī)范公民個人數(shù)據(jù)的收集與應(yīng)用。

    充分尊重非個人數(shù)據(jù)的經(jīng)濟屬性。與個人數(shù)據(jù)不同的是,非個人數(shù)據(jù)多為商業(yè)秘密和發(fā)明創(chuàng)造的實體所包含,因此它僅具有企業(yè)人格屬性而非公民人格屬性,不涉及個人隱私問題。數(shù)據(jù)作為現(xiàn)代商業(yè)的“石油”,它是驅(qū)動數(shù)字經(jīng)濟持續(xù)增長的動力。因此,數(shù)據(jù)權(quán)屬制度的構(gòu)建應(yīng)在驅(qū)動非個人數(shù)據(jù)有序流轉(zhuǎn)為基本原則下有序展開。

    鑒于此,擬建立基于多元中心的數(shù)據(jù)權(quán)屬模式。首先,在宏觀層面建立社會主體數(shù)據(jù)所有權(quán)制度,數(shù)據(jù)所有權(quán)與用益物權(quán)相分離,政府代表國家行使數(shù)據(jù)管理權(quán)。其次,在微觀層面建立個人數(shù)據(jù)公民個人所有、非個人數(shù)據(jù)由公民與平臺企業(yè)共同所有的數(shù)據(jù)權(quán)屬制度,非個人數(shù)據(jù)的用益物權(quán)歸于企業(yè)平臺,由政府代表國家進行管理,數(shù)據(jù)存儲、維護和加密等運維責(zé)任由政府承擔(dān)。建立企業(yè)使用個人數(shù)據(jù)的事前審批制度和收益共享制度,規(guī)范平臺企業(yè)獲取和使用數(shù)據(jù)的行為。構(gòu)建平臺企業(yè)算法綜合信用評分機制,以此規(guī)避或國有或私有引發(fā)的數(shù)據(jù)算法權(quán)力異化之風(fēng)險。

    2.數(shù)據(jù)監(jiān)管層面

    國家是執(zhí)行數(shù)據(jù)監(jiān)管職能的責(zé)任主體。政府在進行數(shù)據(jù)監(jiān)管時必須應(yīng)對以下兩方面的問題,即規(guī)范企業(yè)平臺的數(shù)據(jù)采集與應(yīng)用行為和平衡個人隱私保護、數(shù)據(jù)流動與數(shù)據(jù)應(yīng)用三者之間的關(guān)系[38],確保數(shù)據(jù)算法權(quán)力能夠在保障個人信息安全與國家數(shù)據(jù)安全、穩(wěn)定全球治理秩序的大前提下發(fā)揮效能。歐盟在構(gòu)建數(shù)據(jù)主體權(quán)利保護和規(guī)范數(shù)據(jù)采集方面已經(jīng)取得了舉世矚目的成就,因此,我國可在機構(gòu)設(shè)置上和立法原則上加以借鑒。此外,還應(yīng)當(dāng)加強跨國合作,積極參與全球數(shù)據(jù)算法權(quán)力治理體系的構(gòu)建,確保我國數(shù)據(jù)主權(quán)安全與全球治理秩序的持久穩(wěn)定。鑒于在我國大數(shù)據(jù)和算法技術(shù)的日漸成熟時顯現(xiàn)出的權(quán)力大集中和區(qū)塊化不明顯等特點,還應(yīng)當(dāng)做諸多制度安排。

    第一,建立資本強制退出制度。平臺企業(yè)借助強大的資本優(yōu)勢,匯聚人力優(yōu)勢、技術(shù)優(yōu)勢和政策優(yōu)勢強力進入數(shù)據(jù)算法領(lǐng)域。而我國法律尚未形成完整的體系,無力為相關(guān)數(shù)據(jù)主體提供有力的保障,亦對平臺企業(yè)的數(shù)據(jù)采集和應(yīng)用行為欠缺必要的規(guī)范力和約束力。因此,應(yīng)當(dāng)引入國有資本進駐,變數(shù)據(jù)權(quán)力為生產(chǎn)力分配。

    第二,加快出臺數(shù)據(jù)算法權(quán)力規(guī)制法律法規(guī),構(gòu)建完善的法律規(guī)范體系。目前我國對數(shù)據(jù)算法規(guī)制的成文法甚少,且不成體系。上位法《中華人民共和國個人信息保護法》《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國電子商務(wù)法》和《中華人民共和國民法典》中若干條款,且各法律規(guī)制對象相對獨立,尚未形成嚴謹?shù)姆审w系。下位法有2021年2月國務(wù)院反壟斷委員會發(fā)布的《國務(wù)院反壟斷委員會關(guān)于平臺經(jīng)濟領(lǐng)域的反壟斷指南》、2019年12月國家互聯(lián)網(wǎng)信息辦公室所公布的《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》、2012年全國人大常委會頒布的《全國人民代表大會常務(wù)委員會關(guān)于加強網(wǎng)絡(luò)信息保護的決定》和2014年最高人民法院發(fā)布的《最高人民法院關(guān)于審理利用信息網(wǎng)絡(luò)侵害人身權(quán)益民事糾紛案件適用法律若干問題的規(guī)定》等,雖然名目復(fù)雜,但立法主體層次和執(zhí)行力較低。此外,我國缺乏完整的法典,據(jù)此,應(yīng)當(dāng)加快出臺數(shù)據(jù)算法法典。明確數(shù)據(jù)采集主體的權(quán)利與義務(wù)及相關(guān)法律后果,明確數(shù)據(jù)使用者的使用范圍、使用目的和侵權(quán)責(zé)任,明確因數(shù)據(jù)算法侵權(quán)導(dǎo)致個人隱私問題的司法應(yīng)對方案等。

    第三,提升政府算法素養(yǎng),確保非個人數(shù)據(jù)自由流動。當(dāng)下,政府過度依賴部分平臺企業(yè)和數(shù)據(jù)企業(yè)已是不爭的事實。明確政府在數(shù)據(jù)與算法科技領(lǐng)域的戰(zhàn)略目標,加大資源投入,打破突出的數(shù)據(jù)壟斷問題已成為應(yīng)對當(dāng)下困局的舉措。鼓勵以三大運營商為首的國有通信企業(yè)投身底層算法的研發(fā)和運營事業(yè)當(dāng)中,確保我國政府對數(shù)據(jù)和算法領(lǐng)域的相關(guān)技術(shù)能夠做到自主可控。

    政府應(yīng)用技術(shù)手段打破數(shù)據(jù)“黑箱”,在底層算法中嵌入符合當(dāng)代主流價值觀的倫理原則,推動建設(shè)大數(shù)據(jù)平等獲取機制,實現(xiàn)非個人數(shù)據(jù)在市場上的自由流動。同時,相關(guān)部門還應(yīng)重視數(shù)據(jù)處理能力的提升,實時掌握一手原始數(shù)據(jù),避免對平臺企業(yè)的過度依賴,避免因數(shù)據(jù)鴻溝帶來的對弱勢群體的技術(shù)性忽略,以此提高政府精準施治的能力。

    3.算法監(jiān)管層面

    算法技術(shù)引發(fā)的社會治理問題應(yīng)該回歸技術(shù)本身,在監(jiān)管理念上明確算法的輔助性和人的主體性。政府機構(gòu)對數(shù)據(jù)算法的過度依賴和數(shù)據(jù)算法權(quán)力過分集中是引發(fā)“算法利維坦”的重要誘因,鑒于此,應(yīng)當(dāng)建立相關(guān)程序機制應(yīng)對該困局。建立數(shù)據(jù)算法決策的程序化機制,使算法治理過程的各個環(huán)節(jié)相互牽制,突出人的決策在整個決策鏈中的決定性作用,實現(xiàn)數(shù)據(jù)算法決策過程中的階段性制衡。將數(shù)據(jù)算法權(quán)力下放到基礎(chǔ)環(huán)節(jié),把原先集中于單一數(shù)據(jù)算法系統(tǒng)實現(xiàn)的決策分散至多個相關(guān)基礎(chǔ)算法完成,實現(xiàn)由單一決策鏈式向復(fù)合決策鏈式轉(zhuǎn)變,通過此舉降低數(shù)據(jù)算法權(quán)力專斷的風(fēng)險。

    建立算法對數(shù)據(jù)分層處理程序化機制,明確算法在公共數(shù)據(jù)處理中的基礎(chǔ)性作用,而非決定性作用?;A(chǔ)數(shù)據(jù)的收集與處理下放至算法執(zhí)行,非基礎(chǔ)數(shù)據(jù)的處理由人類借助基礎(chǔ)算法完成,降低高級算法在處理非基礎(chǔ)數(shù)據(jù)中的頻率。一方面,在此基礎(chǔ)上建立算法價值審查機制和價值糾偏機制,防止“黑箱數(shù)據(jù)”投喂算法后誘發(fā)算法偏見和歧視反向抽喂大數(shù)據(jù),以避免釀成數(shù)據(jù)與算法雙向惡性供養(yǎng)的循環(huán)的后果;另一方面,需要建構(gòu)在數(shù)據(jù)反饋階段的數(shù)據(jù)信息多元化整合機制,力圖防止數(shù)據(jù)算法權(quán)力治理的決策失真和合法性下降的問題出現(xiàn)。

    余 論

    大數(shù)據(jù)與算法技術(shù)的高速發(fā)展不僅給人類帶來了前所未有的便利條件,也激發(fā)了一系列的社會矛盾。將數(shù)據(jù)算法權(quán)力納入法治化綜合治理軌道,梳理其發(fā)展脈絡(luò),規(guī)避其不利后果,引導(dǎo)其負責(zé)任,已成為當(dāng)下學(xué)術(shù)界和實務(wù)界的共識。中國的數(shù)據(jù)算法權(quán)力治理需要有本國自己的方案,需要中國治理智慧。然而,無論是中國智慧還是西方策略均為人類智慧的組成部分,東、西方各國在社會治理上存在諸多相通之處,因而歐美在數(shù)據(jù)算法治理方面的成功經(jīng)驗也能成為我國治理社會問題的可用借鑒。

    數(shù)據(jù)作為數(shù)據(jù)算法權(quán)力的源動力,也是數(shù)據(jù)算法權(quán)力異化的原罪。對處于共生關(guān)系下的數(shù)據(jù)算法權(quán)力的治理應(yīng)當(dāng)回歸數(shù)據(jù)的本源,在明確多元中心的數(shù)據(jù)權(quán)屬關(guān)系前提下,從明確資本強制退出制度、修訂以數(shù)據(jù)算法法典為代表的法制體系和提升政府技術(shù)素養(yǎng)等角度展開數(shù)據(jù)算法治理。在保障公民個人數(shù)據(jù)安全和促進非個人數(shù)據(jù)自流通的大框架內(nèi)有限借鑒西方治理經(jīng)驗,形成我國本土化的系統(tǒng)化的理論研究體系和治理方案。

    參考文獻:

    [1]尹華容,王惠民.數(shù)據(jù)權(quán)力的興起、異化及規(guī)制[J].湖南大學(xué)學(xué)報(社會科學(xué)版),2022(3):124-132.

    [2]李巨星.算法在實際生活中的應(yīng)用場景與影響[EB/OL].[2022-09-29].https://www.xianjichina.com/news/details_285992.html.

    [3]姚怡帆,葉中華.數(shù)字化轉(zhuǎn)型中的政府與企業(yè):角色定位與關(guān)系建構(gòu)[J].鄭州大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2021(4):26-31.

    [4]錢晶晶,何筠.傳統(tǒng)企業(yè)動態(tài)能力構(gòu)建與數(shù)字化轉(zhuǎn)型的機理研究[J].中國軟科學(xué),2021(6):35-143.

    [5]吳江,陳婷,龔藝巍,等.企業(yè)數(shù)字化轉(zhuǎn)型理論框架和研究展望[J].管理學(xué)報,2021(12):1871-1880.

    [6]焦豪,楊季楓,王培暖,等.數(shù)據(jù)驅(qū)動的企業(yè)動態(tài)能力作用機制研究:基于數(shù)據(jù)全生命周期管理的數(shù)字化轉(zhuǎn)型過程分析[J].中國工業(yè)經(jīng)濟,2021(11):174-192.

    [7]陳威如,王節(jié)祥.依附式升級:平臺生態(tài)系統(tǒng)中參與者的數(shù)字化轉(zhuǎn)型戰(zhàn)略[J].管理世界,2021(10):195-215.

    [8]孟天廣.政府?dāng)?shù)字化轉(zhuǎn)型的要素、機制與路徑——兼論“技術(shù)賦能”與“技術(shù)賦權(quán)”的雙向驅(qū)動[J].治理研究,2021(1):5-14.

    [9]ROSSI F.Building trust in artificial intelligence[J].Journal of International Affairs,2018(1):127-134.

    [10]劉順.資本邏輯與算法正義——對數(shù)字資本主義的批判和超越[J].經(jīng)濟學(xué)家,2021(5):18-20.

    [11]孫瑩.人工智能算法規(guī)制的原理與方法[J].西南政法大學(xué)學(xué)報,2020(1):86-89.

    [12]時盛杰,王一涵.從能力到權(quán)力:算法權(quán)力的形成與發(fā)展[J].科技傳播,2021(4):4-5.

    [13]譚九生,范曉韻.“算法權(quán)力”的異議與證成[J].北京行政學(xué)院學(xué)報,2021(6):14-15.

    [14]V AHMADJIAN.Symbiosis:An introduction to biological association[M].New England:University Press of New England,1986:65-70.

    [15]楊玲麗.共生理論在社會科學(xué)領(lǐng)域的應(yīng)用[J].社會科學(xué)論壇,2010(2):57-64.

    [16]阿爾弗雷德·諾思·懷特海.過程與實在[M].楊富斌,譯.北京:中國城市出版社,2013:384.

    [17]胡守鈞,張鳳池.以社會共生視角開展社會研究[J].長安大學(xué)學(xué)報(社會科學(xué)版),2016(3):59-62.

    [18]劉煒,謝蓉,張磊,等.面向人文研究的國家數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)[J].中國圖書館學(xué)報,2016(5):29-39.

    [19]STRAUSS S.Datafication and the seductive power of uncertainty —— A critical exploration of big data enthusiasm[J].Information,2015(4):836-847.

    [20]林曦,郭蘇建.算法不正義與大數(shù)據(jù)倫理[J].社會科學(xué),2020(8):3-22.

    [21]COHEN J E.What privacy is for[J].Harvard Law Review,2013(7):1904-1933.

    [22]胡鍵.算法治理及其倫理[J].行政論壇,2021(4):41-49.

    [23]彭蘭.假象、算法囚徒與權(quán)利讓渡:數(shù)據(jù)與算法時代的新風(fēng)險[J].西北師大學(xué)報(社會科學(xué)版),2018(5):20-29.

    [24]梁玉成,張詠雪.算法治理、數(shù)據(jù)鴻溝與數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)[J].西安交通大學(xué)學(xué)報(社會科學(xué)版),2022(2):94-98.

    [25]王利明.論數(shù)據(jù)權(quán)益:以“權(quán)利束”為視角[J].政治與法律,2022(7):100-103.

    [26]順豐VS菜鳥:大數(shù)據(jù)爭奪戰(zhàn)[EB/OL].[2022-10-30].https://www.sohu.com/a/148402196_120702.

    [27]工信部回應(yīng)華為騰訊數(shù)據(jù)之爭:督促企業(yè)規(guī)范收集[EB/OL].[2022-10-30].https://www.sohu.com/a/164802519_481645.

    [28]申衛(wèi)星.論數(shù)據(jù)用益權(quán)[J].中國社會科學(xué),2020(11):110-131.

    [29]崔淑潔.數(shù)據(jù)權(quán)屬界定及“卡—梅框架”下數(shù)據(jù)保護利用規(guī)則體系構(gòu)建[J].廣東財經(jīng)大學(xué)學(xué)報,2020(6):78-87.

    [30]張梅芳,李蓉.大數(shù)據(jù)鴻溝的倫理風(fēng)險治理研究[J].編輯學(xué)刊,2022(3):68-73.

    [31]王小芳,王磊.“技術(shù)利維坦”:人工智能嵌入社會治理的潛在風(fēng)險與政府應(yīng)對[J].電子政務(wù),2019(5):88-89.

    [32]張凌寒.算法權(quán)力的興起、異化及法律規(guī)制[J].法商研究,2019(4):66-69.

    [33]張愛軍.“算法利維坦”的風(fēng)險及其規(guī)制[J].探索與爭鳴,2021(1):95-102.

    [34]張玉潔.國家所有:數(shù)據(jù)資源權(quán)屬的中國方案與制度展開[J].政治與法律,2020(8):15-16.

    [35]FRANK H.Easterbrook,cyberspace and the law of the horse[J].University of Chicago Legal Forum,1996:207-208.

    [36]網(wǎng)易號.美國第五部州隱私法來了!照片、視頻不屬于生物特征數(shù)據(jù)[EB/OL].[2022-11-09].https://www.163.com/dy/article/H7MB9VLF05129QAF.html.

    [37]張愛軍.“算法利維坦”的風(fēng)險及其規(guī)制[J].探索與爭鳴,2021(1):95-102.

    [38]陳鵬.數(shù)據(jù)的權(quán)力:應(yīng)用與規(guī)制[J].安徽師范大學(xué)學(xué)報(人文社會科學(xué)版),2021(5):111-119.

    【責(zé)任編輯 蔣 宇】

    少妇被粗大猛烈的视频| 九色成人免费人妻av| 欧美性感艳星| 国产69精品久久久久777片| 日韩电影二区| 成人毛片a级毛片在线播放| 国产欧美日韩综合在线一区二区| 国产成人av激情在线播放 | 午夜福利,免费看| 天天躁夜夜躁狠狠久久av| 精品午夜福利在线看| 在线观看免费高清a一片| 另类精品久久| 亚洲中文av在线| 男人操女人黄网站| 免费观看性生交大片5| 久久精品久久久久久久性| 少妇被粗大的猛进出69影院 | 亚洲国产精品一区二区三区在线| 一级片'在线观看视频| 亚洲综合精品二区| 乱码一卡2卡4卡精品| 色94色欧美一区二区| 五月伊人婷婷丁香| 亚洲色图综合在线观看| 18禁观看日本| 亚洲av二区三区四区| 久久精品国产自在天天线| 综合色丁香网| 中文字幕亚洲精品专区| 欧美激情极品国产一区二区三区 | 黄片播放在线免费| 中文字幕亚洲精品专区| 伦理电影大哥的女人| 美女主播在线视频| av卡一久久| 欧美成人精品欧美一级黄| 国产毛片在线视频| 日韩中字成人| 少妇猛男粗大的猛烈进出视频| 亚洲国产成人一精品久久久| 国产高清不卡午夜福利| 亚洲av福利一区| 日本欧美国产在线视频| av在线老鸭窝| 精品人妻偷拍中文字幕| av一本久久久久| 九色亚洲精品在线播放| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲国产毛片av蜜桃av| 精品熟女少妇av免费看| 多毛熟女@视频| 亚洲国产精品999| 亚洲一区二区三区欧美精品| 成人漫画全彩无遮挡| 精品人妻熟女av久视频| 午夜福利,免费看| av播播在线观看一区| 丰满乱子伦码专区| 51国产日韩欧美| 又黄又爽又刺激的免费视频.| 国产av精品麻豆| 亚洲av男天堂| av女优亚洲男人天堂| 男女无遮挡免费网站观看| 成人毛片a级毛片在线播放| 国产精品三级大全| 久久人人爽人人片av| 亚洲精华国产精华液的使用体验| 午夜av观看不卡| 日韩强制内射视频| 亚洲综合精品二区| 国产69精品久久久久777片| 欧美一级a爱片免费观看看| 国产精品一区二区在线观看99| 哪个播放器可以免费观看大片| 桃花免费在线播放| 国产精品女同一区二区软件| 国产 精品1| 大又大粗又爽又黄少妇毛片口| 欧美最新免费一区二区三区| 少妇丰满av| av在线播放精品| 超碰97精品在线观看| 青春草视频在线免费观看| 你懂的网址亚洲精品在线观看| 亚洲欧洲国产日韩| 黑人欧美特级aaaaaa片| 一区二区三区免费毛片| 国内精品宾馆在线| 高清午夜精品一区二区三区| 久久久久久久久久人人人人人人| 99热6这里只有精品| 晚上一个人看的免费电影| 美女中出高潮动态图| 国产精品一区二区三区四区免费观看| 蜜臀久久99精品久久宅男| 女人精品久久久久毛片| 视频区图区小说| 日韩中字成人| 国产黄片视频在线免费观看| 精品一区二区三区视频在线| 一本大道久久a久久精品| 国产成人a∨麻豆精品| 国产黄片视频在线免费观看| 国产片内射在线| 亚洲欧洲日产国产| 亚州av有码| 亚洲国产精品专区欧美| 亚洲天堂av无毛| 日产精品乱码卡一卡2卡三| 亚洲av欧美aⅴ国产| 天堂中文最新版在线下载| 老司机影院毛片| 久久久久久久久久久免费av| 国产一区二区三区综合在线观看 | 狂野欧美白嫩少妇大欣赏| 在现免费观看毛片| 日韩欧美精品免费久久| 91久久精品国产一区二区成人| 国产日韩一区二区三区精品不卡 | 亚洲成人手机| 久久99热这里只频精品6学生| 国产视频首页在线观看| 九色成人免费人妻av| 大码成人一级视频| 黑人高潮一二区| 亚洲av.av天堂| www.色视频.com| 国产国语露脸激情在线看| 亚洲av成人精品一二三区| 日本午夜av视频| 久久99精品国语久久久| 亚洲精品aⅴ在线观看| 欧美精品一区二区大全| 夜夜看夜夜爽夜夜摸| 精品国产露脸久久av麻豆| 成人亚洲欧美一区二区av| 女人久久www免费人成看片| 国产成人一区二区在线| 国产精品不卡视频一区二区| 国产av一区二区精品久久| 国产精品国产av在线观看| 免费人成在线观看视频色| 精品久久久噜噜| 又黄又爽又刺激的免费视频.| 乱码一卡2卡4卡精品| 久久久国产欧美日韩av| av在线app专区| 国产老妇伦熟女老妇高清| 亚洲精品av麻豆狂野| 日本wwww免费看| www.色视频.com| 七月丁香在线播放| 日韩大片免费观看网站| 桃花免费在线播放| 国产精品欧美亚洲77777| 欧美日韩视频高清一区二区三区二| 色视频在线一区二区三区| 亚洲色图综合在线观看| 一二三四中文在线观看免费高清| 黄色毛片三级朝国网站| a 毛片基地| 自线自在国产av| 人人妻人人爽人人添夜夜欢视频| 赤兔流量卡办理| 久久毛片免费看一区二区三区| 亚洲人成网站在线观看播放| 久久这里有精品视频免费| 日韩精品免费视频一区二区三区 | 天堂8中文在线网| 丰满迷人的少妇在线观看| 丰满迷人的少妇在线观看| 天堂8中文在线网| 最近中文字幕高清免费大全6| 国产高清有码在线观看视频| av在线播放精品| 午夜福利视频精品| 午夜福利视频精品| 精品卡一卡二卡四卡免费| 精品少妇内射三级| 精品卡一卡二卡四卡免费| av卡一久久| av电影中文网址| 女性被躁到高潮视频| 下体分泌物呈黄色| 最近的中文字幕免费完整| 亚洲人与动物交配视频| 秋霞在线观看毛片| 婷婷色av中文字幕| 亚洲精品国产av蜜桃| 熟妇人妻不卡中文字幕| 97在线人人人人妻| 国产精品麻豆人妻色哟哟久久| 中文字幕久久专区| 国产又色又爽无遮挡免| 亚洲无线观看免费| 一个人看视频在线观看www免费| 国产精品一区二区三区四区免费观看| 亚洲av中文av极速乱| 亚洲精品国产色婷婷电影| 国产精品国产三级国产专区5o| 午夜视频国产福利| 一级,二级,三级黄色视频| 色吧在线观看| a级毛片免费高清观看在线播放| 观看美女的网站| 女性被躁到高潮视频| 日韩亚洲欧美综合| 国产亚洲精品久久久com| av女优亚洲男人天堂| 少妇熟女欧美另类| 国产精品蜜桃在线观看| 特大巨黑吊av在线直播| 亚洲av不卡在线观看| 伊人久久国产一区二区| 欧美97在线视频| 97超碰精品成人国产| 久久亚洲国产成人精品v| 亚洲国产精品999| 国产男女超爽视频在线观看| 亚洲欧美一区二区三区黑人 | 精品卡一卡二卡四卡免费| 日本欧美国产在线视频| 亚洲欧美日韩另类电影网站| 国产黄色视频一区二区在线观看| 午夜精品国产一区二区电影| 亚洲精品乱码久久久v下载方式| 青春草视频在线免费观看| 国产毛片在线视频| 欧美最新免费一区二区三区| 波野结衣二区三区在线| 国产av精品麻豆| 国产精品 国内视频| 欧美日韩精品成人综合77777| 少妇被粗大猛烈的视频| 一区二区av电影网| 黑人猛操日本美女一级片| 激情五月婷婷亚洲| 色视频在线一区二区三区| 日韩免费高清中文字幕av| 韩国av在线不卡| 亚洲av在线观看美女高潮| 久久久欧美国产精品| 夜夜看夜夜爽夜夜摸| 人成视频在线观看免费观看| 亚洲激情五月婷婷啪啪| 成人国产麻豆网| 一边亲一边摸免费视频| 国产精品女同一区二区软件| 卡戴珊不雅视频在线播放| 欧美精品亚洲一区二区| 在线亚洲精品国产二区图片欧美 | 如日韩欧美国产精品一区二区三区 | 内地一区二区视频在线| 国产免费又黄又爽又色| 精品人妻熟女毛片av久久网站| 国产免费现黄频在线看| 爱豆传媒免费全集在线观看| 精品一区二区免费观看| 有码 亚洲区| 啦啦啦中文免费视频观看日本| 18禁在线无遮挡免费观看视频| 亚洲四区av| 热re99久久精品国产66热6| av在线app专区| 欧美老熟妇乱子伦牲交| 国产探花极品一区二区| 久久久国产精品麻豆| 日韩av在线免费看完整版不卡| 精品久久久久久久久亚洲| 精品久久蜜臀av无| 免费av中文字幕在线| 欧美日韩视频高清一区二区三区二| 大香蕉97超碰在线| 香蕉精品网在线| 丝袜喷水一区| 少妇被粗大的猛进出69影院 | 少妇熟女欧美另类| 精品亚洲成国产av| 亚洲无线观看免费| 精品国产露脸久久av麻豆| 国产永久视频网站| 亚洲欧美成人综合另类久久久| av又黄又爽大尺度在线免费看| 我的老师免费观看完整版| 亚洲av福利一区| 麻豆精品久久久久久蜜桃| 成人亚洲欧美一区二区av| 伦理电影免费视频| 麻豆精品久久久久久蜜桃| 亚洲中文av在线| 七月丁香在线播放| 狂野欧美激情性bbbbbb| 伦精品一区二区三区| 免费观看a级毛片全部| 中文字幕精品免费在线观看视频 | 午夜激情久久久久久久| 日韩中文字幕视频在线看片| 国产精品女同一区二区软件| 亚洲欧美中文字幕日韩二区| 新久久久久国产一级毛片| 伦理电影大哥的女人| 伊人亚洲综合成人网| 最近最新中文字幕免费大全7| 欧美日韩视频高清一区二区三区二| 熟女人妻精品中文字幕| 内地一区二区视频在线| 大又大粗又爽又黄少妇毛片口| 亚洲经典国产精华液单| 久久99蜜桃精品久久| 久久人人爽人人爽人人片va| 观看美女的网站| 黄色视频在线播放观看不卡| 国产日韩欧美亚洲二区| 欧美人与善性xxx| 全区人妻精品视频| 99热国产这里只有精品6| 亚洲欧洲精品一区二区精品久久久 | av.在线天堂| 亚洲欧美成人综合另类久久久| 一级a做视频免费观看| 99久久综合免费| 久久久久久人妻| 高清视频免费观看一区二区| 人体艺术视频欧美日本| 中文欧美无线码| 久久ye,这里只有精品| 热99国产精品久久久久久7| 国产精品久久久久久精品古装| 少妇精品久久久久久久| 色网站视频免费| 免费播放大片免费观看视频在线观看| av一本久久久久| 亚洲综合精品二区| av在线app专区| 日韩熟女老妇一区二区性免费视频| 男女边摸边吃奶| 我的女老师完整版在线观看| 美女福利国产在线| 香蕉精品网在线| 另类亚洲欧美激情| 最近中文字幕2019免费版| 极品人妻少妇av视频| 免费观看无遮挡的男女| 51国产日韩欧美| av在线老鸭窝| 成年美女黄网站色视频大全免费 | 在线 av 中文字幕| 久久国产精品男人的天堂亚洲 | 国产伦理片在线播放av一区| 纵有疾风起免费观看全集完整版| 亚洲欧美成人综合另类久久久| 免费观看无遮挡的男女| 欧美 日韩 精品 国产| 在线播放无遮挡| 天天操日日干夜夜撸| 国产一区亚洲一区在线观看| 亚洲国产最新在线播放| 欧美亚洲日本最大视频资源| 午夜视频国产福利| 亚洲激情五月婷婷啪啪| 亚洲内射少妇av| videossex国产| 国产在线一区二区三区精| 成人亚洲精品一区在线观看| 观看av在线不卡| 久久99热这里只频精品6学生| 亚洲精品国产av蜜桃| 色94色欧美一区二区| 免费观看a级毛片全部| 啦啦啦视频在线资源免费观看| 丝袜在线中文字幕| 亚洲人成网站在线观看播放| 日本与韩国留学比较| 天堂8中文在线网| 少妇人妻精品综合一区二区| 久久狼人影院| 亚洲精品乱码久久久久久按摩| 有码 亚洲区| 我要看黄色一级片免费的| 欧美一级a爱片免费观看看| 亚洲av日韩在线播放| 日韩大片免费观看网站| 亚洲高清免费不卡视频| 97在线人人人人妻| 国产av码专区亚洲av| 一区二区av电影网| 亚洲国产最新在线播放| 在线观看人妻少妇| 精品国产露脸久久av麻豆| 精品久久久久久电影网| 一本久久精品| 在线观看一区二区三区激情| 亚洲人成77777在线视频| 又大又黄又爽视频免费| 最近手机中文字幕大全| 老女人水多毛片| 美女脱内裤让男人舔精品视频| 亚洲av福利一区| 国产 精品1| 国产淫语在线视频| 这个男人来自地球电影免费观看 | 亚洲精品乱久久久久久| 2021少妇久久久久久久久久久| 丁香六月天网| 纵有疾风起免费观看全集完整版| 亚洲欧洲日产国产| 九色亚洲精品在线播放| 国产淫语在线视频| 欧美日韩成人在线一区二区| 久久综合国产亚洲精品| 三级国产精品片| 岛国毛片在线播放| 99热网站在线观看| 国模一区二区三区四区视频| 国产乱人偷精品视频| 22中文网久久字幕| 黑人猛操日本美女一级片| 亚洲欧美一区二区三区国产| 十八禁网站网址无遮挡| 亚洲欧洲国产日韩| 99久久综合免费| 夜夜爽夜夜爽视频| 亚洲一区二区三区欧美精品| av一本久久久久| 久久99热6这里只有精品| 国产成人精品在线电影| 99久久中文字幕三级久久日本| av电影中文网址| 国产精品国产av在线观看| 街头女战士在线观看网站| 天堂8中文在线网| 亚州av有码| 国产av国产精品国产| 纯流量卡能插随身wifi吗| 国产男女超爽视频在线观看| 在线观看三级黄色| a级毛片黄视频| av视频免费观看在线观看| 又大又黄又爽视频免费| 亚洲精品日本国产第一区| 久久久久久久久久人人人人人人| 各种免费的搞黄视频| 妹子高潮喷水视频| 看免费成人av毛片| www.色视频.com| 日韩一区二区三区影片| 不卡视频在线观看欧美| 精品国产一区二区久久| 久久久久国产精品人妻一区二区| 国产毛片在线视频| 日韩伦理黄色片| 精品人妻熟女av久视频| 在线精品无人区一区二区三| 亚洲欧洲国产日韩| 亚洲精品日本国产第一区| 日本黄色日本黄色录像| 又大又黄又爽视频免费| 国产在视频线精品| 人人妻人人爽人人添夜夜欢视频| av福利片在线| 性色avwww在线观看| 久久av网站| 亚洲av成人精品一二三区| 99久久精品国产国产毛片| 人人妻人人爽人人添夜夜欢视频| 亚洲欧洲国产日韩| 高清欧美精品videossex| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 在线观看一区二区三区激情| 我的老师免费观看完整版| √禁漫天堂资源中文www| 中文字幕制服av| 在线看a的网站| 亚洲av电影在线观看一区二区三区| 久久精品久久久久久久性| 免费观看在线日韩| 狂野欧美激情性xxxx在线观看| 晚上一个人看的免费电影| 两个人的视频大全免费| 精品少妇久久久久久888优播| 自线自在国产av| 亚洲精品亚洲一区二区| 热re99久久国产66热| 97在线人人人人妻| 制服诱惑二区| 中文乱码字字幕精品一区二区三区| 国产伦理片在线播放av一区| 久久久久视频综合| 国产精品一二三区在线看| 国产成人精品在线电影| 亚洲av电影在线观看一区二区三区| 九九爱精品视频在线观看| 国产女主播在线喷水免费视频网站| 美女福利国产在线| av专区在线播放| 欧美日韩精品成人综合77777| 久久久久国产精品人妻一区二区| 黄色配什么色好看| 五月玫瑰六月丁香| 亚洲图色成人| 亚洲精品乱码久久久久久按摩| 国产成人免费无遮挡视频| 国产精品不卡视频一区二区| 极品人妻少妇av视频| 97精品久久久久久久久久精品| 国产精品久久久久久久电影| 久久久久人妻精品一区果冻| 高清在线视频一区二区三区| 日本色播在线视频| 国产精品熟女久久久久浪| 久久久久久久久久成人| 男女高潮啪啪啪动态图| 久久久久久人妻| 精品人妻偷拍中文字幕| 美女cb高潮喷水在线观看| 国产精品人妻久久久久久| 一本—道久久a久久精品蜜桃钙片| 啦啦啦啦在线视频资源| 国产有黄有色有爽视频| 黑人欧美特级aaaaaa片| 99久久精品一区二区三区| 99热国产这里只有精品6| 人妻系列 视频| 大话2 男鬼变身卡| 高清不卡的av网站| 伦精品一区二区三区| xxx大片免费视频| 午夜精品国产一区二区电影| 国产精品成人在线| 久久国内精品自在自线图片| 免费看光身美女| 久久午夜综合久久蜜桃| 精品亚洲成a人片在线观看| 精品国产乱码久久久久久小说| 97精品久久久久久久久久精品| 人人妻人人澡人人爽人人夜夜| 青青草视频在线视频观看| 精品一区二区三卡| 国产欧美日韩综合在线一区二区| 成人二区视频| 精品人妻偷拍中文字幕| 免费观看的影片在线观看| 人人妻人人澡人人爽人人夜夜| 成人影院久久| 在线观看免费视频网站a站| 日日撸夜夜添| 久热久热在线精品观看| av在线观看视频网站免费| 2021少妇久久久久久久久久久| 久久鲁丝午夜福利片| 久久久久久久精品精品| 精品人妻在线不人妻| 久久久久视频综合| 精品亚洲成a人片在线观看| 中文欧美无线码| 人妻系列 视频| 欧美精品人与动牲交sv欧美| 欧美日韩国产mv在线观看视频| 免费高清在线观看日韩| 色视频在线一区二区三区| 国产av一区二区精品久久| 国产男女内射视频| 高清在线视频一区二区三区| 成人国产麻豆网| 欧美亚洲日本最大视频资源| 天天躁夜夜躁狠狠久久av| 国产精品一区www在线观看| 一级毛片黄色毛片免费观看视频| 亚洲精品av麻豆狂野| 黄色配什么色好看| 成人影院久久| 国产又色又爽无遮挡免| 国产亚洲欧美精品永久| 涩涩av久久男人的天堂| 日韩大片免费观看网站| 自线自在国产av| 欧美人与性动交α欧美精品济南到 | 97在线视频观看| 男人添女人高潮全过程视频| 国产精品国产三级国产av玫瑰| 亚洲国产成人一精品久久久| 少妇被粗大猛烈的视频| 欧美3d第一页| 18在线观看网站| 国产精品一二三区在线看| 久久热精品热| 午夜激情福利司机影院| 永久免费av网站大全| 亚洲四区av| 永久免费av网站大全| 大香蕉97超碰在线| 人成视频在线观看免费观看| 一级毛片我不卡| 精品国产露脸久久av麻豆| 午夜91福利影院| 国产免费现黄频在线看| 亚洲国产最新在线播放| 五月开心婷婷网| 国模一区二区三区四区视频| videosex国产| 91精品国产国语对白视频| 免费av不卡在线播放| 久久 成人 亚洲| 老司机影院毛片| 99久久综合免费| 欧美最新免费一区二区三区| 精品久久久精品久久久| 欧美最新免费一区二区三区| 最近手机中文字幕大全| 99精国产麻豆久久婷婷| 国语对白做爰xxxⅹ性视频网站| 最近中文字幕2019免费版| 久久午夜福利片|