• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法推薦風(fēng)險(xiǎn)影響因素系統(tǒng)動力學(xué)研究

    2023-06-18 19:44:48崔文波張濤孫欽瑩馬海群
    圖書與情報(bào) 2023年1期
    關(guān)鍵詞:算法推薦系統(tǒng)動力學(xué)仿真分析

    崔文波 張濤 孫欽瑩 馬海群

    摘? ?要:作為智能情報(bào)分析中的重要應(yīng)用場景,算法推薦提供的個(gè)性化和精準(zhǔn)化信息服務(wù)為現(xiàn)代快速決策增加了價(jià)值,但算法推薦風(fēng)險(xiǎn)問題也尤為突出,探尋算法推薦風(fēng)險(xiǎn)影響因素對科學(xué)地提出算法風(fēng)險(xiǎn)治理策略至關(guān)重要。文章采用LDA模型對科研論文進(jìn)行主題聚類,聚類結(jié)果與《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》進(jìn)行相似度計(jì)算,以識別算法推薦風(fēng)險(xiǎn)影響因素,從風(fēng)險(xiǎn)產(chǎn)生和風(fēng)險(xiǎn)治理兩個(gè)維度構(gòu)建系統(tǒng)動力學(xué)模型,然后利用Vensim PLE軟件和文本計(jì)算數(shù)據(jù)進(jìn)行仿真與靈敏度分析。研究識別出算法素養(yǎng)、大數(shù)據(jù)技術(shù)、算法偏見、網(wǎng)絡(luò)安全審查等影響因素,通過文本計(jì)算獲得的數(shù)據(jù)進(jìn)行仿真能夠較好的擬合算法推薦風(fēng)險(xiǎn)治理現(xiàn)實(shí)情況,并基于靈敏度分析提出如下建議:加強(qiáng)算法素養(yǎng)教育,提高個(gè)人隱私保護(hù)意識;建立算法全流程監(jiān)管機(jī)制,提升算法的可解釋性;建立“制度+技術(shù)”機(jī)制,提高平臺風(fēng)險(xiǎn)防范能力。

    關(guān)鍵詞:算法推薦;LDA;主題聚類;系統(tǒng)動力學(xué);仿真分析

    中圖分類號:N941.3? ?文獻(xiàn)標(biāo)識碼:A? ?DOI:10.11968/tsyqb.1003-6938.2023008

    Abstract As an important application scenario in intelligent intelligence analysis, personalized and precise information services provided by algorithm recommendation add value to modern fast decision-making, but the problem of algorithm recommendation risk is also particularly prominent. Exploring the influencing factors of algorithm recommendation risk is crucial to scientifically proposing algorithm risk governance strategies, so this study has important practical significance. This paper using the LDA model for research paper topic clustering, clustering results should be compared with the "Regulations on the Recommendation Management administration of Internet Information Service Algorithms" for similarity calculation, to identify the risk influencing factors of algorithm recommendation, the system dynamics model is constructed from two dimensions of risk generation and risk governance, and then use Vensim PLE calculation software and text data to analyze simulation and sensitivity. Identify algorithm literacy, big data technology, and algorithm of prejudice, network security, and other factors, for the calculation of the data obtained through the calculation of the text to a better fitting method recommended management reality, and put forward the following suggestions based on sensitivity analysis: strengthen algorithm literacy education, to improve personal privacy protection awareness; Establish the whole process supervision mechanism of the algorithm to improve the interpretability of the algorithm; We will establish an "institutional and technological governance" mechanism to improve the platform's ability to prevent risks.

    Key words algorithm recommendation; LDA; topic clustering; system dynamics; the simulation analysis

    隨著大數(shù)據(jù)和人工智能的快速發(fā)展與應(yīng)用,算法推薦逐漸進(jìn)入公眾視野,它通過提供個(gè)性化和精準(zhǔn)化信息來增加價(jià)值、輔助決策,以智能情報(bào)為例,近年來算法推薦被廣泛應(yīng)用到智能情報(bào)分析項(xiàng)目中[1],并且在科技情報(bào)檢索[2]、科技情報(bào)關(guān)聯(lián)[3]等方面發(fā)揮了重要作用。但由于算法推薦本身的不透明性、不可解釋性以及各個(gè)平臺對用戶隱私安全保護(hù)強(qiáng)度不一,平臺質(zhì)量無法保障等造成大數(shù)據(jù)殺熟、隱私泄露事件頻發(fā),嚴(yán)重威脅用戶的隱私安全,成為當(dāng)下亟需解決的問題。為此,2021年我國出臺了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》(以下簡稱《規(guī)定》)[4],旨在對算法推薦風(fēng)險(xiǎn)進(jìn)行規(guī)制,使用戶免受其特定數(shù)據(jù)驅(qū)動的算法支配,確保用戶隱私和數(shù)據(jù)安全?!兑?guī)定》作為頂層設(shè)計(jì),為我國算法風(fēng)險(xiǎn)治理的戰(zhàn)略指導(dǎo)方向,但當(dāng)前我國算法風(fēng)險(xiǎn)治理相關(guān)配套制度尚未建立,面對智能算法的快速迭代升級和用戶數(shù)據(jù)量爆炸式增長的雙重挑戰(zhàn),現(xiàn)有制度無法靈活地應(yīng)對動態(tài)復(fù)雜的算法推薦產(chǎn)生的風(fēng)險(xiǎn)問題。因此,一方面應(yīng)基于政策與科研主題的協(xié)同性[5],充分結(jié)合現(xiàn)有政策和科研成果,積極探尋算法推薦風(fēng)險(xiǎn)影響因素,有利于政府更為全面地制定算法風(fēng)險(xiǎn)治理策略;另一方面應(yīng)基于系統(tǒng)仿真視角,模擬算法風(fēng)險(xiǎn)的動態(tài),有利于科學(xué)地提出算法風(fēng)險(xiǎn)治理策略,具有重要的現(xiàn)實(shí)意義。

    1? ?文獻(xiàn)述評

    隨著互聯(lián)網(wǎng)的廣泛普及,使得人們對大量以算法推薦提供個(gè)性化信息服務(wù)的APP應(yīng)用平臺產(chǎn)生過度依賴,但同時(shí)算法推薦也為個(gè)人帶來了隱私安全風(fēng)險(xiǎn)。國內(nèi)外學(xué)者圍繞這一現(xiàn)實(shí)問題從定性與定量兩個(gè)維度展開研究:一是在定性研究方面。主要包括:(1)算法推薦應(yīng)用風(fēng)險(xiǎn)治理。圍繞算法推薦應(yīng)用所產(chǎn)生的公共風(fēng)險(xiǎn)[6]、倫理安全[7-8]、信息繭房[9]、可解釋性和透明性[10-11]等從風(fēng)險(xiǎn)預(yù)防和外部問責(zé)的方式展開治理[12-13],研究成果多集中在法學(xué)和公共管理等領(lǐng)域。如Banker和Khetani[14]基于實(shí)驗(yàn)證明了消費(fèi)者經(jīng)常過于依賴算法生成的推薦,對自身福祉構(gòu)成潛在危害,并導(dǎo)致其在傳播中可能影響其他用戶的系統(tǒng)性偏見方面發(fā)揮作用。馬天一提出在《規(guī)定》的基礎(chǔ)上,以傳統(tǒng)法學(xué)教義學(xué)方法解決未成年人數(shù)字化閱讀中的算法推薦服務(wù)中存在的不良數(shù)據(jù)等風(fēng)險(xiǎn)[15];(2)算法推薦內(nèi)生風(fēng)險(xiǎn)治理。從算法內(nèi)部優(yōu)化的視角,將安全因素考慮到算法的設(shè)計(jì)和應(yīng)用當(dāng)中。如Descampe等基于自動新聞推薦系統(tǒng)實(shí)驗(yàn)證明了嵌入算法的標(biāo)準(zhǔn)與其公開的意圖相對應(yīng),提出定義算法問責(zé)制時(shí)應(yīng)考慮對抗行為的魯棒性,以更好地捕捉算法決策固有的風(fēng)險(xiǎn)[16]。馬鑫等將內(nèi)容安全風(fēng)險(xiǎn)問題納入用戶協(xié)同過濾推薦算法的優(yōu)化過程,提出一種改進(jìn)面向電商內(nèi)容安全風(fēng)險(xiǎn)管控的CSCFR算法[17];二是定量研究方面。目前專門針對算法推薦的量化研究較少,如丁睿豪和夏德元使用Citespace軟件對國內(nèi)新聞傳播學(xué)領(lǐng)域個(gè)性化算法推薦文獻(xiàn)進(jìn)行科學(xué)知識圖譜分析[18]。陳軍等使用社會網(wǎng)絡(luò)分析方法等對WOS和CNKI的大數(shù)據(jù)算法推薦文獻(xiàn)進(jìn)行高頻關(guān)鍵詞共現(xiàn)等量化比較研究[19]。

    綜上所述,現(xiàn)有研究主要以定性的方式針對算法推薦產(chǎn)生的風(fēng)險(xiǎn)提出對應(yīng)的治理措施,有少部分學(xué)者使用文獻(xiàn)計(jì)量的方式進(jìn)行算法推薦知識圖譜構(gòu)建,但較少有學(xué)者從系統(tǒng)仿真視角考慮算法推薦的風(fēng)險(xiǎn)治理。雖然已有學(xué)者使用系統(tǒng)動力學(xué)圍繞政府?dāng)?shù)據(jù)開放[20-22]等展開研究,但其以定性的方式確定影響因素、以問卷調(diào)查法和專家訪談法獲得仿真數(shù)據(jù)的研究方法存在一定程度上的主觀性和片面性。因此,本文在已有研究的基礎(chǔ)上,提出在政策與科研主題協(xié)同視角下,使用能夠挖掘文本淺層語義信息的LDA模型定量識別算法推薦風(fēng)險(xiǎn)影響因素[23-24],并通過文本計(jì)算獲得的數(shù)據(jù),利用系統(tǒng)動力學(xué)方法對算法推薦風(fēng)險(xiǎn)影響因素進(jìn)行仿真研究。本文主要貢獻(xiàn)有兩點(diǎn):(1)通過政策與科研主題協(xié)同性定量識別算法推薦風(fēng)險(xiǎn)的影響因素;(2)通過文本計(jì)算為算法推薦系統(tǒng)流圖進(jìn)行科學(xué)化賦值。

    2? ?研究方法

    本文提出文本計(jì)算與系統(tǒng)動力學(xué)相融合的方法研究算法推薦風(fēng)險(xiǎn)治理。主要包括:數(shù)據(jù)采集與預(yù)處理、政策與科研主題協(xié)同計(jì)算、影響因素提取與仿真分析三個(gè)步驟(見圖1)。

    首先,選擇CNKI數(shù)據(jù)庫中算法推薦治理核心期刊論文作為研究對象,使用LDA進(jìn)行主題聚類,然后結(jié)合《規(guī)定》使用Word2Vec訓(xùn)練詞向量[25],使用余弦相似度計(jì)算每個(gè)主題與《規(guī)定》之間的相似度,基于政策和科研主題協(xié)同性,過濾協(xié)同性低的主題,提取出算法推薦影響因素;其次,在此基礎(chǔ)上,使用系統(tǒng)動力學(xué)構(gòu)建算法推薦影響因素之間的因果關(guān)系圖和系統(tǒng)流圖;最后,利用Vensim PLE軟件,結(jié)合相似度數(shù)值對系統(tǒng)模型進(jìn)行仿真運(yùn)行和靈敏度分析,進(jìn)而對我國算法推薦風(fēng)險(xiǎn)影響因素變化情況進(jìn)行探討。

    3? ?實(shí)證研究

    3.1? ? ?數(shù)據(jù)采集與預(yù)處理

    鑒于科研成果通常以科研論文的形式呈現(xiàn),本文選擇《規(guī)定》和 CNKI中算法推薦科研論文作為數(shù)據(jù)源。首先,通過文獻(xiàn)調(diào)研確定檢索式為“算法推薦”O(jiān)R“推薦算法”,在 CNKI數(shù)據(jù)庫中進(jìn)行主題高級檢索,提取論文的篇名、摘要和關(guān)鍵詞。同時(shí)為了聚焦算法推薦風(fēng)險(xiǎn)主題,基于《規(guī)定》從風(fēng)險(xiǎn)識別和風(fēng)險(xiǎn)治理兩個(gè)維度進(jìn)行人工初步篩選,截至?xí)r間到2023年2月,共篩選出2309篇;其次,提取科研論文關(guān)鍵詞構(gòu)建算法推薦的特征詞表;最后,利用python語言jieba工具對由“篇名+摘要”組成的文本進(jìn)行分詞、去停用詞等數(shù)據(jù)預(yù)處理操作。

    3.2? ? 主題數(shù)目確定

    研究采用困惑度評價(jià)指標(biāo)確定文本數(shù)據(jù)的最優(yōu)主題數(shù)目。困惑度表示對文檔所屬主題的不確定性,困惑度越低,說明聚類的效果越好,主題數(shù)目最優(yōu)[26],為防止過擬合,選取困惑度下降不明顯或處于拐點(diǎn)的值,結(jié)合困惑度曲線最終確定最優(yōu)主題數(shù)目為18(見圖2)。

    3.3? ? 政策與科研主題識別

    研究通過相似度定量探討政策與科研主題的協(xié)同性。首先,使用LDA模型對分詞后的論文的篇名、摘要及關(guān)鍵詞進(jìn)行主題聚類,生成主題-詞的分布;其次,合并《規(guī)定》和論文數(shù)據(jù),使用Word2Vec訓(xùn)練詞向量;最后,使用余弦相似度計(jì)算《規(guī)定》與每個(gè)主題之間的相似度(主題識別和相似度計(jì)算結(jié)果見表1)。

    3.4? ? 政策與科研主題分析

    由表1可知,算法推薦在政策與科研主題之間存在差異性和協(xié)同性特征,并根據(jù)主題的可解釋性將0.25作為區(qū)分差異性和協(xié)同性的相似度閾值[27]。一是差異性(S<0.25),包括:T1、T6、T8、T11、T16五個(gè)主題。這類主題與《規(guī)定》差異性特征主要體現(xiàn)在三個(gè)方面:(1)算法推薦文本分析方法,如語義、位置、語義分析等主題詞;(2)算法推薦的方式和過程,如個(gè)性化推薦、推薦系統(tǒng)等主題詞;(3)推薦算法的設(shè)計(jì),如差分隱私、協(xié)同過濾推薦等主題詞。二是協(xié)同性(S>=0.25),這類主題反映了《規(guī)定》和科研論文在算法推薦方面具有一定共性,科研能夠圍繞算法風(fēng)險(xiǎn)治理的頂層設(shè)計(jì)進(jìn)行完善治理策略,能夠從學(xué)術(shù)研究和政府治理等多個(gè)層面反映出我國算法推薦治理現(xiàn)狀。基于此,本文選擇與《規(guī)定》具有協(xié)同性的主題作為算法推薦影響因素的來源。

    3.5? ? 政策和科研主題協(xié)同視角下的系統(tǒng)動力學(xué)模型構(gòu)建

    系統(tǒng)動力學(xué)可以實(shí)現(xiàn)對真實(shí)系統(tǒng)的仿真,能夠有效地揭示復(fù)雜系統(tǒng)在各種因果關(guān)系作用下所呈現(xiàn)出的動態(tài)變化規(guī)律[28]。因此,運(yùn)用系統(tǒng)動力學(xué)方法研究算法推薦風(fēng)險(xiǎn)問題,能夠從系統(tǒng)視角深入地分析算法推薦風(fēng)險(xiǎn)治理的結(jié)構(gòu)、功能與行為之間的動態(tài)關(guān)系,從而為我國算法推薦治理提供科學(xué)化的建議。

    (1)系統(tǒng)邊界。以《規(guī)定》所涉及的風(fēng)險(xiǎn)要素與治理要素作為系統(tǒng)的邊界,可以將LDA主題識別結(jié)果劃分為:算法推薦風(fēng)險(xiǎn)、算法推薦治理、算法推薦主體和信息技術(shù)應(yīng)用四大類。每類中所包含的影響因素取自《規(guī)定》與科研論文協(xié)同性的主題。針對存在主題詞不明確的情況,設(shè)定選取規(guī)則:若同一主題包含相同含義主題詞,則進(jìn)行補(bǔ)充;若不存在同一主題包含相同含義主題詞,則結(jié)合數(shù)據(jù)或算法本體安全治理特征進(jìn)行整合(結(jié)果見表2)。

    (2)模型假設(shè)。由于算法推薦系統(tǒng)動力學(xué)模型構(gòu)建涉及影響因素眾多,包括用戶、數(shù)據(jù)、智能算法、平臺、政府等,為保證模型的正常構(gòu)建,無法囊括所有因素,故做以下假設(shè):

    假設(shè)1:采用一種開放的態(tài)度,不刻意區(qū)分?jǐn)?shù)據(jù)與信息,且算法推薦風(fēng)險(xiǎn)形成與風(fēng)險(xiǎn)治理是持續(xù)運(yùn)轉(zhuǎn)的動態(tài)過程,要素之間能夠互動反饋;

    假設(shè)2:通過用戶隱私安全程度來表征風(fēng)險(xiǎn)治理效果,且僅使用算法推薦風(fēng)險(xiǎn)程度和算法推薦治理程度來衡量;

    假設(shè)3:算法推薦模型中算法推薦風(fēng)險(xiǎn)程度、算法推薦治理程度及用戶隱私安全程度默認(rèn)初始值為1,并在多次預(yù)仿真實(shí)驗(yàn)中調(diào)整和確定,其余變量賦值通過文本計(jì)算方式設(shè)定;

    假設(shè)4:算法推薦模型只受劃定系統(tǒng)邊界內(nèi)因素的影響,不涉及平臺利益等其它外部因素。

    (3)因果關(guān)系圖。為了刻畫出算法推薦治理影響因素之間的邏輯關(guān)系和反饋回路[29],本文在影響因素識別的基礎(chǔ)上,梳理要素之間的因果關(guān)系,并從風(fēng)險(xiǎn)形成與風(fēng)險(xiǎn)治理的視角構(gòu)建算法推薦系統(tǒng)的因果關(guān)系圖(見圖3)。算法推薦風(fēng)險(xiǎn)是指平臺使用智能推薦算法基于用戶行為數(shù)據(jù)提供個(gè)性化服務(wù)過程產(chǎn)生的各種安全風(fēng)險(xiǎn);算法推薦治理是指對算法推薦產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行治理,主要以政府網(wǎng)絡(luò)安全審查為主導(dǎo),用戶數(shù)據(jù)保護(hù)、平臺風(fēng)險(xiǎn)防范等多方參與的協(xié)同治理。

    研究系統(tǒng)中包括兩條重要的回路類型(見表3):回路類型1從系統(tǒng)層面呈現(xiàn)算法推薦從風(fēng)險(xiǎn)形成到風(fēng)險(xiǎn)治理后,風(fēng)險(xiǎn)降低的過程,在此過程中,虛假數(shù)據(jù)是算法推薦風(fēng)險(xiǎn)的重要源頭,這類數(shù)據(jù)若被智能推薦算法應(yīng)用,會產(chǎn)生謠言傳播等一系列風(fēng)險(xiǎn),從而導(dǎo)致算法推薦風(fēng)險(xiǎn)程度增加,進(jìn)而需要政府開展網(wǎng)絡(luò)安全審查等治理工作以降低風(fēng)險(xiǎn),因此,虛假數(shù)據(jù)所反映出的數(shù)據(jù)質(zhì)量問題決定了算法推薦風(fēng)險(xiǎn)的程度;回路類型2主要是從用戶行為數(shù)據(jù)層面呈現(xiàn)算法推薦風(fēng)險(xiǎn)與用戶網(wǎng)絡(luò)活動安全保護(hù)能力的關(guān)系,用戶網(wǎng)絡(luò)活動安全保護(hù)能力越強(qiáng),用戶進(jìn)行網(wǎng)絡(luò)活動所產(chǎn)生的行為數(shù)據(jù)量越少、脫敏程度越高,從而能夠降低算法推薦風(fēng)險(xiǎn)的程度。

    (4)系統(tǒng)流圖。為探究算法推薦風(fēng)險(xiǎn)形成與風(fēng)險(xiǎn)治理之間的內(nèi)在結(jié)構(gòu)關(guān)系及治理機(jī)制,研究基于因果關(guān)系圖,根據(jù)實(shí)際情況在模型中不斷修正并最終確定各子系統(tǒng)中相應(yīng)變量,最終繪制出算法推薦的系統(tǒng)動力學(xué)模型流圖(見圖4)。

    該系統(tǒng)流圖包括3個(gè)狀態(tài)變量,4個(gè)速率變量,10個(gè)輔助變量和15個(gè)常量(見表4)。

    (5)參數(shù)設(shè)定。由于《規(guī)定》頒布較晚,處理事件產(chǎn)生的數(shù)據(jù)有限,通過以上分析可知,算法推薦是以“個(gè)人-數(shù)據(jù)-算法-平臺-政府”構(gòu)建的具有非線性、復(fù)雜性、動態(tài)性的循環(huán)交互系統(tǒng),影響因素寬泛、復(fù)雜,本文提出文本計(jì)算的方法,將影響因素對應(yīng)的主題與《規(guī)定》之間的相似度數(shù)值作為參數(shù)的初始設(shè)定,并乘0.1進(jìn)行數(shù)據(jù)歸一化處理,如虛假數(shù)據(jù)取自T9主題,則其初始值為0.51*0.1=0.051。相似度數(shù)值反應(yīng)了《規(guī)定》與科研論文的協(xié)同性,影響因素選取是概率值較高的主題詞,能夠反映出算法推薦關(guān)注的重點(diǎn)。因此,將相似度數(shù)值作為系統(tǒng)仿真數(shù)據(jù)具備合理性和科學(xué)性(主要方程設(shè)計(jì)及參數(shù)說明見表5)。

    4? ?仿真分析

    4.1? ?模型仿真分析

    對算法推薦模型進(jìn)行有效性檢驗(yàn),旨在觀察通過文本計(jì)算獲得的仿真數(shù)據(jù)是否符合真實(shí)系統(tǒng)的特點(diǎn)與變化規(guī)律,確保模型的有效運(yùn)行。利用仿真軟件Vensim PLE,將仿真時(shí)間限定為12個(gè)月,時(shí)間步長為1個(gè)月,選取關(guān)鍵變量進(jìn)行驗(yàn)證,得到初始狀態(tài)下仿真結(jié)果(見圖5)。

    (1)已知風(fēng)險(xiǎn)率和治理率呈先快速增長后逐漸下降的趨勢。這是由于算法推薦中產(chǎn)生的隱私泄露等可檢測的已知風(fēng)險(xiǎn),能夠通過《規(guī)定》等進(jìn)行規(guī)制。因此,在開展算法推薦治理工作的前一個(gè)月內(nèi),已知風(fēng)險(xiǎn)被快速監(jiān)測和治理,對應(yīng)的風(fēng)險(xiǎn)率和治理率快速增長,但隨著時(shí)間的推移,可治理的已知風(fēng)險(xiǎn)逐漸下降,對應(yīng)的風(fēng)險(xiǎn)率和治理率也隨之下降。

    (2)潛在風(fēng)險(xiǎn)率和未治理率呈先快速增長后逐漸增長的趨勢。潛在風(fēng)險(xiǎn)是指由智能算法所導(dǎo)致的算法黑箱、算法共謀、算法操縱等難預(yù)測的未知風(fēng)險(xiǎn)。且隨著大數(shù)據(jù)、區(qū)塊鏈、人工智能以及元宇宙等技術(shù)的發(fā)展和場景應(yīng)用,潛在風(fēng)險(xiǎn)會不斷加劇。因此,整體上潛在風(fēng)險(xiǎn)率和未治理率呈增長的趨勢,從而導(dǎo)致算法治理程度也呈上升趨勢。而在系統(tǒng)中前一個(gè)月內(nèi)潛在風(fēng)險(xiǎn)率和未治理率增長幅度較大的原因可能是由于治理手段均是針對已知風(fēng)險(xiǎn)的治理,而風(fēng)險(xiǎn)的產(chǎn)生是多方面,且潛在風(fēng)險(xiǎn)轉(zhuǎn)變成已知風(fēng)險(xiǎn)需要一定的時(shí)間。

    (3)用戶隱私安全程度始終呈持續(xù)增長趨勢。盡管治理率在后期呈逐漸下降、潛在風(fēng)險(xiǎn)率和未治理率呈增長趨勢,但算法推薦風(fēng)險(xiǎn)經(jīng)過系統(tǒng)治理,總體上算法推薦風(fēng)險(xiǎn)程度的增長小于算法推薦治理程度的增長,從而使得用戶隱私安全程度始終呈持續(xù)增長的趨勢。因此,該系統(tǒng)仿真變化曲線符合算法推薦治理現(xiàn)實(shí)情況,同時(shí)也證明了使用文本計(jì)算獲取的數(shù)據(jù)的合理性。

    4.2? ? 靈敏度分析

    通過算法推薦系統(tǒng)因果關(guān)系圖和系統(tǒng)流圖分析可知,數(shù)據(jù)與算法都是兩個(gè)不可分割的數(shù)字世界底層邏輯融合體,平臺是數(shù)據(jù)與算法融合的載體。為探究算法推薦關(guān)鍵變量對系統(tǒng)的影響及影響程度,本文對算法推薦應(yīng)用過程涉及的影響因素進(jìn)行靈敏度分析[30],即從“用戶-算法-平臺”視角選取算法素養(yǎng)、算法黑箱、平臺風(fēng)險(xiǎn)防范3個(gè)變量。設(shè)定各變量初始值為文本計(jì)算得到的數(shù)值,根據(jù)控制變量法將其中某一個(gè)變量上下變化0.02,其它變量數(shù)值不變,其中數(shù)值變化反映了在某一時(shí)間內(nèi)《規(guī)定》發(fā)布修訂版或該主題論文數(shù)量變化情況。以上三個(gè)影響因素分別從用戶、算法及平臺維度探討算法推薦治理,能夠較好地反映對算法推薦系統(tǒng)的影響。

    (1)算法素養(yǎng)。將算法素養(yǎng)分別設(shè)置為Current(0.044),Current1(0.024),Current2(0.064),通過對比三條模擬曲線發(fā)現(xiàn),隨著算法素養(yǎng)不斷提升,用戶隱私安全程度能夠得到明顯提高,呈正向影響(見圖6)。算法是由數(shù)據(jù)驅(qū)動的,通過系統(tǒng)反饋回路可知,用戶行為數(shù)據(jù)是算法推薦風(fēng)險(xiǎn)產(chǎn)生的關(guān)鍵。因此,提高用戶算法素養(yǎng),進(jìn)而提高用戶網(wǎng)絡(luò)活動安全保護(hù)能力,能起到事前風(fēng)險(xiǎn)防范,從算法推薦風(fēng)險(xiǎn)源頭解決問題的作用。此外,與算法素養(yǎng)具有同樣作用的還包括媒介素養(yǎng)及思想政治教育。

    (2)算法黑箱。將算法黑箱分別設(shè)置為Current(0.044),Current1(0.024),Current2(0.064),通過對比三條模擬曲線發(fā)現(xiàn),隨著算法黑箱程度的提高,用戶隱私安全程度逐漸下降,呈負(fù)向影響(見圖7)。但由于系統(tǒng)內(nèi)部算法推薦治理主要聚焦于用戶和制度在系統(tǒng)內(nèi)對用戶隱私安全程度影響,這類風(fēng)險(xiǎn)對用戶隱私安全程度表現(xiàn)變化幅度相對較小。由于算法的復(fù)雜性導(dǎo)致了算法黑箱的形成,這也是是技術(shù)因素的體現(xiàn),需要從算法設(shè)計(jì)本身、算法可解釋性層面考慮算法黑箱問題,將安全貫穿到算法的全生命周期內(nèi),從而提高算法的魯棒性和安全性。

    (3)平臺風(fēng)險(xiǎn)防范。將平臺風(fēng)險(xiǎn)防范能力分別設(shè)置為Current(0.041),Current1(0.021),Current2(0.061),通過對比三條模擬曲線發(fā)現(xiàn),隨著平臺風(fēng)險(xiǎn)防范的提高,用戶隱私安全程度能夠得到明顯提高,呈正向影響,特別是后期增幅顯著(見圖8)。政府作為監(jiān)管者,往往只能起到事后風(fēng)險(xiǎn)問責(zé)的作用,而平臺作為數(shù)據(jù)和算法融合的載體,決定了提供用戶信息服務(wù)方式和內(nèi)容。隨著政府支持平臺參與算法推薦治理,平臺的風(fēng)險(xiǎn)防范能力逐漸提高,用戶隱私安全程度進(jìn)一步得到保障。因此,強(qiáng)化平臺風(fēng)險(xiǎn)防范可以起到事前風(fēng)險(xiǎn)預(yù)防、事中風(fēng)險(xiǎn)監(jiān)控的作用。

    5? ?結(jié)論與建議

    本文提出政策文本計(jì)算與系統(tǒng)動力學(xué)相融合的方法,使用LDA模型并結(jié)合相似度定量識別出:算法素養(yǎng)、大數(shù)據(jù)技術(shù)、算法偏見、網(wǎng)絡(luò)安全審查等影響因素,在此基礎(chǔ)上建立算法推薦治理系統(tǒng)動力學(xué)模型,并使用文本計(jì)算獲取的數(shù)據(jù),對算法推薦影響因素作用過程進(jìn)行系統(tǒng)仿真,并對已知風(fēng)險(xiǎn)率、潛在風(fēng)險(xiǎn)率、治理率、未治理率、算法推薦風(fēng)險(xiǎn)程度、算法推薦治理程度及用戶隱私安全程度進(jìn)行了有效性檢驗(yàn),證明系統(tǒng)仿真表現(xiàn)符合現(xiàn)實(shí)情況,為算法推薦治理及政策系統(tǒng)仿真研究提供了方向和理論參考。存在的不足之處在于,影響因素的提取具有一定的經(jīng)驗(yàn)因素,未來將進(jìn)一步探索主題識別模型并提高影響因素識別的準(zhǔn)確性。基于靈敏度分析結(jié)果,提出以下建議:

    (1)加強(qiáng)算法素養(yǎng)教育,提高個(gè)人隱私保護(hù)意識。受當(dāng)下疫情等突發(fā)事件的影響,網(wǎng)絡(luò)成為日常生活和學(xué)習(xí)必不可少的組成部分,需要進(jìn)一步加強(qiáng)算法素養(yǎng)教育,預(yù)防信息泄露、謠言傳播、大數(shù)據(jù)殺熟等事件發(fā)生。一是建立算法素養(yǎng)評估體系,針對不同群體特征,進(jìn)行算法素養(yǎng)差異性分析,從而有針對性地開展全民算法素養(yǎng)教育,以及對算法素養(yǎng)教育進(jìn)行反饋評估;二是根據(jù)算法素養(yǎng)評估體系開展算法素養(yǎng)教育。對于算法推薦設(shè)計(jì)者與控制者,需要掌握算法安全專業(yè)知識、算法技術(shù)倫理規(guī)范及法律規(guī)范,起到在源頭開展算法推薦治理的作用;對于算法推薦治理主體和普通用戶,特別兒童、老人等信息弱勢群體,可以依托課程設(shè)置、網(wǎng)絡(luò)資源等開展算法知識通識性教育,使人們在特定算法推薦應(yīng)用情景下,認(rèn)識算法的存在及其可能帶來的風(fēng)險(xiǎn),提高防范、對抗風(fēng)險(xiǎn)的能力[31]。

    (2)建立算法全流程監(jiān)管機(jī)制,提升算法的可解釋性。規(guī)制算法黑箱問題的重要途徑是提高算法的可解釋性,而提高算法的可解釋性可通過建立算法全流程設(shè)計(jì)的監(jiān)管機(jī)制,從算法黑箱產(chǎn)生的前中后三方面進(jìn)行考慮。一是算法設(shè)計(jì)前:算法的形成是為了從數(shù)據(jù)中總結(jié)出普遍規(guī)律和發(fā)現(xiàn)新的知識。因此,在保證算法精度的情況下,盡量生成具有可解釋性的算法,可通過可視化、異常點(diǎn)排查、代表性樣本選擇等方法明確訓(xùn)練數(shù)據(jù)的質(zhì)量和特點(diǎn),并通過給算法增加稀疏性、可加性、單調(diào)性等適度降低算法的復(fù)雜度,使得算法具有可解釋性。二是算法設(shè)計(jì)中:算法初步形成后,可通過第三方平臺進(jìn)行風(fēng)險(xiǎn)檢測,其中可解釋性檢測可通過對比敏感性分析、LIME、SHAP等解析方法并出具合格報(bào)告;三是算法設(shè)計(jì)后:算法通過第三方平臺檢測合格后,遞交政府進(jìn)行算法監(jiān)管沙盒測試[32],以發(fā)現(xiàn)算法在不同真實(shí)應(yīng)用場景中導(dǎo)致變化的原因,從而降低算法重構(gòu)和應(yīng)用風(fēng)險(xiǎn)。同時(shí)政府建立算法備案機(jī)制,便于對算法應(yīng)用后進(jìn)行審查和回溯。

    (3)建立“制度+技術(shù)”治理機(jī)制,提高平臺風(fēng)險(xiǎn)防范能力?;ヂ?lián)網(wǎng)平臺作為發(fā)展數(shù)字經(jīng)濟(jì)重要的服務(wù)機(jī)構(gòu),具有關(guān)系多層性、主體多元性、影響跨邊性、功能社會性及邊界動態(tài)性[33],需要在強(qiáng)化平臺風(fēng)險(xiǎn)監(jiān)管的同時(shí),平衡好安全與創(chuàng)新發(fā)展的關(guān)系[34]。一是需要以平臺為載體,加強(qiáng)數(shù)據(jù)與算法的協(xié)同治理。雖然目前我國出臺了《數(shù)據(jù)保護(hù)法》《個(gè)人信息保護(hù)法》《網(wǎng)絡(luò)安全法》及《規(guī)定》形成“三法一規(guī)”的頂層設(shè)計(jì)[35],但以數(shù)據(jù)為驅(qū)動的算法推薦涉及各種風(fēng)險(xiǎn)管理場景,需要解決算法推薦的精準(zhǔn)性、個(gè)性化與數(shù)據(jù)安全的平衡問題,圍繞“三法一規(guī)”構(gòu)建數(shù)據(jù)與算法協(xié)同的安全標(biāo)準(zhǔn)體系;二是需要政策支持平臺參與算法推薦治理,助推平臺突破核心技術(shù)以提高風(fēng)險(xiǎn)監(jiān)測和安全評估能力。通過差分隱私、透明度工具等新技術(shù)應(yīng)用風(fēng)險(xiǎn)監(jiān)管以彌補(bǔ)政府外部問責(zé)的監(jiān)管漏洞,從而將平臺真正融入風(fēng)險(xiǎn)治理中,與政府、社會、個(gè)人等構(gòu)建起多方參與、協(xié)同共治的風(fēng)險(xiǎn)治理模式,進(jìn)而保障個(gè)人數(shù)據(jù)安全,引導(dǎo)更為公平、開放的數(shù)字競爭市場。

    參考文獻(xiàn):

    [1]? 張濤,馬海群.智能情報(bào)分析中算法風(fēng)險(xiǎn)及其規(guī)制研究[J].圖書情報(bào)工作,2021,65(12):47-56.

    [2]? 張建偉,李月琳,李東東.網(wǎng)絡(luò)學(xué)術(shù)資源平臺個(gè)性化推薦服務(wù)特征研究[J].情報(bào)資料工作,2021,42(5):76-83.

    [3]? 趙輝,化柏林,何鴻魏.科技情報(bào)用戶畫像標(biāo)簽生成與推薦[J].情報(bào)學(xué)報(bào),2020,39(11):1214-1222.

    [4]? 國家互聯(lián)網(wǎng)信息辦公室.互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定[EB/OL].[2023-01-01].http://www.cac.gov.cn/2022-01/04/c_1642894606364259.htm.

    [5]? 文禹衡,付張祎.基于計(jì)量分析的我國數(shù)據(jù)確權(quán)政策與科研協(xié)同研究[J].現(xiàn)代情報(bào),2022,42(10):58-70.

    [6]? 夏夢穎.算法推薦可能引致的公共風(fēng)險(xiǎn)及綜合治理路徑[J].天府新論,2022(2):124-129.

    [7]? 周穎玉,柯平,劉海鷗.面向算法推薦倫理失范的人機(jī)和諧生態(tài)建構(gòu)研究[J].情報(bào)理論與實(shí)踐,2022,45(10):54-61.

    [8]? Seaver N.CARE AND SCALE:Decorrelative Ethics in Algorithmic Recommendation[J].Cultural Anthropology,2021,36(3): 509-537.

    [9]? 李龍飛,張國良.算法時(shí)代“信息繭房”效應(yīng)生成機(jī)理與治理路徑——基于信息生態(tài)理論視角[J].電子政務(wù),2022(9):51-62.

    [10]? 蘇宇.優(yōu)化算法可解釋性及透明度義務(wù)之詮釋與展開[J].法律科學(xué)(西北政法大學(xué)學(xué)報(bào)),2022,40(1):133-141.

    [11]? Watson H J,Nations C.Addressing the Growing Need for Algorithmic Transparency[J].Communications of the Association for Information Systems,2019,45(1):26.

    [12]? 林洹民.個(gè)性化推薦算法的多維治理[J].法制與社會發(fā)展,2022,28(4):162-179.

    [13]? 許可.算法規(guī)制體系的中國建構(gòu)與理論反思[J].法律科學(xué)(西北政法大學(xué)學(xué)報(bào)),2022,40(1):124-132.

    [14]? Banker S.Khetani S.Algorithm Overdependence: How the Use of Algorithmic Recommendation Systems Can Increase Risks to Consumer Well-Being[J].Journal of Public Policy & Marketing,2019,38(4):500-515.

    [15]? 馬天一.算法推薦視域下的智慧圖書館未成年人保護(hù)進(jìn)路[J].圖書館論壇,2023,43(2):14-25.

    [16]? Descampe A,Massart C,Poelman S,et al.Automated news recommendation in front of adversarial examples and the technical limits of transparency in algorithmic accountability[J].Ai & Society,2022,37(1):67-80.

    [17]? 馬鑫,王芳,段剛龍.面向電商內(nèi)容安全風(fēng)險(xiǎn)管控的協(xié)同過濾推薦算法研究[J].情報(bào)理論與實(shí)踐,2022,45(10):176-187.

    [18]? 丁睿豪,夏德元.傳播學(xué)視角下算法推薦研究的學(xué)術(shù)場域——基于2010-2019年新聞傳播學(xué)文獻(xiàn)的Citespace可視化科學(xué)知識圖譜分析[J].新聞愛好者,2022(1):16-21.

    [19]? 陳軍,謝衛(wèi)紅,陳揚(yáng)森.國內(nèi)外大數(shù)據(jù)推薦算法領(lǐng)域前沿動態(tài)研究[J].中國科技論壇,2018(1):173-181.

    [20]? 馬海群,張濤,李鐘雋.新冠疫情下政府?dāng)?shù)據(jù)開放與安全的系統(tǒng)動力學(xué)研究[J].現(xiàn)代情報(bào),2020,40(7):3-13.

    [21]? 張曉娟,莫富傳,馮翠翠.政府?dāng)?shù)據(jù)開放價(jià)值實(shí)現(xiàn)的機(jī)理:基于系統(tǒng)動力學(xué)的分析[J].情報(bào)理論與實(shí)踐,2022,45(5):75-83.

    [22]? 袁紅,王燾.政府開放數(shù)據(jù)生態(tài)系統(tǒng)可持續(xù)發(fā)展實(shí)現(xiàn)路徑的系統(tǒng)動力學(xué)分析[J].圖書情報(bào)工作,2021,65(17):13-25.

    [23]? Blei D M.Probabilistic topic models[J].Communications of the ACM,2012,55(4):77-84.

    [24]? Blei D M,Ng A Y,Jordan M J.Latent Dirichlet allocation[J].Machine Learning Research,2003,3(Jan):993-1022.

    [25]? Mikolov T,Sutskever I,Chen K,et al.Distributed representations of words and phrases and their compositionality[J].Advances in Neural Information Processing Systems,2013,26:3111-3119.

    [26]? Griffiths T L,Steyvers M.Finding scientific topics[J].Proceedings of the National academy fo Sciences,2004,101(S1):5228-5235.

    [27]? 李慧,胡吉霞,佟志穎.面向多源數(shù)據(jù)的學(xué)科主題挖掘與演化分析[J].數(shù)據(jù)分析與知識發(fā)現(xiàn),2022,6(7):44-55.

    [28]? 張濤,馬海群.人工智能數(shù)據(jù)安全影響因素的系統(tǒng)動力學(xué)研究[J].情報(bào)探索,2021(3):1-10.

    [29]? 孫華偉,王克平,張亞男,等.基于大數(shù)據(jù)思維的科技智庫情報(bào)服務(wù)機(jī)制系統(tǒng)動力學(xué)仿真研究[J].情報(bào)理論與實(shí)踐,2022,45(12):128-137.

    [30]? 趙又霖,曹宏楠.面向應(yīng)急管理的政務(wù)微博信息交流效率及其影響因素研究[J].農(nóng)業(yè)圖書情報(bào)學(xué)報(bào),2022,34(9):72-85.

    [31]? 彭蘭.如何實(shí)現(xiàn)“與算法共存”——算法社會中的算法素養(yǎng)及其兩大面向[J].探索與爭鳴,2021(3):13-15.

    [32]? 張濤,馬海群.智能情報(bào)分析中數(shù)據(jù)與算法風(fēng)險(xiǎn)識別模型構(gòu)建研究[J].情報(bào)學(xué)報(bào),2022,41(8):832-844.

    [33]? 肖紅軍,李平.平臺型企業(yè)社會責(zé)任的生態(tài)化治理[J].管理世界,2019,35(4):120-144.

    [34]? 李凌.平臺經(jīng)濟(jì)發(fā)展與政府管制模式變革[J].經(jīng)濟(jì)學(xué)家,2015(7):27-34.

    [35]? 馬海群,張濤.我國數(shù)據(jù)與算法安全治理:特征及對策[J].電子政務(wù),2023(3):118-128.

    作者簡介:崔文波,男,黑龍江大學(xué)信息管理學(xué)院碩士研究生,研究方向:數(shù)據(jù)分析與知識發(fā)現(xiàn);張濤,男,黑龍江大學(xué)信息管理學(xué)院副教授,研究方向:政策文本計(jì)算與數(shù)據(jù)分析;孫欽瑩,女,黑龍江大學(xué)信息管理學(xué)院講師,研究方向:應(yīng)急情報(bào)管理;馬海群,男,黑龍江大學(xué)信息管理學(xué)院二級教授,博士生導(dǎo)師,研究方向:信息政策與法律、數(shù)據(jù)治理。

    猜你喜歡
    算法推薦系統(tǒng)動力學(xué)仿真分析
    基于中醫(yī)臨床理論的內(nèi)容智能分發(fā)平臺“信息繭房”系統(tǒng)量化
    從波特圖式分析算法推薦類資訊平臺的倫理選擇
    從工具依賴到本能隱抑:智媒時(shí)代的“反向馴化”現(xiàn)象
    新聞愛好者(2018年4期)2018-06-27 10:35:44
    從編輯到算法的讓度
    新媒體研究(2018年2期)2018-03-29 09:05:06
    基于隨機(jī)函數(shù)Petri網(wǎng)的系統(tǒng)動力學(xué)關(guān)聯(lián)分析模型
    缸內(nèi)直噴汽油機(jī)進(jìn)氣道流動特性的數(shù)值模擬
    大學(xué)生網(wǎng)游成癮的系統(tǒng)動力學(xué)研究
    商(2016年32期)2016-11-24 17:43:22
    預(yù)應(yīng)力混凝土連續(xù)剛構(gòu)橋施工監(jiān)測與仿真分析
    半掛汽車列車直角轉(zhuǎn)彎仿真分析
    汽車行李箱蓋鉸鏈機(jī)構(gòu)的分析及優(yōu)化
    免费在线观看影片大全网站| 国产精品精品国产色婷婷| 日韩欧美一区二区三区在线观看| 日韩精品青青久久久久久| 国产精品98久久久久久宅男小说| 国内久久婷婷六月综合欲色啪| tocl精华| 91av网站免费观看| 在线永久观看黄色视频| 午夜影院日韩av| 日韩中文字幕欧美一区二区| 亚洲一区二区三区不卡视频| 久久国产精品人妻蜜桃| 成人三级做爰电影| 亚洲精华国产精华精| 欧美成人性av电影在线观看| 九九热线精品视视频播放| 天堂av国产一区二区熟女人妻| 精品午夜福利视频在线观看一区| 真人一进一出gif抽搐免费| 久久天躁狠狠躁夜夜2o2o| 国产亚洲欧美在线一区二区| 国产精品,欧美在线| 国产不卡一卡二| 国产乱人视频| 亚洲一区二区三区色噜噜| 国产视频一区二区在线看| 欧美乱色亚洲激情| 99久久精品一区二区三区| 伦理电影免费视频| 美女高潮的动态| 欧美成狂野欧美在线观看| 日本a在线网址| 成人特级av手机在线观看| 热99在线观看视频| 国产野战对白在线观看| 午夜两性在线视频| 精品福利观看| 欧美精品啪啪一区二区三区| 人妻丰满熟妇av一区二区三区| 国产激情久久老熟女| 欧美3d第一页| 欧美日韩一级在线毛片| 精品久久久久久久末码| 国产精品爽爽va在线观看网站| 午夜福利高清视频| 国语自产精品视频在线第100页| 国产亚洲精品av在线| 日日摸夜夜添夜夜添小说| 成人三级做爰电影| 欧美日韩福利视频一区二区| 十八禁人妻一区二区| 麻豆av在线久日| 久9热在线精品视频| a级毛片在线看网站| 久久中文字幕一级| 亚洲国产欧美人成| 十八禁网站免费在线| 成人三级黄色视频| 亚洲人成网站在线播放欧美日韩| 精品不卡国产一区二区三区| 免费无遮挡裸体视频| 免费在线观看视频国产中文字幕亚洲| 亚洲成av人片在线播放无| 精品久久久久久久久久免费视频| 中文字幕最新亚洲高清| 欧美日韩亚洲国产一区二区在线观看| av片东京热男人的天堂| 老司机午夜福利在线观看视频| 国内精品久久久久久久电影| 在线观看免费午夜福利视频| 亚洲精品中文字幕一二三四区| 黄色女人牲交| 亚洲自拍偷在线| 女人高潮潮喷娇喘18禁视频| 男人舔奶头视频| 搞女人的毛片| 国内精品一区二区在线观看| 国产熟女xx| 午夜日韩欧美国产| 国产精品野战在线观看| 熟女少妇亚洲综合色aaa.| 97超级碰碰碰精品色视频在线观看| 最近在线观看免费完整版| 国产成人精品久久二区二区91| 黄色视频,在线免费观看| 国产亚洲欧美在线一区二区| 精品乱码久久久久久99久播| 午夜a级毛片| 国内揄拍国产精品人妻在线| 97碰自拍视频| 在线a可以看的网站| 久久久久国产精品人妻aⅴ院| 中文字幕高清在线视频| 国产伦精品一区二区三区四那| 成熟少妇高潮喷水视频| 毛片女人毛片| 亚洲色图 男人天堂 中文字幕| 精品一区二区三区视频在线 | 亚洲精品美女久久久久99蜜臀| 国产精品免费一区二区三区在线| 国产真人三级小视频在线观看| 一区福利在线观看| 草草在线视频免费看| 久久久久久久久久黄片| 国产精品久久久久久精品电影| 男女做爰动态图高潮gif福利片| av欧美777| 一二三四社区在线视频社区8| 中文字幕人妻丝袜一区二区| 岛国视频午夜一区免费看| 久久香蕉国产精品| 亚洲精品美女久久av网站| 久久久久久大精品| 男女之事视频高清在线观看| 国产成人影院久久av| 国产成人精品久久二区二区91| 18美女黄网站色大片免费观看| 午夜福利在线观看吧| 久久九九热精品免费| 在线看三级毛片| 精品无人区乱码1区二区| 国产精品美女特级片免费视频播放器 | 91av网站免费观看| 最近视频中文字幕2019在线8| 51午夜福利影视在线观看| 91在线精品国自产拍蜜月 | 欧美在线一区亚洲| 日韩av在线大香蕉| 久久久久国内视频| 欧美乱妇无乱码| 精品一区二区三区四区五区乱码| 欧美一级毛片孕妇| svipshipincom国产片| xxx96com| 一级毛片精品| 精品国内亚洲2022精品成人| 日日夜夜操网爽| 国产成+人综合+亚洲专区| 成人永久免费在线观看视频| 黄色日韩在线| 一二三四在线观看免费中文在| 亚洲精品一卡2卡三卡4卡5卡| 亚洲电影在线观看av| 亚洲中文字幕日韩| 日本黄大片高清| 人人妻,人人澡人人爽秒播| 午夜a级毛片| 在线免费观看的www视频| 51午夜福利影视在线观看| 啪啪无遮挡十八禁网站| 日韩高清综合在线| 好男人在线观看高清免费视频| 国产视频内射| 精品久久久久久久久久久久久| 91九色精品人成在线观看| 人妻夜夜爽99麻豆av| 最新中文字幕久久久久 | 日韩有码中文字幕| 国产单亲对白刺激| 亚洲国产中文字幕在线视频| 99国产精品99久久久久| 成人特级黄色片久久久久久久| 丁香欧美五月| 国产私拍福利视频在线观看| 欧美日韩中文字幕国产精品一区二区三区| 国产精品爽爽va在线观看网站| 欧美日韩乱码在线| 麻豆成人午夜福利视频| 精品99又大又爽又粗少妇毛片 | 日韩欧美国产在线观看| 又爽又黄无遮挡网站| 国产又黄又爽又无遮挡在线| 一级毛片女人18水好多| 9191精品国产免费久久| 国产视频一区二区在线看| 此物有八面人人有两片| 国产一区二区在线观看日韩 | 在线a可以看的网站| 亚洲精品在线观看二区| 他把我摸到了高潮在线观看| 中文字幕人妻丝袜一区二区| 亚洲黑人精品在线| 99热6这里只有精品| 久久热在线av| 又黄又爽又免费观看的视频| 全区人妻精品视频| 男女下面进入的视频免费午夜| 香蕉av资源在线| 天堂√8在线中文| 一夜夜www| e午夜精品久久久久久久| 天堂av国产一区二区熟女人妻| 三级男女做爰猛烈吃奶摸视频| 12—13女人毛片做爰片一| 久久中文看片网| 亚洲国产欧美一区二区综合| 久9热在线精品视频| 久久草成人影院| 久久热在线av| 搞女人的毛片| 婷婷精品国产亚洲av| ponron亚洲| 一a级毛片在线观看| 国产精品自产拍在线观看55亚洲| 亚洲国产欧美一区二区综合| 天天添夜夜摸| 男人的好看免费观看在线视频| 国产视频内射| 久久久久国产一级毛片高清牌| 精品99又大又爽又粗少妇毛片 | svipshipincom国产片| 搞女人的毛片| 午夜福利在线观看免费完整高清在 | 岛国在线观看网站| 美女大奶头视频| av在线天堂中文字幕| 久久性视频一级片| 国产精品 欧美亚洲| 国产乱人伦免费视频| avwww免费| 久久亚洲真实| 国产精品 欧美亚洲| 99视频精品全部免费 在线 | av片东京热男人的天堂| 国产1区2区3区精品| 欧美一区二区精品小视频在线| 成年女人永久免费观看视频| 操出白浆在线播放| 中文在线观看免费www的网站| 99久久精品一区二区三区| 黄色 视频免费看| 美女高潮喷水抽搐中文字幕| 国产成人精品久久二区二区91| 精品无人区乱码1区二区| 欧美一级a爱片免费观看看| 天天一区二区日本电影三级| 亚洲成人精品中文字幕电影| 叶爱在线成人免费视频播放| 成年女人毛片免费观看观看9| 一级毛片高清免费大全| 亚洲 国产 在线| 国产三级黄色录像| 真人一进一出gif抽搐免费| 成人亚洲精品av一区二区| 欧美绝顶高潮抽搐喷水| 色噜噜av男人的天堂激情| 黄频高清免费视频| 国产69精品久久久久777片 | av在线天堂中文字幕| 国产真实乱freesex| 黄色丝袜av网址大全| 不卡av一区二区三区| 亚洲自拍偷在线| 国产三级黄色录像| 免费看十八禁软件| 91麻豆av在线| 国产精品亚洲美女久久久| 三级国产精品欧美在线观看 | 性色avwww在线观看| 一级毛片女人18水好多| 亚洲中文字幕一区二区三区有码在线看 | 成年女人永久免费观看视频| 成人性生交大片免费视频hd| 制服人妻中文乱码| 免费在线观看影片大全网站| 欧美黑人欧美精品刺激| 成人性生交大片免费视频hd| 亚洲av片天天在线观看| 精品人妻1区二区| 琪琪午夜伦伦电影理论片6080| 成人性生交大片免费视频hd| 精品国产乱子伦一区二区三区| 黑人巨大精品欧美一区二区mp4| 午夜a级毛片| cao死你这个sao货| 欧美成人免费av一区二区三区| 亚洲欧美日韩东京热| 一级a爱片免费观看的视频| 欧美成人性av电影在线观看| 毛片女人毛片| 久久久久性生活片| 99热这里只有是精品50| 熟女电影av网| 久久亚洲精品不卡| cao死你这个sao货| 最新美女视频免费是黄的| 国产极品精品免费视频能看的| 丰满的人妻完整版| 毛片女人毛片| 夜夜躁狠狠躁天天躁| 午夜两性在线视频| 88av欧美| 久久午夜亚洲精品久久| 国产欧美日韩精品一区二区| 男人舔女人的私密视频| 听说在线观看完整版免费高清| 老司机午夜福利在线观看视频| av福利片在线观看| 久久久久久久久久黄片| 亚洲人成电影免费在线| 少妇的逼水好多| 波多野结衣高清无吗| 90打野战视频偷拍视频| 亚洲精品456在线播放app | 天堂av国产一区二区熟女人妻| 国产爱豆传媒在线观看| 国产精品爽爽va在线观看网站| 精品一区二区三区四区五区乱码| 91九色精品人成在线观看| 亚洲乱码一区二区免费版| а√天堂www在线а√下载| 国产人伦9x9x在线观看| 精品福利观看| 天堂动漫精品| 国内精品久久久久久久电影| 搡老熟女国产l中国老女人| 精品国产三级普通话版| 这个男人来自地球电影免费观看| 久久久精品大字幕| 每晚都被弄得嗷嗷叫到高潮| 欧美一区二区国产精品久久精品| 欧美成人免费av一区二区三区| 婷婷精品国产亚洲av| 88av欧美| 在线免费观看不下载黄p国产 | 亚洲色图av天堂| 中文字幕人妻丝袜一区二区| 操出白浆在线播放| 最新中文字幕久久久久 | 国产aⅴ精品一区二区三区波| 欧美又色又爽又黄视频| 欧美一区二区国产精品久久精品| 首页视频小说图片口味搜索| 小说图片视频综合网站| 丰满的人妻完整版| 国产成人av教育| 国产黄片美女视频| 18禁国产床啪视频网站| 麻豆国产av国片精品| 757午夜福利合集在线观看| 久久99热这里只有精品18| 在线观看日韩欧美| 又黄又粗又硬又大视频| 亚洲,欧美精品.| 最新在线观看一区二区三区| 国产精品99久久99久久久不卡| 天堂√8在线中文| 免费看十八禁软件| 日日夜夜操网爽| 无遮挡黄片免费观看| 久久久久久久精品吃奶| 日本三级黄在线观看| 精品一区二区三区视频在线观看免费| 美女黄网站色视频| bbb黄色大片| 国产精品亚洲一级av第二区| 亚洲av日韩精品久久久久久密| 亚洲欧美激情综合另类| 亚洲一区二区三区不卡视频| 啦啦啦免费观看视频1| 免费人成视频x8x8入口观看| 国产av一区在线观看免费| 国产精品1区2区在线观看.| 国产精品,欧美在线| 亚洲欧美日韩高清专用| 欧美高清成人免费视频www| 成人三级黄色视频| 嫩草影院入口| 久久久久久久久免费视频了| 久久欧美精品欧美久久欧美| 一个人免费在线观看电影 | 2021天堂中文幕一二区在线观| 久久久久九九精品影院| 国产激情欧美一区二区| 无遮挡黄片免费观看| 中亚洲国语对白在线视频| 午夜精品一区二区三区免费看| 国产精品影院久久| 亚洲五月天丁香| 国产久久久一区二区三区| 国产精品久久久久久久电影 | 国产午夜精品久久久久久| 欧美一级毛片孕妇| 色哟哟哟哟哟哟| 18禁美女被吸乳视频| 国产探花在线观看一区二区| 亚洲人成网站在线播放欧美日韩| 90打野战视频偷拍视频| 婷婷丁香在线五月| 日本成人三级电影网站| 亚洲,欧美精品.| 国产淫片久久久久久久久 | 婷婷精品国产亚洲av在线| 俄罗斯特黄特色一大片| 在线播放国产精品三级| 一进一出抽搐gif免费好疼| 偷拍熟女少妇极品色| 人妻久久中文字幕网| 国产一区二区三区视频了| 国产精品爽爽va在线观看网站| 亚洲avbb在线观看| 1000部很黄的大片| 久久久久久大精品| 亚洲国产中文字幕在线视频| 一区二区三区高清视频在线| 91av网站免费观看| 99热这里只有是精品50| 午夜影院日韩av| 麻豆av在线久日| 久久久久久久久中文| 国产高清激情床上av| 国模一区二区三区四区视频 | 婷婷精品国产亚洲av在线| 一级a爱片免费观看的视频| 成人三级黄色视频| 88av欧美| 国产成人精品无人区| 色视频www国产| 欧美三级亚洲精品| 波多野结衣高清作品| 一本久久中文字幕| 国产aⅴ精品一区二区三区波| 亚洲欧美日韩东京热| 亚洲精品色激情综合| 色视频www国产| 夜夜看夜夜爽夜夜摸| 黄色视频,在线免费观看| 国产综合懂色| 成人三级黄色视频| 别揉我奶头~嗯~啊~动态视频| 久久久久国产精品人妻aⅴ院| 久久久久久国产a免费观看| 色尼玛亚洲综合影院| 嫩草影视91久久| 国模一区二区三区四区视频 | 欧美一区二区国产精品久久精品| 亚洲avbb在线观看| 久久久久久九九精品二区国产| 老鸭窝网址在线观看| 真人做人爱边吃奶动态| 色综合亚洲欧美另类图片| xxxwww97欧美| 不卡一级毛片| 亚洲av熟女| 亚洲成av人片在线播放无| 18禁国产床啪视频网站| 在线观看舔阴道视频| 黑人操中国人逼视频| 五月伊人婷婷丁香| 久久中文字幕人妻熟女| 日韩欧美国产在线观看| 国产私拍福利视频在线观看| 久久久色成人| 少妇熟女aⅴ在线视频| www.999成人在线观看| 成熟少妇高潮喷水视频| 999久久久国产精品视频| 18禁裸乳无遮挡免费网站照片| 久久久久免费精品人妻一区二区| 亚洲av免费在线观看| 久久精品国产99精品国产亚洲性色| 国产一区二区三区视频了| 欧美zozozo另类| 午夜日韩欧美国产| 老汉色av国产亚洲站长工具| 国产精品 欧美亚洲| 亚洲美女黄片视频| 女警被强在线播放| 国产一区二区三区视频了| 久久亚洲真实| 亚洲欧美日韩东京热| av在线天堂中文字幕| 国内精品久久久久精免费| 在线永久观看黄色视频| 国产v大片淫在线免费观看| 伊人久久大香线蕉亚洲五| 日韩高清综合在线| 国产精品一区二区三区四区免费观看 | 久久这里只有精品19| 激情在线观看视频在线高清| 久久久精品欧美日韩精品| 久久热在线av| 久久精品夜夜夜夜夜久久蜜豆| 首页视频小说图片口味搜索| 男人舔女人的私密视频| 这个男人来自地球电影免费观看| 亚洲va日本ⅴa欧美va伊人久久| 久久久久久国产a免费观看| 亚洲av电影不卡..在线观看| 午夜影院日韩av| 无人区码免费观看不卡| 日本黄大片高清| 中亚洲国语对白在线视频| 国内精品一区二区在线观看| 成在线人永久免费视频| 中文字幕高清在线视频| 老汉色av国产亚洲站长工具| 国产在线精品亚洲第一网站| 国产蜜桃级精品一区二区三区| 色综合欧美亚洲国产小说| 色在线成人网| 午夜激情福利司机影院| 1000部很黄的大片| 日本一二三区视频观看| 黄色成人免费大全| 免费人成视频x8x8入口观看| 又黄又爽又免费观看的视频| 黄频高清免费视频| 亚洲一区二区三区不卡视频| 淫秽高清视频在线观看| 国产精品野战在线观看| 波多野结衣高清作品| 高清在线国产一区| 久久亚洲精品不卡| 老司机福利观看| 啦啦啦免费观看视频1| 欧美3d第一页| 午夜免费成人在线视频| 国产日本99.免费观看| av天堂在线播放| 欧美色视频一区免费| 九九在线视频观看精品| cao死你这个sao货| 熟妇人妻久久中文字幕3abv| 亚洲性夜色夜夜综合| 真人做人爱边吃奶动态| 99在线人妻在线中文字幕| 天堂网av新在线| 国产伦精品一区二区三区视频9 | 在线视频色国产色| 99riav亚洲国产免费| 欧美不卡视频在线免费观看| 国产高清有码在线观看视频| 又黄又粗又硬又大视频| 国内毛片毛片毛片毛片毛片| 亚洲无线观看免费| 极品教师在线免费播放| 亚洲无线观看免费| 免费看美女性在线毛片视频| 国产精品99久久久久久久久| 噜噜噜噜噜久久久久久91| 看黄色毛片网站| 成在线人永久免费视频| 国产成+人综合+亚洲专区| 偷拍熟女少妇极品色| 91九色精品人成在线观看| 99国产综合亚洲精品| 亚洲无线观看免费| 免费大片18禁| 又黄又粗又硬又大视频| 国产伦人伦偷精品视频| 曰老女人黄片| 十八禁人妻一区二区| 12—13女人毛片做爰片一| 99精品久久久久人妻精品| 国内少妇人妻偷人精品xxx网站 | 黄色 视频免费看| 国产淫片久久久久久久久 | 中文字幕熟女人妻在线| 人人妻人人看人人澡| 噜噜噜噜噜久久久久久91| 看黄色毛片网站| 淫秽高清视频在线观看| 中文字幕av在线有码专区| 久久久久久大精品| 99久久精品一区二区三区| 国产一区二区在线av高清观看| 国内精品久久久久精免费| 老汉色av国产亚洲站长工具| 欧美最黄视频在线播放免费| 变态另类丝袜制服| 日日摸夜夜添夜夜添小说| 国产亚洲欧美在线一区二区| 成人一区二区视频在线观看| 国产午夜精品久久久久久| 中文字幕高清在线视频| 九九热线精品视视频播放| 亚洲国产日韩欧美精品在线观看 | 精品免费久久久久久久清纯| 好看av亚洲va欧美ⅴa在| 亚洲av第一区精品v没综合| www日本在线高清视频| 国产高清有码在线观看视频| 在线十欧美十亚洲十日本专区| 亚洲欧美日韩卡通动漫| 亚洲av五月六月丁香网| 午夜福利在线观看吧| 欧美日韩综合久久久久久 | 免费大片18禁| 成人永久免费在线观看视频| 搡老妇女老女人老熟妇| 757午夜福利合集在线观看| 色播亚洲综合网| 在线观看66精品国产| 男人的好看免费观看在线视频| 一级黄色大片毛片| 午夜福利视频1000在线观看| 999精品在线视频| bbb黄色大片| 男女午夜视频在线观看| 亚洲第一欧美日韩一区二区三区| 色在线成人网| 国产单亲对白刺激| 国产高清激情床上av| 色av中文字幕| 日韩欧美一区二区三区在线观看| 欧美国产日韩亚洲一区| 欧美黄色片欧美黄色片| 啦啦啦韩国在线观看视频| 久久香蕉国产精品| 91九色精品人成在线观看| 搡老妇女老女人老熟妇| 激情在线观看视频在线高清| 麻豆av在线久日|