• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    個人信息保護政策的網(wǎng)絡(luò)評價量化計算模型實證研究

    2022-06-06 05:37:09周慶山趙菲菲董立峰
    現(xiàn)代情報 2022年6期

    周慶山 趙菲菲 董立峰

    摘 要:[目的/意義]通過對個人信息保護政策的網(wǎng)絡(luò)評價文本進行分析挖掘,可為政府相關(guān)部門了解個人信息保護政策具體政策評價提供重要參考維度。[方法/過程]本文結(jié)合半結(jié)構(gòu)訪談、網(wǎng)絡(luò)媒體傳播及公眾社交平臺評論數(shù)據(jù),采用定性和定量研究相結(jié)合的方法,從政策完善度、政策效果、政策宣傳、政府信任等多個維度入手,構(gòu)建個人信息保護政策的網(wǎng)民評價計算框架。[結(jié)果/結(jié)論]在計算框架中,本文創(chuàng)新性地提出“議程設(shè)置匹配度”“政策各維度正負面占比”等核心指標(biāo),以及網(wǎng)絡(luò)主題抽取模型,最終對6項個人信息保護政策進行了量化實證計算,基于對實驗結(jié)果的分析,為提高個人信息保護政策的公眾認可度提出參考建議。

    關(guān)鍵詞:網(wǎng)絡(luò)評價數(shù)據(jù);公共政策評價;計算框架;個人信息保護政策

    DOI:10.3969/j.issn.1008-0821.2022.06.001

    〔中圖分類號〕G203 〔文獻標(biāo)識碼〕A 〔文章編號〕1008-0821(2022)06-0003-14

    Abstract:[Purpose/Significance]By analyzing and mining the network evaluation text of personal information protection policy,it can provide an important reference dimension for relevant government departments to understand the specific policy evaluation of personal information protection policy.[Method/Process]Based on the data of semi-structured interviews,online media communication and users comments on social platforms,this paper used a combination of qualitative and quantitative research method,to build a netizen evaluation and calculation framework of personal information protection policies from multiple dimensions such as policy perfection,policy effect,policy publicity,government trust in the calculation framework.[Result/Conclusion]This paper innovatively puts forward core indicators as“matching degree of agenda setting”,“proportion of positive and negative aspects of policy dimensions”and network topic extraction model,and finally realizes the ?quantitative empirical calculation of six personal information protection policy evaluations.Based on the analysis of the experimental results,some suggestions are put forward to improve the public acceptance of personal information protection policy.

    Key words:network comment data;public policy evaluation;calculation framework;personal information protection policy

    在數(shù)據(jù)驅(qū)動的決策范式下,基于網(wǎng)絡(luò)民意數(shù)據(jù)的公共政策過程研究逐漸成為熱點領(lǐng)域。按照Leslie Alexander Pal的觀點,公共政策是指公共權(quán)威組織所選擇的行動綱領(lǐng)或做出決定,以解決某一既定的或者一系列相關(guān)的問題[1]。在公共政策過程的發(fā)現(xiàn)問題、制定政策、實施政策、評估政策等各個階段,政府都需要參考民眾的意見[2]。公共政策的制定和完善應(yīng)建立在廣泛的網(wǎng)民評價基礎(chǔ)上,唯有公民規(guī)范、理性、均衡地參與公共政策制定,才能確保公共政策輸出的合法性和科學(xué)性。據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)統(tǒng)計顯示,截至2021年6月,中國網(wǎng)民規(guī)模達10.11億。互聯(lián)網(wǎng)普及率為71.6%,較2020年12月提升1.2個百分點[3]。隨著以社交媒體為代表的互聯(lián)網(wǎng)媒體在政府部門和公眾中廣泛普及,政府部門與公眾之間可以實現(xiàn)跨越時空限制的信息互動?;ヂ?lián)網(wǎng)以其扁平化、交互式、快捷性的優(yōu)勢,不僅可以使政府部門在收集有關(guān)社會問題信息的深度、廣度以及時效性方面得到空前提高,而且為公眾參與公共政策過程提供了技術(shù)保障和支持。利用大數(shù)據(jù)、人工智能等技術(shù)對公共政策的網(wǎng)絡(luò)媒體及網(wǎng)民評論數(shù)據(jù)進行建模計算,將成為新時期支撐政府部門政策過程的重要手段。近年來,我國政府已有意識地利用網(wǎng)民評價數(shù)據(jù),為公共政策提供決策參考,而且在公共決策時廣泛利用社會媒體、網(wǎng)絡(luò)調(diào)查和抽樣調(diào)查,實時、定期收集公民對特定政策的意見建議。

    隨著大數(shù)據(jù)和人工智能地廣泛應(yīng)用,個人信息的收集日益密集和隱蔽,其安全問題引發(fā)廣泛關(guān)注,針對個人信息保護問題,我國前期出臺了多項法律、法規(guī)及標(biāo)準規(guī)范政策[4],但仍然存在政策法規(guī)體系不夠系統(tǒng)、完善,出現(xiàn)多頭監(jiān)管、執(zhí)法缺乏依據(jù)、懲罰力度不足、行業(yè)自律制度難以發(fā)揮作用等系列問題[5],為此,全國人大常務(wù)委員會于2021年8月20日通過《個人信息保護法》,并于2021年11月1日起施行。通過對個人信息保護政策的網(wǎng)絡(luò)評價文本進行分析挖掘,可為政府相關(guān)部門了解個人信息保護政策相關(guān)網(wǎng)民評價,并確保個人信息保護政策的順利推行提供重要參考維度。然而,現(xiàn)階段政府在政策的網(wǎng)絡(luò)民眾意見分析利用方面,多將其等同于傳統(tǒng)網(wǎng)絡(luò)輿情分析;6816A859-14DE-4471-AE49-F887F905D427

    在分析方法方面,政策意見提取和網(wǎng)民政策情感傾向分析多采用通用文本聚類和情感傾向分析技術(shù);在指標(biāo)選擇方面,多借鑒輿情分析中曝光量、網(wǎng)民的情感傾向等輿情類指標(biāo)。公共政策尤其是廣受大眾關(guān)注熱議的個人信息保護政策網(wǎng)民評價計算,不同于普通輿情分析計算,其具有較強政策屬性特征,利用現(xiàn)存的輿情分析技術(shù)、分析指標(biāo)等不能滿足公共政策網(wǎng)絡(luò)民意分析現(xiàn)實需求?;诖?,本文構(gòu)建基于個人信息保護政策的網(wǎng)絡(luò)評價文本計算框架,通過對公共政策的多維、量化計算,從政策完備性、政策擴散、政策效果、政府信任等多個維度對個人信息保護政策進行客觀量化的評價分析。

    1 相關(guān)研究綜述

    網(wǎng)絡(luò)民意是指以互聯(lián)網(wǎng)技術(shù)和信息化手段為基礎(chǔ),公民通過網(wǎng)絡(luò)平臺表達的、相對集中的意見和言論的匯總[6]。隨著Web2.0技術(shù)的發(fā)展,公眾通過網(wǎng)絡(luò)平臺參與公共政策的監(jiān)督和對政策的訴求表達愈發(fā)普遍,政策評估中的公眾參與日益成熟?,F(xiàn)有爬蟲、自然語言處理以及機器學(xué)習(xí)等技術(shù),為公共決策研究提供了新的思路與方法。Song M等[15]指出,社交媒體文本分析使政府能夠及時跟蹤事件的發(fā)生、消亡以及用戶對該事件的反應(yīng),確保政府可以進行更加有效地分析,為政府管理提供新的研究視角。

    面向公共政策學(xué)者們基于網(wǎng)絡(luò)媒體的網(wǎng)民評價指標(biāo)構(gòu)建及網(wǎng)絡(luò)民意分析挖掘方法進行了豐富的研究。其中,在基于網(wǎng)絡(luò)媒體的網(wǎng)民評價指標(biāo)構(gòu)建方面,邱爾麗等[19]基于網(wǎng)絡(luò)數(shù)據(jù),將政策對公眾的吸引程度、公眾對政策的立場傾向以及政策推進中輿論曝光或者投訴問題的情況進行分析,構(gòu)建了公共政策評價的網(wǎng)絡(luò)民意指標(biāo)體系。何志武等[14,21]針對政策議程的不同模式,圍繞網(wǎng)絡(luò)網(wǎng)民評價的表達路徑與收集機制展開研究,并從主體性、科學(xué)性和傾向性3個維度開展網(wǎng)民評價分析,同時指出網(wǎng)民評價分析應(yīng)該是一個不斷變化的動態(tài)過程。鄧莎莎等[20]構(gòu)建了由數(shù)據(jù)準備和網(wǎng)絡(luò)民意建模兩部分構(gòu)成的面向公共決策的網(wǎng)絡(luò)民意建模系統(tǒng)及評價指標(biāo)體系框架,并以“健全醫(yī)療保健制度”為應(yīng)用案例,驗證了系統(tǒng)框架的良好效果;在網(wǎng)絡(luò)民意分析挖掘方法方面,學(xué)者們基于網(wǎng)絡(luò)數(shù)據(jù)及政府公開數(shù)據(jù),利用大數(shù)據(jù)技術(shù)及系列分析挖掘方法,對公共決策中的網(wǎng)絡(luò)民意分析挖掘進行了較多探索[7-13]。如Li Y等[16]針對互聯(lián)網(wǎng)事件抽取問題提出了基于分類空間模型和特征選擇策略的網(wǎng)絡(luò)輿情事件抽取框架,并在測試數(shù)據(jù)集合上得到了較好的驗證。Zhou P等[17]提出基于關(guān)鍵詞抽取的網(wǎng)絡(luò)民意內(nèi)容聚合框架,通過對已抽取的網(wǎng)絡(luò)民意進行聚合以豐富抽取結(jié)果的語義信息。Lu Z W[18]針對微博短文本提出了基于TF-IDF的短文本觀點挖掘系統(tǒng),但該系統(tǒng)在長文本數(shù)據(jù)處理上的適用性還需進一步加強。胡欣杰等[23]提出了基于聚類分析的網(wǎng)絡(luò)民意傾向性分析的距離模型和相關(guān)系數(shù)模型,提出了基于時間片的k中心點法聚類分析算法,經(jīng)試驗驗證模型能有效地提高提取的查全率,較大幅度提高了時間效率。

    通過對國內(nèi)外相關(guān)研究進行調(diào)研發(fā)現(xiàn),現(xiàn)有基于互聯(lián)網(wǎng)輿情數(shù)據(jù)進行政策評價的相關(guān)研究,在數(shù)據(jù)源上主要集中于微博文本數(shù)據(jù)或搜索引擎數(shù)據(jù),網(wǎng)絡(luò)數(shù)據(jù)來源較為單一。在指標(biāo)選擇方面,面向公共政策,尤其是個人信息保護政策屬性的系統(tǒng)性指標(biāo)體系有待深入研究。此外,通過對網(wǎng)絡(luò)民意數(shù)據(jù)進行全收集、精確統(tǒng)計、深度挖掘和量化分析的可操作性方法相對缺乏。已有分析挖掘方法存在挖掘結(jié)果有效性不高的問題,難以滿足政策決策機構(gòu)對個人信息保護政策精確量化評價的需求。因此,急需構(gòu)建基于個人信息保護政策的網(wǎng)民評價計算分析框架,為科學(xué)決策提供重要分析維度。

    本文結(jié)合半結(jié)構(gòu)訪談、網(wǎng)絡(luò)媒體傳播及公眾社交平臺評論數(shù)據(jù),采用定性和定量研究相結(jié)合的方法,從政策完善度、政策效果、政策宣傳、政府信任等多個維度入手,構(gòu)建個人信息保護政策網(wǎng)民評價指標(biāo)體系,并結(jié)合專家智慧,利用層次分析法,對相關(guān)評價指標(biāo)進行篩選和權(quán)重計算,構(gòu)建基于網(wǎng)絡(luò)評價文本的個人信息保護政策評價計算框架,并進行了實證檢驗。此外,本文還創(chuàng)新性地提出衡量民眾評論主題與主流媒體報道主題匹配度的核心指標(biāo)“議程設(shè)置匹配度”,在給出形式化的同時進行了語義計算,提出了基于“主題—事件—互聯(lián)網(wǎng)信息—句子—詞語”的層次關(guān)系和多視角語義距離度量的網(wǎng)絡(luò)主題抽取模型,完成核心指標(biāo)中文本主題提取和網(wǎng)絡(luò)主題相似度的計算,提升了網(wǎng)絡(luò)議題抽取的有效性。

    2 基于個人信息保護政策的網(wǎng)民評價文本計算框架構(gòu)建

    2.1 計算框架構(gòu)建過程描述

    基于網(wǎng)絡(luò)媒體數(shù)據(jù)的個人信息保護政策網(wǎng)民評價計算框架主要包括評價指標(biāo)提取、核心指標(biāo)計算、指標(biāo)權(quán)重計算和框架驗證4個階段。其中,在評價指標(biāo)提取階段,為保證從公眾的視角入手,提取的公共政策評價指標(biāo)具有科學(xué)、合理且具備特定公共政策的獨特性,本文采用半結(jié)構(gòu)化訪談針對公眾對特定公共政策的評價維度進行收集,并基于扎根理論對訪談記錄進行文本編碼,抽象出概念和范疇,并最終構(gòu)建特定公共政策評價指標(biāo)體系。在核心指標(biāo)計算階段,基于已經(jīng)構(gòu)建的評價指標(biāo)體系,對“議程相似度”“政策各維度正負面占比”等核心指標(biāo)進行形式化定義,并利用情感分析、主題識別等文本挖掘技術(shù)實現(xiàn)指標(biāo)計算;在指標(biāo)篩選和權(quán)重計算階段,利用層次分析法,通過邀請領(lǐng)域?qū)<覍χ笜?biāo)進行兩兩比較打分,并將數(shù)據(jù)進行歸一化處理,實現(xiàn)指標(biāo)的篩選和權(quán)重計算,最終得出特定政策評價計算模型;在實證階段,本文選取6項個人信息保護政策,通過收集和整理政策媒體報道數(shù)據(jù)和網(wǎng)民評論數(shù)據(jù),利用計算模型對相關(guān)政策進行量化計算,并對試驗結(jié)果進行對比分析,提出個人信息保護政策建議,計算框架如圖1所示。

    2.2 基于半結(jié)構(gòu)訪談的個人信息保護政策評價指標(biāo)體系構(gòu)建

    為構(gòu)建個人信息保護政策評價指標(biāo)體系,本文隨機選取60人作為訪談對象進行訪談。同時,為了使被抽中的樣本所產(chǎn)生的研究結(jié)果能夠最大程度地覆蓋研究現(xiàn)象中各種不同的情況,本文結(jié)合“最大差異抽樣”的原則方法,盡量做到分別按照不同教育情況、地域分布、性別比例、年齡分布抽取一定數(shù)量的樣本進行深度訪談?wù){(diào)研。其中,60名被訪者地域分布在12個省市,年齡主要集中在24~60歲之間;性別比例男性28人,女性32人;受教育情況博士10人,碩士30人,本科13人,高中2人,初中2人,小學(xué)2人,未接受教育1人;職業(yè)分布多樣。本文按照一個粗線條式的訪談提綱對受訪者進行非正式訪談,如表1所示。了解受訪者對該主題的感受和看法,獲取細致、生動的文本資料,并利用扎根理論抽象出概念、范疇。在訪談結(jié)束后,將訪談錄音資料轉(zhuǎn)化成文字信息,并隨機抽取40份(約2/3)的訪談記錄進行文本編碼,剩余20份訪談記錄作為理論飽和度檢驗。6816A859-14DE-4471-AE49-F887F905D427

    本文利用扎根理論研究方法對訪談內(nèi)容進行編碼,編碼分為開放式編碼、主軸式編碼和選擇性編碼,在編碼完成后進行理論飽和度驗證。開放式編碼是對原始訪談資料所記錄的可用于編碼的句子或者片段進行概念化和范疇化,是將原始資料分解、比較后再以新方式重新組合的過程[20]。本文采用逐字逐句編碼的方式將原始資料進行概念化,再利用聚焦編碼的方式將相同或者相似的概念組合進行范疇化。為避免編碼的主觀性,本文采用兩位編碼人員進行預(yù)編碼,保證對編碼方式和相關(guān)概念的一致性,提取出初始概念用an表示,共得到49條初始概念。在進行完初始概念提取后,通過主軸式編碼來實現(xiàn)編碼概念層面的內(nèi)在聯(lián)系,并進行刪除、歸類和融合,進行相似初始概念的合并和范疇化,共得到15個范疇,范疇用An表示。初始概念提取和范疇化示例如表2所示。

    將15個開放式編碼進行歸類、合并,最終得到5個主范疇。通過對留作理論飽和度檢驗的20份訪談內(nèi)容進行處理和分析后,未發(fā)現(xiàn)新的概念和范疇,說明上述扎根理論的分析是飽和的。提取的主范疇如表3所示。

    同時,結(jié)合訪談編碼提取內(nèi)容、網(wǎng)絡(luò)媒體傳播及社交平臺網(wǎng)民評論數(shù)據(jù)指標(biāo)維度的總體情況,本文提出了基于互聯(lián)網(wǎng)數(shù)據(jù)的個人信息保護政策評價指標(biāo)體系,如表4所示。

    2.3 核心評價指標(biāo)

    2.3.1 議程設(shè)置匹配度

    本文的核心指標(biāo)“議程設(shè)置匹配度”是指網(wǎng)絡(luò)主流媒體報道主題與社交平臺上網(wǎng)民關(guān)注焦點重合程度。其形式化定義如式(1):

    y=card(A∩B)card(A)*100%(1)

    y:議程設(shè)置匹配度;A={x|x∈主流媒體報道主題};B={y|y∈網(wǎng)絡(luò)平臺網(wǎng)民評論主題}。

    其計算流程如圖2所示,本文分別將主流媒體報道和網(wǎng)民評論數(shù)據(jù)進行主題提取,形成主流媒體報道主題集合A和評論主題集合B,通過將集合A和B中的主題進行兩兩比較計算相似度,如相似度在特定設(shè)置的閾值之上(本文設(shè)置為85%),則進行計數(shù),通過式(1)計算議程設(shè)置匹配度。

    議程設(shè)置匹配度計算關(guān)鍵是對主流媒體報道和社交平臺網(wǎng)民評論中的主題進行提取。由于這兩個平臺中的數(shù)據(jù)具有異構(gòu)、量大和半結(jié)構(gòu)化等問題,為主題的有效抽取帶來了挑戰(zhàn)。此外,現(xiàn)行研究成果在網(wǎng)絡(luò)議程抽取方面存在著抽取結(jié)果語義信息不足、抽取結(jié)果有效性較差、抽取模型可擴展性較差等問題,難以滿足公共決策機構(gòu)對于有效網(wǎng)絡(luò)議題抽取的需求。因此,本文提出了基于“主題—事件—互聯(lián)網(wǎng)信息—句子—詞語”的層次關(guān)系和多視角語義距離度量的主題抽取模型。模型首先識別互聯(lián)網(wǎng)信息集合中所包含的主題信息,然后抽取每個主題下所包含的主題詞信息。本文定義了可以從不同維度度量互聯(lián)網(wǎng)信息之間語義相似度的語義距離指標(biāo),語義距離可以實現(xiàn)從關(guān)鍵實體集合相似度、實體語義關(guān)系相似度、文本相似度等多個維度更加全面地衡量不同互聯(lián)網(wǎng)信息之間的語義相似度,進而實現(xiàn)網(wǎng)絡(luò)主題的精確抽取,語義距離度量結(jié)構(gòu)圖如圖3所示。

    在網(wǎng)絡(luò)主題檢測中,首先利用隱形狄利克雷分布(Latent Dirichlet Allocation,LDA)模型對互聯(lián)網(wǎng)信息集合中的潛在主題信息進行提取,然后基于計算得到的主題分布向量使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚類算法對全部互聯(lián)網(wǎng)信息進行聚類處理,聚類的結(jié)果就是互聯(lián)網(wǎng)信息數(shù)據(jù)集合中所涉及的全部主題以及各個主題所包含的互聯(lián)網(wǎng)信息。

    抽取得到的網(wǎng)絡(luò)主題會存在多個抽取結(jié)果同指一個主題現(xiàn)象,假設(shè)兩條互聯(lián)網(wǎng)信息具備相同的時間、地點、人物等要素,且各實體之間的語義角色信息相同,則認為上述兩條互聯(lián)網(wǎng)信息描述的是同一主題,即上述兩則互聯(lián)網(wǎng)信息隸屬于同一主題。本文利用哈工大中文語言技術(shù)平臺LTP中的命名實體識別庫[27],實現(xiàn)文本命名實體識別的功能?;谏鲜黾僭O(shè),本文定義了一種描述互聯(lián)網(wǎng)信息之間語義相似度的距離度量。該距離度量綜合考慮了兩互聯(lián)網(wǎng)信息之間的實體相似度、實體語義角色相似度、文本相似度,以更加全面地度量兩則互聯(lián)網(wǎng)信息之間的語義相似度。i、j兩則互聯(lián)網(wǎng)信息之間的語義距離度量定義如式(2):

    distij=1simentityij+simsemanticij+simwordij(2)

    其中,simentityij表示兩則互聯(lián)網(wǎng)信息之間的關(guān)鍵實體集合相似度,simsemanticij表示兩則互聯(lián)網(wǎng)信息之間各關(guān)鍵實體的語義角色相似度,simwordij表示兩則互聯(lián)網(wǎng)信息之間的文本相似度。

    1)互聯(lián)網(wǎng)信息實體集合相似度計算

    兩則信息之間所包含的時間、地點、人物等關(guān)鍵實體相似度較高則說明兩則信息之間描述同一主題的概率越大。因此,本方案使用Jaccard相似度方法對不同互聯(lián)網(wǎng)信息之間的實體相似度進行度量,計算定義如式(3):

    simentityij=Enti∩EntjEnti∪Entj(3)

    其中,Enti∩Entj表示兩則信息之間公共實體的個數(shù),Enti∪Entj表示兩則信息出現(xiàn)的全部實體的個數(shù)。實體集合相似度取值介于0與1之間,數(shù)值越大表示兩者在時間關(guān)鍵實體上的相似度越高,越有可能描述的是同一網(wǎng)絡(luò)主題。

    2)互聯(lián)網(wǎng)信息實體語義相似度計算

    Sun W等[26]提出,語義角色標(biāo)注是淺層語義分析的一種,在一個句子中,謂詞是對主語的陳述或說明,指出“做什么”“是什么”或“怎么樣”,代表了一個事件的核心,與謂詞搭配的名詞稱為論元。語義角色是指論元在動詞所指事件中擔(dān)任的角色,主要有:施事者、受事者、客體、經(jīng)驗者、受益者、工具、處所、目標(biāo)和來源等。例如“小明昨天在公園遇到了小紅”,句子中“遇到”是謂詞,“小明”是施事者,“小紅”是受事者,“昨天”是事件發(fā)生的時間,“公園”是事件發(fā)生的地點。6816A859-14DE-4471-AE49-F887F905D427

    互聯(lián)網(wǎng)信息中包含實體的語義角色相似度旨在度量不同的互聯(lián)網(wǎng)信息所含實體在各自文本中所扮演的語義角色的相似度,實體之間的語義角色相似度可以刻畫不同互聯(lián)網(wǎng)信息之間的實體在邏輯關(guān)系上的關(guān)聯(lián)關(guān)系。實體語義角色相似度度量步驟如下:

    步驟一:使用Pyltp工具對互聯(lián)網(wǎng)信息中所含實體的語義角色進行標(biāo)注。

    步驟二:統(tǒng)計各個實體的語義角色以及作為該語義角色出現(xiàn)在文本中的頻數(shù);本文僅考慮施事、當(dāng)事、領(lǐng)事、感事、受事、客事、成事、源事、涉事、比較、屬事等20種語義角色。

    步驟三:根據(jù)各個實體的語義角色以及各自角色出現(xiàn)的頻數(shù)為每個實體構(gòu)建一個長度為20維的向量V,向量的分量表示該實體在第i個語義角色上的歸一化的頻率。

    步驟四:使用JS(Jensen-Shannon Divergence)距離計算不同互聯(lián)網(wǎng)信息之間的實體交集中實體的語義角色向量之間的相似度。

    步驟五:對交集中實體的語義角色相似度值按照實體出現(xiàn)的頻數(shù)進行加權(quán)平均,得到新聞與事件實體交集的語義角色相似度值。

    其中,JS距離的計算公式定義如式(4):

    JS(P‖Q)=12KLP‖P+Q2+12KLQ‖P+Q2(4)

    KL(P‖Q)=∑v∈VP(v)*logP(v)Q(v)(5)

    其中,V表示語義角色集合,P為實體在互聯(lián)網(wǎng)信息i中的語義角色分布,Q為實體在互聯(lián)網(wǎng)信息j中的語義角色分布。

    3)互聯(lián)網(wǎng)信息之間的文本相似度計算

    similarity=veci·vecjveci·vecj(6)

    其中,veci和vecj分別是互聯(lián)網(wǎng)信息i的特征向量(利用TF-IDF算法生成)和互聯(lián)網(wǎng)信息j的特征向量(由TF-IDF算法生成)。相似度度量算法采用余弦相似度算法進行度量。

    2.3.2 政策各維度正負面占比

    本文基于公眾視角建立的個人信息保護政策評價指標(biāo)體系,其中的政策評價各維度正負面比例,主要是指網(wǎng)民關(guān)于特定維度的政策評論中正面情感評價的文本數(shù)量與負面情感評價的文本數(shù)量之比。政策評價各維度正負面比例包含政策內(nèi)容評價(用戶)正負面比例、政策程序評價(用戶)正負面比例、處罰力度評價(用戶)正負面比例、政策執(zhí)行評價(用戶)正負面比例和公眾信任評價(用戶)正負面比例。

    其形式化定義為:G=(VT,VF,S,I),其中,G表示政策評價各維度評價,VT表示政策的正向評價集合,VF表示政策的負向評價集合,S表示政策內(nèi)容,I表示政策評價維度集合。針對特定政策的某個政策評價維度即s∈S,i∈I:

    rateTF=card(VT)card(VF)*100%(7)

    以往相關(guān)輿情分析中通用文本情感傾向分析方法為本文的政策用戶評價情感計算提供了良好的基礎(chǔ),但公共政策相關(guān)用戶評價情感計算具有公共政策的特殊性。本文基于2.2節(jié)公眾對個人信息保護政策深度訪談數(shù)據(jù)分析,通過手工標(biāo)注的方式對個人信息保護政策公眾評價進行了公共政策內(nèi)容、公共政策宣傳、公共政策執(zhí)行、公共政策效果等維度的劃分,并結(jié)合構(gòu)建的用于輔助挖掘政策輿論的評價詞表,對輸入訓(xùn)練模型評價特征進行提取,其中,評價特征包括統(tǒng)計特征和評價極性分值兩種類型,通過將原貼—評論文本對和評價特征輸入Bert預(yù)訓(xùn)練模型,完成模型的訓(xùn)練,最后利用訓(xùn)練完的模型實現(xiàn)在社會化媒體下公眾對個人信息保護政策在不同政策維度下的評價判別,細粒度挖掘公眾評價傾向,詳細計算步驟如下:

    1)數(shù)據(jù)預(yù)處理。通過文本預(yù)處理模塊將社交平臺網(wǎng)民評論中的表情符號、用戶名、非中文特殊符號、繁體字、各類鏈接等進行過濾和處理。

    2)公共政策分類標(biāo)注。通過訪談和手工標(biāo)注的方式,對網(wǎng)民關(guān)于個人信息保護政策評價進行分類,分類維度如下:公共政策內(nèi)容、公共政策程序、處罰力度、公共政策執(zhí)行、公眾信任?;谡咴u價分類,對個人信息保護政策的網(wǎng)民微博評論數(shù)據(jù)進行了人工標(biāo)注,標(biāo)注標(biāo)準是根據(jù)公眾對原帖文本內(nèi)容在某一政策維度上的評價判別,即對某一政策維度是否支持或不相關(guān)。一條評論文本可能體現(xiàn)多個政策維度上的評價觀點。

    3)評價詞表構(gòu)建。通過手工構(gòu)建公共政策社交平臺網(wǎng)民評價正負面評價情感詞表。

    4)評價特征提取?;谠u價詞典分別采用統(tǒng)計特征和評價極性分值計算的方法抽取評論文本的特征。其中,統(tǒng)計特征包含評價詞在文本內(nèi)的占比、否定詞、程度副詞、有特殊符號反語成分占比等。評價分值計算采用基于詞典的評價詞權(quán)值累乘得出的評價極性分值。首先對文本進行斷句和預(yù)處理,針對文本中出現(xiàn)的評價詞、否定詞、程度副詞、特殊標(biāo)點符號進行詞典匹配,若存在詞典相對應(yīng)字詞,則賦以不同的權(quán)重值,并利用權(quán)值累計相乘計算評價極性分值,然后把子句的極性分值相加得到文本的評價分值。利用上述兩種方法,最終將抽取評價特征。

    5)基于Bert[28]訓(xùn)練模型構(gòu)建。本文基于Bert模型的雙文本任務(wù),進行公眾評論文本對個人信息保護政策相關(guān)內(nèi)容的評價判別模型構(gòu)建。Bert使用雙向Transformer兼顧上下文,將循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層進行拼接,并分別表示政策原帖與公眾評論文本的雙向特征表示。對于每一個輸入的文本,它的表征由其對應(yīng)的詞表征、段表征和位置表征拼接產(chǎn)生。特殊標(biāo)記符“[SEP]”代表分隔的句對,且句對輸入會有兩種段表征。本研究采用了BaseBERT模型,在句對表征后又拼接了公眾評價特征向量作為模型的輸入,對特定公共政策的公眾評價進行“支持”“不支持”“中立”三分類判別,如圖4所示。

    6)情感計算輸出。將個人信息保護政策的社交平臺網(wǎng)民評論數(shù)據(jù)作為輸入,通過模型計算,對政策評價各維度“支持”“不支持”“中立”進行判斷和輸出。通過BERT+情感詞表進行情感模型訓(xùn)練后相關(guān)情感傾向判定在不同政策維度上的精確率、召回率如表5所示。6816A859-14DE-4471-AE49-F887F905D427

    關(guān)于政策各維度用戶評價情感計算的詳細模型參數(shù)設(shè)置和計算精度提升效果參見作者此前發(fā)表的另一篇文獻[24]。

    2.4 基于評價指標(biāo)的計算模型設(shè)計

    為組織專家對評價指標(biāo)體系進行論證,采用層次模糊邏輯方法[25]對專家意見進行綜合,主要思路是首先確定專家委員會各專家的投票權(quán)重,然后針對建立的指標(biāo)體系,專家對每兩個指標(biāo)的重要關(guān)系進行打分,采用5維度比較標(biāo)度法進行打分參考,可用來衡量各評估指標(biāo)的相對重要程度,根據(jù)打分結(jié)果計算得到每一層級指標(biāo)的相對權(quán)重,最終得到指標(biāo)體系的權(quán)重矩陣。根據(jù)權(quán)重矩陣,上層指標(biāo)的定量值可根據(jù)下層指標(biāo)的定量值加權(quán)得到。

    2.4.1指標(biāo)評分專家

    政策評分專家信息如表6所示。

    2.4.2 處理計算流程

    步驟一:制作打分表。依據(jù)5維度比較標(biāo)度法制作專家打分表。

    步驟二:專家打分。邀請11位專家通過衡量各評估指標(biāo)對評估目標(biāo)的相對重要程度,將指標(biāo)進行兩兩比較打分。

    步驟三:權(quán)重矩陣。根據(jù)打分結(jié)果計算得到每一層級指標(biāo)的相對權(quán)重,最終得到評價指標(biāo)體系的權(quán)重矩陣。

    步驟四:數(shù)據(jù)預(yù)處理。得到指標(biāo)權(quán)重后,通過政策實際采集數(shù)據(jù)發(fā)現(xiàn),由于指標(biāo)項之間數(shù)據(jù)存在數(shù)量級的差異,為避免由于量綱不同使某些指標(biāo)形成主導(dǎo)作用,影響評價結(jié)果,因此,需要對數(shù)據(jù)進行歸一化處理,其中歸一化處理計算如式(8)所示。

    CFvali=dri-drmindrmax-drmin(8)

    其中,dri是指第i個指標(biāo)值。

    dri=log2(vali+1)(9)

    其中,CFvali是指第i個指標(biāo)值歸一化后的結(jié)果。

    drmin和drmax分別是指同類指標(biāo)中dr得分最小和最大的指標(biāo)值。

    步驟五:計算指標(biāo)得分。級別i的第j個指標(biāo)權(quán)重為CWeightij,歸一化后的級別i的第j個指標(biāo)的值為CFvalij,則指標(biāo)得分CValueij為:

    CValueij=CFvalij*CWeightij(10)

    步驟六:計算綜合得分。將各級指標(biāo)匯聚后乘以準則層指標(biāo)權(quán)重,則得到綜合得分計算公式(11)。

    Score綜合=∑k(∑j∈kCValueij)*BWeihgtk*θi(11)

    BWeihgtk指第k行的基準指標(biāo)權(quán)重。

    θi是指調(diào)節(jié)系數(shù),以相同倍數(shù)的變大或縮小,使Score值域處在一個規(guī)定可比區(qū)間。依據(jù)計算出各層級指標(biāo)的權(quán)重,即可計算得出個人信息保護政策評價計算模型,指標(biāo)權(quán)重如表7所示。

    3 個人信息保護政策網(wǎng)民評價文本計算分析

    3.1 政策案例選取

    本文選取2018年以來發(fā)布的6項個人信息保護政策作為實證研究,具體政策如表8所示,以上政策發(fā)布之后在各類網(wǎng)絡(luò)媒體平臺得到廣泛的傳播和討論,政策信息的網(wǎng)民評價具備代表性。

    3.2 政策網(wǎng)民評價數(shù)據(jù)收集

    本文借助中科院自動化研究所產(chǎn)業(yè)化平臺中科聞歌推出的“聞?!遍_源大數(shù)據(jù)平臺下載6項個人信息保護政策在微博、微信和主流媒體渠道的相關(guān)數(shù)據(jù)。其中,主流媒體包括1 579個新聞網(wǎng)站、1 079家電子報紙,新聞網(wǎng)站包括國內(nèi)主流媒體、省市級媒體、地方級媒體和行業(yè)媒體;電子報紙包括國家級報刊、省級報刊和部分地方級報紙的電子版;微信平臺數(shù)據(jù)是指微信公眾號數(shù)據(jù),收集到的政策相關(guān)數(shù)據(jù)量如表8所示。伴隨著個人信息保護立法及相關(guān)政策的出臺,由于該政策與個人隱私密切相關(guān),成為當(dāng)時的網(wǎng)絡(luò)熱點話題,因此受眾在微博、微信等社交平臺上對相關(guān)政策話題關(guān)注度極高,參與的受眾較多,在本研究選擇的6個政策上引發(fā)的受眾最大閱讀數(shù)近1億,最小閱讀數(shù)也達到90多萬,因此本研究的網(wǎng)絡(luò)評價數(shù)據(jù)具有一定的有效性。

    3.3 政策評價數(shù)據(jù)計算結(jié)果及分析

    通過處理計算流程步驟六,將各案例政策的各級指標(biāo)得分匯聚后乘以準則層指標(biāo)權(quán)重,得到各案例政策的綜合得分如表11所示。

    從各案例政策的綜合整體評價方面看,得分越高,說明政策的宣傳推廣和網(wǎng)民評價越好;從6個政策的評價得分看,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》獲得的評分最高。而《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》政策獲得的評分最低。排在評價效果排名第二位的是《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》政策;排在評價效果排名第三位的是《信息安全技術(shù)個人信息安全規(guī)范》政策;《快遞暫行條例》和歐盟《通用數(shù)據(jù)保護條例》分別排在第四位和第五位。

    具體從政策各維度評價計算得分上分析,公眾對于歐盟《通用數(shù)據(jù)保護條例》政策內(nèi)容評價最高,對《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》政策內(nèi)容評價次之,而對《快遞暫行條例》政策內(nèi)容方面的評價負面情緒較多,表明公眾對該政策的內(nèi)容不認可度較高。在政策程序網(wǎng)民評價方面,計算結(jié)果均大于1,說明公眾對于6個政策在政策程序方面正面評價數(shù)量均高于負面評價,表明公眾比較認可個人信息保護政策的政策程序。在處罰力度網(wǎng)民評價方面,公眾對《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》政策的評價得分最高,從6個政策評價上看,只有《快遞暫行條例》在此維度上出現(xiàn)了小于1的計算結(jié)果,表明公眾在處罰力度方面的評價負面情緒高于正面情緒。在政策效果評價方面,公眾對《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》政策的評價得分最高,公眾同樣對《快遞暫行條例》在政策效果方面不滿意情緒最多。

    在政策傳播擴散方面計算得分上分析,在微信平臺上,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》政策引發(fā)的傳播量最大,傳播范圍最廣,從其引發(fā)的閱讀數(shù)99 415 740可見一斑,其次是《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》和《信息安全技術(shù)個人信息安全規(guī)范》,《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》政策在微信平臺引發(fā)的總閱讀數(shù)為22 967 415,《信息安全技術(shù)個人信息安全規(guī)范》政策在微信平臺上引發(fā)的總閱讀數(shù)為48 022 758。在微信平臺上傳播效果最差的是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》,因其屬于特定領(lǐng)域政策,其受眾具有一定的領(lǐng)域特性,所以其引發(fā)的傳播量并不大,總體比前兩個政策差兩個數(shù)量級。在微博平臺上,《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》法規(guī)政策引發(fā)的發(fā)文量、點贊量、轉(zhuǎn)發(fā)量最大,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》引發(fā)的傳播量次之,但《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》在微博平臺上引發(fā)的公眾討論最多。在微博平臺上,傳播情況最差的是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》,這也與政策的行業(yè)屬性有非常大的關(guān)系。6816A859-14DE-4471-AE49-F887F905D427

    通過對6項政策在網(wǎng)站和電子報紙兩個傳統(tǒng)傳播渠道的計算得分進行對比分析,發(fā)現(xiàn)相關(guān)政策在網(wǎng)站與電子報紙上的傳播量成正相關(guān),即特定政策如果在電子報紙上報道量比較大,那么相應(yīng)的在網(wǎng)站上引發(fā)的傳播量也較高。在網(wǎng)站、電子報紙上傳播量最大的是《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》,傳播量最小的是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》。

    在議程匹配度方面,網(wǎng)絡(luò)主流媒體報道主題與社交平臺上網(wǎng)民關(guān)注焦點重合度最高的是《信息安全技術(shù)個人信息安全規(guī)范》,其次是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》,值得注意的是兩個政策都具有領(lǐng)域?qū)傩裕蒙缃黄脚_的開放性了解網(wǎng)民關(guān)切,同時借助主流媒體的權(quán)威性及公信力,達到了較好的傳播效果。

    在政府信任方面,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》在政策執(zhí)行和公眾信任評價方面都取得了較好的網(wǎng)民評價,而《快遞暫行條例》在政策執(zhí)行和公眾信任評價方面網(wǎng)民評價負面情緒最多。

    4 個人信息保護政策建議

    通過對實驗結(jié)果地分析,為提高個人信息保護政策的公眾認可度,本文提出如下建議:

    1)提高公眾對政策認可的前提是公眾對相關(guān)公共政策的知悉和了解,通過對《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》《信息安全技術(shù)個人信息安全規(guī)范》3個政策的量化計算發(fā)現(xiàn),這3個政策在政策傳播擴散方面均取得較好的傳播效果,在社交平臺上引起了網(wǎng)民的廣泛關(guān)注和討論,但是具有行業(yè)屬性的公共政策,雖然在社交平臺上有人討論,但是由于專業(yè)性較強,不容易引起廣泛的關(guān)注和傳播,因此針對具有行業(yè)屬性的公共政策,如果按常規(guī)的傳播手段進行政策傳播,難以取得理想效果,需首先借鑒科普傳播的形式,將專業(yè)術(shù)語進行轉(zhuǎn)述,再廣泛借助主流媒體和社交平臺的交互融合,拓寬公共政策信息的傳播渠道,提高公共政策的覆蓋度。

    2)通過借助社交平臺了解網(wǎng)民對于特定公共政策的關(guān)注焦點及負面評價,尤其是針對政策不同維度(政策內(nèi)容、處罰力度、政策執(zhí)行等)的負面評價,如本文中的《快遞暫行條例》政策處罰力度方面的負面評價較多。一方面,可以對政策進行有針對性的調(diào)整;另一方面,可借助主流媒體的權(quán)威性及公信力,調(diào)整主流媒體報道的議程,持續(xù)回應(yīng)公眾關(guān)切,并通過收集相關(guān)網(wǎng)民評論數(shù)據(jù),實時計算網(wǎng)民負面評價情況,對回應(yīng)策略及效果進行實時分析,提高公眾認可度。

    3)提高公共政策程序和執(zhí)行的透明度,比如本文中公眾對《快遞暫行條例》的處罰力度和處罰結(jié)果討論存在較多不滿,進一步影響到了公眾對政策制定和執(zhí)行者的信任。因此,有必要將公共政策程序和政策執(zhí)行結(jié)果,通過社交平臺的官方賬號進行及時的公布和報道,提高公眾對政府的信任水平。

    5 結(jié) 語

    本文從網(wǎng)民評價視角入手,以個人信息保護政策為具體研究對象,構(gòu)建基于網(wǎng)絡(luò)媒體的公共政策網(wǎng)民評價計算框架,實現(xiàn)對網(wǎng)民關(guān)于公共政策意見的及時、多維、量化計算,并針對具體公共政策展開實證分析。本文構(gòu)建的個人信息保護政策網(wǎng)民評價文本計算框架,支持從政策內(nèi)容、政策執(zhí)行、政府信任等維度對網(wǎng)民評價進行細粒度分析,能夠精準定位個人信息保護政策過程中的網(wǎng)民關(guān)注的具體問題,可作為政府相關(guān)部門了解個人信息保護政策相關(guān)網(wǎng)絡(luò)民意的重要維度,為包括個人信息保護政策在內(nèi)的其他公共政策評價提供了有效補充。但本研究也有不足之處,如本研究所涉及的網(wǎng)民只代表了可以上網(wǎng)的大眾,存在幸存者偏差。此外,本研究提出的基于網(wǎng)絡(luò)評論的計算框架不能完全替代基于文獻、調(diào)查等方式的傳統(tǒng)公共政策評價方式,將網(wǎng)絡(luò)評價文本挖掘和傳統(tǒng)訪談、調(diào)查等方法相結(jié)合,進一步增大訪談樣本的數(shù)量,并對兩類分析結(jié)果進行交叉驗證和相互補充,將是本研究下一步研究方向。

    參考文獻

    [1]Leslie Alexander Pal.Public Policy Analysis:An Introduction[M].Nelson Canada,1992.

    [2]張焱,戴楷然,支宇珩.媒體對公共政策過程影響研究綜述:“傳統(tǒng)媒體”框架的失靈與“社交媒體”框架的缺失[J].西華大學(xué)學(xué)報:哲學(xué)社會科學(xué)版,2018,(5):102-108.

    [3]中國互聯(lián)網(wǎng)絡(luò)信息中心.第48次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》[R].北京:中國互聯(lián)網(wǎng)絡(luò)信息中心,2021.

    [4]鄭志峰.網(wǎng)絡(luò)社會的被遺忘權(quán)研究[J].法商研究,2015,32(6):50-60.

    [5]周慶山.完善我國個人信息保護管理制度的思考[J].社會治理,2018,21(1):34-41.

    [6]王楠.網(wǎng)絡(luò)民意與公共決策關(guān)系探究[D].西安:西北大學(xué),2014.

    [7]Rao K,Dey S.Decision Support for E-Governance:A Text Mining Approach[J].International Journal of Managing Information Technology,2011,3(3):73-91.

    [8]Kalampokis E,Hausenblas M,Tarabanis K.Combining Social and Government Open Data for Participatory Decision-Making[M].Electronic Participation.Springer Berlin Heidelberg,2011.

    [9]Huang X Y.Internet Public Opinion Analysis:Intelligence Services for Government Decision-making[J].Journal of Modern Information,2012.6816A859-14DE-4471-AE49-F887F905D427

    [10]Chung K S K,Chatfield A T.An Empirical Analysis of Online Social Network Structure to Understand Citizen Engagement in Public Policy and Community Building[J].International Journal of Electronic Governance,2011,4(1/2):85-103.

    [11]Alfaro C,Cano-Montero J,Gómez J,et al.A Multi-stage Method for Content Classification and Opinion Mining on Weblog Comments[J].Annals of Operations Research,2016,236(1):197-213.

    [12]Ceron A,Negri F.The“Social Side”of Public Policy: Monitoring Online Public Opinion and Its Mobilization During the Policy Cycle[J].Policy & Internet,2016,8(2):131-147.

    [13]Chung W,Zeng D.Social-media-based Public Policy Informatics:Sentiment and Network.Analyses of U.S.Immigration and Border Security[J].Journal of the Association for Information Science & Technology,2016,67(7):1588-1606.

    [14]何志武,陳呈.網(wǎng)絡(luò)民意的表達路徑與收集機制研究——基于政策議程設(shè)置的視角[J].中州學(xué)刊,2019,(11):165-172.

    [15]Song M,Kim M C,Jeong Y K.Analyzing the Political Landscape of 2012 Korean Presidential Election in Twitter[J].IEEE Intelligent Systems,2014,29(2):18-26.

    [16]Li Y,Dai G,Zhu Y,et al.A High-Performance Extraction Method for Public Opinion on Internet[J].Wuhan University Journal of Natural Sciences,2007,13(5):902-906.

    [17]Zhou P,Cai S Q,Shi S Y,et al.Content Aggregation of Microblogging Public Opinion Events Based on Keyword Extraction[J].Journal of Intelligence,2014.

    [18]Lu Z W.The Design of Public Opinion Analysis System Based on Micro-Blog[C]//International Conference on Information System & Artificial Intelligence.IEEE,2017.

    [19]邱爾麗,張競,王雨舟,等.基于網(wǎng)絡(luò)輿情大數(shù)據(jù)的公共政策評價研究[J].領(lǐng)導(dǎo)科學(xué),2021,(8):118-121.

    [20]鄧莎莎,張朋柱,李欣苗.政府公共決策領(lǐng)域中網(wǎng)絡(luò)民意建模方法研究[J].現(xiàn)代圖書情報技術(shù),2012,(9):69-74.

    [21]何志武,陳呈.公共決策視域下的網(wǎng)絡(luò)民意分析:主體性、科學(xué)性與傾向性[J].電子政務(wù),2020,(2):66-75.

    [22]張敬偉,馬東俊.扎根理論研究法與管理學(xué)研究[ J ].現(xiàn)代管理科學(xué),2009,(2):115-117.

    [23]胡欣杰,路雨楠,路川.基于聚類分析的網(wǎng)絡(luò)輿情傾向性分析研究[J].兵器裝備工程學(xué)報,2019,40(5):115-118.

    [24]趙菲菲,王宇琪,周慶山,等.個人信息保護政策網(wǎng)絡(luò)評價的文本分析建模研究[J].情報雜志,2020,39(8):154-159.

    [25]Saaty T L.How to Make a Decision:The Analytic Hierarchy Process[J].European Journal of Operational Research,1994,24(6):19-43.

    [26]Sun W,Sui Z,Wang M,et al.Chinese Semantic Role Labeling with Shallow Parsing[C]//Conference.on Empirical Methods in Natural Language Processing.Association for Computational Linguistics,2009.

    [27]Liu M Y,Tu Z Y,Wang Z J,et al.LTP:A New Active Learning Strategy for Bert-crf Based Named Entity Recognition[J].arXiv Preprint arXiv:2001.02524,2020.

    [28]Devlin J,Chang M W,Lee K,et al.Bert:Pre-training of Deep Bidirectional Transformers for Language.Understanding[J].arXiv Preprint arXiv:1810.04805,2018.

    (責(zé)任編輯:郭沫含)6816A859-14DE-4471-AE49-F887F905D427

    老司机影院毛片| 一本色道久久久久久精品综合| 国产精品无大码| 丝袜人妻中文字幕| a级毛片在线看网站| 1024视频免费在线观看| 街头女战士在线观看网站| 又大又黄又爽视频免费| 国产成人av激情在线播放| 五月天丁香电影| 伊人久久国产一区二区| 丝袜美腿诱惑在线| 亚洲熟女精品中文字幕| 亚洲av电影在线观看一区二区三区| 亚洲一区中文字幕在线| 国产色婷婷99| 亚洲成人av在线免费| 别揉我奶头~嗯~啊~动态视频 | 制服丝袜香蕉在线| 色吧在线观看| 亚洲精品av麻豆狂野| 国产精品99久久99久久久不卡 | 久久久久人妻精品一区果冻| 最近的中文字幕免费完整| 精品一区二区三卡| 天堂中文最新版在线下载| 色婷婷av一区二区三区视频| 亚洲欧美一区二区三区久久| 国产野战对白在线观看| 黄频高清免费视频| 亚洲伊人久久精品综合| 午夜日韩欧美国产| 乱人伦中国视频| 日韩,欧美,国产一区二区三区| 一级,二级,三级黄色视频| 成年女人毛片免费观看观看9 | 一本大道久久a久久精品| 中文字幕亚洲精品专区| www.av在线官网国产| 波多野结衣一区麻豆| 国产精品三级大全| 久热爱精品视频在线9| 波多野结衣av一区二区av| 黄色一级大片看看| 亚洲av成人精品一二三区| 天堂8中文在线网| 大陆偷拍与自拍| 国产免费现黄频在线看| 日韩大码丰满熟妇| 爱豆传媒免费全集在线观看| 国产片内射在线| 最近2019中文字幕mv第一页| 亚洲成人国产一区在线观看 | svipshipincom国产片| 久久久久网色| 搡老岳熟女国产| 免费观看av网站的网址| 2018国产大陆天天弄谢| 少妇人妻精品综合一区二区| 国产成人一区二区在线| 欧美日韩一级在线毛片| av国产久精品久网站免费入址| 天天躁夜夜躁狠狠躁躁| 欧美日韩亚洲综合一区二区三区_| 国产麻豆69| 天堂8中文在线网| 亚洲精品中文字幕在线视频| www.av在线官网国产| 美女主播在线视频| 卡戴珊不雅视频在线播放| 天天躁夜夜躁狠狠躁躁| 免费观看人在逋| 桃花免费在线播放| 亚洲一区中文字幕在线| 熟女av电影| 汤姆久久久久久久影院中文字幕| 日本爱情动作片www.在线观看| 久久精品久久久久久久性| 亚洲,欧美,日韩| 欧美精品一区二区免费开放| 精品一区二区三区av网在线观看 | 老鸭窝网址在线观看| 国产精品 欧美亚洲| 亚洲欧美日韩另类电影网站| 国产伦理片在线播放av一区| 日本午夜av视频| 精品第一国产精品| 亚洲国产成人一精品久久久| 精品国产露脸久久av麻豆| 桃花免费在线播放| 欧美日韩av久久| av在线app专区| 午夜福利,免费看| 大片电影免费在线观看免费| 国产麻豆69| 亚洲一级一片aⅴ在线观看| 亚洲国产精品一区三区| 一本大道久久a久久精品| 欧美亚洲日本最大视频资源| tube8黄色片| 在线天堂中文资源库| av网站免费在线观看视频| 视频在线观看一区二区三区| 丁香六月天网| 日韩 欧美 亚洲 中文字幕| 成人亚洲精品一区在线观看| 亚洲欧美精品自产自拍| 欧美日韩成人在线一区二区| 国产毛片在线视频| 国产精品免费大片| 亚洲成国产人片在线观看| 国产日韩一区二区三区精品不卡| 一区二区三区乱码不卡18| 国产亚洲一区二区精品| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲欧美成人精品一区二区| 成人亚洲欧美一区二区av| 18在线观看网站| av又黄又爽大尺度在线免费看| 人人妻人人添人人爽欧美一区卜| 天天躁日日躁夜夜躁夜夜| 在线观看www视频免费| 国产精品香港三级国产av潘金莲 | 只有这里有精品99| 亚洲婷婷狠狠爱综合网| 精品亚洲乱码少妇综合久久| 欧美精品人与动牲交sv欧美| 天美传媒精品一区二区| 纯流量卡能插随身wifi吗| 大香蕉久久网| 色吧在线观看| 国产精品一区二区精品视频观看| 久久精品熟女亚洲av麻豆精品| 亚洲国产欧美一区二区综合| 免费观看性生交大片5| 黑人巨大精品欧美一区二区蜜桃| av.在线天堂| 免费av中文字幕在线| 国产精品一二三区在线看| 美女高潮到喷水免费观看| 日韩伦理黄色片| 日韩欧美精品免费久久| 80岁老熟妇乱子伦牲交| 别揉我奶头~嗯~啊~动态视频 | 久久久久久久精品精品| 18禁观看日本| 人体艺术视频欧美日本| 午夜激情久久久久久久| 老汉色∧v一级毛片| 人人妻人人澡人人爽人人夜夜| 最新在线观看一区二区三区 | 国产一级毛片在线| 亚洲成人av在线免费| 美女扒开内裤让男人捅视频| 欧美日韩综合久久久久久| 日韩人妻精品一区2区三区| 又粗又硬又长又爽又黄的视频| 久久久久国产精品人妻一区二区| 777久久人妻少妇嫩草av网站| 欧美在线黄色| 日韩熟女老妇一区二区性免费视频| 精品国产乱码久久久久久小说| 国产一区二区 视频在线| 亚洲精品第二区| 国产精品香港三级国产av潘金莲 | 免费看不卡的av| 亚洲精品久久久久久婷婷小说| 丰满迷人的少妇在线观看| 999精品在线视频| 一本一本久久a久久精品综合妖精| 亚洲精品,欧美精品| 亚洲免费av在线视频| 亚洲,一卡二卡三卡| 国产爽快片一区二区三区| 国产精品一区二区在线观看99| 欧美亚洲 丝袜 人妻 在线| 免费av中文字幕在线| netflix在线观看网站| 下体分泌物呈黄色| av在线老鸭窝| 国产精品一区二区在线观看99| 少妇被粗大猛烈的视频| 久久综合国产亚洲精品| 国产亚洲一区二区精品| 亚洲精华国产精华液的使用体验| 成人亚洲欧美一区二区av| 新久久久久国产一级毛片| 久久久精品免费免费高清| 成人毛片60女人毛片免费| 色吧在线观看| 久久久久网色| 搡老岳熟女国产| 亚洲国产欧美一区二区综合| 久久久国产一区二区| 国产1区2区3区精品| 丰满饥渴人妻一区二区三| 久久婷婷青草| 久久国产精品大桥未久av| 哪个播放器可以免费观看大片| 精品一区在线观看国产| 老司机影院成人| 亚洲少妇的诱惑av| 亚洲人成77777在线视频| 国产熟女午夜一区二区三区| 人人妻人人添人人爽欧美一区卜| 韩国高清视频一区二区三区| 两个人免费观看高清视频| av网站免费在线观看视频| 美女扒开内裤让男人捅视频| 最近的中文字幕免费完整| 亚洲人成网站在线观看播放| 麻豆av在线久日| www.熟女人妻精品国产| 女人爽到高潮嗷嗷叫在线视频| 日韩av免费高清视频| 成人手机av| 午夜免费鲁丝| 中文字幕亚洲精品专区| 久久精品人人爽人人爽视色| 亚洲欧美成人综合另类久久久| 久久久久久久精品精品| 国产乱人偷精品视频| 精品国产乱码久久久久久男人| 777米奇影视久久| 99久国产av精品国产电影| 久久久精品免费免费高清| 欧美日韩成人在线一区二区| 久久久久久久精品精品| 九九爱精品视频在线观看| 51午夜福利影视在线观看| 少妇的丰满在线观看| 一二三四在线观看免费中文在| av在线老鸭窝| 久久天躁狠狠躁夜夜2o2o | 欧美日韩福利视频一区二区| 国产1区2区3区精品| 晚上一个人看的免费电影| 亚洲精品美女久久久久99蜜臀 | 两性夫妻黄色片| 久久午夜综合久久蜜桃| 亚洲色图综合在线观看| 亚洲av中文av极速乱| 亚洲伊人久久精品综合| 亚洲欧洲日产国产| 欧美乱码精品一区二区三区| 亚洲,欧美,日韩| 最近中文字幕2019免费版| 少妇人妻 视频| 亚洲av电影在线观看一区二区三区| 婷婷色综合www| 日韩av免费高清视频| 秋霞在线观看毛片| 国产欧美亚洲国产| 亚洲国产av新网站| 狂野欧美激情性bbbbbb| 99国产精品免费福利视频| 国产成人91sexporn| 成年人午夜在线观看视频| 亚洲国产看品久久| 一级片免费观看大全| 亚洲情色 制服丝袜| 久久人人97超碰香蕉20202| 国产精品av久久久久免费| 亚洲av成人精品一二三区| 在线 av 中文字幕| 另类亚洲欧美激情| 日韩大码丰满熟妇| 我的亚洲天堂| 久久人人97超碰香蕉20202| 肉色欧美久久久久久久蜜桃| 日本猛色少妇xxxxx猛交久久| 另类精品久久| 人人妻人人澡人人爽人人夜夜| 最近最新中文字幕免费大全7| 欧美日韩精品网址| 岛国毛片在线播放| 自拍欧美九色日韩亚洲蝌蚪91| 热99国产精品久久久久久7| 国产精品一区二区精品视频观看| 亚洲第一av免费看| 亚洲av中文av极速乱| 欧美精品av麻豆av| 久久久久久人人人人人| 欧美激情高清一区二区三区 | 飞空精品影院首页| 色网站视频免费| 激情五月婷婷亚洲| 99久久人妻综合| 人妻一区二区av| 欧美日韩成人在线一区二区| 亚洲国产精品一区三区| 十八禁高潮呻吟视频| 伊人亚洲综合成人网| 日韩伦理黄色片| 免费日韩欧美在线观看| 精品亚洲乱码少妇综合久久| 欧美激情极品国产一区二区三区| 99热网站在线观看| 丁香六月欧美| 在线观看免费视频网站a站| 久久天躁狠狠躁夜夜2o2o | 亚洲综合精品二区| 人妻 亚洲 视频| 又大又黄又爽视频免费| 午夜激情av网站| 精品酒店卫生间| 中文字幕色久视频| 亚洲精品在线美女| 精品国产乱码久久久久久男人| 国产片内射在线| 老汉色∧v一级毛片| 美女高潮到喷水免费观看| 成人手机av| 亚洲,一卡二卡三卡| 亚洲精品在线美女| 国产探花极品一区二区| 久久人妻熟女aⅴ| 熟女少妇亚洲综合色aaa.| 久久精品亚洲熟妇少妇任你| 久久精品熟女亚洲av麻豆精品| 99香蕉大伊视频| 成年人午夜在线观看视频| 午夜免费观看性视频| 国产黄色免费在线视频| 两个人看的免费小视频| 婷婷色av中文字幕| 久久精品人人爽人人爽视色| 日本av免费视频播放| 国产1区2区3区精品| 女人高潮潮喷娇喘18禁视频| 女人久久www免费人成看片| 最新在线观看一区二区三区 | 国产亚洲午夜精品一区二区久久| 黄网站色视频无遮挡免费观看| 国产免费现黄频在线看| 久久久精品94久久精品| 老司机亚洲免费影院| 麻豆乱淫一区二区| 亚洲第一青青草原| 亚洲在久久综合| 国产成人精品久久久久久| 日韩大片免费观看网站| 亚洲精品久久午夜乱码| 亚洲精品第二区| 在线精品无人区一区二区三| 亚洲精品乱久久久久久| 99九九在线精品视频| 波多野结衣av一区二区av| 老司机影院毛片| 91aial.com中文字幕在线观看| 日本猛色少妇xxxxx猛交久久| 王馨瑶露胸无遮挡在线观看| 另类精品久久| 国产午夜精品一二区理论片| 美女脱内裤让男人舔精品视频| 99香蕉大伊视频| 亚洲av电影在线观看一区二区三区| a级毛片黄视频| 国产亚洲av片在线观看秒播厂| 大香蕉久久网| 青草久久国产| 日韩av免费高清视频| 午夜福利影视在线免费观看| 欧美日韩亚洲高清精品| 秋霞伦理黄片| 51午夜福利影视在线观看| 久久久精品国产亚洲av高清涩受| 天堂8中文在线网| 老司机在亚洲福利影院| 亚洲成人免费av在线播放| 国产精品.久久久| 哪个播放器可以免费观看大片| 国产人伦9x9x在线观看| 亚洲精品日本国产第一区| 久久精品国产a三级三级三级| 深夜精品福利| a级毛片在线看网站| 色综合欧美亚洲国产小说| 久久精品国产综合久久久| 18禁观看日本| 亚洲国产日韩一区二区| 91国产中文字幕| 男女高潮啪啪啪动态图| 国产精品熟女久久久久浪| av线在线观看网站| 久久久久久久久久久免费av| 哪个播放器可以免费观看大片| 久久久久人妻精品一区果冻| 亚洲欧美精品综合一区二区三区| av在线老鸭窝| 中文字幕另类日韩欧美亚洲嫩草| 少妇人妻久久综合中文| 嫩草影院入口| 亚洲av成人不卡在线观看播放网 | www.熟女人妻精品国产| 欧美av亚洲av综合av国产av | 在现免费观看毛片| 搡老岳熟女国产| av免费观看日本| 一二三四在线观看免费中文在| 在线天堂中文资源库| av免费观看日本| 一二三四中文在线观看免费高清| 欧美在线黄色| a 毛片基地| 国产精品国产av在线观看| 午夜av观看不卡| 国产精品免费视频内射| 宅男免费午夜| 亚洲成国产人片在线观看| 晚上一个人看的免费电影| 久久久亚洲精品成人影院| 午夜91福利影院| 国产不卡av网站在线观看| 亚洲av男天堂| 悠悠久久av| 满18在线观看网站| 久久久久国产一级毛片高清牌| 亚洲精品日本国产第一区| 五月开心婷婷网| 最新在线观看一区二区三区 | 日本午夜av视频| 亚洲精品国产av成人精品| 久久亚洲国产成人精品v| 波多野结衣一区麻豆| 亚洲,一卡二卡三卡| 男人添女人高潮全过程视频| 午夜老司机福利片| 亚洲精品中文字幕在线视频| 日韩av不卡免费在线播放| 中文乱码字字幕精品一区二区三区| 一级毛片黄色毛片免费观看视频| 校园人妻丝袜中文字幕| 亚洲精华国产精华液的使用体验| av又黄又爽大尺度在线免费看| 中文字幕亚洲精品专区| 亚洲天堂av无毛| 国产日韩欧美视频二区| 婷婷色麻豆天堂久久| 久久久久精品性色| 国产成人精品久久二区二区91 | 青春草国产在线视频| 精品福利永久在线观看| 丝袜美足系列| 国产成人一区二区在线| 欧美中文综合在线视频| 国产精品久久久av美女十八| 99久久精品国产亚洲精品| 欧美 日韩 精品 国产| 亚洲精品久久久久久婷婷小说| www日本在线高清视频| 欧美人与善性xxx| 2018国产大陆天天弄谢| 男人舔女人的私密视频| 街头女战士在线观看网站| 亚洲一区中文字幕在线| 久久国产精品大桥未久av| 日韩一本色道免费dvd| 青草久久国产| 日韩 亚洲 欧美在线| 午夜福利在线免费观看网站| 日本爱情动作片www.在线观看| 亚洲视频免费观看视频| 欧美中文综合在线视频| 欧美精品高潮呻吟av久久| bbb黄色大片| 亚洲精品中文字幕在线视频| 亚洲精品视频女| 一边摸一边抽搐一进一出视频| 欧美激情高清一区二区三区 | 熟女av电影| 激情五月婷婷亚洲| 国产淫语在线视频| xxx大片免费视频| 中文字幕亚洲精品专区| 亚洲美女黄色视频免费看| 亚洲五月色婷婷综合| 久久免费观看电影| 美女国产高潮福利片在线看| 美女脱内裤让男人舔精品视频| 欧美人与性动交α欧美软件| 最新的欧美精品一区二区| 亚洲国产欧美日韩在线播放| 亚洲成国产人片在线观看| 少妇被粗大的猛进出69影院| 日本爱情动作片www.在线观看| 亚洲人成77777在线视频| 亚洲一区中文字幕在线| 国产精品一国产av| 伊人久久国产一区二区| 国产精品 欧美亚洲| 亚洲精品美女久久av网站| 毛片一级片免费看久久久久| 黑丝袜美女国产一区| 久久久久精品性色| 国产熟女午夜一区二区三区| 丝袜喷水一区| 中国国产av一级| 国产免费现黄频在线看| a 毛片基地| 波多野结衣一区麻豆| 国产野战对白在线观看| 成人影院久久| 五月开心婷婷网| 中文乱码字字幕精品一区二区三区| 亚洲精品,欧美精品| 18禁动态无遮挡网站| 少妇的丰满在线观看| 亚洲成人国产一区在线观看 | 天天躁夜夜躁狠狠躁躁| 一边亲一边摸免费视频| 成年人免费黄色播放视频| 免费在线观看视频国产中文字幕亚洲 | 免费观看性生交大片5| 最近中文字幕2019免费版| 久热爱精品视频在线9| 99热国产这里只有精品6| 国产精品麻豆人妻色哟哟久久| 中国国产av一级| 国产高清不卡午夜福利| 侵犯人妻中文字幕一二三四区| 日本一区二区免费在线视频| 欧美av亚洲av综合av国产av | 国产成人系列免费观看| 男的添女的下面高潮视频| 国产免费福利视频在线观看| 99久国产av精品国产电影| 亚洲欧美一区二区三区黑人| 我要看黄色一级片免费的| 黄色一级大片看看| netflix在线观看网站| 国产免费福利视频在线观看| av在线播放精品| 日韩电影二区| 国产男女内射视频| 国产一卡二卡三卡精品 | 无限看片的www在线观看| 国产av精品麻豆| 免费在线观看视频国产中文字幕亚洲 | 青春草亚洲视频在线观看| 久久狼人影院| 亚洲一级一片aⅴ在线观看| 18禁观看日本| 亚洲色图 男人天堂 中文字幕| 国产黄色视频一区二区在线观看| 免费在线观看完整版高清| 午夜久久久在线观看| 国产成人系列免费观看| 中文字幕人妻熟女乱码| 国产黄色视频一区二区在线观看| 欧美xxⅹ黑人| 午夜福利影视在线免费观看| 精品亚洲成a人片在线观看| 99香蕉大伊视频| 久久人人爽人人片av| 伊人亚洲综合成人网| 老司机亚洲免费影院| 国产有黄有色有爽视频| 精品卡一卡二卡四卡免费| av有码第一页| 亚洲 欧美一区二区三区| 免费看不卡的av| 欧美少妇被猛烈插入视频| 国产亚洲精品第一综合不卡| 久久久精品国产亚洲av高清涩受| 国产精品久久久久久精品古装| 久久天躁狠狠躁夜夜2o2o | 久久韩国三级中文字幕| 亚洲精品美女久久av网站| 人人澡人人妻人| 国产精品久久久人人做人人爽| 大码成人一级视频| 欧美精品高潮呻吟av久久| 日韩大片免费观看网站| 涩涩av久久男人的天堂| 99热网站在线观看| av在线app专区| 色婷婷av一区二区三区视频| 亚洲av在线观看美女高潮| 操出白浆在线播放| 999精品在线视频| 国产精品偷伦视频观看了| 侵犯人妻中文字幕一二三四区| 母亲3免费完整高清在线观看| 99久国产av精品国产电影| 欧美xxⅹ黑人| 午夜91福利影院| 最近中文字幕2019免费版| 精品国产国语对白av| 久久久国产精品麻豆| 99久久99久久久精品蜜桃| 欧美最新免费一区二区三区| 亚洲,一卡二卡三卡| 国产成人精品福利久久| 久久精品久久精品一区二区三区| 精品人妻熟女毛片av久久网站| 黑人欧美特级aaaaaa片| 深夜精品福利| 亚洲精品久久午夜乱码| 久久av网站| 久久99热这里只频精品6学生| 老汉色av国产亚洲站长工具| 国产av国产精品国产| 久久精品人人爽人人爽视色| 亚洲国产欧美网| 精品国产乱码久久久久久男人| 老司机深夜福利视频在线观看 | 色播在线永久视频| 99精国产麻豆久久婷婷| 高清欧美精品videossex| 成人毛片60女人毛片免费| 九色亚洲精品在线播放| 欧美在线一区亚洲| 亚洲欧美日韩另类电影网站| 欧美日韩成人在线一区二区|