• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    個人信息保護政策的網(wǎng)絡(luò)評價量化計算模型實證研究

    2022-06-06 05:37:09周慶山趙菲菲董立峰
    現(xiàn)代情報 2022年6期

    周慶山 趙菲菲 董立峰

    摘 要:[目的/意義]通過對個人信息保護政策的網(wǎng)絡(luò)評價文本進行分析挖掘,可為政府相關(guān)部門了解個人信息保護政策具體政策評價提供重要參考維度。[方法/過程]本文結(jié)合半結(jié)構(gòu)訪談、網(wǎng)絡(luò)媒體傳播及公眾社交平臺評論數(shù)據(jù),采用定性和定量研究相結(jié)合的方法,從政策完善度、政策效果、政策宣傳、政府信任等多個維度入手,構(gòu)建個人信息保護政策的網(wǎng)民評價計算框架。[結(jié)果/結(jié)論]在計算框架中,本文創(chuàng)新性地提出“議程設(shè)置匹配度”“政策各維度正負面占比”等核心指標(biāo),以及網(wǎng)絡(luò)主題抽取模型,最終對6項個人信息保護政策進行了量化實證計算,基于對實驗結(jié)果的分析,為提高個人信息保護政策的公眾認可度提出參考建議。

    關(guān)鍵詞:網(wǎng)絡(luò)評價數(shù)據(jù);公共政策評價;計算框架;個人信息保護政策

    DOI:10.3969/j.issn.1008-0821.2022.06.001

    〔中圖分類號〕G203 〔文獻標(biāo)識碼〕A 〔文章編號〕1008-0821(2022)06-0003-14

    Abstract:[Purpose/Significance]By analyzing and mining the network evaluation text of personal information protection policy,it can provide an important reference dimension for relevant government departments to understand the specific policy evaluation of personal information protection policy.[Method/Process]Based on the data of semi-structured interviews,online media communication and users comments on social platforms,this paper used a combination of qualitative and quantitative research method,to build a netizen evaluation and calculation framework of personal information protection policies from multiple dimensions such as policy perfection,policy effect,policy publicity,government trust in the calculation framework.[Result/Conclusion]This paper innovatively puts forward core indicators as“matching degree of agenda setting”,“proportion of positive and negative aspects of policy dimensions”and network topic extraction model,and finally realizes the ?quantitative empirical calculation of six personal information protection policy evaluations.Based on the analysis of the experimental results,some suggestions are put forward to improve the public acceptance of personal information protection policy.

    Key words:network comment data;public policy evaluation;calculation framework;personal information protection policy

    在數(shù)據(jù)驅(qū)動的決策范式下,基于網(wǎng)絡(luò)民意數(shù)據(jù)的公共政策過程研究逐漸成為熱點領(lǐng)域。按照Leslie Alexander Pal的觀點,公共政策是指公共權(quán)威組織所選擇的行動綱領(lǐng)或做出決定,以解決某一既定的或者一系列相關(guān)的問題[1]。在公共政策過程的發(fā)現(xiàn)問題、制定政策、實施政策、評估政策等各個階段,政府都需要參考民眾的意見[2]。公共政策的制定和完善應(yīng)建立在廣泛的網(wǎng)民評價基礎(chǔ)上,唯有公民規(guī)范、理性、均衡地參與公共政策制定,才能確保公共政策輸出的合法性和科學(xué)性。據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)統(tǒng)計顯示,截至2021年6月,中國網(wǎng)民規(guī)模達10.11億。互聯(lián)網(wǎng)普及率為71.6%,較2020年12月提升1.2個百分點[3]。隨著以社交媒體為代表的互聯(lián)網(wǎng)媒體在政府部門和公眾中廣泛普及,政府部門與公眾之間可以實現(xiàn)跨越時空限制的信息互動?;ヂ?lián)網(wǎng)以其扁平化、交互式、快捷性的優(yōu)勢,不僅可以使政府部門在收集有關(guān)社會問題信息的深度、廣度以及時效性方面得到空前提高,而且為公眾參與公共政策過程提供了技術(shù)保障和支持。利用大數(shù)據(jù)、人工智能等技術(shù)對公共政策的網(wǎng)絡(luò)媒體及網(wǎng)民評論數(shù)據(jù)進行建模計算,將成為新時期支撐政府部門政策過程的重要手段。近年來,我國政府已有意識地利用網(wǎng)民評價數(shù)據(jù),為公共政策提供決策參考,而且在公共決策時廣泛利用社會媒體、網(wǎng)絡(luò)調(diào)查和抽樣調(diào)查,實時、定期收集公民對特定政策的意見建議。

    隨著大數(shù)據(jù)和人工智能地廣泛應(yīng)用,個人信息的收集日益密集和隱蔽,其安全問題引發(fā)廣泛關(guān)注,針對個人信息保護問題,我國前期出臺了多項法律、法規(guī)及標(biāo)準規(guī)范政策[4],但仍然存在政策法規(guī)體系不夠系統(tǒng)、完善,出現(xiàn)多頭監(jiān)管、執(zhí)法缺乏依據(jù)、懲罰力度不足、行業(yè)自律制度難以發(fā)揮作用等系列問題[5],為此,全國人大常務(wù)委員會于2021年8月20日通過《個人信息保護法》,并于2021年11月1日起施行。通過對個人信息保護政策的網(wǎng)絡(luò)評價文本進行分析挖掘,可為政府相關(guān)部門了解個人信息保護政策相關(guān)網(wǎng)民評價,并確保個人信息保護政策的順利推行提供重要參考維度。然而,現(xiàn)階段政府在政策的網(wǎng)絡(luò)民眾意見分析利用方面,多將其等同于傳統(tǒng)網(wǎng)絡(luò)輿情分析;6816A859-14DE-4471-AE49-F887F905D427

    在分析方法方面,政策意見提取和網(wǎng)民政策情感傾向分析多采用通用文本聚類和情感傾向分析技術(shù);在指標(biāo)選擇方面,多借鑒輿情分析中曝光量、網(wǎng)民的情感傾向等輿情類指標(biāo)。公共政策尤其是廣受大眾關(guān)注熱議的個人信息保護政策網(wǎng)民評價計算,不同于普通輿情分析計算,其具有較強政策屬性特征,利用現(xiàn)存的輿情分析技術(shù)、分析指標(biāo)等不能滿足公共政策網(wǎng)絡(luò)民意分析現(xiàn)實需求?;诖?,本文構(gòu)建基于個人信息保護政策的網(wǎng)絡(luò)評價文本計算框架,通過對公共政策的多維、量化計算,從政策完備性、政策擴散、政策效果、政府信任等多個維度對個人信息保護政策進行客觀量化的評價分析。

    1 相關(guān)研究綜述

    網(wǎng)絡(luò)民意是指以互聯(lián)網(wǎng)技術(shù)和信息化手段為基礎(chǔ),公民通過網(wǎng)絡(luò)平臺表達的、相對集中的意見和言論的匯總[6]。隨著Web2.0技術(shù)的發(fā)展,公眾通過網(wǎng)絡(luò)平臺參與公共政策的監(jiān)督和對政策的訴求表達愈發(fā)普遍,政策評估中的公眾參與日益成熟?,F(xiàn)有爬蟲、自然語言處理以及機器學(xué)習(xí)等技術(shù),為公共決策研究提供了新的思路與方法。Song M等[15]指出,社交媒體文本分析使政府能夠及時跟蹤事件的發(fā)生、消亡以及用戶對該事件的反應(yīng),確保政府可以進行更加有效地分析,為政府管理提供新的研究視角。

    面向公共政策學(xué)者們基于網(wǎng)絡(luò)媒體的網(wǎng)民評價指標(biāo)構(gòu)建及網(wǎng)絡(luò)民意分析挖掘方法進行了豐富的研究。其中,在基于網(wǎng)絡(luò)媒體的網(wǎng)民評價指標(biāo)構(gòu)建方面,邱爾麗等[19]基于網(wǎng)絡(luò)數(shù)據(jù),將政策對公眾的吸引程度、公眾對政策的立場傾向以及政策推進中輿論曝光或者投訴問題的情況進行分析,構(gòu)建了公共政策評價的網(wǎng)絡(luò)民意指標(biāo)體系。何志武等[14,21]針對政策議程的不同模式,圍繞網(wǎng)絡(luò)網(wǎng)民評價的表達路徑與收集機制展開研究,并從主體性、科學(xué)性和傾向性3個維度開展網(wǎng)民評價分析,同時指出網(wǎng)民評價分析應(yīng)該是一個不斷變化的動態(tài)過程。鄧莎莎等[20]構(gòu)建了由數(shù)據(jù)準備和網(wǎng)絡(luò)民意建模兩部分構(gòu)成的面向公共決策的網(wǎng)絡(luò)民意建模系統(tǒng)及評價指標(biāo)體系框架,并以“健全醫(yī)療保健制度”為應(yīng)用案例,驗證了系統(tǒng)框架的良好效果;在網(wǎng)絡(luò)民意分析挖掘方法方面,學(xué)者們基于網(wǎng)絡(luò)數(shù)據(jù)及政府公開數(shù)據(jù),利用大數(shù)據(jù)技術(shù)及系列分析挖掘方法,對公共決策中的網(wǎng)絡(luò)民意分析挖掘進行了較多探索[7-13]。如Li Y等[16]針對互聯(lián)網(wǎng)事件抽取問題提出了基于分類空間模型和特征選擇策略的網(wǎng)絡(luò)輿情事件抽取框架,并在測試數(shù)據(jù)集合上得到了較好的驗證。Zhou P等[17]提出基于關(guān)鍵詞抽取的網(wǎng)絡(luò)民意內(nèi)容聚合框架,通過對已抽取的網(wǎng)絡(luò)民意進行聚合以豐富抽取結(jié)果的語義信息。Lu Z W[18]針對微博短文本提出了基于TF-IDF的短文本觀點挖掘系統(tǒng),但該系統(tǒng)在長文本數(shù)據(jù)處理上的適用性還需進一步加強。胡欣杰等[23]提出了基于聚類分析的網(wǎng)絡(luò)民意傾向性分析的距離模型和相關(guān)系數(shù)模型,提出了基于時間片的k中心點法聚類分析算法,經(jīng)試驗驗證模型能有效地提高提取的查全率,較大幅度提高了時間效率。

    通過對國內(nèi)外相關(guān)研究進行調(diào)研發(fā)現(xiàn),現(xiàn)有基于互聯(lián)網(wǎng)輿情數(shù)據(jù)進行政策評價的相關(guān)研究,在數(shù)據(jù)源上主要集中于微博文本數(shù)據(jù)或搜索引擎數(shù)據(jù),網(wǎng)絡(luò)數(shù)據(jù)來源較為單一。在指標(biāo)選擇方面,面向公共政策,尤其是個人信息保護政策屬性的系統(tǒng)性指標(biāo)體系有待深入研究。此外,通過對網(wǎng)絡(luò)民意數(shù)據(jù)進行全收集、精確統(tǒng)計、深度挖掘和量化分析的可操作性方法相對缺乏。已有分析挖掘方法存在挖掘結(jié)果有效性不高的問題,難以滿足政策決策機構(gòu)對個人信息保護政策精確量化評價的需求。因此,急需構(gòu)建基于個人信息保護政策的網(wǎng)民評價計算分析框架,為科學(xué)決策提供重要分析維度。

    本文結(jié)合半結(jié)構(gòu)訪談、網(wǎng)絡(luò)媒體傳播及公眾社交平臺評論數(shù)據(jù),采用定性和定量研究相結(jié)合的方法,從政策完善度、政策效果、政策宣傳、政府信任等多個維度入手,構(gòu)建個人信息保護政策網(wǎng)民評價指標(biāo)體系,并結(jié)合專家智慧,利用層次分析法,對相關(guān)評價指標(biāo)進行篩選和權(quán)重計算,構(gòu)建基于網(wǎng)絡(luò)評價文本的個人信息保護政策評價計算框架,并進行了實證檢驗。此外,本文還創(chuàng)新性地提出衡量民眾評論主題與主流媒體報道主題匹配度的核心指標(biāo)“議程設(shè)置匹配度”,在給出形式化的同時進行了語義計算,提出了基于“主題—事件—互聯(lián)網(wǎng)信息—句子—詞語”的層次關(guān)系和多視角語義距離度量的網(wǎng)絡(luò)主題抽取模型,完成核心指標(biāo)中文本主題提取和網(wǎng)絡(luò)主題相似度的計算,提升了網(wǎng)絡(luò)議題抽取的有效性。

    2 基于個人信息保護政策的網(wǎng)民評價文本計算框架構(gòu)建

    2.1 計算框架構(gòu)建過程描述

    基于網(wǎng)絡(luò)媒體數(shù)據(jù)的個人信息保護政策網(wǎng)民評價計算框架主要包括評價指標(biāo)提取、核心指標(biāo)計算、指標(biāo)權(quán)重計算和框架驗證4個階段。其中,在評價指標(biāo)提取階段,為保證從公眾的視角入手,提取的公共政策評價指標(biāo)具有科學(xué)、合理且具備特定公共政策的獨特性,本文采用半結(jié)構(gòu)化訪談針對公眾對特定公共政策的評價維度進行收集,并基于扎根理論對訪談記錄進行文本編碼,抽象出概念和范疇,并最終構(gòu)建特定公共政策評價指標(biāo)體系。在核心指標(biāo)計算階段,基于已經(jīng)構(gòu)建的評價指標(biāo)體系,對“議程相似度”“政策各維度正負面占比”等核心指標(biāo)進行形式化定義,并利用情感分析、主題識別等文本挖掘技術(shù)實現(xiàn)指標(biāo)計算;在指標(biāo)篩選和權(quán)重計算階段,利用層次分析法,通過邀請領(lǐng)域?qū)<覍χ笜?biāo)進行兩兩比較打分,并將數(shù)據(jù)進行歸一化處理,實現(xiàn)指標(biāo)的篩選和權(quán)重計算,最終得出特定政策評價計算模型;在實證階段,本文選取6項個人信息保護政策,通過收集和整理政策媒體報道數(shù)據(jù)和網(wǎng)民評論數(shù)據(jù),利用計算模型對相關(guān)政策進行量化計算,并對試驗結(jié)果進行對比分析,提出個人信息保護政策建議,計算框架如圖1所示。

    2.2 基于半結(jié)構(gòu)訪談的個人信息保護政策評價指標(biāo)體系構(gòu)建

    為構(gòu)建個人信息保護政策評價指標(biāo)體系,本文隨機選取60人作為訪談對象進行訪談。同時,為了使被抽中的樣本所產(chǎn)生的研究結(jié)果能夠最大程度地覆蓋研究現(xiàn)象中各種不同的情況,本文結(jié)合“最大差異抽樣”的原則方法,盡量做到分別按照不同教育情況、地域分布、性別比例、年齡分布抽取一定數(shù)量的樣本進行深度訪談?wù){(diào)研。其中,60名被訪者地域分布在12個省市,年齡主要集中在24~60歲之間;性別比例男性28人,女性32人;受教育情況博士10人,碩士30人,本科13人,高中2人,初中2人,小學(xué)2人,未接受教育1人;職業(yè)分布多樣。本文按照一個粗線條式的訪談提綱對受訪者進行非正式訪談,如表1所示。了解受訪者對該主題的感受和看法,獲取細致、生動的文本資料,并利用扎根理論抽象出概念、范疇。在訪談結(jié)束后,將訪談錄音資料轉(zhuǎn)化成文字信息,并隨機抽取40份(約2/3)的訪談記錄進行文本編碼,剩余20份訪談記錄作為理論飽和度檢驗。6816A859-14DE-4471-AE49-F887F905D427

    本文利用扎根理論研究方法對訪談內(nèi)容進行編碼,編碼分為開放式編碼、主軸式編碼和選擇性編碼,在編碼完成后進行理論飽和度驗證。開放式編碼是對原始訪談資料所記錄的可用于編碼的句子或者片段進行概念化和范疇化,是將原始資料分解、比較后再以新方式重新組合的過程[20]。本文采用逐字逐句編碼的方式將原始資料進行概念化,再利用聚焦編碼的方式將相同或者相似的概念組合進行范疇化。為避免編碼的主觀性,本文采用兩位編碼人員進行預(yù)編碼,保證對編碼方式和相關(guān)概念的一致性,提取出初始概念用an表示,共得到49條初始概念。在進行完初始概念提取后,通過主軸式編碼來實現(xiàn)編碼概念層面的內(nèi)在聯(lián)系,并進行刪除、歸類和融合,進行相似初始概念的合并和范疇化,共得到15個范疇,范疇用An表示。初始概念提取和范疇化示例如表2所示。

    將15個開放式編碼進行歸類、合并,最終得到5個主范疇。通過對留作理論飽和度檢驗的20份訪談內(nèi)容進行處理和分析后,未發(fā)現(xiàn)新的概念和范疇,說明上述扎根理論的分析是飽和的。提取的主范疇如表3所示。

    同時,結(jié)合訪談編碼提取內(nèi)容、網(wǎng)絡(luò)媒體傳播及社交平臺網(wǎng)民評論數(shù)據(jù)指標(biāo)維度的總體情況,本文提出了基于互聯(lián)網(wǎng)數(shù)據(jù)的個人信息保護政策評價指標(biāo)體系,如表4所示。

    2.3 核心評價指標(biāo)

    2.3.1 議程設(shè)置匹配度

    本文的核心指標(biāo)“議程設(shè)置匹配度”是指網(wǎng)絡(luò)主流媒體報道主題與社交平臺上網(wǎng)民關(guān)注焦點重合程度。其形式化定義如式(1):

    y=card(A∩B)card(A)*100%(1)

    y:議程設(shè)置匹配度;A={x|x∈主流媒體報道主題};B={y|y∈網(wǎng)絡(luò)平臺網(wǎng)民評論主題}。

    其計算流程如圖2所示,本文分別將主流媒體報道和網(wǎng)民評論數(shù)據(jù)進行主題提取,形成主流媒體報道主題集合A和評論主題集合B,通過將集合A和B中的主題進行兩兩比較計算相似度,如相似度在特定設(shè)置的閾值之上(本文設(shè)置為85%),則進行計數(shù),通過式(1)計算議程設(shè)置匹配度。

    議程設(shè)置匹配度計算關(guān)鍵是對主流媒體報道和社交平臺網(wǎng)民評論中的主題進行提取。由于這兩個平臺中的數(shù)據(jù)具有異構(gòu)、量大和半結(jié)構(gòu)化等問題,為主題的有效抽取帶來了挑戰(zhàn)。此外,現(xiàn)行研究成果在網(wǎng)絡(luò)議程抽取方面存在著抽取結(jié)果語義信息不足、抽取結(jié)果有效性較差、抽取模型可擴展性較差等問題,難以滿足公共決策機構(gòu)對于有效網(wǎng)絡(luò)議題抽取的需求。因此,本文提出了基于“主題—事件—互聯(lián)網(wǎng)信息—句子—詞語”的層次關(guān)系和多視角語義距離度量的主題抽取模型。模型首先識別互聯(lián)網(wǎng)信息集合中所包含的主題信息,然后抽取每個主題下所包含的主題詞信息。本文定義了可以從不同維度度量互聯(lián)網(wǎng)信息之間語義相似度的語義距離指標(biāo),語義距離可以實現(xiàn)從關(guān)鍵實體集合相似度、實體語義關(guān)系相似度、文本相似度等多個維度更加全面地衡量不同互聯(lián)網(wǎng)信息之間的語義相似度,進而實現(xiàn)網(wǎng)絡(luò)主題的精確抽取,語義距離度量結(jié)構(gòu)圖如圖3所示。

    在網(wǎng)絡(luò)主題檢測中,首先利用隱形狄利克雷分布(Latent Dirichlet Allocation,LDA)模型對互聯(lián)網(wǎng)信息集合中的潛在主題信息進行提取,然后基于計算得到的主題分布向量使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚類算法對全部互聯(lián)網(wǎng)信息進行聚類處理,聚類的結(jié)果就是互聯(lián)網(wǎng)信息數(shù)據(jù)集合中所涉及的全部主題以及各個主題所包含的互聯(lián)網(wǎng)信息。

    抽取得到的網(wǎng)絡(luò)主題會存在多個抽取結(jié)果同指一個主題現(xiàn)象,假設(shè)兩條互聯(lián)網(wǎng)信息具備相同的時間、地點、人物等要素,且各實體之間的語義角色信息相同,則認為上述兩條互聯(lián)網(wǎng)信息描述的是同一主題,即上述兩則互聯(lián)網(wǎng)信息隸屬于同一主題。本文利用哈工大中文語言技術(shù)平臺LTP中的命名實體識別庫[27],實現(xiàn)文本命名實體識別的功能?;谏鲜黾僭O(shè),本文定義了一種描述互聯(lián)網(wǎng)信息之間語義相似度的距離度量。該距離度量綜合考慮了兩互聯(lián)網(wǎng)信息之間的實體相似度、實體語義角色相似度、文本相似度,以更加全面地度量兩則互聯(lián)網(wǎng)信息之間的語義相似度。i、j兩則互聯(lián)網(wǎng)信息之間的語義距離度量定義如式(2):

    distij=1simentityij+simsemanticij+simwordij(2)

    其中,simentityij表示兩則互聯(lián)網(wǎng)信息之間的關(guān)鍵實體集合相似度,simsemanticij表示兩則互聯(lián)網(wǎng)信息之間各關(guān)鍵實體的語義角色相似度,simwordij表示兩則互聯(lián)網(wǎng)信息之間的文本相似度。

    1)互聯(lián)網(wǎng)信息實體集合相似度計算

    兩則信息之間所包含的時間、地點、人物等關(guān)鍵實體相似度較高則說明兩則信息之間描述同一主題的概率越大。因此,本方案使用Jaccard相似度方法對不同互聯(lián)網(wǎng)信息之間的實體相似度進行度量,計算定義如式(3):

    simentityij=Enti∩EntjEnti∪Entj(3)

    其中,Enti∩Entj表示兩則信息之間公共實體的個數(shù),Enti∪Entj表示兩則信息出現(xiàn)的全部實體的個數(shù)。實體集合相似度取值介于0與1之間,數(shù)值越大表示兩者在時間關(guān)鍵實體上的相似度越高,越有可能描述的是同一網(wǎng)絡(luò)主題。

    2)互聯(lián)網(wǎng)信息實體語義相似度計算

    Sun W等[26]提出,語義角色標(biāo)注是淺層語義分析的一種,在一個句子中,謂詞是對主語的陳述或說明,指出“做什么”“是什么”或“怎么樣”,代表了一個事件的核心,與謂詞搭配的名詞稱為論元。語義角色是指論元在動詞所指事件中擔(dān)任的角色,主要有:施事者、受事者、客體、經(jīng)驗者、受益者、工具、處所、目標(biāo)和來源等。例如“小明昨天在公園遇到了小紅”,句子中“遇到”是謂詞,“小明”是施事者,“小紅”是受事者,“昨天”是事件發(fā)生的時間,“公園”是事件發(fā)生的地點。6816A859-14DE-4471-AE49-F887F905D427

    互聯(lián)網(wǎng)信息中包含實體的語義角色相似度旨在度量不同的互聯(lián)網(wǎng)信息所含實體在各自文本中所扮演的語義角色的相似度,實體之間的語義角色相似度可以刻畫不同互聯(lián)網(wǎng)信息之間的實體在邏輯關(guān)系上的關(guān)聯(lián)關(guān)系。實體語義角色相似度度量步驟如下:

    步驟一:使用Pyltp工具對互聯(lián)網(wǎng)信息中所含實體的語義角色進行標(biāo)注。

    步驟二:統(tǒng)計各個實體的語義角色以及作為該語義角色出現(xiàn)在文本中的頻數(shù);本文僅考慮施事、當(dāng)事、領(lǐng)事、感事、受事、客事、成事、源事、涉事、比較、屬事等20種語義角色。

    步驟三:根據(jù)各個實體的語義角色以及各自角色出現(xiàn)的頻數(shù)為每個實體構(gòu)建一個長度為20維的向量V,向量的分量表示該實體在第i個語義角色上的歸一化的頻率。

    步驟四:使用JS(Jensen-Shannon Divergence)距離計算不同互聯(lián)網(wǎng)信息之間的實體交集中實體的語義角色向量之間的相似度。

    步驟五:對交集中實體的語義角色相似度值按照實體出現(xiàn)的頻數(shù)進行加權(quán)平均,得到新聞與事件實體交集的語義角色相似度值。

    其中,JS距離的計算公式定義如式(4):

    JS(P‖Q)=12KLP‖P+Q2+12KLQ‖P+Q2(4)

    KL(P‖Q)=∑v∈VP(v)*logP(v)Q(v)(5)

    其中,V表示語義角色集合,P為實體在互聯(lián)網(wǎng)信息i中的語義角色分布,Q為實體在互聯(lián)網(wǎng)信息j中的語義角色分布。

    3)互聯(lián)網(wǎng)信息之間的文本相似度計算

    similarity=veci·vecjveci·vecj(6)

    其中,veci和vecj分別是互聯(lián)網(wǎng)信息i的特征向量(利用TF-IDF算法生成)和互聯(lián)網(wǎng)信息j的特征向量(由TF-IDF算法生成)。相似度度量算法采用余弦相似度算法進行度量。

    2.3.2 政策各維度正負面占比

    本文基于公眾視角建立的個人信息保護政策評價指標(biāo)體系,其中的政策評價各維度正負面比例,主要是指網(wǎng)民關(guān)于特定維度的政策評論中正面情感評價的文本數(shù)量與負面情感評價的文本數(shù)量之比。政策評價各維度正負面比例包含政策內(nèi)容評價(用戶)正負面比例、政策程序評價(用戶)正負面比例、處罰力度評價(用戶)正負面比例、政策執(zhí)行評價(用戶)正負面比例和公眾信任評價(用戶)正負面比例。

    其形式化定義為:G=(VT,VF,S,I),其中,G表示政策評價各維度評價,VT表示政策的正向評價集合,VF表示政策的負向評價集合,S表示政策內(nèi)容,I表示政策評價維度集合。針對特定政策的某個政策評價維度即s∈S,i∈I:

    rateTF=card(VT)card(VF)*100%(7)

    以往相關(guān)輿情分析中通用文本情感傾向分析方法為本文的政策用戶評價情感計算提供了良好的基礎(chǔ),但公共政策相關(guān)用戶評價情感計算具有公共政策的特殊性。本文基于2.2節(jié)公眾對個人信息保護政策深度訪談數(shù)據(jù)分析,通過手工標(biāo)注的方式對個人信息保護政策公眾評價進行了公共政策內(nèi)容、公共政策宣傳、公共政策執(zhí)行、公共政策效果等維度的劃分,并結(jié)合構(gòu)建的用于輔助挖掘政策輿論的評價詞表,對輸入訓(xùn)練模型評價特征進行提取,其中,評價特征包括統(tǒng)計特征和評價極性分值兩種類型,通過將原貼—評論文本對和評價特征輸入Bert預(yù)訓(xùn)練模型,完成模型的訓(xùn)練,最后利用訓(xùn)練完的模型實現(xiàn)在社會化媒體下公眾對個人信息保護政策在不同政策維度下的評價判別,細粒度挖掘公眾評價傾向,詳細計算步驟如下:

    1)數(shù)據(jù)預(yù)處理。通過文本預(yù)處理模塊將社交平臺網(wǎng)民評論中的表情符號、用戶名、非中文特殊符號、繁體字、各類鏈接等進行過濾和處理。

    2)公共政策分類標(biāo)注。通過訪談和手工標(biāo)注的方式,對網(wǎng)民關(guān)于個人信息保護政策評價進行分類,分類維度如下:公共政策內(nèi)容、公共政策程序、處罰力度、公共政策執(zhí)行、公眾信任?;谡咴u價分類,對個人信息保護政策的網(wǎng)民微博評論數(shù)據(jù)進行了人工標(biāo)注,標(biāo)注標(biāo)準是根據(jù)公眾對原帖文本內(nèi)容在某一政策維度上的評價判別,即對某一政策維度是否支持或不相關(guān)。一條評論文本可能體現(xiàn)多個政策維度上的評價觀點。

    3)評價詞表構(gòu)建。通過手工構(gòu)建公共政策社交平臺網(wǎng)民評價正負面評價情感詞表。

    4)評價特征提取?;谠u價詞典分別采用統(tǒng)計特征和評價極性分值計算的方法抽取評論文本的特征。其中,統(tǒng)計特征包含評價詞在文本內(nèi)的占比、否定詞、程度副詞、有特殊符號反語成分占比等。評價分值計算采用基于詞典的評價詞權(quán)值累乘得出的評價極性分值。首先對文本進行斷句和預(yù)處理,針對文本中出現(xiàn)的評價詞、否定詞、程度副詞、特殊標(biāo)點符號進行詞典匹配,若存在詞典相對應(yīng)字詞,則賦以不同的權(quán)重值,并利用權(quán)值累計相乘計算評價極性分值,然后把子句的極性分值相加得到文本的評價分值。利用上述兩種方法,最終將抽取評價特征。

    5)基于Bert[28]訓(xùn)練模型構(gòu)建。本文基于Bert模型的雙文本任務(wù),進行公眾評論文本對個人信息保護政策相關(guān)內(nèi)容的評價判別模型構(gòu)建。Bert使用雙向Transformer兼顧上下文,將循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層進行拼接,并分別表示政策原帖與公眾評論文本的雙向特征表示。對于每一個輸入的文本,它的表征由其對應(yīng)的詞表征、段表征和位置表征拼接產(chǎn)生。特殊標(biāo)記符“[SEP]”代表分隔的句對,且句對輸入會有兩種段表征。本研究采用了BaseBERT模型,在句對表征后又拼接了公眾評價特征向量作為模型的輸入,對特定公共政策的公眾評價進行“支持”“不支持”“中立”三分類判別,如圖4所示。

    6)情感計算輸出。將個人信息保護政策的社交平臺網(wǎng)民評論數(shù)據(jù)作為輸入,通過模型計算,對政策評價各維度“支持”“不支持”“中立”進行判斷和輸出。通過BERT+情感詞表進行情感模型訓(xùn)練后相關(guān)情感傾向判定在不同政策維度上的精確率、召回率如表5所示。6816A859-14DE-4471-AE49-F887F905D427

    關(guān)于政策各維度用戶評價情感計算的詳細模型參數(shù)設(shè)置和計算精度提升效果參見作者此前發(fā)表的另一篇文獻[24]。

    2.4 基于評價指標(biāo)的計算模型設(shè)計

    為組織專家對評價指標(biāo)體系進行論證,采用層次模糊邏輯方法[25]對專家意見進行綜合,主要思路是首先確定專家委員會各專家的投票權(quán)重,然后針對建立的指標(biāo)體系,專家對每兩個指標(biāo)的重要關(guān)系進行打分,采用5維度比較標(biāo)度法進行打分參考,可用來衡量各評估指標(biāo)的相對重要程度,根據(jù)打分結(jié)果計算得到每一層級指標(biāo)的相對權(quán)重,最終得到指標(biāo)體系的權(quán)重矩陣。根據(jù)權(quán)重矩陣,上層指標(biāo)的定量值可根據(jù)下層指標(biāo)的定量值加權(quán)得到。

    2.4.1指標(biāo)評分專家

    政策評分專家信息如表6所示。

    2.4.2 處理計算流程

    步驟一:制作打分表。依據(jù)5維度比較標(biāo)度法制作專家打分表。

    步驟二:專家打分。邀請11位專家通過衡量各評估指標(biāo)對評估目標(biāo)的相對重要程度,將指標(biāo)進行兩兩比較打分。

    步驟三:權(quán)重矩陣。根據(jù)打分結(jié)果計算得到每一層級指標(biāo)的相對權(quán)重,最終得到評價指標(biāo)體系的權(quán)重矩陣。

    步驟四:數(shù)據(jù)預(yù)處理。得到指標(biāo)權(quán)重后,通過政策實際采集數(shù)據(jù)發(fā)現(xiàn),由于指標(biāo)項之間數(shù)據(jù)存在數(shù)量級的差異,為避免由于量綱不同使某些指標(biāo)形成主導(dǎo)作用,影響評價結(jié)果,因此,需要對數(shù)據(jù)進行歸一化處理,其中歸一化處理計算如式(8)所示。

    CFvali=dri-drmindrmax-drmin(8)

    其中,dri是指第i個指標(biāo)值。

    dri=log2(vali+1)(9)

    其中,CFvali是指第i個指標(biāo)值歸一化后的結(jié)果。

    drmin和drmax分別是指同類指標(biāo)中dr得分最小和最大的指標(biāo)值。

    步驟五:計算指標(biāo)得分。級別i的第j個指標(biāo)權(quán)重為CWeightij,歸一化后的級別i的第j個指標(biāo)的值為CFvalij,則指標(biāo)得分CValueij為:

    CValueij=CFvalij*CWeightij(10)

    步驟六:計算綜合得分。將各級指標(biāo)匯聚后乘以準則層指標(biāo)權(quán)重,則得到綜合得分計算公式(11)。

    Score綜合=∑k(∑j∈kCValueij)*BWeihgtk*θi(11)

    BWeihgtk指第k行的基準指標(biāo)權(quán)重。

    θi是指調(diào)節(jié)系數(shù),以相同倍數(shù)的變大或縮小,使Score值域處在一個規(guī)定可比區(qū)間。依據(jù)計算出各層級指標(biāo)的權(quán)重,即可計算得出個人信息保護政策評價計算模型,指標(biāo)權(quán)重如表7所示。

    3 個人信息保護政策網(wǎng)民評價文本計算分析

    3.1 政策案例選取

    本文選取2018年以來發(fā)布的6項個人信息保護政策作為實證研究,具體政策如表8所示,以上政策發(fā)布之后在各類網(wǎng)絡(luò)媒體平臺得到廣泛的傳播和討論,政策信息的網(wǎng)民評價具備代表性。

    3.2 政策網(wǎng)民評價數(shù)據(jù)收集

    本文借助中科院自動化研究所產(chǎn)業(yè)化平臺中科聞歌推出的“聞?!遍_源大數(shù)據(jù)平臺下載6項個人信息保護政策在微博、微信和主流媒體渠道的相關(guān)數(shù)據(jù)。其中,主流媒體包括1 579個新聞網(wǎng)站、1 079家電子報紙,新聞網(wǎng)站包括國內(nèi)主流媒體、省市級媒體、地方級媒體和行業(yè)媒體;電子報紙包括國家級報刊、省級報刊和部分地方級報紙的電子版;微信平臺數(shù)據(jù)是指微信公眾號數(shù)據(jù),收集到的政策相關(guān)數(shù)據(jù)量如表8所示。伴隨著個人信息保護立法及相關(guān)政策的出臺,由于該政策與個人隱私密切相關(guān),成為當(dāng)時的網(wǎng)絡(luò)熱點話題,因此受眾在微博、微信等社交平臺上對相關(guān)政策話題關(guān)注度極高,參與的受眾較多,在本研究選擇的6個政策上引發(fā)的受眾最大閱讀數(shù)近1億,最小閱讀數(shù)也達到90多萬,因此本研究的網(wǎng)絡(luò)評價數(shù)據(jù)具有一定的有效性。

    3.3 政策評價數(shù)據(jù)計算結(jié)果及分析

    通過處理計算流程步驟六,將各案例政策的各級指標(biāo)得分匯聚后乘以準則層指標(biāo)權(quán)重,得到各案例政策的綜合得分如表11所示。

    從各案例政策的綜合整體評價方面看,得分越高,說明政策的宣傳推廣和網(wǎng)民評價越好;從6個政策的評價得分看,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》獲得的評分最高。而《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》政策獲得的評分最低。排在評價效果排名第二位的是《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》政策;排在評價效果排名第三位的是《信息安全技術(shù)個人信息安全規(guī)范》政策;《快遞暫行條例》和歐盟《通用數(shù)據(jù)保護條例》分別排在第四位和第五位。

    具體從政策各維度評價計算得分上分析,公眾對于歐盟《通用數(shù)據(jù)保護條例》政策內(nèi)容評價最高,對《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》政策內(nèi)容評價次之,而對《快遞暫行條例》政策內(nèi)容方面的評價負面情緒較多,表明公眾對該政策的內(nèi)容不認可度較高。在政策程序網(wǎng)民評價方面,計算結(jié)果均大于1,說明公眾對于6個政策在政策程序方面正面評價數(shù)量均高于負面評價,表明公眾比較認可個人信息保護政策的政策程序。在處罰力度網(wǎng)民評價方面,公眾對《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》政策的評價得分最高,從6個政策評價上看,只有《快遞暫行條例》在此維度上出現(xiàn)了小于1的計算結(jié)果,表明公眾在處罰力度方面的評價負面情緒高于正面情緒。在政策效果評價方面,公眾對《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》政策的評價得分最高,公眾同樣對《快遞暫行條例》在政策效果方面不滿意情緒最多。

    在政策傳播擴散方面計算得分上分析,在微信平臺上,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》政策引發(fā)的傳播量最大,傳播范圍最廣,從其引發(fā)的閱讀數(shù)99 415 740可見一斑,其次是《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》和《信息安全技術(shù)個人信息安全規(guī)范》,《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》政策在微信平臺引發(fā)的總閱讀數(shù)為22 967 415,《信息安全技術(shù)個人信息安全規(guī)范》政策在微信平臺上引發(fā)的總閱讀數(shù)為48 022 758。在微信平臺上傳播效果最差的是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》,因其屬于特定領(lǐng)域政策,其受眾具有一定的領(lǐng)域特性,所以其引發(fā)的傳播量并不大,總體比前兩個政策差兩個數(shù)量級。在微博平臺上,《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》法規(guī)政策引發(fā)的發(fā)文量、點贊量、轉(zhuǎn)發(fā)量最大,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》引發(fā)的傳播量次之,但《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》在微博平臺上引發(fā)的公眾討論最多。在微博平臺上,傳播情況最差的是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》,這也與政策的行業(yè)屬性有非常大的關(guān)系。6816A859-14DE-4471-AE49-F887F905D427

    通過對6項政策在網(wǎng)站和電子報紙兩個傳統(tǒng)傳播渠道的計算得分進行對比分析,發(fā)現(xiàn)相關(guān)政策在網(wǎng)站與電子報紙上的傳播量成正相關(guān),即特定政策如果在電子報紙上報道量比較大,那么相應(yīng)的在網(wǎng)站上引發(fā)的傳播量也較高。在網(wǎng)站、電子報紙上傳播量最大的是《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》,傳播量最小的是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》。

    在議程匹配度方面,網(wǎng)絡(luò)主流媒體報道主題與社交平臺上網(wǎng)民關(guān)注焦點重合度最高的是《信息安全技術(shù)個人信息安全規(guī)范》,其次是《個人金融信息(數(shù)據(jù))保護試行辦法(初稿)》,值得注意的是兩個政策都具有領(lǐng)域?qū)傩裕蒙缃黄脚_的開放性了解網(wǎng)民關(guān)切,同時借助主流媒體的權(quán)威性及公信力,達到了較好的傳播效果。

    在政府信任方面,《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》在政策執(zhí)行和公眾信任評價方面都取得了較好的網(wǎng)民評價,而《快遞暫行條例》在政策執(zhí)行和公眾信任評價方面網(wǎng)民評價負面情緒最多。

    4 個人信息保護政策建議

    通過對實驗結(jié)果地分析,為提高個人信息保護政策的公眾認可度,本文提出如下建議:

    1)提高公眾對政策認可的前提是公眾對相關(guān)公共政策的知悉和了解,通過對《關(guān)于開展APP違法違規(guī)收集使用個人信息專項治理的公告》《兒童個人信息網(wǎng)絡(luò)保護規(guī)定》《信息安全技術(shù)個人信息安全規(guī)范》3個政策的量化計算發(fā)現(xiàn),這3個政策在政策傳播擴散方面均取得較好的傳播效果,在社交平臺上引起了網(wǎng)民的廣泛關(guān)注和討論,但是具有行業(yè)屬性的公共政策,雖然在社交平臺上有人討論,但是由于專業(yè)性較強,不容易引起廣泛的關(guān)注和傳播,因此針對具有行業(yè)屬性的公共政策,如果按常規(guī)的傳播手段進行政策傳播,難以取得理想效果,需首先借鑒科普傳播的形式,將專業(yè)術(shù)語進行轉(zhuǎn)述,再廣泛借助主流媒體和社交平臺的交互融合,拓寬公共政策信息的傳播渠道,提高公共政策的覆蓋度。

    2)通過借助社交平臺了解網(wǎng)民對于特定公共政策的關(guān)注焦點及負面評價,尤其是針對政策不同維度(政策內(nèi)容、處罰力度、政策執(zhí)行等)的負面評價,如本文中的《快遞暫行條例》政策處罰力度方面的負面評價較多。一方面,可以對政策進行有針對性的調(diào)整;另一方面,可借助主流媒體的權(quán)威性及公信力,調(diào)整主流媒體報道的議程,持續(xù)回應(yīng)公眾關(guān)切,并通過收集相關(guān)網(wǎng)民評論數(shù)據(jù),實時計算網(wǎng)民負面評價情況,對回應(yīng)策略及效果進行實時分析,提高公眾認可度。

    3)提高公共政策程序和執(zhí)行的透明度,比如本文中公眾對《快遞暫行條例》的處罰力度和處罰結(jié)果討論存在較多不滿,進一步影響到了公眾對政策制定和執(zhí)行者的信任。因此,有必要將公共政策程序和政策執(zhí)行結(jié)果,通過社交平臺的官方賬號進行及時的公布和報道,提高公眾對政府的信任水平。

    5 結(jié) 語

    本文從網(wǎng)民評價視角入手,以個人信息保護政策為具體研究對象,構(gòu)建基于網(wǎng)絡(luò)媒體的公共政策網(wǎng)民評價計算框架,實現(xiàn)對網(wǎng)民關(guān)于公共政策意見的及時、多維、量化計算,并針對具體公共政策展開實證分析。本文構(gòu)建的個人信息保護政策網(wǎng)民評價文本計算框架,支持從政策內(nèi)容、政策執(zhí)行、政府信任等維度對網(wǎng)民評價進行細粒度分析,能夠精準定位個人信息保護政策過程中的網(wǎng)民關(guān)注的具體問題,可作為政府相關(guān)部門了解個人信息保護政策相關(guān)網(wǎng)絡(luò)民意的重要維度,為包括個人信息保護政策在內(nèi)的其他公共政策評價提供了有效補充。但本研究也有不足之處,如本研究所涉及的網(wǎng)民只代表了可以上網(wǎng)的大眾,存在幸存者偏差。此外,本研究提出的基于網(wǎng)絡(luò)評論的計算框架不能完全替代基于文獻、調(diào)查等方式的傳統(tǒng)公共政策評價方式,將網(wǎng)絡(luò)評價文本挖掘和傳統(tǒng)訪談、調(diào)查等方法相結(jié)合,進一步增大訪談樣本的數(shù)量,并對兩類分析結(jié)果進行交叉驗證和相互補充,將是本研究下一步研究方向。

    參考文獻

    [1]Leslie Alexander Pal.Public Policy Analysis:An Introduction[M].Nelson Canada,1992.

    [2]張焱,戴楷然,支宇珩.媒體對公共政策過程影響研究綜述:“傳統(tǒng)媒體”框架的失靈與“社交媒體”框架的缺失[J].西華大學(xué)學(xué)報:哲學(xué)社會科學(xué)版,2018,(5):102-108.

    [3]中國互聯(lián)網(wǎng)絡(luò)信息中心.第48次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》[R].北京:中國互聯(lián)網(wǎng)絡(luò)信息中心,2021.

    [4]鄭志峰.網(wǎng)絡(luò)社會的被遺忘權(quán)研究[J].法商研究,2015,32(6):50-60.

    [5]周慶山.完善我國個人信息保護管理制度的思考[J].社會治理,2018,21(1):34-41.

    [6]王楠.網(wǎng)絡(luò)民意與公共決策關(guān)系探究[D].西安:西北大學(xué),2014.

    [7]Rao K,Dey S.Decision Support for E-Governance:A Text Mining Approach[J].International Journal of Managing Information Technology,2011,3(3):73-91.

    [8]Kalampokis E,Hausenblas M,Tarabanis K.Combining Social and Government Open Data for Participatory Decision-Making[M].Electronic Participation.Springer Berlin Heidelberg,2011.

    [9]Huang X Y.Internet Public Opinion Analysis:Intelligence Services for Government Decision-making[J].Journal of Modern Information,2012.6816A859-14DE-4471-AE49-F887F905D427

    [10]Chung K S K,Chatfield A T.An Empirical Analysis of Online Social Network Structure to Understand Citizen Engagement in Public Policy and Community Building[J].International Journal of Electronic Governance,2011,4(1/2):85-103.

    [11]Alfaro C,Cano-Montero J,Gómez J,et al.A Multi-stage Method for Content Classification and Opinion Mining on Weblog Comments[J].Annals of Operations Research,2016,236(1):197-213.

    [12]Ceron A,Negri F.The“Social Side”of Public Policy: Monitoring Online Public Opinion and Its Mobilization During the Policy Cycle[J].Policy & Internet,2016,8(2):131-147.

    [13]Chung W,Zeng D.Social-media-based Public Policy Informatics:Sentiment and Network.Analyses of U.S.Immigration and Border Security[J].Journal of the Association for Information Science & Technology,2016,67(7):1588-1606.

    [14]何志武,陳呈.網(wǎng)絡(luò)民意的表達路徑與收集機制研究——基于政策議程設(shè)置的視角[J].中州學(xué)刊,2019,(11):165-172.

    [15]Song M,Kim M C,Jeong Y K.Analyzing the Political Landscape of 2012 Korean Presidential Election in Twitter[J].IEEE Intelligent Systems,2014,29(2):18-26.

    [16]Li Y,Dai G,Zhu Y,et al.A High-Performance Extraction Method for Public Opinion on Internet[J].Wuhan University Journal of Natural Sciences,2007,13(5):902-906.

    [17]Zhou P,Cai S Q,Shi S Y,et al.Content Aggregation of Microblogging Public Opinion Events Based on Keyword Extraction[J].Journal of Intelligence,2014.

    [18]Lu Z W.The Design of Public Opinion Analysis System Based on Micro-Blog[C]//International Conference on Information System & Artificial Intelligence.IEEE,2017.

    [19]邱爾麗,張競,王雨舟,等.基于網(wǎng)絡(luò)輿情大數(shù)據(jù)的公共政策評價研究[J].領(lǐng)導(dǎo)科學(xué),2021,(8):118-121.

    [20]鄧莎莎,張朋柱,李欣苗.政府公共決策領(lǐng)域中網(wǎng)絡(luò)民意建模方法研究[J].現(xiàn)代圖書情報技術(shù),2012,(9):69-74.

    [21]何志武,陳呈.公共決策視域下的網(wǎng)絡(luò)民意分析:主體性、科學(xué)性與傾向性[J].電子政務(wù),2020,(2):66-75.

    [22]張敬偉,馬東俊.扎根理論研究法與管理學(xué)研究[ J ].現(xiàn)代管理科學(xué),2009,(2):115-117.

    [23]胡欣杰,路雨楠,路川.基于聚類分析的網(wǎng)絡(luò)輿情傾向性分析研究[J].兵器裝備工程學(xué)報,2019,40(5):115-118.

    [24]趙菲菲,王宇琪,周慶山,等.個人信息保護政策網(wǎng)絡(luò)評價的文本分析建模研究[J].情報雜志,2020,39(8):154-159.

    [25]Saaty T L.How to Make a Decision:The Analytic Hierarchy Process[J].European Journal of Operational Research,1994,24(6):19-43.

    [26]Sun W,Sui Z,Wang M,et al.Chinese Semantic Role Labeling with Shallow Parsing[C]//Conference.on Empirical Methods in Natural Language Processing.Association for Computational Linguistics,2009.

    [27]Liu M Y,Tu Z Y,Wang Z J,et al.LTP:A New Active Learning Strategy for Bert-crf Based Named Entity Recognition[J].arXiv Preprint arXiv:2001.02524,2020.

    [28]Devlin J,Chang M W,Lee K,et al.Bert:Pre-training of Deep Bidirectional Transformers for Language.Understanding[J].arXiv Preprint arXiv:1810.04805,2018.

    (責(zé)任編輯:郭沫含)6816A859-14DE-4471-AE49-F887F905D427

    香蕉国产在线看| 九色亚洲精品在线播放| 国产高清国产精品国产三级| 国产欧美日韩综合在线一区二区| 电影成人av| 满18在线观看网站| 久久中文字幕一级| 大香蕉久久网| 热99久久久久精品小说推荐| 日本五十路高清| 老汉色∧v一级毛片| 国产精品一区二区精品视频观看| 精品久久久精品久久久| 久久99热这里只频精品6学生| 亚洲国产中文字幕在线视频| 精品久久久久久电影网| 免费高清在线观看视频在线观看| 久久99一区二区三区| 看十八女毛片水多多多| 在线观看国产h片| 欧美xxⅹ黑人| 国产成人一区二区在线| 亚洲人成网站在线观看播放| 国产一区有黄有色的免费视频| av天堂在线播放| 亚洲专区中文字幕在线| 少妇粗大呻吟视频| 国产亚洲一区二区精品| 2021少妇久久久久久久久久久| 国精品久久久久久国模美| 欧美成狂野欧美在线观看| 精品免费久久久久久久清纯 | 永久免费av网站大全| 国产欧美亚洲国产| 男女床上黄色一级片免费看| 女人高潮潮喷娇喘18禁视频| 成人国产一区最新在线观看 | 一级片免费观看大全| 亚洲九九香蕉| 老鸭窝网址在线观看| 亚洲成av片中文字幕在线观看| kizo精华| h视频一区二区三区| 国产欧美日韩一区二区三 | 99国产精品一区二区三区| 午夜日韩欧美国产| netflix在线观看网站| 日日爽夜夜爽网站| av天堂久久9| 男女高潮啪啪啪动态图| 亚洲国产欧美在线一区| 七月丁香在线播放| 两人在一起打扑克的视频| 如日韩欧美国产精品一区二区三区| 汤姆久久久久久久影院中文字幕| 亚洲一卡2卡3卡4卡5卡精品中文| 七月丁香在线播放| 日本wwww免费看| 国产精品秋霞免费鲁丝片| 欧美日韩一级在线毛片| 亚洲熟女精品中文字幕| 汤姆久久久久久久影院中文字幕| 国产精品一国产av| 免费高清在线观看视频在线观看| 亚洲一区二区三区欧美精品| 国产精品久久久久久人妻精品电影 | 国产亚洲av片在线观看秒播厂| 999精品在线视频| 亚洲精品在线美女| 亚洲av综合色区一区| 亚洲精品一卡2卡三卡4卡5卡 | 国产高清videossex| 男女国产视频网站| 亚洲情色 制服丝袜| 成人影院久久| 久久热在线av| 校园人妻丝袜中文字幕| 亚洲 欧美一区二区三区| 色播在线永久视频| 一级毛片我不卡| 天天躁日日躁夜夜躁夜夜| 精品久久久精品久久久| 校园人妻丝袜中文字幕| 精品第一国产精品| 亚洲欧洲精品一区二区精品久久久| 一级毛片电影观看| 国产日韩一区二区三区精品不卡| 日本av手机在线免费观看| 无限看片的www在线观看| 日本欧美国产在线视频| 一二三四在线观看免费中文在| 不卡av一区二区三区| 9热在线视频观看99| 久热爱精品视频在线9| 麻豆乱淫一区二区| 国产一级毛片在线| 极品少妇高潮喷水抽搐| 国产xxxxx性猛交| 欧美黑人精品巨大| 99国产精品免费福利视频| 亚洲av日韩精品久久久久久密 | 亚洲熟女精品中文字幕| 免费观看a级毛片全部| 精品久久久久久电影网| 又粗又硬又长又爽又黄的视频| 人人澡人人妻人| 一级毛片女人18水好多 | 免费看不卡的av| 欧美黑人欧美精品刺激| 成年人免费黄色播放视频| 免费高清在线观看日韩| 国产精品久久久久久人妻精品电影 | 欧美黄色淫秽网站| 国产精品三级大全| 国产一区二区 视频在线| 美女福利国产在线| 我要看黄色一级片免费的| 欧美人与性动交α欧美软件| 国产亚洲av高清不卡| 免费在线观看影片大全网站 | 国产三级黄色录像| 国产有黄有色有爽视频| 国产精品 国内视频| 欧美日韩视频精品一区| 日韩一卡2卡3卡4卡2021年| 美女扒开内裤让男人捅视频| 青青草视频在线视频观看| 久久精品国产综合久久久| 日本欧美国产在线视频| 亚洲熟女毛片儿| 国产欧美日韩一区二区三区在线| 久久精品国产a三级三级三级| 亚洲一区中文字幕在线| 美女国产高潮福利片在线看| 日韩中文字幕欧美一区二区 | 两性夫妻黄色片| 免费不卡黄色视频| 中国国产av一级| 99久久99久久久精品蜜桃| 欧美日韩精品网址| 三上悠亚av全集在线观看| 午夜福利乱码中文字幕| 在线天堂中文资源库| 国产熟女欧美一区二区| 国产黄色免费在线视频| 国产欧美日韩综合在线一区二区| 精品久久蜜臀av无| 中国国产av一级| 国产在视频线精品| 十八禁高潮呻吟视频| 啦啦啦 在线观看视频| 一级片免费观看大全| 操美女的视频在线观看| 久久久国产一区二区| 黄片播放在线免费| 亚洲av片天天在线观看| 一级黄片播放器| 精品人妻1区二区| 国产不卡av网站在线观看| 成人亚洲欧美一区二区av| 久久久亚洲精品成人影院| 视频区图区小说| 激情五月婷婷亚洲| 精品高清国产在线一区| 欧美国产精品va在线观看不卡| 亚洲中文字幕日韩| 精品亚洲成国产av| 亚洲人成网站在线观看播放| 色94色欧美一区二区| 交换朋友夫妻互换小说| 亚洲一卡2卡3卡4卡5卡精品中文| 女人精品久久久久毛片| 制服人妻中文乱码| 美国免费a级毛片| 亚洲欧美激情在线| 亚洲精品一区蜜桃| 精品一品国产午夜福利视频| 免费在线观看完整版高清| 最近中文字幕2019免费版| 色精品久久人妻99蜜桃| 99热网站在线观看| 亚洲欧洲精品一区二区精品久久久| 午夜福利视频精品| 又紧又爽又黄一区二区| 在线亚洲精品国产二区图片欧美| av欧美777| 久热这里只有精品99| 欧美老熟妇乱子伦牲交| 97在线人人人人妻| 亚洲精品久久成人aⅴ小说| 日韩,欧美,国产一区二区三区| 黑丝袜美女国产一区| 亚洲美女黄色视频免费看| 国产精品人妻久久久影院| 黄色怎么调成土黄色| av不卡在线播放| 晚上一个人看的免费电影| 少妇精品久久久久久久| 欧美黑人欧美精品刺激| 男女之事视频高清在线观看 | 熟女少妇亚洲综合色aaa.| 精品少妇久久久久久888优播| 天天躁日日躁夜夜躁夜夜| 亚洲精品在线美女| 国产一区有黄有色的免费视频| 黄色视频不卡| 欧美精品人与动牲交sv欧美| 在线观看免费午夜福利视频| 一级片'在线观看视频| 亚洲欧美一区二区三区久久| 97精品久久久久久久久久精品| 韩国精品一区二区三区| 久久久精品免费免费高清| 精品国产一区二区三区久久久樱花| 如日韩欧美国产精品一区二区三区| 多毛熟女@视频| 国语对白做爰xxxⅹ性视频网站| 天堂俺去俺来也www色官网| 精品国产一区二区三区四区第35| 欧美激情极品国产一区二区三区| 最近最新中文字幕大全免费视频 | 亚洲国产精品成人久久小说| 中文字幕制服av| 赤兔流量卡办理| 国产免费福利视频在线观看| 99香蕉大伊视频| 熟女少妇亚洲综合色aaa.| 99久久99久久久精品蜜桃| 亚洲五月色婷婷综合| 亚洲精品一区蜜桃| 人人妻人人爽人人添夜夜欢视频| 天天躁夜夜躁狠狠久久av| 国产一区亚洲一区在线观看| 黄色毛片三级朝国网站| 精品福利观看| 丝袜喷水一区| 国产亚洲欧美在线一区二区| 超色免费av| 国产精品欧美亚洲77777| 不卡av一区二区三区| 99久久人妻综合| 精品人妻一区二区三区麻豆| 国产精品久久久av美女十八| 久久精品国产亚洲av涩爱| 国产欧美亚洲国产| 日韩,欧美,国产一区二区三区| 亚洲国产精品一区二区三区在线| 一区二区av电影网| 久久久久久久精品精品| 一级a爱视频在线免费观看| 日本五十路高清| 欧美激情极品国产一区二区三区| 欧美精品一区二区免费开放| 多毛熟女@视频| 五月天丁香电影| 波多野结衣av一区二区av| 色94色欧美一区二区| av福利片在线| 丰满迷人的少妇在线观看| 亚洲欧美一区二区三区国产| 丝袜喷水一区| 欧美激情高清一区二区三区| 国产成人一区二区三区免费视频网站 | 国产一区二区在线观看av| 亚洲精品av麻豆狂野| 999精品在线视频| www.av在线官网国产| 制服诱惑二区| 免费av中文字幕在线| 在线 av 中文字幕| 黄色 视频免费看| 亚洲国产精品999| 精品福利永久在线观看| 国产成人免费观看mmmm| 黄色毛片三级朝国网站| 久久精品国产a三级三级三级| 99国产精品免费福利视频| 一区二区三区精品91| 一级毛片电影观看| a级毛片黄视频| 亚洲国产看品久久| 精品免费久久久久久久清纯 | 女警被强在线播放| 久久青草综合色| 赤兔流量卡办理| 欧美精品一区二区大全| 久久久精品国产亚洲av高清涩受| 欧美日韩视频高清一区二区三区二| 久久人人爽人人片av| 国产精品久久久人人做人人爽| 日韩av不卡免费在线播放| 国产亚洲欧美精品永久| 超碰成人久久| 欧美在线黄色| 亚洲欧美精品自产自拍| 久久久精品94久久精品| 欧美成人午夜精品| 亚洲精品自拍成人| 精品少妇一区二区三区视频日本电影| 国产精品免费视频内射| 国产一区二区在线观看av| 亚洲欧美激情在线| 国产精品久久久久久精品电影小说| 国产亚洲av高清不卡| 亚洲熟女毛片儿| 女性被躁到高潮视频| 精品少妇一区二区三区视频日本电影| 秋霞在线观看毛片| 美女中出高潮动态图| av有码第一页| 国产av一区二区精品久久| a级片在线免费高清观看视频| 欧美xxⅹ黑人| 国产欧美日韩综合在线一区二区| 五月开心婷婷网| 亚洲一区中文字幕在线| 狂野欧美激情性bbbbbb| 十八禁高潮呻吟视频| 多毛熟女@视频| av一本久久久久| 亚洲自偷自拍图片 自拍| 9热在线视频观看99| 三上悠亚av全集在线观看| 91字幕亚洲| 免费日韩欧美在线观看| 天天躁夜夜躁狠狠躁躁| 国产精品香港三级国产av潘金莲 | bbb黄色大片| 男女下面插进去视频免费观看| 十八禁人妻一区二区| 午夜av观看不卡| 女人精品久久久久毛片| 国产精品免费大片| 亚洲欧美中文字幕日韩二区| 在线观看免费视频网站a站| 只有这里有精品99| 亚洲精品乱久久久久久| 大片免费播放器 马上看| 精品人妻在线不人妻| 日本色播在线视频| 久久精品国产综合久久久| 建设人人有责人人尽责人人享有的| 国产在线观看jvid| 啦啦啦 在线观看视频| 久久精品国产亚洲av高清一级| 人人妻,人人澡人人爽秒播 | av视频免费观看在线观看| 亚洲成色77777| 久热爱精品视频在线9| 欧美老熟妇乱子伦牲交| 高清欧美精品videossex| 女性被躁到高潮视频| 国产成人欧美| 国产91精品成人一区二区三区 | 性色av乱码一区二区三区2| 啦啦啦在线观看免费高清www| 亚洲欧美激情在线| 一二三四社区在线视频社区8| 纵有疾风起免费观看全集完整版| 美女主播在线视频| 国产精品一区二区在线观看99| 国产成人一区二区三区免费视频网站 | 久久狼人影院| 免费女性裸体啪啪无遮挡网站| 精品久久久久久电影网| 丰满人妻熟妇乱又伦精品不卡| 日本色播在线视频| 真人做人爱边吃奶动态| 天天影视国产精品| 男的添女的下面高潮视频| 50天的宝宝边吃奶边哭怎么回事| 飞空精品影院首页| 叶爱在线成人免费视频播放| 久久久久精品国产欧美久久久 | 各种免费的搞黄视频| 精品人妻一区二区三区麻豆| 欧美精品人与动牲交sv欧美| 欧美日韩视频高清一区二区三区二| 99久久人妻综合| 欧美xxⅹ黑人| 脱女人内裤的视频| 国产精品香港三级国产av潘金莲 | 黄网站色视频无遮挡免费观看| 亚洲成av片中文字幕在线观看| 国产成人一区二区三区免费视频网站 | av在线播放精品| 国产xxxxx性猛交| 免费看十八禁软件| 亚洲色图综合在线观看| 国产精品久久久av美女十八| 十八禁人妻一区二区| 国产成人a∨麻豆精品| 亚洲第一av免费看| 欧美日韩视频精品一区| 99国产精品99久久久久| avwww免费| 国产欧美日韩综合在线一区二区| 亚洲午夜精品一区,二区,三区| 国产不卡av网站在线观看| 午夜老司机福利片| 老司机影院成人| 人妻一区二区av| 久久久久国产一级毛片高清牌| 黄网站色视频无遮挡免费观看| 国产有黄有色有爽视频| 人人妻人人添人人爽欧美一区卜| 少妇精品久久久久久久| 亚洲美女黄色视频免费看| 免费日韩欧美在线观看| www.av在线官网国产| 欧美中文综合在线视频| 国产在线一区二区三区精| 亚洲av国产av综合av卡| 国产成人a∨麻豆精品| 91麻豆精品激情在线观看国产 | 天天添夜夜摸| 亚洲国产精品一区三区| 午夜影院在线不卡| 视频区图区小说| 一区二区三区激情视频| 国产免费福利视频在线观看| 国产一区二区 视频在线| 巨乳人妻的诱惑在线观看| 黄色片一级片一级黄色片| 一级a爱视频在线免费观看| 欧美av亚洲av综合av国产av| 一本一本久久a久久精品综合妖精| 日本vs欧美在线观看视频| 国产精品免费视频内射| 久久国产精品大桥未久av| 久久国产精品人妻蜜桃| 日本91视频免费播放| 美女大奶头黄色视频| 日本猛色少妇xxxxx猛交久久| 丰满人妻熟妇乱又伦精品不卡| 亚洲国产欧美日韩在线播放| 黄频高清免费视频| 亚洲欧美日韩高清在线视频 | 国产日韩欧美亚洲二区| 亚洲精品第二区| 看十八女毛片水多多多| 久久ye,这里只有精品| 天天影视国产精品| 日韩制服骚丝袜av| 蜜桃国产av成人99| 欧美精品人与动牲交sv欧美| 99九九在线精品视频| 欧美老熟妇乱子伦牲交| 中文精品一卡2卡3卡4更新| 精品第一国产精品| 亚洲欧美精品综合一区二区三区| 久久久国产精品麻豆| 欧美少妇被猛烈插入视频| 丝瓜视频免费看黄片| 亚洲黑人精品在线| 天堂8中文在线网| 中文字幕高清在线视频| 超碰成人久久| 成人免费观看视频高清| 欧美国产精品一级二级三级| 欧美人与性动交α欧美软件| 亚洲国产欧美日韩在线播放| 麻豆av在线久日| 无限看片的www在线观看| 久久亚洲精品不卡| 中文字幕人妻丝袜一区二区| 精品欧美一区二区三区在线| 少妇粗大呻吟视频| 老鸭窝网址在线观看| 色播在线永久视频| kizo精华| 国产激情久久老熟女| 亚洲午夜精品一区,二区,三区| 在线观看人妻少妇| 日韩人妻精品一区2区三区| 一级毛片我不卡| 国产91精品成人一区二区三区 | 久久天躁狠狠躁夜夜2o2o | 免费av中文字幕在线| 亚洲图色成人| 大香蕉久久成人网| 中文乱码字字幕精品一区二区三区| 久久久国产精品麻豆| av有码第一页| 多毛熟女@视频| 亚洲第一av免费看| 桃花免费在线播放| 亚洲专区中文字幕在线| 韩国高清视频一区二区三区| 成人亚洲欧美一区二区av| 丰满人妻熟妇乱又伦精品不卡| 男女午夜视频在线观看| 亚洲人成电影免费在线| 国产1区2区3区精品| 国产精品免费视频内射| 欧美日韩亚洲综合一区二区三区_| 久久久亚洲精品成人影院| 亚洲欧美一区二区三区久久| 国产精品.久久久| 国产精品免费大片| av国产精品久久久久影院| 亚洲精品一二三| 国产激情久久老熟女| 亚洲欧美色中文字幕在线| e午夜精品久久久久久久| 十八禁高潮呻吟视频| 欧美日韩一级在线毛片| 免费日韩欧美在线观看| 国产视频一区二区在线看| 男女免费视频国产| 国产精品久久久久成人av| 亚洲欧美一区二区三区久久| 人妻一区二区av| 欧美另类一区| 国产真人三级小视频在线观看| 国产成人免费观看mmmm| 久久精品国产a三级三级三级| 久久国产精品男人的天堂亚洲| 久久精品成人免费网站| 老司机深夜福利视频在线观看 | 久久久国产欧美日韩av| 国产欧美日韩综合在线一区二区| 悠悠久久av| 麻豆国产av国片精品| 美女视频免费永久观看网站| 制服诱惑二区| 女人被躁到高潮嗷嗷叫费观| 香蕉国产在线看| 91老司机精品| av在线老鸭窝| 国产男女内射视频| 免费看不卡的av| 国产一区二区 视频在线| 啦啦啦 在线观看视频| 午夜日韩欧美国产| 亚洲欧美一区二区三区黑人| 一边摸一边抽搐一进一出视频| 99国产精品一区二区蜜桃av | 欧美精品高潮呻吟av久久| 午夜久久久在线观看| 欧美老熟妇乱子伦牲交| 日日爽夜夜爽网站| 久久人妻福利社区极品人妻图片 | 男女下面插进去视频免费观看| 免费日韩欧美在线观看| 久久久久久久久久久久大奶| 狂野欧美激情性bbbbbb| 国产精品成人在线| 婷婷色av中文字幕| 国产精品一国产av| 韩国高清视频一区二区三区| 69精品国产乱码久久久| 乱人伦中国视频| 久久人妻熟女aⅴ| 久久久精品国产亚洲av高清涩受| 精品国产超薄肉色丝袜足j| 两性夫妻黄色片| 晚上一个人看的免费电影| 午夜av观看不卡| 中文字幕制服av| 亚洲欧美成人综合另类久久久| 中文字幕最新亚洲高清| 少妇精品久久久久久久| xxx大片免费视频| 国产淫语在线视频| 国产精品一区二区在线不卡| 日本黄色日本黄色录像| 美国免费a级毛片| 一级片免费观看大全| 下体分泌物呈黄色| www.999成人在线观看| 中文字幕高清在线视频| 国产高清不卡午夜福利| 老司机深夜福利视频在线观看 | 国产精品久久久久久精品电影小说| 人人妻人人爽人人添夜夜欢视频| 久久国产精品人妻蜜桃| 亚洲精品美女久久久久99蜜臀 | 亚洲欧美色中文字幕在线| 国产男女内射视频| 国产欧美日韩一区二区三 | 欧美激情高清一区二区三区| 欧美日韩一级在线毛片| 国产精品麻豆人妻色哟哟久久| 一边亲一边摸免费视频| 日本91视频免费播放| 十八禁人妻一区二区| 丰满饥渴人妻一区二区三| 欧美精品一区二区免费开放| 午夜精品国产一区二区电影| 国产精品一国产av| av线在线观看网站| 国产成人91sexporn| 日韩欧美一区视频在线观看| 精品少妇久久久久久888优播| 精品国产一区二区三区久久久樱花| 国产精品久久久久成人av| 欧美精品人与动牲交sv欧美| 国产精品国产三级国产专区5o| 精品少妇黑人巨大在线播放| 亚洲人成电影观看| 亚洲欧美激情在线| 国产欧美日韩综合在线一区二区| 97在线人人人人妻| av又黄又爽大尺度在线免费看| 成年动漫av网址| 免费av中文字幕在线| 亚洲男人天堂网一区| 精品国产一区二区久久| 国语对白做爰xxxⅹ性视频网站| 少妇裸体淫交视频免费看高清 | av天堂在线播放| 亚洲国产av影院在线观看| 十八禁高潮呻吟视频| 亚洲成人手机|