• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向社會媒體的立場檢測研究綜述

    2024-12-31 00:00:00趙小兵尹召寧王子豪張袁碩陳波
    計算機應用研究 2024年11期

    摘 要:隨著互聯(lián)網(wǎng)的不斷發(fā)展,人們廣泛使用微博、推特等社交媒體平臺,導致每日涌現(xiàn)出巨量的用戶生成內(nèi)容。針對熱點/關注話題,分析這些內(nèi)容背后用戶的態(tài)度具有重要意義,可以幫助相關人員決策,因此立場檢測任務的目標是根據(jù)指定的目標和給定的文本,確定用戶對目標的立場(支持/反對/中立)。針對立場檢測方面的研究闡述了立場檢測任務、應用、相關數(shù)據(jù)資源和相關方法。在任務方面,除了常規(guī)的單/多/跨目標立場檢測任務,還梳理了零/少樣本立場檢測的相關工作;在數(shù)據(jù)資源方面,對近年來公開的數(shù)據(jù)資源進行了詳細梳理介紹;在方法方面,除了傳統(tǒng)機器學習方法、神經(jīng)網(wǎng)絡等方法,還梳理了基于預訓練模型的方法。最后對立場檢測的發(fā)展現(xiàn)狀進行了總結(jié)闡述,并展望了接下來可能的研究熱點。

    關鍵詞:目標;立場;立場檢測;零/少樣本立場檢測;預訓練模型

    中圖分類號:TP391.1 文獻標志碼:A 文章編號:1001-3695(2024)11-001-3201-14

    doi:10.19734/j.issn.1001-3695.2024.01.0043

    Review of research on stance detection in social media

    Zhao Xiaobinga,b,c, Yin Zhaoninga,b,c, Wang Zihaoa,b,c, Zhang Yuanshuoa,b,c, Chen Boa,b,c?

    (a. Dept. of Information Engineering, b. National Language Resource Monitoring amp; Research Center of Minority Languages, c. Language Information Security Research Center Institute of National Security MUC, Minzu University of China, Beijing 100081, China)

    Abstract:With the continuous development of the Internet, people widely use social media platforms such as Weibo and Twitter, resulting in a huge amount of user generated content every day. It is important to analyze the user’s attitude based on the user generated content for hot/focused topics as it can help relevant stakeholders make informed decisions. Therefore, the goal of the stance detection task is to determine the user’s stance (favor/against/neutral) on the target according to the specified target and the given content. This paper described the stance detection tasks, applications, related data resources and related works. For stance detection tasks, in addition to the previous single/multiple/cross target stance detection tasks, this paper also organized the works related to zero/small sample stance detection. For data resources, this paper gave a detailed introduction to the data resources published in recent years. For stance detection methods, in addition to traditional machine learning methods, neural networks and other methods, this paper also sorted out the methods based on the pre training model. Finally, it summarized the development status of stance detection, and looked forward to the possible research hotspots in the future.

    Key words:target; stance; stance detection; zero/few-shot stance detection; pre-trained model

    0 引言

    近年來互聯(lián)網(wǎng)得到了快速的發(fā)展,微博、推特、論壇以及INS等社交媒體平臺也隨著出現(xiàn)。這些平臺中每天會產(chǎn)生大量的用戶生成內(nèi)容,如用戶發(fā)布的微博評論、推特評論、論壇評論等,這些內(nèi)容往往與一些熱點話題,如熱點事件、熱門商品、新政策、公眾人物等相關。對這些用戶生成內(nèi)容進行挖掘分析,可以獲得用戶對話題的一些反饋看法,進而可以獲得公眾的意見和態(tài)度,從而幫助相關人員決策。

    立場檢測任務是根據(jù)給定的目標或話題,基于用戶生成內(nèi)容判定用戶的立場,一般地,立場有支持、反對和中立三個類別。李洋等人[1指出,支持的立場表現(xiàn)不僅包括發(fā)表直接或間接對某人或某事的行為進行支持的評論,還包括少數(shù)用戶的評論內(nèi)容如果對目標相反的某人或某事進行了反對批評、贊同了他人對目標支持的評論。反對的立場包括直接或間接對某人或某事的行為進行反對,和對目標相反的某人或某事進行贊同附和或內(nèi)容贊同了他人對目標反對的言論。例如,針對政策法規(guī)“深圳禁摩限電”,有用戶發(fā)表自己的見解:“講道理禁摩禁電好啊”(評論1),就表現(xiàn)出對該政策的支持立場;針對新興產(chǎn)品“iPhone SE”,用戶使用后發(fā)表感想“se雖然性價比高,但是5s外觀沒法裝了,還是等七吧”(評論2),表達出對該產(chǎn)品反對的立場;對于事件“俄羅斯在敘利亞的反恐行動”,用戶給出了“出動架次和戰(zhàn)果很不成比例,應該繼續(xù)增派飛機增加轟炸密度,再不速戰(zhàn)速決后果很嚴重”(評論3)的評論,表現(xiàn)出對于該事件的支持立場。

    立場檢測任務與情感分析任務有緊密聯(lián)系,立場檢測由情感分析衍生,但兩者是不同的任務。情感分析任務是判斷用戶生成內(nèi)容透露出積極情緒還是消極情緒;立場檢測任務是基于用戶生成內(nèi)容判定用戶對于特定的話題所表達的主觀立場。例如前文中的評論3雖然透露出用戶消極的情緒,但對給定的話題表現(xiàn)了支持的立場。

    立場檢測在早期任務設定中是分析在線論壇上的辯論和新聞文章文本,最早出現(xiàn)的立場檢測任務是對2005年美國國會發(fā)言辯論記錄[2進行支持或反對立場的辨認。近年來由于立場檢測任務引起了廣泛關注,相關研究也逐漸增多,特別是SemEval 2016 task 6和NLPCC 2016 task 4的發(fā)布,使得更多的研究者開始關注立場檢測方向。同時,立場檢測技術(shù)也獲得了廣泛應用,例如社交媒體監(jiān)測、政治選舉分析、品牌聲譽管理、新聞報道等。

    社交平臺的出現(xiàn),促使立場檢測分析的對象由辯論文章轉(zhuǎn)向短文本,任務目標也由單目標逐步發(fā)展出多目標、跨目標、零/少樣本等多種任務,數(shù)據(jù)資源也由較早針對單目標任務的SemEval 2016 task 6和NLPCC 2016 task 4數(shù)據(jù)集逐步發(fā)展出了適應多目標任務的數(shù)據(jù)集、適應跨目標任務的P-stance,WT-WT和適應零/少樣本任務的VAST。早期解決立場檢測任務依賴基于傳統(tǒng)機器學習的方法,但神經(jīng)網(wǎng)絡的興起彌補了傳統(tǒng)機器學習方法的不足,減少了對人工構(gòu)造特征的依賴,可自動學習到更好的特征。隨后立場檢測方法得到進一步發(fā)展,可以借力于圖神經(jīng)網(wǎng)絡方法、遷移學習方法和預訓練模型方法等。

    本文對立場檢測任務進行綜述,首先介紹立場檢測的任務;然后從立場檢測應用場景和研究現(xiàn)狀對立場檢測的相關工作進行了整理,并對不同方法的優(yōu)缺點進行了對比;接著對立場檢測的公開數(shù)據(jù)資源從早期經(jīng)典資源和現(xiàn)有常用資源兩個角度進行了歸納;最后對當前立場檢測的方法進行了總結(jié),并展望了立場檢測研究的未來趨勢。

    1 立場檢測任務

    立場檢測任務按照目標數(shù)量、目標關聯(lián)性以及學習樣本數(shù)量等方面的不同一般可劃分為四類:單目標立場檢測、多目標立場檢測、跨目標立場檢測和零/少樣本立場檢測。各類的示例如表1所示。

    1.1 單目標立場檢測

    單目標立場檢測任務[3,4,又稱特定目標立場檢測,其目標是給定一個目標t和一段文本d,利用文本信息分析出對指定目標的態(tài)度是持支持/中立/反對(favor/neutral/against),即

    D={d1,d2,…,dn}

    Si=f(di,t)∈{favor/neutral/against}

    i=1,2,…,n

    單目標立場檢測任務是目前最常見的任務,自SemEval 2016 task 6和NLPCC 2016 task 4這兩項單目標立場檢測任務發(fā)布以來,引起了大批學者對立場檢測問題的關注,并且以前的研究工作大多是圍繞著這兩項任務數(shù)據(jù)集展開的。面向單目標立場檢測任務的模型往往具有較差的泛化能力,在Sem-Eval和NLPCC會議的數(shù)據(jù)集中,每個數(shù)據(jù)集包含多個目標主題、但每個模型往往只能適用于一個目標,這歸因于模型對于每個目標都用該目標的語料單獨訓練模型,若換一個目標,模型的性能就明顯下降。

    單目標立場檢測任務的難點之一是在文本中準確地確定作者對特定目標的立場。有時,目標可能沒有在文本中明確提到,而是隱含在語境中,需要捕捉與目標相關的信息,增加了任務的難度;在實際應用中,不同立場的樣本數(shù)量可能不平衡,導致模型在訓練過程中對于某些類別的學習不足,處理不平衡數(shù)據(jù)分布也是一個挑戰(zhàn);此外還面臨上下文依賴性、多義性和歧義性、語義復雜性和領域適應等難點。

    1.2 多目標立場檢測

    單目標立場檢測模型往往獨立地針對分析某個特定目標,而Sobhani等人[5發(fā)現(xiàn)目標之間可能會存在聯(lián)系,因此提出了多目標立場檢測任務,其目標是給定一段文本d和多個目標t1,t2,…,tn,利用文本信息同時判定針對指定的兩個或多個目標的立場,多個目標之間可能會存在潛在的聯(lián)系,即

    D={d1,d2,…,dn}

    Sij=f(di,tj)∈{favor/neutral/against}

    i, j=1,2,…,n

    多目標立場檢測任務多數(shù)被應用于分析政治候選人之間的關系或被用于分析客戶對多個品牌的同一類產(chǎn)品的所表達的立場,例如針對美國總統(tǒng)大選的文本,如果一條推文對特朗普當選表示了支持態(tài)度,那么對他的對手就表達了反對的態(tài)度。Li等人[6針對多目標立場檢測任務提出了一種方法:利用所有目標的數(shù)據(jù)訓練單個模型,而不是針對每個目標訓練一個模型,這種方法可以通過利用所有目標的數(shù)據(jù)來提升模型對于不同目標的泛化能力。

    多目標立場檢測任務相比于單目標立場檢測任務,面臨了更多的挑戰(zhàn)和復雜性。對于一個文本片段,可能與多個目標相關聯(lián),而且這些關聯(lián)可能是隱含的。模型需要確定文本片段與哪些目標相關,以正確地分配立場;多目標任務可能需要處理比單目標任務更大規(guī)模的數(shù)據(jù),而且數(shù)據(jù)集中目標的數(shù)量可能變化較大。這對于模型的訓練和處理階段都提出了挑戰(zhàn);在多目標場景下,標記樣本的標簽也可能更加復雜和不確定。作者可能會表達模糊或模棱兩可的立場,導致標簽的噪聲和不確定性;此外還需要克服目標識別與關系建模、計算復雜性和領域適應復雜性等問題。

    1.3 跨目標立場檢測

    跨目標立場檢測[7利用了遷移學習的思想,其任務是利用基于源目標K的語料對模型進行訓練,使其學習其中的規(guī)律,然后對基于新目標O的文本中檢測立場,源目標和新目標一般屬于同一領域B,如:在P-Stance[8數(shù)據(jù)集中,模型在“特朗普”這個目標上進行訓練,在另一個目標“拜登”上進行測試,定義為

    D={d1,d2,…,dn}

    Sio=f(di,tk)∈{favor/neutral/against}

    i=1,2,…,n;k=1,2,…,n;o=1,2,…,n

    K∩O≠K, K∩O≠O,K∈B,O∈B

    單目標立場檢測通常關注一個確定的目標,多目標立場檢測涉及多個目標但通常是獨立處理的,跨目標任務則需要考慮不同目標之間的差異,因為作者可能對不同目標有不同的觀點。跨目標任務目前面臨的困難包括:數(shù)據(jù)稀疏性,即在跨目標情境中,每個目標的標記數(shù)據(jù)可能相對有限,導致數(shù)據(jù)稀疏性,模型需要在有限的標記數(shù)據(jù)上有效學習并泛化到多個目標;一致性與變化,作者可能在不同目標上保持一致的立場,也可能在不同目標上表達出差異;目標動態(tài)性,在跨目標任務中目標可能是動態(tài)變化的,新的目標可能隨著時間的推移出現(xiàn)。模型需要能夠適應新目標的加入和舊目標的變化;領域適應,單目標或多目標立場檢測任務通常在相對穩(wěn)定的領域中進行,而跨目標任務可能涉及多個領域或主題,要求模型具有更強的領域適應能力。

    雖然跨目標立場檢測任務旨在建模模型的泛化能力,但是當涉及到不同領域的目標和大量的目標時,模型仍然難以具有很好的泛化性,進而衍生了新的立場檢測任務——零/少樣本立場檢測。

    1.4 零/少樣本立場檢測

    訓練特定目標立場檢測模型時需要大量人工標注的訓練語料,但是當目標數(shù)量過多時,人工標注數(shù)據(jù)的代價昂貴且耗時多,這使得立場檢測難以實用化??缒繕肆鰴z測雖然能減少對新目標訓練數(shù)據(jù)的需求,但目前基于遷移學習的模型,首先需要源目標與新目標之間具有聯(lián)系,進而需要將從源目標數(shù)據(jù)中學習到的規(guī)律遷移到任一新的目標,這使得跨目標立場檢測的效果并不理想。為此,Allaway等人[9提出了零/少樣本立場檢測,其中零樣本立場檢測是讓模型在大量全新未見的目標上進行效果評估,少樣本立場檢測是基于少量的訓練樣例訓練模型,再讓模型在大量目標上進行效果評估,這兩種任務設定都不需要新目標O與源目標K之間的知識,定義為

    D={d1,d2,…,dn}

    Sio=f(di,tk)∈{favor/neutral/against}

    i=1,2,…,n;k=1,2,…,n;o=1,2,…,nK∩O≠K,K∩O≠O,K∈B,OB

    零樣本立場檢測具有更好的應用場景。

    零/少樣本立場檢測目前也仍面臨許多挑戰(zhàn):由于缺乏大量標記數(shù)據(jù),模型需要更好地學習能夠泛化到新任務或目標的表示。這就要求設計有效的特征表示學習方法;零/少樣本任務中的元學習方法被廣泛應用,但如何設計更加適應立場檢測任務的元學習算法,以提高模型對少量樣本的學習能力,仍然是一個研究問題。

    立場檢測任務可劃分為四類,除去不同挑戰(zhàn),還包含共性挑戰(zhàn),通過深入研究這些任務之間的異同,能夠更全面地理解立場檢測領域的復雜性,并為解決這些挑戰(zhàn)提供深刻的見解,即立場檢測模型可能在不同領域、主題或文體中性能不穩(wěn)定。領域適應是一個需要關注的問題,以確保模型在多樣化的文本數(shù)據(jù)上表現(xiàn)良好;由于社交媒體文本的特殊性,包括縮寫、非正式語言和表達形式的多樣性,模型需要能夠有效處理這些挑戰(zhàn)。

    2 立場檢測的應用

    立場檢測在當前用戶生成內(nèi)容爆炸式增長的時代具有廣闊的應用情境,主要的應用情境有:謠言驗證、觀點調(diào)研和輿情分析,其詳細介紹如下。

    2.1 謠言驗證

    隨著社交平臺的快速發(fā)展,互聯(lián)網(wǎng)每天會產(chǎn)生海量信息和新聞,人們能從社交平臺快速獲得自己關注的信息,因此人們對此類平臺的依賴程度不斷上升。然而,網(wǎng)絡環(huán)境魚龍混雜,各類平臺都充斥著各種虛假謠言,網(wǎng)絡信息的可靠性也因此逐步引起了人們的關注,進而催生了謠言驗證[10的任務。

    Li等人[11利用多任務學習的方法進行謠言和立場的聯(lián)合識別。Baly等人[12提出了支持文本、立場檢測、謠言驗證之間的相互依賴關系的阿拉伯語語料庫,通過在語料庫上實驗,證明統(tǒng)一的標注對于立場檢測與謠言驗證的效果均有提升。Yu等人[13使用序列的局部和全局表征并增強立場和謠言任務之間的交互,改進了共享層堆疊特定任務層的多任務學習框架,使得謠言判別性能得到提高。

    謠言驗證和立場檢測之間存在差異,但兩者可以共同增強[14。如,通過交叉檢查相關帖子中表達的立場可以驗證謠言,而立場也會受到謠言的性質(zhì)影響。謠言驗證任務主要包含兩方面任務,即謠言檢測15和假新聞檢測16,謠言檢測的現(xiàn)用文本大多是微博或推特等平臺的短文本,這類文本具有信息語法規(guī)范性差、口語化、新詞匯層出不窮和文本噪聲等特點,假新聞檢測和新聞網(wǎng)站的新聞相比,文本平均長度也較短,可使用的上下文信息也比較有限,因此使得謠言檢測和假新聞檢測任務具有難點。

    2.2 觀點調(diào)研

    立場檢測可用于觀點調(diào)研[1,企業(yè)在市場營銷的過程中首先要對自身品牌營銷出良好的口碑,才能吸引更多地顧客購買自己的產(chǎn)品,因此多數(shù)企業(yè)可以通過立場檢測技術(shù),對群眾在微博等社交媒體平臺上發(fā)布的與企業(yè)本身相關的評論進行分析,進而對企業(yè)的營銷和部門結(jié)構(gòu)進行相應的優(yōu)化;企業(yè)售出新一代產(chǎn)品后,也可通過立場檢測技術(shù)快速分辨出顧客對產(chǎn)品的不滿評論,針對評論中不滿的點,企業(yè)可以快速了解到顧客的需求,尋找到下一代產(chǎn)品的革新方向[17,Amiri等人[18通過立場檢測技術(shù)發(fā)現(xiàn)了品牌客戶流失的現(xiàn)象。此外,立場檢測可基于社交用戶的信息對用戶進行畫像分析,可以協(xié)助進行客戶的個性化推薦19。在醫(yī)療健康領域,隨著在線問診的普及,通過收集分析病患對醫(yī)生的評價,利用立場檢測技術(shù),可以快速了解病患對醫(yī)生的服務態(tài)度和專業(yè)程度的評價等17。Luo等人[20對全球氣候變暖話題收集分析了群眾的看法。

    2.3 輿情分析

    隨著人們社會生活和觀念的變化和發(fā)展,政府會頒布或修改一些政策法規(guī),促進社會的長久發(fā)展,比如在國內(nèi)引發(fā)熱議的“三胎政策”“離婚冷靜期”等,可利用立場檢測技術(shù)快速分辨民眾對這類政策的立場分布[21。又如在美國政治大選2中,可利用立場檢測技術(shù)對推特等社交平臺的文本進行分析,從而協(xié)助研究者分析民眾對不同候選人之間的態(tài)度,來預測政治大選的結(jié)果。

    Lai等人[22分析了英國脫歐后,用戶發(fā)表在推特上評論的立場。Xi等人[23通過分析Facebook上用戶發(fā)的文字和圖片分析其政治傾向。Giovanni等人[24分析了民眾發(fā)表在推特上有關意大利憲法公投事件評論的立場。朱玉25采集了新浪微博上關于“新型肺炎”的相關話題評論數(shù)據(jù),分別包括疫情防控、復工復產(chǎn)、居家隔離和支援武漢四個話題,分析了群眾的立場。以上工作表明,模型判定評論立場時,除文本信息外,也借助了圖片信息,實際場景的需求逐漸需要多模態(tài)方法解決;社交平臺的功能不斷迭代,有學者也利用了社交平臺的用戶關聯(lián)26協(xié)助立場分析,進一步有效地分析利用社交平臺的功能分析立場也逐漸成為熱門方向。

    3 相關數(shù)據(jù)資源及評價指標

    立場檢測作為自然語言處理領域中的重要任務,近年來受到了國內(nèi)外越來越多的學者的關注,目前已有多份公開發(fā)布的數(shù)據(jù)資源,代表性的資源主要包括英文的SemEval 2016 task 6、中文的NLPCC 2016 task 4和FNC-I等。這些數(shù)據(jù)資源一般包含人工標注出的幾千到幾萬條不等的文本數(shù)據(jù),其中每個文本數(shù)據(jù)都有一個與之相關的目標或話題,以及需要識別的該文本的作者或說話者對該目標或話題的立場。數(shù)據(jù)集中的文本通常來自新聞文文本、博客文章、社交媒體或其他在線文本資源。在研究中被使用最多的數(shù)據(jù)集是英文數(shù)據(jù)資源,受到英文研究的啟發(fā),中文的數(shù)據(jù)資源也得到了很好的發(fā)展,小語種的研究也在逐步建立起來。接下來詳細介紹主要的數(shù)據(jù)資源,歸納各數(shù)據(jù)資源的特點,并介紹分析立場檢測任務的評價指標。

    3.1 經(jīng)典數(shù)據(jù)資源

    3.1.1 SemEval 2016 task 6

    SemEval 2016 task 6[3首次提出了一個與推特短文本相關的檢測立場共享任務,其目標是給出一條推特、文本和一個目標(主要是實體,如個人、組織等),判定作者針對目標的立場(支持/反對/中立)。task 6包含2項任務:有監(jiān)督立場檢測任務A和無監(jiān)督立場檢測任務B,任務A得分最高的隊伍MTTRE[27F1值為67.82%,任務B得分最高的隊伍pkudblab[28的F1值為56.28%。

    3.1.2 NLPCC 2016 task 4

    NLPCC 2016 task 4[4旨在評估中文微博文本的立場檢測技術(shù),有監(jiān)督/半監(jiān)督任務A和無監(jiān)督任務B的輸出都是用戶的目標立場(支持/中立/反對)。SemEval 2016 task 6和NLPCC 2016 task 4適用于短文本和社交媒體領域的立場檢測任務,但其目標特定,通用性相對較低,因此可能使模型在未見目標上表現(xiàn)較差,難以泛化到其他目標。SemEval 2016 task 6中包含的任務目標關聯(lián)性比NLPCC 2016 task 4強,例如“女權(quán)運動”與“墮胎合法化”,因此SemEval 2016 task 6不僅可用于單目標立場檢測任務還可用于要求目標相關的跨目標場景中。

    3.1.3 IberEval-2017/IberEval-2018

    IberEval(evaluation of human language technologies for Iberian languages)[29在2017年提供了有關目標“加泰羅尼亞獨立”的4 319條西班牙語和4 319條加泰羅尼亞語推文數(shù)據(jù),全部作為測試數(shù)據(jù),IberEval-2017任務同樣要求輸出三個分類的立場(支持/中立/反對)。評測結(jié)果中西班牙語的最高得分是iTACOS.1隊伍,F(xiàn)1值為0.488 8;加泰羅尼亞語的最高得分是iTACOS.2隊伍,F(xiàn)1值為0.490 1。IberEval-2018的MultiStanceCat數(shù)據(jù)集在IberEval-2017的基礎上進一步進行了擴展延伸,將西班牙語的數(shù)據(jù)增加到5 545條,加泰羅尼亞語數(shù)據(jù)增加到5 853條,并增加了圖像信息、上下文信息和推文鏈接信息等,對立場檢測任務引入了多模態(tài)元素。IberEval-2017和IberEval-2018適用于在西班牙語和加泰羅尼亞語的政治場景,且IberEval-2018進一步提供了多模態(tài)信息,但僅關注了特定的地區(qū)語種和事件,難以泛化到其他語種及語境。

    3.1.4 FNC-I

    FNC-I(fake-news-challenge I)[30任務的目標和前面三種公開數(shù)據(jù)的目標不同,后者公開數(shù)據(jù)資源的文本都是推特文本,而FNC-I是分析基于整篇文章判定對文章標題(目標)的立場(支持/中立/反對),并首次將對文章的立場檢測任務當做虛假新聞檢測任務的子任務。與前述數(shù)據(jù)資源相比,Sem-Eval和NLPCC關注特定目標和話題,IberEval集中在小語種上,F(xiàn)NC-I雖然將目標由短文本轉(zhuǎn)向了長文本,覆蓋了更廣泛大量的新聞文本,可以進一步協(xié)助模型學到更多的知識,但依然集中在特定虛假新聞領域,泛化能力有待進一步提升。

    3.1.5 其他

    Sobhani等人[5提出了一個英文推特文本的多目標立場檢測的數(shù)據(jù)集;Simaki等人[31提供了基于“2016年英國脫歐事件公投”博客文章數(shù)據(jù)集;SemEval2019[32提供了一個英文有關各種事件的謠言檢測數(shù)據(jù)集;此外還有一些小語種的數(shù)據(jù)集,主要包括土耳其語[33、阿拉伯語34、意大利語35、俄語36等。

    3.2 最新數(shù)據(jù)資源

    3.2.1 COVID-19-Stance

    由于新冠肺炎在全球流行,引起了全世界人們的廣泛關注,社交媒體用戶常用推特分享他們對與新冠疫情大流行相關的各種問題的看法,COVID-19-Stance是由Glandt等人[37整理收集的有關新冠疫情的推特立場檢測數(shù)據(jù)資源用于單目標立場檢測任務。COVID-19-Stance數(shù)據(jù)集適用于新冠疫情話題,與早期經(jīng)典數(shù)據(jù)資源相比具有實時性,其評論中的流行語和網(wǎng)絡新詞新穎,更貼近當前時代表達方式。然而其數(shù)據(jù)規(guī)模仍相對較小且領域特定,盡管涵蓋了新冠疫情的不同方面,但話題廣度相對有限,可能無法覆蓋所有新冠疫情相關話題。

    3.2.2 WT-WT

    WT-WT(Will-They-Won’t-They)是由Conforti等人[382020年提出的金融領域的第一個英文謠言檢測數(shù)據(jù)資源,用于金融領域立場檢測任務。金融領域是一個復雜而動態(tài)的領域,與社交話題相比,涉及到更多復雜的信息,如實時的市場變化、公司動態(tài)等。WT-WT數(shù)據(jù)集為模型提供了在更復雜場景中培訓和測試的機會。數(shù)據(jù)集中包括醫(yī)療保健和娛樂領域的公司合并收購,可進一步實現(xiàn)金融領域內(nèi)的跨域方面的研究。WT-WT要求給出四分類的立場(支持-support,反對-refute,評論-comment,不相關-unrelated)。

    3.2.3 P-stance

    政治人物通常受到相當大的關注并參與大量政治事件,是研究立場檢測的一大目標。P-stance是由Li等人[82021年提出的一個政治領域的大型立場檢測數(shù)據(jù)集。P-Stance與WT-WT數(shù)據(jù)集相比,P-stance數(shù)據(jù)集的文本長度更長,句子中沒有淺層的、明顯的目標和立場詞匯線索,因而更具有挑戰(zhàn)性;其三個目標之間存在緊密的政治聯(lián)系因此可同時用于單目標和跨目標立場檢測任務;數(shù)據(jù)標注量大,對于深度學習模型的訓練和評估是一個優(yōu)勢。P-stance雖然是政治領域的數(shù)據(jù)集,但數(shù)據(jù)集中關注的是特定政治人物,而不涵蓋廣泛的政治話題。這使得模型在處理其他政治話題時可能會遇到較大的局限,需要更多的領域適應。

    3.2.4 VAST

    VAST(varied stance topics)是由Allaway等人[92020年提出的首個零/少樣本立場檢測數(shù)據(jù)集,在零/少樣本領域具有先導性,提供了全新的數(shù)據(jù)構(gòu)建思路。話題種類多、標注數(shù)據(jù)多的特點不僅為零/少樣本立場檢測任務提供了很好的數(shù)據(jù)基礎,還可以更真實的模擬真實世界的挑戰(zhàn),提升模型的泛化能力,全面地驗證模型在不同領域的優(yōu)勢和不足。

    3.2.5 C-STANCE

    與專注于英文的VAST數(shù)據(jù)集不同,C-STANCE[39是首個中文零樣本立場檢測數(shù)據(jù)集,其數(shù)據(jù)集共48 126條,可用于基于目標和基于域的零樣本檢測任務。且從數(shù)據(jù)規(guī)模來看,C-STANCE比VAST大2.5倍以上,可以更全面地補充真實世界的知識;但目前為止,零/少樣本的數(shù)據(jù)集只有中文和英文數(shù)據(jù)集,其他語種的數(shù)據(jù)集還有待開發(fā)。

    3.2.6 其他

    Giovanni等人[24收集整理了有關“意大利憲法公投”的120萬條意大利文推文數(shù)據(jù)集;Kaushal等人[40在WT-WT的基礎上,提出了新的tWT-WT數(shù)據(jù)集,規(guī)避了情緒-立場潛在虛假相關性的影響;Mascarell等人[41提出了有關德語新聞文章的CHeeSE數(shù)據(jù)集;Stab等人[42提供了標注的、包含8個主題,共25 492個論據(jù)句子的UKP數(shù)據(jù)集;Khouja[43提供了一個阿拉伯新聞立場(ANS)語料庫;Luo等人[20提出了一個有關“全球氣候變暖”的立場檢測數(shù)據(jù)集GWSD。Conforti等人[44收集整理了部分股市信息,驗證了將文本特征和來自股票市場價格的高頻日內(nèi)時間序列特征融合后在金融領域進行立場檢測的效果。Kaffee等人[45提出了適用于多任務、跨語言對齊和低資源場景的三種語言(英語、德語和土耳其語)立場數(shù)據(jù)集。Zhao等人[46提出了首個用于目標無關的立場檢測和對話摘要的中文數(shù)據(jù)集ORCHID(oral Chinese debater)。以上數(shù)據(jù)集提供了不同語言、領域和主題的數(shù)據(jù),有助于全面地理解立場檢測問題。然而,立場檢測領域仍然面臨缺乏涵蓋廣泛領域的大規(guī)模數(shù)據(jù)集的挑戰(zhàn),以及對跨語言和跨文化研究的數(shù)據(jù)需求。

    3.2.7 數(shù)據(jù)資源歸納

    對以上介紹的主要數(shù)據(jù)集在目標類型、目標數(shù)量、話題、數(shù)據(jù)規(guī)模和數(shù)據(jù)來源共五方面進行了詳細特點歸納,結(jié)果如表2所示。

    3.3 立場檢測評價指標

    評估立場檢測模型的性能通常使用精確率(precision,P),召回率(recall,R)和F1值,F(xiàn)1值是一種綜合考慮模型的精確率P和召回率R的評價指標,特別在處理不平衡類別的情況下,因此最常用的指標是F1值。計算公式如下:

    F1=2×P×R/(P+R)""" (1)

    在觀點調(diào)研和輿情分析領域中,往往只采用F1值就足以對當前的模型結(jié)果進行綜合評價,而在謠言檢測領域中,通常會同時觀察P值、R值和F1值的效果,原因是在謠言檢測任務中,既需要確保較高的準確性(降低誤報率,提高precision),又需要捕捉盡可能多的真實謠言(提高recall)。F1值的使用能夠在這兩者之間找到一個平衡點,確保模型在不同方面的性能都相對較好。

    4 立場檢測方法歸納總結(jié)

    立場檢測任務一直以來吸引了廣泛的關注,技術(shù)層面也得到了長足的發(fā)展,與自然語言處理中的其他任務類似,方法上也按照依賴于手動設計的特征的基于傳統(tǒng)機器學習方法;到面向短文本,關注文本序列表征學習的基于神經(jīng)網(wǎng)絡方法;到適用于長本文或多文本,基于文本間關系節(jié)點的圖神經(jīng)網(wǎng)絡方法;到面向零樣本/少樣本情境利用其他領域數(shù)據(jù)訓練的基于遷移學習方法,到基于大規(guī)模預訓練語言模型的方法的經(jīng)典發(fā)展脈絡而發(fā)展。接下來將詳細描述上述幾類方法,并進行歸納和對比。

    4.1 基于傳統(tǒng)機器學習的方法

    立場檢測屬于分類問題,因此傳統(tǒng)機器學習中的經(jīng)典算法,如支持向量機(SVM)、樸素貝葉斯、邏輯回歸、決策樹等都可用于立場檢測任務。這些方法主要面向單目標和多目標立場檢測,依賴于手工定義特征,常用的特征包括文本特征、情感特征和混合特征等。各類特征的含義如表3所示。

    文本特征:Xu等人[47抽取了推特文本中的不同語義特征,例如:para2vec、LDA、LSA等特征,然后使用不同的機器學習的方法的分類器:隨機森林(random-forest,RF)、基于線性核函數(shù)的支持向量機(support vector machine-linear,SVM-linear)等學習上述特征來獲得立場檢測分類的結(jié)果。Liu等人[48抽取了一元詞法、詞嵌入等特征,并利用梯度提升決策樹等分類器實現(xiàn)立場分類。

    情感特征:Ebrahimi等人[49將立場目標、立場標簽和文本情感之間相互作用用無向圖模型進行建模,提出了情感-目標-立場聯(lián)合模型,驗證了聯(lián)合情感信息有助于提升立場檢測結(jié)果的準確率。

    混合特征:奠雨潔等人[50發(fā)現(xiàn)混合特征有助于提升中文立場檢測效果,根據(jù)微博文本的特點,選取了四類不同的特征:詞袋特征、基于同義詞典的詞袋特征、考慮話題主題詞和立場標簽共現(xiàn)關系的特征以及從word2vec中提取的詞和字向量特征。分類器部分采用支持向量機,隨機森林和梯度提升決策樹進行立場分類。在NLPCC2016的中文微博立場檢測任務中,該方法獲得了最好的效果。

    其他特征:Anand等人[51使用樸素貝葉斯和基于規(guī)則的算法進行立場檢測,由于有效地引入了上下文特征,使得立場檢測效果大幅提升。Zhang等人[52除了使用了上述提到過的傳統(tǒng)語言學特征、情感詞匯特征及詞嵌入,還使用了話題相關性特征、主題特征、表情符特征,將上述特征進行組合后,立場檢測的效果得到提升。Castelo等人[53基于主題無關的特征,并提出了TAG(主題無關特征的分類器),在假新聞檢測任務上,實驗結(jié)果表明主題無關的特征可以有效辨別新聞真假。

    4.2 基于神經(jīng)網(wǎng)絡的方法

    隨著深度神經(jīng)網(wǎng)絡方法在自然語言處理領域取得成功,各類神經(jīng)網(wǎng)絡方法都在立場檢測任務上得到運用,大部分都面向單目標和多目標立場檢測。

    4.2.1 基于卷積神經(jīng)網(wǎng)絡的方法

    卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)在文本分類等任務取得了很好的效果,因此也得以在立場檢測中被廣泛使用。

    Taul等人[54在針對“加泰羅尼亞公投”推文的立場檢測中使用CNN對文本、上下文以及圖片三類信息進行了多模態(tài)建模,得到了更準確的立場檢測效果。Lozano等人[55提出了將CNN、自動規(guī)則挖掘和手動編寫規(guī)則相結(jié)合的集成立場分析方法。Ma等人[14提出基于神經(jīng)多任務學習模型,并將模型應用于謠言檢測任務和立場分類任務,通過統(tǒng)一架構(gòu)中的相互反饋來加強謠言檢測和立場分類。

    4.2.2 基于循環(huán)神經(jīng)網(wǎng)絡的方法

    由于CNN是基于滑動窗口提取局部特征,無法捕捉到全局的詞序信息和語法結(jié)構(gòu),所以催生了循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network,RNN),RNN采用循環(huán)的結(jié)構(gòu),使得信息能夠在網(wǎng)絡中進行傳遞和沿時間步展開,從而捕捉序列中的上下文和依賴關系,大量工作證實這些語法結(jié)構(gòu)信息對于立場檢測是至關重要的。

    Zarrella等人[27將語法和句法信息融合到RNN中,再學習輸入文本的向量表示,可以有效提升推特文本的立場檢測效果。Bhatt等人[56通過深度遞歸模型計算神經(jīng)嵌入、n-gram加權(quán)計算統(tǒng)計特征和特征工程啟發(fā)式算法手工構(gòu)造外部特征,再將上述的特征進行組合,在虛假新聞檢測任務上獲得了良好的效果。

    RNN存在梯度消失或爆炸的問題,從而催生了長短時記憶網(wǎng)絡(long short-term memory,LSTM)。LSTM是一種RNN的改進型結(jié)構(gòu),通過門控機制允許網(wǎng)絡有選擇性地保留、遺忘和更新信息,使其能夠更好地處理長距離依賴關系,并且減輕了梯度消失和爆炸問題。

    Augenstein等人[57提出了基于雙向LSTM(BiLSTM)編碼模型,模型中包含兩個LSTM,可以對上下文更好的編碼。Du等人[58在LSTM中引入了注意力(attention)機制,提出了基于目標主題增強的注意力模型。岳天馳等人[59在Du等人的基礎上提出了基于2階段注意力機制的模型,并應用于目標為“中國政府在新疆反恐行動”的立場檢測任務中。顏瑤[60使用條件編碼的方式分別對目標信息和文本信息進行編碼,使用單向LSTM對目標進行編碼,使用雙向LSTM模型對文本進行編碼,并在解碼階段以注意力的方式引入主題目標信息,實驗結(jié)果表明基于注意力機制和條件編碼的文本方法可以有效對立場進行分類判定。

    LSTM也常與CNN相結(jié)合用于立場檢測任務中。白靜等人[61將CNN和雙向LSTM網(wǎng)絡相結(jié)合,利用CNN獲得隱含語義表示和卷積特征,通過BiLSTM獲得隱含文本表示,隱含文本表示可用于卷積特征注意力的加權(quán)。張翠肖等人[62基于CNN獲取文本局部語義信息,利用雙向LSTM可以獲取句子的長距離依賴信息。

    4.2.3 基于深層記憶網(wǎng)絡的方法

    與傳統(tǒng)的神經(jīng)網(wǎng)絡相比,記憶神經(jīng)網(wǎng)絡能夠存儲、讀取和更新信息,從而更好地處理多次交互和多輪問答等任務。它在語言處理、推薦系統(tǒng)等領域有著廣泛的應用。文本的相關部分(段落或文字片段)可以表明文本對于事件的態(tài)度,因此確定長文本的立場需要模型具備長期記憶的能力。記憶網(wǎng)絡旨在記住過去的信息,由于可以在其記憶組件中使用各種推理策略,所以在立場檢測任務中得到了廣泛應用。

    Mohtarami等人[63提出了基于端到端的記憶網(wǎng)絡模型,該模型在記憶網(wǎng)絡中集成了CNN、循環(huán)神經(jīng)網(wǎng)絡,隨后引入相似矩陣,可以更準確地提取與文本相關的知識要素,有效提高了分類準確度,在fake-news-challenge I數(shù)據(jù)集中應用后取得了良好的效果。魏琪康[64基于Mohtarami等人的研究提出了基于深層記憶網(wǎng)絡的社交媒體文本立場分析方法,該方法同時引入了記憶機制、記憶力機制和主題目標的重要程度,在SemEval 2016 task 6和NLPCC 2016 task 4中都取得了良好的效果。

    4.2.4 其他神經(jīng)網(wǎng)絡方法

    Stefanov等人[65認為目前網(wǎng)絡媒體和熱門用戶的政治傾向和對有爭議的話題發(fā)表的看法中包含的立場對社會統(tǒng)計學家和政策制定者很重要,但手動標注數(shù)據(jù)集的代價昂貴。因此提出了一種預測媒體和熱門推特用戶立場傾向的級聯(lián)方法,該方法使用無監(jiān)督學習,利用Twitter用戶的轉(zhuǎn)發(fā)行為(如果用戶在他們的推文中包含指向某篇文章的鏈接,他們更有可能同意或認可該文章的信息。同樣,當用戶逐字轉(zhuǎn)發(fā)推文而不添加任何評論時,他們也是有更高的概率同意該推文)來確定Twitter用戶對于話題的立場;然后使用基于用戶標簽的監(jiān)督學習來表示網(wǎng)絡媒體和熱門推特用戶的總體政治傾向,以及他們對兩極分化話題的立場,該方法在包含八個美國兩極分化話題的數(shù)據(jù)集上準確率達到82.6%。何孝霆等人[66提出了一種Transformer和門控注意力結(jié)合的方法,首先利用WordPiece[67將原始文本拆分為詞片序列,隨后將詞片序列輸入Transfomer進行編碼,門控注意力主要用于識別與給定對象相關的重要單詞。此外,附加的情感預測輔助任務也協(xié)助提升了立場檢測的準確率。

    4.3 基于圖神經(jīng)網(wǎng)絡的方法

    由于自然語言文本本身含有結(jié)構(gòu)信息,基于圖模型的方法能有效建模圖結(jié)構(gòu)信息,所以在自然語言處理的多個任務上,基于圖模型的方法都得以成功運用?;趫D模型的方法通過將扁平文本轉(zhuǎn)換為圖結(jié)構(gòu),然后基于圖模型算法對圖中的節(jié)點和邊進行表示學習,與前述基于神經(jīng)網(wǎng)絡的方法相比,在長文本或多文本任務中,可以更好地建模文本之間的語義關系和知識結(jié)構(gòu),常用的圖模型主要是圖卷積網(wǎng)絡(graph convolutional network,GCN)在立場檢測中,GCN可以用于處理文本中的語義關系和依存關系,提高立場檢測的性能。

    楊順成等人[68提出了基于GCN和Bi-LSTM的微博立場檢測方法,該方法首先利用Bi-LSTM捕獲句子的特征,再基于句子的句法關系和詞語的依賴關系,根據(jù)依存句法樹建立圖結(jié)構(gòu),再運用GCN,最后將建立在話題上的注意力機制所得出的注意力分數(shù)通過softmax層得出立場分類結(jié)果。劉臣等人[69在構(gòu)建模型時,根據(jù)社交平臺的特點,采用門控神經(jīng)網(wǎng)絡將相關評論之間的網(wǎng)絡結(jié)構(gòu)捕獲,通過WordNet將評論中的關鍵詞語信息進行提取,作為實體構(gòu)建圖結(jié)構(gòu),然后利用關系圖卷積網(wǎng)絡(relational graph convolutional network)獲取推文的文本表征,將評論之間的網(wǎng)絡結(jié)構(gòu)及相應的表征向量輸入到門控神經(jīng)網(wǎng)絡中獲取立場信息,最后將特征向量輸入到softmax層進行立場分類。Zhang等人[70提出了一種用于跨域目標檢測的語義情感知識轉(zhuǎn)移模型,該模型利用外部知識作為源目標和目標目標之間的橋梁,利用來自外部的語義和情感詞典信息構(gòu)建語義-情感異質(zhì)圖,并使用GCN來學習語義圖表示,然后通過向LSTM單元添加額外的知識感知記憶單元來擴展標準雙向LSTM分類器以實現(xiàn)集成外部知識,具體過程如下:首先通過語義相關和與情感相關的詞典構(gòu)建SE-graph,其中GCN用于學習圖表示,該圖表示通過多跳連接捕獲單詞或情感標簽之間的語義連接。然后對BiLSTM分類器進行擴展,通過在LSTM單元中添加一種新穎的知識感知記憶單元(KAMU)來完全集成SE-graph。SEKT模型的優(yōu)點是能夠綜合語義情感知識和文本上下文,更準確地識別立場。注意力機制使模型對關鍵詞匯更敏感,提高了模型的解釋性。然而,模型依賴于外部知識庫的質(zhì)量和覆蓋面,可能在知識庫不足或者不準確時效果受限。適用于需要考慮文本情感的立場檢測任務。Liang等人[71發(fā)現(xiàn)未知目標的立場信息可以從目標感知的角度根據(jù)已知目標來表示,其主要思想是基于目標感知原型圖執(zhí)行面向邊的圖對比學習策略,以便在已知目標和未知目標之間共享圖形結(jié)構(gòu),從而實現(xiàn)對未知目標的立場進行判定。

    4.4 基于遷移學習的方法

    基于遷移學習的立場檢測方法是將已經(jīng)訓練好的模型和數(shù)據(jù)中的知識,遷移到新場景下的立場檢測任務中,從而減少對新場景的數(shù)據(jù)標注的依賴,主要面向跨目標立場檢測和零/少樣本立場檢測。一般來說,基于遷移學習的立場檢測方法可以分為基于跨域遷移學習的方法和基于預訓練模型的遷移學習的方法兩種類型。

    基于跨域遷移學習的方法利用在不同領域上訓練的模型,在新的領域的立場檢測任務中進行遷移。這種方法可以通過利用已有領域數(shù)據(jù)中的共同點和差異點,學習到與領域無關的知識,從而提高模型的領域泛化能力。常見的跨域遷移學習方法包括遷移學習、領域自適應等。

    岳重陽[72提出了基于跨領域遷移學習的新話題評論預測方法。Allaway等人[73提出了一種面向Twitter零樣本立場檢測模型,該模型使用對抗性學習來進行跨目標泛化。Liu等人[74認為立場檢測作為面向目標的任務,半監(jiān)督/少樣本立場檢測的核心思想是更好地利用來自標記和未標記數(shù)據(jù)中的目標相關信息,并提出了一個目標感知的半監(jiān)督學習框架:即提出了一個目標感知對比學習目標函數(shù)以學習更多不同目標的可區(qū)分表征;此外,為了充分利用未標記的數(shù)據(jù)并促進模型學習文本內(nèi)容中的目標相關立場特征,提出了一種簡單但有效的目標感知一致性正則化與自我訓練策略相結(jié)合的方法。

    4.5 基于預訓練語言模型的方法

    預訓練語言模型(pretrained language model)是指使用無標簽(或半監(jiān)督)數(shù)據(jù)進行預訓練的能夠捕捉豐富文本信息的神經(jīng)網(wǎng)絡模型。近年來,預訓練語言模型得到了快速發(fā)展,成為了自然語言處理領域的研究熱點。預訓練語言模型可以從大規(guī)模的無標注語料中學習到豐富且高層次的語言知識,能很好地運用于下游任務,并具有一定的泛化能力。常用于立場檢測的預訓練語言模型包括BERT[75、GPT[76等。

    基于預訓練模型的遷移學習利用已經(jīng)訓練好的模型,在新的立場檢測任務中進行微調(diào)。常用的預訓練模型包括ELMo[77、BERT[75等。通過在大規(guī)模的文本數(shù)據(jù)上進行預訓練,這些模型可以有效捕捉到文本中的上下文語義信息和結(jié)構(gòu)信息,從而在立場檢測任務中具有良好的表現(xiàn)。

    Hanawa等人[78引入了維基百科無標注數(shù)據(jù)集以便獲得話題的額外信息。Zarrella等人[27引入了通過標簽預測方式在兩個無標簽數(shù)據(jù)集中學到的特征知識。Wei等人[79針對跨目標立場檢測任務,通過學習源目標的相關知識提高模型的適應性。Xu等人[7提取與目標無關的信息對提出的新的自注意神經(jīng)模型進行擴展。

    基于預訓練模型的遷移學習方法通常適用于立場檢測任務中的相似領域。而基于跨域遷移學習的方法則適用于在不同領域之間進行遷移。這些方法都可以提高立場檢測的性能,同時還可以減少訓練時間和數(shù)據(jù)需求,節(jié)省資源成本。

    其他基于預訓練的方法還包括以下工作:Rao[80將ULMFiT(universal language model fine-tuning)[81和GPT運用于英文推文立場檢測任務中,通過對比實驗發(fā)現(xiàn),預訓練語言模型的方法可以顯著提升立場檢測的準確率,同時GPT在實驗中的效果優(yōu)于ULMFiT。王安君等人[82提出了基于BERT-condition-CNN的立場檢測模型,其中BERT預訓練模型主要用于得到文本句向量,condition層用于體現(xiàn)兩個文本序列的關系特征,最后CNN用于對condition層進行特征提取,最后對文本立場進行分類。Hosseinia等人[83提出了一種利用BERT表示與情緒或情緒信息進行立場檢測的模型,將情緒和情感信息與文本的BERT表示融合。實驗結(jié)果突出了情緒和情感在立場預測中的作用。Prakash等人[84提出了將基于計數(shù)的特征與預訓練模型(RoBERTa)結(jié)合的方法,實驗結(jié)果表明,通過將TF-IDF特征與RoBERTa組合來描述表達意見的詞語類型的特征,立場檢測的效果可以得到提升。Li等人[85以BERTweet為基礎,并進行微調(diào),首先在不同領域的每個數(shù)據(jù)集上訓練一個模型,用來評估多目標和多數(shù)據(jù)集訓練的效果,實驗表明模型可以學習到對目標的通用表達方式,并提出了自適應知識蒸餾方法,將知識從教師模型蒸餾到學生模型,也有助于提升立場檢測效果。Yang等人[86提出了Tribrid(triplet BERT-based inconsistency detection)方法,其主要思想是將自動生成的否定觀點“注入”到基于BERT的模型中,以過濾掉可疑的預測,從而提高整體準確性。耿源羚等人[87提出基于卷積注意力的情感增強微博立場檢測模型,該模型首先獲得文本與話題相關特征的卷積注意力權(quán)重,然后在情感增強模塊中增強挖掘文本的局部和整體情感特征,針對話題的情感表示向量由局部情感特征與卷積注意力權(quán)重交互得到,再將針對話題的情感表示向量與整體情感特征拼接得到最終的句向量,最后通過多層感知機和softmax得到立場分類。Hardalov等人[88提出了一種結(jié)合域自適應和標簽嵌入的方法,用于學習異構(gòu)目標標簽,在16個數(shù)據(jù)集上取得了顯著的性能提升。陳子瀟等人[89首先將說話者的立場表達劃分為兩種類型:a)說話者面向不同的主題和討論目標時表達相同的立場態(tài)度,稱為目標無關的表達;b)說話者面向特定主題和討論目標時才表達相應的立場態(tài)度,稱為目標依賴的表達。同時提出了表達類別判定方法:通過主題詞的保留和掩蓋,以提示學習來自動學習立場表達是否依賴目標;進而將目標無關的立場表達特征用于未知目標的立場檢測任務。Kaffee等人[45提出多任務設置將社交平臺的內(nèi)容審核政策標準與立場檢測信息結(jié)合輸入預訓練模型中,最終同時輸出內(nèi)容審核是否刪除和立場的結(jié)果;但該方法具有局限性,并非所有評論內(nèi)容都會涉及到政策,這會使得此類評論效果較差。Zhang等人[90基于PLM提出了基于雙知識蒸餾框架的跨語言跨目標立場檢測模型,首先在源語言數(shù)據(jù)上訓練跨語言教師和跨目標目標教師模型,然后將學習到的知識提煉到用未標記數(shù)據(jù)訓練的學生模型中??缯Z言教師是一種多語言預訓練語言模型,它使用跨語言模板和一致性約束進行提示調(diào)整,以僅使用源語言數(shù)據(jù)增強跨語言能力。為了彌補目標不一致的差距,跨目標教師模型采用目標表征學習和細化來挖掘類別信息,并通過面向類別的對比學習將其推廣到未見過的目標;該方法在知識蒸餾過程能夠使學生模型學習到更加豐富和細致的知識,從而提高模型的性能,同時利用未標記的數(shù)據(jù)訓練學生模型,并從教師模型中蒸餾知識,這樣能夠在一定程度上減少對昂貴和難以獲得的標注數(shù)據(jù)的依賴,但知識蒸餾過程可能不總是高效的,尤其是當教師模型與學生模型之間存在較大差異時,蒸餾過程的效率和效果可能會受到影響,且建立兩個教師模型需要昂貴的成本。Upadhyaya等人[91提出了多任務處理模型TWISTED,該模型首先提取隱藏在推文中的情緒價值性(valence)、情緒喚醒度(arousal)和情緒優(yōu)勢度(dominance),將提取情感注入嵌入文本中,然后通過使用推文中存在的毒性、道德和言語行為的共同特征來正確檢測推文的立場。Zhang等人[92針對跨語言立場檢測研究忽略了語言之間目標的出現(xiàn)次數(shù)和分布不一致,降低了低資源語言立場檢測的性能的問題,提出了一種細粒度的面向目標的關系對齊(TaRA)方法,即利用目標關系圖來學習語言和跨語言目標關聯(lián),使用關系對齊策略以實現(xiàn)跨語言語義相關目標之間的知識轉(zhuǎn)移。在探索目標關系計算中的參數(shù)K時三個參數(shù)應該同時使用網(wǎng)格迭代搜索,但模型中多次使用了圖結(jié)構(gòu)導致時間和空間資源受限,目前只能實現(xiàn)了使用兩個參數(shù)控制另一個參數(shù)。

    Clark等人[93對基于Transformer的預訓練模型進行與立場相關的知識探測,實驗結(jié)果顯示了這些模型對部分真實世界知識和上下文的敏感性,此外首次在這類模型中引入結(jié)構(gòu)化知識圖補充大型預訓練語言模型的語言能力和潛在知識。

    面向零/少樣本任務的預訓練模型方法:Allaway等人[9基于BERT和attention機制開發(fā)了topic-grouped attention (TGA)模型,該模型通過上下文聚類獲得的廣義主題表示來利用有關主題相似性的信息。He等人[94利用維基百科中關于目標的背景知識來增強立場檢測,提出了具有兩種變體的WS-BERT來編碼此類知識,一種用于處理正式文檔的WS-BERT-single,另一種用于處理非正式文檔的WS-BERT-dual。由于維基百科所涵蓋的主題列表十分全面且不斷增長,這可以有效確保了該方法能夠適應新出現(xiàn)的目標,極大地提升了模型的目標泛化能力。Liu等人[95認為立場檢測任務中以往的大多數(shù)方法局限于基于標注數(shù)據(jù)的監(jiān)督學習,因此提出了零樣本和少樣本場景。此外,用戶的立場有時用隱式方式表達,主題并不總是顯式出現(xiàn)在文檔中,這導致了主題和文檔之間難以建立聯(lián)系,于是提出一種融合外部知識的方法:首先從ConceptNet中提取關系知識圖譜,以促進文檔與主題之間的關系信息的傳遞和相應立場的推斷,從而進一步減少對標注數(shù)據(jù)的依賴,主題和文檔之間的聯(lián)系,在從外部知識圖構(gòu)造關系子圖的過程中進行加強。Luo等人[96認為之前的工作中所用的知識,如Allaway等人[9使用的人類基本原理;Liu等人[95使用的常識知識,具有一定的局限性,不足以建立未見主題和文檔之間的聯(lián)系。因此,Luo等人[96的模型采用了文檔和主題的相關概念,并使用預訓練的圖自動編碼器來獲取常識知識,這是首次嘗試將情感和常識知識整合到零/少樣本立場檢測模型中并分析它們,再一次獲得了更好的效果。Hanley等人[97提出的TATA模型結(jié)合了主題感知和主題無關的嵌入層來執(zhí)行零樣本和少樣本立場檢測。該模型由主題感知嵌入層、主題不可知嵌入層、兩個注意力層使用主題感知嵌入層的輸出和主題不可知嵌入層組成,最后是一個兩層前饋神經(jīng)網(wǎng)絡用于立場分類。Wen等人[98提出了一個基于生成的零/少樣本立場檢測框架,該框架從預定義的模板生成立場標簽。隨后聯(lián)合目標預測的輔助任務,采用立場標簽和輸入文本來生成目標,并對手動構(gòu)建的錯誤生成輸出進行無似然訓練。結(jié)合目標維基百科知識,模型在VAST上實現(xiàn)了最先進的性能。

    4.6 其他相關工作

    除上述歸納的外,還有一些工作同樣值得關注。對這些工作的歸納和介紹如下:

    a)數(shù)據(jù)增強的方法。立場檢測任務的關鍵挑戰(zhàn)之一是標注數(shù)據(jù)稀缺,一些學者從數(shù)據(jù)增強的角度來緩解此問題。Li等人[99將立場檢測的數(shù)據(jù)增強制定為條件掩碼語言建模任務,并通過根據(jù)包含目標標簽信息的上下文和輔助句子預測掩碼詞來對數(shù)據(jù)集進行了增強,此外還提出了另一種更為簡單有效的數(shù)據(jù)增強方法,即通過替換句子中的目標提及來生成目標感知句子。蘇致中等人[100提出一種基于層次注意力的數(shù)據(jù)混合增強方法。該方法首先針對粗粒度段句篩選決定立場判斷的關鍵信息,然后進行細粒度詞語變換,即進行詞級的隨機同義替換和低隨機性交換順序操作。Zhang等人[101針對零樣本和少樣本立場檢測任務在數(shù)據(jù)增強方面提出了基于共指解析的自監(jiān)督數(shù)據(jù)增強方法。該方法可以減少類內(nèi)和類間的方差,以實現(xiàn)有效性和魯棒性之間的平衡,同時針對文本提出了一種與目標相關片段提取框架,可以增強對目標相關片段的關注并減少其他片段的噪聲。實驗表明,所提出的方法在零樣本和少樣本立場檢測方面再一次取得了更好的性能。Liu等人[102嘗試探究了大模型在數(shù)據(jù)標注方面的天賦,實驗結(jié)果顯示雖然大型語言模型作為人類注釋器的替代品顯示出強大的潛力,但它們對特定任務指令的敏感和內(nèi)在偏見給機器注釋也帶來了挑戰(zhàn),為了迎接上述挑戰(zhàn),引入了多標簽、多目標采樣策略,最終成功地提升了數(shù)據(jù)標注的準確性,但目前仍需面臨人類立場上的偏見和跨語言的挑戰(zhàn)。

    b)融合額外知識的方法。判定說話者的立場需要考慮多方面的因素,充分利用各類知識有助于提升立場判定的準確率,早期的政治辯論文本只融合了文本特征,隨著社交平臺的發(fā)展,學者們也開始利用社交的特征協(xié)助判斷用戶立場。方冰等人[103認為社交媒體中用戶的立場會同時受到外界環(huán)境和用戶先驗立場的影響,因此在判定社交媒體用戶的立場時,先對社區(qū)進行了劃分,提取用戶的社交網(wǎng)絡拓撲結(jié)構(gòu),作為外界環(huán)境影響因素;再從文本中分析用戶的先驗立場,最后融合兩方面的知識進行立場判定。李子儀等人26也注意到用戶及其喜好信息能夠獲得許多潛在信息特征,因此提出了基于用戶關聯(lián)的立場檢測模型,通過利用圖網(wǎng)絡構(gòu)建用戶關聯(lián)結(jié)構(gòu),利用卷積操作挖掘同一用戶針對話題目標發(fā)表的相關文本立場信息,從全局的角度構(gòu)建立場檢測模型。Li等人[104提出了知識增強立場檢測框架 (KASD),在社交媒體立場檢測任務中引入了情景知識和話語知識,并利用ChatGPT對上述兩種知識進行提取和標注,實驗結(jié)果表明在KASD微調(diào)模型和大型語言模型上,性能都有顯著提高。

    c)驗證類的方法。一些學者圍繞立場檢測任務進行了一系列的探針實驗。Jayaram等人[67基于帖子之間的響應關系提出了一個新的研究問題:立場極性和強度預測,它預測在線帖子對另一帖子的立場極性和強度值。該問題包含了立場檢測,并增加了檢測文本中強度細微差異的額外難度。實驗結(jié)果表明檢測立場強度的額外困難不以犧牲檢測立場極性為代價的,同時該工作也是首次同時預測在線帖子的立場極性和強度。Kobbe等人[67提出了一種基于后果論點的立場檢測方法,基于以下假設:當文本對目標的立場是支持態(tài)度時,文本會突出目標帶來的理想后果,或強調(diào)目標沒有實現(xiàn)的負面后果。該方法利用語法依賴和詞典來識別效果詞及其影響,最終其實驗結(jié)果與基于BERT的模型相當,且該方法更具健壯性。Joseph等人105主要為了解人類對社交媒體數(shù)據(jù)中表達的立場的注釋在多大程度上與注釋者和民意調(diào)查一致,最后得出以下結(jié)論:導致文本和說話者立場脫節(jié)的三個因素為時間上的不一致、結(jié)構(gòu)上的差異以及調(diào)查受訪者和注釋者的測量誤差。Jayaram等人67希望確保模型以符合人類推理的方式得出預測,故在小部分訓練數(shù)據(jù)基礎上使用眾包標注,將類似人類的合理化賦予立場檢測模型,在模擬數(shù)據(jù)稀缺的情況下,歸因先驗使用這些標注改進了模型基本原理,使得模型具有與人類一致的推理方式。Cignarella等人[106驗證了依賴關系是否對立場檢測有幫助?實驗建立在六種不同的語言上,證明了形態(tài)句法線索與經(jīng)典機器學習算法中的特征結(jié)合得很好,但在多語言立場檢測的案例研究中,它們對基于mBERT[75的模型沒有提升效果,因此得出結(jié)論:立場更多依賴于語義而不是句法模式或結(jié)構(gòu)。Yuan等人[107發(fā)現(xiàn)立場檢測任務中的數(shù)據(jù)集偏差允許模型在不使用目標相關信息的情況下實現(xiàn)卓越的立場檢測結(jié)果,并提出將立場推理過程作為任務知識來幫助學習真正的特征并減少對偏差特征的依賴。Soler等人[108認為人們在表達立場時,使用單詞的方式受到他們自己意見的影響。于是研究這種現(xiàn)象是否反映在語境化的詞嵌入中,如“贊成廢除動物園的人和不贊成廢除動物園的人對‘動物’的表述是否不同?”實驗表明BERT詞表征對句子中表達的觀點很敏感,在一致立場和沖突立場之間發(fā)現(xiàn)了很小的相似性差異,但這種差異很重要;差異最大的詞往往是主題的中心,他們提出的方法可以用來識別關于目標的差異點。Liu等人[109通過顯示表征和隱式對象的關系和標簽,首次嘗試擴展語言框架“立場三角形”以提高立場檢測效果。實驗表明使用框架來豐富單域語料庫的注釋,有效的提高了域外和跨目標泛化性能。但該模型仍會受到跨語言和人類立場偏見的影響。

    4.7 小結(jié)

    本文從代表性工作、任務目標、利用的特征/信息、方法和數(shù)據(jù)集這些角度對各類方法的歸納總結(jié)并按照任務目標類型進行排序,如表4所示。對比表4中的工作,可以歸納出以下結(jié)論。

    基于傳統(tǒng)機器學習的立場檢測方法需要結(jié)合許多手工構(gòu)造的特征,這往往需要消耗大量的人力和物力,但通過學習手工構(gòu)造的特征,傳統(tǒng)機器學習算法的模型在立場檢測任務中取得了較好的效果,并且特征的選擇與提取對最終結(jié)果至關重要。此外機器學習算法方法也存在著特征稀疏、維度災難等問題。

    基于神經(jīng)網(wǎng)絡的立場檢測方法通過自動抽取最優(yōu)的特征表示,可以很好地彌補傳統(tǒng)機器學習方法的缺陷。自動特征提取不僅可以發(fā)現(xiàn)更多的潛在的特征表示,還可以有效地降低手工提取特征的工作量,并且抽取出的連續(xù)向量可以解決特征稀疏的問題。但基于神經(jīng)網(wǎng)絡的方法也面臨著模型大,訓練時間長,對標注數(shù)據(jù)依賴大等問題,基于神經(jīng)網(wǎng)絡的模型類似黑盒,這類模型的可解釋性也有待探究。

    基于圖神經(jīng)網(wǎng)絡的方法主要是通過圖中節(jié)點之間的關系來進行信息推理和預測。與基于神經(jīng)網(wǎng)絡方法相比,圖神經(jīng)網(wǎng)絡的可解釋性更強,更適用于捕捉文本之間的復雜關聯(lián),通過觀察圖中各個節(jié)點之間的聯(lián)系,可以更好地理解模型的預測結(jié)果,特別是在長文本或多文本任務中。然而,基于圖神經(jīng)網(wǎng)絡的方法也存在一些問題,如:模型復雜度更高,由于需要對圖中節(jié)點之間的連接關系進行建模,需要更多的計算資源和時間。

    基于遷移學習的方法通過在源域上訓練模型,并在目標域上進行微調(diào)來提高目標任務的預測效果。遷移學習方法可用于小樣本問題。另外,通過利用源域數(shù)據(jù)訓練的模型來初始化目標域的模型,能夠有效提高學習效率,節(jié)省訓練時間和計算資源。然而,基于遷移學習的方法也存在一些問題,如:模型依賴于源域數(shù)據(jù)的質(zhì)量;如何選擇合適的源域數(shù)據(jù)和模型參數(shù)來進行遷移學習是一個關鍵問題,這需要專家知識;另外,遷移效果不穩(wěn)定,在不同的領域、任務和數(shù)據(jù)集上,遷移學習的效果會受到諸多因素的影響,導致遷移泛化性能不穩(wěn)定。

    基于預訓練語言模型的方法主要是將具有很強語言理解能力的大規(guī)模預訓練語言模型在立場檢測任務上進行微調(diào)。這類方法的主要優(yōu)勢:大規(guī)模語言模型本身已學習到豐富的語言知識,且具有很好的泛化能力,立場檢測任務本質(zhì)上是分類問題,大規(guī)模語言模型能夠輕易地遷移到立場檢測任務。這類方法的問題主要是:模型的最終效果很大程度上取決于預訓練語言模型本身,一方面使用預訓練語言模型對硬件有所要求,另一方面通用的預訓練語言模型并不一定能很好地適應特定的立場檢測場景。

    第4.3~4.6節(jié)中許多方法都使用了模型融合與集成學習的思想例如:劉臣等人[69提出的方法結(jié)合了兩種不同類型的神經(jīng)網(wǎng)絡,門控神經(jīng)網(wǎng)絡和關系圖卷積網(wǎng)絡;Zhang等人[70的方法中使用了外部知識構(gòu)建語義-情感異質(zhì)圖,并結(jié)合了無監(jiān)督學習的方式來學習語義圖表示,早期僅僅將神經(jīng)網(wǎng)絡模型進行融合然后與無監(jiān)督學習方式融合;逐漸地,王安君等人82、Prakash等人[84、Hardalov等人[88開始將早期的機器學習、神經(jīng)網(wǎng)絡等模型與預訓練模型進行了融合;直到近期的Hanawa等人[78、Zarrella等人[27、Liu等人[95與其他學者的方法開始將無監(jiān)督學習與基于預訓練的語言模型融合,通過分析這些工作,筆者發(fā)現(xiàn):無監(jiān)督學習方法與預訓練語言模型方法結(jié)合使用節(jié)省了人力標注成本和計算資源。

    5 結(jié)束語

    在自然語言處理領域,涵蓋了許多任務,例如機器閱讀理解[110、情感分析111、實體關系抽取112。這些任務涉及處理和理解文本信息的各個方面,從詞法分析到語義理解,以及文本生成等。在這個廣泛的領域中,立場檢測任務已經(jīng)成為一個備受關注的焦點。為了進一步推動領域的發(fā)展,筆者對立場檢測進行了全面的梳理和總結(jié),對現(xiàn)有的工作進行了深入分析和歸納,圍繞立場檢測的任務、數(shù)據(jù)資源和相關方法三個方面進行了重點闡述。

    雖然立場檢測已取得了顯著的研究進展,但仍存在一些亟需進一步研究的問題。通過跟進該領域的最新進展,評估現(xiàn)有模型和方法的優(yōu)點與不足,并結(jié)合相關研究,筆者提出了下一步的四個研究熱點,希望這些研究點能夠為其他研究者提供啟發(fā),并推動文本立場檢測領域的研究進展和在實際場景中的應用。

    1)零/少樣本立場檢測

    在立場檢測任務方面,已有大量單目標、多目標和跨目標立場檢測相關的研究成果,零/少樣本任務剛剛出現(xiàn),仍有探索空間。與單、多和跨目標立場檢測任務相比,零/少樣本立場檢測任務的難度更大,建模更為復雜。在模型方面可以嘗試探究如何簡化模型或提出全新更為有效的模型,如探索讓模型既學習與主題無關的立場判定規(guī)律,也利用與目標主題類似的主題的立場判定依據(jù)。另外,零/少樣本模型面對實際應用情境時的效果也需要進一步驗證。VAST是目前唯一與零/少樣本立場檢測任務相關的英文數(shù)據(jù)集,其語料來自“紐約空間”的辯論板塊,屬于正式規(guī)范文本,微博、推特等社交平臺的文本具有長度較短、不完整等特性,因此零/少樣本立場檢測的模型在推特、微博等短文本上中進行立場檢測的效果也有待探究。C-STANCE中文零樣本立場檢測數(shù)據(jù)集的出現(xiàn),雖然暫時驗證部分零樣本立場檢測的模型在微博短文本中立場檢測的效果,但模型的效果仍有提升空間,且大部分語種的語料仍缺失,可以考慮利用上述數(shù)據(jù)集進行跨語言零/少樣本立場檢測研究。

    2)跨語言立場檢測

    盡管跨語種自然語言處理已經(jīng)取得了很大的進展,但現(xiàn)有立場檢測的工作大多基于單一語種內(nèi)容,如英語辯論、英文推特和中文微博文本,而實際應用中,存在很多引發(fā)全球討論的主題,如何針對同一個主題,對不同語種的內(nèi)容進行立場判定仍然有待探索。未來的研究方向可以集中于開發(fā)更有效的跨語言模型,并考慮如何將它們應用于實際應用中。此外,如何將多語言信息整合和處理,或?qū)⒏哔Y源語言中的知識遷移至低資源語言中,以提高跨語言模型的性能,也是未來研究可以探究的點。

    3)目標-立場提取

    現(xiàn)有的工作在立場檢測任務上已經(jīng)取得了較成熟的成果,這些任務都是在假設目標提前已知的情況下工作,來自社交媒體平臺的文本,由于社交平臺文本中往往會采用隱式提及的方式,目標信息通常是未知的,并且大規(guī)模手動目標注釋終究是有限的。目前Li等人[113提出了一種新的任務:目標-立場(TSE)提取,但該方法目前仍受限較大,即映射模塊需要預定義的目標列表和映射過程后如何快速評估。筆者認為該方面的可進一步探索。

    4)面向立場檢測的預訓練模型

    在立場檢測的相關方法方面,具有良好泛化能力的預訓練模型的出現(xiàn)有效解決了模型中需要大量標注數(shù)據(jù)的問題。而現(xiàn)有的預訓練模型是面向所有NLP任務的,對立場檢測的作用有限,啟發(fā)于訓練任務專有的預訓練模型的相關工作,筆者認為:針對立場檢測任務,如何設計預訓練任務并收集大規(guī)模的預訓練數(shù)據(jù)訓練專有的預訓練模型,也是值得探索的點。

    5)有限范圍、統(tǒng)一的大模型

    隨著大一統(tǒng)的大模型的問世,如ChatGPT,整個NLP領域都發(fā)生了翻天覆地的變化,很多任務都將圍繞大模型來開展研究??紤]到:立場檢測任務與情感分析、謠言檢測等任務密不可分,將不同任務緊密結(jié)合具有任務相互促進的作用。本文認為:在資源有限的情況下,以立場檢測、情感分析、謠言檢測等為一個垂直領域,建立面向該領域的、小范圍的、統(tǒng)一的大模型值得探究。

    參考文獻:

    [1]李洋, 孫宇晴, 景維鵬. 文本立場檢測綜述 [J]. 計算機研究與發(fā)展, 2021, 58(11): 2538-2557. (Li Yang, Sun Yuqing, Jing Weipeng. A review of text standpoint detection [J]. Journal of Computer Research and Development, 2021, 58(11): 2538-2557.)

    [2]Thomas M, Pang Bo, Lee L. Get out the vote: determining support or opposition from congressional floor-debate transcripts [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2006: 327-335.

    [3]Mohammad S, Kiritchenko S, Sobhani P, et al. SemEval-2016 task 6: detecting stance in Tweets [C]// Proc of SemEval. Stroudsburg, PA: ACL Press, 2016: 31-41.

    [4]Xu Ruifeng, Zhou Yu, Wu Dongyi, et al. Overview of NLPCC shared task 4: stance detection in Chinese microblogs [C]// Proc of ICCPOL. Berlin: Springer, 2016: 907-916.

    [5]Sobhani P, Inkpen D, Zhu Xiaodan. A dataset for multitarget stance detection [C]// Proc of the 15th Conference of EACL. Stroudsburg, PA: ACL Press, 2017: 551-557.

    [6]Li Yingjie, Caragea C. A multi-task learning framework for multi-target stance detection [C]// Proc of JCNLP. Stroudsburg, PA: ACL Press, 2021: 2320-2326.

    [7]Xu Chang, Paris C, Nepal S, et al. Cross target stance classification with self-attention networks [C]// Proc of the 56th ACL. Stroudsburg, PA: ACL Press, 2018: 778-783.

    [8]Li Yingjie, Sosea T, Sawant A, et al. P-Stance: a large dataset for stance detection in political domain [C]// Proc of ACL-IJCNLP. Stroudsburg, PA: ACL Press, 2021: 2355-2365.

    [9]Allaway E, Mckeown K. Zero-Shot stance detection: a dataset and model using generalized topic representations [C]// Proc of Confe-rence on EMNLP. Stroudsburg, PA: ACL Press, 2020: 8913-8931.

    [10]Wang Zhaoxu, Dong Weixiang, Zhang Wenyi, et al. Rumor source detection with multiple observations [C]//Proc of International Conference on Measurement and Modeling of Computer Systems. New York: ACM Press, 2014:1-13.

    [11]Li Quanzhi, Zhang Qiong, Si Luo. Rumor detection by exploiting user credibility information, attention and multi-task learning [C]// Proc of the 57th Annual Meeting of the ACL Press. Stroudsburg, PA: ACL Press, 2019: 1173-1179.

    [12]Baly R, Mohtarami M, Glass J, et al. Integrating stance detection and fact checking in a unified corpus [C]// Proc of NAACL-HLT. Stroudsburg, PA: ACL Press, 2020: 21-27.

    [13]Yu Jianfei, Jiang Jing, Khoo L M S, et al. Coupled hierarchical transformer for stance-aware rumor verification in social media conversations [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2020: 1392-1401.

    [14]Ma Jing, Gao Wei, Wong K F. Detect rumor and stance jointly by neural multi-task learning [C]// Proc of Web Conference. New York: ACM Press, 2018: 585-593.

    [15]Fuchs M, Yu Peiduo. Rumor source detection for rumor spreading on random increasing trees [J]. Electronic Communications in Pro-bability, 2015, 20: 1-112.

    [16]Conroy K N, Rubin L V, Chen Yimin. Automatic deception detection: methods for finding fake news [C]// Proc of the Association for Information Science and Technology. Hoboken: Wiley, 2015, 52 (1): 1-4.

    [17]李然, 林政, 林海倫, 等. 文本情緒分析綜述 [J]. 計算機研究與發(fā)展, 2018, 55(1): 30-52. (Li Ran, Lin Zheng, Lin Hailun, et al. A review of text sentiment analysis [J]. Computer Research and Development, 2018, 55(1): 30-52.)

    [18]Amiri H, Daume H Ⅲ. Short text representation for detecting churn in microblogs [C]// Proc of Association for Advancement of Artificial Intelligence. Palo Alto, CA: AAAI Press, 2016: 2566-2572.

    [19]高茹月. 社交媒體用戶畫像構(gòu)建方法研究與系統(tǒng)實現(xiàn) [D]. 武漢: 中南財經(jīng)政法大學, 2022. (Gao Ruyue. Research and system implementation of social media user profile construction method [D]. Wuhan: Zhongnan University of Economics and Law, 2022.)

    [20]Luo Yiwei, Card D, Jurafsky D. Detecting stance in media on global warming [C]// Proc of EMNLP. Stroudsburg, PA: ACL Press, 2020: 3296-3315.

    [21]劉高勇, 黃靖釗, 艾丹祥. 融合立場檢測和主題挖掘的突發(fā)公共事件網(wǎng)絡輿情演化研究 [J]. 廣東工業(yè)大學學報, 2022, 39(3): 32-40, 48. (Liu Gaoyong, Huang Jingzhao, Ai Danxiang. Research on the evolution of network public opinion in sudden public incidents by integrating stance detection and topic mining [J]. Journal of Guangdong University of Technology, 2022, 39(3): 32-40, 48.)

    [22]Lai M, Cignarella A T, Hernández Farías D I, et al. Multilingual stance detection in social media political debates [J]. Computer Speech amp; Language, 2020, 63: 101075.

    [23]Xi Nan, Ma Di, Liou M, et al. Understanding the political ideology of legislators from social media images [C]// Proc of Association for the Advancement of Artificial Intelligence. Palo Alto, CA: AAAI Press, 2020: 726-737.

    [24]Giovanni M D, Brambilla M. Content-based stance classification of Tweets about the 2020 Italian constitutional referendum [C]// Proc of the 9th International Workshop on Natural Language Processing for Social Media. Stroudsburg, PA: ACL Press, 2021: 14-23.

    [25]朱玉. 面向熱點話題評論的立場傾向性及其演化分析方法研究 [D]. 石家莊: 河北科技大學, 2020. (Zhu Yu. Research on stance orientation and evolutionary analysis methods for hotspot topic comments [D]. Shijiazhuang: Hebei University of Science and Technology, 2020.)

    [26]李子儀, 周夏冰, 王中卿, 等. 基于用戶關聯(lián)的立場檢測 [J]. 計算機科學, 2022, 49(5): 221-226. (Li Ziyi, Zhou Xiabing, Wang Zhongqing, et al. Standpoint detection based on user association [J]. Computer Science, 2022, 49(5): 221-226.)

    [27]Zarrella G, Marsh A. MITRE at SemEval-2016 task 6: transfer lear-ning for stance detection [C]// Proc of SemEval2016. Stroudsburg, PA: ACL Press, 2016: 458-463.

    [28]Wei Wan, Zhang Xiao, Liu Xuqin, et al. Pkudblab at SemEval-2016 task 6: a specific convolutional neural network system for effective stance detection [C]// Proc of SemEval. Stroudsburg, PA: ACL Press, 2016: 384-388.

    [29]Taule M, Marti M A, Rangel F, et al. Overview of the task on stance and gender detection in tweets on Catalan independence at IberEval 2017 [C]// Proc of the 2nd Workshop on Representation Learning for NLP. Stroudsburg, PA: ACL Press, 2017: 17-26.

    [30]Dean P, Delip R. Fake news challenge stage 1 (FNC-I): stance detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2020: 2371-2391.

    [31]Simaki V, Carita P, Maria S, et al. Annotating speaker stance in discourse: the Brexit blog corpus [J]. Corpus Linguistics amp; Linguistic Theory, 2017, 16(2): 215-248.

    [32]Gorrell G, Kochkina E, Liakata M, et al. SemEval-2019 task 7: RumourEval, determining rumour veracity and support for rumours [C]// Proc of the 13th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2019: 845-854.

    [33]Kicuk D. Stance detection in Turkish tweets [C]// Proc of Workshops Proceedings and Tutorials of the 28th ACM Conference on Hypertext and Social Media.New York:ACM Press, 2017.

    [34]Darwish K, Magdy W, Zanouda T. Improved stance prediction in a user similarity feature space [C]// Proc of IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. New York: ACM Press, 2017: 145-148.

    [35]Lai M, Patti V, Ruffo G, et al. Stance evolution and Twitter interactions in an Italian political debate [C]// Proc of the 23rd International Conference on Natural Language and Information Systems. Berlin: Springer, 2018: 15-27.

    [36]Lozhnikov N, Derczynski L, Mazzara M. Stance prediction for Russian: data and analysis [C]// Proc of the 6th International Conference in Software Engineering for Defence Applications. 2018: 176-186.

    [37]Glandt K, Khanal S, Li Yingjie, et al. Stance detection in COVID-19 tweets [C]// Proc of the 59th ACL and the 11th International Joint Conference on Natural Language Processing. Stroudsburg, PA: ACL Press, 2021: 1596-1611.

    [38]Conforti C, Berndt J, Pilehvar M T, et al. Will-They-Won’t-They: a very large dataset for stance detection on Twitter [C]// Proc of the 58th ACL. Stroudsburg, PA: ACL Press, 2020: 1715-1724.

    [39]Zhao Chenye, Li Yingjie, Caragea C. C-STANCE: a large dataset for Chinese Zero-Shot stance detection [C]// Proc of the 61st Annual Meeting of ACL. Stroudsburg, PA: ACL Press, 2020, 2023: 13369-13385.

    [40]Kaushal A, Saha A, Ganguly N. tWT-WT: a dataset to assert the role of target entities for detecting stance of Tweets [C]// Proc of the 2021 Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2021: 3879-3889.

    [41]Mascarell L, Ruzsics T, Schneebeli C, et al. Stance detection in German news articles [C]// Proc of the 4th Workshop on Fact Extraction and Verification. 2021: 66-77.

    [42]Reuver M, Verberne S, Morante R, et al. Is stance detection topic-independent and cross-topic generalizable?-A reproduction study [C]// Proc of the 8th Workshop on Argument Mining. 2021: 46-56.

    [43]Khouja J. Stance Prediction and claim verification: an Arabic perspective [C]//Proc of the 3rd Workshop on Fact Extraction and Verification. 2020: 8-17.

    [44]Conforti C, Berndt J, Pilehvar M T, et al. Incorporating stock market signals for Twitter stance detection [C]// Proc of the 60th Annual Meeting of ACL. Stroudsburg, PA: ACL Press, 2022: 4074-4091.

    [45]Kaffee L, Arora A, Augenstein I. 2023. Why should this article be deleted?Transparent stance detection in multilingual Wikipedia editor discussions [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 5891-5909.

    [46]Zhao Xiutian, Wang Ke, Peng Wei. ORCHID: a Chinese debate corpus for target-independent stance detection and argumentative dialogue summarization [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 9358-9375.

    [47]Xu Jiaming, Zheng Suncong, Shi Jing. Ensemble of feature sets and classification methods for stance detection [C]// Proc of Natural Language Understanding and International Intelligent Applications. Berlin: Springer, 2016: 679-688.

    [48]Liu Can, Li Wen, Kubler S. IUCL at SemEval 2016 task 6: an ensemble model for stance detection in Twitter [C]// Proc of the 10th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2016: 394-400.

    [49]Ebrahimi J, Dou Dejing, Lowd D. A joint sentiment-target stance model for stance classification in tweets [C]// Proc of COLING. Stroudsburg, PA: ACL Press, 2016: 2656-2665.

    [50]奠雨潔, 金琴, 吳慧敏. 基于多文本特征融合的中文微博的立場檢測 [J]. 計算機工程與應用, 2017, 53(21): 77-84. (Dian Yujie, Jin Qin, Wu Huimin. Chinese microblog stance detection based on multi-text feature fusion [J]. Computer Engineering and Application, 2017, 53(21): 77-84.)

    [51]Anand P, Walker M, Abbott R, et al. Cats rule and dogs drool?。?Classifying stance in online debate [C]// Proc of the 2nd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis. Stroudsburg, PA: ACL Press, 2011: 1-9.

    [52]Zhang Zhihua, Lan Man. Relevant or not?Supportive or not?A two step learning system for automatic detecting stance in tweets [C]// Proc of the 10th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2016: 451-457.

    [53]Castelo S, Almeida T, Elghafari A. A topic agnostic approach for identifying fake news pages [C]// Proc of World Wide Web Confe-rence. New York: ACM Press, 2019: 975-980.

    [54]Taule M, Pardo F M R, Marti M A, et al. Overview of the task on multimodal stance detection in tweets on Catalan #1Oct referendum [C]// Proc of the 23rd International Conference on Natural Language and Information Systems. 2018: 31-44.

    [55]Lozano M G, Lilja H, Tjornhammar E. Mama Edha at SemEval-2017 task 8: stance classification with CNN and rules [C]// Proc of the 11th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2017: 481-485.

    [56]Bhatt G, Sharma A, Sharma S. Combining neural, statistical and external features for fake news stance identification [C]// Proc of Web Conference. New York: ACM Press, 2018: 1353-1357.

    [57]Augenstein I, Rocktaschel T, Vlachos A, et al. Stance detection with bidirectional conditional encoding [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2016: 876-885.

    [58]Du Jiachen, Xu Ruifeng, He Yulan, et al. Stance classification with target-specific neural attention networks [C]// Proc of the 26th IJCAI. 2017: 3988-3994.

    [59]岳天馳, 張邵武, 楊亮, 等. 基于兩階段注意力機制的立場檢測方法 [J]. 廣西師范大學學報:自然科學版, 2019, 37(1): 46-53. (Yue Tianchi, Zhang Shaowu, Yang Liang, et al. A standpoint detection method based on a two-stage attention mechanism [J]. Journal of Guangxi Normal University: Natural Science Edition, 2019, 37(1): 46-53.)

    [60]顏瑤. 結(jié)合主題目標信息的社交媒體文本立場分析 [D]. 哈爾濱: 哈爾濱工業(yè)大學, 2018. (Yan Yao. Social media text stance analysis based on thematic target information [D]. Harbin: Harbin Institute of Technology, 2018.)

    [61]白靜, 李霏, 姬東鴻. 基于注意力的BiLSTM-CNN中文微博立場檢測模型 [J]. 計算機應用與軟件, 2018, 35(3): 266-274. (Bai Jing, Li Fei, Ji Donghong. Attention-based BiLSTM-CNN Chinese microblog stance detection model[J]. Computer Application and Software, 2018, 35(3): 266-274.)

    [62]張翠肖, 郝杰輝, 劉星宇, 等. 基于CNN-BiLSTM的中文微博立場分析研究 [J]. 計算機技術(shù)與發(fā)展, 2020, 30(7): 154-159. (Zhang Cuixiao, Hao Jiehui, Liu Xingyu, et al. Research on the stance analysis of Chinese microblog based on CNN-BiLSTM [J]. Computer Technology and Development, 2020, 30(7): 154-159.)

    [63]Mohtarami M, Baly R, Glass J. Automatic stance detection using end to end memory networks [C]// Proc of Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2018: 767-776.

    [64]魏琪康. 基于深度學習的社交媒體文本立場分析研究 [D]. 哈爾濱: 哈爾濱工業(yè)大學, 2017. (Wei Qikang. Research on social media text stance analysis based on deep learning [D]. Harbin: Harbin Institute of Technology, 2017.)

    [65]Stefanov P, Darwish K, Atanasov A, et al. Predicting the topical stance and political leaning of media using Tweets [C]// Proc of the 58th ACL. Stroudsburg, PA: ACL Press, 2020: 527-537.

    [66]何孝霆, 董航, 杜義華. Transformer及門控注意力模型在特定對象立場檢測中的應用 [J]. 計算機系統(tǒng)應用, 2020, 29(11): 232-236. (He Xiaoting, Dong Hang, Du Yihua. Application of Transformer and gated attention model in specific object standpoint detection [J]. Computer System Application, 2020, 29(11): 232-236.)

    [67]Jayaram S, Allaway E. Human rationales as attribution priors for explainable stance detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 5540-5554.

    [68]楊順成, 李彥, 趙其峰. 基于GCN和Bi-LSTM的微博立場檢測方法 [J]. 重慶理工大學學報:自然科學, 2020, 34(6): 167-173. (Yang Shuncheng, Li Yan, Zhao Qifeng. Microblog stance detection method based on GCN and Bi-LSTM [J]. Journal of Chongqing University of Technology:Natural Science, 2020, 34(6): 167-173.)

    [69]劉臣, 周珂馨, 周立欣, 等. 引入外部知識的社交平臺立場檢測模型 [J]. 軟件導刊, 2022, 21(8): 20-26. (Liu Chen, Zhou Kexin, Zhou Lixi, et al. A social platform stance detection model that introduces external knowledge [J]. Software Guide, 2022, 21(8): 20-26.)

    [70]Zhang Bowen, Yang Min, Li Xutao, et al. Enhancing cross-target stance detection with transferable semantic-emotion knowledge [C]// Proc of the 58th ACL. Stroudsburg, PA: ACL Press, 2020: 3188-3197.

    [71]Liang Bin, Zhu Qinglin, Li Xiang, et al. JointCL: a joint contrastive learning framework for zero-shot stance detection [C]// Proc of the 60th ACL. Stroudsburg, PA: ACL Press, 2022: 81-91.

    [72]岳重陽. 面向中文微博話題評論文本的立場傾向性分析方法研究 [D]. 石家莊: 河北科技大學, 2019. (Yue Chongyang. Research on stance tendency analysis method for Chinese Weibo topic comment text [D]. Shijiazhuang: Hebei University of Science and Technology, 2019)

    [73]Allaway E, Srikanth M, McKeown K. Adversarial learning for Zero-Shot stance detection on social media [C]// Proc of Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2021: 4756-4767.

    [74]Liu Rui, Lin Zheng, Ji Huishan, et al. Target really matters: target-aware contrastive learning and consistency regularization for few-shot stance detection [C]// Proc of the 29th COLING. 2022: 6944-6954.

    [75]Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding [C]// Proc of NAACL-HLT. Stroudsburg, PA: ACL Press, 2019: 4171-4186.

    [76]Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training[EB/OL]. (2018). https://paperswithcode.com/paper/improving-language-understanding-by.

    [77]Peters M, Neumann M, Iyyer M, et al. Deep contextualized word representations [EB/OL]. (2018). https://arxiv.org/abs/1802.05365.

    [78]Hanawa K, Sasaki A, Okazaki N, et al. Stance detection attending external knowledge from Wikipedia [J]. Journal of Information Processing, 2019, 27: 499-506.

    [79]Wei Penghui, Mao Wenji. Modeling transferable topics for cross-target stance detection [C]// Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2019: 1173-1176.

    [80]Rao P. Transfer learning in NLP for Tweet stance classification [C]// Proc of World Wide Web Conference. 2019: 575-589.

    [81]Howard J, Ruder S. Universal language model fine-tuning for text classification [C]//Proc of Information Technology and Computer Science. Stroudsburg, PA: ACL Press, 2018: 328-339.

    [82]王安君, 黃凱凱, 陸黎明. 基于BERT-Condition-CNN的中文微博立場檢測 [J]. 計算機系統(tǒng)應用, 2019, 28(11): 45-53. (Wang Anjun, Huang Kaikai, Lu Liming. Chinese Weibo stance detection based on BERT-Condition-CNN [J]. Computer System Application, 2019, 28(11): 45-53.)

    [83]Hosseinia M, Dragut E, Mukherjee A. Stance prediction for contemporary issues: data and experiments [C]// Proc of the 8th International Workshop on Natural Language Processing for Social Media. Stroudsburg, PA: ACL Press, 2020: 32-40.

    [84]Prakash A, Madabushi H T. Incorporating count-based features into pre-trained models for improved stance detection [C]// Proc of the 3rd NLP4IF Workshop on NLP for International Internet Freedom. 2020: 22-32.

    [85]Li Yingjie, Zhao Chenye, Caragea C. Improving stance detection with multi-dataset learning and knowledge distillation [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 6332-6345.

    [86]Yang Song, Urbani J. Tribrid: stance classification with neural inconsistency detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 6831-6843.

    [87]耿源羚, 張紹武, 張益嘉, 等. 基于卷積注意力的情感增強微博立場檢測 [J]. 山西大學學報:自然科學版, 2022, 45(2): 302-312. (Geng Yuanling, Zhang Shaowu, Zhang Yijia, et al. Emotio-nally enhanced microblog stance detection based on convolutional attention [J]. Journal of Shanxi University:Natural Science Edition, 2022, 45(2): 302-312.)

    [88]Hardalov M, Arora A, Nakov P, et al. Cross-domain label-adaptive stance detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 9011-9028.

    [89]陳子瀟, 梁斌, 徐睿峰. 基于主題提示學習的零樣本立場檢測方法 [C]// 第二十一屆中國計算語言大會. 2022: 535-544. (Chen Zixiao, Liang Bin, Xu Ruifeng. A topic-based prompt learning method for zero-shot stance detection [C]// Proc of the 21st CCL. 2022: 535-544.)

    [90]Zhang Ruike, Yang Hanxuan, Mao Wenji. Cross-lingual cross-target stance detection with dual knowledge distillation framework [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 10804-10819.

    [91]Upadhyaya A, Fisichella M, Nejdl W. Toxicity, morality, and speech act guided stance detection [C]// Proc of EMNLP. Stroudsburg, PA: ACL Press, 2023: 4464-4478.

    [92]Zhang Ruike, Xu Nan, Yang Hanxuan, et al. Target-oriented relation alignment for cross-lingual stance detection [C]// Proc of ACL. Stroudsburg, PA: ACL Press, 2023: 6391-6404.

    [93]Clark T, Conforti C, Liu Fangyu, et al. International integrating transformers and knowledge graphs for Twitter stance detection [C]// Proc of the 7th Workshop on Noisy User-generated Text. Stroudsburg, PA: ACL Press, 2021: 304-312.

    [94]He Zihao, Mokhberian N, Lerman K. Infusing knowledge from Wikipedia to enhance stance detection [C]// Proc of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment amp; Social Media Analysis. Stroudsburg, PA: ACL Press, 2022: 71-77.

    [95]Liu Rui, Lin Zheng, Tan Yutong, et al. Enhancing zero-shot and few-shot stance detection with commonsense knowledge graph [C]// Proc of ACL-IJCNLP. Stroudsburg, PA: ACL Press, 2021: 3152-3157.

    [96]Luo Yun, Liu Zihan, Shi Yuefeng, et al. Exploiting sentiment and common sense for zero-shot stance detection [C]// Proc of the 29th COLING. [S. l. ]: International Committee on Computational Linguistics, 2022: 7112-7123.

    [97]Hanley H, Durumeric Z. TATA: stance detection via topic-agnostic and topic-aware embeddings [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 11280-11294.

    [98]Wen Haoyang, Hauptmann A. Zero-shot and few-shot stance detection on varied topics via conditional generation [C]// Proc of the 61st Annual Meeting of ACL (Volume 2: Short Papers). Stroudsburg, PA: ACL Press, 2023: 1491-1499.

    [99]Li Yingjie, Caragea C. Target-aware data augmentation for stance detection [C]// Proc of Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2021: 1850-1860.

    [100]蘇致中, 席耀一, 陳宇飛, 等. 面向社交媒體立場檢測的數(shù)據(jù)增強方法 [J]. 信息工程大學學報, 2022, 23(1): 58-65. (Su Zhizhong, Xi Yaoyi, Chen Yufei, et al. Data augmentation method for social media standpoint detection [J]. Journal of Information Engineering University, 2022, 23(1): 58-65.)

    [101]Zhang Jiarui, Wu Shaojuan, Zhang Xiaowang, et al. Task-specific data augmentation for zero-shot and few-shot stance detection [C]// Proc of ACM Web Conference. New York: ACM Press, 2023: 160-163.

    [102]Liu Zhengyuan, Chieu H L, Chen N. Multi-label and multi-target sampling of machine annotation for computational stance detection [C]// Proc of EMNLP. Stroudsburg, PA: ACL Press, 2023: 2641-2649.

    [103]方冰, 尚義博, 劉笑影. 基于文本和網(wǎng)絡拓撲結(jié)構(gòu)的用戶立場檢測算法 [J]. 計算機與數(shù)字工程, 2021, 49(8): 1599-1603, 1723. (Fang Bing, Shang Yibo, Liu Xiaoying. User standpoint detection algorithm based on text and network topology [J]. Computer and Digital Engineering, 2021, 49(8): 1599-1603, 1723.)

    [104]Li Ang, Liang Bin, Zhao Jingqian, et al. Stance detection on social media with background knowledge [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 15703-15717.

    [105]Kobbe J, Hulpu? I, Stuckenschmidt H. Unsupervised stance detection for arguments from consequences [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2020: 50-60.

    [106]Joseph K, Shugars S, Gallagher R, et al. (Mis) alignment between stance expressed in social media data and public opinion surveys [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 312-324.

    [107]Cignarella A T, Bosco C, Rosso P. Do dependency relations help in the task of stance detection? [C]// Proc of the 3rd Workshop on Insights from Negative Results in NLP. Stroudsburg, PA: ACL Press, 2022: 10-17.

    [108]Yuan Jianhua, Zhao Yanyan, Lu Yanyue, et al. SSR: utilizing simplified stance reasoning process for robust stance detection [C]// Proc of the 29th COLING. 2022: 6846-6858.

    [109]Soler A G, Labeau M, Clavel C. One word, two sides: traces of stance in contextualized word representations [C]// Proc of the 29th COLING. 2022: 3950-3959.

    [110]Liu Zhengyuan, Yap Y K, Chieu H L, et al. Guiding computational stance detection with expanded stance triangle framework [C]// Proc of the 61st Annual Meeting of the ACL Press. Stroudsburg, PA: ACL Press, 2023: 3987-4001.

    [111]賀吉飛, 徐行健, 孟繁軍. 選擇式機器閱讀理解綜述 [J]. 計算機應用研究, 2022, 39(6): 1622-1632. (He Jifei, Xu Xingjian, Meng Fanjun. Review of multi-choice machine reading comprehension [J]. Application Research of Computers, 2022, 39(6): 1622-1632.)

    [112]張合橋, 茍剛, 陳青梅. 基于圖神經(jīng)網(wǎng)絡的方面級情感分析 [J]. 計算機應用研究, 2021, 38(12): 3574-3580, 3585. (Zhang Heqiao, Gou Gang, Chen Qingmei. Aspect-based sentiment analysis based on graph neural network [J]. Application Research of Computers, 2021, 38(12): 3574-3580, 3585.)

    [113]王勇超, 穆華嶺, 周靈智, 等. 基于指針網(wǎng)絡的實體與關系聯(lián)合抽取方法 [J]. 計算機應用研究, 2021, 38(4): 1004-1007, 1021. (Wang Yongchao, Mu Hualing, Zhou Lingzhi, et al. Joint extraction method of entity and relationship based on pointer network [J]. Application Research of Computers, 2021, 38(4): 1004-1007, 1021.)

    [114]Li Yingjie, Garg K, Caragea C. A new direction in stance detection: target-stance extraction in the wild [C]// Proc of the 61st Annual Meeting of ACL. Stroudsburg, PA: ACL Press, 2023: 10071-10085.

    国产精品一区二区性色av| 嫩草影院精品99| 国产精品一区二区性色av| 日本熟妇午夜| 看片在线看免费视频| 人妻久久中文字幕网| 精品一区二区三区视频在线| 亚洲av第一区精品v没综合| 亚洲国产欧洲综合997久久,| 久久亚洲精品不卡| 久久精品综合一区二区三区| 精品欧美国产一区二区三| 欧美成人免费av一区二区三区| 成人精品一区二区免费| 1024手机看黄色片| 一卡2卡三卡四卡精品乱码亚洲| 中文字幕av在线有码专区| 精品国产亚洲在线| 少妇丰满av| 国产一区二区三区在线臀色熟女| 亚洲最大成人手机在线| 久久久精品大字幕| 悠悠久久av| 亚洲激情在线av| 久久久久久久精品吃奶| 中文字幕免费在线视频6| 精华霜和精华液先用哪个| 久久精品综合一区二区三区| 美女 人体艺术 gogo| 久久久精品大字幕| 国产精品综合久久久久久久免费| 九色成人免费人妻av| 俺也久久电影网| 色综合欧美亚洲国产小说| 亚洲午夜理论影院| 最好的美女福利视频网| 18禁在线播放成人免费| 久久久国产成人精品二区| 99精品在免费线老司机午夜| 日韩欧美 国产精品| 国产精品,欧美在线| 老鸭窝网址在线观看| 成年女人毛片免费观看观看9| 欧美潮喷喷水| 亚洲第一区二区三区不卡| 久久精品国产亚洲av香蕉五月| 日本a在线网址| 欧美色欧美亚洲另类二区| 国产av麻豆久久久久久久| 999久久久精品免费观看国产| 九九久久精品国产亚洲av麻豆| 午夜亚洲福利在线播放| 老司机福利观看| 亚洲,欧美,日韩| 99国产极品粉嫩在线观看| 国产av不卡久久| 一本久久中文字幕| 亚洲在线自拍视频| 老熟妇仑乱视频hdxx| 美女黄网站色视频| 好男人在线观看高清免费视频| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 国产真实伦视频高清在线观看 | 国产成人av教育| 亚洲三级黄色毛片| 亚洲成av人片在线播放无| 欧美高清性xxxxhd video| 免费大片18禁| 久久久久久国产a免费观看| 99久久久亚洲精品蜜臀av| 黄色一级大片看看| 欧美日韩国产亚洲二区| 日日摸夜夜添夜夜添小说| 欧美高清性xxxxhd video| 99久国产av精品| 性欧美人与动物交配| 免费在线观看亚洲国产| 精品一区二区三区视频在线| 熟女人妻精品中文字幕| 亚洲精品乱码久久久v下载方式| 在线十欧美十亚洲十日本专区| 无遮挡黄片免费观看| 久久精品综合一区二区三区| 成年免费大片在线观看| 久久久久国产精品人妻aⅴ院| 97人妻精品一区二区三区麻豆| 日韩欧美免费精品| 精品99又大又爽又粗少妇毛片 | 97人妻精品一区二区三区麻豆| 超碰av人人做人人爽久久| 国产亚洲欧美98| 国产午夜精品论理片| 国产男靠女视频免费网站| 亚洲av电影在线观看一区二区三区 | 久久精品国产亚洲av天美| 国产精品国产av在线观看| 国产精品一区二区三区四区免费观看| 亚洲av男天堂| 人妻少妇偷人精品九色| 中文资源天堂在线| 日韩伦理黄色片| 免费观看无遮挡的男女| 国产 一区 欧美 日韩| 在线天堂最新版资源| 一级毛片 在线播放| 亚洲欧美清纯卡通| 久热这里只有精品99| 亚洲精品乱码久久久久久按摩| 狂野欧美激情性xxxx在线观看| 天堂俺去俺来也www色官网| 人人妻人人爽人人添夜夜欢视频 | 色5月婷婷丁香| 亚洲精品日韩av片在线观看| 男插女下体视频免费在线播放| 亚洲av成人精品一区久久| 成人毛片60女人毛片免费| 日本猛色少妇xxxxx猛交久久| 久久久久国产精品人妻一区二区| 不卡视频在线观看欧美| 国产成人免费观看mmmm| 51国产日韩欧美| 日韩在线高清观看一区二区三区| 黄片wwwwww| 少妇猛男粗大的猛烈进出视频 | 少妇人妻 视频| av国产久精品久网站免费入址| 国产一区有黄有色的免费视频| 1000部很黄的大片| 青青草视频在线视频观看| 欧美极品一区二区三区四区| 肉色欧美久久久久久久蜜桃 | 亚洲无线观看免费| 日韩不卡一区二区三区视频在线| 内地一区二区视频在线| 欧美xxⅹ黑人| 在线观看国产h片| 特大巨黑吊av在线直播| 国产免费一级a男人的天堂| 舔av片在线| 亚洲av男天堂| 国产人妻一区二区三区在| kizo精华| 亚洲综合色惰| 亚洲成人久久爱视频| 亚洲无线观看免费| 97超视频在线观看视频| 青春草国产在线视频| 成人高潮视频无遮挡免费网站| 九九久久精品国产亚洲av麻豆| 亚洲av免费高清在线观看| 国产成人午夜福利电影在线观看| 国产精品久久久久久精品电影| 久久久久网色| 欧美激情久久久久久爽电影| 又粗又硬又长又爽又黄的视频| 麻豆精品久久久久久蜜桃| 亚洲国产日韩一区二区| 国产亚洲午夜精品一区二区久久 | 成人国产麻豆网| 禁无遮挡网站| 99re6热这里在线精品视频| 久久久成人免费电影| 亚洲精品日本国产第一区| 91精品一卡2卡3卡4卡| 少妇丰满av| 一本一本综合久久| 成人高潮视频无遮挡免费网站| 我的女老师完整版在线观看| 国产69精品久久久久777片| 亚洲经典国产精华液单| 最近手机中文字幕大全| 国产男人的电影天堂91| 色播亚洲综合网| 成年av动漫网址| 大又大粗又爽又黄少妇毛片口| 国产精品久久久久久久电影| 丰满人妻一区二区三区视频av| 亚洲欧美清纯卡通| 尤物成人国产欧美一区二区三区| 白带黄色成豆腐渣| freevideosex欧美| 一级a做视频免费观看| av卡一久久| 成人亚洲精品av一区二区| 精品少妇黑人巨大在线播放| 精华霜和精华液先用哪个| 一级毛片久久久久久久久女| 亚洲人与动物交配视频| 少妇的逼水好多| 婷婷色麻豆天堂久久| 国产综合精华液| 亚洲精品中文字幕在线视频 | 少妇被粗大猛烈的视频| 听说在线观看完整版免费高清| 最近2019中文字幕mv第一页| 夜夜爽夜夜爽视频| 日本免费在线观看一区| 一级毛片 在线播放| 欧美xxxx黑人xx丫x性爽| 亚洲美女搞黄在线观看| 亚洲性久久影院| 亚洲精品亚洲一区二区| 丰满乱子伦码专区| 国产片特级美女逼逼视频| tube8黄色片| 国产有黄有色有爽视频| 精品一区二区免费观看| 色播亚洲综合网| 18禁动态无遮挡网站| 亚洲性久久影院| 亚洲精品,欧美精品| 久久久久久久午夜电影| av女优亚洲男人天堂| 国产免费又黄又爽又色| 免费观看在线日韩| 久久久久久久久大av| 精品久久久久久久末码| 欧美成人午夜免费资源| 五月开心婷婷网| 精华霜和精华液先用哪个| 亚洲,一卡二卡三卡| 久久久久久久大尺度免费视频| 岛国毛片在线播放| 亚洲国产av新网站| 91久久精品国产一区二区成人| 欧美丝袜亚洲另类| 亚洲人成网站高清观看| 美女脱内裤让男人舔精品视频| 美女国产视频在线观看| 91精品伊人久久大香线蕉| 欧美 日韩 精品 国产| 日本熟妇午夜| 欧美日韩视频精品一区| 亚洲aⅴ乱码一区二区在线播放| 欧美日韩亚洲高清精品| 国产白丝娇喘喷水9色精品| 精品久久久久久电影网| 禁无遮挡网站| 一级毛片aaaaaa免费看小| 亚洲av中文av极速乱| 午夜免费鲁丝| 久久精品国产a三级三级三级| 在线天堂最新版资源| 18禁裸乳无遮挡动漫免费视频 | 插逼视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 日韩欧美精品免费久久| 亚洲天堂国产精品一区在线| 国产精品.久久久| 久久99热这里只有精品18| 亚洲欧美清纯卡通| 真实男女啪啪啪动态图| 日本一本二区三区精品| 夜夜看夜夜爽夜夜摸| 成人国产av品久久久| 白带黄色成豆腐渣| 少妇被粗大猛烈的视频| 欧美xxxx黑人xx丫x性爽| 国产日韩欧美亚洲二区| 国内精品美女久久久久久| 大片电影免费在线观看免费| 国产中年淑女户外野战色| 高清视频免费观看一区二区| 欧美日韩在线观看h| 精品少妇久久久久久888优播| 亚洲精品中文字幕在线视频 | 一级毛片 在线播放| 禁无遮挡网站| 成年女人在线观看亚洲视频 | 热99国产精品久久久久久7| av在线app专区| av.在线天堂| 亚洲精品色激情综合| 男人爽女人下面视频在线观看| av在线老鸭窝| 人体艺术视频欧美日本| av免费在线看不卡| 毛片女人毛片| 一级爰片在线观看| av网站免费在线观看视频| 夫妻午夜视频| 熟女人妻精品中文字幕| 精品视频人人做人人爽| 午夜福利网站1000一区二区三区| 国产av不卡久久| 国产人妻一区二区三区在| a级一级毛片免费在线观看| 男女啪啪激烈高潮av片| 又粗又硬又长又爽又黄的视频| 欧美xxxx性猛交bbbb| 亚洲欧美成人精品一区二区| 街头女战士在线观看网站| 亚洲精品久久午夜乱码| 蜜桃久久精品国产亚洲av| 日本黄大片高清| 狂野欧美激情性xxxx在线观看| 日本三级黄在线观看| 午夜福利网站1000一区二区三区| 欧美另类一区| 特大巨黑吊av在线直播| 我的老师免费观看完整版| 亚洲av一区综合| 中文字幕人妻熟人妻熟丝袜美| 纵有疾风起免费观看全集完整版| 色视频在线一区二区三区| 在线观看人妻少妇| 汤姆久久久久久久影院中文字幕| 亚洲aⅴ乱码一区二区在线播放| 国产高清三级在线| 身体一侧抽搐| av一本久久久久| 国产v大片淫在线免费观看| av天堂中文字幕网| 777米奇影视久久| 国产亚洲一区二区精品| 亚洲成色77777| 亚洲自偷自拍三级| 性色av一级| 大陆偷拍与自拍| 国产亚洲午夜精品一区二区久久 | 国产黄频视频在线观看| 色视频在线一区二区三区| 国产综合懂色| 我的老师免费观看完整版| 在线观看国产h片| 免费黄网站久久成人精品| 国产男女超爽视频在线观看| 九色成人免费人妻av| 国产69精品久久久久777片| 大陆偷拍与自拍| 久久久久久国产a免费观看| 伊人久久国产一区二区| 蜜臀久久99精品久久宅男| 一级毛片我不卡| 国产精品国产av在线观看| 九九久久精品国产亚洲av麻豆| 成年免费大片在线观看| 国产精品久久久久久久电影| 一级毛片电影观看| 香蕉精品网在线| 制服丝袜香蕉在线| 美女xxoo啪啪120秒动态图| 久久午夜福利片| 精品人妻熟女av久视频| 亚洲精品456在线播放app| 精品亚洲乱码少妇综合久久| 日韩免费高清中文字幕av| 久久久精品94久久精品| 国产精品无大码| 在线观看人妻少妇| 精品久久久久久久末码| 在线a可以看的网站| 麻豆乱淫一区二区| 国产亚洲5aaaaa淫片| 丝袜喷水一区| 你懂的网址亚洲精品在线观看| 亚洲av成人精品一二三区| 午夜激情久久久久久久| 色视频在线一区二区三区| 下体分泌物呈黄色| 成人美女网站在线观看视频| 一个人看的www免费观看视频| 又大又黄又爽视频免费| 国产男女内射视频| 亚洲欧美清纯卡通| 欧美 日韩 精品 国产| 看黄色毛片网站| 国产av码专区亚洲av| 亚洲精品日韩av片在线观看| 亚洲国产欧美在线一区| 久久精品国产亚洲网站| 老司机影院毛片| 一区二区三区四区激情视频| 久久久久久久国产电影| 亚洲av欧美aⅴ国产| 一级毛片久久久久久久久女| 国产日韩欧美亚洲二区| 亚洲精品视频女| 最近手机中文字幕大全| kizo精华| 七月丁香在线播放| 亚洲欧美一区二区三区国产| 99久久九九国产精品国产免费| 午夜激情久久久久久久| 亚洲精品中文字幕在线视频 | 国产精品爽爽va在线观看网站| 狠狠精品人妻久久久久久综合| 夫妻性生交免费视频一级片| 亚洲国产欧美人成| 国产爽快片一区二区三区| 身体一侧抽搐| 91在线精品国自产拍蜜月| 尤物成人国产欧美一区二区三区| 在线看a的网站| 免费观看性生交大片5| 国产综合懂色| 只有这里有精品99| 美女cb高潮喷水在线观看| 国产精品99久久久久久久久| 一级毛片 在线播放| 国产精品99久久99久久久不卡 | 在线观看人妻少妇| 亚洲激情五月婷婷啪啪| 日韩欧美精品免费久久| 国产精品99久久久久久久久| 各种免费的搞黄视频| 男人狂女人下面高潮的视频| 寂寞人妻少妇视频99o| 久久综合国产亚洲精品| 中文字幕久久专区| 久久国产乱子免费精品| 亚洲欧美一区二区三区国产| 一个人看的www免费观看视频| 久久久精品欧美日韩精品| 欧美97在线视频| 在线观看一区二区三区| 建设人人有责人人尽责人人享有的 | 久久影院123| 久久久久久久亚洲中文字幕| 国产 一区精品| 少妇裸体淫交视频免费看高清| 精品视频人人做人人爽| 亚洲欧美成人综合另类久久久| 亚洲欧美清纯卡通| 黄色一级大片看看| 一级片'在线观看视频| 内地一区二区视频在线| 亚洲精品日韩在线中文字幕| 亚洲精品国产av成人精品| 岛国毛片在线播放| 男女国产视频网站| 国产乱人偷精品视频| 2021天堂中文幕一二区在线观| 午夜老司机福利剧场| 岛国毛片在线播放| 一级毛片电影观看| 丝袜喷水一区| 国产一区二区三区av在线| 亚洲欧美中文字幕日韩二区| 看免费成人av毛片| 搡老乐熟女国产| 国产成人精品一,二区| 街头女战士在线观看网站| 国产成人aa在线观看| 岛国毛片在线播放| 亚洲内射少妇av| 国产在线一区二区三区精| 国产黄频视频在线观看| 国产精品嫩草影院av在线观看| 亚洲最大成人中文| 亚洲欧洲日产国产| 免费看av在线观看网站| 久久久亚洲精品成人影院| 婷婷色综合www| 国产欧美亚洲国产| av一本久久久久| 国产日韩欧美在线精品| 精品国产乱码久久久久久小说| 麻豆成人午夜福利视频| 亚洲av男天堂| 久久精品久久久久久噜噜老黄| 能在线免费看毛片的网站| 精品少妇黑人巨大在线播放| 男女国产视频网站| 中文字幕久久专区| av免费在线看不卡| 欧美成人精品欧美一级黄| 纵有疾风起免费观看全集完整版| 亚洲国产最新在线播放| 色综合色国产| 在线观看国产h片| 日韩电影二区| 菩萨蛮人人尽说江南好唐韦庄| 欧美 日韩 精品 国产| 免费高清在线观看视频在线观看| 国产片特级美女逼逼视频| 欧美最新免费一区二区三区| 综合色丁香网| kizo精华| 亚洲av福利一区| 亚洲人成网站高清观看| 精品国产三级普通话版| 少妇 在线观看| 成人毛片60女人毛片免费| 亚洲综合精品二区| 99久久精品一区二区三区| 高清av免费在线| av线在线观看网站| 亚洲成人精品中文字幕电影| 午夜爱爱视频在线播放| 日本免费在线观看一区| 亚洲国产精品成人综合色| 人妻制服诱惑在线中文字幕| 欧美性感艳星| 日韩一区二区视频免费看| 成人国产av品久久久| 三级男女做爰猛烈吃奶摸视频| 国产黄片视频在线免费观看| 精品久久久久久久人妻蜜臀av| 在线观看三级黄色| 真实男女啪啪啪动态图| 99久久九九国产精品国产免费| 国产精品久久久久久精品电影| 久久精品国产亚洲网站| 交换朋友夫妻互换小说| 日本一二三区视频观看| 成人免费观看视频高清| 69av精品久久久久久| 99re6热这里在线精品视频| 精品久久久久久久久av| 日韩一区二区三区影片| 身体一侧抽搐| 2021少妇久久久久久久久久久| 国产毛片在线视频| 国产精品爽爽va在线观看网站| 涩涩av久久男人的天堂| 欧美bdsm另类| 超碰97精品在线观看| 中文字幕av成人在线电影| 免费观看的影片在线观看| 精品国产一区二区三区久久久樱花 | 成人高潮视频无遮挡免费网站| 久久ye,这里只有精品| 秋霞伦理黄片| xxx大片免费视频| 亚洲美女搞黄在线观看| 亚洲自拍偷在线| 亚洲精品第二区| 男女边摸边吃奶| 午夜激情福利司机影院| 午夜日本视频在线| 麻豆乱淫一区二区| 国产精品国产三级专区第一集| 亚洲欧美一区二区三区国产| 午夜日本视频在线| 狂野欧美白嫩少妇大欣赏| 国产黄色免费在线视频| 国产乱来视频区| 亚洲真实伦在线观看| 日本黄色片子视频| 久久99蜜桃精品久久| 嘟嘟电影网在线观看| 亚洲精品,欧美精品| 国产69精品久久久久777片| 久久99蜜桃精品久久| 成人二区视频| 久久精品久久久久久噜噜老黄| 在线亚洲精品国产二区图片欧美 | 精品久久久久久久久av| 国产淫语在线视频| 久久久久久久午夜电影| 男人添女人高潮全过程视频| 午夜激情久久久久久久| 国产淫语在线视频| 亚洲国产欧美人成| 亚洲精品一二三| 亚洲av一区综合| 女人久久www免费人成看片| 69av精品久久久久久| 国产成人精品福利久久| 精品一区在线观看国产| 久久这里有精品视频免费| 亚洲精品国产色婷婷电影| 久热这里只有精品99| 丰满乱子伦码专区| 国产午夜精品一二区理论片| 国产亚洲午夜精品一区二区久久 | 国产黄a三级三级三级人| 日韩视频在线欧美| 久久人人爽人人爽人人片va| 天堂网av新在线| 中文精品一卡2卡3卡4更新| 国产成人午夜福利电影在线观看| 久久久精品欧美日韩精品| 人妻一区二区av| 亚洲欧美日韩卡通动漫| 国产精品一区二区在线观看99| 欧美成人a在线观看| 人体艺术视频欧美日本| 亚洲精品国产av成人精品| 全区人妻精品视频| 欧美xxxx黑人xx丫x性爽| 人妻夜夜爽99麻豆av| 亚洲成人久久爱视频| av在线观看视频网站免费| 国产视频内射| 日韩中字成人| 国产乱人偷精品视频| 一本色道久久久久久精品综合| 午夜精品一区二区三区免费看| 欧美少妇被猛烈插入视频| 国产毛片在线视频| 久久精品久久精品一区二区三区| 久久久久久久久久久免费av| 亚洲国产最新在线播放| 大话2 男鬼变身卡| 丝袜脚勾引网站| 亚洲激情五月婷婷啪啪| 国产69精品久久久久777片| 国产真实伦视频高清在线观看| 中文字幕免费在线视频6| 久久久久久久久大av| 黄色欧美视频在线观看| 亚洲av福利一区| 欧美高清成人免费视频www| 免费观看性生交大片5| 黄色日韩在线| 99久久精品国产国产毛片| 国产精品国产三级专区第一集| 一级av片app| 国产伦精品一区二区三区视频9| 亚洲人成网站在线播| 七月丁香在线播放| 一级毛片aaaaaa免费看小| 偷拍熟女少妇极品色|