• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于圖分類的中文長(zhǎng)文本匹配算法

    2020-11-11 08:02:56郭佳樂(lè)鄔向前
    關(guān)鍵詞:語(yǔ)義卷積神經(jīng)網(wǎng)絡(luò)

    郭佳樂(lè), 卜 巍, 鄔向前

    (1 哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 哈爾濱150001; 2 哈爾濱工業(yè)大學(xué) 媒體技術(shù)與藝術(shù)學(xué)院, 哈爾濱150001)

    0 引 言

    近年來(lái)隨著移動(dòng)互聯(lián)網(wǎng)的蓬勃發(fā)展,涌現(xiàn)了大量基于內(nèi)容分發(fā)服務(wù)的App 和相關(guān)自媒體平臺(tái),它們?cè)谌粘I钪邪缪葜絹?lái)越重要的角色,改變了人們獲取信息的方式和途徑。 當(dāng)用戶在瀏覽感興趣的內(nèi)容時(shí),這些平臺(tái)常常會(huì)主動(dòng)為用戶推薦相同或者相近話題的其他文章。 而如何判斷文章之間的主要內(nèi)容是否關(guān)于相同或相近的主題,即判斷一對(duì)文章之間的關(guān)系,其實(shí)可以歸結(jié)為自然語(yǔ)言處理領(lǐng)域中的文本語(yǔ)義匹配任務(wù)。

    文本匹配任務(wù)本質(zhì)上是判斷源文本與目標(biāo)文本之間的語(yǔ)義相似度(比如:查詢-文檔的匹配、問(wèn)題-答案的匹配等),而如何正確地建模文本中蘊(yùn)含的語(yǔ)義信息對(duì)于實(shí)現(xiàn)更高質(zhì)量的文本匹配結(jié)果十分重要。 目前,在實(shí)際建模過(guò)程中主要有兩個(gè)難點(diǎn):一是詞匯和短語(yǔ)本身是有歧義的,存在廣泛的指代和省略等問(wèn)題;二是待匹配的文本篇幅很長(zhǎng),文本中詞匯、短語(yǔ)、句子本身的語(yǔ)義受到復(fù)雜文章結(jié)構(gòu)很大的影響。

    本文針對(duì)互聯(lián)網(wǎng)上的文本信息,譬如新聞文章都具有較長(zhǎng)的篇幅以及一定的行文邏輯結(jié)構(gòu),設(shè)計(jì)出一種高精度的基于圖分類的中文長(zhǎng)文本匹配模型,并在CNSE 和CNSS 數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。本文的主要貢獻(xiàn)總結(jié)如下:

    (1)提出了基于圖分類的長(zhǎng)文本匹配算法。 該算法將輸入的文本對(duì)轉(zhuǎn)化為圖結(jié)構(gòu),利用基于注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)對(duì)節(jié)點(diǎn)特征進(jìn)行抽取,通過(guò)基于多層感知機(jī)的圖分類模塊融合全圖信息的特征表示向量,進(jìn)行圖分類計(jì)算,從而得到長(zhǎng)文本匹配的結(jié)果,完成長(zhǎng)文本匹配任務(wù)。

    (2)提出了一種基于圖注意力機(jī)制的圖池化算法,增強(qiáng)圖節(jié)點(diǎn)融合過(guò)程中最大化圖的可辨別性,有效的提升了圖的表示效果,從而獲得了更魯棒且優(yōu)異的長(zhǎng)文本匹配結(jié)果。

    (3)針對(duì)網(wǎng)絡(luò)模型的輸入,設(shè)計(jì)了多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊對(duì)節(jié)點(diǎn)編碼,從而提升網(wǎng)絡(luò)模型輸入特征質(zhì)量,獲得更豐富且魯棒的節(jié)點(diǎn)語(yǔ)義表示。 同時(shí)在模型中引入更多的非線性,增強(qiáng)了模型的擬合能力。

    (4)本文提出的中文長(zhǎng)文本匹配算法,在CNSE和CNSS 兩個(gè)公開數(shù)據(jù)集上超越了先前算法模型的結(jié)果,各項(xiàng)指標(biāo)均達(dá)到了目前最好的匹配結(jié)果。

    1 相關(guān)工作

    1.1 文本匹配

    為了衡量?jī)善谋局g的相似度,深度學(xué)習(xí)模型之前主流的模型有向量空間模型(vector space model,VSM)、 隱 含 語(yǔ) 義 分 析(Latent Semantic Analysis,LSA)模型以及引入例如知識(shí)庫(kù)等外部的語(yǔ)義知識(shí)資源來(lái)輔助計(jì)算,但是傳統(tǒng)方法和模型仍舊受限于離散的單詞表示。 基于深度學(xué)習(xí)的文本語(yǔ)義匹配模型通常將文本編碼為分布式特征表示,通過(guò)用于度量學(xué)習(xí)的孿生結(jié)構(gòu)(siamese structure)來(lái)學(xué)習(xí)文本之間的相似度信息[1]。 其中有大量的研究工作聚焦于使用深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)文本進(jìn)行編碼,但是過(guò)去的這些研究主要都集中于短文本之間的匹配,當(dāng)隨著待匹配文本篇幅增加,基于RNN 的模型在超長(zhǎng)序列中傳遞信息會(huì)丟失重要的語(yǔ)義信息,而基于CNN 的模型也無(wú)法充分地表示結(jié)構(gòu)更復(fù)雜的長(zhǎng)文本的語(yǔ)義信息。

    此外,大多數(shù)文本語(yǔ)義匹配的工作都忽略了長(zhǎng)文本所具有的結(jié)構(gòu)信息,而這種結(jié)構(gòu)信息對(duì)于語(yǔ)義匹配是十分重要的,應(yīng)當(dāng)加以有效地利用。 Liu 等人提出層次性結(jié)構(gòu)(hierarchical structure)來(lái)聚焦于句子級(jí)別的層次信息。 為了更充分地利用文本中的結(jié)構(gòu)信息,Jiang 等人提出基于孿生多深度注意力機(jī)制的層次性循環(huán)神經(jīng)網(wǎng)絡(luò)(SMASH RNN)模型,來(lái)處理長(zhǎng)文本匹配的任務(wù)[2]。 Liu 等人基于分治思想將待匹配的長(zhǎng)文本轉(zhuǎn)化到多個(gè)關(guān)鍵詞的匹配,并融合結(jié)果,形成整體的匹配得分,同時(shí)提出了兩個(gè)中文長(zhǎng)文本匹配數(shù)據(jù)集[3]。

    1.2 圖表示學(xué)習(xí)

    傳統(tǒng)的圖結(jié)構(gòu)用不同的符號(hào)命名節(jié)點(diǎn),用鄰接矩陣來(lái)存儲(chǔ)節(jié)點(diǎn)之間的關(guān)系。 但這種表示方法節(jié)點(diǎn)之間沒(méi)有語(yǔ)義關(guān)系,且表示形式稀疏,很難應(yīng)用于深度學(xué)習(xí)的模型當(dāng)中。 因此后續(xù)有很多工作聚焦于將節(jié)點(diǎn)特征低維稠密化,比如Deepwalk 模型,通過(guò)隨機(jī)游走獲得當(dāng)前節(jié)點(diǎn)的上下文信息[4],之后針對(duì)大規(guī)模網(wǎng)絡(luò)計(jì)算,LINE 模型被提出[5]。 Node2vec 模型被提出改進(jìn)的隨機(jī)游走策略,可以同時(shí)考慮到局部和宏觀的信息,并且具有很高的適應(yīng)性[6]。

    1.3 圖池化

    目前針對(duì)圖池化算法相關(guān)的工作大致可以劃分為基于節(jié)點(diǎn)選擇的圖池化算法和基于節(jié)點(diǎn)聚類的圖池化算法兩類。 基于節(jié)點(diǎn)選擇的模型比如gPool 算法,將節(jié)點(diǎn)Embedding 隱射到一維空間中,根據(jù)值的大小選擇其中top k 個(gè)節(jié)點(diǎn),再進(jìn)行圖卷積的計(jì)算,自適應(yīng)地選擇圖全部節(jié)點(diǎn)的子集來(lái)形成一個(gè)新的小圖[7]。 還 有 研 究 者 提 出 SortPooling 算 法 通 過(guò)Weisfeiler-Lehman( WL)算法 可以對(duì)節(jié)點(diǎn)進(jìn)行著色,而節(jié)點(diǎn)的顏色可以定義節(jié)點(diǎn)之間的次序,通過(guò)1-D 卷積的方法進(jìn)行卷積運(yùn)算,從而得到全圖的表示,用于圖分類任務(wù)[8]。 由于基于節(jié)點(diǎn)選擇的圖池化算法一定程度上忽略了圖的層級(jí)結(jié)構(gòu)信息,而這對(duì)提升最終圖表示的可辨別性有一定的輔助作用,因此有研究者提出了一種端到端的可微可微圖池化模塊DiffPool[9]。 為了實(shí)現(xiàn)圖中某一個(gè)節(jié)點(diǎn)分配到哪一個(gè)簇,應(yīng)該與其他節(jié)點(diǎn)的簇分配相互約束,有研究者提出了StructPool 來(lái)高效地學(xué)習(xí)高層次的圖表示,使用條件隨機(jī)場(chǎng)(conditional random fields,CRF)顯示地捕捉了圖中不同節(jié)點(diǎn)之間的高階結(jié)構(gòu)關(guān)系[10]。

    2 基于圖分類的中文長(zhǎng)文本匹配算法

    2.1 算法概況

    本文提出基于圖分類的中文長(zhǎng)文本匹配算法,即將長(zhǎng)文本匹配任務(wù)等價(jià)地轉(zhuǎn)化為圖分類的任務(wù),在圖分類任務(wù)的模式下求解問(wèn)題,得到原任務(wù)的結(jié)果。 如圖1 所示,首先將待匹配的一對(duì)長(zhǎng)文本轉(zhuǎn)化為圖的結(jié)構(gòu),然后通過(guò)圖表示學(xué)習(xí)來(lái)提取節(jié)點(diǎn)的特征,最后通過(guò)融合全圖節(jié)點(diǎn)的表示來(lái)獲得圖的表示,并對(duì)圖的表示進(jìn)行圖分類,獲得的圖分類結(jié)果等價(jià)于長(zhǎng)文本匹配的結(jié)果。

    2.2 文本對(duì)的圖結(jié)構(gòu)表示算法

    給定一個(gè)文本對(duì)包含文章DA和DB, 對(duì)兩篇文章分別通過(guò)TextRank 算法來(lái)抽取出文章中的命名實(shí)體和關(guān)鍵詞作為圖的頂點(diǎn)并合并,把文章中的所有句子通過(guò)與每個(gè)關(guān)鍵詞計(jì)算TF-IDF 相關(guān)度來(lái)對(duì)其劃分,使得每個(gè)句子都只隸屬于一個(gè)頂點(diǎn)。 這樣每個(gè)頂點(diǎn)均包含了一個(gè)句子子集S(v),其中S(v)={SA(v),SB(v)}。 得到的文本對(duì)圖結(jié)構(gòu)表示的可視化結(jié)果,如圖2 所示。

    圖1 基于圖分類的長(zhǎng)文本匹配算法框架Fig. 1 The pipeline of the proposed document matching algorithm based on graph classification

    然后把關(guān)鍵詞所包含的句子集合中的文本內(nèi)容使用深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)和詞項(xiàng)相似度(Term Similarity,TS)兩種編碼模式向量化。 其中DNN 編碼器使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)文本進(jìn)行編碼, 即把S(v)={SA(v),SB(v)} 的SA(v)、SB(v) 分別輸入到CNN模型中得到向量cA(v)、cB(v)。 對(duì)其計(jì)算逐元素差的絕對(duì)值和逐元素乘,最后把兩個(gè)向量進(jìn)行拼接,即固定長(zhǎng)度的輸出向量mAB(v);對(duì)于TS編碼器,每個(gè)節(jié)點(diǎn)v用5 種常見(jiàn)的詞項(xiàng)相似度度量方式來(lái)計(jì)算SA(v)和SB(v)的相似度,包括TF-IDF余弦相似度、TF余弦相似度、BM25 余弦相似度、Jaccard相似度和Ochiai相似度。 通過(guò)把5 種相似度向量進(jìn)行拼接,得到針對(duì)每個(gè)節(jié)點(diǎn)的固定長(zhǎng)度向量m′AB(v)。mAB(v) 與m′AB(v) 拼接,得到節(jié)點(diǎn)v的語(yǔ)義向量。

    圖2 文本對(duì)圖結(jié)構(gòu)表示的可視化結(jié)果Fig. 2 Visualization of the graph structure of the documents pairs

    2.3 基于注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)特征抽取算

    近年來(lái)很多圖表示學(xué)習(xí)的工作使用常規(guī)的圖卷積神經(jīng)網(wǎng)絡(luò),獲得了很好的結(jié)果,但是其在聚合節(jié)點(diǎn)的一階鄰居信息時(shí),對(duì)于每個(gè)鄰居的信息給予的權(quán)重是相同的,并沒(méi)有考慮該信息的價(jià)值貢獻(xiàn)大小。而在信息聚合時(shí),對(duì)于不同鄰居的信息根據(jù)其價(jià)值來(lái)給以不同大小的權(quán)重,實(shí)現(xiàn)了選擇性的信息聚合,從而有利于更有效地對(duì)節(jié)點(diǎn)特征進(jìn)行變換。

    此外,樸素圖卷積需要在建圖時(shí)完成鄰接矩陣的構(gòu)建,而在實(shí)際應(yīng)用當(dāng)中這一步需要做大量的預(yù)處理計(jì)算,同時(shí)在進(jìn)行圖卷積運(yùn)算時(shí),將鄰接矩陣加載到內(nèi)存中或者GPU 顯存中時(shí)非常耗時(shí),不利于算法在工業(yè)界大規(guī)模圖上的實(shí)際應(yīng)用,因此本文使用基于自注意力機(jī)制的圖節(jié)點(diǎn)特征抽取算法(Graph Attention Network,GAT),來(lái)代替樸素圖卷積方法。 這樣可以省略文本建圖時(shí)必須構(gòu)建鄰接矩陣的過(guò)程,同時(shí)在訓(xùn)練測(cè)試加載數(shù)據(jù)時(shí)大大提升處理效率。 基于注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3 所示。 自注意力機(jī)制在計(jì)算相似度得分時(shí),使用公式(1)計(jì)算:

    其中,a和W是訓(xùn)練參數(shù), [a‖b] 代表拼接(concatenate)操作。αij代表節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的相似度,hi代表i節(jié)點(diǎn)的屬性特征。 LeakyReLU 為激活函數(shù),增強(qiáng)模型的非線性表達(dá)能力。

    此外,為了增加模型的容量以及模型訓(xùn)練過(guò)程的穩(wěn)定性, 引入了多頭機(jī)制( Multi - head mechanism)。 多頭機(jī)制可以將特征向量映射到不同的子空間,通過(guò)聚合多個(gè)子空間的映射結(jié)果,來(lái)得到更好的特征表示。 通過(guò)堆疊多層的GAT 層,可以抽取到更有效的節(jié)點(diǎn)特征表示,在相鄰的GAT 層之間同樣引入非線性激活函數(shù)LeakyReLU 來(lái)增加模型的非線性,使得訓(xùn)練得到的模型更魯棒。

    圖3 基于注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)Fig. 3 Self attention based graph neural network model

    2.4 基于圖注意力機(jī)制的圖池化算法

    學(xué)習(xí)圖數(shù)據(jù)的高層語(yǔ)義表示對(duì)于圖分類任務(wù)十分重要,除了引入圖卷積操作來(lái)對(duì)圖數(shù)據(jù)進(jìn)行處理,類比圖像文本領(lǐng)域常見(jiàn)的池化操作,如何對(duì)圖結(jié)構(gòu)數(shù)據(jù)引入圖池化操作也是一個(gè)很重要的研究方向,目前最普遍的融合算法策略是對(duì)所有節(jié)點(diǎn)的特征向量形成的矩陣在節(jié)點(diǎn)數(shù)量維度上做求和(Sum Pool)或者平均池化(Mean Pool)/最大池化(Max Pool)等操作,從而得到一個(gè)與節(jié)點(diǎn)特征維度相同的向量,并用這個(gè)向量作為全圖的最終表示,送入到圖分類模塊進(jìn)行圖的分類。 但是,這些樸素的融合方式都可能丟失掉重要特征的信息,同時(shí)在融合時(shí)沒(méi)有考慮到圖節(jié)點(diǎn)之間的語(yǔ)義信息交互的關(guān)系,以及完全丟失了圖所具有的拓?fù)浣Y(jié)構(gòu)對(duì)最終圖表示向量的貢獻(xiàn),因此獲得的全圖表示的可分辨性較弱,在一定程度上限制了圖分類模型性能進(jìn)一步提升的潛力。

    本文為了在省略鄰接矩陣的情況下依然能夠得到魯棒的結(jié)果,提出了基于圖注意力機(jī)制的圖池化算法(Graph Attention Pooling, GATPool)來(lái)完成圖節(jié)點(diǎn)的融合過(guò)程,基于圖注意力機(jī)制的圖池化模型算法模型如圖4 所示。算法把輸入的節(jié)點(diǎn)特征矩陣(N個(gè)節(jié)點(diǎn))通過(guò)一層圖注意力網(wǎng)絡(luò)來(lái)得到一個(gè)N ×N的相似度矩陣(attention matrix) A 來(lái)衡量圖中任意兩個(gè)節(jié)點(diǎn)之間的相似度,如公式(2)所示,同時(shí)相似度矩陣可以作為一種既融合了節(jié)點(diǎn)的特征表示又顯示地建模了圖拓?fù)浣Y(jié)構(gòu)的模塊。 然后使用公式(3)對(duì)相似度矩陣按列進(jìn)行softmax 歸一化后按行求和,公式(4)依據(jù)每個(gè)節(jié)點(diǎn)與其他節(jié)點(diǎn)的交互計(jì)算,得到了每個(gè)節(jié)點(diǎn)在全圖中的重要性得分Z。 通過(guò)選擇值最大的K個(gè)節(jié)點(diǎn)作為圖的代表X′,通過(guò)公式(7)完成節(jié)點(diǎn)的選擇后,通過(guò)平均池化(Mean Pooling)得到全圖的特征表示Xout。

    圖4 基于圖注意力機(jī)制的圖池化模型Fig. 4 Graph Attention Pool,GATPool

    2.5 多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊

    為了充分地挖掘和利用輸入信息,本文提出使用多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊(記為Inception)來(lái)對(duì)每個(gè)節(jié)點(diǎn)所包含的文本信息S進(jìn)行編碼,從而得到節(jié)點(diǎn)的表示向量X, 如公式(8)。 通過(guò)組合三種大小的卷積核形成層次性的模型結(jié)構(gòu),可以有效地捕獲輸入文本中在不同語(yǔ)義層次和空間的語(yǔ)義表示,通過(guò)最大池化(max pooling)操作對(duì)特征進(jìn)行篩選,最后對(duì)不同卷積核的輸出結(jié)果進(jìn)行拼接(concatenate),得到輸入文本的編碼向量X。

    如圖5 所示,本文設(shè)計(jì)的多尺度卷積神經(jīng)網(wǎng)絡(luò)使用了大小分別為1、2、3 三種尺寸的卷積核,最左側(cè)的K =1 的卷積核數(shù)量為32,中間和右側(cè)K =1 的卷積核數(shù)量為16,K =2 和3 的卷積核數(shù)量均為32。尺寸為1 的卷積核主要對(duì)輸入的特征維度進(jìn)行變換,使得模型可以在不降低感受野大小的前提下減少模型的參數(shù)量,降低模型過(guò)擬合的風(fēng)險(xiǎn)。 尺寸為2、3 的卷積核用來(lái)捕獲文本的2-gram、3-gram 特征,通過(guò)這種局部信息和模式的提取,來(lái)增強(qiáng)文本的表示效果。

    圖5 多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊Fig. 5 Multi-scale CNN module

    2.6 圖分類模塊和損失函數(shù)

    文本匹配任務(wù)是一個(gè)二分類任務(wù),通過(guò)將文本對(duì)表示為圖結(jié)構(gòu),則將文本匹配任務(wù)等價(jià)轉(zhuǎn)化為圖的二分類任務(wù)。 在融合圖節(jié)點(diǎn)特征得到整個(gè)圖的向量表示后,通過(guò)多層感知機(jī)(Multi-Layer Perceptron,MLP)可以實(shí)現(xiàn)分類過(guò)程。 多層感知器的結(jié)構(gòu)如圖6 所示。

    兩層線性層的隱藏單元數(shù)分別為32 和16。 將MLP 的輸出結(jié)果通過(guò)與二分類標(biāo)簽進(jìn)行交叉熵(Cross Entropy)計(jì)算作為損失函數(shù)。

    模型網(wǎng)絡(luò)的目標(biāo)函數(shù)使用二元交叉熵?fù)p失函數(shù)(Binary Cross Entropy Loss,記為BCELoss),計(jì)算公式(9)為:

    其中,yn是標(biāo)簽值,xn是模型網(wǎng)絡(luò)輸出的值,wn是該類別的權(quán)重值。

    圖6 多層感知機(jī)(MLP)結(jié)構(gòu)圖Fig. 6 The scheme of the Multi-layer perceptron(MLP) module

    3 實(shí)驗(yàn)

    3.1 數(shù)據(jù)集介紹

    模型分別在CNSE(Chinese News Same Event dataset)和CNSS(Chinese News Same Story dataset)兩個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。 數(shù)據(jù)集的劃分比例均保持為訓(xùn)練集:驗(yàn)證集:測(cè)試集=6 ∶2 ∶2,同時(shí)確保了不同集合之間不存在數(shù)據(jù)泄露,具體劃分詳情如表1 所示。

    表1 兩個(gè)數(shù)據(jù)集的劃分詳情Tab. 1 Description of two evaluation datasets

    CNSE 數(shù)據(jù)集中的文章來(lái)源于主流中文新聞平臺(tái)上的長(zhǎng)文報(bào)道,包括了開放領(lǐng)域豐富多彩的新聞話題。 一共包含29 063 個(gè)新聞文章對(duì),由人工根據(jù)一對(duì)新聞文章是否報(bào)道同一件新聞事件來(lái)進(jìn)行標(biāo)注。

    CNSS 數(shù)據(jù)集中的文章來(lái)源于主流中文新聞平臺(tái)上的長(zhǎng)文報(bào)道,包括了開放領(lǐng)域豐富多彩的新聞話題。 一共包含33 503 個(gè)新聞文章對(duì),由人工根據(jù)一對(duì)新聞文章是否報(bào)道同一系列新聞熱點(diǎn)來(lái)進(jìn)行標(biāo)注。

    兩個(gè)數(shù)據(jù)集中的所有文章的平均詞數(shù)是734,最大詞數(shù)是21 791。 同時(shí)在構(gòu)造負(fù)樣本對(duì)時(shí)兼顧了兩篇文章TF-IDF 的相似度高于一定的閾值,增加了負(fù)樣本對(duì)本身的質(zhì)量和模型識(shí)別判斷的難度。

    3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

    實(shí)驗(yàn)的評(píng)測(cè)標(biāo)準(zhǔn)采用通用的二分類評(píng)價(jià)標(biāo)準(zhǔn),分別為準(zhǔn)確率(Accuracy) 和F1 值(F1scores),分別由公式(10) 和(11) 進(jìn)行計(jì)算。

    3.3 實(shí)驗(yàn)結(jié)果與分析

    由表2 中的實(shí)驗(yàn)結(jié)果可以看出,與先前的7 種有代表性的文本匹配算法相比,本文提出的算法在CNSE和CNSS 兩個(gè)數(shù)據(jù)集上的準(zhǔn)確率和F1 值等各項(xiàng)指標(biāo)均達(dá)到了目前最好的結(jié)果。 充分說(shuō)明本文提出的基于圖分類的中文長(zhǎng)文本匹配算法通過(guò)結(jié)合注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)、圖注意力池化算法、多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊等模型可以有效地提升文本匹配任務(wù)中的表現(xiàn)。

    表2 基于圖分類的中文長(zhǎng)文本匹配結(jié)果Tab. 2 Results on low-level feature enhanced model

    表3 中得到了本文提出的模型消融實(shí)驗(yàn)的結(jié)果,可以看出本文提出的算法需要各模塊之間緊密有效的配合,去除其中的某一些模塊會(huì)不可避免的導(dǎo)致模型在CNSE 和CNSS 兩個(gè)數(shù)據(jù)集上的準(zhǔn)確率和F1 值等各項(xiàng)指標(biāo)不同程度的下降。 其中,基于自注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)可以有效地對(duì)節(jié)點(diǎn)特征進(jìn)行抽取,基于圖注意力的圖池化算法有利于獲得更具可辨別性的圖全局特征表示,而多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊可以為網(wǎng)絡(luò)模型的輸入提供語(yǔ)義豐富且魯棒的節(jié)點(diǎn)特征表示。

    表3 模型消融實(shí)驗(yàn)結(jié)果Tab. 3 Ablation study of the model

    4 結(jié)束語(yǔ)

    本文針對(duì)中文長(zhǎng)文本匹配任務(wù)提出了基于圖分類框架的長(zhǎng)文本匹配算法,通過(guò)將長(zhǎng)文本匹配任務(wù)等價(jià)的轉(zhuǎn)化為圖分類任務(wù),使用圖表示學(xué)習(xí)的范式來(lái)求解,從而獲得長(zhǎng)文本匹配的結(jié)果。 同時(shí),從增強(qiáng)圖節(jié)點(diǎn)特征表示抽取建模,強(qiáng)化圖節(jié)點(diǎn)融合池化過(guò)程,保持圖可辨別性,增強(qiáng)模型網(wǎng)絡(luò)的輸入特征、表示等方面來(lái)提升基于圖表示學(xué)習(xí)模型的文本匹配算法的性能表現(xiàn)。 通過(guò)本文提出的各模塊之間緊密有效地配合,本文提出的中文長(zhǎng)文本匹配算法,在兩個(gè)公開數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)結(jié)果表明:各項(xiàng)指標(biāo)均達(dá)到了目前最好的結(jié)果,證明了本文方法的有效性和優(yōu)越性。

    猜你喜歡
    語(yǔ)義卷積神經(jīng)網(wǎng)絡(luò)
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    語(yǔ)言與語(yǔ)義
    神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    “上”與“下”語(yǔ)義的不對(duì)稱性及其認(rèn)知闡釋
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    基于支持向量機(jī)回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
    認(rèn)知范疇模糊與語(yǔ)義模糊
    久久久国产一区二区| 国产一级毛片在线| 18在线观看网站| 亚洲熟女毛片儿| 国产av国产精品国产| 中国三级夫妇交换| 日韩av在线免费看完整版不卡| 欧美日本中文国产一区发布| 亚洲少妇的诱惑av| 久久久久国产精品人妻一区二区| 精品第一国产精品| 亚洲图色成人| 精品午夜福利在线看| 一区二区三区精品91| 国产成人精品福利久久| 国产又色又爽无遮挡免| 亚洲av在线观看美女高潮| 亚洲精品成人av观看孕妇| 精品久久久精品久久久| 我的亚洲天堂| 国产人伦9x9x在线观看| 日韩伦理黄色片| 免费高清在线观看日韩| 欧美变态另类bdsm刘玥| 精品人妻一区二区三区麻豆| 97人妻天天添夜夜摸| 美女福利国产在线| 国产视频首页在线观看| 成人国产麻豆网| 1024视频免费在线观看| 亚洲中文av在线| 一区二区日韩欧美中文字幕| 丝袜在线中文字幕| 婷婷色综合www| 日韩一卡2卡3卡4卡2021年| av免费观看日本| 男女边摸边吃奶| 亚洲av欧美aⅴ国产| 51午夜福利影视在线观看| 国产精品二区激情视频| 国产精品久久久av美女十八| 老司机靠b影院| 韩国高清视频一区二区三区| 女性被躁到高潮视频| 亚洲婷婷狠狠爱综合网| 欧美久久黑人一区二区| 午夜久久久在线观看| 性少妇av在线| 王馨瑶露胸无遮挡在线观看| 午夜久久久在线观看| av又黄又爽大尺度在线免费看| 久久久精品国产亚洲av高清涩受| 交换朋友夫妻互换小说| 香蕉国产在线看| 欧美老熟妇乱子伦牲交| 亚洲成人免费av在线播放| 欧美成人精品欧美一级黄| 亚洲精品成人av观看孕妇| 国产片特级美女逼逼视频| 2021少妇久久久久久久久久久| 中文字幕av电影在线播放| 国产视频首页在线观看| 午夜久久久在线观看| www.精华液| 777米奇影视久久| 国产男人的电影天堂91| 七月丁香在线播放| 极品人妻少妇av视频| 国产精品成人在线| 永久免费av网站大全| 久久精品国产亚洲av高清一级| 叶爱在线成人免费视频播放| 十八禁网站网址无遮挡| 另类亚洲欧美激情| 男人添女人高潮全过程视频| 午夜福利视频在线观看免费| 国产爽快片一区二区三区| 18禁动态无遮挡网站| 一二三四在线观看免费中文在| 中文乱码字字幕精品一区二区三区| 欧美人与性动交α欧美软件| 一级毛片我不卡| netflix在线观看网站| 人人澡人人妻人| 午夜久久久在线观看| 桃花免费在线播放| 亚洲国产av影院在线观看| 在线观看免费午夜福利视频| 母亲3免费完整高清在线观看| 大陆偷拍与自拍| 午夜福利免费观看在线| 亚洲欧美成人精品一区二区| 秋霞伦理黄片| 青春草视频在线免费观看| 天天躁狠狠躁夜夜躁狠狠躁| 国产成人系列免费观看| 中文字幕制服av| 亚洲av综合色区一区| 九色亚洲精品在线播放| 久久久久网色| 男人爽女人下面视频在线观看| 欧美日韩精品网址| 黄色视频在线播放观看不卡| 五月天丁香电影| 9热在线视频观看99| 久久久久精品性色| 免费在线观看视频国产中文字幕亚洲 | 又大又黄又爽视频免费| 国产熟女午夜一区二区三区| 少妇人妻久久综合中文| 国产一区二区在线观看av| 精品久久久久久电影网| 精品一区二区免费观看| 中文字幕色久视频| 亚洲综合色网址| 精品久久蜜臀av无| 国产精品人妻久久久影院| av片东京热男人的天堂| 七月丁香在线播放| 操美女的视频在线观看| 18禁裸乳无遮挡动漫免费视频| 亚洲免费av在线视频| 女人精品久久久久毛片| 午夜久久久在线观看| 亚洲国产欧美网| 一本久久精品| 最近手机中文字幕大全| 2021少妇久久久久久久久久久| 老司机在亚洲福利影院| 秋霞在线观看毛片| 丰满饥渴人妻一区二区三| 黄网站色视频无遮挡免费观看| 国产乱来视频区| 热re99久久精品国产66热6| 国产精品久久久久久精品古装| 久久久久久免费高清国产稀缺| 国产爽快片一区二区三区| 狠狠精品人妻久久久久久综合| 亚洲精品国产av蜜桃| 国产成人欧美| 乱人伦中国视频| 精品一区二区免费观看| 精品一区二区三区四区五区乱码 | 亚洲av在线观看美女高潮| 欧美日韩亚洲高清精品| 精品亚洲乱码少妇综合久久| 丝袜喷水一区| 午夜福利乱码中文字幕| 久久久欧美国产精品| 赤兔流量卡办理| h视频一区二区三区| 国产不卡av网站在线观看| 另类亚洲欧美激情| 精品人妻熟女毛片av久久网站| 看免费成人av毛片| 午夜福利在线免费观看网站| 香蕉丝袜av| 纵有疾风起免费观看全集完整版| 亚洲一区二区三区欧美精品| 在线观看免费日韩欧美大片| 欧美人与性动交α欧美精品济南到| 日本av免费视频播放| 国产熟女午夜一区二区三区| 精品一区二区免费观看| 亚洲一级一片aⅴ在线观看| 少妇的丰满在线观看| 成人三级做爰电影| 啦啦啦视频在线资源免费观看| 高清不卡的av网站| 少妇猛男粗大的猛烈进出视频| 色播在线永久视频| 我要看黄色一级片免费的| 亚洲欧美精品综合一区二区三区| 最近2019中文字幕mv第一页| 久久久久久久大尺度免费视频| 久久久久久人人人人人| 国产成人欧美| 日本91视频免费播放| 欧美av亚洲av综合av国产av | 菩萨蛮人人尽说江南好唐韦庄| 亚洲国产av新网站| 啦啦啦在线观看免费高清www| √禁漫天堂资源中文www| 夫妻午夜视频| 久久久久精品性色| 美女福利国产在线| 日韩 亚洲 欧美在线| 国产精品一二三区在线看| 天堂俺去俺来也www色官网| 男人舔女人的私密视频| 国产乱人偷精品视频| 日本91视频免费播放| 国产精品国产av在线观看| 高清视频免费观看一区二区| 国产精品一区二区在线观看99| 中文字幕人妻丝袜制服| 精品福利永久在线观看| 超色免费av| 一级毛片 在线播放| 激情五月婷婷亚洲| 一二三四中文在线观看免费高清| 最近手机中文字幕大全| 国产 精品1| 欧美 日韩 精品 国产| 国产精品麻豆人妻色哟哟久久| 亚洲第一青青草原| 亚洲中文av在线| 国产免费福利视频在线观看| 两性夫妻黄色片| 制服人妻中文乱码| 亚洲欧美一区二区三区国产| 天堂俺去俺来也www色官网| 亚洲av成人不卡在线观看播放网 | 亚洲伊人久久精品综合| 日韩av免费高清视频| 日韩成人av中文字幕在线观看| 一本久久精品| 天堂俺去俺来也www色官网| 嫩草影视91久久| 精品国产一区二区三区四区第35| 91精品三级在线观看| 久久精品国产亚洲av高清一级| 中文欧美无线码| 成人国语在线视频| 国产成人av激情在线播放| 精品久久久精品久久久| 亚洲五月色婷婷综合| 日日啪夜夜爽| 一本一本久久a久久精品综合妖精| 叶爱在线成人免费视频播放| 国产精品成人在线| 成人国语在线视频| 我的亚洲天堂| 2021少妇久久久久久久久久久| 亚洲精品成人av观看孕妇| 老熟女久久久| 午夜免费观看性视频| 欧美黑人欧美精品刺激| 免费看不卡的av| 国产精品一区二区在线观看99| 在线观看免费日韩欧美大片| 母亲3免费完整高清在线观看| 热99久久久久精品小说推荐| 欧美变态另类bdsm刘玥| 人人妻人人澡人人爽人人夜夜| 18在线观看网站| 少妇的丰满在线观看| 欧美日韩视频高清一区二区三区二| 嫩草影院入口| 热re99久久精品国产66热6| 精品一区二区三卡| 美女高潮到喷水免费观看| 免费观看av网站的网址| 如日韩欧美国产精品一区二区三区| e午夜精品久久久久久久| 在线观看国产h片| 王馨瑶露胸无遮挡在线观看| 亚洲欧美激情在线| 涩涩av久久男人的天堂| 国产伦理片在线播放av一区| 欧美日韩一区二区视频在线观看视频在线| 国产黄频视频在线观看| 国产成人欧美在线观看 | 赤兔流量卡办理| 免费观看av网站的网址| av福利片在线| av天堂久久9| 欧美日韩av久久| 亚洲av成人不卡在线观看播放网 | av天堂久久9| 国产精品嫩草影院av在线观看| 国产爽快片一区二区三区| 在线观看免费视频网站a站| 久久久久久久久久久免费av| 欧美在线一区亚洲| 国产精品国产三级专区第一集| 男女免费视频国产| 国产又爽黄色视频| 超碰成人久久| 亚洲av电影在线观看一区二区三区| 精品国产乱码久久久久久小说| 国产精品一国产av| 少妇的丰满在线观看| 国产av国产精品国产| 侵犯人妻中文字幕一二三四区| 波多野结衣av一区二区av| 岛国毛片在线播放| 久久性视频一级片| 搡老乐熟女国产| a级毛片黄视频| 新久久久久国产一级毛片| 欧美黑人欧美精品刺激| 麻豆av在线久日| 亚洲一级一片aⅴ在线观看| 亚洲精品av麻豆狂野| 婷婷色av中文字幕| 精品人妻在线不人妻| 一级毛片黄色毛片免费观看视频| 中文字幕人妻熟女乱码| 精品一区二区三区av网在线观看 | 亚洲欧洲日产国产| 2021少妇久久久久久久久久久| 日韩制服丝袜自拍偷拍| 亚洲久久久国产精品| 电影成人av| 最近最新中文字幕免费大全7| 国产99久久九九免费精品| 国产精品国产三级国产专区5o| 国产免费又黄又爽又色| 人体艺术视频欧美日本| 国产 一区精品| 亚洲精品国产色婷婷电影| 国产老妇伦熟女老妇高清| 亚洲欧美色中文字幕在线| 欧美日韩一区二区视频在线观看视频在线| 777米奇影视久久| 亚洲成人手机| 999精品在线视频| 亚洲精华国产精华液的使用体验| 美女大奶头黄色视频| 欧美中文综合在线视频| 免费在线观看视频国产中文字幕亚洲 | 欧美黑人精品巨大| 男女之事视频高清在线观看 | 一级毛片黄色毛片免费观看视频| 精品国产乱码久久久久久小说| 久久青草综合色| 黄色 视频免费看| 精品人妻熟女毛片av久久网站| 在线观看免费午夜福利视频| 天美传媒精品一区二区| 悠悠久久av| 精品人妻在线不人妻| 日本黄色日本黄色录像| 亚洲人成电影观看| 久久综合国产亚洲精品| 秋霞在线观看毛片| 国产一卡二卡三卡精品 | 亚洲国产欧美在线一区| 9191精品国产免费久久| av在线app专区| 精品国产露脸久久av麻豆| 久久久久精品久久久久真实原创| 久久韩国三级中文字幕| 在线亚洲精品国产二区图片欧美| www.av在线官网国产| 国产极品粉嫩免费观看在线| 91精品国产国语对白视频| 999久久久国产精品视频| 看十八女毛片水多多多| 国产一区二区在线观看av| 欧美人与善性xxx| 大香蕉久久成人网| www.精华液| 最近中文字幕2019免费版| 人人澡人人妻人| 亚洲精品成人av观看孕妇| 亚洲视频免费观看视频| 午夜日本视频在线| 黑人欧美特级aaaaaa片| 韩国av在线不卡| 亚洲精华国产精华液的使用体验| 日韩大码丰满熟妇| 伦理电影免费视频| 国产亚洲一区二区精品| 日本黄色日本黄色录像| av免费观看日本| 日本av手机在线免费观看| 国产欧美日韩一区二区三区在线| 亚洲av日韩精品久久久久久密 | 久久狼人影院| 久久免费观看电影| 久久午夜综合久久蜜桃| 侵犯人妻中文字幕一二三四区| 99re6热这里在线精品视频| 国产国语露脸激情在线看| 国产免费一区二区三区四区乱码| 乱人伦中国视频| 中文字幕另类日韩欧美亚洲嫩草| 中文字幕色久视频| 午夜激情av网站| 亚洲成人国产一区在线观看 | 国产一区二区三区av在线| 色视频在线一区二区三区| 国产欧美日韩一区二区三区在线| 国产一区二区三区综合在线观看| 最黄视频免费看| 中文字幕高清在线视频| 亚洲伊人色综图| 午夜福利在线免费观看网站| 18禁裸乳无遮挡动漫免费视频| 水蜜桃什么品种好| 国产一卡二卡三卡精品 | 午夜久久久在线观看| 一级毛片黄色毛片免费观看视频| bbb黄色大片| 国语对白做爰xxxⅹ性视频网站| 国产xxxxx性猛交| 欧美亚洲 丝袜 人妻 在线| 我的亚洲天堂| 三上悠亚av全集在线观看| 国产一区二区激情短视频 | 99热全是精品| 成年人免费黄色播放视频| 精品久久久久久电影网| av女优亚洲男人天堂| 亚洲视频免费观看视频| 男人操女人黄网站| 美国免费a级毛片| 秋霞伦理黄片| 香蕉国产在线看| 中文字幕高清在线视频| 日本欧美视频一区| 亚洲一区二区三区欧美精品| 综合色丁香网| 波多野结衣av一区二区av| 男女边摸边吃奶| 国产1区2区3区精品| 亚洲国产看品久久| 在线观看免费日韩欧美大片| 久久韩国三级中文字幕| 欧美97在线视频| 一区二区三区精品91| 国产成人免费无遮挡视频| 国产又爽黄色视频| 青草久久国产| 卡戴珊不雅视频在线播放| 日韩视频在线欧美| 又大又爽又粗| 一二三四中文在线观看免费高清| 午夜福利乱码中文字幕| 日本色播在线视频| 不卡av一区二区三区| 在线精品无人区一区二区三| 色吧在线观看| 丰满饥渴人妻一区二区三| 老司机影院毛片| 两个人看的免费小视频| 日日啪夜夜爽| av在线观看视频网站免费| 国产在视频线精品| 国产毛片在线视频| 成人国语在线视频| 建设人人有责人人尽责人人享有的| videosex国产| 日韩av免费高清视频| 狠狠精品人妻久久久久久综合| 国产精品蜜桃在线观看| 国产精品国产av在线观看| 人人妻人人澡人人看| 97精品久久久久久久久久精品| 女性生殖器流出的白浆| 久久ye,这里只有精品| 97在线人人人人妻| 国产黄频视频在线观看| 老司机亚洲免费影院| 精品酒店卫生间| 精品午夜福利在线看| 欧美成人精品欧美一级黄| 欧美精品一区二区大全| 在线观看免费高清a一片| 国产精品国产av在线观看| 成人国语在线视频| 性色av一级| 亚洲一码二码三码区别大吗| 亚洲精品av麻豆狂野| 国产精品香港三级国产av潘金莲 | 国产欧美日韩综合在线一区二区| 黄色视频在线播放观看不卡| 人人妻人人澡人人爽人人夜夜| 国产精品女同一区二区软件| tube8黄色片| 久久精品久久久久久噜噜老黄| a 毛片基地| 大香蕉久久网| 亚洲精品国产色婷婷电影| 国产乱人偷精品视频| 成人手机av| 男人爽女人下面视频在线观看| 欧美最新免费一区二区三区| 制服人妻中文乱码| 国产野战对白在线观看| 日本一区二区免费在线视频| 一区二区三区激情视频| 亚洲国产欧美一区二区综合| 大片免费播放器 马上看| 久久天堂一区二区三区四区| 精品一区二区三区四区五区乱码 | 男女国产视频网站| 伊人久久国产一区二区| 如日韩欧美国产精品一区二区三区| 下体分泌物呈黄色| 99国产综合亚洲精品| 国产日韩一区二区三区精品不卡| 久久狼人影院| 一级毛片 在线播放| 亚洲av综合色区一区| 又大又爽又粗| 女性被躁到高潮视频| 久久久久久久久久久免费av| 欧美精品av麻豆av| 国产乱人偷精品视频| 青草久久国产| 午夜激情av网站| 天堂中文最新版在线下载| 美女福利国产在线| 国产成人一区二区在线| 欧美少妇被猛烈插入视频| 女人高潮潮喷娇喘18禁视频| 婷婷色综合大香蕉| 欧美成人午夜精品| 欧美在线一区亚洲| 日韩免费高清中文字幕av| www.av在线官网国产| 国产片内射在线| 精品一区二区三卡| 桃花免费在线播放| 亚洲专区中文字幕在线 | 777久久人妻少妇嫩草av网站| 欧美日韩亚洲综合一区二区三区_| 亚洲,一卡二卡三卡| 国产伦理片在线播放av一区| 欧美中文综合在线视频| 久久久国产欧美日韩av| 成人国产麻豆网| 悠悠久久av| 国产精品久久久久久人妻精品电影 | 久久av网站| 观看av在线不卡| 成人亚洲精品一区在线观看| 激情五月婷婷亚洲| 欧美97在线视频| 七月丁香在线播放| 国产欧美日韩一区二区三区在线| 青草久久国产| 亚洲三区欧美一区| 日韩av在线免费看完整版不卡| 欧美精品亚洲一区二区| 成年美女黄网站色视频大全免费| 99久久99久久久精品蜜桃| 国产欧美亚洲国产| 日日爽夜夜爽网站| 欧美黑人欧美精品刺激| 久久影院123| 青春草视频在线免费观看| 亚洲免费av在线视频| 人人妻,人人澡人人爽秒播 | 国产毛片在线视频| 久久久久人妻精品一区果冻| 考比视频在线观看| av网站在线播放免费| 无遮挡黄片免费观看| 久久这里只有精品19| 九九爱精品视频在线观看| 别揉我奶头~嗯~啊~动态视频 | 久久免费观看电影| 下体分泌物呈黄色| 国产成人精品久久二区二区91 | 亚洲av成人不卡在线观看播放网 | 国产爽快片一区二区三区| 黄片无遮挡物在线观看| 国产精品一二三区在线看| av在线观看视频网站免费| 亚洲熟女毛片儿| 两性夫妻黄色片| 亚洲精品国产区一区二| 午夜av观看不卡| 国产精品久久久久久精品古装| 汤姆久久久久久久影院中文字幕| 亚洲精品成人av观看孕妇| 国产黄色免费在线视频| 国产亚洲av高清不卡| 亚洲人成电影观看| 免费看av在线观看网站| 青草久久国产| 老汉色∧v一级毛片| 国产精品一国产av| 国产精品国产三级国产专区5o| 欧美在线一区亚洲| www日本在线高清视频| 久久国产精品大桥未久av| 人人澡人人妻人| 精品国产一区二区三区四区第35| 免费高清在线观看视频在线观看| 婷婷色综合www| 性高湖久久久久久久久免费观看| 在线观看国产h片| 男人添女人高潮全过程视频| 国产国语露脸激情在线看| 免费黄色在线免费观看| 精品国产乱码久久久久久男人| 国产精品熟女久久久久浪| 天堂中文最新版在线下载| 日韩免费高清中文字幕av| 国产有黄有色有爽视频| 免费日韩欧美在线观看| 老鸭窝网址在线观看| 狂野欧美激情性bbbbbb| 亚洲精品自拍成人| 秋霞在线观看毛片| 久久性视频一级片| 中文字幕亚洲精品专区| 亚洲欧洲国产日韩| av线在线观看网站| 国产成人欧美在线观看 | 一区二区三区精品91| 国产精品一二三区在线看| 亚洲美女黄色视频免费看| 18禁动态无遮挡网站| 99热国产这里只有精品6| 嫩草影视91久久| 桃花免费在线播放| 美女午夜性视频免费| 国产精品欧美亚洲77777| 久久久欧美国产精品|