基于主題特征的問答文本摘要自動生成研究

劉夢豪 熊回香 王妞妞 賀宇航

摘 要： ［目的／ 意義］ 為幫助用戶在擁有海量文本信息的問答社區(qū)高效率、高質量定位到符合自身需求的信息。［方法／ 過程］ 本文提出基于主題特征的問答文本摘要生成模型， 該模型融合Ｗｏｒｄ２Ｖｅｃ 和ＳＬＤＡ 算法多層次表達問答文本語義特征， 而后基于圖排序的思想， 結合ＭＲＲ 冗余控制算法與文本句特征標簽， 調整句子權重，高效篩選出貼合問題標簽的摘要內(nèi)容。［結果／ 結論］ 本文對知乎問答社區(qū)多個問題下的問答文本數(shù)據(jù)進行驗證，結果證明該模型具有較高的可行性和有效性。但本文選取了５００ 份回答文本數(shù)據(jù)進行實證， 未來可進一步擴大數(shù)據(jù)量開展更為充分的驗證。

關鍵詞： 摘要自動生成； 知乎； 問答社區(qū)； 監(jiān)督主題模型； 圖排序； Ｗｏｒｄ２Ｖｅｃ

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２３．０８．０１１

〔中圖分類號〕Ｇ２０３ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２３） ０８－０１１４－１１

在線問答社區(qū)是依托Ｗｅｂ２ ０ 發(fā)展起來的知識共享平臺， 已經(jīng)成為越來越多用戶交流意見、分享知識的重要載體， 用戶在各抒己見的同時， 也創(chuàng)造了海量的問答文本信息， 這些信息因其具備知識導向性和專業(yè)性而彰顯出極高的價值， 蘊含著較多的問答文本。與此同時， 這些文本還具有數(shù)據(jù)量大、內(nèi)容碎片化、結構雜亂化、特征稀疏性強、噪聲大、規(guī)范性差等特點， 為用戶精準高效獲取信息帶來了巨大的障礙， 自動文摘技術便是能幫助用戶從海量的文本信息中找到所需關鍵信息的重要技術之一， 但自然語言的復雜性、模糊性、歧義性等特征使得計算機難以精準地掌握自然語言的實際語義，加大了自動文摘生成難度。因此， 為了從大量的問答文本中自動抽取出主要的語義信息， 提升長文本摘要的質量， 解決現(xiàn)有自動摘要抽取中信息覆蓋率低等問題， 本文嘗試從主題特征入手， 結合監(jiān)督主題模型及Ｗｏｒｄ２Ｖｅｃ 算法從語義角度對問答文本摘要進行抽取， 并利用ＣｏＲａｎｋ 與冗余控制方法調整句子內(nèi)容及順序， 進一步提高問答文本摘要水平，以期豐富基于主題模型的自動文摘研究方法， 并拓寬自動文摘應用研究領域， 從而提升信息獲取效率， 增強信息服務質量。

１ 相關研究

自動文摘需要解決語義分析和句子排序問題，近年來， 主題模型（Ｔｏｐｉｃ Ｍｏｄｅｌ）作為一種含有隱含變量的三層貝葉斯混合概率生成模型， 通常被用于文本語義分析， 該模型以非監(jiān)督學習的方式自動提取文檔集中隱含語義主題， 有助于在文本摘要生成時進行主題語義表示［１］ 。國內(nèi)外學者基于主題模型開展了自動文摘的多項探索研究， 例如， Ｆａｎｇ Ｈ等［２］ 通過引入主題因子， 提出以ＴＡＯＳ 模型來提取各種特征組； Ｂａｉｒｉ Ｒ Ｂ 等［３］ 為了能更便捷地融合ＬＤＡ、分類和聚類算法來抽取摘要， 提出了一種依賴于多個子模塊函數(shù)和層次主題的方法； Ｙａｎｇ Ｇ［４］基于ｎ－ｇｒａｍ 模型， 將語詞上下文與ＬＤＡ 模型相融合， 計算得到不同上下文層次間文本—主題分布以及相同層次間的語詞關聯(lián)性； 湯丹［５］ 提出了基于ＬＤＡ 主題模型的多特征中文自動摘要方法， 從多個角度判斷句子的重要性， 并利用冗余控制對句子進行篩選， 從而實現(xiàn)通用的中文自動文摘系統(tǒng)。這類研究多為基于傳統(tǒng)無監(jiān)督主題模型的算法， 難以保證自動文摘的精確度， 隨著機器學習算法的不斷推廣和深化， 有監(jiān)督的學習方法取得廣泛應用。ＬｉＪ 等［６］ 在提取特征時引入了查詢相關度的概念， 并利用貝葉斯概率模型進行監(jiān)督訓練； Ｖａｌｉｚａｄｅｈ Ｍ等［７］ 融合Ｗｏｒｄ２Ｖｅｃ 等多個機器學習算法模型來改進算法， 避免了抽取特征的單一性， 基于抽取出的多樣特征對得到的候選摘要進行語法分析； Ｂｌｅｉ ＭＤ 等［８］ 根據(jù)有監(jiān)督的機器學習算法提出了有監(jiān)督的主題模型ＳＬＤＡ（Ｓｕｐｅｒｖｉｓｅｄ Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａ?ｔｉｏｎ）， 在指定標簽的監(jiān)督下提升了主題發(fā)現(xiàn)的準確性， 一定程度上避免了ＬＤＡ 為文本強制分配主題的弊端； 唐曉波等［９］ 提出了一種混合機器學習模型， 在抽取摘要的過程中同時考慮了句子的形式特征和深層語義， 并在多主題的中文長文本上驗證了該模型的有效性； 石磊等［１０］ 基于序列到序列模型提升了文本摘要的生成效率； 肖元君等［１１］ 在Ｇｅｎｓｉｍ 的基礎上， 融合Ｗｏｒｄ２Ｖｅｃ 和ＴｅｘｔＲａｎｋ 算法生成詞向量， 并生成有權無向圖， 對句子進行打分排序后生成文本摘要。

為了解決句子排序問題， Ｅｒｋａｎ Ｇ 等［１２］ 基于ＬｅｘＲａｎｋ 算法構建出圖模型， 在該模型中， 設定句子或語詞為圖的節(jié)點， 以句子或語詞間的相似度來表示節(jié)點之間的邊， 最終得到句子的重要度排序，進而得到文本摘要； 在此基礎上， Ｗｅｉ Ｆ 等［１３］ 引入文檔間的相關性， 嘗試將圖分成句子層和文檔層， 而不單單利用句子間的相似度來構造圖， 取得了較好的效果； Ｓｉｌｖａ Ｓ 等［１４］ 在計算句間相似度的基礎上， 利用語詞的ＴＦ－ＩＤＦ 值以及查詢語詞的相關性來進一步計算句子的分數(shù)， 然后以分數(shù)最高的ｋ 個句子為中心進行聚類， 根據(jù)聚類結果構造圖模型， 進而生成摘要。趙美玲等［１５］ 針對多文本， 在對不同主題進行劃分的基礎上， 融合了改進Ｋｍｅａｎｓ聚類和圖模型方法， 實現(xiàn)了多文本自動文摘； 由于普通的圖模型只能從相鄰節(jié)點出發(fā)簡單描述句子之間的關系， 難以更全面地表示句子間存在的其他復雜關系。學者Ｗａｎｇ Ｗ 等［１６］ 基于ＤＢ?ＳＣＡＮ 方法構造超圖， 再計算句子相似度及句子的查詢權重， 從而計算句子得分； Ｚｈｅｎｇ Ｈ Ｔ 等［１７］ 通過引入文檔中的概念， 在ＴｅｘｔＲａｎｋ 的基礎上增加了概念層， 從而得到了兩層超圖模型， 在該模型中， 利用句子已有的權重和含有的概念數(shù)來改進句子得分的計算方法； 作為一種基于圖排序的自動摘要算法， ＣｏＲａｎｋ 算法以ＴｅｘｔＲａｎｋ 算法為基礎， 融合語詞與句子之間的關系， 更適合用于在自動摘要中對句子進行打分排序。此外， 陶興等［１８］ 提出，改進的Ｗ２Ｖ－ＭＭＲ 自動摘要生成算法， 利用基于深度學習的Ｗｏｒｄ２Ｖｅｃ 詞向量生成模型， 優(yōu)化摘要句信息質量， 引入最大邊界相關（ＭＭＲ） 的思想，對學術問答社區(qū)內(nèi)的用戶生成問答文本進行自動摘要； 為有效提高社會化問答社區(qū)的問題推薦質量，陳晨等［１９］ 提出基于多源混合標簽的方法。梳理上述研究可知， 學者Ｆａｎｇ Ｈ 等［２］ 、Ｂａｉｒｉ Ｒ Ｂ 等［３］ 、Ｙａｎｇ Ｇ［４］ 和湯丹［５］ 的研究多基于傳統(tǒng)的無監(jiān)督主題模型， 缺點是并不能保證文檔的精確度， 甚至可能引起維數(shù)災難。因此， 為了改進算法， Ｌｉ Ｊ 等［６］和Ｖａｌｉｚａｄｅｈ Ｍ 等［７］ 的模型避免了抽取特征的單一性， 提升了主題發(fā)現(xiàn)的準確性， 一定程度上避免了ＬＤＡ 為文本強制分配主題的弊端。此外， Ｅｒｋａｎ Ｇ等［１２］ 、Ｗｅｉ Ｆ 等［１３］ 、Ｓｉｌｖａ Ｓ 等［１４］ 和陶興等［１８］ 提出的模型可以有效地解決句子的重要度排序問題，尤其是ＣｏＲａｎｋ 算法可以有效地提高社會化問答社區(qū)的問題推薦質量。

在目前知識獲取及知識分享需求日漸擴張的趨勢下， 以知乎為代表的問答平臺用戶量在不斷增長， 對問答平臺中的長文本進行摘要抽取顯得十分必要， 如何有機結合有監(jiān)督主題模型、句子排序算法及冗余控制方法實現(xiàn)不同的場景的文摘生成， 更好地提取文檔主題， 便成為學術界重點關注的問題之一。因此， 為解決自動文摘語義分析問題， 本文在綜合學術界現(xiàn)有研究成果的基礎上， 充分分析問答文本特征， 通過有監(jiān)督主題模型ＳＬＤＡ 算法挖掘文本主題， 并結合Ｗｏｒｄ２Ｖｅｃ 對文本進行深層語義表示； 利用圖模型ＣｏＲａｎｋ 對摘要進行抽取后， 通過ＭＭＲ 算法進行摘要句冗余控制， 從而有效解決摘要句的排序問題， 以期提高文摘質量， 豐富自動文摘現(xiàn)有研究成果， 提高信息服務水平。

２ 基于主題特征的問答文本摘要自動生成模型構建

本文基于主題模型提出問答文本摘要自動生成體系架構， 主要包括數(shù)據(jù)收集及預處理、基于主題特征的語義向量表示、基于ＣｏＲａｎｋ 句子排序、基于冗余控制的文本摘要生成４ 個部分， 其模型框架如圖１ 所示。

２ １ 基于主題特征的語義向量表示

為了保證得到的摘要句符合用戶所需， 本研究首先融合ＳＬＤＡ 和Ｗｏｒｄ２Ｖｅｃ 模型， 從全局角度和局部角度挖掘回答文本中的語義信息， 其基本框架如圖２［２０］ 所示。

在圖２ 中， Ｄ ＝｛ｘ１，ｘ２，…，ｘｍ ｝表示由ｍ 條文本組成的文本集， 其中， ｘｊ（１≤ｊ≤ｍ）表示一條完整的文本數(shù)據(jù)， 對文本集Ｄ 分詞后， 可獲得ｎ 個語詞的集合Ｗ ＝｛ｗ１，ｗ２，…，ｗｎ ｝， 其中， ｗｉ（１≤ｉ≤ｎ）表示單個語詞。利用ＳＬＤＡ 主題模型訓練得出主題—語詞分布矩陣Ｃ， 從而得到語詞ｗｉ （１≤ｉ≤ｎ）的全局語義嵌入詞向量ｗｚｉ（１≤ｉ≤ｎ）。而后根據(jù)Ｗｏｒｄ２Ｖｅｃ 模型得到語詞ｗｉ 的局部語義嵌入詞向量ｗｃｉ。最后， 將每個語詞ｗｉ 的全局語義嵌入詞向量ｗｚｉ與局部語義嵌入詞向量ｗｃｉ拼接后， 即可得到語詞ｗｉ 的綜合語義嵌入詞向量ｗｓｉ， 詳細闡述如下。

１） 基于ＳＬＤＡ 的語詞語義表示。ＳＬＤＡ 模型作為有監(jiān)督的主題模型， 在訓練模型前需要將訓練文本集中的所有文本進行初始分類， 本部分通過人工判別的方式獲取問題所屬領域進行初始分類， 而后獲取訓練文檔集中所有語詞集合， 統(tǒng)計得到訓練文本集中每條文本的詞頻矩陣ＤＴ， ＤＴ 中的每個元素ｃｉｊ（１≤ｉ≤ｎ， １≤ｊ≤ｍ）表示語詞ｗｉ 在文本ｘｊ 中出現(xiàn)的頻次。

將語詞集合Ｗ、文本集合Ｄ 與詞頻矩陣ＤＴ 作為初始數(shù)據(jù)以訓練ＳＬＤＡ 模型。訓練可得主題—語詞分布矩陣Ｃ， 該矩陣中的元素ｈｉｋ表示第ｉ 個單詞ｗｉ 屬于第ｋ 個主題的概率， 而后， 將主題—語詞分布矩陣Ｃ 轉置后得到語詞—主題分布矩陣ＣＴ ，并用（ｗｉ ，ｈｋ ）（１≤ｉ≤ｎ， １≤ｋ≤Ｋ）表示語詞ｗｉ 和分配給它的主題向量Ｚｋ ＝（ｈｉ１，ｈｉ２，…，ｈｉＫ ）， 由于主題是從文本集中挖掘出的全局語義信息， 因此， 可以將語詞的主題向量ｚｋ 表示為每個語詞ｗｉ 的全局語義嵌入詞向量ｗｚｉ。

２） 基于Ｗｏｒｄ２Ｖｅｃ 的語詞語義表示。Ｗｏｒｄ２Ｖｅｃ是用于訓練分布式詞嵌入表示的神經(jīng)網(wǎng)絡模型［２１］ ，包括ＣＢＯＷ 和Ｓｋｉｐ－Ｇｒａｍ 兩種模型。在Ｓｋｉｐ－Ｇｒａｍ中， 每個詞均受到周圍詞的影響， 每個詞作為中心詞時都需要進行多次的預測、調整， 這種多次調整會使得詞向量更加準確， 因此， 本文將采用Ｓｋｉｐ－Ｇｒａｍ 模型來構建框架。此外， Ｗｏｒｄ２Ｖｅｃ 模型認為位置相近的語詞語義相近， 因此可以通過Ｗｏｒｄ２Ｖｅｃ對語詞的上下文語義進行表征， 設定其語義向量維度為Ｈ， 得到語詞的局部語義嵌入詞向量ｗｃｉ（１≤ｉ≤ｎ）。

３） 綜合語義表示。本文在１） 中基于監(jiān)督主題模型ＳＬＤＡ 得到詞ｗｉ（１≤ｉ≤ｎ）的全局語義嵌入詞向量ｗｚｉ（１≤ｉ≤ｎ）， 并于２） 中基于Ｗｏｒｄ２Ｖｅｃ 模型得到局部語義嵌入詞向量ｗｃｉ（１≤ｉ≤ｎ）， 本節(jié)將對向量ｗｚｉ（１≤ｉ≤ｎ）和ｗｃｉ（１≤ｉ≤ｎ）進行拼接， 生成語詞的綜合語義詞向量ｗｓｉ＝ ｗｚｉｗｃｉ（１≤ｉ≤ｎ）。

如圖５ 所示， 為保證語詞的全局語義嵌入詞向量和局部語義嵌入詞向量在融合后不會因綜合語義融合過程產(chǎn)生影響， 本文采用向量拼接的方式將兩者進行融合， 以保留最原始的向量數(shù)據(jù)， 由于ｗｚｉ（１≤ｉ≤ｎ）是Ｋ 維向量， ｗｃｉ（１≤ｉ≤ｎ）是Ｈ 維向量， 最后可以得到Ｋ＋Ｈ 維的綜合嵌入詞向量。

２ ２ 基于ＣｏＲａｎｋ 的句子排序

２ ２ １ 特征詞分析

以知乎為代表的問答社區(qū)文本由兩部分構成，其一為提問者提出的問題文本， 另一部分則是回答者的回答文本。通常， 提問者提出的問題需要遵循社區(qū)的規(guī)范， 如必須是問句等， 同時提問者也可以針對問題做細節(jié)描述。問答文本的問題內(nèi)容往往因提問者的表達能力及表達方式而表現(xiàn)出極大的主觀性， 因此知乎會自動給提問者推薦相關的問題標簽， 用戶也可以自定義問題標簽， 這些標簽往往可以作為問題的特征詞， 可用于研究者對回答者的文本進行特征分析。

回答者的文本往往具有長短不一、涉及領域較多、摻雜回答者的主觀因素等特點。統(tǒng)計發(fā)現(xiàn)， 有些較長的回答者文本屬于自媒體文本?；诖?， 將問答平臺回答文本分為兩大類： 一類是對客觀性事實的解讀， 其客觀性較強； 另一類是回答者自我感情的表達， 其主觀性較強， 表達的信息和意義往往比較模糊。但無論回答文本屬于哪一類， 其宗旨都會與問題的標簽相關聯(lián)， 因此問題標簽也可以作為回答者文本的特征詞， 從而可以根據(jù)特征詞對回答者文本進行語義特征表示。

２ ２ ２ ＣｏＲａｎｋ 句子排序

在自動摘要研究中， 越來越多的研究者開始應用計算簡單、性能穩(wěn)定的圖排序算法， ＣｏＲａｎｋ 算法就是其中的一種［２２］ 。ＣｏＲａｎｋ 算法使用杰卡德相似系數(shù)（Ｊａｃｃａｒｄ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）來計算頂點間的關系， 通過統(tǒng)計文本層的共同詞語數(shù)量來計算杰卡德相似系數(shù)， 這種方法能正確識別具有相同詞語的句間關系， 但是并未考慮到句間語義層面的關系， 會降低某些句子之間的權值， 本文利用上文得到的句子語義向量來確定不同頂點間是否存在關系。在２ １ 節(jié)中， 本文利用ＳＬＤＡ 主題模型和Ｗｏｒｄ２Ｖｅｃ 模型得到語詞的綜合語義詞向量ｗｓｉ（１≤ｉ≤ｎ）， 將每個句子中語詞的綜合語義詞向量取均值， 即可得到問答文本的句子語義向量。假設文本中句子α 的語義向量為ｓα ， 句子β 的向量語義為ｓβ ， 則可以根據(jù)杰卡德相似系數(shù)計算方法得到句子α 和句子β 之間邊的關系即權重ｑαβ ， 其計算公式如式（１）：

在迭代計算過程中， 較小的權值往往不會增大到影響節(jié)點間的關系， 但是會增加計算量， 實驗中常采用為θ 設置閾值的方法來消除這種缺陷， 一般可以取經(jīng)驗值θ ＝０ １， ｑαβ≥θ。對于包含Ｍ 個句子的文本， 可按照句間相似度ｑαβ構造出Ｍ×Ｍ 的對稱鄰接矩陣以表示句間關系， 這種鄰接矩陣反映出句子的空間結構關系， 可用于摘要句排序。

２ ２ ３ 句子特征表示

為了分析問答文本的句子特征， 本文選取回答文本的問題標簽作為特征詞。由于特征詞本身存在于句子中時也會對句子產(chǎn)生一定的影響， 且不同詞匯在句中發(fā)揮的作用不盡相同， 因此， 本文根據(jù)特征詞權重來表征句子特征。此外， 若表示問題的標簽出現(xiàn)在回答文本的句子中， 則代表該條句子具有更高的重要性， 句子間的相互聯(lián)系、相互作用， 使得不同句子的整體權重也有所不同。

前文基于ＣｏＲａｎｋ 計算得到了句子間邊的權重，并構建了句子的對稱鄰接矩陣， 隨后， 可以根據(jù)式（２） 計算得到文本中第ｅ 個句子的初始權重Ｅｅ（１≤ｅ≤Ｍ）。其中， ｑαβ由句子α 和句子β 間的相似度決定， 表示兩個句子間的關系強度， ｄ（０≤ｄ≤１）用來解決關系強度均為０ 的孤立句， ｒ 通過困惑度函數(shù)收斂得出， 對于句子ｅ 而言， 假設該句包含ｍ個語詞， 式（２） 用Ｕｓ（１≤ｓ≤ｍ）表示該句第ｓ 個單詞的重要度。在實際訓練句子權重Ｅｅ 過程中，可先將其初始化為任意值， 然后不斷迭代得到最終句子權重。

２ ３ 基于冗余控制的文本摘要生成

在２ ２ 節(jié)中， 本文得到了文本中所有句子的權重得分， 在通常情況下， 將句子權重得分進行排序后即可選取其中的前幾名作為摘要句， 但這種情況僅是基于句子間的關系及特征詞的權重來選取摘要句子， 其冗余度未得到有效控制， 為了使摘要句在重要性較高的同時簡明扼要、包含更全面的信息，本文將基于ＭＭＲ 冗余控制模型［２３］ 對候選摘要句進行冗余控制。對于包含Ｔ 個句子的候選摘要句集合， 候選摘要句ｓｔ（１≤ｔ≤Ｔ）冗余控制分數(shù)計算方法如式（６） 所示。

ｓｃｏｒｅ（ｓｔ ）＝ λ?Ｘｔ －（１－λ）?Ｓｉｍ２（ｓｔ ，Ｓ） （６）

其中， λ 是調節(jié)參數(shù)， ｓｃｏｒｅ（ｓｔ ）（１≤ｔ≤Ｔ）是第ｔ 個句子的得分， Ｓｉｍ２ 表示句子ｓｔ （１≤ｔ≤Ｔ）與當前摘要Ｓ 的余弦相似度， 該值越大表明當前句子與已更新得到的摘要越相似， 加入摘要中可能會引起信息冗余， 此處用減法控制句子冗余得分。此外， 得到的ｓｃｏｒｅ（ｓｔ ）（１≤ｔ≤Ｔ）越高表明該句子與已有摘要相似度越低， 因此每次迭代會將得分最高的句子加入摘要中。圖６［２４］ 是進行候選摘要句冗余控制的流程圖， 在進行冗余控制前， 需要初始化摘要結果Ｓ， 可將Ｘｔ（１≤ｔ≤Ｔ）值最高的候選摘要句加入其中進行初始化。

３ 實證研究

過去幾年， 國內(nèi)問答社區(qū)逐漸從小眾平臺轉型為大眾平臺， 迎來了用戶和內(nèi)容數(shù)量的井噴。如今， 知乎用戶已突破２ ２ 億， 全站問題總數(shù)超過４ ４００萬， 回答總數(shù)超過２ ４ 億， 擁有海量的問答文本數(shù)據(jù)， 其良好的答題氛圍和高水平、多樣化的問答文本是優(yōu)質的數(shù)據(jù)來源。本文將從知乎的問答文本內(nèi)容入手， 利用構建的摘要提取模型提取問答文本摘要。

３ １ 數(shù)據(jù)獲取及預處理

３ １ １ 知乎平臺數(shù)據(jù)獲取

本次實驗的數(shù)據(jù)來自知乎問答社區(qū)， 選取了互聯(lián)網(wǎng)分類下的“中文互聯(lián)網(wǎng)的產(chǎn)出在漸漸枯萎嗎？”、心理學分類下的“為什么現(xiàn)在的年輕人內(nèi)心都越來越悲觀？” 等５ 個領域的問題， 如表１ 所示。

每個問題中獲?。保保?條文本在２００ 字以上的回答， 經(jīng)過人工審查發(fā)現(xiàn)， 部分回答文本中包含了較多的無意義符號， 將此類無意義文本及重復文本剔除后， 每個問題下保留１００ 條數(shù)據(jù)進行后續(xù)實證分析。表２ 為部分回答文本數(shù)據(jù)。

３ １ ２ 數(shù)據(jù)預處理

獲取到文本數(shù)據(jù)后， 對文本進行分詞處理。鑒于Ｐｋｕｓｅｇ 包可以進行多領域分詞， 并且支持用戶自定義自訓練模型， 具有更高的分詞準確率， 本文采用Ｐｋｕｓｅｇ 分詞包進行文本分詞， 同時利用百度停用詞表、哈工大停用詞表、中文停用詞表、四川大學機器智能實驗室停用詞庫得到內(nèi)容較全的停用詞庫， 分詞結果如表３ 所示。

３ １ ３ 問題標簽屬性抽取

知乎的問題中都會帶有用戶定義的標簽， 問題本身以及問答文本往往也都與這些標簽相關， 后續(xù)實證將基于已有標簽對摘要進行監(jiān)督處理， 由于標簽屬性往往為用戶自定義或者知乎推薦的標簽， 規(guī)范程度較低， 所以此處對標簽進行拆分處理， 得到如表４ 所示的結果。

３ ２ 語義向量表示

３ ２ １ 基于ＳＬＤＡ 模型和Ｗｏｒｄ２Ｖｅｃ 的語詞語義表示

首先， 利用文本語詞集合以及如表５ 所示的文本所屬類別及文本的詞頻矩陣ＤＴ， 訓練ＳＬＤＡ 模型。

本實驗集共有２５ ４３０個語詞， 將文本集拆分為訓練集和測試集， 其中訓練集取文本集中每類文本的前９０ 條， 共４５０ 條文檔數(shù)據(jù)， 測試集取文本集中每類文本的后１０ 條數(shù)據(jù)， 共５０ 條數(shù)據(jù)。將以上訓練集作為輸入數(shù)據(jù)， 根據(jù)處理后標簽屬性的個數(shù)， 將Ｋ 值歸納為２０， 設置迭代次數(shù)為１ ０００次，經(jīng)過前期試驗得到， 在先驗分布參數(shù)α 取值為１ ０時， 整體的訓練效果較好， 因此本次實證采用α ＝１ ０ 訓練得到的ＳＬＤＡ 模型來對測試集數(shù)據(jù)進行分組， 根據(jù)以上ＳＬＤＡ 模型可以得到測試集中每個單詞在不同主題下的概率分布， 該語詞—主題分布矩陣即是所有語詞的全局語義向量ｗｚｉ。

而后利用維基百科語料對文本集進行Ｗｏｒｄ２Ｖｅｃ處理， 以Ｓｋｉｐ－Ｇｒａｍ 模型作為訓練模型， 設置窗口大小為５， 詞向量維數(shù)設置為１００， 得到文本的局部語義嵌入詞向量ｗｃｉ。

３ ２ ２ 綜合語義表示

將根據(jù)訓練的ＳＬＤＡ 模型得到的測試集單詞的全局語義嵌入詞向量ｗｚｉ和根據(jù)Ｗｏｒｄ２Ｖｅｃ 模型得到的單詞局部語義嵌入詞向量ｗｃｉ， 做向量拼接， 得到每個測試集中每個單詞的綜合語義嵌入詞向量，如表６ 所示。

得到單詞的綜合語義嵌入詞向量后， 將其代入測試集的文本中， 將每個句子中所有語詞的綜合語義嵌入詞向量取均值， 便可以得到每個句子的綜合語義向量， 本文對句子的分割以“?！?“？” “．” “？”為基準， 從而盡量保證句子的完整性。由于每個句子所包含的詞語數(shù)量不同， 為統(tǒng)一句子的向量維度， 取句子中所有詞向量的均值來對句子進行向量表示， 可以得到測試集中部分句子的綜合語義向量如表７ 所示。

３ ３ 摘要生成

上文通過獲取全局語義嵌入詞向量及局部語義嵌入詞向量的方式對句子進行了語義表征， 此處利用ＣｏＲａｎｋ 圖排序算法獲取句子的對稱鄰接矩陣，從語義層面獲取句間關系。為便于更直觀地查看模型效果， 本文選擇測試文本集中的第１ 條數(shù)據(jù)， 即類別號為１， 文本序號為９１ 的回答文本進行后續(xù)實證， 表８ 為該文本根據(jù)“?！?“？” “．” “？” 進行句子分割后得到的１１ 個句子。

抽取表８ 中句子的語義向量， 根據(jù)ＣｏＲａｎｋ 算法， 可以計算出句子之間的杰卡德相似系數(shù)， 從而得到句子的對稱鄰接矩陣。

隨后， 將問題標簽作為特征詞引入到文本表里以計算句子之間的關系強度， 根據(jù)特征詞詞頻矩陣以及基于鄰接矩陣， 可以根據(jù)式（６） 迭代計算句子權重得分， 設置閾值為經(jīng)驗值０ ０１， 結果穩(wěn)定后， 其１１ 個句子的得分如表９ 所示。

其中， 句子９、６ 和句子１１、１０ 具有較高的分值。如果僅僅通過句子關系來抽取摘要句子， 則句子９ 和句子６ 可以被看作是包含信息量最大的候選摘要句， 為了保證信息的多樣性， 本文將９１ 號文本中１／３ 的句子加入候選摘要集， 因此對該回答文本， 可以選取得分在前４ 名（即句編號為： ９、６、１０、１１）的句子加入候選摘要集， 取句子最后迭代得到的得分作為句子得分。

根據(jù)以上得到的候選摘要集以及其中的句子得分， 結合ＭＭＲ 冗余控制流程（中間過程）， 將得分最高的句子９ 作為最終摘要的初始句， 為保證用戶能在最短的時間內(nèi)獲取更多的信息且符合快速閱讀習慣， 本研究設置最終摘要長度為８０ 個字（包含文字和標點符號， 中文單字及英文單詞均為１ 個字），迭代過程中得到每個候選摘要句的分數(shù)如表１０ 所示。

在第一次迭代中， 句子６ 就被加入最終摘要中， 導致最終摘要的字數(shù)超過了８０， 因此迭代結束。將最終得到的摘要句９ 和６ 進行組合， 可以得到最終摘要結果為： “因為同義重復的論述， 更容易接受， 深入分析很容易涉及心理的無意識層面和個人精神品質以及一些敏感話題， 互聯(lián)網(wǎng)受眾們更期待情緒價值， 無論是共鳴還是發(fā)泄情緒”， 即為本文實驗結果。

３ ４ 實驗結果分析

從定性角度來看， 本實驗最終摘要句總體可以概況回答文本內(nèi)容， 其包含內(nèi)容較多， 信息較為豐富。同時， 得到的兩個句子在內(nèi)容上重復度較低，更全面地概括了文本內(nèi)容， 即該摘要結果在信息性、多樣上均有較好的結果。此外， 摘要句中均包含“因為”， 這與問題中的疑問遙相呼應， 摘要句中的“互聯(lián)網(wǎng)” 也屬于特征詞， 并且該摘要句能回答該問答文本對應的問題“中文互聯(lián)網(wǎng)的產(chǎn)出在漸漸枯萎嗎”， 闡述了作者對于問題的看法， 說明了問題標簽的引入對句子的權重有一定影響， 從全局角度來看， 該句子與該問題下的內(nèi)容緊密相連，從局部角度來看， 在該回答文本的１１ 個句子中，該摘要具有最豐富的語義信息， 能更好地表達文本主旨內(nèi)容。此外， 學術界也常用ＲＯＵＧＥ（Ｒｅｃａｌｌ－ＯｒｉｅｎｔｅｄＵｎｄｅｒｓｔｕｄｙ ｆｏｒ Ｇｉｓｔｉｎｇ Ｅｖａｌｕａｔｉｏｎ）指標來評價實驗結果， 該指標是在機器翻譯、自動摘要、問答生成等領域常見的評估指標。ＲＯＵＧＥ 通過將模型生成的摘要或者回答與人工得到的摘要或者回答按ｎｇｒａｍ拆分后， 計算召回率， 從而得到對應的得分。

為了驗證本文摘要提取方法的有效性， 在同一數(shù)據(jù)集的基礎上， 本文設置了兩個對照實驗， 將基于ＬＤＡ 的冗余控制方法［５］ 作為實驗一用于驗證有監(jiān)督的主題表示模型對問答文本主題特征的表征情況， 以及將基于ＴｅｘｔＲａｎｋ 的方法［２５］ 作為實驗二用于驗證ＣｏＲａｎｋ 算法對于句子順序的排列效果， 橫向對比得到的評測結果， 按照１－ｇｒａｍ 和２－ｇｒａｍ 進行拆分， 得到ＲＯＵＧＥ－１ 和ＲＯＵＧＥ－２ 值的對比結果， 如圖７ 所示。

實驗結果顯示， 本文方法的評測結果總體上優(yōu)于其他對比方法。實驗一基于ＬＤＡ 及冗余控制的摘要提取方法充分利用了ＬＤＡ 主題模型的特征，從多個角度判斷了句子的重要性， 取得了一定的成果， 但未能進行深層次的語義、語法分析， 忽略了問答文本的標簽屬性等， 導致其評分較低。實驗二基于句子權重優(yōu)化了ＴｅｘｔＲａｎｋ 算法， 但對于問答文本特征的忽略導致其在評測時得分不高。以上結果說明， 本文基于主題特征的主題模型能更全面地挖掘問答文本的語義信息， 所提取的摘要有效性更高， 具有更優(yōu)的摘要提取效果。

４ 結 語

本文結合ＳＬＤＡ 及Ｗｏｒｄ２Ｖｅｃ 語義向量模型， 從全局角度及局部角度挖掘文本語義信息， 利用詞向量更全面地對文本語義進行表征， 基于ＣｏＲａｎｋ 算法實現(xiàn)句子排序， 選取出重要度較高的句子， 初步保證了摘要句在整個回答文本中的重要性； 同時，為保證得到的摘要句與問答文本的問題緊密相關，本文引入問答文本標簽， 結合特征詞， 計算句子得分以保證摘要句信息性； 并采用ＭＭＲ 冗余控制算法， 控制最終摘要長度， 以候選摘要集中的句子冗余得分為基礎， 迭代更新候選摘要集和最終摘要，最終得到具有信息性和多樣性的摘要句。而后， 利用爬蟲技術獲取５ 個問答文本下的５００ 份回答文本數(shù)據(jù)驗證本文模型， 結果顯示， 本模型所抽取的摘要句在總體上概括了文本內(nèi)容， 使用戶在短時間內(nèi)可快速獲取到該回答文本的主旨內(nèi)容， 但本文仍存在一定不足， 例如： 在引入特征詞時， 僅基于詞頻來結合計算句子權重， 容易忽略語義層面上的信息，未來也將在此基礎上做進一步改進， 探索更科學的評價機制來評價結果和模型， 從而繼續(xù)提升在線問答社區(qū)的服務水平， 促進信息服務的高質量發(fā)展。

參考文獻

［１］ Ｂｌｅｉ Ｄ Ｍ， Ｎｇ Ａ Ｙ， Ｊｏｒｄａｎ Ｍ Ｉ． Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ ［ Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， ２００３， ３ （ ４／５）： ９９３ －１０２２．

［２］ Ｆａｎｇ Ｈ， Ｌｕ Ｗ， Ｗｕ Ｆ， ｅｔ ａｌ． Ｔｏｐｉｃ Ａｓｐｅｃｔ－ｏｒｉｅｎｔｅｄ Ｓｕｍｍａｒｉｚａ?ｔｉｏｎ Ｖｉａ Ｇｒｏｕｐ Ｓｅｌｅｃｔｉｏｎ ［Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２０１５， １４９： １６１３－１６１９．

［３］ Ｂａｉｒｉ Ｒ Ｂ， Ｉｙｅｒ Ｒ， Ｒａｍａｋｒｉｓｈｎａｎ Ｇ， ｅｔ ａｌ． Ｓｕｍｍａｒｉｚａｔｉｏｎ ｏｆ ＭｕｌｔｉｄｏｃｕｍｅｎｔＴｏｐｉｃ Ｈｉｅｒａｒｃｈｉｅｓ Ｕｓｉｎｇ Ｓｕｂｍｏｄｕｌａｒ Ｍｉｘｔｕｒｅｓ ［ Ｃ］ ／ ／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５３ｒｄ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍ?ｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ ａｎｄ ｔｈｅ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＮａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （Ｖｏｌｕｍｅ １： Ｌｏｎｇ Ｐａｐｅｒｓ）， ２０１５， １：５５３－５６３．

［４］ Ｙａｎｇ Ｇ． Ａ Ｎｏｖｅｌ Ｃｏｎｔｅｘｔｕａｌ Ｔｏｐｉｃ Ｍｏｄｅｌ ｆｏｒ Ｑｕｅｒｙ－ｆｏｃｕｓｅｄ ＭｕｌｔｉｄｏｃｕｍｅｎｔＳｕｍｍａｒｉｚａｔｉｏｎ ［Ｃ］ ／ ／２０１４ ＩＥＥＥ ２６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ?ｆｅｒｅｎｃｅ ｏｎ Ｔｏｏｌｓ ｗｉｔｈ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． ＩＥＥＥ， ２０１４： ５７６ －５８３．

［５］ 湯丹． 基于ＬＤＡ 和冗余控制的多特征中文自動文摘的研究和實現(xiàn)［Ｄ］． 昆明： 云南師范大學， ２０２１．

［６］ Ｌｉ Ｊ， Ｌｉ Ｓ． Ａ Ｎｏｖｅｌ Ｆｅａｔｕｒｅ－ｂａｓｅｄ Ｂａｙｅｓｉａｎ Ｍｏｄｅｌ ｆｏｒ Ｑｕｅｒｙ Ｆｏ?ｃｕｓｅｄ Ｍｕｌｔｉ－ｄｏｃｕｍｅｎｔ Ｓｕｍｍａｒｉｚａｔｉｏｎ ［Ｊ］． Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ Ａｓ?ｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ， ２０１３， １： ８９－９８．

［７］ Ｖａｌｉｚａｄｅｈ Ｍ， Ｂｒａｚｄｉｌ Ｐ． Ｅｘｐｌｏｒｉｎｇ Ａｃｔｏｒ－ｏｂｊｅｃｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ ｆｏｒＱｕｅｒｙ－ｆｏｃｕｓｅｄ Ｍｕｌｔｉ－ｄｏｃｕｍｅｎｔ Ｓｕｍｍａｒｉｚａｔｉｏｎ ［ Ｊ］． Ｓｏｆｔ Ｃｏｍｐｕ?ｔｉｎｇ， ２０１５， １９ （１１）： ３１０９－３１２１．

［８］ Ｂｌｅｉ Ｍ Ｄ， ＭｃＡｕｌｉｆｆｅ Ｊ Ｄ． Ｓｕｐｅｒｖｉｓｅｄ Ｔｏｐｉｃ Ｍｏｄｅｌｓ ［ Ｊ］． ＮＩＰＳ，２００７： １２１－１２８．

［９］ 唐曉波， 顧娜， 譚明亮． 基于句子主題發(fā)現(xiàn)的中文多文檔自動摘要研究［Ｊ］． 情報科學， ２０２０， ３８ （３）： １１－１６， ２８．

［１０］ 石磊， 阮選敏， 魏瑞斌， 等． 基于序列到序列模型的生成式文本摘要研究綜述［Ｊ］． 情報學報， ２０１９， ３８ （１０）： １１０２－１１１６．

［１１］ 肖元君， 吳國文． 基于Ｇｅｎｓｉｍ 的摘要自動生成算法研究與實現(xiàn)［Ｊ］． 計算機應用與軟件， ２０１９， ３６ （１２）： １３１－１３６．

［１２］ Ｅｒｋａｎ Ｇ， Ｒａｄｅｖ Ｄ Ｒ． Ｌｅｘｒａｎｋ： Ｇｒａｐｈ－ｂａｓｅｄ Ｌｅｘｉｃａｌ Ｃｅｎｔｒａｌｉｔｙａｓ Ｓａｌｉｅｎｃｅ ｉｎ Ｔｅｘｔ Ｓｕｍｍａｒｉｚａｔｉｏｎ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉ?ｇｅｎｃｅ Ｒｅｓｅａｒｃｈ， ２００４， ２２ （１）： ４５７－４７９．

［１３］ Ｗｅｉ Ｆ， Ｌｉ Ｗ， Ｈｅ Ｙ． Ｄｏｃｕｍｅｎｔ－ａｗａｒｅ Ｇｒａｐｈ Ｍｏｄｅｌｓ ｆｏｒ ＱｕｅｒｙｏｒｉｅｎｔｅｄＭｕｌｔｉ －ｄｏｃｕｍｅｎｔ Ｓｕｍｍａｒｉｚａｔｉｏｎ ［ Ｍ］． Ｍｕｌｔｉｍｅｄｉａ Ａｎａｌｙｓｉｓ，Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ． Ｓｐｒｉｎｇｅｒ， Ｂｅｒｌｉｎ， Ｈｅｉｄｅｌｂｅｒｇ， ２０１１：６５５－６７８．

［１４］ Ｓｉｌｖａ Ｓ， Ｊｏｓｈｉ Ｎ， Ｒａｏ Ｓ， ｅｔ ａｌ． Ｉｍｐｒｏｖｅｄ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｄｏｃｕ?ｍｅｎｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ＆ Ｑｕｅｒｙ－ｂａｓｅｄ Ｍｕｌｔｉ－Ｄｏｃｕｍｅｎｔ Ｓｕｍｍａｒｉｚａｔｉｏｎ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， ２０１１， ３（４）： ４０４．

［１５］ 趙美玲， 劉勝全， 劉艷， 等． 基于改進Ｋ－ｍｅａｎｓ 聚類與圖模型相結合的多文本自動文摘研究［Ｊ］． 現(xiàn)代計算機（專業(yè)版），２０１７， （１７）： ２６－３０．

［１６］ Ｗａｎｇ Ｗ， Ｗｅｉ Ｆ， Ｌｉ Ｗ， ｅｔ ａｌ． Ｈｙｐｅｒｓｕｍ： Ｈｙｐｅｒｇｒａｐｈ ＢａｓｅｄＳｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ Ｓｅｎｔｅｎｃｅ Ｒａｎｋｉｎｇ ｆｏｒ Ｑｕｅｒｙ－ｏｒｉｅｎｔｅｄ Ｓｕｍｍａｒｉｚａｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １８ｔｈ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄＫｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ． ＡＣＭ， ２００９： １８５５－１８５８．

［１７］ Ｚｈｅｎｇ Ｈ Ｔ， Ｇｕｏ Ｊ Ｍ， Ｊｉａｎｇ Ｙ， ｅｔ ａｌ． Ｑｕｅｒｙ－Ｆｏｃｕｓｅｄ ＭｕｌｔｉｄｏｃｕｍｅｎｔＳｕｍｍａｒｉｚａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｃｏｎｃｅｐｔ Ｉｍｐｏｒｔａｎｃｅ ［ Ｃ］ ／ ／ Ｐａ?ｃｉｆｉｃ－ Ａｓｉａ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｓｐｒｉｎｇｅｒ， Ｃｈａｍ， ２０１６： ４４３－４５３．

［１８］ 陶興， 張向先， 郭順利， 等． 學術問答社區(qū)用戶生成內(nèi)容的Ｗ２Ｖ－ＭＭＲ 自動摘要方法研究［ Ｊ］． 數(shù)據(jù)分析與知識發(fā)現(xiàn)，２０２０， ４ （４）： １０９－１１８．

［１９］ 陳晨， 侯景瑞， 吳任力， 等． 基于多源混合標簽的社會化問答社區(qū)問題推薦方法研究［Ｊ］． 情報科學， ２０１９， ３７ （７）： １３９－１４５．

［２０］ 朱輝． 融合主題模型的文本語義表示方法研究［ Ｄ］． 煙臺：山東工商學院， ２０２１．

［２１］ 谷瑩， 李賀， 李葉葉， 等． 基于在線評論的企業(yè)競爭情報需求挖掘研究［Ｊ］． 現(xiàn)代情報， ２０２１， ４１ （１）： ２４－３１．

［２２］ 劉凱鵬， 方濱興． 一種基于社會性標注的網(wǎng)頁排序算法［ Ｊ］．計算機學報， ２０１０， ３３ （６）： １０１４－１０２３．

［２３］ 朱玉佳， 祝永志， 董兆安． 基于ＴｅｘｔＲａｎｋ 算法的聯(lián)合打分文本摘要生成［Ｊ］． 通信技術， ２０２１， ５４ （２）： ３２３－３２６．

［２４］ 程琨， 李傳藝， 賈欣欣， 等． 基于改進的ＭＭＲ 算法的新聞文本抽取式摘要方法［Ｊ］． 應用科學學報， ２０２１， ３９ （３）： ４４３－４５５．

［２５］ 曹洋． 基于ＴｅｘｔＲａｎｋ 算法的單文檔自動文摘研究［Ｄ］． 南京：南京大學， ２０１６．

（責任編輯： 郭沫含）