基于句子的多屬性融合相似度計算方法①

袁紹正,周艷平

(青島科技大學 信息科學技術學院,青島 266061)

計算句子相似度是自然語言處理領域研究的一個基礎且重要的工作,有著廣泛的應用方向,多用于智能問答、信息檢索、語義分析和文本分類等場景.

目前對于句子相似度的研究停留在語義理解范圍,依托越來越龐大的數(shù)據(jù)庫做大量的仿真,做到讓機器理解人類的語言,但現(xiàn)有的句子相似度計算方法主要分為兩大類:基于統(tǒng)計的方法和基于深度學習的方法[1].典型的方法有萊文斯坦距離、BM25、TF-IDF、Word2Vec余弦相似度、Jaccard 系數(shù)相似性計算等.

國內外各個學者對句子相似度的研究做了廣泛的探索.Tian 等[2]提出一種基于同義詞表的改進Word2Vec句子相似度算法,通過構建同義詞表和融合詞向量來提高句子相似度計算的準確性;Wilson 等[3]提出一種使用組合語義方法來測量文檔相似性的有效方法,該方法結合了多個語義計算;文獻[2,3]的研究由于語義工具和應用邏輯的效率決定了應用程序的準確度和整體性能,待進一步提升;Goz 等[4]研究基于關鍵字的社交網(wǎng)絡相似性的適用性;Ruan 等[5]計算句子相似度是將Word2Vec 方法和詞嵌入相似度方法結合,二者對于關鍵詞詞性信息稍欠考慮;翟社平等[6]提出多特征的句子詞形、詞序及句長特征融合的相似度計算方法,由于句子關鍵詞存在一詞多義,只考慮了句子的字面特征,將導致相似度匹配不準確.

句子由多個詞組成也包含多種屬性,句長度、詞出現(xiàn)的頻率和詞在句中的詞性以及其在句中的順序對句子語義的影響度不同,需綜合考慮到句子深層和表層所有因素[7].因此本文以句子的語序結構、詞性信息和形態(tài)結構等特點為核心要素,構建研究領域本體庫,通過給各屬性分配權重,提出一種基于句子的多屬性融合相似度計算方法,以提升句子相似度計算的合理性.

1 相似度概念

1.1 句子相似度

文本相似度一般指文本在語義上的相似程度[8],句子相似度指的是句子在語義上的相似程度,用來評估句子之間符合程度.如果兩個句子之間符合程度高,那兩者一定有相似或相同的屬性,令SIM(S1,S2)作為兩個句子S1和S2的相似度,則其具有以下幾個特點:

(1)SIM(S1,S2)∈[0,1]∩SIM(S1,S2)∈R,表示兩個句子相似度的取值;

(2)SIM(S1,S2)=0,表示句子之間沒有任何相同的屬性,兩個句子不相似;

(3)SIM(S1,S2)=1,表示兩個句子在形態(tài)結構、語序結構、語義信息等方面具有完全相同的屬性;

(4)SIM(S1,S2)=SIM(S2,S1),表示兩個句子相似且具有對稱性.

1.2 余弦相似度

兩個句子的相似度可以用向量余弦值的值來衡量,稱為余弦相似度[9].首先,將兩個句子數(shù)字化變成向量,其次,計算其夾角余弦cos(θ),衡量兩個向量之間差異的大小.余弦值接近1,夾角趨于0,表明兩個向量越相似,余弦值接近0,夾角趨于90 度,表明越不相似.如圖1所示,向量a和向量b的余弦夾角小于向量a和向量c的余弦夾角,表示a和b具有更高的相似度.

圖1 向量的余弦相似度

將句子S1和S2以向量表示:

則句子的余弦相似度計算公式為:

2 基于句子的多屬性融合相似度計算方法

一個句子除包含的關鍵詞外,也不能忽略自身的一些屬性,比如詞頻、詞序、詞性和句長,本文將4 個屬性進行加權融合得到句子相似度.句子之間在詞語形態(tài)上的相似度,即出現(xiàn)共有關鍵詞的頻率為詞頻相似度;句子之間共有關鍵詞的相對位置關系的相似度為詞序相似度;句子之間共有關鍵詞的詞性的相似度為詞性相似度;兩個句子的長度的關系為句長相似度.

傳統(tǒng)方法對句子進行分詞、去停等操作提取關鍵詞進行表面特征的相似度比較,這是不全面的,中文自然語言不同于英文自然語言,中文有著豐富且靈動的表達形式.如詞性方面,“退役士兵有什么需要？”與“退役士兵需要有什么？”,此處的兩個“需要”字面特征一致,本質卻不同,名詞和動詞的詞性不同導致句子所表達的意思有差別.詞性序列如表1所示.

表1 句子關鍵詞詞性

本文將使用哈爾濱工業(yè)大學開發(fā)的在線語言技術平臺(language technology platform,LTP)[10]進行分詞并得到所需的句子屬性信息.LTP 處理后的結果如圖2.

圖2 分詞和詞性標注的結果

2.1 詞頻相似度計算方法

改進基于向量空間模型TF-IDF(term frequencyinverted document frequency)的詞頻計算方法[11].TFIDF 簡單結構沒有考慮詞語的語義信息,無法處理一詞多義與一義多詞的情況.

采用詞語逆頻率方式計算加權算法TF-IWF(term frequency-inverse word frequency),將句子S1和S2各自的詞頻向量映射到向量空間中,其中為關鍵詞wi的詞頻-逆詞頻率,為關鍵字wi在文本中出現(xiàn)的頻率,即TF 值,表示關鍵詞wi出現(xiàn)的次數(shù)與所有詞匯量的比值,iwfwi為逆詞頻率,即IWF 值,表示為所有詞語的頻數(shù)之和與關鍵詞wi出現(xiàn)的頻數(shù)和的比值.結合向量余弦相似度方法[12]:

2.2 詞序相似度計算方法

句子中共有關鍵詞需考慮其相對位置關系,詞序相似度是共有關鍵詞在兩個句子中的位置相似度,詞位置順序不同導致句子意思不同.句子S1=“青島籍退役士兵在北京服役政策”,句子S2=“北京籍退役士兵在青島服役政策”.經詞性和詞頻相似度計算,S1和S2相似度是100%,但實際意義差別較大,采用逆序數(shù)與向量距離相似度度量方法[13,14]融合計算詞序相似度.

舉例說明,S1的中心詞={‘青島’,‘退役士兵’,‘北京’,‘服役’,‘政策’};S2的中心詞={‘北京’,‘退役士兵’,‘青島’,‘服役’,‘政策’}.

以句子S1的序列為標準序列(1,2,3,4,5).

首先以兩個句子所含相同關鍵詞的逆序數(shù)作為衡量因素,S2的序列為(3,2,1,4,5),Ron(S1,S2,s)代表句子S2中詞匯的逆序數(shù),S為相同關鍵詞個數(shù),則采用逆序數(shù)衡量詞序相似度公式為:

得出句子S1和S2的逆序數(shù)詞序相似度為:

然后以兩個句子所含相同關鍵詞的向量距離[14]作為衡量因素,distance(S1,S2)代表句子S1到S2的向量距離,maxDistance(S1,S2)為distance(S1,S2)的最大值,其計算公式為:

得出句子S1和S2的向量距離詞序相似度為:

逆序數(shù)Rev(S1,S2)與向量距方法Vec(S1,S2)融合計算詞序相似度為:

2.3 詞性相似度計算方法

詞性相似度(nature similarity)指兩個句子中共有關鍵詞的詞性相似度,此相似度計算方法用來完善一詞多義的情況[15],定義為具有相同詞性的共有關鍵詞數(shù)與兩個句子總關鍵詞數(shù)和之比.計算公式為:

使用LTP 分詞后并將得到的關鍵詞詞性進行比較,式子中Ncs(S1,S2)是句子S1和S2相同詞性的共有關鍵詞數(shù),Com(S1)和Com(S2)即句子S1和S2的總關鍵詞數(shù).顯而易見的,如果得到的兩個句子詞性相同的關鍵詞數(shù)越多,那么兩個句子詞性相似度越高.

2.4 句長相似度計算方法

以詞頻、詞序、詞性為核心要素計算相似度時,而要完整、準確的反映句子的信息也要考慮句長的存在.

兩個句子長度的差的絕對值,可以反映一定程度上的句子相似度,其與絕對值的大小成反比,值越小,說明此種程度上的相似度越大.假設句子S1長度表示為Len(S1),S2長度表示為Len(S2),句長相似度表示為LenSim(S1,S2),則其計算公式如下:

式中,abs()為絕對值函數(shù).

2.5 句子的多屬性融合相似度計算方法

綜合詞頻、詞序、詞性、句長4 種屬性,融合4 種相似度,其計算流程如圖3所示.

圖3 方法計算流程

首先輸入句子S1,S2,經過分詞處理、去停留詞、詞性標注等預處理操作,最終得出句子相似度公式為:

式中,α 、 β、 γ、 δ分別是詞頻、詞序、詞性和句長相似度的權重值,其中0≤ α≤1,0≤ β≤1,0≤ γ≤1,0≤δ≤1,且滿足|α+β+γ+δ|=1.

本文采用層次分析法(AHP)[16]通常被用到處理復雜的決策問題,準備采取決策的問題分成3 個層次,基于該方法計算出的各相似度的權重.步驟如下:

(1)將問題條理化、層次化,根據(jù)詞頻、詞序、詞性和句長相似度建立層次結構模型.

(2)根據(jù)經驗賦予各相似度重要程度并構造判斷矩陣,詞頻與詞序相似度重要程度高且一致,相較而言,詞性和句長相似度重要程度低且一致,并使用1～9 及其倒數(shù)作為標度來確定ai j的值,如表2所示.

顯然,表2 中的元素滿足:

表2 重要程度

根據(jù)層次分析法規(guī)則可得比較矩陣,如表3所示.

表3 比較矩陣

(3)層次單排序并進行一致性檢驗,根據(jù)表3 可得判斷矩陣A.

計算該判斷矩陣的最大特征值λmax= 3,其對應的特征向量為[0.6934,0.6934,0.1387,0.1387],求出一致性指標CI(consistency index):

其中,n為矩陣的維度,得出CI=0,表示完全一致.CI的值越小,表示越一致,CI的值越大,表示越不一致.

(4)使用Satty 模擬1 000 次得到的RI表計算一致性比率,RI表如表4所示.

表4 RI 表

根據(jù)|α+β+γ+δ|=1,得出基于詞頻和詞序屬性的相似度權值為0.417,基于詞性和句長屬性的相似度權值為0.083.

3 實驗及分析

本文算法實驗中,開發(fā)環(huán)境為Windows 10 X64,開發(fā)工具為VSCode1.54.1,開發(fā)語言為Python 3.6.4.采用哈爾濱工業(yè)大學開發(fā)的在線語言技術平臺(LTP)進行關鍵詞分詞并得出所需的句子的屬性.

為驗證方法的效果,對本文提出的基于句子的多屬性融合相似度計算方法和Jarcarrd、文獻[14]方法,設計對比試驗,以召回率(Recall)、準確率(Precision)、F-度量值(F-Measure)[17]對比不同算法的性能,F 度量值綜合涵蓋召回率與準確率兩個指標,值越接近于100%,說明準確率和召回率越均衡,方法的效果越好,相反,如果F 度量值越接近于0,說明兩個指標的均衡性越差,方法效果欠缺.

(1)召回率(Recall)衡量相似度匹配的查全率.

(2)準確率(Precision)衡量相似度匹配的查準率.

(3)F-度量值(F-Measure)是召回率與準確率的指標歸一化平均值,用于反映整體的指標.

實驗步驟如下:

實驗所需數(shù)據(jù)為隨機從國家與地方退役軍人事務局等網(wǎng)站爬取的,經過數(shù)據(jù)處理建立的問答庫,從中選取300 條問答對作為初始數(shù)據(jù)集S.隨機從S中選取50 條作為初始標準集,余下250 條作為初始噪聲集,w為標準集的問句,w∈S.依次使用w作為百度知道的查詢條件,利用Python 正則表達式對查詢返回的網(wǎng)頁進行標簽分析處理,提取出網(wǎng)頁中前5 個標題,問句w會有1-5 個相似問句,人工處理篩選出標題和問句相似度高的句子,得到完善好的包含223 個元素的擴充標準集,將擴充標準集和初始標準集混合成為273 個元素的標準測試集,相同的將初始噪聲集處理得到包含1 190 個元素的擴充噪聲集,并和初始噪聲集混合得到1 440 個元素的噪聲測試集,最后將二者混合得到測試集.依次從標準測試集的273 個句子中抽出一個問句P,然后將其與測試集的問句的相似度計算出進行逆序排列,如果前5 個句子包括了擴充標準集中問句P所以對應的1-5 個句子,則表明句子相似度計算達到預期.實驗結果如表5所示.

表5 句子相似度對比實驗(%)

Jaccard 方法和文獻[14]方法與本文方法的實驗結果從表5 可以看出,Jaccard 方法具有較高準確率和較低召回率,但該方法以句子的字面量為特征,所以有一定限制在一詞多義層面的相似度計算方面,句子中包含的關鍵詞相似,但卻忽略了關鍵詞詞性的不同.文獻[14]方法解決了一義多詞問題,比較而言,其召回率比Jaccard 方法高64.3%,準確率卻下降了26.2%,顯而易見,兩種方法均沒有達到均衡穩(wěn)定的效果.本文方法相較于文獻[14]方法準確率提高約20%,且F-度量值更接近于100%,明顯優(yōu)于使用Jaccard 方法和文獻[14]方法.

4 結論與展望

本文提出的基于句子的多屬性融合相似度計算方法,綜合考慮了句子的結構和包含的屬性,以詞頻、詞序、詞性和句長4 種相似度加權融合計算,對提高句子相似度計算的準確率有利,且不會大范圍出現(xiàn)召回率的降低,其可靠性及可行性優(yōu)于傳統(tǒng)方法,召回率、準確率不僅均衡且歸一化F度量值較高,達到87.12%,擁有綜合優(yōu)勢.接下來,將該方法應用于智能問答系統(tǒng)的句子匹配,可適用普遍存在的句子語法情況,進一步研究時,將繼續(xù)優(yōu)化此方法的復雜度及問答效率.