基于句子多種特征的相似度計(jì)算模型

李秋明++張衛(wèi)山++張培穎

摘要：句子相似度計(jì)算模型在基于實(shí)例的機(jī)器翻譯中有著舉足輕重的地位。提出了一種基于多特征加權(quán)的句子相似度計(jì)算模型，在對中文句子的詞形、詞序、句法和語義4種特征相似度計(jì)算的基礎(chǔ)上，融合這4種特征，通過采用不同的特征權(quán)重來調(diào)節(jié)不同特征對句子相似度計(jì)算的影響，使得句子相似度計(jì)算更加準(zhǔn)確。實(shí)驗(yàn)結(jié)果表明，該算法在計(jì)算句子相似度方面準(zhǔn)確性較高。

關(guān)鍵詞：句子相似度；詞語相似度；詞序相似度；句法相似度；語義相似度

DOIDOI：10.11907/rjdk.161604

中圖分類號：TP301

文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2016）009000402

基金項(xiàng)目基金項(xiàng)目：山東省自然科學(xué)基金項(xiàng)目（ZR2014FQ018）

作者簡介作者簡介：李秋明（1981-），女，山東濟(jì)寧人，中國石油大學(xué)（華東）計(jì)算機(jī)與通信工程學(xué)院碩士研究生，研究方向?yàn)樽匀徽Z言處理、句子相似度計(jì)算；張衛(wèi)山（1970-），男，山東萊陽人，中國石油大學(xué)（華東）計(jì)算機(jī)與通信工程學(xué)院教授，研究方向?yàn)榇髷?shù)據(jù)處理和普適云計(jì)算；張培穎（1981-），男，遼寧盤錦人，中國石油大學(xué)（華東）計(jì)算機(jī)與通信工程學(xué)院講師，研究方向?yàn)樽匀徽Z言處理、未來網(wǎng)絡(luò)架構(gòu)和云計(jì)算。本文通訊作者為張培穎。

0引言

度量兩個文本之間的語義相似度是自然語言處理領(lǐng)域中基礎(chǔ)的研究課題。兩個文本之間的語義相似度度量可以應(yīng)用在許多自然語言處理任務(wù)中，例如：文本抄襲檢測、查詢結(jié)果評價以及自動問答系統(tǒng)等。

由于中文句法表達(dá)的多樣性和中文標(biāo)注語料庫資源的缺乏，導(dǎo)致計(jì)算兩個句子的相似度非常困難。研究人員只能利用有限的語料資源和句子的表層特征進(jìn)行句子相似度計(jì)算。隨著自然語言處理技術(shù)的迅速發(fā)展，學(xué)者對句子之間的語義相似度提出了許多計(jì)算方法。這些方法按照對語句的分析程度分為基于統(tǒng)計(jì)的方法和基于知識的方法?；诮y(tǒng)計(jì)的方法借助大規(guī)模語料庫計(jì)算句子中的詞語或短語出現(xiàn)的頻次，或者利用N-Grammar的方法計(jì)算短語出現(xiàn)的頻次來度量兩個句子之間的語義相似度。代表性方法有基于向量模型的方法[1]、句子相似模型和最相似句子查找算法[2]；基于知識的方法主要是利用語義知識計(jì)算句子的相似度，比較有代表性的有：基于中文句子的依存關(guān)系計(jì)算句子之間的相似度[9]、多種層次融合的句子相似度計(jì)算模型[10]、一種改進(jìn)的句子相似度計(jì)算模型[11]。

本文主要從中文句子所包含的多種特征角度出發(fā)，考慮中文句子的詞形、詞序、句法和語義4個方面特征，這4個特征在表達(dá)句子信息時各有側(cè)重、互為補(bǔ)充。實(shí)驗(yàn)數(shù)據(jù)表明，該算法在計(jì)算句子相似度方面具有較高的準(zhǔn)確率。

2實(shí)驗(yàn)結(jié)果分析

測試采用MSRP語料庫中的句子。MSRP語料庫中的句子是英文的，我們首先翻譯成中文，然后利用本文方法進(jìn)行句子相似度計(jì)算。

對比句子相似度算法有：TF-IDF方法、語義依存方法和本文方法，測試實(shí)驗(yàn)結(jié)果如表1所示。

從實(shí)驗(yàn)結(jié)果可以看出：本文提出的多特征融合句子相似度計(jì)算方法性能優(yōu)于語義依存的計(jì)算方法，原因在于該方法綜合考慮了中文句子中包含的詞語、詞序、句法和語義4種特征。我們對計(jì)算錯誤的13對中文句子仔細(xì)分析，發(fā)現(xiàn)產(chǎn)生計(jì)算錯誤的句子中包含未登錄詞，在進(jìn)行句法分析時出現(xiàn)了錯誤。含有未登錄詞的句子在進(jìn)行語義計(jì)算時出現(xiàn)錯誤，所以準(zhǔn)確率也隨之降低。

參考文獻(xiàn)：

[1]張奇，黃萱菁，吳立德.一種新的句子相似度度量及其在文本自動摘要中的應(yīng)用[J].中文信息學(xué)報，2004，19（2）：9399.

[2]呂學(xué)強(qiáng)，任飛亮，黃志丹，等.句子相似模型和最相似句子查找算法[J].東北大學(xué)學(xué)報：自然科學(xué)版， 2003，24（6）：531534.

[3]XIONG JING，LIU YUN TONG，YUAN DONG.Dependency syntactic tree supported sentence similarity computing[J].Information Technology Journal.2013，12（20）：56855688.

[4]張培穎.多特征融合的語句相似度計(jì)算模型[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（26）：136137.

[5]劉群，李素建.基于知網(wǎng)的詞匯語義相似度計(jì)算[C].臺北：第三屆漢語詞匯語義學(xué)研討會，2002.

[6]夏天.中文信息相似度計(jì)算理論與方法[M].鄭州：河南科學(xué)技術(shù)出版社， 2009.

[7]江敏，肖詩斌，王弘蔚，等.一種改進(jìn)的基于《知網(wǎng)》的詞語語義相似度計(jì)算[J].中文信息學(xué)報，2008，22（5）：8489.

[8]趙彥鋒，周曉紅.領(lǐng)域本體的語義相似度算法研究[J].軟件導(dǎo)刊，2015，14（12）：4952.

[9]李彬，劉挺，秦兵，等.基于語義依存的漢語句子相似度計(jì)算[J].計(jì)算機(jī)應(yīng)用研究，2003，20（12）：1517.

[10]南鉉國，崔榮一.基于多層次融合的語句相似度計(jì)算模型[J].延邊大學(xué)學(xué)報：自然科學(xué)版，2007，33（3）：191194.

[11]楊思春.一種改進(jìn)的句子相似度計(jì)算模型[J].電子科技大學(xué)學(xué)報，2006，35（6）：956959.

[12]YUHUA LI， ZUHAIR BANDAR， DAVID MCLEAN ，et al.A method for measuring sentence similarity and its application to conversational agents[M].AAAI， 2004.

責(zé)任編輯（責(zé)任編輯：杜能鋼）