基于中英平行專利語(yǔ)料的短語(yǔ)復(fù)述自動(dòng)抽取研究

李 莉，劉知遠(yuǎn)，孫茂松

（清華大學(xué) 計(jì)算機(jī)系，智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室；清華信息科學(xué)與技術(shù)國(guó)家實(shí)驗(yàn)室（籌），北京100084）

1 引言

專利語(yǔ)料是人類知識(shí)和技術(shù)的載體，信息量豐富，與專利語(yǔ)料相關(guān)的自然語(yǔ)言處理研究，包括長(zhǎng)句分割［1］、語(yǔ)義分詞［2－3］、翻譯對(duì)獲?。?］和分布相似度計(jì)算［5］等，已引起學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。其中，短語(yǔ)復(fù)述自動(dòng)抽取是自然語(yǔ)言處理領(lǐng)域的重要研究課題之一，目前已經(jīng)被成功應(yīng)用到信息檢索、自動(dòng)問答、信息抽取、自動(dòng)文摘和機(jī)器翻譯等多個(gè)自然語(yǔ)言處理研究領(lǐng)域［6］。因而，本文希望展開基于中英平行專利語(yǔ)料的短語(yǔ)復(fù)述自動(dòng)抽取研究。

復(fù)述，其英文名稱是paraphrase，有些學(xué)者也將其翻譯為改寫，對(duì)應(yīng)的名詞解釋是“解釋，釋義等”［6］。關(guān)于復(fù)述的具體定義，最早可追溯到20世紀(jì)80年代語(yǔ)言學(xué)家De Beaugrande等人曾給出的具體定義［7］。在自然語(yǔ)言處理領(lǐng)域，“復(fù)述”研究的主要是“短語(yǔ)以上，句子以下”的語(yǔ)言單元的同義現(xiàn)象［6］。Bazilay等人根據(jù)研究的語(yǔ)言單元粒度，將復(fù)述具體分為詞匯級(jí)、短語(yǔ)級(jí)和句子級(jí)三類［8］。本文重點(diǎn)關(guān)注短語(yǔ)級(jí)復(fù)述的自動(dòng)抽取。

本文利用基于統(tǒng)計(jì)機(jī)器翻譯的復(fù)述抽取技術(shù)［9］實(shí)現(xiàn)中英平行專利語(yǔ)料的短語(yǔ)復(fù)述自動(dòng)抽取。該方法的基本思想是將對(duì)齊到同一目標(biāo)語(yǔ)言短語(yǔ)的兩個(gè)源語(yǔ)言短語(yǔ)視為互為短語(yǔ)復(fù)述。該方法的主要優(yōu)點(diǎn)是基于目前互聯(lián)網(wǎng)上大量存在的雙語(yǔ)平行語(yǔ)料，可以同時(shí)實(shí)現(xiàn)雙語(yǔ)短語(yǔ)復(fù)述自動(dòng)抽取。例如，對(duì)于我們的中英平行專利語(yǔ)料，清華大學(xué)計(jì)算機(jī)系可以同時(shí)實(shí)現(xiàn)中文短語(yǔ)復(fù)述自動(dòng)抽取和英文短語(yǔ)復(fù)述自動(dòng)抽取。同時(shí)，該方法由于是基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型的擴(kuò)展，天然適用于短語(yǔ)級(jí)復(fù)述自動(dòng)抽取任務(wù)。但是，該方法也存在以下兩點(diǎn)不足之處。1）該方法依賴基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯，但目前基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型中的短語(yǔ)并不是語(yǔ)言學(xué)意義上的短語(yǔ)概念［10］，因而抽取的短語(yǔ)復(fù)述中存在大量非語(yǔ)言單元，例如，“network device is”和“網(wǎng)絡(luò)設(shè)備為”等；2）該方法會(huì)受到對(duì)齊錯(cuò)誤和翻譯歧義的限制，經(jīng)常無法區(qū)分短語(yǔ)復(fù)述的抽取質(zhì)量［11］。

針對(duì)該方法的兩點(diǎn)不足，我們分別引入基于組塊分析的過濾技術(shù)和基于分布相似度的重排序技術(shù)來改進(jìn)。組塊 （Chunk）是一種高于詞序列，低于短語(yǔ)的語(yǔ)法結(jié)構(gòu)［12］。組塊分析即將輸入句子中的所有詞都劃分到若干相應(yīng)的組塊中［13］。本文通過對(duì)中、英文專利語(yǔ)料分別進(jìn)行組塊分析，構(gòu)建中、英專利組塊表，并基于這兩個(gè)組塊表過濾短語(yǔ)復(fù)述結(jié)果中的非語(yǔ)言單元，提高短語(yǔ)復(fù)述抽取的準(zhǔn)確率。而為了解決第二個(gè)問題，我們利用分布相似度對(duì)抽取的短語(yǔ)復(fù)述結(jié)果重排序。基于分布相似度進(jìn)行復(fù)述抽取也是短語(yǔ)復(fù)述抽取的常用方法之一，基本思想是認(rèn)為出現(xiàn)在相同或相似上下文的兩個(gè)短語(yǔ)傾向于互為短語(yǔ)復(fù)述［14］。該方法借助大規(guī)模語(yǔ)料，可以較好區(qū)分短語(yǔ)復(fù)述的抽取質(zhì)量，但是卻容易將反義短語(yǔ)誤判定為復(fù)述結(jié)果［15］。幸運(yùn)的是，基于統(tǒng)計(jì)機(jī)器翻譯的方法得到的候選結(jié)果中較少包含反義短語(yǔ)［11］。因而基于分布相似度對(duì)候選短語(yǔ)復(fù)述結(jié)果重排序，在解決基于統(tǒng)計(jì)機(jī)器翻譯的方法無法區(qū)分短語(yǔ)復(fù)述的抽取質(zhì)量的不足的同時(shí)，也回避了自身容易將反義短語(yǔ)誤判定為復(fù)述結(jié)果的不足。所以，本文基于分布相似度對(duì)短語(yǔ)復(fù)述結(jié)果重排序，以改進(jìn)基于統(tǒng)計(jì)機(jī)器翻譯的方法經(jīng)常無法區(qū)分短語(yǔ)復(fù)述的抽取質(zhì)量的不足。

文章接下來的組織結(jié)構(gòu)如下：第2節(jié)介紹算法設(shè)計(jì)；第3節(jié)介紹實(shí)驗(yàn)設(shè)計(jì)；第4節(jié)介紹實(shí)驗(yàn)結(jié)果，第5節(jié)介紹相關(guān)工作，最后進(jìn)行總結(jié)。

2 短語(yǔ)復(fù)述自動(dòng)抽取算法

本文基于中英平行專利語(yǔ)料實(shí)現(xiàn)短語(yǔ)復(fù)述自動(dòng)抽取的算法流程如圖1所示。首先借助基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取技術(shù)，實(shí)現(xiàn)短語(yǔ)復(fù)述候選結(jié)果抽取，然后利用組塊分析技術(shù)過濾候選結(jié)果中的非語(yǔ)言單元。最后，基于分布相似度對(duì)過濾后的短語(yǔ)復(fù)述結(jié)果重排序，以解決對(duì)齊錯(cuò)誤和翻譯歧義引起的錯(cuò)誤。下面逐一介紹各流程的基本思想。

圖1 算法流程圖

2.1 基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述自動(dòng)抽取

基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述自動(dòng)抽取技術(shù)是基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型［16］的擴(kuò)展，該方法的核心思想是將雙語(yǔ)平行語(yǔ)料進(jìn)行短語(yǔ)對(duì)齊后，將對(duì)齊到目標(biāo)語(yǔ)言（如英語(yǔ)）下相同短語(yǔ)的源語(yǔ)言（如中文）下不同的短語(yǔ)視為互為短語(yǔ)復(fù)述。例如，圖2所示的例子，在該思想的引導(dǎo)下會(huì)將“網(wǎng)絡(luò)裝置”和“網(wǎng)絡(luò)設(shè)備”作為一對(duì)中文短語(yǔ)復(fù)述抽取出來。考慮到該方法包括短語(yǔ)對(duì)齊和復(fù)述抽取，下面依次介紹。

圖2 基于雙語(yǔ)平行語(yǔ)料抽取短語(yǔ)復(fù)述

2.1.1 短語(yǔ)對(duì)齊

最早的統(tǒng)計(jì)機(jī)器翻譯模型是基于詞的［17］。在基于詞的統(tǒng)計(jì)機(jī)器翻譯模型下，一個(gè)源語(yǔ)言句子e翻譯為目標(biāo)語(yǔ)言句子f的翻譯概率是通過將所有可能的詞對(duì)齊（a，alignment首字母）條件下句對(duì)的翻譯概率疊加計(jì)算的。具體如公式（1）所示。

隨著統(tǒng)計(jì)機(jī)器翻譯的發(fā)展，句子之間的翻譯概率逐漸使用更大的對(duì)齊文本塊（如短語(yǔ)，這里的短語(yǔ)僅僅指詞序列，而不是語(yǔ)言學(xué)意義上的短語(yǔ)）來進(jìn)行計(jì)算，其中基于對(duì)齊短語(yǔ)計(jì)算句對(duì)翻譯概率的統(tǒng)計(jì)機(jī)器翻譯模型即為基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型，也是目前主流的統(tǒng)計(jì)機(jī)器翻譯模型之一。實(shí)際上，基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型中的短語(yǔ)對(duì)齊也是基于詞對(duì)齊實(shí)現(xiàn)的，其基本思想是遞歸地將句對(duì)中詞對(duì)齊點(diǎn)相鄰的詞序列作為短語(yǔ)對(duì)齊結(jié)果［18］。例如，圖2所示的例子，因?yàn)樵~對(duì)齊點(diǎn)相鄰，會(huì)將“網(wǎng)絡(luò)設(shè)備”和“network device”作為一對(duì)短語(yǔ)對(duì)齊結(jié)果。類似地，“網(wǎng)絡(luò)設(shè)備為”和“network device is”也會(huì)被作為一對(duì)短語(yǔ)對(duì)齊結(jié)果?；诙陶Z(yǔ)對(duì)齊結(jié)果，可以很方便地實(shí)現(xiàn)雙語(yǔ)短語(yǔ)對(duì)抽取從而獲得短語(yǔ)表以用于下面的復(fù)述抽取。

2.1.2 復(fù)述抽取

基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述自動(dòng)抽取技術(shù)本質(zhì)上是將目標(biāo)語(yǔ)言的短語(yǔ)作為錨點(diǎn)，找到短語(yǔ)對(duì)齊結(jié)果中與該錨點(diǎn)對(duì)齊的所有源語(yǔ)言短語(yǔ)作為候選復(fù)述結(jié)果。為了計(jì)算各個(gè)候選復(fù)述結(jié)果的概率值，Chris等人引入p（e2｜e1）表示短語(yǔ)對(duì)＜e1，e2＞互為復(fù)述的概率，引入p（e｜f）表示目標(biāo)語(yǔ)言短語(yǔ)f翻譯到源語(yǔ)言短語(yǔ)e的翻譯概率，反過來即為p（f｜e）。之后Chris等人通過將所有錨點(diǎn)對(duì)應(yīng)的翻譯概率疊加計(jì)算短語(yǔ)對(duì)互為復(fù)述的概率，并挑選對(duì)應(yīng)概率值最大的短語(yǔ)e2作為e1的短語(yǔ)復(fù)述結(jié)果抽出。具體計(jì)算公式如式（2）所示：

其中短語(yǔ)對(duì)翻譯概率p（e｜f）基于最大似然概率計(jì)算，如式（3）所示。

引言部分提到，因?yàn)榛诙陶Z(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型中的短語(yǔ)并不是源自任何深層次語(yǔ)言知識(shí)的短語(yǔ)概念，即并不一定是嚴(yán)格語(yǔ)言學(xué)意義的短語(yǔ)。例如，從圖2例子得到的短語(yǔ)“網(wǎng)絡(luò)設(shè)備為”和“network device is”，這樣就導(dǎo)致了我們基于統(tǒng)計(jì)機(jī)器翻譯進(jìn)行短語(yǔ)復(fù)述抽取得到的候選結(jié)果中，包含著大量非語(yǔ)言單元。所以，我們期望通過基于組塊分析的技術(shù)過濾其中的非語(yǔ)言單元。下面具體介紹。

2.2 基于組塊分析過濾短語(yǔ)復(fù)述抽取結(jié)果

組塊是一種語(yǔ)法結(jié)構(gòu)，是符合一定語(yǔ)法功能的非遞歸短語(yǔ)，任何一種組塊內(nèi)部都不包含其他類型的組塊［13］。例如，“網(wǎng)絡(luò)設(shè)備”就是一個(gè)名詞組塊。而組塊分析即將一段輸入文本劃分成一組互不重疊、非遞歸的組塊片段［19］。

本文中，我們希望基于組塊分析技術(shù)，限制抽取的短語(yǔ)復(fù)述結(jié)果是語(yǔ)言單元，而不僅僅是詞序列。即我們期望通過中、英組塊分析工具分別得到中文組塊列表和英文組塊列表，然后通過這兩個(gè)列表對(duì)上一步得到的短語(yǔ)復(fù)述結(jié)果進(jìn)行確認(rèn)，僅僅保留在這兩個(gè)組塊列表中出現(xiàn)的短語(yǔ)復(fù)述結(jié)果。

2.3 基于分布相似度重排序短語(yǔ)復(fù)述抽取結(jié)果

引言部分提到，基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取受限于對(duì)齊錯(cuò)誤和翻譯歧義，有時(shí)并不能很好的區(qū)分好、壞復(fù)述。特別在應(yīng)用于中英平行專利語(yǔ)料時(shí)，翻譯歧義造成的中文短語(yǔ)復(fù)述抽取錯(cuò)誤比較明顯。例如，因?yàn)椤俺绦颉焙汀肮?jié)目”都被翻譯為“program”，導(dǎo)致“程序類型”和“節(jié)目類型”被作為一對(duì)短語(yǔ)復(fù)述抽取出來。為了消除翻譯歧義和對(duì)齊錯(cuò)誤等造成的影響，我們基于分布相似度對(duì)上一步過濾后的短語(yǔ)復(fù)述抽取結(jié)果進(jìn)行重排序以優(yōu)化短語(yǔ)復(fù)述抽取結(jié)果。

基于分布相似度進(jìn)行短語(yǔ)復(fù)述抽取的基本思想是將上下文分布相同或相似的短語(yǔ)作為短語(yǔ)復(fù)述結(jié)果抽出。目前比較常用的分布相似度計(jì)算方法包括詞袋方法（bag－of－words approach）和上下文窗口（context window approach）方法等［20］。這兩種方法的基本思想都是計(jì)算短語(yǔ)的上下文矩陣，然后通過余弦相似度計(jì)算對(duì)應(yīng)上下文矩陣的相似度作為兩個(gè)短語(yǔ)的分布相似度。其中，詞袋方法對(duì)于每個(gè)短語(yǔ)p，收集以p為中心的上下文窗口中的每個(gè)詞，并將這些詞的頻度加入上下文矩陣。而上下文窗口方法則收集每個(gè)以p為中心的上下文窗口，并將這些上下文窗口的頻度加入上下文矩陣?？紤]到上下文窗口方法更適用于海量語(yǔ)料，而我們是基于已有的中英平行專利語(yǔ)料計(jì)算短語(yǔ)復(fù)述的分布相似度，所以我們選擇詞袋方法，并基于該分布相似度對(duì)短語(yǔ)復(fù)述抽取結(jié)果進(jìn)行重排序。

3 實(shí)驗(yàn)設(shè)計(jì)

本文中，我們基于的中英平行專利語(yǔ)料包含5 867組中英平行專利文檔，每組包括一篇中文專利文檔和對(duì)應(yīng)的英文專利文檔。我們利用句子對(duì)齊工具［21］從中抽取中英平行句對(duì)252 790對(duì)，并從中隨機(jī)抽取了46 543對(duì)句對(duì)進(jìn)行人工檢驗(yàn)，得到對(duì)齊準(zhǔn)確率達(dá)到98.4%。

下面我們按照?qǐng)D1所示的算法流程依次介紹我們具體的實(shí)驗(yàn)設(shè)計(jì)。

3.1 基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述自動(dòng)抽取

我們借助基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯開源工具M(jìn)oses［22］實(shí)現(xiàn)短語(yǔ)對(duì)齊和雙語(yǔ)短語(yǔ)對(duì)抽取，得到包含9 933 939對(duì)雙語(yǔ)短語(yǔ)對(duì)的短語(yǔ)表。正如前文提到的，這一步我們抽取得到的短語(yǔ)表中大部分是無意義的詞序列 （其中大量詞序列甚至包括標(biāo)點(diǎn)符號(hào)），而不是實(shí)際語(yǔ)言學(xué)意義上的短語(yǔ)。這些詞序列的存在不僅對(duì)于短語(yǔ)復(fù)述抽取無意義，而且增加了計(jì)算復(fù)雜度。所以在基于式（2）和式（3）進(jìn)行短語(yǔ)復(fù)述抽取之前，我們基于簡(jiǎn)單規(guī)則對(duì)短語(yǔ)表進(jìn)行過濾。我們定義的過濾規(guī)則如下：1）過濾短語(yǔ)表中包含中英標(biāo)點(diǎn)符號(hào)的短語(yǔ)對(duì)；2）過濾短語(yǔ)表中在中文部分包含數(shù)字、英文字符的短語(yǔ)對(duì)；

3）過濾短語(yǔ)表中在英文部分包含非英文字符的短語(yǔ)對(duì)；

4）將中文部分相同，英文部分在忽略大小寫時(shí)相同的短語(yǔ)對(duì)合并。

經(jīng)過這一步簡(jiǎn)單的基于規(guī)則過濾，我們保留下來的短語(yǔ)表僅包含2 850 237對(duì)雙語(yǔ)短語(yǔ)對(duì)，規(guī)模約為原來短語(yǔ)表的28.69%。

之后，我們通過式（2）和式（3），利用基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取技術(shù)，分別實(shí)現(xiàn)中文短語(yǔ)復(fù)述自動(dòng)抽取和英文短語(yǔ)復(fù)述自動(dòng)抽取。

3.2 基于組塊分析技術(shù)過濾非語(yǔ)言單元

因?yàn)榛诙陶Z(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型中的短語(yǔ)概念并不是實(shí)際語(yǔ)言學(xué)意義上的短語(yǔ)，更多的是無意義的詞序列，而簡(jiǎn)單的基于規(guī)則過濾并不能保證保留下來的短語(yǔ)是語(yǔ)言學(xué)意義上的短語(yǔ)。所以，我們接下來基于組塊分析技術(shù)過濾中英短語(yǔ)復(fù)述結(jié)果中的非語(yǔ)言單元。

在這一步驟中，我們使用CRFTagger［23］對(duì)英文專利語(yǔ)料進(jìn)行詞性標(biāo)注，使用THULAC［24］對(duì)中文專利語(yǔ)料進(jìn)行分詞和詞性標(biāo)注。對(duì)英文專利語(yǔ)料我們借助開源工具CRFChunk［25］進(jìn)行組塊分析，而對(duì)于中文專利語(yǔ)料，我們基于CRF模型，借助清華中文樹庫(kù)（Tsinghua Chinese Treebank）［26］訓(xùn)練了一個(gè)中文組塊分析器，并在清華中文樹庫(kù)上檢驗(yàn)了該分析器的效果，如表1所示?？梢钥吹?，我們?cè)O(shè)計(jì)的中文組塊分析器在組塊識(shí)別上F1值基本都在85%以上，效果較好。

我們通過中、英組塊分析工具分別得到中文組塊列表和英文組塊列表，然后通過這兩個(gè)列表對(duì)上一步得到的短語(yǔ)復(fù)述結(jié)果進(jìn)行確認(rèn)，僅僅保留在這兩個(gè)組塊列表中出現(xiàn)的短語(yǔ)復(fù)述結(jié)果。

表1 中文組塊分析器在清華中文樹庫(kù)評(píng)測(cè)效果

3.3 基于分布相似度重排序短語(yǔ)復(fù)述抽取結(jié)果

考慮到基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取受限于對(duì)齊錯(cuò)誤和翻譯歧義，有時(shí)并不能很好地區(qū)分短語(yǔ)復(fù)述質(zhì)量。特別在應(yīng)用于中英平行專利語(yǔ)料時(shí)，翻譯歧義造成的中文短語(yǔ)復(fù)述抽取錯(cuò)誤比較明顯。所以我們基于現(xiàn)有的中英平行專利語(yǔ)料，借助分布相似度中的詞袋方法對(duì)上一步過濾后的短語(yǔ)復(fù)述抽取結(jié)果進(jìn)行重排序。在具體實(shí)驗(yàn)中，我們重點(diǎn)關(guān)注中文短語(yǔ)復(fù)述抽取，并對(duì)比分析了不同上下文窗口大小時(shí)重排序的效果。具體見實(shí)驗(yàn)結(jié)果部分。

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取，以及后面的兩個(gè)改進(jìn)策略（包括基于組塊分析的過濾技術(shù)以及基于分布相似度的重排序技術(shù)）的效果。我們對(duì)排名前500的短語(yǔ)復(fù)述結(jié)果進(jìn)行人工標(biāo)注。以“E”標(biāo)注對(duì)應(yīng)的短語(yǔ)復(fù)述結(jié)果并不是語(yǔ)言學(xué)意義上的短語(yǔ)；以“N”標(biāo)注雖然對(duì)應(yīng)的短語(yǔ)復(fù)述結(jié)果是語(yǔ)言學(xué)意義上的短語(yǔ)，但是兩個(gè)短語(yǔ)并不互為復(fù)述；以“Y”標(biāo)注正確的短語(yǔ)復(fù)述結(jié)果。

我們分別統(tǒng)計(jì)了基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取和兩個(gè)改進(jìn)策略在前500個(gè)結(jié)果中的Precision、Recall和F1值。需要特別說明的是Recall值的計(jì)算，因?yàn)楹茈y計(jì)算準(zhǔn)確的Recall值，所以我們基于Pooling［27］方法。即我們將3個(gè)方法對(duì)應(yīng)的前500個(gè)結(jié)果中的所有正確結(jié)果作為結(jié)果池 （pool），然后基于這個(gè)結(jié)果池統(tǒng)計(jì)每個(gè)方法對(duì)應(yīng)的Recall值。下面我們依次分析兩個(gè)改進(jìn)策略的表現(xiàn)。

4.1 基于組塊分析過濾非語(yǔ)言單元

表2和表3分別展現(xiàn)了中文短語(yǔ)復(fù)述抽取結(jié)果的準(zhǔn)確率和英文短語(yǔ)復(fù)述抽取結(jié)果的準(zhǔn)確率?？梢钥吹?，基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取技術(shù)（表中簡(jiǎn)稱為復(fù)述抽?。┰谥?、英文上的準(zhǔn)確率分別為43.20%和43.60%，而經(jīng)過基于組塊分析過濾非語(yǔ)言單元（表中簡(jiǎn)稱為組塊過濾）后，準(zhǔn)確率分別上升至75.00%和52.40%，準(zhǔn)確率均有大幅提升，由此驗(yàn)證了基于組塊分析過濾非語(yǔ)言單元確實(shí)能夠改進(jìn)基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取效果。這一點(diǎn)也可以通過改進(jìn)前后標(biāo)注為“E”的結(jié)果數(shù)大幅減少看出。

表2 中文短語(yǔ)復(fù)述抽取結(jié)果人工評(píng)測(cè)（前500）

表3 英文短語(yǔ)復(fù)述抽取結(jié)果人工評(píng)測(cè)（前500）

但是，我們同時(shí)注意到，基于組塊分析過濾非語(yǔ)言單元的改進(jìn)策略在中文上的表現(xiàn)要優(yōu)于英文。關(guān)于這點(diǎn)，我們經(jīng)過分析數(shù)據(jù)發(fā)現(xiàn)，拼寫錯(cuò)誤以及英文語(yǔ)言環(huán)境中豐富的詞性變化是錯(cuò)誤率較高的原因之一。如“filer coefficients”和“filter coefficients”被作為一對(duì)短語(yǔ)復(fù)述抽取出來，但是其實(shí)前者是后者的錯(cuò)誤拼寫之一。再比如，雖然“alteration”和“modified”都是“改變”的意思，但是因?yàn)樵~性不同，并不能作為一對(duì)短語(yǔ)復(fù)述結(jié)果。而中文語(yǔ)言環(huán)境中幾乎不存在這樣的拼寫錯(cuò)誤、詞性變化，所以基于組塊分析過濾非語(yǔ)言單元的改進(jìn)策略在中文上的表現(xiàn)要優(yōu)于英文。

4.2 基于分布相似度重排序短語(yǔ)復(fù)述結(jié)果

考慮到該改進(jìn)策略在英文短語(yǔ)復(fù)述抽取中的有效性已經(jīng)被Chan等研究者證明［11］。下面我們重點(diǎn)分析該改進(jìn)策略在中文短語(yǔ)復(fù)述抽取上的效果。

我們選用詞袋方法（表中簡(jiǎn)記為Bow）對(duì)4.1改進(jìn)后的前500個(gè)復(fù)述抽取結(jié)果進(jìn)行重排序，并對(duì)比分析不同上下文窗口大小時(shí)該改進(jìn)策略的效果。我們依次統(tǒng)計(jì)重排序前后短語(yǔ)復(fù)述抽取結(jié)果Top100、Top200、Top300、Top400的對(duì)應(yīng)的Precision、Recall和F1值，并在圖3中展示 （重排序技術(shù)并不會(huì)影響Top500對(duì)應(yīng)的準(zhǔn)確率）。圖3中Baseline是重排序前的準(zhǔn)確率，而BowN是利用上下文窗口大小為N時(shí)的詞袋方法重排序后的準(zhǔn)確率。

從圖3中Precision、Recall和F1值的對(duì)比中，我們可以明顯看到利用分布相似度對(duì)短語(yǔ)復(fù)述結(jié)果重排序改進(jìn)了抽取效果。同時(shí)，從Precision值的對(duì)比中可以較明顯的看到上下文窗口大小較小時(shí)的改進(jìn)效果要優(yōu)于上下文窗口大小較大時(shí)的改進(jìn)效果。我們猜測(cè)是因?yàn)楫?dāng)選定的上下文窗口大小較大時(shí)，模糊了不互為短語(yǔ)復(fù)述的兩個(gè)短語(yǔ)的相似度差值。

圖3 不同上下文窗口大小下基于分布相似度重排序短語(yǔ)復(fù)述結(jié)果的效果

5 相關(guān)工作

目前復(fù)述抽取的相關(guān)工作主要分為四大類，包括基于已有語(yǔ)言標(biāo)注資源 （如 WordNet［28］、How－Net［29］等）的復(fù)述抽?。?0－32］；基于分布相似度的復(fù)述抽?。?3－34］；基于譯文語(yǔ)料的復(fù)述抽?。?，35］和基于統(tǒng)計(jì)機(jī)器翻譯的復(fù)述抽?。?］。

基于現(xiàn)有語(yǔ)言學(xué)資源的復(fù)述抽取精度較高，但是受到現(xiàn)有語(yǔ)言學(xué)資源的規(guī)模、主題甚至語(yǔ)言的限制，而且比較適用于詞匯級(jí)復(fù)述自動(dòng)抽取任務(wù)。

基于分布相似度的復(fù)述抽取利用了目前海量的互聯(lián)網(wǎng)語(yǔ)料資源，計(jì)算方便直觀，但是缺點(diǎn)是容易將反義詞或反義短語(yǔ)作為復(fù)述結(jié)果抽取出來。

基于譯文語(yǔ)料的復(fù)述抽取借助目前網(wǎng)絡(luò)存在的關(guān)于具體文章的多種譯文版本，通過句子對(duì)齊工具構(gòu)建復(fù)述抽取語(yǔ)料，之后借助上下文模版實(shí)現(xiàn)復(fù)述自動(dòng)抽取。該方法精度較高，同時(shí)適用于詞匯級(jí)、短語(yǔ)級(jí)和句子級(jí)復(fù)述自動(dòng)抽取，但是受限于譯文資源較少，對(duì)于缺乏多版本譯文資源的專利領(lǐng)域難以開展。

基于統(tǒng)計(jì)機(jī)器翻譯的復(fù)述抽取基本思想是將目標(biāo)語(yǔ)言的短語(yǔ)視為錨，將對(duì)齊到同一錨的兩個(gè)源語(yǔ)言短語(yǔ)視為短語(yǔ)復(fù)述結(jié)果。該方法依賴基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯模型中的短語(yǔ)對(duì)齊和短語(yǔ)對(duì)抽取技術(shù)，優(yōu)點(diǎn)包括1）對(duì)于每個(gè)短語(yǔ)都提供了可能的復(fù)述列表并且包含相應(yīng)的概率值，這樣在具體的任務(wù)中，用戶可以根據(jù)具體上下文選擇最合適的短語(yǔ)復(fù)述；2）該方法天然適用于短語(yǔ)級(jí)復(fù)述自動(dòng)抽?。?）該方法適用于任何雙語(yǔ)或多語(yǔ)平行語(yǔ)料，對(duì)于語(yǔ)料資源限制極少。但是，該方法也有著自己的不足之處，包括以下兩點(diǎn)：1）其中的短語(yǔ)概念并不是嚴(yán)格語(yǔ)言學(xué)意義上的短語(yǔ)概念，大部分是無意義的詞序列，這樣就導(dǎo)致抽取的短語(yǔ)復(fù)述中存在大量非語(yǔ)言單元；2）該方法因?yàn)槭芟抻趯?duì)齊錯(cuò)誤和翻譯歧義，因此有些時(shí)候并不能很好地區(qū)分好、壞短語(yǔ)復(fù)述。對(duì)于第二點(diǎn)不足，Chan等研究者嘗試?yán)梅植枷嗨贫葘?duì)復(fù)述抽取結(jié)果重排序，并在英文短語(yǔ)復(fù)述抽取中驗(yàn)證了有效性［11］。

6 結(jié)論

本文利用基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取技術(shù)從中英平行專利語(yǔ)料中抽取短語(yǔ)復(fù)述，并利用基于組塊分析的技術(shù)過濾短語(yǔ)復(fù)述抽取結(jié)果。而且，為了處理對(duì)齊錯(cuò)誤和翻譯歧義引起的短語(yǔ)復(fù)述抽取錯(cuò)誤，我們利用分布相似度對(duì)過濾后的短語(yǔ)復(fù)述結(jié)果進(jìn)行重排序。實(shí)驗(yàn)表明，基于統(tǒng)計(jì)機(jī)器翻譯的短語(yǔ)復(fù)述抽取在中英文上準(zhǔn)確率分別為43.20%和43.60%，而經(jīng)過基于組塊分析的過濾技術(shù)后準(zhǔn)確率分別提升至75.50%和52.40%。同時(shí)，利用分布相似度的重排序算法也能夠有效改進(jìn)中文短語(yǔ)復(fù)述抽取效果。

［1］張西龍，季鐸，王巖，等.英漢專利語(yǔ)料中長(zhǎng)句的分割［J］.沈陽(yáng)航空航天大學(xué)學(xué)報(bào).2011，28（5）：67－70.

［2］張桂平，劉東生，尹寶生，等.面向?qū)＠墨I(xiàn)的中文分詞技術(shù)的研究［J］.中文信息學(xué)報(bào).2010，24（3）：112－116.

［3］岳金媛，徐金安，張玉潔.面向?qū)＠墨I(xiàn)的漢語(yǔ)分詞技術(shù)研究［J］.北京大學(xué)學(xué)報(bào)：自然科學(xué)版.2013（1）：159－164.

［4］劉穎，鐵錚，余暢.漢英短語(yǔ)翻譯對(duì)的自動(dòng)抽?。跩］.計(jì)算機(jī)應(yīng)用與軟件.2012，29（7）：69－72.

［5］郭麗.基于上下文的詞語(yǔ)相似度計(jì)算及其應(yīng)用 ［D］［D］.沈陽(yáng)航空工業(yè)學(xué)院，2009.

［6］劉挺，李維剛，張宇，等.復(fù)述技術(shù)研究綜述［J］.中文信息學(xué)報(bào)，2006，20（4）：25－33.

［7］De Beaugrande R，Dressler W.Introduction to text linguistics［Z］.London：Longman，1981.

［8］Bazilay R，Mckeown K R.Extracting paraphrases from a parallel corpus［C］／／2001.

［9］Bannard C，Callison－Burch C.Paraphrasing with bilingual parallel corpora［C］／／2005.

［10］宗成慶，張宵軍.統(tǒng)計(jì)機(jī)器翻譯［M］.電子工業(yè)出版社，2012.

［11］Chan T P，Callison－Burch C，Van Durme B.Reranking bilingually extracted paraphrases using monolingual distributional similarity［C］.2011.

［12］周強(qiáng)，孫茂松，黃昌寧.漢語(yǔ)句子的組塊分析體系［J］.計(jì)算機(jī)學(xué)報(bào).1999，22（11）：1158－1165.

［13］徐中一，胡謙，劉磊.基于CRF的中文組塊分析［J］.吉林大學(xué)學(xué)報(bào)：理學(xué)版.2007，45（3）：416－420.

［14］Katz J J.The philosophy of linguistics［M］.Oxford University Press，1985.

［15］Lin D，Pantel P.Discovery of inference rules for question－answering［J］.Natural Language Engineering.2001，7（4）：343－360.

［16］Koehn P，Och F J，Marcu D.Statistical phrase－based translation［C］.2003.

［17］Brown P F，Pietra V J D，Pietra S A D，et al.The mathematics of statistical machine translation：Parameter estimation［J］.Computational linguistics.1993，19（2）：263－311.

［18］Och F J，Ney H.A systematic comparison of various statistical alignment models［J］.Computational linguistics.2003，29（1）：19－51.

［19］李珩，朱靖波，姚天順.基于SVM 的中文組塊分析［J］.中文信息學(xué)報(bào).2004，18（2）：1－7.

［20］Agirre E，Alfonseca E，Hall K，et al.A study on similarity and relatedness using distributional and wordnet－based approaches［C］.2009.

［21］Li P，Sun M，Xue P.Fast－Champollion：A Fast and Robust Sentence Alignment Algorithm［C］／／Proceedings of Beijing，China：Coling 2010Organizing Committee，2010.

［22］Koehn P，Hoang H，Birch A，et al.Moses：Open source toolkit for statistical machine translation［C］.2007.

［23］Phan X H.Crftagger：Crf english pos tagger［J］.A－vailable at crftagger.source forge.net，2006.

［24］Kaixu Z，Maosong S.Unified Framework of Performing Chinese Word Segmentation and Part－of－Speech Tagging［J］.CHINA COMMUNICATIONS，2012，9（3）：1－9.

［25］Phan X H.Crfchunker：Crf english phrase chunker［C］.PACLIC，2006.

［26］周強(qiáng).漢語(yǔ)句法樹庫(kù)標(biāo)注體系［J］.中文信息學(xué)報(bào).2004，18（4）：1－8.

［27］Voorhees E M.The philosophy of information retrieval evaluation［C］.2002.

［28］Miller G A，Beckwith R，F(xiàn)ellbaum C，et al.Introduction to wordnet：An on－line lexical database［J］.International journal of lexicography，1990，3（4）：235－244.

［29］Dong Z，Dong Q.HowNet［J］.2000.

［30］Hatzivassiloglou V，McKeown K R.Towards the automatic identification of adjectival scales：Clustering adjectives according to meaning［C］／／Proceedings of the 31st annual meeting on Association for Computational Linguistics.Association for Computational Linguistics，1993：172－182.

［31］田久樂，趙蔚.基于同義詞詞林的詞語(yǔ)相似度計(jì)算方法［J］.吉林大學(xué)學(xué)報(bào)：信息科學(xué)版.2010（06）：602－608.

［32］Blondel V D，Senellart P P.Automatic extraction of synonyms in a dictionary［J］.vertex，2011，1：x1.

［33］Pereira F，Tishby N，Lee L.Distributional clustering of English words［C］／／Proceedings of the 31st annual meeting on Association for Computational Linguistics. Association for Computational Linguistics，1993：183－190.

［34］Lin D.Automatic retrieval and clustering of similar words［C］／／Proceedings of the 17th International Conference on Computational linguistics－Volume 2.Association for Computational Linguistics，1998：768－774..

［35］Ibrahim A，Katz B，Lin J.Extracting structural paraphrases from aligned monolingual corpora［C］／／Proceedings of the second international workshop on Paraphrasing－Volume 16.Association for Computational Linguistics，2003：57－64.