基于結(jié)構(gòu)化學(xué)習(xí)的語句壓縮研究

張永磊，王紅玲，周國棟

（蘇州大學(xué) 自然語言處理實(shí)驗(yàn)室，江蘇 蘇州215006；蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州215006）

1 引言

隨著網(wǎng)絡(luò)的普及，我們每天接觸的信息越來越多；如何能夠在有限的時(shí)間內(nèi)掌握更多有用的信息越來越引起人們的關(guān)注。文檔的自動(dòng)摘要作為目前的熱門研究課題，是解決這一問題的有效途徑之一。而作為自動(dòng)摘要的重要組成部分，語句壓縮除了應(yīng)用于自動(dòng)文摘外，在其他方面也有較廣泛的應(yīng)用。例如，Corston－Oliver［1]將文本壓縮后顯示在 PDA、手機(jī)等設(shè)備的小屏幕上。Vandeghinste＆Pan［2]則在刪除冗余的和非重要信息的同時(shí)保留話題主要論點(diǎn)，從而生成對話標(biāo)題。語句壓縮的另一個(gè)較早的應(yīng)用是使用在盲人語音閱讀設(shè)備上［3]，文本經(jīng)過壓縮后再使用語音機(jī)器加快閱讀速度，使得盲人的閱讀方式類似于正常人的快速閱讀方式。

語句壓縮廣義上可以定義為：給定一個(gè)句子，生成對應(yīng)的一個(gè)句子，生成的句子滿足以下三個(gè)條件：比源語句短；保留源語句的重要信息；符合語法規(guī)范。在先前的工作中，人們主要采用刪除單詞、插入單詞、改變詞序、替換單詞等方法進(jìn)行語句壓縮。其中刪除單詞法是目前大多數(shù)系統(tǒng)采用的方法，如Knight＆Marcu［4]，Riezler等［5]，Mc Donal d［6]等，即只考慮從源語句中刪除單詞與短語，這也是本文所采用的方法。在這個(gè)方法中，語句壓縮可被定義為生成源語句x＝l1，l2，……，ln的一個(gè)子串y＊＝c1，c2，……，cm的過程，其中，ci∈｛l1，l2，……，ln｝；假設(shè)F（ci）表示ci在源語句中對應(yīng)單詞的序號(hào)，則F（ci）＜F（ci＋1），即在語句壓縮的過程中不改變詞的順序。

目前針對語句壓縮的研究才剛剛開展，存在著壓縮結(jié)果不盡如人意、缺乏統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)等問題。本文將語句壓縮看成一個(gè)結(jié)構(gòu)化學(xué)習(xí)的過程，即在源語句的句法樹上學(xué)習(xí)一棵子樹作為其壓縮后的語句（見圖1）。同時(shí)，本文還提出了兩種自動(dòng)評(píng)測指標(biāo)來評(píng)價(jià)壓縮結(jié)果。

圖1 語句壓縮實(shí)例

本文的主要內(nèi)容如下：第2節(jié)是相關(guān)工作的介紹，介紹了在基于單詞刪除框架下的語句壓縮的方法及其不足；第3節(jié)是結(jié)構(gòu)化學(xué)習(xí)方法的相關(guān)介紹；第4節(jié)是我們的主要工作，在這一部分我們主要介紹解碼方式、丟失函數(shù)、特征的選擇以及我們采用的評(píng)測方法；第5節(jié)實(shí)驗(yàn)與評(píng)測結(jié)果；第6節(jié)結(jié)論與未來工作。

2 相關(guān)工作

在語句壓縮研究中，Knight＆Marcu［4]的貢獻(xiàn)是具有開創(chuàng)性的，他們首次將噪音信道模型和決策樹模型用于語句壓縮中，并提出了后來被廣泛使用的評(píng)測指標(biāo)：I mportance（重要性）、Gra mmaticality（語法符合度）和Co mpression Ratio（壓縮率）。在其使用的噪音信道模型中，通過最大化目標(biāo)語句的條件概率查找最優(yōu)的目標(biāo)語句。該方法的效果很好，但仍存在一些缺點(diǎn)：第一，該模型中用于表示目標(biāo)語句生成概率的原模型，是使用未壓縮的語句訓(xùn)練得到，因此造成了數(shù)據(jù)的不準(zhǔn)確；第二，訓(xùn)練信道模型需要將源語句句法樹與目標(biāo)語句句法樹對齊，由于句法分析器的可靠性等問題會(huì)導(dǎo)致源語句與目標(biāo)語句句法樹中有大量的錯(cuò)誤，這使得句法樹的對齊非常困難，最終導(dǎo)致信道模型概率的可靠性降低。

Knight和Marcu［4]提出的另一種決策樹模型是通過學(xué)習(xí)源語句的句法樹轉(zhuǎn)換成目標(biāo)語句的句法樹的決策過程。在該過程中定義了四種操作：SHIFT（將當(dāng)前輸入隊(duì)列的隊(duì)首單詞移到棧中）、REDUCE（移除棧首的k個(gè)句法樹，并聯(lián)合生成一個(gè)新的句法樹，并將其重新放入棧中；在這里是用于生成目標(biāo)語句的句法樹）、DROP（從輸入列表中對應(yīng)句法成分的詞的子序列中刪除）、ASSIGNTYPE（修改棧頂句法樹的標(biāo)簽，如詞在源語句中的詞性與在目標(biāo)語句中的詞性不同）。壓縮以一個(gè)空棧和一個(gè)由源語句的句法樹組成的輸入隊(duì)列開始，基于棧中保留的成分與單詞和已經(jīng)生成的部分的目標(biāo)語句的特征，進(jìn)行學(xué)習(xí)什么時(shí)候該使用哪個(gè)操作。該方法避免了噪音信道模型中句法樹對齊帶來的不可靠性，但是，該方法僅使用保留節(jié)點(diǎn)與刪除節(jié)點(diǎn)的句法特征，沒有使用詞與詞性層的二元或三元文法等特征，所以，該模型會(huì)生成短而不符合語法的目標(biāo)語句。

Mc Donal d［6]抽取了詞、詞性、句法結(jié)構(gòu)信息等特征，使用最大邊緣學(xué)習(xí)算法學(xué)習(xí)每個(gè)特征的權(quán)重，最后查找目標(biāo)語句集中最優(yōu)目標(biāo)語句。Mc Donald的工作取得了非常好的評(píng)測效果。我們對其研究做進(jìn)一步的分析后發(fā)現(xiàn)，采用二元文法丟失函數(shù)的效果比采用一元文法的好。

3 結(jié)構(gòu)化學(xué)習(xí)方法

對于結(jié)構(gòu)化學(xué)習(xí)的問題，通常可以使用在線學(xué)習(xí)算法解決，如感知器、MIRA（mar gin－inf used relaxed algorith m）、Str uctured SV M 等。本文使用Str uct ured SV M，即支持結(jié)構(gòu)化輸出的支持向量機(jī)學(xué)習(xí)算法［7]。Str uctured SV M支持自定義丟失函數(shù)，這也是它對語句壓縮和其他文本生成問題最大的吸引力。

傳統(tǒng)的SV M是通過學(xué)習(xí)一個(gè)最大超平面將二元或多元分類問題分割開；同樣，對于Str uctured SV M也是通過學(xué)習(xí)一個(gè)最大超平面將正確的結(jié)構(gòu)與其他結(jié)構(gòu)分割開。該學(xué)習(xí)算法的目標(biāo)函數(shù)如式（1）：

其中，ξi是訓(xùn)練語料中的實(shí)例對（xi，y）對應(yīng)的松弛變量，C為常量，y＊是實(shí)例xi的標(biāo)準(zhǔn)目標(biāo)語句，l（yi，y＊）是預(yù)測目標(biāo)yi與標(biāo)準(zhǔn)結(jié)果y＊相比的丟失值。

訓(xùn)練過程中，主要就是查找目標(biāo)集合中具有較高得分和較大的丟失值的目標(biāo)語句，即查詢以下兩個(gè)函數(shù)任意一個(gè)的最大值：

其中，下標(biāo)sl ack表明訓(xùn)練過程中重定位松弛變量ξ，mar gin表示訓(xùn)練過程中重定位最大邊緣。對于任意實(shí)例，當(dāng)w特定時(shí)，wTf（y＊，xi）為定值，所以式（2）可化簡為式（3）形式：

Tsochantaridis［7]分別使用了這兩種函數(shù)進(jìn)行實(shí)驗(yàn)，得到的結(jié)果性能相差并不大。因此在本文實(shí)驗(yàn)中，采用函數(shù)。另外，通過式（3）我們發(fā)現(xiàn)對于查找目標(biāo)函數(shù)的最優(yōu)值，可以通過擴(kuò)展解碼函數(shù)來實(shí)現(xiàn)，即在解碼過程中增加丟失函數(shù)值。

對于目標(biāo)函數(shù)（1）的優(yōu)化問題，Tsochantaridis提出的算法大大降低了時(shí)間復(fù)雜度。該算法在每一輪迭代的過程中僅增加當(dāng)前最大違反規(guī)則的限制條件，即當(dāng)前實(shí)例的解碼空間中與標(biāo)準(zhǔn)目標(biāo)語句相比具有最高的得分與丟失值之和。

4 基于結(jié)構(gòu)化學(xué)習(xí)的語句壓縮

本文所采用方法的系統(tǒng)框架如圖2所示。在此，我們將語句壓縮看作是基于特征權(quán)重的最大邊緣訓(xùn)練過程，即結(jié)構(gòu)化學(xué)習(xí)過程。在實(shí)驗(yàn)中我們主要抽取了源語句x轉(zhuǎn)換為目標(biāo)語句y的相關(guān)特征，因此使用f（y，x）表示特征函數(shù)。這樣解碼就是一個(gè)求解線性最優(yōu)問題，如式（4）所示。

其中，Y是x的解碼空間集，y為解碼空間集中的最優(yōu)目標(biāo)語句，w為特征權(quán)重。

圖2 基于結(jié)構(gòu)化學(xué)習(xí)的語句壓縮方法框架

4.1 解碼

根據(jù)上面的介紹解碼問題是一個(gè)線性規(guī)劃問題。但是對于語句壓縮問題的解碼空間非常大，假設(shè)源語句x有n個(gè)單詞，則它的目標(biāo)語句集有2n個(gè)元素，隨著單詞數(shù)的增加，解碼空間成指數(shù)級(jí)增長；算法1：解碼算法在這樣大的解碼空間中，查找最優(yōu)的目標(biāo)，時(shí)間復(fù)雜度非常大，所以本文采用Mc Donald使用的簡化的解碼方法，具體算法如算法1，該算法的時(shí)間復(fù)雜度為O（n3）。在此算法中我們可以通過限定查找過程中變量len（即目標(biāo)語句長度）的上限來限定壓縮率的上限，則算法的時(shí)間復(fù)雜度為O（n2×len）。

4.2 丟失函數(shù)

0－1丟失函數(shù)是最簡單的丟失函數(shù)，即當(dāng)預(yù)測語句與標(biāo)準(zhǔn)目標(biāo)語句不同時(shí)為1，相同時(shí)為0，但是這種簡單的丟失函數(shù)無法明確表示預(yù)測語句與標(biāo)準(zhǔn)目標(biāo)語句的差異性大小。在實(shí)驗(yàn)中我們分別測試了基于單詞丟失比例以及二元文法丟失比例的丟失函數(shù)，結(jié)果表明二元文法丟失具有較好的性能，二元文法丟失函數(shù)在實(shí)驗(yàn)中定義如式（6）：

其中，｜B（y）｜為語句y的二元文法，Max為求兩個(gè)數(shù)中的最大數(shù)。

實(shí)驗(yàn)過程中，我們也測試了 Mc Donal d［6]所采用的丟失函數(shù)，即以預(yù)測出的語句與標(biāo)準(zhǔn)目標(biāo)語句之間錯(cuò)誤刪除的單詞數(shù)與錯(cuò)誤保留的單詞數(shù)的和為丟失函數(shù)。結(jié)果表明，采用該丟失函數(shù)的效果比采用的二元文法丟失的效果差，因此，在以后的實(shí)驗(yàn)中我們均默認(rèn)使用二元文法丟失函數(shù)。

4.3 特征集

由于目前針對語句壓縮還沒有大規(guī)模的人工標(biāo)注語料，所以選擇合適的特征空間非常困難。經(jīng)過反復(fù)的測試與對比，我們最終抽取了詞和句法兩方面的特征（表1）。在以后的工作中我們還將進(jìn)一步對特征空間的選擇進(jìn)行研究。

4.3.1 詞特征

實(shí)驗(yàn)中我們主要使用的詞特征有：保留的單詞的詞性二元文法（DT＆NN、NN＆VBD等）、保留單詞是否為停用詞（Is Stop（t he）＝1）、刪除單詞為動(dòng)詞、刪除單詞是否為源語句的中心詞等。

實(shí)驗(yàn)中我們發(fā)現(xiàn)詞匯級(jí)特征很容易導(dǎo)致數(shù)據(jù)稀疏和過度擬合問題，所以在實(shí)驗(yàn)中很少使用詞匯特征，主要使用詞性級(jí)特征。

4.3.2 句法特征

詞特征不包含詞在語句中的特征，如刪除從句中的動(dòng)詞與主謂語動(dòng)詞是不一樣的，因此這些信息起到了重要作用，所以我們提取了詞在句子結(jié)構(gòu)中的相關(guān)特征。

句法結(jié)構(gòu)是自然語言處理中非常重要的信息，對于語句壓縮句法結(jié)構(gòu)信息有很大的指導(dǎo)性，這也是我們將語句壓縮看做句法樹的剪枝操作的原因。首先加入的是刪除邊的信息（如：NP——PP）指示當(dāng)前節(jié)點(diǎn)被刪除及其父節(jié)點(diǎn)的標(biāo)簽。在通過分析語料后，我們發(fā)現(xiàn)大量的從句以及介詞短語會(huì)被刪除，所以又加入了被刪除的SBAR節(jié)點(diǎn)與其中心詞詞性的聯(lián)合信息（如：SBAR＆WP）、被刪除的PP節(jié)點(diǎn)與其中心詞詞性的聯(lián)合信息（如：PP＆IN）兩類特征。最后加入了被刪除的節(jié)點(diǎn)與其父節(jié)點(diǎn)的結(jié)構(gòu)框架（如圖1中的實(shí)例：對于PP節(jié)點(diǎn)NP（NP，PP－D））等特征。

表1 特征表（以圖1為例說明）

4.4 評(píng)測指標(biāo)

到目前為止，對于語句壓縮性能的評(píng)價(jià)，大都采用人工評(píng)測指標(biāo)，還沒有較好的自動(dòng)評(píng)測指標(biāo)。盡管人工評(píng)測具有較準(zhǔn)確、可靠的優(yōu)勢，但也存在以下缺陷：首先，測試語料較大時(shí)，人工評(píng)測的工作量很大，測試語料較小時(shí)，人工評(píng)測的可信度較小；其次，人工評(píng)測的主觀性較大，不同評(píng)測人員的評(píng)測結(jié)果沒有比較意義。因此，本文提出了兩種自動(dòng)評(píng)測方案，以彌補(bǔ)人工評(píng)測的不足。而本文的實(shí)驗(yàn)結(jié)果最終采用了人工評(píng)測與自動(dòng)評(píng)測結(jié)合的方式進(jìn)行評(píng)測。

4.4.1 人工評(píng)測指標(biāo)

在之前的工作中，語句壓縮主要采用以下人工評(píng)測指標(biāo)進(jìn)行評(píng)測：

·Importance：壓縮語句保留源語句重要信息度。

·Grammaticality：壓縮語句的語法結(jié)構(gòu)。

通常使用5分制給壓縮后的目標(biāo)語句的Importance和Grammaticality評(píng)分，最后統(tǒng)計(jì)分析。

4.4.2 自動(dòng)評(píng)測指標(biāo)

根據(jù)以上語句壓縮的定義可知，語句壓縮的性能主要是需要評(píng)測目標(biāo)語句是否符合語法、保留源語句中重要信息度和壓縮率等。所以，在我們的實(shí)驗(yàn)中又采用了以下的自動(dòng)評(píng)測指標(biāo)：

·壓縮率：即源語句中單詞在目標(biāo)語句中保留的比例。壓縮率是語句壓縮目前唯一公認(rèn)的自動(dòng)評(píng)測標(biāo)準(zhǔn)，具有可對比性。但是，我們不能一味的追求高效的壓縮率，通常壓縮率越低，目標(biāo)語句所包含的信息量會(huì)越少。目前，大多數(shù)的壓縮系統(tǒng)的壓縮率都是在60%左右。在我們的工作中，對壓縮率的要求是達(dá)到人工壓縮的同等水平，然后再追求其他評(píng)測標(biāo)準(zhǔn)較好的效果。

·N－Gram文法：即目標(biāo)語句的N－Gram文法值。語言模型是自然語言處理的重要模型，應(yīng)用非常廣泛。在之前的工作中，有的將N－Gram文法值作為語句壓縮的特征，在這里，我們使用N－Gram文法作為評(píng)測語句壓縮的一個(gè)評(píng)測指標(biāo)。由于NGram模型的構(gòu)造需要大量的數(shù)據(jù)，所以，我們沒有自己構(gòu)造N－Gram模型，而是使用微軟公司提供的N－Gra m網(wǎng)絡(luò)服務(wù)接口①http：／／research.microsoft.com／en－us／collaboration／f ocus／cs／web－ngram.aspx。實(shí)驗(yàn)中我們統(tǒng)計(jì)了四元文法值，該項(xiàng)評(píng)測指標(biāo)值越低表明目標(biāo)語句的文法越好。

·BLEU（相似度）：即目標(biāo)語句與標(biāo)準(zhǔn)目標(biāo)語句的相似程度。BLEU是機(jī)器翻譯中最基本的評(píng)測指標(biāo)。由于我們的語句壓縮僅作單詞刪除操作，所以，可以使用BLEU進(jìn)行評(píng)測。在實(shí)驗(yàn)中，我們使用BLEU進(jìn)行相似度比較，計(jì)算到四元文法，該項(xiàng)指標(biāo)值越大表明目標(biāo)語句與標(biāo)準(zhǔn)目標(biāo)語句越接近，即值越大性能越好。

在Cohn［8]的工作中還采用了丟失函數(shù)值作為自動(dòng)評(píng)測指標(biāo)，本文使用的丟失函數(shù)是基于詞的二元文法丟失，在我們使用BLEU評(píng)測指標(biāo)中已經(jīng)使用了二元文法，所以，在自動(dòng)評(píng)測中不再使用丟失函數(shù)作為評(píng)測指標(biāo)。

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中，我們使用的是愛丁堡大學(xué)的written平行語料，該語料來自于82個(gè)文件包含了1622組平行語句，且該語料僅進(jìn)行單詞刪除，其中1250組語句用作訓(xùn)練語料，70組語句用作開發(fā)語料，302組語句用作測試語料。根據(jù)前文的介紹，我們首先需要對語料中的源語句集進(jìn)行句法分析，使用的句法分析器是來自于斯坦福大學(xué)的開源工具Stanf or d－Parser②htt p：／／nlp.stanfor d.edu／soft ware／lex－parser.sht ml。在對平行語料做單詞對齊時(shí)，實(shí)驗(yàn)中我們使用的是自己編寫的詞對齊代碼，當(dāng)然也可以使用Giza＋＋、Ber keley Aligner等工具（我們的初步實(shí)驗(yàn)發(fā)現(xiàn)，Giza＋＋、Ber keley Aligner工具在做相同語言的單詞對齊時(shí)效果并不是很好）。

經(jīng)過以上處理后，我們使用SV Mstruct③htt p：／／download.joachi ms.or g／sv m＿str uct／current／sv m＿str uct.tar.gz工具學(xué)習(xí)特征權(quán)重，本文在訓(xùn)練過程中，將收斂性ε設(shè)置為10－4。

5.2 基準(zhǔn)系統(tǒng)

在實(shí)驗(yàn)中，我們建立了一個(gè)簡單的基于規(guī)則的語句壓縮系統(tǒng)作為基準(zhǔn)系統(tǒng)（Baseline），用于和基于結(jié)構(gòu)化學(xué)習(xí)方法的語句壓縮進(jìn)行效果對比。在這里，我們也是采用在成分句法樹上做剪枝操作，主要用到以下簡單的規(guī)則：（1）對于引用語從句只保留引用語；（2）刪除表示時(shí)間地點(diǎn)等的狀語從句；（3）刪除部分介詞短語；（4）刪除名詞的修飾語（包括定語從句、介詞短語等）；（5）刪除插入語等（如表2中實(shí)例，這些實(shí)例都是從測試語料中抽取的）。這些規(guī)則都是我們通過觀察大量語句的實(shí)例得來的，需要說明的是，這些實(shí)例不是來自于本文采用的實(shí)驗(yàn)語料written平行語料，而是來自于TAC2008中的語句，這是為了能夠分析基于規(guī)則系統(tǒng)的規(guī)則是否具有普遍適用性。

表2 測試語料實(shí)例

基于規(guī)則的語句壓縮對于特定的領(lǐng)域具有較強(qiáng)的適應(yīng)性，但是它存在很多缺點(diǎn)：（1）規(guī)則歸納不方便；（2）規(guī)則的普遍適用性較差；（3）自然語言非常靈活且時(shí)刻在發(fā)展，規(guī)則通常無法適應(yīng)新的語言特征；（4）可歸納的規(guī)則非常多；（5）不同領(lǐng)域?qū)φZ句壓縮要求不同等。

5.3 實(shí)驗(yàn)結(jié)果分析

表3和表4分別是我們實(shí)驗(yàn)的人工評(píng)測和自動(dòng)評(píng)測結(jié)果。表中，Baseline表示基準(zhǔn)系統(tǒng)的結(jié)果；Str uct ured SV M表示的是基于結(jié)構(gòu)化學(xué)習(xí)系統(tǒng)的結(jié)果；Golden項(xiàng)表示人工標(biāo)注結(jié)果，即標(biāo)準(zhǔn)結(jié)果。CR表示壓縮率，N－Gram表示4－gra m得分，BLEU表示四元文法相似度。

表3 人工評(píng)測結(jié)果

表4 自動(dòng)評(píng)測結(jié)果

仔細(xì)分析表3和表4的評(píng)測結(jié)果，我們可以發(fā)現(xiàn)：

（1）從表3可知，基于規(guī)則方法的結(jié)果在語法結(jié)構(gòu)方面能夠有較好的效果，原因是規(guī)則由人工制定，大多來自對語句句法結(jié)構(gòu)的人工分析，因此使用規(guī)則基本不會(huì)破壞句子本身的語法結(jié)構(gòu)。

（2）從表3可知，基于結(jié)構(gòu)化方法的結(jié)果在句法結(jié)構(gòu)上效果較差，但在信息度的保留上具有較好的結(jié)果，優(yōu)于使用規(guī)則的方法。

（3）從表4的N－Gram項(xiàng)可以看出基于規(guī)則的方法在文法值上有很好的效果，優(yōu)于其他兩個(gè)結(jié)果，甚至比標(biāo)準(zhǔn)結(jié)果還好。這與人工評(píng)測中（表3的Grammaticality項(xiàng)）的結(jié)論是一致的。

（4）從表4的BLEU項(xiàng)可以看到基于結(jié)構(gòu)化方法的相似度值較高，本文認(rèn)為標(biāo)準(zhǔn)目標(biāo)語句保留了源語句的主要信息，則基于結(jié)構(gòu)化方法的相似度評(píng)測較高時(shí)，其信息度也較高，這與表3中I mportance指標(biāo)完全一致，所以，BLEU在我們的實(shí)驗(yàn)框架中可以評(píng)測信息的保留度。

（5）從表3、表4的各項(xiàng)評(píng)測結(jié)果可以發(fā)現(xiàn)，基于結(jié)構(gòu)化方法在保持較好壓縮率的情況下能夠保留源語句的主要信息。

由以上分析可知，在我們的實(shí)驗(yàn)框架下，基于結(jié)構(gòu)化方法相對于規(guī)則方法而言有較優(yōu)的性能。其次，實(shí)驗(yàn)結(jié)果也證明了使用N元文法和BLEU相似度等自動(dòng)評(píng)測指標(biāo)，可以有效地對語句壓縮結(jié)果進(jìn)行評(píng)測。

6 結(jié)論與展望

本文將語句壓縮看作是基于特征權(quán)重的最大邊緣訓(xùn)練過程，使用基于結(jié)構(gòu)化學(xué)習(xí)的方法來實(shí)現(xiàn)語句壓縮，該方法是在一種最普遍易行的基于單詞刪除的語句壓縮框架下。在該框架下，本文還提出了兩個(gè)自動(dòng)評(píng)測指標(biāo)（BLEU、N－Gram）對結(jié)果進(jìn)行評(píng)測。實(shí)驗(yàn)結(jié)果表明，采用結(jié)構(gòu)化學(xué)習(xí)的方法進(jìn)行語句壓縮，能在保持較好的壓縮率的情況下保留源語句的主要信息，且提出的兩個(gè)評(píng)價(jià)指標(biāo)能夠有效反映語句壓縮性能。

在我們的工作中，由于使用的特征集合比較小而且也是最簡單的，這限制了語句壓縮性能的提高。在下一步工作中，我們將進(jìn)一步探討語句壓縮的特征工程，同時(shí)也將進(jìn)一步思考更好的自動(dòng)評(píng)測指標(biāo)等。

［1]Corston－Oliver，Si mon.Text Co mpaction f or Display on Very Small Screens ［C]／／Pr oceedings of the NAACL Wor kshop on Auto matic Su mmarization.Pittsburgh，PA，2001：89－98.

［2]Vandeghinste V，Pan Y.Sentence co mpression for auto mated subtitling：a hybrid approach［C]／／Marie－Francine Moens，S.S.（Ed.）.Text Su mmarization Branches Out：Proceedings of the ACL－04 Wor kshop，Barcelona，Spain，2004：89－95.

［3]Grefenstette G.Producing Intelligent Telegraphic Text Reduction to Provide an Audio Scanning Service for the Blind［C]／／Hovy，E.，＆Radev，D.R.（Eds.），Proceedings of the AAAI Sy mposium on Intelligent Text Su mmarization，Stanf ord，CA，USA，1998：111－117.

［4]Knight K，Marcu D.Summarization beyond sentence extraction：a probabilistic approach to sentence compression［J].Artificial Intelligence，2002，139（1）：91－107.

［5]Riezler S，King T H，Cr ouch R，et al.Statistical sentence condensation using ambiguity packing and stochastic disambiguation methods f or lexical－f unctional grammar［C]／／Hu man Language Technology Conference and the 3r d Meeting of the Nort h American Chapter of t he Association f or Co mputational Linguistics，Ed monton，Canada，2003：118－125.

［6]Mc Donald R. Discri minative sentence compression with soft syntactic constraints［C]／／Proceedings of the 11th Conference of the European Chapter of the Association f or Computational Linguistics，Trento，Italy，2006：297－309.

［7]Tsochantaridis I，Joachi ms T，Hof mann T，et al.Lar ge margin met hods for str uctured and inter dependent output variables［J].Journal of Machine Learning Research，2005，6：1453－1484.

［8]T Cohn，M Lapata.Sentence Compression as Tree Transduction［J].Jour nal of Artificial Intelligence Research，2009，34：637－674.

［9]江敏，肖詩斌，王弘蔚，等.一種改進(jìn)的基于《知網(wǎng)》的詞語語義相似度計(jì)算［J].中文信息學(xué)報(bào)，2008，22（5）：84－89.