一種無指導的隱式篇章關(guān)系推理方法研究

周小佩，洪 宇，車婷婷，姚建民，朱巧明

（蘇州大學 計算機科學與技術(shù)學院，江蘇 蘇州215006）

1 引言

隨著對單詞以及句子級別的分析研究日益深入和成熟，研究者們開始將重點轉(zhuǎn)移到更大的單位，即篇章的分析中，如篇章關(guān)系識別、篇章結(jié)構(gòu)分析等。其中，篇章關(guān)系是指同一篇章內(nèi)部，相鄰片段或跨度在一定范圍內(nèi)的兩個片段之間的語義連接關(guān)系，如條件關(guān)系、轉(zhuǎn)折關(guān)系、因果關(guān)系等。

篇章關(guān)系研究一方面有利于理解篇章文本內(nèi)容，如Lin等［1]借助篇章語義關(guān)系類型實現(xiàn)了篇章內(nèi)容的連貫性檢測；另一方面，還有利于實現(xiàn)篇章文本結(jié)構(gòu)化，如基于修辭結(jié)構(gòu)理論（RST）構(gòu)建篇章結(jié)構(gòu)關(guān)系樹［2]。而結(jié)構(gòu)化關(guān)系樹可用于更深層次的篇章分析，如計算篇章之間語義級的相似度等。因此，篇章關(guān)系分析是自然語言處理領(lǐng)域中一項重要的基礎(chǔ)性研究。

在研究過程中，可將篇章關(guān)系分為顯式篇章關(guān)系和隱式篇章關(guān)系。顯式篇章關(guān)系如實例（1）所示：

（1）Arg1①Arg1和Arg2為Penn Discourse TreeBank 2.0篇章語料庫中指向具有連接關(guān)系句子對的標簽：The federal govern ment suspended sales of U.S.savings bonds

（譯文：聯(lián)邦政府終止銷售美國存儲債券）

Arg2：because Congress hasn’t lifted t he ceiling on govern ment debt

（譯文：因為美國國會還沒有提高政府債券的上限）

Discourse Relation：Contingency.Cause.Reason（篇章關(guān)系：因果關(guān)系）

其中，because即為顯式連接詞，且表明由它連接的Arg1和Arg2之間屬于因果關(guān)系。隱式篇章關(guān)系是指片段之間未標記顯式連接詞，但在語義層面上確實存在某種連接關(guān)系，如實例（2）所示：

（2）Arg1：This is an ol d stor y

（譯文：這是個老故事）

Arg2：［in f act]we are tal king about years ago bef ore anyone heard of asbestos having any questionable properties.

（譯文：［實際上]我們正討論數(shù)年前還沒有人聽說石棉有質(zhì)量問題）

Discourse Relation：Expansion.Restatement.Specification（篇章關(guān)系：擴展關(guān)系）

其中，Ar g1和Arg2之間不存在顯式連接詞，但根據(jù)具體語義可以推斷出，Ar g2是對Ar g1的詳細闡述，方括號中in f act是人工添加的連接詞，稱為隱式連接詞。

另外，2008年發(fā)布的篇章語料庫PDTB（Penn Discourse Tree Bank）2.0中，將篇章關(guān)系類別由粗到細分為三層：第一層是四種主要的語義關(guān)系類別：Expansion（擴展）、Contingency（因果）、Co mparison（轉(zhuǎn)折）和Temporal（時序）；第二層和第三層分別針對上一層進行細分，如實例（1）中關(guān)系“Contingency.Cause.Reason”除了表示前后句子之間屬于因果關(guān)系外，第三層Reason進一步區(qū)分了包含連接詞的Arg2表原因，Arg1表結(jié)果。

本文的主要任務(wù)即是針對PDTB中的隱式篇章片段（語料中由Ar g1和Arg2組成的一個隱式關(guān)系實例），推理其具體語義關(guān)系類型。核心思想是基于無指導方法，將隱式篇章關(guān)系的分類問題轉(zhuǎn)化為檢索與排序問題，即通過搜索引擎，抽取與原隱式片段在結(jié)構(gòu)和語義層面上較相近的候選顯式片段；通過分析顯式片段，實現(xiàn)隱式片段之間的關(guān)系推理。

本文組織形式如下：第2節(jié)介紹相關(guān)工作；第3節(jié)簡要概括基于無指導方法推理隱式篇章關(guān)系的動機以及需要克服的困難；第4節(jié)詳細介紹無指導的隱式篇章關(guān)系推理方法以及如何解決上述困難；第5節(jié)檢驗方法的可行性并給出了實驗結(jié)果與分析；第6節(jié)進行總結(jié)和展望。

2 相關(guān)工作

由于早期篇章關(guān)系研究缺少統(tǒng)一規(guī)范的語料庫，所以研究者們采用模板匹配的方法，從生語料中抽取顯式片段，且直接去除顯式片段中的連接詞，人為構(gòu)成隱式片段。Marcu等［3]即是通過此方法，獲得訓練和測試數(shù)據(jù)，然后選擇數(shù)據(jù)中的單詞信息（即詞共現(xiàn)）作為基本特征進行分類。實驗證明，單詞特征對篇章關(guān)系的分類起相當重要的作用。另外，Saito等［4]在單詞特征的基礎(chǔ)上結(jié)合短語特征，實現(xiàn)日文的隱式篇章關(guān)系分類。但Sporleder［5]和Blair－Goldensohn［6]均指出，采用 Marcu方法對自然隱式片段進行分類時，往往會導致性能下降。原因是，顯式片段中的連接詞是為了便于上下文理解，當人為去除連接詞構(gòu)成隱式片段時，若缺乏足夠上下文，很容易造成理解歧義。由此可見，人為構(gòu)造的隱式片段在一定程度上未能真實反映隱式關(guān)系的內(nèi)部特征。

PDTB語料的發(fā)布為篇章關(guān)系研究提供了有利條件。Pitler［7]等首次對PDTB 2.0進行了統(tǒng)計和分析，結(jié)果表明，顯式關(guān)系實例中的大多數(shù)連接詞不存在歧義。而且，僅采用連接詞特征，顯式關(guān)系的分類精確率可達到93.09%。因此，目前篇章關(guān)系研究的主要任務(wù)是解決隱式篇章關(guān)系的分類問題。Pitler等［8]通過提取句子中相關(guān)特征，如上下文特征，情感詞極性，以及其他多種詞匯特征實現(xiàn)隱式篇章關(guān)系的自動分類，并分析了不同特征對分類性能的影響。Lin等［9]實現(xiàn)了第二層篇章關(guān)系的分類，在單詞以及上下文特征的基礎(chǔ)上，選擇添加句法樹中的結(jié)構(gòu)特征、依存樹中詞與詞之間的關(guān)聯(lián)特征。Zhou等［10]首次借助顯式連接詞進行隱式篇章關(guān)系識別，主要通過語言模型推測當前隱式片段的連接詞，然后將預(yù)測出的連接詞作為附加特征。與本文最相關(guān)的是，Wang等［11]使用基于樹核函數(shù)的方法，自動抽取句法樹中的結(jié)構(gòu)信息，并結(jié)合時序信息，實現(xiàn)第一層隱式篇章關(guān)系的分類，其精確率達到40.0%。

3 基于無指導方法推理隱式關(guān)系的動機

由上述相關(guān)工作可知，目前針對隱式篇章關(guān)系的研究均采用機器學習的方法，選擇各種有效特征對篇章關(guān)系進行分類，但最終分類性能依然偏低。這主要是由篇章中句子結(jié)構(gòu)的復雜性、句子語義的歧義性以及上下文信息的不確定性造成的。因此，本文提出一種無指導的方法，將傳統(tǒng)的檢索與排序相結(jié)合，嘗試解決較復雜的分類問題。前提是Pitler等［12]通過實驗證明，直接利用連接詞判別顯式篇章關(guān)系可獲得很好的性能。所以，本文把判別隱式關(guān)系的重點轉(zhuǎn)移到，如何獲得與隱式片段在句子結(jié)構(gòu)以及語義層面上都較相近的候選顯式片段。通過直接分析和應(yīng)用候選片段的顯式關(guān)系，達到對復雜隱式關(guān)系精確判別的目的。

為了使獲得的候選片段具有廣泛性和實時性，本文嘗試借助Google搜索引擎，通過海量檢索的方法獲得較相關(guān)的候選片段。例如，針對實例（2）中隱式片段“This is an ol d story.We are tal king about years ago？”，我們通過檢索，挖掘到如下候選顯式片段：

（3）There's an ol d story about being self－valuable，and it is about three ol d Jewish ladies in Miami Beach，and these old Jewish ladies are tal king about their personal self－esteem

（譯文：有個關(guān)于自我價值的古老故事，講述的是有關(guān)邁阿密海灘的三位猶太女士以及她們談?wù)搨€人自尊）

（4）This is a bit of an ol d stor y.But I just wanted to make sure you knew who I was tal king about.

（譯文：這是個有點古老的故事，但我只想確保你知道我在談?wù)撜l）

盡管通過這一方式可以獲得具有連接詞的顯式片段，但因為現(xiàn)有檢索系統(tǒng)對語義相關(guān)度的度量尚不完善，使得上述檢索過程往往會獲得多于一種的冗余語義連接關(guān)系，比如（3）中連接詞and表示并列，（4）中連接詞But表示轉(zhuǎn)折，兩者分別代表了兩種截然不同的候選關(guān)系。如何過濾冗余的連接關(guān)系，這往往取決于候選關(guān)系本身的質(zhì)量以及候選顯式片段與隱式片段的相似度等多個方面。鑒于此，本文提出對挖掘到的候選關(guān)系進行更深層次的質(zhì)量評估，以賦予每個候選關(guān)系相應(yīng)質(zhì)量權(quán)重。依據(jù)權(quán)重較高的候選關(guān)系來推斷隱式關(guān)系，使結(jié)果更加合理和可信。

為實現(xiàn)此方法，必須解決兩個重要問題：1）如何從原隱式片段中提取關(guān)鍵信息構(gòu)成高質(zhì)量查詢關(guān)鍵詞，以便于在檢索過程中抽取相關(guān)候選顯式關(guān)系；2）如何構(gòu)建推理模型以合理評估候選關(guān)系質(zhì)量，進而提高最終隱式關(guān)系的推理性能。本文將會在下面章節(jié)中針對這兩個關(guān)鍵問題給出相應(yīng)有效的解決辦法。

4 基于無指導方法推理隱式關(guān)系的方法

本文致力于探究一種無指導的方法，以實現(xiàn)隱式篇章關(guān)系的推理，圖1即為方法框架，主要包括以下三個模塊：

1）基于Google搜索引擎的候選關(guān)系抽取模塊。從隱式關(guān)系片段中提取關(guān)鍵信息，構(gòu)建高質(zhì)量查詢關(guān)鍵詞；并從檢索結(jié)果中按照一定規(guī)則抽取候選顯式關(guān)系。

2）隱式關(guān)系推理模塊。為了提高基于候選顯式關(guān)系推理隱式關(guān)系的性能，本文構(gòu)建了三種推理模型：當前顯式片段與原隱式片段的相似度模型，查詢關(guān)鍵詞本身的關(guān)聯(lián)度模型，以及查詢關(guān)鍵詞與當前候選關(guān)系的置信度模型。

3）基于排序?qū)W習的隱式關(guān)系判定模塊。依據(jù)三種推理模型評估當前候選關(guān)系的質(zhì)量，并根據(jù)質(zhì)量進行排序?qū)W習；統(tǒng)計Top N個高質(zhì)量候選關(guān)系中的類別分布，占據(jù)比例最高的關(guān)系類別即為推理出的原隱式片段的關(guān)系類型。

下面依次介紹以上三個模塊的具體實現(xiàn)方法。

4.1 基于搜索引擎的候選關(guān)系抽取

本節(jié)主要探索如何構(gòu)建查詢關(guān)鍵詞，使得更快更有效地抽取候選顯式關(guān)系，以及從檢索結(jié)果中抽取候選顯式關(guān)系的具體方法。

4.1.1 高質(zhì)量查詢關(guān)鍵詞構(gòu)建

對檢索而言，采用的查詢關(guān)鍵詞會直接影響檢索的效率及質(zhì)量，而且后續(xù)方法的展開完全依賴于檢索出的顯式片段。因此，為了驗證實驗的可行性進而提升方法的性能，本文分別從單詞、二元組以及三元組的角度構(gòu)建查詢關(guān)鍵詞，并從效率和質(zhì)量兩個方面進行了分析和比較：

· 單詞（Unigram）

分別定義Ar g1：W1＝＜w11，w12，…，w1m＞，Arg2：W2＝＜w21，w22，…w2n＞，其中 W1和 W2分別表示Ar g1和Ar g2的單詞序列。因為Ar g1和Arg2中的詞匯特征為判斷篇章關(guān)系提供了重要信息，所以，優(yōu)先考慮采用單詞對的形式構(gòu)造查詢關(guān)鍵詞。本文先后使用了三種方法逐步篩選片段中的單詞，以構(gòu)成高質(zhì)量單詞對：

1）所有單詞對集合：即按照笛卡爾積 W1×W2方式，構(gòu)造的查詢關(guān)鍵詞集合Q＝｛w1i＋w2j｝（1≤i≤m，1≤j≤n），如例句“This is an old story，we have tal king about it years ago”中，“This we”和“story talking”等都作為查詢關(guān)鍵詞。按照這種窮舉方式，平均每個隱式片段構(gòu)造的查詢關(guān)鍵詞數(shù)量為243。

2）去除停用詞的單詞對集合：Pitler等［8]通過實驗證明去除停用詞特征會降低分類的性能，但采用停用詞構(gòu)成的查詢關(guān)鍵詞進行檢索時，很難匹配得到相關(guān)的顯式片段。主要由于停用詞的出現(xiàn)頻率較高且未體現(xiàn)原片段的語義信息。因此去除Ar g1和Ar g2中的停用詞，再按照笛卡爾積的方式構(gòu)成單詞對集合。此時平均每個隱式片段構(gòu)造的查詢關(guān)鍵詞數(shù)量降為72。

3）tf×idf權(quán)重值較高的單詞對集合：分別計算Arg1和Arg2中單詞的tf×idf權(quán)重，選擇Arg1、Ar g2中權(quán)重Top5的單詞進行任意組合。此方式一方面控制了查詢關(guān)鍵詞數(shù)量，另一方面保證了篩選出來的單詞普遍具有代表性，從而能夠提高查詢關(guān)鍵詞的質(zhì)量。

· 二元組（Bigram）

除了單詞信息外，查詢關(guān)鍵詞中的詞序信息同樣對提高檢索質(zhì)量起重要作用。所以，為了在單詞基礎(chǔ)上融入詞序信息，本文將查詢關(guān)鍵詞中單詞替換成語言模型中的二元組即Bigra m。重新定義Arg1：B1＝ ＜b11，b12，…，b1p＞，Arg2：B2＝＜b21，b22，…，b2q＞，其中B1和B2分別是 Ar g1和Ar g2的二元組序列。因此，由B1和B2生成的查詢關(guān)鍵詞集合 Q＝｛b1i＋b2j｝（1≤i≤p，1≤j≤q），如圖2中“This is”＋“We have”，“old story”＋“hear d about”等。此時平均每個隱式片段將構(gòu)造230個查詢關(guān)鍵詞。而且實驗表明，包含停用詞的二元組對往往能夠檢索到有效的顯式片段，例如“This is”＋“We have”等。這類包含詞序信息的停用詞對在一定程度上體現(xiàn)了句式結(jié)構(gòu)信息，如“should have”表虛擬語氣，出現(xiàn)在句子中常隱含對比的關(guān)系，這對檢索相關(guān)顯式片段具有促進作用。鑒于此，在采用二元組對方式構(gòu)造查詢關(guān)鍵詞時保留了停用詞。

圖2 采用二元組對方式構(gòu)建查詢關(guān)鍵詞

· 三元組（Trigram）

為了驗證詞序信息對檢索質(zhì)量的影響，本文在二元組的啟發(fā)下又引入了三元組，以便進行比較。如上例中“This is an”＋“We have hear d”即可作為一個三元組對實例。雖然三元組對囊括了更多的詞義以及詞序信息，但能同時包含此類信息的文檔數(shù)目相當有限，甚至只能檢索出原語料。因此，該現(xiàn)象嚴重限制了后續(xù)的候選關(guān)系挖掘。

由上述分析可知，若采用tf×idf權(quán)重較高的單詞對構(gòu)建查詢關(guān)鍵詞，其優(yōu)點在于可以控制每個隱式片段構(gòu)建的查詢關(guān)鍵詞數(shù)量。但檢索過程中發(fā)現(xiàn)，單詞對中的兩個單詞在檢索文檔中常緊密相鄰，因此，不能構(gòu)成上下文語句之間的連接關(guān)系。而且挖掘到的片段存在較多的噪音，例如歌名、新聞報道的標題等，這往往影響檢索的質(zhì)量。另一方面，若以二元組對的方式構(gòu)建查詢關(guān)鍵詞，平均每個隱式片段構(gòu)造的查詢關(guān)鍵詞數(shù)量偏多，造成檢索效率下降。但由于二元組對比單詞對包含更多的詞匯和詞序信息，所以，挖掘到的候選片段與原隱式片段更相關(guān)即質(zhì)量更高。鑒于此，本文為了驗證總體方法的可行性，在權(quán)衡效率和質(zhì)量時優(yōu)先選擇了質(zhì)量，最終以二元組對的方式構(gòu)造高質(zhì)量查詢關(guān)鍵詞。

4.1.2 候選關(guān)系抽取

構(gòu)建高質(zhì)量查詢關(guān)鍵詞的目的是抽取候選關(guān)系。而且，考慮到檢索結(jié)果的摘要中包含了查詢關(guān)鍵詞及其相關(guān)上下文信息，如圖3即是采用查詢關(guān)鍵詞“this is”＋“any questionable”進行檢索時獲得的一個摘要示例。所以，本文選擇直接從檢索摘要中，按照自定義規(guī)則挖掘候選顯式片段。

圖3 查詢關(guān)鍵詞“this is”＋“any questionable”的一個檢索結(jié)果摘要示例

· 挖掘候選片段

在挖掘候選片段過程中，連接詞起關(guān)鍵作用。為了確保候選片段與原隱式片段之間存在相關(guān)性，挖掘時必須同時滿足以下三個條件：

1）相鄰子句（句子）之間包含連接詞；

2）查詢關(guān)鍵詞中來自Ar g1的二元組整體出現(xiàn)在連接詞之前；

3）查詢關(guān)鍵詞中來自Ar g2的二元組整體出現(xiàn)在連接詞之后。

按照以上規(guī)則，從圖3的摘要示例中可挖掘出片段“While this is a public email address its tolerance for spam is extremely low.If you have any questionable ver biage，or large attach ments”。其中，if為連接詞，且構(gòu)成查詢關(guān)鍵詞的兩個二元組“this is”和“any questionable”分別出現(xiàn)在由if引導的前后句子中。因此，該片段即是滿足上述規(guī)則的候選顯式篇章片段。

需要指出的是，若檢索到相關(guān)的候選顯式片段，則認為該顯式片段與隱式片段之間存在一定語義上的對應(yīng)關(guān)系。原因是，由以上匹配條件可知，顯式片段中必須包含查詢關(guān)鍵詞，而該查詢關(guān)鍵詞則來源于原隱式片段。因此，候選顯式片段與對應(yīng)的隱式片段之間必然存在句法或者語義程度上的相關(guān)性。

· 判別候選關(guān)系

通過統(tǒng)計PDTB語料庫中，各連接詞在四種顯式關(guān)系中的分布，證實了絕大多數(shù)連接詞確實不存在歧義［12]。在此基礎(chǔ)上，即可通過連接詞特征，實現(xiàn)候選顯式片段的關(guān)系判別。

表1 列舉PDTB語料中，部分連接詞在篇章關(guān)系中的分布比例／%

表1列舉了部分連接詞出現(xiàn)在四種篇章關(guān)系的比例，如and出現(xiàn)在Expansion類別中的比例高達96.83%，so甚至只出現(xiàn)在Contingency類別中。所以，針對某一連接詞，本文選擇其出現(xiàn)比例最高的關(guān)系類別作為與之對應(yīng)的篇章關(guān)系。如上述顯式片段“While this is public email address its tolerance for spam is extremely low.If you have any questionable...”中，連接詞if在Contingency類別中的出現(xiàn)概率最高（95.99%），由此推斷該顯式片段的候選關(guān)系類型為Contingency。

4.2 隱式關(guān)系推理模型

在推理隱式關(guān)系過程中，需要評估候選關(guān)系質(zhì)量以增強推理的可信度。因此，本文構(gòu)建如下三種推理模型：候選顯式片段與原隱式片段的相似度，查詢關(guān)鍵詞內(nèi)部的關(guān)聯(lián)度，查詢關(guān)鍵詞與候選關(guān)系之間的置信度。下面分別介紹這三種模型的運行機理。

4.2.1 相似度

候選片段與隱式片段在句子結(jié)構(gòu)以及語義層面的相似度，能夠直接體現(xiàn)當前候選片段的質(zhì)量。本文采用了兩種計算相似度的模型，具體方法如下：

· 向量空間模型

由于向量空間模型（VSM）具備利用空間相似性來逼近語義相似性的優(yōu)點，所以常被用來計算文本之間的相似度。本文在用向量表示文本片段時，單詞權(quán)重分別設(shè)置布爾值以及tf×idf值。tf×idf的計算方式如式（1）所示：

其中，fij表示單詞j在句子i中出現(xiàn)的次數(shù)，mi是句子的長度，n是句子總個數(shù)，nj表示包含單詞j的句子數(shù)。

·n－gram語言模型

基于VSM計算相似度時假設(shè)詞與詞之間是相互獨立的，沒有包含任何詞序信息。而n－gra m語言模型［13]考慮了在自然語言中存在著后續(xù)單詞的出現(xiàn)條件依賴于前面單詞的現(xiàn)象，所以，本文嘗試利用n－gram語言模型計算句子相似度。具體的計算如式（2）所示：

其中，S1和S2分別表示原隱式片段與顯式片段劃分成n－gram的集合，｜S1∩S2｜是兩集合中相同的n－gram 數(shù)，｜S1∪S2｜則是兩集合去重后的 ngram總數(shù)。

4.2.2 關(guān)聯(lián)度

基于搜索引擎抽取候選關(guān)系時發(fā)現(xiàn)，并非所有查詢關(guān)鍵詞都能抽取到相關(guān)候選關(guān)系。即采用同種方式構(gòu)造的查詢關(guān)鍵詞，在挖掘候選關(guān)系的能力方面仍然存在差異，這是由構(gòu)成查詢關(guān)鍵詞的二元組相互影響的結(jié)果。若某查詢關(guān)鍵詞未能挖掘到候選關(guān)系，則說明構(gòu)成當前查詢關(guān)鍵詞的二元組對不能引發(fā)上下文語義上的連接關(guān)系。例如二元組對“is an”＋“about it”作為關(guān)鍵詞檢索時，兩個二元組在相鄰句子中共現(xiàn)的概率很小，導致在包含連接關(guān)系的相鄰句子中共現(xiàn)的概率幾乎為零。相反地，“anold”＋“about it”作為關(guān)鍵詞檢索時卻能挖掘到相對較多的候選關(guān)系，也就是說“anold”和“about it”組合時，引發(fā)上下文間連接關(guān)系的概率較高。

由此，我們定義查詢關(guān)鍵詞內(nèi)部關(guān)聯(lián)度，用于衡量當前查詢關(guān)鍵詞能夠引發(fā)上下文連接關(guān)系的概率，間接體現(xiàn)查詢關(guān)鍵詞挖掘候選關(guān)系的能力。關(guān)聯(lián)度不僅僅體現(xiàn)了查詢關(guān)鍵詞中兩個二元組之間的相關(guān)程度，同時還體現(xiàn)了每個二元組內(nèi)部單詞之間的關(guān)聯(lián)度，如二元組“anold”中an與old之間的關(guān)聯(lián)度比二元組“is an”中is與an之間的關(guān)聯(lián)度更高，這是由單詞之間的共現(xiàn)概率決定的。

查詢關(guān)鍵詞q的內(nèi)部關(guān)聯(lián)度計算方法如式（3）所示：

其中，bi表示構(gòu)成當前查詢關(guān)鍵詞的二元組，i＝1表示查詢關(guān)鍵詞中來自Ar g1的二元組，i＝2表示來自Ar g2的二元組。｜S（bi）｜指包含二元組bi且bi出現(xiàn)位置與q中位置相同的查詢關(guān)鍵詞個數(shù)，｜T（bi）｜是｜S（bi）｜集合中能夠抽取到候選關(guān)系的查詢關(guān)鍵詞個數(shù)，因此｜T（bi）｜／｜S（bi）｜體現(xiàn)了包含二元組bi的查詢關(guān)鍵詞抽取到候選關(guān)系的概率。

4.2.3 置信度

基于搜索引擎抽取候選關(guān)系的過程中還存在另一現(xiàn)象：某類查詢關(guān)鍵詞檢索時，會挖掘到多個候選片段，相應(yīng)就可能出現(xiàn)多種候選關(guān)系。這一現(xiàn)象說明，對于此類查詢關(guān)鍵詞，構(gòu)成它的二元組能夠引發(fā)上下文產(chǎn)生不同的連接關(guān)系。如第3節(jié)中提到，采用查詢關(guān)鍵詞“ol d stor y”＋“tal king about”抽取的候選關(guān)系中，除了連接詞and引導的擴展關(guān)系，也有but引導的對比關(guān)系。因此，為了衡量當前查詢關(guān)鍵詞與候選關(guān)系之間的可信程度，本文構(gòu)建了置信度模型。與關(guān)聯(lián)度類似，置信度也是由查詢關(guān)鍵詞內(nèi)部兩個二元組共同影響的結(jié)果，計算見式（4）：

（i＝1，2且s＝Ex p，Con，Com，Tem）

其中，bi表示構(gòu)成當前查詢關(guān)鍵詞q的二元組，i＝1，2的意義同式（3），p（s｜bi）表示由包含二元組bi的查詢關(guān)鍵詞抽取的所有候選片段中，候選關(guān)系s的出現(xiàn)概率。

4.3 基于排序?qū)W習的隱式關(guān)系判定

借助上節(jié)中構(gòu)建的三個隱式關(guān)系推理模型，可實現(xiàn)候選關(guān)系質(zhì)量的綜合評估。每個候選關(guān)系被賦予相應(yīng)的質(zhì)量值，計算方式如式（5）所示：

其中Si m即是相似度，Rel是關(guān)聯(lián)度，Con是置信度。分母Su m1，Sum2，Sum3是對三種推理模型各自的計算值進行歸一化。α，β，γ即是累加三種模型計算值時對應(yīng)的權(quán)重，并滿足0≤α，β，γ≤1且α＋β＋γ＝1。

針對一個隱式片段，可挖掘出多個相應(yīng)的候選顯式片段，但其中存在質(zhì)量的差別。本文依據(jù)它們的質(zhì)量值由高到低進行排序，并統(tǒng)計Top N個高質(zhì)量候選關(guān)系中各篇章類別的分布，從而間接實現(xiàn)隱式篇章關(guān)系的推理。本文基于排序?qū)W習的方法，確定最終當隱式關(guān)系推理性能達到最優(yōu)時的α，β，γ以及N值，計算見式（6）：

其中，p（s）表示關(guān)系類別s在隱式數(shù)據(jù)集中所占的比例，即先驗概率。k是候選關(guān)系依據(jù)質(zhì)量值排序后對應(yīng)的位置，j是當前位置上的候選關(guān)系。bool（s，j）是判斷當前位置候選關(guān)系j是否等于關(guān)系類別s，若是則bool（s，j）＝1，否則為0。1／l og（k＋1）是第k位置上的候選關(guān)系權(quán)重，可以看出排序位置k越靠后，對應(yīng)的候選關(guān)系權(quán)重越小。

5 實驗結(jié)果與分析

5.1 實驗數(shù)據(jù)及評價標準

本實驗選擇Penn Discourse TreeBank 2.0①htt p：／／www.seas.upenn.edu／～pdtb／語料中23～24章節(jié)的所有隱式篇章關(guān)系實例作為數(shù)據(jù)集。表2列出數(shù)據(jù)集中四種篇章關(guān)系的分布，其中Expansion類別占據(jù)的比例最高?？紤]若將數(shù)據(jù)集中所有隱式實例均判為Expansion類別，則精確率最高可達50.8%，本文將此作為Baseline系統(tǒng)。

表2 數(shù)據(jù)集中四種隱式篇章關(guān)系分布

為了有效評估四種篇章關(guān)系各自的推理性能，本文采用準確率（Precision）、召回率（Recall）和 F值（F－value）三項指標。另外，采用精確率（Accuracy）來衡量本文方法推理隱式篇章關(guān)系的整體性能。針對四種篇章關(guān)系推理結(jié)果，定義混淆矩陣A＝其中，nij表示通過本文方法，將數(shù)據(jù)集中i類別的篇章關(guān)系推斷為j類別的實例個數(shù)。所以上述評價標準的計算公式見式（7）、式（8）、式（9）和式（10）。陣中每列的和，數(shù)值上等于本文方法推斷出的對應(yīng)類別個數(shù)表示矩陣中每行的和，數(shù)值上等于數(shù)據(jù)集中對應(yīng)類別的實例個數(shù)。

5.2 隱式關(guān)系推理模型對結(jié)果的影響

首先，由于本文方法是借助搜索引擎，通過挖掘候選顯式關(guān)系，從而推理相關(guān)的隱式關(guān)系類型。因此，必須確保通過搜索引擎能夠挖掘到相關(guān)顯式關(guān)系。經(jīng)分析，在所有的1192個測試實例中，僅有5個（0.4%）隱式實例未能檢索到顯式片段。造成此現(xiàn)象的主要原因有兩個：1）該隱式篇章片段包含的信息量過少，如某些片段僅包含2～3個單詞，因此構(gòu)建的查詢關(guān)鍵詞數(shù)量有限，從而降低了基于搜索引擎挖掘顯式篇章片段的概率；2）由該隱式篇章片段構(gòu)建的查詢關(guān)鍵詞，不易引起上下文的語義連接關(guān)系。正如關(guān)聯(lián)度模型中所述，某些查詢關(guān)鍵詞的兩個二元組均未在顯式片段中共現(xiàn)，因此挖掘不到相關(guān)顯式片段。本文在最終性能評估時，若某隱式篇章片段檢索不到相關(guān)顯式片段，則認為該隱式片段的關(guān)系推理錯誤。但由于此現(xiàn)象的出現(xiàn)比例較小，因此，對本文方法的最終推理性能幾乎沒有影響。

下面主要分析三種推理模型（相似度、關(guān)聯(lián)度、置信度）對最終隱式篇章關(guān)系判別性能的影響。同時，通過排序?qū)W習，確定最終取得最佳性能時的參數(shù)值。表示矩

其中

圖4 采用相似度模型推理隱式關(guān)系的性能

圖4表示隨著Top N中N值的變化，相似度模型對最終隱式篇章關(guān)系判別性能的影響，其中包含了三種計算候選顯式片段與隱式片段相似度的方法?；赩SM計算相似度時分別設(shè)置兩種權(quán)重：bool值和tf×idf值。由圖中可知tf×idf值的方法在總體趨勢上略優(yōu)于bool值，這主要是由于前者相當于后者的擴展，計算的相似度值更精確。另外，基于n－gram模型計算相似度時，選擇n＝2。圖4表明，n－gra m模型的方法在整體性能上優(yōu)于VSM方法，主要由于前者包含了上下文信息。與構(gòu)造高質(zhì)量查詢關(guān)鍵詞類似，n－gram不僅包含了單詞特征還包含了詞序特征，所以它一方面能夠體現(xiàn)句子語義信息；另一方面也體現(xiàn)了句式結(jié)構(gòu)信息。因此，基于n－gram模型計算句子相似度具有優(yōu)勢，直接導致隱式篇章關(guān)系的推理性能得到提升。

由圖4還可以看出，當N值大于25時，無論采用哪種推理方式，最終的隱式篇章關(guān)系判別性能不再變化。導致這一現(xiàn)象的原因有兩個：一是排序位置較后的候選關(guān)系權(quán)重較低，累加時對結(jié)果產(chǎn)生的影響較??；二是由于候選片段的個數(shù)限制，某些隱式實例抽取到的相關(guān)候選片段偏少，所以當N值增加到足夠大時統(tǒng)計結(jié)果不再發(fā)生變化。鑒于此，在排序?qū)W習時分別設(shè)置N＝1，2，…，30，并且當N＝14時采用相似度模型推理隱式關(guān)系的精確率達到54.0%。

圖5 采用關(guān)聯(lián)度（Con）、置信度（Rel）以及綜合三種模型（All）推理隱式關(guān)系的性能

圖5 列出了采用關(guān)聯(lián)度、置信度以及將三種模型（相似度、關(guān)聯(lián)度、置信度）綜合后，推理隱式篇章關(guān)系的性能。由圖中可知，采用關(guān)聯(lián)度（Rel）模型推理隱式關(guān)系的性能明顯弱于相似度（圖4）模型以及置信度（Con）模型。因為在構(gòu)建模型評估當前候選關(guān)系時，候選片段與隱式片段的相似度、查詢關(guān)鍵詞與當前候選關(guān)系的置信度都屬于直接評估方式。而關(guān)聯(lián)度體現(xiàn)查詢關(guān)鍵詞內(nèi)部二元組之間的相關(guān)程度，主要用來度量該查詢關(guān)鍵詞通過搜索引擎抽取到候選關(guān)系的概率，屬于間接評估方式，導致推理性能不及前兩者。圖5中All表示綜合三種模型推理隱式關(guān)系的性能，在總體趨勢上，略優(yōu)于三種模型各自推理隱式關(guān)系的性能。最終基于排序?qū)W習的方法，推理隱式篇章關(guān)系的精確率達到54.3%（N＝21）。

5.3 隱式篇章關(guān)系的推理結(jié)果與分析

表3列舉了當最終隱式關(guān)系推理精確率達到54.3%時，四種篇章關(guān)系類別分別對應(yīng)的準確率、召回率和F值。從表中可以看出，擴展（Expansion）類別的推理性能遠高于其他三個類別。原因是，連接詞庫中表示擴展類別的連接詞所占比例最高，達到41.6%，直接導致檢索抽取的全部候選關(guān)系中，擴展類別占了37.4%，因此該類別最終召回率較高。與之相反，因果（Contingency）類別的連接詞所占比例最小，只有18.8%且該類別在抽取的所有候選關(guān)系中也僅占21.6%，所以因果類別最終的召回率較低。

另外，表3中時序（Temporal）類別的準確率偏低主要是由連接詞的歧義性造成的，如連接詞while在語義上既可以表示時序關(guān)系（Temporal），又可表示轉(zhuǎn)折關(guān)系（Comparison），但根據(jù)while在顯式篇章關(guān)系語料中的分布，由于它在轉(zhuǎn)折類別中的出現(xiàn)概率較高（65.9%），所以當候選片段由連接詞while引導時，候選關(guān)系將被判為轉(zhuǎn)折類別。這直接導致候選關(guān)系中時序類別的判別精確率較低，從而影響了該類別的最終性能。

表3 各篇章關(guān)系的判別性能

表4中Baseline系統(tǒng)是已知數(shù)據(jù)集中篇章關(guān)系分布時，利用先驗概率所能達到的最優(yōu)性能（如表2）。System1是Wang等基于樹核函數(shù)，抽取句法樹中結(jié)構(gòu)化信息以及句子之間的時序信息所達到的分類性能。由最終精確率可看出，采用機器學習方法達到的性能遠低于Baseline。由此可見，針對隱式篇章關(guān)系這類較復雜的分類問題，采用有指導的方法不能顯現(xiàn)出優(yōu)勢，因為復雜性的句式結(jié)構(gòu)以及語義上下文之間的不確定性很難通過現(xiàn)有的特征進行描述。

表4 系統(tǒng)性能對比／%

本文無指導方法的最終推理性能如System2所示，與Baseline系統(tǒng)相比，提高了約3.5%。雖然直觀上該性能仍然偏低，但與基于句法特征、依存特征、詞對特征等機器學習方法相比，本文方法提高了約14.3%。此外，由于隱式關(guān)系的判定存在一定主觀性，比如“I love you”與“I hate you”之間加上不同連接詞，會產(chǎn)生不同的語義和邏輯關(guān)系，比如，“I love you and I hate you”可同時表示擴展關(guān)系和對比關(guān)系，“I l ove you so I hate you”又可表示因果關(guān)系。因此，主觀性往往造成隱式關(guān)系的實驗數(shù)據(jù)本身即存在不確定性，而且現(xiàn)有PDTB的語料規(guī)模尚小，導致絕大部分研究性能難以達到70%～80%的近似實用化標準，此屬正?，F(xiàn)象。

本文方法的主要優(yōu)勢在于，借助搜索引擎將較難的隱式篇章關(guān)系推理轉(zhuǎn)化為較簡單的候選顯式關(guān)系的分析與判別。其中無論是構(gòu)建高質(zhì)量查詢關(guān)鍵詞，還是構(gòu)建隱式關(guān)系推理模型，都緊密結(jié)合句子結(jié)構(gòu)信息以及語義相似度等多個方面。最重要的是，與System1相比，本文基于無指導的方法，除了最終推理性能具有較好的優(yōu)越性外，方法本身還具有廣泛的擴展性和可移植性。

6 總結(jié)和展望

本文提出一種無指導的方法，實現(xiàn)PDTB語料中隱式篇章關(guān)系類型的判別。由于顯式篇章關(guān)系可以直接根據(jù)片段中的連接詞推斷，且推斷性能很高，而隱式篇章關(guān)系判別仍然是相對較難的問題。鑒于此，本文嘗試借助搜索引擎抽取高質(zhì)量顯式關(guān)系，進而由相關(guān)顯式關(guān)系推理隱式關(guān)系。方法主要分為三個模塊，首先解決如何從隱式片段中抽取關(guān)鍵信息構(gòu)建高質(zhì)量查詢關(guān)鍵詞，以便抽取相關(guān)候選關(guān)系；然后，構(gòu)建三種隱式關(guān)系推理模型，包括候選片段與原隱式片段的相似度，查詢關(guān)鍵詞內(nèi)部的關(guān)聯(lián)度以及查詢關(guān)鍵詞與候選關(guān)系之間的置信度，從這三個方面綜合評估候選關(guān)系質(zhì)量；最后，基于學習排序的方法，統(tǒng)計高質(zhì)量候選關(guān)系的分布比例，從而實現(xiàn)最終的隱式篇章關(guān)系判別。由實驗結(jié)果可知，本文方法獲得了54.3%的精確率，較相關(guān)工作有顯著的提高。

在以后的工作中，我們將對目前方法進行繼續(xù)深入和細化，為了提高查詢關(guān)鍵詞檢索候選關(guān)系的效率，我們將嘗試從大量查詢關(guān)鍵詞中提取特征（如本文中提及的關(guān)聯(lián)度信息）構(gòu)建分類器，過濾抽取候選關(guān)系能力較弱的查詢關(guān)鍵詞，從而提高檢索效率。另外，在進一步提高第一層隱式篇章關(guān)系推理性能的基礎(chǔ)上，細化到關(guān)系的第二層，實現(xiàn)更細粒度的篇章關(guān)系推理。

［1]Z Lin，H T Ng，M Y Kan.Automatically Evaluating Text Coherence Using Discourse Relations［C]／／Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics：Human Language Technologies，2011，Volu me 1：997－1006.

［2]樂明.漢語篇章修辭結(jié)構(gòu)的標注研究［J].中文信息學報，2008，22（4）：19－23.

［3]D Marcu，A Echihabi.An Unsupervised Approach to Recognizing Discourse Relations［C]／／Proceedings of the 40th Annual Meeting on Association for Co mputational Linguistics，2002：368－375.

［4]M Saito，K Yama moto，S Sekine.Using Phrasal Patterns to Identif y Discourse Relations［C]／／Proceedings of the Human Language Technology Conference of the NAACL，2006，Co mpanion Volu me：133－136.

［5]C Sporleder，A Lascarides.Using Auto matically Labelled Examples to Classify Rhetorical Relations［J].An assess ment，Natural Language Engineering，2008，14（3）：369－416.

［6]S Blair－Goldensohn，K R Mc Keown，O C Rambow.Building and Refining Rhetorical－Semantic Relation Models［C]／／Proceedings of NAACL HLT，2007：428－435.

［7]E Pitler，M Raghupathy，H Mehta，et al.Easily identifiable discourse relations［R].Technical Reports（CIS），2008：884.

［8]E Pitler，A Louis，A Nenkova.Auto matic Sense Prediction for Implicit Discourse Relations in Text［C]／／Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th Inter national Joint Conference on Natural Language Pr ocessing of the AFNLP，2009，2：683－691.

［9]Z Lin，M Y Kan，H T Ng.Recognizing Implicit Discourse Relations in the Penn Discourse Treebank［C]／／Pr oceedings of the 2009 Conference on Empirical Methods in Natural Language Pr ocessing，2009，Volume 1：343－351.

［10]Z M Zhou，Y Xu，Z Y Niu，et al.Predicting Discourse Connectives f or Implicit Discourse Relation Recognition［C]／／Proceedings of the 23rd Inter national Conference on Co mputational Linguistics：Posters，2010：1507－1514.

［11]W T Wang，J Su，C L Tan.Kernel Based Discourse Relation Recognition with Temporal Ordering Information［C]／／Proceedings of the 48th Annual Meeting of the Association f or Co mputational Linguistics，2010：710－719.

［12]E Pitler，A Nenkova.Using Syntax to Disambiguate Explicit Discourse Connectives in Text［C]／／Proceedings of the ACL－IJCNLP Conference Short Papers，2009：13－16.

［13]G Kondrak.N－gram Si milarity and Distance［C]／／String Processing and Inf or mation Retrieval，2005：115－126.