交互式問答系統(tǒng)中待消解項的識別方法研究

張 超，孔 芳，周國棟

(蘇州大學 計算機科學與技術學院自然語言處理實驗室, 江蘇 蘇州 215006)

1 引言

問答系統(tǒng)(Question Answering，QA)作為一種能夠對用戶以自然語言提出的問題作出自動回答的技術受到越來越多的關注。問答系統(tǒng)的研究一直以來都是自然語言處理領域的重要內容[1]。但傳統(tǒng)問答技術只局限于對單一問題回答的方法研究，這種一問一答的形式所能提供的相關信息具有一定的局限性，在很多情況下并不能滿足用戶對同一實體或事件多方面復雜信息的需求。交互式問答系統(tǒng)允許用戶提出一系列與主題相關的問題，以對話的形式逐個回答用戶關于同一實體或事件多方面的問題[1]。目前，交互式問答技術已經(jīng)作為問答系統(tǒng)的一項重要技術受到廣泛關注： 文本信息檢索會議(TREC)在2004年的QA任務中開始以系列問題的方式給出問題評測集[2]，每個系列提供一個對象(Target)，系列問題中的每個問題都是與該對象相關(例1： Q1:What film introduced Jar Jar Binks? Q2:What actor is used as his voice? Q3:To what alien race does he belong?)；同時，交互式問答技術在工業(yè)界的應用也受到青睞，例如，蘋果公司的Siri語音助手、許多不同領域的自動咨詢機器人等。

然而，目前許多運用交互式問答技術的工業(yè)界應用(如Siri)都存在一個缺陷： 對于交互式問答中的上下文信息運用得不夠全面和充分。而這同樣是交互式問答技術的重點和難點。以對話的形式來回答用戶的提問必定會出現(xiàn)其他自然語言文本中常見的指代現(xiàn)象和成分省略現(xiàn)象，這就需要運用上下文信息來進行指代消解和省略恢復以便于更準確更全面地理解用戶的提問，例如，例1中Q2代詞his的消解問題。

指代是自然語言文本中常見的語言現(xiàn)象，它是指語篇中的指代詞回指之前的某個語言單位。指代的作用在于其能夠使文章更加簡潔明了，并能夠幫助保持文章的連貫性。指代消解是指為篇章中的指代詞尋找所指代的語言單位的過程。在交互式問答中，指代消解就是為用戶問題中的指代詞尋找其具體指代的內容，以便于更好地理解用戶的問題來獲取更準確的答案。通常來講，指代消解具體分為兩個步驟： (1)待消解項的識別；(2)對待消解項的消解。作為指代消解任務的第一步，待消解項識別的主要工作是識別哪些詞或短語是具有指代現(xiàn)象的指代詞。近期的許多指代消解方面的相關研究表明： 待消解項的識別工作能較好地提高指代消解的性能[3]。雖然待消解項識別已經(jīng)存在相關研究[4]，但是由于交互式問答技術的對話文本與傳統(tǒng)普通文本有著很大的差異，交互式問答系統(tǒng)中問句形式比較多并且口語化表達比較頻繁，這會對待消解項識別工作造成一定的影響，因此交互式問答系統(tǒng)中待消解項的識別工作不同于傳統(tǒng)普通文本中的待消解項識別工作。

本文將在接下來的第2節(jié)中介紹交互式問答以及待消解項識別的相關研究；在第3節(jié)介紹本文提出的關于交互式問答系統(tǒng)的框架；第4節(jié)詳細闡述交互式問答系統(tǒng)中的待消解項識別方法并在第5節(jié)給出了實驗結果和分析；最后一節(jié)是本文的內容總結及工作展望。

2 相關工作

自TREC2004的QA任務中加入系列問題任務以來，部分研究者便意識到交互式問答技術的重要性，并相繼開展了交互式問答技術的相關研究。Chai[5]等人最早指出了用戶與問答系統(tǒng)對話的形式所獲取的信息比一問一答形式獲取的信息更加全面準確。用戶往往是想詢問關于一個特定主題的信息或者是如何解決一個特定的任務，僅僅一個問題往往滿足不了用戶的需求。交互式問答技術能夠以對話的形式解答用戶的一系列相關問題，Carbonell[6]和Nils[7]等都指出了對話領域中指代現(xiàn)象出現(xiàn)頻繁，是計算機理解人機對話的一大障礙。Dongsheng Wang[8]提出使用本體與模板的方法來利用交互式問答中的上下文信息，Joyce Y Chai[9]根據(jù)交互式問答的特點提出了對話篇章模型來使用上下文信息，但兩者都并未真正在指代詞上進行消解工作。

早期的指代消解并未考慮待消解項的識別任務，代表性的是Soon等人[4]提出的機器學習方法，將指代消解問題化為二元分類問題，并未進行待消解項識別。隨著指代消解研究的日益深入，待消解項識別越來越受到重視。Lappin等人[10]最早在指代消解平臺中加入了用于識別“it”是否是待消解項的識別模塊；Bean和Riloff[11]提出了將基于統(tǒng)計的待消解項識別特征運用到指代消解平臺中。

隨著大規(guī)模語料的出現(xiàn)，基于機器學習方法的待消解項識別方法逐漸成為熱點。Evans等[12]從語法、句法等角度分析了成為待消解項的“it”的特點，歸納出判定“it”為待消解項的特征集；Ng等人[4]選用包含了語法、句法、語義、位置、構詞等多方面信息的特征，給出了一種基于機器學習方法的待消解項識別方法；Müller等人[13]探索了對話領域中非待消解項“it”的判定方法。Zhou等人[14]給出17個關于代詞、有定名詞、指示性代詞、專有名詞的特征，利用標記傳播算法，在機器學習的基礎上對待消解項識別進行了全局優(yōu)化。但上述研究都未在交互式問答中作性能測試。

同以往研究不同的是，本文首次在交互式問答任務方面提出待消解項識別問題，并針對該任務給出相應的識別方法和有效特征。

3 交互式問答系統(tǒng)框架

根據(jù)交互式問答中存在的指代和省略現(xiàn)象，本文提出了改進的交互式問答系統(tǒng)框架，如圖1所示。

圖1 考慮指代和省略消解的交互式問答系統(tǒng)框架圖

同傳統(tǒng)的交互式問答系統(tǒng)不一樣的是，該框架將用戶提出的問題進行指代消解和省略恢復工作，將原問題恢復到傳統(tǒng)問答技術能夠回答的狀態(tài)。本文充分利用已有的問答技術的研究成果，并結合文本篇章結構處理方法，所提出的系統(tǒng)框架能夠更好地處理實際應用中的交互式問答問題。

本文主要研究圖1虛線框中加黑部分，即待消解項識別方法。下一部分將詳細闡述待消解項識別的具體方法。

4 待消解項識別方法

本文以孔芳等人[15]基于ACE語料庫提出的規(guī)則與機器學習方法相結合的待消解項識別方法為基礎，在交互式問答對話中進行待消解項識別方法的研究工作，探究在傳統(tǒng)語言文本上的待消解項識別方法在交互式問答對話文本上的適應性，找出兩者的不同之處，并根據(jù)交互式問答的特性優(yōu)化孔芳等人提出的方法。

待消解項的識別任務與一些其他的NLP研究任務的不同之處在于某些待消解項的識別是與上下文無關的，這時候就需要更多地運用語言學的知識去建立相關的規(guī)則進行判斷。由于語言現(xiàn)象紛繁復雜，全部列舉出不同的語言現(xiàn)象并制定規(guī)則非常困難，而且某些語言現(xiàn)象很難用簡單的規(guī)則來準確表達，同時，部分待消解項識別任務需要運用到上下文信息，因此本文運用規(guī)則方法與機器學習方法相結合的方法。

Zhou等[14]對新聞語料統(tǒng)計后發(fā)現(xiàn)，能夠成為指代詞的語言單位主要有以下幾類： 代詞、專有名詞短語、有定名詞短語、無定名詞短語、指示性名詞短語和未知類別名詞短語。本文在交互式問答對話語料中統(tǒng)計后發(fā)現(xiàn)在交互式問答中的待消解項主要是代詞、專有名詞以及有定名詞三類，而無定名詞短語、指示性名詞短語和未知類別名詞短語所占的比重極少，因此本文忽略這幾類，僅考慮代詞、專有名詞以及有定名詞這三種類別的規(guī)則與特征方法研究。

4.1 啟發(fā)式規(guī)則方法

基于規(guī)則的待消解項識別方法是運用啟發(fā)式規(guī)則來判定候選詞是否是待消解項的方法。本節(jié)余下部分將分別介紹針對代詞、專有名詞短語和有定名詞短語制定的不同的啟發(fā)式規(guī)則。

4.1.1 針對代詞的消解項識別規(guī)則

代詞是最常見的指代詞，但并非所有代詞都有指代內容，最常見的情況是代詞“it”。中性代詞“it”常常用在固定的短語結構和句式中，并未有指代任何語言單位，例如，“It is so hot today.”、“It is Bill that makes me happy.”?？追嫉萚15]參考Lappin和Leass[10]的研究成果總結了3種“it”系表結構： 關于氣象的“it”,關于時間的“it”以及被動結構中的“it”，歸納了9種不同的“it”是否是待消解項的判斷規(guī)則。

但上述的規(guī)則集都是在陳述句中的固定結構,而交互式問答文本與新聞文本有很大不同，問答對話中多是問句，并有很少一部分的祈使句。為此根據(jù)交互式問答文本的特點，在前人的研究基礎上，本文總結了在問句中的“it”為非待消解項的特征集。

表1 交互式問答中非待消解項“it”的表現(xiàn)形式

4.1.2 針對專有名詞短語的消解項識別規(guī)則

專有名詞是指表示人、地方、組織機構等特有事物的名詞。專有名詞待消解項的識別需要結合語義、語法、句法、詞法等多方面信息，僅僅使用規(guī)則信息很難包含這些信息，因此專有名詞的待消解項識別主要通過特征方法。規(guī)則方法主要根據(jù)WordNet判斷專有名詞是否是人名(Person)、地名(Location)、機構名(Organization)、日期(Date)、時間(Time)、百分數(shù)(Percentage)、貨幣(Monetary value)中的一類，若不在其中則為非待消解項。

4.1.3 針對有定名詞短語的消解項識別規(guī)則

有定名詞是指帶有定冠詞the的名詞短語，例如： the organization。有定名詞在指代詞中占有很大比重。Poesio等人[16]將其分為5類： 語義功能的有定名詞(例如，the second place)、專有型有定名詞(例如，the FBI)、同位語型有定名詞(例如，Bush，the president of USA)、特定型有定名詞(例如，the place where...)、廣義有定名詞(例如，the earth)。對于有定名詞在交互式問答中作為待消解項的特征，可總結出以下確定為非待消解項的啟發(fā)式規(guī)則：

1. the+形容詞最高級/序數(shù)詞/專有名詞+none的有頂名詞。

2. the+廣義名詞，如the earth、the sun等。

3. the + none+that的形式。

4. 有定名詞+of的形式。

5. 有定名詞+關系從句。

滿足上述規(guī)則的有定名詞將判定為非待消解項。

4.2 機器學習方法

基于規(guī)則的待消解項識別方法的優(yōu)點是能夠利用語言學知識，對規(guī)律性強的類別有較好的識別能力。但是基于規(guī)則方法不能夠完全窮舉，且無法運用詞法、句法、語法等信息。隨著大規(guī)模語料的出現(xiàn)，基于特征的方法在待消解識別研究中起著重要作用。本文結合交互式問答的特點與前人的研究提出了針對代詞、專有名詞短語和有定名詞短語的基于特征的待消解項識別方法，經(jīng)過實驗后選擇了適應交互式問答特點的平面特征。

特征方法主要描述候選詞的兩方面信息： 當前對象自身信息與當前對象所處的上下文信息。其中描述三類候選詞的上下文信息有一些是共同的特征，主要描述對象的語義特征，如表2所示。

表2 描述候選詞上下文信息的特征集

同時，根據(jù)三類候選詞的不同特點，選取并制定了各自不同的描述三類候選詞上文信息的特征以及描述它們各自自身信息的特征，如表3～5所示。

根據(jù)特征方法的要求，特征集分為描述當前對象自身信息和描述上下文信息的兩類特征。其中描述當前對象自身信息的特征主要為詞性、大小寫、短語構成等信息；描述上下文信息的特征主要為描述匹配、語義以及一些句法信息。表4中加黑部分的兩個特征是本文根據(jù)交互式問答的特點提出的兩個新特征。

表3 代詞待消解項分類器特征集

表4 專有名詞待消解項識別分類器特征集

表5 有定名詞待消解項識別分類器特征集

5 實驗結果與分析

5.1 實驗設置

本文采用TREC2004至TREC2007的QA評測任務的286個問題集1 962個問題作為實驗語料[2]。通過對語料統(tǒng)計后發(fā)現(xiàn)共有771處指代，其中代詞在語料中所占的比例最大，占53.48%；有定名詞也有一定比例，占31.97%；專有名詞占13.43%；而其他情況只占1.12%。因此，本文僅僅考慮代詞、有定名詞和專有名詞這三類。

在基于機器學習方法中，本文采用SVM-Light工具中徑向基核函數(shù)(RBF)來進行訓練與測試各類別的待消解項識別分類器的性能，選取60%的語料進行訓練，20%的語料作為開發(fā)集，其余20%作為測試語料。

在指代消解任務中加入待消解項識別任務的目的是盡可能地保留需要消解的消解元素并且能夠過濾掉干擾信息。多位研究者(例如，Bean等人[11]；Müller等人[13])認為在待消解項識別任務中召回率比準確率重要，因為如果待消解項被誤認為非待消解項，則會直接降低后續(xù)指代消解的性能。本文采用Zhou等人[14]提出的兩個準確率來評估待消解項識別器的性能： Acc+和Acc-。

Acc+表示的正例準確率，這一準確率越高說明丟失的待消解項越少，指代消解在這一環(huán)節(jié)損失的召回率越低；Acc-表示的負例的準確率，這一準確率越高說明過濾的干擾信息越多，引入的噪聲越少。

5.2 實驗結果分析

表6給出了基于本文改進的規(guī)則的各類別待消解項識別分類器的性能。

表6 基于規(guī)則的各類別待消解項識別分類器性能

從表中可以看出：

1) 代詞的正負準確率均達到100%，通過觀察語料發(fā)現(xiàn)交互式問答中的代詞大部分都有所指。在新聞語料中占有非待消解項很大比重的“it”在交互式問答中出現(xiàn)很少非待消解項的情況，只有少數(shù)幾例非待消解項并能被本文上述規(guī)則全部識別。這與新聞語料中代詞的情況有很大不同，分析其原因在于，“it”在做系表結構時多為表達觀點或陳述事實，而交互式問答中多為問句，少有表達觀點的陳述句。

2) 規(guī)則方法在專有名詞和有定名詞上都有很高的正例準確率。然而，規(guī)則方法在負例準確率上面表現(xiàn)非常差，所獲得的正確率非常低。該實驗結果表明規(guī)則方法能識別出大部分待消解項，但同時會引入較多的噪聲，對非消解項的過濾能力極低。此種情況與在新聞語料上出現(xiàn)的情況十分類似。

表7給出了基于機器學習方法的各類待消解識別分類器性能。表中原特征是針對新聞語料制定的特征集，新特征是加入了本文提出的兩個新特征之后的特征集。

表7 基于機器學習的各類別待消解項識別分類器性能

從表8可以看出：

1) 原特征在專有名詞上的正負例準確率都較低，說明原特征在交互式問答中的性能不是很好。交互式問答是以對話的形式出現(xiàn)，其中的表達不如新聞文本那么正式，對于一些結構名與人名則是能省則省，往往只用單獨一個命名實體來表示。本文在總結了交互式問答的這個特點后在原特征基礎上加入了兩個在專有名詞上的新特征： NEROUT和NNOUT(如表4中加黑部分所示)。加入這兩個特征后正負例準確率都有很大幅度的提高，證明新特征十分有效。

2) 原有特征在有定名詞上的正負例準確率都比較高。正例準確率能達到98%以上，說明識別出的待消解項比較全面，而且負例樣例也有較好的效果，能過濾掉大部分非待消解項。本文又在原有特征上嘗試加入了其他幾類特征，但最后的性能并未有太大改變，由此說明在新聞語料上的有定名詞特征集同樣適用于交互式問答中。

6 小結與展望

本文將現(xiàn)有的關于普通文本的識別方法運用到交互式問答中，觀察方法的適應性。利用啟發(fā)式規(guī)則與基于特征方法相結合的方法構造二元分類器來識別待消解項。針對交互式問答任務的特點，本文在機器學習方法上面提出了新的特征。實驗結果表明已有的識別方法在交互式問答中取得了一定的效果，在加入本文提出的新特征后，負例準確率有明顯的提升。雖然本文在交互式問答中待消解項識別的實驗的效果取得了較好的效果，但由于語料的限制只研究了代詞、有定名詞、專有名詞三種類別的識別研究。待消解項識別研究完成后將要進行下一步工作： 指代消解，最后對于待消解項識別工作對在交互式問答中的指代消解的影響將是下一步研究的一項重要內容。

[1] Nick Webb. Introduction of Interactive Question Answering Workshop[C]//Proceedings of the Interactive Question Answering Workshop at HLT-NAACL 2006, 2006.

[2] Ellen M Voorhees. Overview of the TREC 2004 Question Answering Track. http://trec.nist.gov/, 2004.

[3] Ng V, Cardie C. Identify anaphoric and non-anaphoric noun phrases to improve coreferecne resolution[C]//Proceedings of the 19th Int Conf on Computational Linguistics (COLING), 2002:976-984.

[4] Soon W M, Ng H T, Lim D. A machine learning approach of coreference resolution of noun phrase[J]. Computational Linguistics, 2001, 27(4): 521-544.

[5] Chai J, Jin R. Discourse structure for context question answering[C]//Proceedings of HLT-NAACL 2004 Workshop on Pragmatics of Question Answering, 2004:23-30.

[6] Carbonell J G. Discourse pragmatics and ellipsis resolution in task-oriented natural language interfaces[C]//Proceedings of 21st Annual Meeting on Association for Computational Linguistics, 1983:164-168.

[7] Nils D, Jonsson A. Empirical studies of discourse representations for natural language interfaces[C]//Proceedings of 4th Conference of the European Chapter of the ACL, 1989:291-298.

[8] Dongsheng Wang. Answering contextual questions based on ontologies and question templates[J]. Frontiers of Computer Science in China, 2011, 5(4): 405-418.

[9] Joyce Y Chai, Rong Jing. Discourse structure for context question answering[C]//Proceedings of the Workshop on Pragmatics of Question Answering at HLT-NAACL, 2004:23-30.

[10] Lappin S, Herbert J L. An algorithm for pronominal anaphora resolution [J]. Computational Linguistic, 1994, 20(4):535-561.

[11] Bean D, Riloff E. Corpus-based identification of non-anaphoric noun phrases[C]//Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics (ACL), 1999:373-380.

[12] Evans R. Applying Machine Learning Toward an Automatic Classification of It[J]. Literary and Linguistic Computing, 2011,16(1):45-57.

[13] Müller C. Automatic detection of non-referential It in spoken multi-party dialog[C]//Proceedings of the EACL, 2006,49-56.

[14] Zhou G D, Kong F. Global learning of noun phrase anaphoricity in coreference resolution via label propagation [C]//Proceedings of the 2009 Conf on Empirical Methods in Natural Language Processing, 2009:978-986.

[15] 孔芳，朱巧明，周國棟. 中英文指代消解中待消解項識別的研究[J]. 計算機研究與發(fā)展, 2012, 49(5):1072-1085.

[16] Poesio M, Vieira R. A corpus-based investigation of definite description use[J]. Computational Linguistics, 1998:183-216.