一種新穎的基于森林-2-串算法的語(yǔ)義分析研究

廖志華

(湖南師范大學(xué) 教師教育學(xué)院&教師教學(xué)發(fā)展中心，湖南 長(zhǎng)沙，410081)

語(yǔ)義分析器通過(guò)意義表征語(yǔ)言(MRL)，將自然語(yǔ)言(NL)語(yǔ)句轉(zhuǎn)換為邏輯形式(LFs)。最近的研究主要集中在直接通過(guò)語(yǔ)料庫(kù)來(lái)學(xué)習(xí)這樣的分析器，而這些語(yǔ)料庫(kù)是由與邏輯意義表征配對(duì)的句子所組成[1-11]，研究的目標(biāo)是學(xué)習(xí)一種語(yǔ)法，該語(yǔ)法可以將新的、不可見(jiàn)的句子映射到其相應(yīng)的意義或邏輯表達(dá)式上。

雖然這些算法在特定語(yǔ)義形式上通常表現(xiàn)很好，但它們應(yīng)用于不同的語(yǔ)義形式時(shí)究竟能表現(xiàn)如何，至今仍然有待探究。在文章中，我們將提出一種使用森林-2-樹(shù)算法的統(tǒng)計(jì)機(jī)器翻譯框架來(lái)學(xué)習(xí)語(yǔ)義分析任務(wù)的新型監(jiān)督方法，即森林-2-串算法。這種方法將詞匯獲取和表層意義的實(shí)現(xiàn)集成在一個(gè)框架中。受到森林到字符串的概率生成算法[11]和Wong[12]以及Wong和Mooney[13-15]，使用統(tǒng)計(jì)機(jī)器翻譯來(lái)學(xué)習(xí)語(yǔ)義分析的啟發(fā)，我們的語(yǔ)義分析框架由兩個(gè)主要的部分組成。首先，該框架包含一個(gè)詞匯獲取組件，這是基于自然語(yǔ)言句子和線性化語(yǔ)義分析之間的短語(yǔ)對(duì)齊，該短語(yǔ)對(duì)齊是由現(xiàn)有短語(yǔ)對(duì)齊模型給出的一組訓(xùn)練樣本。提取出來(lái)的轉(zhuǎn)換規(guī)則形成同步上下文無(wú)關(guān)語(yǔ)法(SCFG)，為此，用一個(gè)概率模型來(lái)解決分析歧義。第二個(gè)組成部分是來(lái)估計(jì)概率模型的參數(shù)。參數(shù)模型基于最大熵，概率模型以無(wú)監(jiān)督的方式在同一組訓(xùn)練樣本上進(jìn)行訓(xùn)練。

文章的結(jié)構(gòu)如下，第2節(jié)將描述我們?nèi)绾螛?gòu)建具有森林-2-串算法來(lái)開(kāi)發(fā)語(yǔ)義分析器，第3節(jié)將討論解碼器，第4節(jié)將介紹我們的實(shí)驗(yàn)并報(bào)告結(jié)果，最后，第5節(jié)得出結(jié)論。

1 語(yǔ)義分析模型

現(xiàn)在我們介紹語(yǔ)義分析的算法，它使用基于降階的λ-SCFG將自然語(yǔ)言句子譯為邏輯形式，這是基于演繹的SCFG的擴(kuò)展版本[10]。給定一組訓(xùn)練句及其配對(duì)的正確邏輯形式，主要的學(xué)習(xí)任務(wù)是推斷一組基于降階的λ-SCFG規(guī)則——詞庫(kù)，是一個(gè)用于推導(dǎo)的概率模型。詞庫(kù)定義了可能的推導(dǎo)集合，所以概率模型的歸納首先需要一個(gè)詞庫(kù)。因此，學(xué)習(xí)任務(wù)又可以分為兩個(gè)子任務(wù)：(1)歸納詞庫(kù)；(2)歸納概率模型-最大熵模型。

1.1 詞匯習(xí)得

首先介紹語(yǔ)法，接下來(lái)介紹語(yǔ)法歸納的生成模型來(lái)獲取語(yǔ)法規(guī)則。

語(yǔ)法歸納：我們采用Lu和Ng[11]開(kāi)發(fā)的λ-混合樹(shù)模型，這是從λ子表達(dá)式映射到具有聯(lián)合生成過(guò)程的詞序列的生成模型。

圖1 λ-意義樹(shù)及其對(duì)應(yīng)的自然語(yǔ)言句子的聯(lián)合生成過(guò)程Fig.1 The joint generative process of both λ-meaning tree and its corresponding natural language sentence

圖2 “give me the states bordering states that the mississippi runs through(給我與密西西比全州接壤的國(guó)家)”的一個(gè)λ-混合樹(shù)示例，及其邏輯形式“λx0.state(x0)∧?x1.[loc(miss_x1)∧state(x1)∧next_to(x1，x0)]”Fig.2 One example λ-hybrid tree for the sentence “give me the states bordering states that the mississippiruns through” and its logical form “λx0.state(x0)∧?x1.[loc(miss_x1)∧state(x1)∧next_to(x1，x0)]”

圖2給出了一個(gè)λ混合樹(shù)示例的一部分，從λ混合樹(shù)中提取出語(yǔ)法規(guī)則，使用相同的語(yǔ)法進(jìn)行分析和生成。由于SCFG對(duì)兩個(gè)生成的字符串都是完全對(duì)稱的，所以用于分析的同一個(gè)圖表可以輕松適應(yīng)高效分析。現(xiàn)在我們演示一下如何使用生成模型將自然語(yǔ)言句子映射到λ表達(dá)式上。首先，這個(gè)模型基于生成的λ-混合樹(shù)模型的學(xué)習(xí)參數(shù)，找到所有訓(xùn)練實(shí)例的維特比λ-混合樹(shù)。然后，該模型提取這些λ混合樹(shù)頂部的語(yǔ)法規(guī)則。具體來(lái)說(shuō)，我們提取下列同步語(yǔ)法規(guī)則的樹(shù)類型，有λ-混合序列規(guī)則、子樹(shù)規(guī)則和兩級(jí)的λ-混合序列規(guī)則。示例見(jiàn)表1。

表1從λ混合樹(shù)中提取出的同步規(guī)則示例

Table1Examplesynchronousrulesthatcanbeextractedfromtheλ-hybridtree

類型樣例type1：〈e，〈e，t〉→〈bordering，λy，λx，next＿to(x，y)〉〈e，t〉→〈〈e，t〉②〈e，t〉，λg，λy，λx，g(x)∧f(x)?〈e，t〉①〈e，t〉②〉type2：〈e，t〉→〈statesthatthemississippirunsthrough，λx，loc(miss＿r，x)∧state(x)〉〈e，t〉→〈thatthemississippirunsthrough，λx，loc(miss＿r，x)〉type3：〈e，t〉→〈thestatesbordering〈e，t〉①，λf，λx．state(x)∧?y．[f(y)∧next＿to(y，x)]?〈e，t〉①〉〈e，t〉→〈statesthate①runsthrough，λy，λx．loc(y，x)∧state(x)?e①〉

1.λ-混合序列規(guī)則：這些慣用的規(guī)則由一個(gè)λ-生成和對(duì)應(yīng)的λ-混合序列組成。

2.子樹(shù)規(guī)則：這些規(guī)則由λ-混合樹(shù)的完整子樹(shù)構(gòu)成，可以從每條規(guī)則中獲取子表達(dá)式和連續(xù)子句之間的完整映射。

3.兩級(jí)λ混合序列規(guī)則：這些規(guī)則由一個(gè)樹(shù)的片段構(gòu)成，其中一個(gè)孫子子樹(shù)只抽象出其類型。這些規(guī)則是通過(guò)替代和降階來(lái)構(gòu)建的，下面展示了如何通過(guò)替代和降階來(lái)構(gòu)建兩級(jí)的λ-混合序列規(guī)則。

表2是一個(gè)基于圖2中λ-混合樹(shù)的樹(shù)形片段的例子。

表2 通過(guò)樹(shù)片段的替換和降階構(gòu)建兩級(jí)λ-混合序列規(guī)則

注意：由e□：miss_r根下的子樹(shù)被其類型e“抽象”出來(lái)。因此引入類型e的輔助變量y′以促進(jìn)構(gòu)建過(guò)程。

為了實(shí)現(xiàn)討論，我們以圖3中的短語(yǔ)對(duì)齊為例。

圖3 基于λ混合樹(shù)的短語(yǔ)對(duì)齊Fig.3 A phrase alignment based on aλ-hybrid tree

為了表示圖3中的邏輯形式，我們使用其線性化分析——以自上而下和最左順序生成邏輯形式的MRL生成列表。由于MRL語(yǔ)法沒(méi)有歧義，每個(gè)邏輯形式都有一個(gè)獨(dú)特的線性化分析。假設(shè)對(duì)齊方式為n到1，其中每個(gè)單詞最多可鏈接到一個(gè)MRL生成?；旧?，從λ混合樹(shù)中可以提取出基于降階的λ-SCFG語(yǔ)法規(guī)則和短語(yǔ)對(duì)齊[3]，其中邏輯變量受到λ運(yùn)算符的明確約束，且這些語(yǔ)法規(guī)則以自下而上的方式提取，從λ混合樹(shù)葉子的MRL生成開(kāi)始。規(guī)則提取以這種方式進(jìn)行，直到提取到達(dá)λ-混合樹(shù)的根。

1.2 最大熵模型

一旦獲得了詞庫(kù)，下一個(gè)任務(wù)就是學(xué)習(xí)語(yǔ)義分析器的概率模型。我們提出最大熵模型，它定義了給定觀察到的NL字符串ω的導(dǎo)數(shù)d的條件概率分布。在此，最大熵模型是指數(shù)模型：

條件概率Pλ(d|ω)與分配給每個(gè)特征fi的權(quán)重的λi乘積成比例。特征表示導(dǎo)數(shù)的某一特性。這樣的話，特征就是推導(dǎo)中使用每個(gè)變換規(guī)則的次數(shù)。稱為分區(qū)函數(shù)的功能Zλ(ω)是歸一化因子，是條件概率與產(chǎn)生w的所有導(dǎo)數(shù)相加之和。得到的結(jié)果是，特征權(quán)重λi可以是任何正數(shù)。在最大熵模型中，使用額外的特征f*(d)來(lái)建立不可見(jiàn)詞的生成，得到的值是所有被跳過(guò)的詞的數(shù)量。對(duì)應(yīng)于域特定詞類的其他功能可用于更細(xì)粒度的修勻，這些功能可能相互交互并不成為問(wèn)題。

2 解碼

最大熵模型的解碼可以這樣進(jìn)行：

關(guān)于句子長(zhǎng)度，可以使用維特比算法在三次方時(shí)間內(nèi)完成。Earley圖表用于跟蹤與輸入一致的所有導(dǎo)數(shù)，最大條件似然準(zhǔn)則用于估計(jì)最大熵模型中的參數(shù)λi。這意味著給定ω，條件似然fi將最大化。選擇這個(gè)準(zhǔn)則是因?yàn)樗子谑褂茫⑶以试S判別學(xué)習(xí)形式，集中在能將好的分析與不好的分開(kāi)。高斯先驗(yàn)((σ2=1))用來(lái)規(guī)范模型，由于黃金標(biāo)準(zhǔn)推導(dǎo)在訓(xùn)練數(shù)據(jù)中不可用，所以正確的推導(dǎo)必須視為隱含變量。為了找到局部最大化條件似然性的一組參數(shù)λ*，用改進(jìn)的迭代縮放(IIS)版本與已經(jīng)被用于估計(jì)基于概率統(tǒng)一語(yǔ)法的EM相結(jié)合。與完全監(jiān)督的情況不同，條件似然性相對(duì)于λ來(lái)說(shuō)不是凹型的，所以估計(jì)算法對(duì)初始參數(shù)很敏感。盡可能地假設(shè)，λ初始化為零。估計(jì)算法需要依賴于句子或句子MR對(duì)的所有可能的推導(dǎo)統(tǒng)計(jì)。雖然列舉所有推導(dǎo)不可行，但可以使用Inside-Outside算法的變體來(lái)有效地收集所需的統(tǒng)計(jì)數(shù)據(jù)。只有在訓(xùn)練集的最佳分析中使用的規(guī)則才會(huì)保留在最終的詞庫(kù)中，其余所有規(guī)則都將舍棄[12-15]。假設(shè)在最佳分析中使用的規(guī)則是最準(zhǔn)確的，這個(gè)通常被稱為維特比近似的啟發(fā)式，可以用來(lái)提高準(zhǔn)確性。

3 實(shí)驗(yàn)

本節(jié)將介紹實(shí)驗(yàn)設(shè)置和結(jié)果的比較。遵循Zettlemoyer和Collins[16-18]，以及Kwiatkowski等人[5-6]包括如下所述的數(shù)據(jù)集、初始化以及系統(tǒng)等方面的設(shè)置，最后，得出實(shí)驗(yàn)結(jié)果。

數(shù)據(jù)集：對(duì)兩個(gè)基準(zhǔn)封閉域數(shù)據(jù)集進(jìn)行估算。GeoQuery由對(duì)地理信息數(shù)據(jù)庫(kù)的自然語(yǔ)言查詢組成，ATIS包含對(duì)航班訂票系統(tǒng)的自然語(yǔ)言查詢[16-18]。Geo880數(shù)據(jù)集分為600對(duì)的訓(xùn)練集和280對(duì)測(cè)試集，Geo250數(shù)據(jù)集是Geo880的一個(gè)子集，并使用與該子集相同分割的10倍交叉驗(yàn)證實(shí)驗(yàn)。ATIS數(shù)據(jù)集分為5000個(gè)樣本開(kāi)發(fā)集和450個(gè)樣本測(cè)試集。

初始化：算法學(xué)習(xí)使用的是Och和Ney[19-20]的IBMModel5的GIZA++實(shí)現(xiàn)，來(lái)訓(xùn)練單詞對(duì)齊模型。IBMModels1-4在訓(xùn)練期間用于初始化模型參數(shù)。

系統(tǒng)：比較這些最近公布、直接比較的結(jié)果。GeoQuery包括ZC07[16]，λ-WASP[12-15]，UBL[5]和FUBL[6]。報(bào)告的ATIS的結(jié)果來(lái)源于ZC07，UBL和FUBL。

表3 不同GeoQuery測(cè)試集之間的完全匹配性能

(b)Geo880測(cè)試集

表4 ATIS開(kāi)發(fā)集的完全匹配性能

表5ATIS測(cè)試集上的精確和部分匹配的性能

Table5PerformanceofexactandpartialmatchesontheATIStestset

(a)精確匹配

(b)部分匹配

結(jié)果：表3-5顯示了GeoQuery和ATIS域中的所有結(jié)果。與直接比較的系統(tǒng)相比，我們的系統(tǒng)達(dá)到了最高水平的召回率和精確度，并且顯著優(yōu)于ZC07，λ-WASP，UBL和FUBL。對(duì)比其他三個(gè)系統(tǒng)，我們算法的主要優(yōu)點(diǎn)是不需要任何自然語(yǔ)言句法的先驗(yàn)知識(shí)。因此，該算法可直接應(yīng)用在其他自然語(yǔ)言句子的訓(xùn)練數(shù)據(jù)上。

4 結(jié)論

文中提出了一種新穎的基于森林-2-串算法的語(yǔ)義分析器模型。該模型是采用從森林-2-樹(shù)算法的統(tǒng)計(jì)機(jī)器翻譯框架來(lái)進(jìn)行語(yǔ)義分析的新型監(jiān)督方法。兩個(gè)基準(zhǔn)點(diǎn)數(shù)據(jù)集(即GeoQuery和ATIS)上的實(shí)驗(yàn)表明，我們的方法可獲得合適的性能。

[1]YOAV A，LUKE Z.Bootstrapping semantic parsers from conversations[C]//In the Conference on Empirical Methods in Natural Language Processing(EMNLP).Singapore：ACL Anthology，2011：421-432.

[2]YOAV A，LUKE Z.Weakly supervised learning of semantic parsers for mappinginstructions to actions[J].Transactions of the Association for Computational Linguistics(TACL)，2013，1：49-62.

[3]PHILIPP K，F(xiàn)RANZ O，DANIEL M.Statistical phrase-based translation[C]//In the Conference of the North American Chapter of the Association for Computational Linguistics(NAACLHLT).Singapore：ACL Anthology，2003：48-54.

[4]JAYANT K.Probabilistic models forlearning a semantic parser lexicon[C]//In the Conference of the North American Chapter of the Association for Computational Linguistics(NAACL-HLT).Singapore：ACL Anthology，2016：606-616.

[5]TOM K，LUKE Z，SHARON G，et al.Inducing probabilistic ccg grammars from logical form withhigher-order unification[C]//In the Conference on Empirical Methods in Natural Language Processing(EMNLP)，Singapore：ACL Anthology，2010：1223-1233.

[6]TOM K，LUKE Z，Sharon G，et al.Lexical generalization in ccg grammar induction for semantic parsing[C].In the Conference on Empirical Methods in Natural Language Processing(EMNLP).Singapore：ACL Anthology，2011：1512-1523.

[7]LIAO Z，ZENG Q，WANG Q.Semantic parsing via ‘0-norm-based alignment[C].In Recent Advances in Natural Language Processing(RANLP).Singapore：ACL Anthology，2015：355-361.

[8]LIAO Z，ZENG Q，WANG Q.Asupervised semantic parsing with lexical extensionand syntactic constraint[C]//In Recent Advances in Natural Language Processing(RANLP)，Singapore：ACL Anthology，2015：362-370.

[9]LIAO Z，ZHANG Z.Learning to map Chinese sentences to logical forms[C]//In the 7th International Conference on Knowledge Science，Engineering and Management(KSEM).Berlin Heidelberg：Springer-Verlag，2013：463-472.

[10]LU W，Ng T.A probabilisticforest-to-string model for language generation fromtyped lambda calculus expressions[C]//In the Conference on Empirical Methods in Natural Language Processing(EMNLP).Singapore：ACL Anthology，2011：1611-1622.

[11]LUW，Ng T，LEE S，et al.Agenerative model for parsingnatural language to meaning representations[C]//In the Conference on Empirical Methods in Natural Language Processing(EMNLP).Singapore：ACL Anthology，2008：783-792.

[12]WONG W.Learning for Semantic Parsing and Natural Language Generation Using Statistical Machine Translation Techniques[D].Austin：University of Texas at Austin，2007.

[13]WONG W，RAYMOND M.Learning for semantic parsing with statistical machine translation[C]//In the Human Language Technology Conference of the North American Association for Computational Linguistics(NAACL).Singapore：ACL Anthology，2006：439-446.

[14]WONG W，RAYMOND M.Generation by inverting a semantic parser that uses statistical machine translation[C]//In the Conference of the North American Chapter of the Association for Computational Linguistics(NAACL-HLT-07).Singapore：ACL Anthology，2007 ：172-179.

[15]WONG W，RAYMOND M.Learning synchronous grammars for semantic parsing with lambda calculus[C]//In the Conference of the Association for Computational Linguistics(ACL).Singapore：ACL Anthology，2007：960-967.

[16]LUKE Z，MICHAEL C.Learning to map sentences to logical form：Structured classification with probabilistic categorical grammars[C]//In the 21st Conference on Uncertaintyin Artificial Intelligence(UAI).Singapore：ACL Anthology，2005：658-666.

[17]LUKE Z，MICHAEL C.Online learning of relaxed ccg grammars for parsing tological form[C]//In the Conference on Empirical Methods in Natural Language Processing and the Conference on Computational Natural Language Learning(EMNLP-CoNLL).Singapore：ACL Anthology，2007：678-687.

[18]LUKE Z，MICHAEL C.Learning context-dependent mappings from sentences to logical form[C].In Joint conference of the47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing(ACL-IJCNLP).Singapore：ACL Anthology，2009 ：976-984.

[19]FRANZ O，HERMANN N.A systematic comparison of various statistical alignment models[J].Computational Linguistics,2003，29(01)：19-51.

[20]FRANZ O，HERMANN N.The alignment template approach to statistical machine translation[J].Computational Linguistics,2004，2(30)：417-449.