深度學(xué)習(xí)算法與組合范疇語法的比較研究

趙 靚

(天津財經(jīng)大學(xué) 管理可計算建模協(xié)同創(chuàng)新中心， 天津 300222)

0 引言

近年來隨著深度學(xué)習(xí)算法應(yīng)用到自然語言處理(NLP)，語義可計算的問題有了突破性進(jìn)展。NLP中所謂的“詞嵌入”(word embedding)就是用高維空間中的實向量來表示詞，用來表示詞的向量也就稱為“詞向量”。這種研究語義的方式也被稱為“分布語義學(xué)”。事實上，詞向量用來分析自然語言中詞與詞之間聯(lián)系的方法很早就有比較成功的經(jīng)驗，但是傳統(tǒng)的方法都是純統(tǒng)計的方法。僅靠統(tǒng)計方法對詞向量分布的改進(jìn)一直持續(xù)到2012年(1)Jeffrey L. Elman，“Finding Structure in Time”，Cognitive Science，Vol.14,No.2,1990；Yoshua Bengio，Réjean Ducharme，Pascal Vincent，Christian Jauvin，“A Neural Probabilistic Language Model”，Journal of Machine Learning Research，Vol.3,No.6，2003.。Mikolov等使用神經(jīng)網(wǎng)絡(luò)算法首次展示了vking-vman+vwoman=vqueen(king去掉man的性質(zhì)，換上woman的性質(zhì)，對應(yīng)的詞是queen)這個被廣泛引用的結(jié)果(2)Tomá? Mikolov，Wen-tau Yih，Geoffrey Zweig，“Linguistic Regularities in Continuous Space Word Representations”，in Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，Atlanta，2013，pp.746-751.，標(biāo)志著統(tǒng)計方法進(jìn)入深度學(xué)習(xí)階段的跨越得以實現(xiàn)，此時的詞向量模型和先前的純統(tǒng)計學(xué)模型已經(jīng)有質(zhì)的區(qū)別。盡管深度學(xué)習(xí)算法在NLP領(lǐng)域異軍突起，尤其是語義相關(guān)性方面的效果十分顯著，但是這種算法在分析句法結(jié)構(gòu)、識別句法成分方面的表現(xiàn)卻并不能盡如人意。

組合范疇語法(Combinatory Categorial Grammar,CCG)不僅活躍在語言學(xué)和邏輯學(xué)的交叉領(lǐng)域，而且在NLP的實際操作中也已經(jīng)有廣泛應(yīng)用的語料庫。作為語言學(xué)參照標(biāo)準(zhǔn)的賓州樹庫(PTB)也已經(jīng)有官方CCGbank和賓州中文樹庫(PCTB)，而非官方的中文CCG庫的建設(shè)也有很多版本(3)陳鵬：《漢語組合范疇語法研究及樹庫的構(gòu)建——語言、邏輯與計算互動的視角》，博士后出站報告，2016年；Daniel Tse，James R. Curran，“Chinese CCGbank：extracting CCG derivations from the penn Chinese treebank”，in Proceedings of the 23rd International Conference on Computational Linguistics(Coling 2010)，Beijing，2010，pp.1083-1091.。這些語料庫的建立使得CCG有可能和深度學(xué)習(xí)算法得到的結(jié)果進(jìn)行直接對比，而對比分析的結(jié)果又可以對CCG和深度學(xué)習(xí)算法進(jìn)行雙向的修正和優(yōu)化。

1 深度學(xué)習(xí)算法求解的語義理解模型

1.1 深度學(xué)習(xí)算法簡介

一般意義上的算法是人為設(shè)定的一些規(guī)則，機器能做的只是嚴(yán)格地執(zhí)行這些規(guī)則，而機器學(xué)習(xí)算法本質(zhì)上是從沒有規(guī)則的數(shù)據(jù)中總結(jié)出規(guī)則的算法。也就是說，機器學(xué)習(xí)算法不是直接定義機器工作所需要的規(guī)則，而是使機器自己總結(jié)工作所需要的規(guī)則，而且面對不同的數(shù)據(jù)，會總結(jié)出不同的規(guī)則?？梢哉f，機器學(xué)習(xí)算法是“授人以漁”而不是“授人以魚”。比如，我們想讓機器識別人類喜怒哀樂所呈現(xiàn)的不同面部表情，但是我們并不使用五官的位置規(guī)則來直接告訴機器什么是喜怒哀樂的表情，而是通過輸入很多標(biāo)注喜怒哀樂表情的圖像數(shù)據(jù)，讓機器自己從中總結(jié)各種情感所對應(yīng)的五官位置、面部肌肉形態(tài)等信息構(gòu)成的規(guī)律。這種算法的運行過程就是機器從數(shù)據(jù)得到規(guī)律的過程，也就是“機器學(xué)習(xí)”的過程。

從最簡單的線性回歸，到現(xiàn)在最流行的人工神經(jīng)網(wǎng)絡(luò)，都是“學(xué)習(xí)算法”，因為這些算法都是從數(shù)據(jù)得到規(guī)律的算法，而“深度學(xué)習(xí)算法”是學(xué)習(xí)算法的一類，在實際使用中幾乎可以和“人工神經(jīng)網(wǎng)絡(luò)”互相替換，其中“深度”是相對于傳統(tǒng)兩三層的人工神經(jīng)網(wǎng)絡(luò)來講，深度學(xué)習(xí)算法使用的人工神經(jīng)網(wǎng)絡(luò)的層數(shù)通常是上百層。而人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在語義識別上的突破性成果就是引言中提到的Mikolov等(2013)撰寫的這篇論文，其中所使用的人工神經(jīng)網(wǎng)絡(luò)只有一層，增加更多層的神經(jīng)網(wǎng)絡(luò)反而會出現(xiàn)過擬合現(xiàn)象。至于只有一層人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法是否叫“深度學(xué)習(xí)算法”僅僅是名稱分類的問題，并沒有實際的意義。本文中“深度學(xué)習(xí)”這個詞傾向于采用參與創(chuàng)建“谷歌大腦”深度學(xué)習(xí)項目的吳恩達(dá)教授在多次演講中反復(fù)強調(diào)的觀點，也就是把具有不斷消化數(shù)據(jù)來改進(jìn)最優(yōu)化問題數(shù)值解性質(zhì)的算法，都稱為深度學(xué)習(xí)算法。因此，即使只有一層人工神經(jīng)網(wǎng)絡(luò)的算法，只要具有上述性質(zhì)的話，也可以稱為深度學(xué)習(xí)算法。

包括人工神經(jīng)網(wǎng)絡(luò)在內(nèi)的所有機器學(xué)習(xí)算法從本質(zhì)上講都是數(shù)值最優(yōu)化的問題。也就是說，有一個目標(biāo)函數(shù)，我們試圖找到這個函數(shù)的自變量取值，使得函數(shù)值盡可能的小，也即求函數(shù)最小值的問題。這個目標(biāo)函數(shù)也稱為這個數(shù)值最優(yōu)化問題的“模型”。不同的問題對應(yīng)不同的目標(biāo)函數(shù)，換言之，建立了不同的數(shù)學(xué)模型，好比不同的應(yīng)用題，根據(jù)題目列出來的方程也不一樣。不同的目標(biāo)函數(shù)，求函數(shù)最小值方法也多種多樣，即使采用機器學(xué)習(xí)的算法來求函數(shù)最小值，這種學(xué)習(xí)算法也有幾十個大類。其中，人工神經(jīng)網(wǎng)絡(luò)是解決圖像識別、語音識別、語義識別等“模式識別”類問題的一種比較有效的方法。

做應(yīng)用題分為兩步：第一步，列方程;第二步，解方程。我們現(xiàn)在面對的問題是讓機器聽懂人話的問題，也就是語義識別的問題。面對這個問題我們也要先“列方程”(給出目標(biāo)函數(shù))，再“解方程”(求函數(shù)最小值)。其中，關(guān)于求函數(shù)最小值的這個過程不限于人工神經(jīng)網(wǎng)絡(luò)，可以是任何機器學(xué)習(xí)算法，而最優(yōu)化問題的求解過程和算法實現(xiàn)也不是本文要討論的內(nèi)容。本文要討論的是“列方程”的問題，或者說，給問題建立數(shù)學(xué)模型的問題。具體說，是給出目標(biāo)函數(shù)的問題，以及這個目標(biāo)函數(shù)及其最優(yōu)解和組合范疇語法之間的對比修正關(guān)系。

1.2 詞向量和目標(biāo)函數(shù)

無論是文字還是講話，機器都是不能直接理解的。機器只擅長做一件事，那就是數(shù)值計算。所以，讓機器聽懂人話的第一步就是把“人話”變成“數(shù)字”，具體來講就是把自然語言中的每個詞都對應(yīng)上一串?dāng)?shù)字，這串?dāng)?shù)字就是這個詞對應(yīng)的詞向量。一門語言的詞匯表中每一個詞匯都變成了一串?dāng)?shù)字。詞匯表數(shù)字化之后的詞向量表就是我們要優(yōu)化的變量，相當(dāng)于列方程之前設(shè)好了要求解的未知數(shù)。一般把向量化之后的詞匯表記作θ，這就是目標(biāo)函數(shù)要優(yōu)化的自變量。

詞匯變成數(shù)字后的詞向量已經(jīng)可以給機器輸入了，那么是否把整本包含所有詞匯的詞典給機器輸入，加上快速的檢索能力機器就能學(xué)會“人話”呢？答案是否定的。首先，詞典中的每個詞都是用其他詞來解釋的，而這些用來解釋的詞也是需要詞典來解釋的，所以任何包含所有詞匯的詞典必然會出現(xiàn)循環(huán)定義，因而最核心、最基本的詞實際上等于沒有定義。另外，實際使用的句子中詞匯組合的結(jié)果往往是詞典中沒有出現(xiàn)的，但是這些詞匯的組合出現(xiàn)卻是有規(guī)律的。詞典不能窮舉完一種語言所有可能的組合情況，所以機器必須從有限的語料數(shù)據(jù)中自己總結(jié)出規(guī)律來，而從數(shù)據(jù)到規(guī)律就是深度學(xué)習(xí)算法的拿手好戲。

語言的規(guī)律大體來講分為兩個方面：一方面，不同語法功能的詞在句子中的出現(xiàn)有固定順序;另一方面，語義有關(guān)聯(lián)的詞匯經(jīng)常同時鄰近出現(xiàn)。語義關(guān)聯(lián)的信息就是向量夾角的信息，因而也是數(shù)字化的。深度學(xué)習(xí)算法對于分析語義關(guān)聯(lián)的規(guī)律效果顯著。

深度學(xué)習(xí)算法給出目標(biāo)函數(shù)的思路就是計算一個詞匯出現(xiàn)的條件下另一個詞匯出現(xiàn)的條件概率。然后，根據(jù)這個目標(biāo)函數(shù)來判斷現(xiàn)實中的語言實際情況是否吻合，如果不吻合的話，那么要調(diào)整目標(biāo)函數(shù)中詞匯向量表里每個詞向量的數(shù)值，再用語言實際情況來判斷是否吻合得更好了一些。如此反復(fù)，不斷地調(diào)整目標(biāo)函數(shù)中詞匯向量表里每個詞向量的數(shù)值，直到不能再改進(jìn)為止。

同一個應(yīng)用題，可以根據(jù)題目中不同的數(shù)量關(guān)系列出兩個不同的方程，但都能求得應(yīng)用題的解。同樣地，面對識別語義關(guān)聯(lián)的問題也可以列兩個不同“方程”，或者說建立不同的模型，具體說就是給出不同目標(biāo)函數(shù)，而它們的最優(yōu)解都能夠?qū)崿F(xiàn)識別語義關(guān)聯(lián)的能力。目前比較常用的兩個模型是Skip-Gram(SG)模型和Continuous Bag of Words(CBOW)模型。SG模型的目標(biāo)函數(shù)反映的是當(dāng)前詞出現(xiàn)的情況下，當(dāng)前詞附近出現(xiàn)哪些詞的概率比較高，而CBOW模型的目標(biāo)函數(shù)反映的是已經(jīng)出現(xiàn)一些當(dāng)前詞，中間缺失哪個詞的概率比較高。用不太準(zhǔn)確的比喻來解釋，SG模型是“給詞造句”，而CBOW模型是“選詞填空”。實際中，這兩個模型目標(biāo)函數(shù)給定的方式和最優(yōu)解計算的過程都是對稱的。

1.3 深度學(xué)習(xí)算法小結(jié)

通過對NLP深度學(xué)習(xí)算法的介紹，可以看出算法本身依賴統(tǒng)計學(xué)的基本假設(shè)，但是深度學(xué)習(xí)算法和純統(tǒng)計學(xué)算法有本質(zhì)的區(qū)別。純統(tǒng)計學(xué)算法是從統(tǒng)計方法到統(tǒng)計結(jié)果，而深度學(xué)習(xí)算法是從無序到有序。也就是說，純統(tǒng)計學(xué)的算法是利用統(tǒng)計學(xué)的知識，得到統(tǒng)計上的結(jié)果，人類從這些統(tǒng)計結(jié)果中發(fā)現(xiàn)并得到規(guī)律，而機器學(xué)習(xí)算法是利用統(tǒng)計學(xué)知識作為工具，從無序的詞向量空間中構(gòu)建出有序的空間結(jié)構(gòu)，機器從有序的空間結(jié)構(gòu)中發(fā)現(xiàn)并學(xué)習(xí)到規(guī)律。簡單講，一個是人在學(xué)習(xí)，人知道自己學(xué)習(xí)到了什么規(guī)律；一個是機器在學(xué)習(xí)，人不知道機器學(xué)習(xí)到什么規(guī)律。面對“學(xué)有所成”的機器，人類還需要測試機器的自學(xué)成果。

2 組合范疇語法(CCG)簡介

把統(tǒng)計學(xué)直接應(yīng)用在CCG上的嘗試由來已久(4)Miles Osborne，Ted Briscoe，“Learning stochastic categorial grammars”，in T. Mark Ellison，ed.，CoNLL97：Computational Natural Language Learning，Proceedings of the 1997 Meeting of ACL Special Interest Group in Natural Language Learning，Madrid，1997,pp.80-87；Ted Briscoe，“Grammatical acquisition：Inductive bias and coevolution of language and the language acquisition device”，Language，Vol.76,No.2,2000；Aline Villavicencio，The acquisition of a unification—based generalised categorial grammar，Technical Report，No.533,Cambridge:University of Cambridge，Computer Laboratory，2002.，但首次利用統(tǒng)計學(xué)方法建立覆蓋大規(guī)模語料的CCG解析器的工作是Clark和Hockenmaier(5)Stephen Clark，Julia Hockenmaier，“Evaluating a Wide-coverage CCG Parser”，in Proceedings of the LREC 2002 Beyond PARSEVAL Workshop，Las Palmas,2002,pp.60-66.實現(xiàn)的。而后，Hockenmaier的博士論文更加全面地介紹了這個工作(6)Julia Hockenmaier,“Data and Models for Statistical Parsing with Combinatory Categorial Grammar”，PhD dissertation,University of Edinburgh,2003.。下面對CCG和CCG樹庫做簡單的介紹。

2.1 范疇語法簡介

2.1.1 范疇形成規(guī)則

(原子范疇) S是范疇，NP是范疇。

(復(fù)合范疇) 如果X、Y都是范疇，那么X/Y和XY也都是范疇。

在實際中，給出的原子范疇可能更多，但仍然是有限的幾個原子范疇，而根據(jù)生成規(guī)則，理論上可以生成的范疇是可數(shù)無窮多的。

2.1.2 函數(shù)應(yīng)用規(guī)則

(>規(guī)則) X/Y Y→X

(<規(guī)則) Y XY→X

(圖1) 范疇二叉樹

2.1.3 范疇二叉樹的生成

這個范疇指派生成的范疇二叉樹是：

2.2 引入組合規(guī)則和范疇提升規(guī)則

僅使用函數(shù)應(yīng)用規(guī)則的話，對語句的解析能力還是不夠強，而且不夠靈活。組合范疇語法(CCG)的“組合”指的就是在范疇語法的基礎(chǔ)上引入的范疇復(fù)合規(guī)則和范疇提升規(guī)則，從而使得同一個語句有更多的解析方式。

范疇復(fù)合規(guī)則(B規(guī)則)>B規(guī)則X/YY/Z→X/ZT規(guī)則X→T/(TX)

利用B規(guī)則和T規(guī)則在保持解析樹可生成的前提下可以改變解析樹生成的順序，同時也使得同一個句子能生成更多的解析樹，也即更多的理解方式。

(圖2) B規(guī)則和T規(guī)則的使用效果

圖2(a)中沒有使用范疇提升規(guī)則和范疇復(fù)合規(guī)則，因而解析樹的生成只能是從句末到句首。而圖2(b)通過使用范疇提升規(guī)則和范疇復(fù)合規(guī)則使得解析樹的生成順序變?yōu)閺木涫椎骄淠?，這樣的順序即是語言生成的自然順序，也使得解析樹的生成方向可以有統(tǒng)一的范式，從而給計算過程帶來便利。

2.3 CCG樹庫簡介

3 范疇語法和詞向量對比

作為參考標(biāo)準(zhǔn)的賓州樹庫的詞例有929552例，其中詞條75669條。換做前面深度學(xué)習(xí)算法中的變量，詞例數(shù)量就是929552，而詞匯表中詞匯的數(shù)目就是75669。這個規(guī)模和深度學(xué)習(xí)算法語料庫的規(guī)模相去甚遠(yuǎn)。原因是最原始的賓州樹庫的POS標(biāo)簽并不能實現(xiàn)完全的自動標(biāo)注，每個詞的POS標(biāo)簽都需要專業(yè)人士的審核，這就限制了語料庫的規(guī)模。而深度學(xué)習(xí)算法使用的語料庫中的語料是未經(jīng)任何加工的原始語料，尤其是利用當(dāng)前的互聯(lián)網(wǎng)語料資源，獲得十億詞例的原始語料并不是困難的事情。

深度學(xué)習(xí)算法應(yīng)用在語言學(xué)上的成功主要表現(xiàn)在能夠正確地抓住語義信息以及語義之間的聯(lián)系，但是深度學(xué)習(xí)缺乏對語言的句法結(jié)構(gòu)的規(guī)律總結(jié)，因而不能夠像CCG一樣推演組合出語言句子的語義。而組合范疇語法對句法結(jié)構(gòu)的規(guī)律總結(jié)不但系統(tǒng)和精練，而且便于計算，但是缺乏對語義外延信息的存儲和分析?？梢?，深度學(xué)習(xí)算法和組合范疇語法之間應(yīng)該是互補的關(guān)系而不是競爭的關(guān)系。

Mikolov等(2013)確實也使用賓州樹庫作為參照系進(jìn)行了對比。作為開創(chuàng)性的實驗，Mikolov等(2013)用的語料庫有三億兩千萬詞例(320M)，而詞匯表中的詞匯有八萬兩千詞項(82k)。其中和賓州樹庫能夠重合的語料中的詞例267M，也就是能夠用賓州樹庫POS標(biāo)記的詞例。其中對最常用的形容詞、名詞和動詞之間語法的類比關(guān)系進(jìn)行了測試。對于“man：men=king：kings”、“see：saw=catch：caught”這種語法上的類比，深度學(xué)習(xí)算法的正確率也達(dá)到了40%左右。因為參照的是人工審核POS標(biāo)注的賓州樹庫，無人監(jiān)督的深度學(xué)習(xí)對語法結(jié)構(gòu)的理解能力已經(jīng)很可觀，但和人類專業(yè)人士比較起來還是有不小差距。而賓州樹庫以及賓州樹庫轉(zhuǎn)換來的其他樹庫對“man：woman=king：?”這樣的非語法的語義信息就完全無能為力了。

3.1 CCG作為深度學(xué)習(xí)算法的評價標(biāo)準(zhǔn)

這里給出深度學(xué)習(xí)算法和CCG兩個方面進(jìn)行對比的具體方案：一方面是CCG對語句解析能力和深度學(xué)習(xí)算法對語句出現(xiàn)概率的對比分析(表1)，這里是依據(jù)CCG庫的結(jié)果來評價深度學(xué)習(xí)的效果;另一方面是CCG解析樹允許的范疇和深度學(xué)習(xí)算法計算出的概率上推薦的范疇的對比，參見圖3和公式(2)，這里是用深度學(xué)習(xí)的計算結(jié)果來評價CCG庫中解析樹和范疇的合理性。Mikolov等(2013)已經(jīng)使用賓州樹庫的POS標(biāo)注作為參考標(biāo)準(zhǔn)來評價深度學(xué)習(xí)算法對句法掌握的程度，這也是后續(xù)一系列算法改進(jìn)的標(biāo)準(zhǔn)做法。事實上，從賓州樹庫轉(zhuǎn)譯來的CCG庫不但可以作為評價深度學(xué)習(xí)算法的標(biāo)準(zhǔn)，而且還可以直接優(yōu)化深度學(xué)習(xí)算法，因為嵌入多維空間的詞向量中的目標(biāo)函數(shù)優(yōu)化的初衷就是評價一個句子出現(xiàn)的概率。

下面使用范疇語法簡介中的例句，給出使用CCG庫對比深度學(xué)習(xí)，作為深度學(xué)習(xí)結(jié)果評價標(biāo)準(zhǔn)的一個解決方案。

PoorJohnlovesluckyMary.

在詞嵌入實現(xiàn)中，無論是采用SG模型，還是CBOW模型，看似都沒有考慮句子中詞的出現(xiàn)順序，而只是計算一個詞出現(xiàn)的前提下另一個詞出現(xiàn)的模型，但是詞出現(xiàn)的順序卻影響整個句子的概率。比如“Poor”、“John”、“l(fā)oves”、“l(fā)ucky”、“Mary”這五個詞同時按照句子中的順序出現(xiàn)的概率。

(表1) CCG語句解析能力和深度學(xué)習(xí)算法語句概率對比示意表

此時，根據(jù)算法的最優(yōu)解θ*就可以給出“Poor John loves lucky Mary.”這句話S1的概率P(S1)。而這五個詞總共有120種排列的可能，其中有的是符合語法的句子，有的是不符合語法的句子。對于是否符合語法，CCG庫可以給出明確的對錯判斷，而深度學(xué)習(xí)算法給出的是概率判斷。

如果有一種句法分析器對于上述五個詞的120種詞序的句子只能對其中前四種給出解析樹，而其他的句子認(rèn)為是不能進(jìn)行解析的句子的話，那么這種解析器對句法的要求就過于嚴(yán)苛，不能反應(yīng)語言實際使用中的靈活性。但是，如果一種句法解析器能夠?qū)ι鲜鑫鍌€詞的120種詞序的句子都給出解析樹，那么這種解析器對句法的要求就過于寬松，相當(dāng)于沒有任何句法規(guī)則可以遵循。而組合范疇語法能夠給出大部分可能詞序構(gòu)成的句子的解析樹，并且同一個句子可以給出一種以上的解析樹，所以組合范疇語法是對句法的寬松和靈活把握比較適度的一種邏輯語法。

3.2 深度學(xué)習(xí)算法改進(jìn)CCG的方式

深度學(xué)習(xí)算法不能給出任何解析樹，對可能詞序構(gòu)成的句子是否符合句法也沒有“是”和“否”這樣的二值判斷，甚至對句子中詞性的判斷正確率也不到一半，但是深度學(xué)習(xí)算法卻能夠給出所有可能詞序構(gòu)成句子的一個數(shù)值上的判斷，也就是當(dāng)前詞序出現(xiàn)的句子符合句法的概率P(Si)。

同時，一個詞對應(yīng)多個范疇的情況，使得組合范疇語法(CCG)能夠解析更多的詞序構(gòu)成的句子，但同時也使得同一個詞序的句子有兩個以上的理解方式。也就是說，同一個詞有兩個以上的范疇標(biāo)注，同一個句子有兩個以上的解析樹生成。對于詞序比較靈活的漢語而言這種情況更加普遍。比如漢語中“魚我所欲”對應(yīng)詞序的英文“fish I want”就極少在英文中出現(xiàn)。古漢語中“所”其實對賓語前置做了標(biāo)識，但是現(xiàn)代漢語中沒有這個標(biāo)識，而賓語前置的現(xiàn)象仍然非常普遍，例如：

“喜歡”的賓語后置雖然我不懂旋律,但我喜歡歌詞。“喜歡”的賓語前置雖然旋律我不懂,但歌詞我喜歡。不及物動詞“喜歡”雖然旋律我不懂,但老師我喜歡。

其中，以“？-我-喜歡”這三個詞構(gòu)成的結(jié)構(gòu)為例：

w1w2w3w11歌詞我喜歡w12老師我喜歡

以陳鵬(2016)給出的漢語CCG解析器為例，這個解析器可以給出圖3中的結(jié)果(a)和(b)，但是不能給出結(jié)果(c)。

(圖3) CCG庫給出的解析樹和實際理解的解析樹對比

我們看到，(a)和(b)的范疇指派和解析樹的結(jié)構(gòu)是完全一樣的，分別把句子理解成((歌詞(我))喜歡)和((老師(我))喜歡)，其中“喜歡”是不及物動詞，“歌詞我”和“老師我”都是當(dāng)作名詞詞組。而(c)中的理解是(歌詞((我)喜歡))，其中“喜歡”是及物動詞，而“歌詞”是“我喜歡”的前置賓語。

“老師我”之所以是漢語實際理解能接受的，原因是“老師”是對人的稱呼，但是“歌詞”卻不是對人的稱呼，所以“歌詞我”作為名詞短語的理解是不符合實際情況的。這其中的細(xì)微差別需要借助更細(xì)致的語義分析才能發(fā)現(xiàn)，而語義分析正是深度學(xué)習(xí)算法的優(yōu)勢。一個優(yōu)化好的θ很有可能包含了這樣細(xì)致的語義信息，此時可以計算任意一個詞出現(xiàn)的前提下另一個詞出現(xiàn)的條件概率。即P(wj|wi)，其中，w11=歌詞，w12=老師，w2=我，w3=喜歡，此時應(yīng)該有

P(w11|w2)<

(1)

這說明“我”出現(xiàn)的條件下“歌詞”出現(xiàn)的概率相對來講應(yīng)該遠(yuǎn)小于“老師”出現(xiàn)的概率。對比(a)和(c)整句的概率計算應(yīng)該有結(jié)果

P(w3|(w11∩w2))<

(2)

這說明“歌詞我”出現(xiàn)的條件下“喜歡”出現(xiàn)的概率相對而言應(yīng)該遠(yuǎn)小于“我喜歡”出現(xiàn)的條件下“歌詞”出現(xiàn)的概率，從而需要給出(c)的解析樹，以及對應(yīng)的范疇指派。

由于漢語CCG樹庫是從英語賓州樹庫轉(zhuǎn)譯過來的，所以漢語中常見的賓語前置的句法結(jié)構(gòu)在英文中幾乎不會出現(xiàn)。樹庫中“喜歡”做不及物動詞的時候范疇是SNP，而“喜歡”做及物動詞的時候范疇只能是(SNP)/NP，但是賓語前置這種結(jié)構(gòu)的及物動詞“喜歡”的范疇?wèi)?yīng)該是(c)中的(SNP)NP。這個范疇在賓州樹庫以及漢語CCG庫中都不存在。所以，此時深度學(xué)習(xí)的算法可以使得(SNP)NP的存在合理性得到實際語料計算而來的數(shù)據(jù)支持，豐富句法的規(guī)則，擴充范疇的數(shù)目。

4 結(jié)語

詞向量嵌入高維空間的深度學(xué)習(xí)方法雖然對語義信息的提取和語義關(guān)聯(lián)的識別效果顯著，但是對句法結(jié)構(gòu)的分析能力跟受過專業(yè)知識訓(xùn)練的人類相比還是差距較大。范疇邏輯的二叉樹生成規(guī)則相當(dāng)于對相鄰詞出現(xiàn)與否的篩選規(guī)則，并且二叉樹結(jié)構(gòu)使得句子中相距較遠(yuǎn)的兩個詞也能使用二叉樹生成規(guī)則。CCG的這種規(guī)則和深度學(xué)習(xí)算法中SG模型以及CBOW模型中描述的當(dāng)前詞窗口中的周圍詞出現(xiàn)概率的方式原理上很類似，只不過CCG做出的是外圍詞能否出現(xiàn)的二值判斷，而深度學(xué)習(xí)算法做出的是外圍詞出現(xiàn)的概率判斷?；谶@個事實，用CCG來優(yōu)化SG模型以及CBOW模型才有可能實現(xiàn)。一方面，深度學(xué)習(xí)算法的結(jié)果和CCG庫生成的二叉樹進(jìn)行對比，另一方面，CCG的結(jié)果用來對深度學(xué)習(xí)的算法進(jìn)行優(yōu)化。在實際應(yīng)用中兩個方法也可以并列使用。