層次概念的分布式表示和學(xué)習(xí)方法綜述

朱曉光

(徐州工程學(xué)院 管理工程學(xué)院,江蘇 徐州 221018)

0 引 言

概念表示方法是語(yǔ)義分析的基礎(chǔ)問(wèn)題,也是影響語(yǔ)言模型的結(jié)構(gòu)和性能的重要因素。隨著計(jì)算技術(shù)的發(fā)展,層次概念和分布式表示逐漸成為了語(yǔ)言模型的基礎(chǔ)組件,并且促進(jìn)了顯明語(yǔ)義和隱含語(yǔ)義的相互映射[1-2]。通過(guò)結(jié)合計(jì)算語(yǔ)言理論和深度學(xué)習(xí)模型,各類層次概念表示方法顯著提升了語(yǔ)言處理任務(wù)的性能,并且有助于解釋和提取統(tǒng)計(jì)模型的語(yǔ)言屬性[3]。相對(duì)而言,統(tǒng)計(jì)語(yǔ)言模型的層次概念結(jié)構(gòu)還缺少系統(tǒng)性的分析,不能有效地促進(jìn)自然語(yǔ)言處理模型的應(yīng)用和拓展。因此,基于語(yǔ)義學(xué)理論和層次概念表示方法,該文綜述了概念學(xué)習(xí)模型的表示方法和學(xué)習(xí)原理,解析了層次語(yǔ)義空間的計(jì)算原理和統(tǒng)計(jì)性質(zhì),討論了層次概念計(jì)算模型的應(yīng)用場(chǎng)景和研究建議。

1 語(yǔ)義空間的層次類型

按照層次結(jié)構(gòu)的性質(zhì),語(yǔ)義空間可以劃分為三種類型:線性空間、概率空間和文本蘊(yùn)含。其中,概念的涵攝關(guān)系(Subsumption)具有不同的表示方法和分布規(guī)律。通過(guò)映射至共同的語(yǔ)義空間,語(yǔ)言資源和統(tǒng)計(jì)模型之間形成了相互的信息增益。

1.1 線性空間

線性空間主要刻畫(huà)語(yǔ)義分布的幾何性質(zhì)。其中,分布式的概念對(duì)應(yīng)于整個(gè)網(wǎng)絡(luò)的一種穩(wěn)定的激活模式。在連續(xù)的語(yǔ)義空間之中,若是抽象的語(yǔ)義場(chǎng)(上位詞)覆蓋特定的區(qū)域,則會(huì)形成層次的語(yǔ)義空間,如圖1所示。

圖1 上位詞的區(qū)域中心性質(zhì)

概念學(xué)習(xí)和層次聚類之中,上層節(jié)點(diǎn)包含較多的特征,因而會(huì)趨向于語(yǔ)義空間的中心區(qū)域,具有更為均勻的特征關(guān)聯(lián)。這種區(qū)域關(guān)系形成了語(yǔ)義空間的指向性特征。在GloVe的預(yù)訓(xùn)練空間和實(shí)體關(guān)系識(shí)別模型之中,語(yǔ)言屬性的向量都具有規(guī)律性的方向。

除了指向性特征,概念的分布區(qū)域也存在不同的形狀。決策樹(shù)的節(jié)點(diǎn)具有矩形或超矩形的概念分布。層次結(jié)構(gòu)的分布式表示通常建立球形的概念分布區(qū)域[1]。非線性的監(jiān)督學(xué)習(xí)模型可能生成復(fù)雜的分類器邊界。若是采用核心特征作為維度,則特征間時(shí)有互斥;若是采用樣例作為維度,則概念區(qū)域一般都是凹平面。

1.2 概率空間

概念表示的概率空間主要包括各種層次性的主題模型。通過(guò)假定一組概率分布,相關(guān)模型構(gòu)建了由主題生成詞匯的隨機(jī)過(guò)程。在遞歸的生成過(guò)程中,詞匯的內(nèi)涵逐漸趨于具體的特征分布。例如,圖2生成了10個(gè)樣本點(diǎn),其中pi+1是狄利克雷分布Dir(a=pi)所生成的一個(gè)隨機(jī)樣本。隨機(jī)樣本的相對(duì)位置表明:隨機(jī)過(guò)程趨向于概率單純形的邊緣位置,獲得相對(duì)具體和單一的特征。

圖2 狄利克雷的隨機(jī)樣本序列

層次主題模型體現(xiàn)了概念的原型化現(xiàn)象。對(duì)于概念分布的概率空間,詞匯向量的持續(xù)歸一化表明了原型的激活過(guò)程。原型的激活減少了文本的語(yǔ)義,從而保持概率性的詞匯分布。這種現(xiàn)象在文本蘊(yùn)含中更為明顯:詞匯的累加本應(yīng)增加語(yǔ)義,卻因原型化而減少了長(zhǎng)句的內(nèi)涵。

1.3 文本蘊(yùn)含關(guān)系

文本蘊(yùn)含(Textual entailment)是文本之間的一種指向性的推理關(guān)系。其中,作為前提(Premise)的文本可以推出(蘊(yùn)含)作為結(jié)論(Conclusion)的文本。整句蘊(yùn)含主干句,則形成言語(yǔ)表達(dá)的層次性和構(gòu)成句法。添加補(bǔ)充語(yǔ)或細(xì)化詞匯可以形成句子的層次關(guān)系。補(bǔ)充語(yǔ)或下位詞將限定句子的所指,由此蘊(yùn)含原始的句子。圖3給出了一個(gè)詞匯細(xì)化的例子。其中,句子“保持指標(biāo)在合理區(qū)間”的“指標(biāo)”可以逐漸細(xì)化。當(dāng)然,也可以按照句法添加補(bǔ)語(yǔ),生成涵義更為具體的句子。

圖3 逐步細(xì)化的句子內(nèi)涵

補(bǔ)充語(yǔ)的添加需要遵守句法,否則,將不能直接約束句子的內(nèi)涵,繼而形成文本蘊(yùn)含的關(guān)系。換言之,只有按照句法添加修飾語(yǔ)才可以細(xì)化句子的內(nèi)涵。其中,句法主要指構(gòu)成句法(Constituency syntax)。詞匯的組合可以視為一個(gè)單元或成分(Constituent),并且逐層地向上組合語(yǔ)義。

2 層次概念的計(jì)算模型

參照語(yǔ)義組合約束和概念相對(duì)化的理論,本節(jié)綜述和歸納層次概念的表示方法和學(xué)習(xí)模型,主要包括:顯明的文本層次結(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)模型、層次概率主題模型和語(yǔ)言資源正則約束。

2.1 顯明的文本層次結(jié)構(gòu)

文本的語(yǔ)言單位之間存在顯明的層次關(guān)系。這種關(guān)系主要通過(guò)統(tǒng)計(jì)特征和語(yǔ)言學(xué)模板進(jìn)行提取,其結(jié)果是詞匯、詞組和知識(shí)庫(kù)條目組成的層次概念結(jié)構(gòu)。這種方式僅僅使用顯明的語(yǔ)義表示,因此更加容易理解和表達(dá),不會(huì)出現(xiàn)各類優(yōu)化和擬合的問(wèn)題。但是,對(duì)于開(kāi)放的規(guī)模性文本,顯明構(gòu)造具有高成本和低召回率的問(wèn)題。

2.1.1 詞匯共現(xiàn)

根據(jù)詞匯的共現(xiàn)和句法特征,相關(guān)研究構(gòu)建了文本的層次結(jié)構(gòu)發(fā)現(xiàn)方法[4]?；谠~匯的ID、TF-IDF、PMI的屬性組合,可以判斷“網(wǎng)絡(luò)”是“社交網(wǎng)絡(luò)、金融網(wǎng)絡(luò)”的上位詞匯,由此拓展層次關(guān)系的語(yǔ)言資源[5]。此類“主詞蘊(yùn)含復(fù)合詞”的層次關(guān)系主要通過(guò)度量共現(xiàn)頻率獲得,例如:給定閾值t,如果P(x|y)≥t,P(y|x)

2.1.2 語(yǔ)言學(xué)模板

詞匯的語(yǔ)言屬性和知識(shí)類型也可以輔助層次結(jié)構(gòu)識(shí)別。層次關(guān)系構(gòu)建應(yīng)用了語(yǔ)言學(xué)模板、依存關(guān)系類別及搭配實(shí)例[9-10],并且通過(guò)度量概念范圍和概念距離指數(shù)等概念以規(guī)范和指導(dǎo)層次結(jié)構(gòu)的資源構(gòu)建[11]。句式可以指示詞匯之間的上下位關(guān)系,例如:“A包括B”“B屬于A”。通過(guò)這些典型句式,可以發(fā)現(xiàn)“北京/城市、石油/資源”等層次關(guān)系[12]。此外,通過(guò)度量專業(yè)詞匯的領(lǐng)域相關(guān)性、內(nèi)聚性和結(jié)構(gòu)關(guān)聯(lián),金融、生物等領(lǐng)域的知識(shí)類型和詞法也可以提取層次關(guān)系[13]。

如果使用語(yǔ)言資源作為層次結(jié)構(gòu)的模板,那么顯明文本結(jié)構(gòu)分析還可以拓展語(yǔ)言資源,建立語(yǔ)言資源和文本數(shù)據(jù)之間的語(yǔ)義映射。語(yǔ)言資源包括通用詞典、領(lǐng)域知識(shí)庫(kù)和百科全書(shū),其中包含了義項(xiàng)、詞條和領(lǐng)域?qū)ο蟮膶哟侮P(guān)系。基于知識(shí)庫(kù)的條目分布,顯明語(yǔ)義分析(ESA)可以拓展知識(shí)庫(kù)的語(yǔ)義關(guān)系[14],例如:推特?cái)?shù)據(jù)擴(kuò)展的詞條層次結(jié)構(gòu)“Economics→Economics organizations→wiki:en:World Econ. Forum”屬于推特分類法的一條路徑[15]。其中,詞匯的多重表示可以連接WordNet、Freebase、維基百科等語(yǔ)言資源中的層次關(guān)系。

2.2 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)具有多層次的隱含特征空間,根據(jù)隱含層的節(jié)點(diǎn)數(shù)量差異形成遞進(jìn)的抽象層次。由于存在連續(xù)性和深度結(jié)構(gòu)的特征,通常需要人機(jī)結(jié)合的方式提取神經(jīng)網(wǎng)絡(luò)模型的隱含知識(shí)和層次概念[16]。此類研究包含對(duì)偶的兩個(gè)部分。一是根據(jù)已有的分類法和句法構(gòu)建神經(jīng)網(wǎng)絡(luò)模型,提升自然語(yǔ)言處理的性能。二是根據(jù)優(yōu)化的模型參數(shù)提取新的、概率性的語(yǔ)言屬性。

2.2.1 分布式語(yǔ)義空間

神經(jīng)網(wǎng)絡(luò)模型的層次概念主要通過(guò)點(diǎn)、模、區(qū)域和方向進(jìn)行表示和運(yùn)算。詞匯可以嵌入線性空間,通過(guò)實(shí)數(shù)向量表示各類語(yǔ)言單位?；谠~嵌入表示,神經(jīng)語(yǔ)言模型(NLM)訓(xùn)練了文本語(yǔ)料的分布式語(yǔ)義空間,其中,層次結(jié)構(gòu)的節(jié)點(diǎn)之間存在逐層次的指向性特征。相對(duì)于下位詞,上位詞可以逐漸趨于原點(diǎn),由此形成區(qū)域之間的層次性質(zhì),例如:通過(guò)線性變換y=Φx,下位詞x映射至其上位詞y[17]。

2.2.2 層次性輸出結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)模型的輸出層可以應(yīng)用顯明的樹(shù)形結(jié)構(gòu),稱為分類樹(shù)或?qū)哟稳嵝院瘮?shù)(Softmax function)。神經(jīng)語(yǔ)言模型可以按照層次結(jié)構(gòu)的路徑逐層進(jìn)行詞匯或類別的預(yù)測(cè)。結(jié)合WordNet、聚類算法和非線性約簡(jiǎn)方法,層次神經(jīng)語(yǔ)言模型和對(duì)數(shù)線性模型較早地構(gòu)建了層次性的輸出結(jié)構(gòu)[22-23]。其中,目標(biāo)詞匯預(yù)測(cè)采用了詞匯所在路徑的概率,即:路徑中所有節(jié)點(diǎn)的概率乘積。節(jié)點(diǎn)的概率主要采用相對(duì)于兄弟節(jié)點(diǎn)的柔性函數(shù)。

層次性輸出多數(shù)采用了二分樹(shù)結(jié)構(gòu),如圖4所示。其中,層次輸出的一個(gè)隱含節(jié)點(diǎn)代表一個(gè)分類器,按照θiz>0判斷子節(jié)點(diǎn)激活[24-25]。層次輸出的每個(gè)節(jié)點(diǎn)蘊(yùn)含一個(gè)分類邊界,可以表示目標(biāo)概念的區(qū)域性分布特征。

圖4 神經(jīng)網(wǎng)絡(luò)的層次性輸出結(jié)構(gòu)

層次輸出結(jié)構(gòu)具有多種來(lái)源,主要包括語(yǔ)言資源、標(biāo)簽群組和多層次文本分類[26]。層次性語(yǔ)言資源可以直接提供標(biāo)簽預(yù)測(cè)的輸出結(jié)構(gòu),用于逐層地判斷標(biāo)簽所屬的節(jié)點(diǎn)[27]。相對(duì)于神經(jīng)語(yǔ)言模型,文本分類通常應(yīng)用多子節(jié)點(diǎn)的層次結(jié)構(gòu),例如:標(biāo)簽群組的子集關(guān)系、多分枝(K-ary)的樹(shù)形結(jié)構(gòu)的貝葉斯層次聚類算法[28-29]。相對(duì)于序列化的語(yǔ)義解碼,樹(shù)形結(jié)構(gòu)的解碼器能夠?qū)哟位夭东@組合語(yǔ)義,并且保證解碼過(guò)程中不同組成部分的獨(dú)立性,進(jìn)而更好地生成語(yǔ)義框架[30]。

層次的輸出層結(jié)構(gòu)可以在優(yōu)化過(guò)程中進(jìn)行動(dòng)態(tài)調(diào)整。基于信念網(wǎng)絡(luò)的層次隱含類別(HLC)模型首先通過(guò)層次聚類獲得初步的結(jié)構(gòu),然后根據(jù)BIC調(diào)整兩側(cè)的節(jié)點(diǎn)數(shù)量[31]。通過(guò)增加剪枝和校正的過(guò)程,分布式的聚類樹(shù)也可以動(dòng)態(tài)適應(yīng)新詞的訓(xùn)練[25,32]。

2.2.3 拓展的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)模型也被廣泛用于語(yǔ)言模型的訓(xùn)練和層次結(jié)構(gòu)的優(yōu)化。針對(duì)語(yǔ)言模型,相關(guān)研究主要進(jìn)行了如下拓展:(1)根據(jù)情境理論應(yīng)用注意力機(jī)制;(2)按照句法結(jié)構(gòu)遞歸地進(jìn)行張量運(yùn)算;(3)按照層次結(jié)構(gòu)建立神經(jīng)網(wǎng)絡(luò)模型,并且在各層次的模型之間共享參數(shù)。這些拓展結(jié)構(gòu)雖然存在優(yōu)化方法上的差異,但是概念表示主要還是應(yīng)用了詞匯、位置、語(yǔ)言屬性的分布式表示方法。

神經(jīng)網(wǎng)絡(luò)的集成模型和顯明層次結(jié)構(gòu)之間可以逐層建立語(yǔ)義映射,如圖5所示。對(duì)于層次標(biāo)簽預(yù)測(cè)任務(wù),HFT-CNN針對(duì)每一層標(biāo)簽訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型,并且在模型之間共享卷積層的參數(shù)[33]?；A(chǔ)層次映射是語(yǔ)言單位的粒度層次,主要針對(duì)詞匯、句子和語(yǔ)篇等語(yǔ)言單位分別建立卷積網(wǎng)絡(luò),根據(jù)語(yǔ)言單位之間的包含關(guān)系約束模型之間的共享參數(shù)[34]。在訓(xùn)練過(guò)程中,各層節(jié)點(diǎn)的組合約束使得概念不僅要靠近自身類別的原型,同時(shí)也要逼近其祖先類別[35]。

圖5 組合模型和概念層次之間的映射

循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)主要引入了注意力模型、上下文權(quán)重和多粒度語(yǔ)言單位。其中,卷積單元和LSTM單元都可以作為層次語(yǔ)言模型的節(jié)點(diǎn)[36]。通過(guò)應(yīng)用局部學(xué)習(xí)規(guī)則(Oja’s Rule),前饋的層次脈沖網(wǎng)絡(luò)也被用于學(xué)習(xí)概念的層次結(jié)構(gòu)[37]。根據(jù)語(yǔ)言單位的粒度性質(zhì),層次注意力網(wǎng)絡(luò)按照詞匯和句子的包含關(guān)系構(gòu)建了神經(jīng)網(wǎng)絡(luò)模型,并且逐層添加注意力單元[38]?；诰渥拥臉?gòu)成(Constituency)句法,遞歸神經(jīng)網(wǎng)絡(luò)可以靈活地按照節(jié)點(diǎn)組合語(yǔ)義,完成情感識(shí)別和句法解析等任務(wù)[39-40]。針對(duì)語(yǔ)言模型解釋的需要,R2D2融合了組合句法和分布式表示,通過(guò)遞歸的轉(zhuǎn)換器解析了句子的構(gòu)成句法[39]。更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)則是性能導(dǎo)向的,可能具有層次的模型形態(tài),但是并不蘊(yùn)含概念的層次結(jié)構(gòu)[41]。

2.3 層次概率主題模型

層次概念的概率模型主要是指層次主題模型(HTM)及其拓展模型。詞匯頻率符合多項(xiàng)式分布模型,因此,主題模型采用了詞匯的先驗(yàn)分布狄利克雷分布,例如:狄利克雷過(guò)程的向上合并構(gòu)建概率混合模型和嵌套的狄利克雷過(guò)程[42-43]。對(duì)于無(wú)監(jiān)督的概念學(xué)習(xí)過(guò)程,嵌套的中餐館隨機(jī)過(guò)程(nCRP)經(jīng)常被用于計(jì)算深度的、具有動(dòng)態(tài)結(jié)構(gòu)的主題樹(shù)[44]。在計(jì)算路徑概率的過(guò)程中,nCRP可以動(dòng)態(tài)適應(yīng)主題范圍的變化[45]。與此類似,BRT模型的節(jié)點(diǎn)可以展開(kāi)任意數(shù)量的分支,其中,父節(jié)點(diǎn)的概率分布部分地約束子節(jié)點(diǎn)的分布[46]。貝葉斯樹(shù)(BRT)也被用于分類法的構(gòu)建,其中,層次樹(shù)的非葉子節(jié)點(diǎn)表示詞匯的劃分,包含詞匯和上下文的集合[47]。

類似于圖2所示的生成過(guò)程,層次性隨機(jī)過(guò)程的樣本將逐漸偏向具體概念。在主題的概率空間之中,主題樹(shù)的根節(jié)點(diǎn)是相對(duì)均勻分布的,葉子節(jié)點(diǎn)則指示具體的主題[48-49]。文本主題空間的層次結(jié)構(gòu)之中,第一層預(yù)測(cè)元主題群組,并且在群組內(nèi)進(jìn)一步細(xì)化主題的分類[50]。層次概率模型可以結(jié)合不同種類的語(yǔ)言單位和語(yǔ)言屬性,形成多粒度的語(yǔ)言模型。除了基礎(chǔ)的詞匯分布,句子、篇章等語(yǔ)言單位都可以產(chǎn)生自一個(gè)隨機(jī)過(guò)程。在詞匯主題(Topic)的基礎(chǔ)上還可以添加句子的主題(Theme)[51]。層次隱含樹(shù)分析(HLTA)模型之中,葉子節(jié)點(diǎn)表示“(可觀察的)詞匯是否出現(xiàn)在文檔之中”,非葉子節(jié)點(diǎn)表示“(未觀察到的)文檔屬性”[49]。

概率性層次概念的主要優(yōu)勢(shì)在于顯明的隨機(jī)過(guò)程和組合方式。概率性的層次概念可以相互結(jié)合,用于提升層次概念學(xué)習(xí)的性能。通過(guò)組合詞匯的概率分布和語(yǔ)義標(biāo)簽提升主題的內(nèi)聚性和穩(wěn)定性[52]。HMTC通過(guò)層次關(guān)系的語(yǔ)義標(biāo)簽和分布式表示提升了層次文本分類的性能[26]。

2.4 語(yǔ)言資源的正則約束

語(yǔ)言資源的層次結(jié)構(gòu)可以拓展概念表示學(xué)習(xí)的成本函數(shù)。通過(guò)添加節(jié)點(diǎn)之間的蘊(yùn)含關(guān)系和基于路徑的語(yǔ)義相似度,拓展的成本函數(shù)可以限定相似的或互斥的概念在語(yǔ)義空間中的間距。語(yǔ)言單位的粒度具有基礎(chǔ)的語(yǔ)義約束,例如:句子與其成分的語(yǔ)義相似。概念學(xué)習(xí)的基礎(chǔ)的語(yǔ)言單位是詞匯,其次是具有不同粒度的語(yǔ)言單位,主要包括:字素、字符、詞素、句子和篇章[53-55]。不同粒度的語(yǔ)言單位自然地形成層次結(jié)構(gòu),可以作為神經(jīng)網(wǎng)絡(luò)模型的內(nèi)部結(jié)構(gòu)和約束條件,用于提升概念學(xué)習(xí)的性能。

成本函數(shù)的拓展意味著語(yǔ)義分布受到多重的約束,如圖6所示。在構(gòu)建分布式語(yǔ)義空間的過(guò)程中,文本共現(xiàn)作為主要的遠(yuǎn)程監(jiān)督,語(yǔ)言資源約束則是成本函數(shù)的擴(kuò)展,例如,百科全書(shū)約束實(shí)體的分布式層次關(guān)系[56]。相反,在擴(kuò)展語(yǔ)言資源的過(guò)程中,文本共現(xiàn)作為輔助部分來(lái)提升顯明語(yǔ)義的特征完備性,例如,知識(shí)表示綜合的考慮實(shí)體屬性、層次類型和文本關(guān)系[57]。

圖6 概念學(xué)習(xí)的多重語(yǔ)義約束

除了言語(yǔ)表達(dá)的語(yǔ)言單位,語(yǔ)言資源也包含了特異性的語(yǔ)言單位和語(yǔ)義屬性,例如:WordNet的義項(xiàng)(Synset)、HowNet的義素(Sememe)和概念基元[58-59]。這些語(yǔ)言單位的層次結(jié)構(gòu)可以直接用于分布式表示的優(yōu)化,通過(guò)語(yǔ)義相似度的約束使得相鄰的節(jié)點(diǎn)具有相似的語(yǔ)義分布,即:層次結(jié)構(gòu)關(guān)系限定語(yǔ)義空間之中的詞匯間距[60]。由此,分類法的父節(jié)點(diǎn)和子節(jié)點(diǎn)處于連續(xù)語(yǔ)義空間中的鄰近區(qū)域[61]。根據(jù)預(yù)先設(shè)置的圖像標(biāo)簽的層次結(jié)構(gòu),層次特征選擇模型(HFSGR)添加了L2,1-norm正則因子,使得相近的子樹(shù)具有近似的稀疏表示[62]。除了詞匯間距的約束項(xiàng),預(yù)測(cè)節(jié)點(diǎn)和實(shí)際節(jié)點(diǎn)在分類法中的路徑距離也可以作為成本函數(shù)的約束項(xiàng)[19]。

3 結(jié)束語(yǔ)

根據(jù)計(jì)算語(yǔ)言模型,該文綜述了層次概念的分布式表示特征和學(xué)習(xí)模型,歸納了語(yǔ)義空間的層次結(jié)構(gòu)和概念學(xué)習(xí)類型。對(duì)于層次概念的學(xué)習(xí),顯明文本結(jié)構(gòu)分析容易提取規(guī)范文本的層次結(jié)構(gòu),但是不包含深層語(yǔ)義。神經(jīng)網(wǎng)絡(luò)的層次模型主要依賴概念的分布式表示,通過(guò)深層語(yǔ)義和語(yǔ)言資源的映射顯著地提升模型性能。神經(jīng)網(wǎng)絡(luò)的層次關(guān)系不具備直接解釋的途徑,必須參照語(yǔ)言資源進(jìn)行知識(shí)提取。層次主題模型采用嵌套的隨機(jī)過(guò)程,其層次概念具有概率分布的性質(zhì)和解釋方法。

層次概念學(xué)習(xí)模型正在朝三個(gè)方面發(fā)展。第一,通過(guò)建立語(yǔ)言資源和分布式表示之間的語(yǔ)義映射,提升語(yǔ)義空間的穩(wěn)定性和完備性。第二,提取計(jì)算模型中的層次結(jié)構(gòu)和分布性質(zhì)。針對(duì)知識(shí)提取和轉(zhuǎn)移學(xué)習(xí)的需要,逐步解釋統(tǒng)計(jì)模型的語(yǔ)言屬性和知識(shí)類型,促進(jìn)中文層次概念的構(gòu)造和語(yǔ)言資源的拓展。第三,建立計(jì)算模型和語(yǔ)言理論之間的映射,進(jìn)一步完善原型、語(yǔ)義框架和層次關(guān)系的分布式表示方法,解釋對(duì)應(yīng)的幾何運(yùn)算和語(yǔ)義組合現(xiàn)象,建立各類語(yǔ)義空間和語(yǔ)言單位之間的內(nèi)在聯(lián)系,促進(jìn)語(yǔ)言資源的融合發(fā)展。