卷積神經(jīng)網(wǎng)絡(luò)語言模型研究

田曉艷

摘 要：卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理中的應(yīng)用是近年的研究熱點(diǎn)。文章通過對幾項(xiàng)典型工作的分析，研究了卷積神經(jīng)網(wǎng)絡(luò)在各項(xiàng)自然語言處理任務(wù)中的性能與效果。并對卷積神經(jīng)網(wǎng)絡(luò)語言模型的改進(jìn)規(guī)律進(jìn)行了總結(jié)。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；語言模型；分析

1 卷積神經(jīng)網(wǎng)絡(luò)語言模型

CNN語言模型基本結(jié)構(gòu)包括輸入層、卷積層、池化層及后續(xù)的分類層。輸入層是表示語言的矩陣，該矩陣可以是通過Google word2vec或GloVe預(yù)訓(xùn)練得到的詞嵌入表示，也可以是從原始數(shù)據(jù)重新訓(xùn)練的語言的向量表示。輸入層之后是通過線性濾波器對輸入矩陣進(jìn)行卷積操作的卷積層。在NLP問題中，輸入矩陣總是帶有固定順序的結(jié)構(gòu)，因?yàn)榫仃嚨拿恳恍卸急硎倦x散的符號，例如單詞或者詞組等。因此，使用等寬的濾波器是非常合理的設(shè)置。在這種設(shè)置下，僅需要考慮濾波器的高度既可以實(shí)現(xiàn)不同尺寸的濾波器做卷積操作。由此可知，在處理NLP問題時，卷積神經(jīng)網(wǎng)絡(luò)的濾波器尺寸一般都是指濾波器的高度。

然后，將卷積層輸出的特征映射輸入池化層，通過池化函數(shù)為特征映射進(jìn)行降維并且減少了待估計參數(shù)規(guī)模。一般的，CNN池化操作采用1-max池化函數(shù)。該函數(shù)能夠?qū)⑤斎氲奶卣饔成浣y(tǒng)一生成維度相同的新映射。通過池化操作，可以將卷積層生成的特征連接成更抽象的高級特征，所得到的高級特征尺寸與輸入的句子不再存在直接關(guān)系。

最后，將得到的高級特征輸入softmax分類層進(jìn)行分類操作。在softmax層，可以選擇應(yīng)用dropout策略作為正則化手段，該方法是隨機(jī)地將向量中的一些值設(shè)置為0。另外還可以選擇增加l2范數(shù)約束，l2范數(shù)約束是指當(dāng)它超過該值時，將向量的l2范數(shù)縮放到指定閾值。在訓(xùn)練期間，要最小化的目標(biāo)是分類的交叉熵?fù)p失，要估計的參數(shù)包括濾波器的權(quán)重向量，激活函數(shù)中的偏置項(xiàng)以及softmax函數(shù)的權(quán)重向量。

2 卷積神經(jīng)網(wǎng)絡(luò)語言模型應(yīng)用分析

CNN語言模型已經(jīng)廣泛應(yīng)用于諸如文本分類，關(guān)系挖掘以及個性化推薦等NLP任務(wù)，下面將對這些應(yīng)用進(jìn)行具體的介紹與分析。

2.1 CNN在文本分類中的應(yīng)用分析

kim提出了利用CNN進(jìn)行句子分類的方法。該方法涉及了較小規(guī)模的參數(shù)，并采用靜態(tài)通道的CNN實(shí)現(xiàn)了效果很優(yōu)異的句子分類方法。通過對輸入向量的調(diào)整，進(jìn)一步提高了性能實(shí)現(xiàn)了包括情感極性分析以及話題分類的任務(wù)。在其基礎(chǔ)上為輸入的詞嵌入設(shè)計了兩種通道，一種是靜態(tài)通道，另一種是動態(tài)通道。在卷積層每一個濾波器都通過靜態(tài)與動態(tài)兩種通道進(jìn)行計算，然后將計算結(jié)果進(jìn)行拼接。在池化層采用dropout正則化策略，并對權(quán)值向量進(jìn)行l(wèi)2約束。最后將該算法應(yīng)用于MR、SST-1與SST-2、Subj、TREC、CR以及MPQA等數(shù)據(jù)集。MR數(shù)據(jù)集為電影評論數(shù)據(jù)集，內(nèi)容為一句話的電影評論，其分類包括積極情感極性與消極情感極性兩類。SST-1與SST-2數(shù)據(jù)集為斯坦福情感樹庫是MR數(shù)據(jù)集的擴(kuò)展，但該數(shù)據(jù)集已經(jīng)劃分好了訓(xùn)練集、驗(yàn)證集及測試集并給出了細(xì)粒度的標(biāo)記，標(biāo)記包括非常積極、積極、中性、消極、非常消極等情感極性。Subj數(shù)據(jù)集為主觀性數(shù)據(jù)集，其分類任務(wù)是將句子分為主觀句與客觀句兩類。TREC數(shù)據(jù)集為問題數(shù)據(jù)集，其分類任務(wù)是將所有問題分為六類，例如關(guān)于數(shù)字、人物或位置等信息的問題。CR數(shù)據(jù)集為評論數(shù)據(jù)集，包括客戶對MP3、照相機(jī)等數(shù)碼產(chǎn)品的評論，其分類任務(wù)是將其分為積極評價與消極評價兩類。MPQA數(shù)據(jù)集是意見極性檢測任務(wù)數(shù)據(jù)集。通過實(shí)驗(yàn)證明，該方法在這幾個典型數(shù)據(jù)集上都能取得非常優(yōu)異的效果。

2.2 CNN在關(guān)系挖掘中的應(yīng)用分析

Shen等人提出了一種新的潛在語義模型，以詞序列作為輸入，利用卷積-池化結(jié)構(gòu)為搜索查詢和Web文檔學(xué)習(xí)低維語義向量表示。為了在網(wǎng)絡(luò)查詢或網(wǎng)絡(luò)文本中捕捉上下文結(jié)構(gòu)，通過輸入單詞序列上下文時間窗口中的每個單詞來獲取詞匯級的n-gram語法特征，將這些特征聚合成句子級特征向量。最后，應(yīng)用非線性變換來提取高級語義信息以生成用于全文字符串的連續(xù)向量表示。該模型的不同之處在于，輸入層與卷積層之間加入了word-n-gram層與letter-trigram層，它們能夠?qū)⑤斎氲脑~序列轉(zhuǎn)變?yōu)閘etter-trigram表示向量。在卷積層通過上下文特征窗口發(fā)現(xiàn)相鄰單詞的位置特征，并變現(xiàn)為n-gram形式。然后通過max池化將word-n-gram特征合并為句子級的高級特征。在池化層之后增加了語義層來提取更高級的語義表示向量。

2.3 CNN在個性化推薦中的應(yīng)用分析

Weston等人提出了一種能夠利用標(biāo)簽（hashtag）有監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)帖子短文本特征表示的卷積嵌入模型（Convolutional Embedding Model）。該方法利用提出的CNN模型在55億詞的大數(shù)據(jù)文本上通過預(yù)標(biāo)注的100，000標(biāo)簽進(jìn)行訓(xùn)練。該方法除了標(biāo)簽預(yù)測任務(wù)本身能取得好的效果外，學(xué)習(xí)到的特征對于其它的文本表示任務(wù)也能起到非常有效的作用。該模型與其它的詞嵌入模型類似，輸入層為表示文本的矩陣，但是，在用查找表表示輸入文本的同時將標(biāo)簽也使用查找表來表示。對于給定的文檔利用10萬條最頻繁出現(xiàn)的標(biāo)簽通過評分函數(shù)對任何給定的主題標(biāo)簽進(jìn)行排序。

其中，econv（w）表示CNN的輸入文檔，elt（t）是候選標(biāo)簽t的詞嵌入表示。因此，通過對分?jǐn)?shù)f（w，t）進(jìn)行排序可以獲取所有候選主題標(biāo)簽中排序第一的話題進(jìn)行推薦。實(shí)驗(yàn)數(shù)據(jù)集采用了兩個大規(guī)模語料集，均來自流行的社交網(wǎng)絡(luò)文本并帶有標(biāo)簽。第一個數(shù)據(jù)集稱作people數(shù)據(jù)集，包括搜集自社交網(wǎng)絡(luò)的2億1000萬條文本，共含有55億單詞。第二個數(shù)據(jù)集被稱作pages，包括3530萬條社交網(wǎng)絡(luò)文本，共含有16億單詞，內(nèi)容包括企業(yè)、名人、品牌或產(chǎn)品。

3 結(jié)束語

卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于語言模型已經(jīng)取得了非常大的發(fā)展，對于自然語言處理中的各項(xiàng)任務(wù)均取得了優(yōu)異的結(jié)果。本文通過對幾項(xiàng)典型工作的分析，探討了不同卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)在不同任務(wù)中的表現(xiàn)。通過綜合分析可以得出以下結(jié)論。首先，CNN的輸入采用原始數(shù)據(jù)訓(xùn)練的向量表示一般效果會優(yōu)于預(yù)訓(xùn)練的詞嵌入表示；其次，在卷積層濾波器的尺寸一般采用寬度與輸入矩陣寬度相等的設(shè)置；最后，為了優(yōu)化結(jié)果可以采用dropout正則化處理。

參考文獻(xiàn)

[1]Graves A， Mohamed A R， Hinton G. Speech recognition with deep recurrent neural networks[J].2013，38（2003）：6645-6649.