深度學(xué)習(xí)在自然語言處理NLP中的應(yīng)用研究

葉符明

（貴州商學(xué)院 貴州 貴陽 550014）

1 引言

對于自然語言處理技術(shù)而言，其先進(jìn)性的優(yōu)勢十分突出，在人工智能領(lǐng)域當(dāng)中發(fā)揮出了良好的作用。在深度學(xué)習(xí)概念形成以后，可以將其運(yùn)用到語言、圖像、文本數(shù)據(jù)信息的處理過程當(dāng)中。通過在自然語言處理過程當(dāng)中加以利用，能夠使從前的處理方式出現(xiàn)很大的變化，完成辨識命名、意圖、句法以及語音等方面的任務(wù)，使得相應(yīng)的計(jì)算效率得以提升[1]。鑒于此，如何將深度學(xué)習(xí)運(yùn)用到自然語言處理過程當(dāng)中變得尤為必要，擁有一定的研究意義與實(shí)踐價(jià)值。

2 深度學(xué)習(xí)與自然語言處理技術(shù)的概念闡釋

2.1 深度學(xué)習(xí)的概念及其內(nèi)涵

對于深度學(xué)習(xí)而言，屬于以機(jī)器學(xué)習(xí)作為基礎(chǔ)所提出的全新概念，借助模擬人腦神經(jīng)網(wǎng)絡(luò)的方式，開展了相應(yīng)的探究、分析以及解釋等工作，此類學(xué)習(xí)結(jié)構(gòu)涵蓋了多層與隱層。對比淺層學(xué)習(xí)來說，由于構(gòu)建的模型結(jié)構(gòu)較深，通常情況下，包含了超過三層的隱層節(jié)點(diǎn)，最多為十層，能夠進(jìn)行科學(xué)分析十分復(fù)雜的函數(shù)工作。與此同時(shí)，突顯出特征學(xué)習(xí)的優(yōu)勢，鑒于深度學(xué)習(xí)不需要進(jìn)行監(jiān)督，在合理利用非監(jiān)督預(yù)訓(xùn)練算法的過程當(dāng)中，可以把原有的樣本以輸入的形式映射到全新的特征空間當(dāng)中，有助于完成預(yù)測和分類的任務(wù)。另外，深層學(xué)習(xí)也擁有良好的有效性，能夠借助深層結(jié)構(gòu)解釋相關(guān)函數(shù)，所以，使其得到了有效地運(yùn)用，發(fā)揮出良好的作用。

2.2 自然語言處理技術(shù)介紹

自然語言處理技術(shù)常見于實(shí)驗(yàn)室，通過運(yùn)用相關(guān)統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)算法等理論與方式，完成科學(xué)處理圖片、文本的任務(wù)。在深度學(xué)習(xí)誕生以后，在工業(yè)化應(yīng)用方面的相關(guān)條件變得更加完善，從當(dāng)前的發(fā)展情況而言，已經(jīng)獲得了很大的進(jìn)步，并且被運(yùn)用到不同的行業(yè)領(lǐng)域當(dāng)中，發(fā)揮出良好的功效和作用。實(shí)際上，早在2015年時(shí)，Word2ve算法便已經(jīng)誕生，作為全新的構(gòu)建詞向量方式，其主要將深度學(xué)習(xí)當(dāng)作重要的基礎(chǔ)，屬于自然語言處理技術(shù)的一種。此類方法包含了兩種不同的模型，其一為Skip-gram模型，其二為CBOW模型，前者主要借助輸入某個(gè)單詞的方式，達(dá)到對上下文語境有效預(yù)測的效果，后者則主要借助輸入某個(gè)詞語上下文語境的方式，達(dá)到有效預(yù)測詞語含義的目的，形成的詞向量即為神經(jīng)網(wǎng)絡(luò)模型具體的輸入向量[2]。所以，從中不難獲悉，Word2ve的理解能力較為突出，在運(yùn)用自然語言處理技術(shù)的過程當(dāng)中，不必采用人工處理干預(yù)的方式便能夠?qū)ξ谋菊Z境加以深入闡釋。并且，對于我國來說，加快了對自然語言處理算法進(jìn)行探究的速度，使得模擬word2vec詞向量計(jì)算模型得以誕生，加大了對深度學(xué)習(xí)的推廣和運(yùn)用力度。

3 基于人工智能下的自然語言處理深度學(xué)習(xí)方式說明

3.1 合理運(yùn)用前饋神經(jīng)網(wǎng)絡(luò)

針對前饋神經(jīng)網(wǎng)絡(luò)而言，也叫做多層感知機(jī)模型，可以將此類神經(jīng)網(wǎng)絡(luò)模型運(yùn)用到多任務(wù)的環(huán)境中，不過因?yàn)榄h(huán)境處于動態(tài)變化當(dāng)中，導(dǎo)致其模型的內(nèi)部結(jié)構(gòu)隨之十分復(fù)雜，因而，容易增加神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度。面對圖形處理技術(shù)不斷進(jìn)步的情況，使得前饋神經(jīng)網(wǎng)絡(luò)得以誕生，與此同時(shí)，也在自然語言處理過程當(dāng)中發(fā)揮出良好的作用。從計(jì)算機(jī)技術(shù)的角度而言，利用前饋神經(jīng)網(wǎng)絡(luò)中的反向傳播算法，可以使其進(jìn)行深度學(xué)習(xí)時(shí)，不斷優(yōu)化各個(gè)層級間出現(xiàn)的不同錯誤驅(qū)動，以便達(dá)到科學(xué)改進(jìn)網(wǎng)絡(luò)參數(shù)的目的。作為前饋神經(jīng)網(wǎng)絡(luò)當(dāng)中的一種類型，卷積神經(jīng)網(wǎng)絡(luò)是屬于其中重要的模型，能夠借助卷積核達(dá)到對描述空間加以擴(kuò)展的效果，使模型自身的深度得以增加，并且，具體進(jìn)行訓(xùn)練時(shí)，無需對相關(guān)參數(shù)加以改進(jìn)，進(jìn)行自然語言處理的過程當(dāng)中，一般需要把文本中的句子向量變成矩陣，經(jīng)過卷積以后，獲取相應(yīng)的句向量特征。為此，合理運(yùn)用前饋神經(jīng)網(wǎng)絡(luò)可謂十分關(guān)鍵。

3.2 神經(jīng)網(wǎng)絡(luò)詞向量分析

對人工智能神經(jīng)網(wǎng)絡(luò)自然語言處理技術(shù)加以運(yùn)用的過程中，能夠借助神經(jīng)網(wǎng)絡(luò)的形式，科學(xué)分析文本中那些稀疏性很小、具有大規(guī)模的語料，一方面，能夠獲得十分復(fù)雜的上下文關(guān)系；另一方面，則能夠充分發(fā)揮出詞編碼技術(shù)的良好作用，體現(xiàn)出其擁有的分布式特點(diǎn)，即神經(jīng)網(wǎng)絡(luò)中的詞向量，能夠當(dāng)成分詞工作，可謂是十分關(guān)鍵的準(zhǔn)備工作。

3.3 遞歸神經(jīng)網(wǎng)絡(luò)說明

對于遞歸神經(jīng)網(wǎng)絡(luò)而言，目前受限于技術(shù)方面的發(fā)展，造成僅可以單獨(dú)的形式有效處理一個(gè)輸入。基于進(jìn)一步增強(qiáng)神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)數(shù)據(jù)方面能力的目的，有關(guān)技術(shù)工作者能夠借助遞歸神經(jīng)網(wǎng)絡(luò)表達(dá)出時(shí)間的遞歸結(jié)構(gòu)，以便進(jìn)行學(xué)習(xí)相關(guān)數(shù)據(jù)時(shí)，可以得到具體的序列關(guān)系，并且有效提升了訓(xùn)練模型方面的記憶力，實(shí)現(xiàn)前后輸入之間的密切關(guān)聯(lián)。基于遞歸神經(jīng)網(wǎng)絡(luò)下，以構(gòu)建相應(yīng)深度學(xué)習(xí)模型作為目的，一般會運(yùn)用涵蓋三個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)完成構(gòu)建模型的任務(wù)。假如失去信息時(shí)刻之后，則需要結(jié)合隱含層中遞歸，以便產(chǎn)生由輸入層至隱含層連接權(quán)的相應(yīng)權(quán)值參數(shù)矩陣，與此同時(shí)，可以對具體的偏置向量、激活函數(shù)加以準(zhǔn)確計(jì)算。參考遞歸神經(jīng)網(wǎng)絡(luò)特點(diǎn)的基礎(chǔ)上，能夠達(dá)到反向傳播相關(guān)損失函數(shù)實(shí)例的效果，并且依靠低度降低方式，明確相關(guān)網(wǎng)絡(luò)參數(shù)[3]。所以，通過合理運(yùn)用遞歸神經(jīng)網(wǎng)絡(luò)方法，能夠在元模型的學(xué)習(xí)、機(jī)器翻譯等過程當(dāng)中發(fā)揮出一定的作用。

4 深度學(xué)習(xí)在自然語言處理NLP中的具體運(yùn)用

4.1 運(yùn)用流程說明

深度學(xué)習(xí)在自然語言處理中運(yùn)用的過程當(dāng)中，需要科學(xué)應(yīng)用梯度下降法，實(shí)際的運(yùn)用流程為：（1）建立相應(yīng)的模型框架。結(jié)合應(yīng)該進(jìn)行處理的相關(guān)內(nèi)容，確保所選用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的合理性，達(dá)到建立相應(yīng)深度學(xué)習(xí)模型框架的目的。（2）仔細(xì)檢查模型。合理運(yùn)用梯度下降法，完成檢查模型的任務(wù)，對存在的有關(guān)漏洞加以檢查和分析，明確其滿足相關(guān)規(guī)定與否。（3）實(shí)現(xiàn)模型的初始化效果。在仔細(xì)檢查之后，科學(xué)優(yōu)化相關(guān)模型，以便達(dá)到彌補(bǔ)其中的漏洞與缺陷的目的，科學(xué)改進(jìn)有關(guān)模型的參數(shù)。（4）不斷改進(jìn)相關(guān)模型。合理運(yùn)用正則化方法，針對不符合相關(guān)規(guī)定的模型參數(shù)及時(shí)加以改進(jìn)，以便達(dá)到相關(guān)擬合規(guī)定。

4.2 運(yùn)用措施分析

4.2.1 做好分詞、詞性的標(biāo)注工作

對于分詞來說，依據(jù)有關(guān)規(guī)定，達(dá)到重新組合來連續(xù)字序的效果，同時(shí)把其組合為全新的詞序列。在標(biāo)注詞性時(shí)，則確保詞性標(biāo)注的準(zhǔn)確性，比如，此詞為形容詞、動詞等。通過加大對深度學(xué)習(xí)法的運(yùn)用力度，能夠進(jìn)行詞性的標(biāo)注、語義角色的標(biāo)注、命名實(shí)體的辨識等工作。

4.2.2 科學(xué)分析句法

即合理分析句子的語法、不同語法間存在的關(guān)系情況?？茖W(xué)運(yùn)用深度學(xué)習(xí)法，能夠達(dá)到以自動的形式，辨識句子句法單位的目的，梳理不同句法單位間存在的聯(lián)系，通過科學(xué)輸入某個(gè)已經(jīng)給定的句子，合理運(yùn)用語法的特點(diǎn)，完成對短語結(jié)構(gòu)樹建立的任務(wù)，有效加以處理。

4.2.3 認(rèn)真學(xué)習(xí)詞義

運(yùn)用深度學(xué)習(xí)的過程中，需要重視對詞義的學(xué)習(xí)，發(fā)揮出相關(guān)無監(jiān)督學(xué)習(xí)制度的良好作用。在對深度神經(jīng)網(wǎng)絡(luò)模型建立的過程中，應(yīng)該科學(xué)運(yùn)用此模型，并且參考文本中的上下文情況，科學(xué)加以分析，以便獲取到最佳的詞義表達(dá)形式，同時(shí)掌握詞義隱含的詞匯，達(dá)到準(zhǔn)確解析同名歧義詞的目的。假如為多個(gè)多義性的詞向量，則能夠采用對模型優(yōu)化的方法，使詞向量的語義得到豐富，確保表達(dá)的準(zhǔn)確性。

4.2.4 加強(qiáng)對情感的科學(xué)分析

在合理運(yùn)用深度學(xué)習(xí)方式分析情感的過程中，需要建立相應(yīng)的情感分析模型，并且借助深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練部分，有效完成標(biāo)注相關(guān)情感標(biāo)簽句子的任務(wù)，同時(shí)參考相應(yīng)的規(guī)律和上下文的特點(diǎn)，可以達(dá)到預(yù)測所標(biāo)注外句子情感特點(diǎn)的效果，然后進(jìn)一步深入分析文檔級、語句級等方面的情感色彩情況。顯然，此項(xiàng)措施可以發(fā)揮出高級情感分析的良好功效，通過有效利用深度學(xué)習(xí)方法，提升了自然語言處理的整體效率。

5 當(dāng)前呈現(xiàn)出來的不足與未來發(fā)展形勢

5.1 相關(guān)學(xué)習(xí)模型存在的不足和發(fā)展形勢

盡管進(jìn)行自然語言處理的過程當(dāng)中，運(yùn)用了先進(jìn)的深度學(xué)習(xí)算法模型，比如，循環(huán)神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)等等，并且獲得了明顯的成效。不過，現(xiàn)階段，國內(nèi)在自然語言處理深度學(xué)習(xí)方面的研究時(shí)間較短，依然呈現(xiàn)出諸多不同方面的不足，諸如深度網(wǎng)絡(luò)層數(shù)、正則化問題等等，所以，在未來的發(fā)展前景非常良好，對于網(wǎng)絡(luò)訓(xùn)練速度應(yīng)該進(jìn)一步加快。

5.2 自動學(xué)習(xí)存在的不足和發(fā)展形勢

基于深度學(xué)習(xí)下的無監(jiān)督學(xué)習(xí)制度，現(xiàn)階段被廣泛運(yùn)用到自然語言處理過程當(dāng)中，同時(shí)包含了相關(guān)數(shù)據(jù)說明、特征提取等方面的內(nèi)容，不過實(shí)際應(yīng)用的過程當(dāng)中，假如把通過人工選用的顯著特點(diǎn)規(guī)律和整個(gè)訓(xùn)練的過程加以有效結(jié)合，卻提高了相應(yīng)的困難程度[4]。所以，應(yīng)該結(jié)合自然語言語義的選取情況，構(gòu)建相應(yīng)的深度模型結(jié)構(gòu)，實(shí)現(xiàn)知識結(jié)合的過程當(dāng)中，應(yīng)該將首層當(dāng)作主要融合的進(jìn)入點(diǎn)，進(jìn)而達(dá)到增強(qiáng)模型的自主學(xué)習(xí)能力。

6 結(jié)語

綜上所述，作為全新的機(jī)器學(xué)習(xí)技術(shù)之一，深度學(xué)習(xí)的重要性與價(jià)值是毋庸置疑的。依靠對人腦機(jī)制的有效模擬，構(gòu)建相應(yīng)的深層神經(jīng)網(wǎng)絡(luò)，能夠有效闡釋與分析相應(yīng)圖像、文本等信息，所以獲得了合理運(yùn)用。從當(dāng)前的情況來看，進(jìn)行自然語言處理的過程當(dāng)中，提高了對深度學(xué)習(xí)的利用率，不過實(shí)際應(yīng)用的過程當(dāng)中仍然呈現(xiàn)出很大的不足，有待進(jìn)一步加以分析與完善。