基于深度學(xué)習(xí)的自然語(yǔ)言處理

竺寶寶+張娜

摘 要：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中接近AI的領(lǐng)域之一，通過(guò)模擬人腦學(xué)習(xí)神經(jīng)進(jìn)行分析。深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究，其對(duì)比簡(jiǎn)單學(xué)習(xí)來(lái)講，多數(shù)分類、回歸等學(xué)習(xí)算法歸于簡(jiǎn)單機(jī)器學(xué)習(xí)，復(fù)雜函數(shù)運(yùn)算的表示能力和局限性與有限樣本和計(jì)算單元對(duì)有關(guān)，泛化能力也受到復(fù)雜分類的一定限制。

關(guān)鍵詞：深度學(xué)習(xí)；自然語(yǔ)言；非線性網(wǎng)絡(luò)結(jié)構(gòu)

1 深度學(xué)習(xí)

1.1 深度學(xué)習(xí)的基本概念

深度學(xué)習(xí)是學(xué)習(xí)深層非線性網(wǎng)絡(luò)的一種結(jié)構(gòu)，通過(guò)展現(xiàn)復(fù)雜函數(shù)逼近，用輸入數(shù)據(jù)分布式來(lái)表示，最終將數(shù)據(jù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特點(diǎn)的能力展現(xiàn)出來(lái)。通過(guò)含多隱層的多層感知器來(lái)進(jìn)行深度學(xué)習(xí)。深度學(xué)習(xí)可以更多地模擬神經(jīng)層神經(jīng)活動(dòng)，使用組合低層特征來(lái)合成更加抽象的高層屬性特征類別，來(lái)更好地展現(xiàn)數(shù)據(jù)分布式特性。深度學(xué)習(xí)的理論由Hinton等于2006年提出，通過(guò)非監(jiān)督貪心逐層訓(xùn)練深信度網(wǎng)（Deep Belief Network， DBN）的算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)更好的指導(dǎo)方向。Lecun等提出的是最早的真正多層結(jié)構(gòu)學(xué)習(xí)算法之一—卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)空間關(guān)系的參數(shù)相對(duì)數(shù)量減少以減少訓(xùn)練誤差。

1.2 深度學(xué)習(xí)結(jié)構(gòu)模型

深度學(xué)習(xí)按照模型和技術(shù)的應(yīng)用把模型歸為3類。

1.2.1 生成性深度模式

該模式通過(guò)講述觀測(cè)數(shù)據(jù)和相應(yīng)類別的聯(lián)合概率分布，來(lái)展現(xiàn)數(shù)據(jù)的高階相關(guān)特點(diǎn)，同時(shí)，區(qū)別于傳統(tǒng)型神經(jīng)分區(qū)網(wǎng)絡(luò)，通過(guò)聯(lián)合概率分布獲取觀測(cè)數(shù)據(jù)標(biāo)簽的，來(lái)更好地進(jìn)行先驗(yàn)概率和后驗(yàn)概率的預(yù)測(cè)，而區(qū)分型模型卻不能對(duì)其進(jìn)行推測(cè)。DBN恰恰解決了傳統(tǒng)多層網(wǎng)絡(luò)神經(jīng)算法訓(xùn)練BP的難點(diǎn)：大量含標(biāo)簽訓(xùn)練樣本集，收斂速度比較慢，由不適宜的訓(xùn)練數(shù)據(jù)選擇陷入局部最佳。

DBN是由一組系列的受限波爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）單元組合成的，RBM通過(guò)非常典型的網(wǎng)絡(luò)神經(jīng)，來(lái)使網(wǎng)絡(luò)可視層和隱層單元相互連接，通過(guò)獲取輸入為可視單元高階隱單元。RBM權(quán)值相對(duì)會(huì)比較比較輕松，與傳統(tǒng)網(wǎng)絡(luò)sigmoid的信度不同。通過(guò)預(yù)訓(xùn)練獲取的生成性權(quán)值，采用無(wú)監(jiān)督貪心的模式逐層不停完成。在訓(xùn)練過(guò)程中，簡(jiǎn)單來(lái)說(shuō)，將可視向量的值映射給隱單元，隱層單元的重建由可視單元來(lái)完成；最后次映射給隱單元就由新可視單元來(lái)實(shí)現(xiàn)，最終來(lái)完成隱單元的更新。一個(gè)DBN由自下向上的多個(gè)不同的RBM構(gòu)建組合。將可用的隱單元通過(guò)高斯—伯努利RBM，伯努利—伯努利RBM結(jié)構(gòu)，輸出作為訓(xùn)練上層伯努利—伯努利RBM的導(dǎo)入和下層伯努利和伯努利的導(dǎo)出，以此類推等等。

1.2.2 區(qū)分性深度模式

為提供對(duì)模式分類區(qū)分訓(xùn)練的能力，描述數(shù)據(jù)后驗(yàn)實(shí)現(xiàn)的分布。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）屬于區(qū)分性訓(xùn)練，一個(gè)真正實(shí)踐訓(xùn)練多層成真的網(wǎng)絡(luò)結(jié)構(gòu)算法，DBNs算法和它相反。通過(guò)具有相同參數(shù)神經(jīng)元作用于視覺(jué)系統(tǒng)結(jié)構(gòu)啟發(fā)，在上一層的不同位置生成一種不變性的特征。于是LeCun等沿著這種指導(dǎo)，為了CNN深度學(xué)習(xí)框架是為了滿足最小化預(yù)處理數(shù)據(jù)的實(shí)踐，要求BP算法設(shè)計(jì)來(lái)生成CNN。由早期時(shí)間延遲神經(jīng)網(wǎng)絡(luò)的指導(dǎo)影響，CNN由早期時(shí)間延遲神經(jīng)網(wǎng)絡(luò)的方法通過(guò)共享時(shí)域權(quán)值的大小來(lái)實(shí)現(xiàn)。CNN是一種一般前向的BP訓(xùn)練常用拓?fù)淠Ｐ?，利用空間相對(duì)的關(guān)系減少參數(shù)的數(shù)量來(lái)提高的，而且在多個(gè)實(shí)驗(yàn)中取得不錯(cuò)的效果。通常用作局部感受區(qū)域圖像小部分最底層的基本輸入，不同信息網(wǎng)絡(luò)的逐層層次傳遞，從而能夠?qū)崿F(xiàn)在每一層數(shù)據(jù)顯著特征，來(lái)獲得對(duì)平移、縮放、旋轉(zhuǎn)不變的觀測(cè)。

1.2.3 混合型模型

混合型模型是區(qū)分更佳性的目標(biāo)，通常利用生成型結(jié)構(gòu)輸出?；旌闲徒Y(jié)構(gòu)模型學(xué)習(xí)—生成性部分與區(qū)分性部分。區(qū)分性任務(wù)經(jīng)常用來(lái)現(xiàn)有典型生成性的單元，應(yīng)用于分類任務(wù)，預(yù)訓(xùn)練通過(guò)當(dāng)有生成性模型結(jié)合其他典型的區(qū)分性學(xué)習(xí)算法來(lái)對(duì)優(yōu)化進(jìn)行所有權(quán)值。一個(gè)頂層變量通過(guò)附加來(lái)為訓(xùn)練集提供的期望輸出區(qū)分性尋優(yōu)。優(yōu)化DBN的權(quán)值用BP算法來(lái)實(shí)現(xiàn)，通過(guò)RBM和DBN初始權(quán)值預(yù)訓(xùn)練，這樣一來(lái)網(wǎng)絡(luò)性能就會(huì)更加優(yōu)越，相對(duì)于那些只通過(guò)BP算法單獨(dú)訓(xùn)練的網(wǎng)絡(luò)，BP對(duì)DBNs訓(xùn)練不但擁有完成局部參數(shù)空間搜索的優(yōu)勢(shì)，而且和前饋型神經(jīng)網(wǎng)絡(luò)相比，加快了訓(xùn)練效果和收斂回饋時(shí)間的速度。

2 訓(xùn)練過(guò)程

神經(jīng)網(wǎng)絡(luò)模式有指導(dǎo)學(xué)習(xí)和無(wú)指導(dǎo)學(xué)習(xí)，有指導(dǎo)學(xué)習(xí)是主流的，無(wú)指導(dǎo)學(xué)習(xí)用來(lái)聚集分析。有指導(dǎo)的模式識(shí)別，同類樣本通過(guò)一種適當(dāng)?shù)目臻g劃分方法或邊界在空間的分布以及和不同類樣本之間的分離程度找，使不同的樣本分別對(duì)應(yīng)各自的區(qū)域，一個(gè)很長(zhǎng)時(shí)間和復(fù)雜的學(xué)習(xí)過(guò)程是必須的?？臻g分類邊界不斷調(diào)整樣本，使其更符合樣本原本的屬性。總的來(lái)說(shuō)，卷積網(wǎng)絡(luò)通過(guò)大量的輸入和輸出之間的關(guān)系映射，本質(zhì)上是一種輸入到輸出的映射關(guān)系，用已知的模式對(duì)卷積網(wǎng)絡(luò)加以訓(xùn)練，使其具備映射能力，通過(guò)對(duì)有指導(dǎo)的訓(xùn)練，樣本集由空間向量對(duì)構(gòu)成，來(lái)模擬系統(tǒng)實(shí)際的運(yùn)行結(jié)果。訓(xùn)練前為了保證系統(tǒng)網(wǎng)絡(luò)不會(huì)因權(quán)值過(guò)大而進(jìn)入飽和狀態(tài)所有的權(quán)通過(guò)不同的小隨機(jī)數(shù)進(jìn)行初始化，確保不出現(xiàn)異常，不同的數(shù)據(jù)使網(wǎng)絡(luò)系統(tǒng)更好地正常學(xué)習(xí)模擬真實(shí)的環(huán)境，使其更加具備兼容性和完整性。

3 結(jié)語(yǔ)

CNN這種層間關(guān)系和空域信息的緊密關(guān)系，更加適用于圖片處理和理解。尤其是在提取圖像顯著特征方面展現(xiàn)出優(yōu)勢(shì)。GABOR濾波器經(jīng)常被用來(lái)模擬人類視覺(jué)系統(tǒng)對(duì)視覺(jué)刺激的響應(yīng)初始化欲處理的步驟中。人們?cè)谖磥?lái)的工作中，將用到更多的深度學(xué)習(xí)內(nèi)容，包括人臉識(shí)別、文檔分析和語(yǔ)言檢測(cè)等方面。目前CNN通過(guò)一個(gè)時(shí)間相干性去訓(xùn)練，但不是它特有的。

用最近比較火的Python做一個(gè)人臉識(shí)別的小程序，幫助大家更好地學(xué)習(xí)了解深度學(xué)習(xí)，做人臉識(shí)別要用到SIFT特征，經(jīng)常會(huì)遇到配置好opencv之后，卻找不到人臉識(shí)別的頭文件的問(wèn)題，找不到SIFT在哪。這是因?yàn)槭褂肙penCV3.0之后，把一些還在更新的、不是很穩(wěn)定的，在測(cè)試階段的東西放在了contrib模塊里面。而且官方默認(rèn)不帶contrib模塊。然而人們最想用的人臉識(shí)別和SIFT特征都在contrib里面。如果需要用的話，就需要自己編譯，Python用起來(lái)比較方便。

官網(wǎng)下載并安裝OpenCV之后，在目錄＼opencv＼build＼python＼2.7＼x64之下有一個(gè)cv2.pyd文件，把它拷貝到python安裝目錄下的＼Lib＼site-packages文件夾下面即可。需要注意的是版本要對(duì)應(yīng)。如圖1所示，以貓臉檢測(cè)為例，說(shuō)明基于OpenCV的貓臉檢測(cè)十分簡(jiǎn)單。用Python的話只有區(qū)區(qū)20行代碼。其中20行代碼中發(fā)揮主要作用的只有一個(gè)函數(shù)：detectMultiScale（）。

此函數(shù)的作用是，在輸入圖像中檢測(cè)不同尺寸的對(duì)象，返回包含對(duì)象的矩形框。它接收的參數(shù)：（1）image—輸入圖像；（2）scaleFactor—每輪檢測(cè)圖像齒輪減少的比例；（3）minNeighbors—對(duì)象要至少被檢測(cè)到幾次才能判定對(duì)象確實(shí)存在；（4）minSize—檢測(cè)對(duì)象的最小尺寸；（5）maxSize—檢測(cè)對(duì)象的最大尺寸。

本文以貓臉檢測(cè)為例，說(shuō)明在OpenCV下，人臉檢測(cè)、行人檢測(cè)、人眼檢測(cè)等都是同樣的道理，同樣的流程。只需要把最開(kāi)始相應(yīng)的檢測(cè)器換掉，然后按照實(shí)際情況調(diào)節(jié)detectMultiScale（）的參數(shù)。

[參考文獻(xiàn)]

[1]翟劍鋒.深度學(xué)習(xí)在自然語(yǔ)言處理中的應(yīng)用[J].電腦編程技巧與維護(hù)，2013（18）：74-76.

[2]王臻，常寶寶，穗志方.基于分層輸出神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)語(yǔ)義角色標(biāo)注[J].中文信息學(xué)報(bào)，2014（6）：56-61.

[3]聶振海，賈丹.深度學(xué)習(xí)研究概述[J].科技創(chuàng)新導(dǎo)報(bào)，2015（30）：224.