深度學(xué)習(xí)梳理

何艷麗

（商丘工學(xué)院，河南 商丘 476000）

一、深度學(xué)習(xí)

深度學(xué)習(xí)是一種無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的一種學(xué)習(xí)方法。深度學(xué)習(xí)還可以被稱為特征學(xué)習(xí)和無監(jiān)督特征學(xué)習(xí)。其實(shí)，深度學(xué)習(xí)就是學(xué)習(xí)者的一種從表及里的邏輯推理過程。學(xué)習(xí)者通過分析低層次的基礎(chǔ)學(xué)習(xí)，抓住良好的特征表達(dá)，對(duì)好的特征進(jìn)行梳理和了解，最后得出最客觀的邏輯特征的知識(shí)。而通過理性分析和梳理獲得的知識(shí)才是最關(guān)鍵的步驟。

那么如何才能學(xué)會(huì)深度學(xué)習(xí)，以及如何進(jìn)行深度學(xué)習(xí)呢？

首先，我們要了解一下人腦的活動(dòng)機(jī)理。人的視覺系統(tǒng)首先會(huì)將視覺系統(tǒng)所搜集到的信息進(jìn)行分層，分級(jí)處理。高層的特征是低層信息的組合，從低層到高層的表示會(huì)越來越抽象，越來越能表現(xiàn)語義或意圖。抽象層面越高沒存在的可能猜測(cè)就越少，就越利于分類。所以說，人腦的學(xué)習(xí)機(jī)理也是采用層次網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行的。

2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton在《科學(xué)》上發(fā)表論文時(shí)提出深度學(xué)習(xí)的主要觀點(diǎn)。他認(rèn)為多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)者得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類。深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過逐層初始化來有克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)來實(shí)現(xiàn)。

通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。深度模型是手段，特征學(xué)習(xí)是目的。深層次學(xué)習(xí)與淺層次學(xué)習(xí)區(qū)別相當(dāng)大。深層次強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱形節(jié)點(diǎn)。明確突出了特征學(xué)習(xí)的重要性。通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間。從而是分類或預(yù)測(cè)更加容易，與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能刻畫數(shù)據(jù)的豐富內(nèi)在信息。

那么，通過深層次分析學(xué)習(xí)更能夠?qū)\表知識(shí)信息生化為本質(zhì)特征的學(xué)習(xí)。

深度學(xué)習(xí)是不是神經(jīng)網(wǎng)絡(luò)呢？答案是否定的。通過比較可知：深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)都采用分層機(jī)構(gòu)。系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)。只有相鄰層節(jié)點(diǎn)之間有連接，每一層可以看作是一個(gè)logistic回歸模型。當(dāng)然，深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)之間有著巨大的差異性。神經(jīng)網(wǎng)絡(luò)采用的BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個(gè)網(wǎng)絡(luò)。隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出。然后根據(jù)當(dāng)前輸出和樣本真是標(biāo)簽之間的差去改變前后各層的參數(shù)，直到收斂。神經(jīng)網(wǎng)絡(luò)的局限性在于比較容易擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；而且神經(jīng)網(wǎng)絡(luò)需要很長(zhǎng)的訓(xùn)練時(shí)間，也就是說訓(xùn)練速度比較慢，層次較少。

二、如何訓(xùn)練深度學(xué)習(xí)

深度學(xué)習(xí)的第一步應(yīng)當(dāng)采用自下而上的無監(jiān)督學(xué)習(xí)。首先應(yīng)該逐層構(gòu)建三層神經(jīng)元。然后每層都應(yīng)當(dāng)采用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。這個(gè)過程可以看作是一個(gè)feature learning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分。認(rèn)知過程，通過下層的輸入特征和向上的認(rèn)知權(quán)重產(chǎn)生每一層的抽象表示，再通過當(dāng)前的生成權(quán)重一個(gè)重建信息。計(jì)算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成權(quán)重。也就是“如果現(xiàn)實(shí)和我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實(shí)一樣。”生成過程通過上層概念和向下的生成權(quán)重，生成下層的狀態(tài)，再利用認(rèn)知權(quán)重產(chǎn)生一個(gè)抽象鏡像。利用初始上層概念和新建抽象的殘差。利用梯度下降修改層間向上的認(rèn)知權(quán)重。也就是“如果夢(mèng)中的鏡像不是我腦中的相應(yīng)認(rèn)知概念，改變我的認(rèn)知權(quán)重使得這種速度”使得這種鏡像在我看來就是這個(gè)概念。

自頂向下的監(jiān)督學(xué)習(xí)是在第一步就獲得的各層參數(shù)基礎(chǔ)上的。數(shù)度學(xué)習(xí)區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值。深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的。因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的結(jié)果。

學(xué)習(xí)是通過學(xué)習(xí)或親身經(jīng)歷而獲取的知識(shí)技能、心理概念或價(jià)值觀的過程。學(xué)習(xí)分為簡(jiǎn)單學(xué)習(xí)和深度學(xué)習(xí)兩種。簡(jiǎn)單學(xué)習(xí)是除了機(jī)械記憶外不需要付出太多努力。沒有經(jīng)驗(yàn)的學(xué)習(xí)者可以一次學(xué)會(huì)的學(xué)問、知識(shí)或反應(yīng)；不需要反饋或糾錯(cuò)；也可以在一起活動(dòng)中學(xué)會(huì)；很少或者沒有歧義。這種知識(shí)學(xué)習(xí)過程是直接，并且對(duì)學(xué)習(xí)者的年齡、文化、智商和背景無關(guān)。簡(jiǎn)單學(xué)習(xí)就是低層次的學(xué)習(xí)過程，是表層知識(shí)。它是沒有經(jīng)驗(yàn)的學(xué)習(xí)者或年幼的孩子會(huì)接受的類型。簡(jiǎn)單學(xué)習(xí)為未來所有學(xué)習(xí)提供基礎(chǔ)。但是這種學(xué)習(xí)缺乏思維的復(fù)雜性。

深度學(xué)習(xí)時(shí)學(xué)習(xí)者將運(yùn)用多種規(guī)則去完成任務(wù)。一個(gè)人必須知道一點(diǎn)微知識(shí)然后將其與其他微知識(shí)加起來獲得一個(gè)完整的、綜合的建議。新內(nèi)容或技能的獲得必須經(jīng)過一步以上的學(xué)習(xí)和多水平的分析或加工，以便學(xué)生可以以改變思想、控制力或行為的方式來應(yīng)用這些內(nèi)容或技能。

三、結(jié)語

從正面講：一生中帶給我們最多滿足的話多東西來自于復(fù)雜知識(shí)和技能；當(dāng)深度思維首次發(fā)生時(shí)大腦可能較為活躍；一般而言，會(huì)理解、保持、應(yīng)用的更好。從反面講：它可能需要基本的背景知識(shí)，它是耗時(shí)的，而且為了掌握它，要投入大量的精力和決心；過程和最后結(jié)果經(jīng)常受批判性評(píng)論或其他觀點(diǎn)的影響。簡(jiǎn)單與深度學(xué)習(xí)都需要多樣的優(yōu)良的技能背景。最初，當(dāng)深度思維首次發(fā)生時(shí)您的大腦可能較為活躍。在專家級(jí)水平形成之后，所需的腦活動(dòng)就較少了；一般可能做到更好的理解、更好的保持、更多地應(yīng)用概念和技能。專門知識(shí)的最主要特點(diǎn)是深度學(xué)習(xí)所必需的連通性。深度學(xué)的例子：閱讀、多學(xué)科性思維、設(shè)計(jì)解決方案來解答問題；創(chuàng)造目標(biāo)和策略去實(shí)現(xiàn)那些目標(biāo)，如何談判，何何建造某物；辯論技巧，研究技能、召集、管理或做學(xué)術(shù)演講或工作規(guī)劃。