深度學習發(fā)展來源研究

周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學

?

深度學習發(fā)展來源研究

周勇 吳瑕 周為 狄宏林

東莞市廣播電視大學

深度學習帶來了機器學習的一個新浪潮，受到從學術屆到工業(yè)界的廣泛重視，也導致了“大數(shù)據(jù)+深度模型”時代的來臨，深度學習在各個領域都得到了廣泛的應用并取得了發(fā)展優(yōu)勢，本文論述了深度學習的起源，對深度學習的三個起源機械學習、神經(jīng)網(wǎng)絡、深度學習作了詳細介紹。

機器學習 深度學習 神經(jīng)網(wǎng)絡 大數(shù)據(jù)

深度學習是機械學習研究的一個新領域，尤其是大數(shù)據(jù)時代的爆炸式到來，大數(shù)據(jù)技術已在很多技術和行業(yè)廣泛應用，由于大數(shù)據(jù)存在復雜、高維、多變等特性，如何從復雜的大數(shù)據(jù)中挖掘出人類感興趣的知識，迫切需要更深刻的機器學習理論進行指導。了解深度學習發(fā)展的來源，可以讓我們更有效的提出深度學習的模型及改進算法。

1　萌芽階段：機器學習

機器學習在人工智能領域具有舉足輕重的地位，如果一個智能系統(tǒng)不具有學習能力，那它就不能稱為一個真正的智能系統(tǒng)。機器學習通過算法，讓機器可以從外界輸入的大量的數(shù)據(jù)中學習到規(guī)律，從而進行識別判斷。傳統(tǒng)機器學習的問題主要包括如下4個方面：理解并且模擬用戶的學習過程；針對計算機和用戶之間的自然語言接口的研究；針對不完整的信息進行推理和推算的能力，即自動規(guī)劃和解決問題；創(chuàng)造可發(fā)現(xiàn)新的程序。

傳統(tǒng)機器學習面臨的一個新挑戰(zhàn)是如何處理大數(shù)據(jù)。目前，包含大規(guī)模數(shù)據(jù)的機器學習問題是普遍存在的，但是，由于現(xiàn)有的許多機器學習算法是基于內(nèi)存的，大數(shù)據(jù)卻無法裝載進計算機內(nèi)存，故現(xiàn)有的諸多算法不能處理大數(shù)據(jù)。

2　草創(chuàng)階段：神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡是智能學科的重要部分，為解決復雜問題和智能控制提供了有效的途徑。神經(jīng)網(wǎng)絡曾一度成為機器學習領域備受關注的方向。

1943年，美國芝加哥大學心理學家和數(shù)理邏輯學家最先建立神經(jīng)網(wǎng)絡和數(shù)學模型，即神經(jīng)元模型，這是人工神經(jīng)網(wǎng)絡研究的開端。人工神經(jīng)網(wǎng)絡研究的內(nèi)容相當?shù)膹V泛，包括生物原型、建立模型、算法、應用等。在這些理論模型基礎上構建的神經(jīng)網(wǎng)絡（計算機模擬），相比傳統(tǒng)的方法，具有并行、容錯、可以硬件實現(xiàn)和自我學習等優(yōu)點。神經(jīng)網(wǎng)絡為解決一些復雜度較高的問題提供了一種相對有效的簡單方法。一般情況下，我們把神經(jīng)網(wǎng)絡劃分為輸入層、輸出層和隱層：輸入層的每個節(jié)點對應一個預測變量；輸出層的節(jié)點對應目標變量（可有多個）；在輸入層和輸出層之間的是隱層，目前為止，隱層層數(shù)和節(jié)點數(shù)的選取仍然沒有相關的理論支持，只是靠經(jīng)驗來選取。

人工神經(jīng)網(wǎng)絡的學習也稱為訓練，通過輸入?yún)?shù)的刺激來調整網(wǎng)絡參數(shù)。一般有兩種學習方法：無監(jiān)督學習和有監(jiān)督學習。有監(jiān)督的學習，就是利用提供的訓練集進行模仿或分類；無監(jiān)督的學習，只規(guī)定學習的方式和規(guī)則，具體的學習內(nèi)容會隨訓練庫的不同而不同，系統(tǒng)可以根據(jù)學習來發(fā)現(xiàn)特征。在人工神經(jīng)網(wǎng)絡的設計與使用過程中，從互聯(lián)結構來看，包括前饋網(wǎng)絡，反饋型局部互聯(lián)網(wǎng)絡，有反饋的前饋網(wǎng)絡，全反饋型網(wǎng)絡（如網(wǎng)絡和玻爾茲曼機），以及自組織網(wǎng)絡等等。

深度學習可以理解為神經(jīng)網(wǎng)絡的發(fā)展，神經(jīng)網(wǎng)絡是對人腦或生物神經(jīng)網(wǎng)絡基本特征進行抽象和建模，可以從外界環(huán)境中學習，并以與生物類似的交互方式適應環(huán)境。

3　形成階段：深度學習

在大數(shù)據(jù)條件下，簡單的機器學習模型會比復雜模型更加有效。比如說，在很多的大數(shù)據(jù)應用中，最簡單的線性模型得到大量使用。而最近深度學習的驚人進展促使我們也許到了要重新思考這個觀點的時候。簡而言之，在大數(shù)據(jù)情況下，也許只有比較復雜的模型，或者說表達能力強的模型，才能夠充分發(fā)掘海量數(shù)據(jù)中蘊藏的豐富信息?，F(xiàn)在我們到了需要重新思考“大數(shù)據(jù)+簡單模型”的時候。運用更強大的深度模型，也許我們能從大數(shù)據(jù)中發(fā)掘出更多的有價值的信息和知識。淺層模型有一個重要特點，就是假設靠人工經(jīng)驗來抽取樣本的特征，而強調模型主要是負責分類或預測。在模型的運用不出差錯的前提下（比如，假設互聯(lián)網(wǎng)公司聘請的是機器學習的專家），特征的好壞就成為整個系統(tǒng)性能的瓶頸。因此，通常一個開發(fā)團隊中更多的人力是投入到發(fā)掘更好的特征上去的。發(fā)現(xiàn)一個好的特征，要求開發(fā)人員對待解決的問題要有很深入的理解。而達到這個程度，往往需要反復的摸索，甚至是數(shù)年磨一劍。因此，人工設計樣本特征，不是一個可擴展的途徑。

深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數(shù)據(jù)，來學習更有用的特征，從而最終提升分類或預測的準確性。所以，“深度模型”是手段，“特征學習”是目的。區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于：強調了模型結構的深度，通常有 5層、6層，甚至10多層的隱層節(jié)點；明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而分類或預測更加容易。

［1］丁世飛.人工智能［M］.北京：清華大學出版社，2011

［2］史忠值.神經(jīng)網(wǎng)絡［M］.北京：高等教育出版社，2009

個人簡介

周勇，男，1980-，山東人，漢，學士學位，職稱：講師，研究方向：數(shù)據(jù)挖掘與處理。