淺談深度學(xué)習(xí)與遷移學(xué)習(xí)的原理與應(yīng)用

王志宇

摘要：隨著計(jì)算機(jī)硬件的快速發(fā)展，計(jì)算機(jī)的計(jì)算能力得到了極大的提高，需要大量計(jì)算的深度學(xué)習(xí)算法得以發(fā)展，并大規(guī)模地應(yīng)用到各個領(lǐng)域之中。本文介紹了深度學(xué)習(xí)及其衍生出的遷移學(xué)習(xí)的原理及其各自試用的場景，以望為之后的研究者提供一定的參考。

關(guān)鍵詞：深度學(xué)習(xí);遷移學(xué)習(xí);神經(jīng)網(wǎng)絡(luò);特征提取

中圖分類號：TP181文獻(xiàn)標(biāo)識碼：A文章編號：1672-9129（2020）14-0099-01

隨著信息時代的到來，深度學(xué)習(xí)的應(yīng)用領(lǐng)域正在逐步增加。深度學(xué)習(xí)是學(xué)習(xí)尋找數(shù)據(jù)之間存在的潛在關(guān)系。在學(xué)習(xí)過程中獲得的信息對于解釋諸如文本，圖像和聲音之類的數(shù)據(jù)非常有利。它的最終目標(biāo)是使機(jī)器能夠像人類一樣進(jìn)行分析事務(wù)和學(xué)習(xí)其特點(diǎn)，并進(jìn)行文本識別、圖像識別和語音識別等。

1深度學(xué)習(xí)的原理

機(jī)器學(xué)習(xí)的工作原理，是找到將輸入數(shù)據(jù)映射到目標(biāo)結(jié)果的規(guī)則，而深度學(xué)習(xí)，是通過一系列的數(shù)據(jù)變換，來實(shí)現(xiàn)輸入數(shù)據(jù)到目標(biāo)結(jié)果的映射。在深度學(xué)習(xí)中，每層的變換由一組權(quán)重來實(shí)現(xiàn)，因此，深度學(xué)習(xí)的本質(zhì)是為神經(jīng)網(wǎng)絡(luò)的所有層找到一組權(quán)重值，使得該網(wǎng)絡(luò)能夠?qū)⒚總€輸入與目標(biāo)準(zhǔn)確對應(yīng)。深度學(xué)習(xí)通常使用損失函數(shù)來衡量輸出值與預(yù)期值之間的距離，然后將這個距離值的大小作為神經(jīng)網(wǎng)絡(luò)反饋的信號，對目標(biāo)的權(quán)重值大小進(jìn)行相應(yīng)的微調(diào)，從而可以得到最佳的權(quán)重值。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一類表現(xiàn)比較優(yōu)秀的算法，卷積神經(jīng)雖然結(jié)構(gòu)比較復(fù)雜，但其實(shí)質(zhì)就是特征提取以及決策推斷，要使特征提取盡量準(zhǔn)確，就需要將這些網(wǎng)絡(luò)層結(jié)構(gòu)進(jìn)行巧妙的組合。

因此，深度學(xué)習(xí)的基本步驟如下：

（1）對神經(jīng)網(wǎng)絡(luò)的權(quán)重隨機(jī)賦值，由于是對輸入數(shù)據(jù)進(jìn)行隨機(jī)的變換，因此跟預(yù)期值可能差距很大，相應(yīng)地，損失值也很高。

（2）根據(jù)損失值，利用梯度下降法調(diào)整每一層網(wǎng)絡(luò)的參數(shù)，以達(dá)到減小損失值的目的。

（3）根據(jù)預(yù)測值，對比其與真實(shí)值存在的差距，即損失值。

（4）重復(fù)步驟上訴步驟，直至網(wǎng)絡(luò)的損失值最小，此時說明模型已經(jīng)收斂。

2遷移學(xué)習(xí)的原理及特點(diǎn)

遷移學(xué)習(xí)主要有兩種被廣泛使用的方法，第一種便是通常意義上的 finetune，即微調(diào)，簡而言之就是在他人訓(xùn)練好的網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行一定的修改用于目標(biāo)學(xué)習(xí)任務(wù)。遷移學(xué)習(xí)訓(xùn)練數(shù)據(jù)量需求量更小，當(dāng)在一個新任務(wù)中重復(fù)使用訓(xùn)練好的模型時，該訓(xùn)練模型已經(jīng)可以很好地獲取圖像的特征了，這意味著不需要再使用很多的圖片來訓(xùn)練新任務(wù)了。減少訓(xùn)練數(shù)據(jù)可以在數(shù)據(jù)少，數(shù)據(jù)更多的成本太高且無法獲取更多數(shù)據(jù)時訓(xùn)練模型 同時，為了可以在擁有性能較低的硬件配置的情況下更快地訓(xùn)練模型，遷移學(xué)習(xí)的訓(xùn)練模型由于其泛化性較強(qiáng)逐漸受到研究者們的青睞，它可以提高對非訓(xùn)練數(shù)據(jù)的準(zhǔn)確進(jìn)行分類的能力，這是因?yàn)樵谟?xùn)練模型時，有目的地讓模型學(xué)習(xí)對手頭任務(wù)有用的一般特征是有目的。當(dāng)模型遷移到一個新任務(wù)時，它需要重新學(xué)習(xí)，且很難過擬合新的訓(xùn)練數(shù)據(jù)。如何構(gòu)建一個泛化能力強(qiáng)的模型，是圖像分類的一個重要研究方向。訓(xùn)練一個帶有數(shù)百萬參數(shù)的復(fù)雜模型，需要消耗大量的計(jì)算資源且結(jié)果非常不穩(wěn)定。如果從一個預(yù)訓(xùn)練的模型開始，則可以避免這種情況。遷移學(xué)習(xí)可以大量度減少訓(xùn)練參數(shù)，使得訓(xùn)練更穩(wěn)定且更容易調(diào)試?；贕oogLeNet的Inception_V3預(yù)訓(xùn)練模型的遷移學(xué)習(xí)算法可以有效地減少對硬件配置性能的要并減少訓(xùn)練集數(shù)量的要求。

3遷移學(xué)習(xí)的應(yīng)用場景

當(dāng)擁有充足的數(shù)據(jù)資源和計(jì)算資源時，通常使用傳統(tǒng)的深度學(xué)習(xí)，當(dāng)不具備此類條件時，可以采用遷移學(xué)習(xí)。訓(xùn)練成本是實(shí)際應(yīng)用中需要考慮的重要因素，即所依賴的計(jì)算資源和耗費(fèi)的訓(xùn)練時間，成本較低的算法往往更能滿足實(shí)際的需要。通常情況下，很少會有研究者從頭開始訓(xùn)練整個深度網(wǎng)絡(luò)，一方面是受限于數(shù)據(jù)量不足的問題，另一方面是受限于時間成本和計(jì)算資源的問題，對于一個實(shí)驗(yàn)性極強(qiáng)的研究領(lǐng)域而言，花費(fèi)數(shù)天乃至數(shù)周的時間和大量精力去訓(xùn)練一個結(jié)果未知且復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)通常是不可取的。

因此，遷移學(xué)習(xí)的使用場景如下：假設(shè)有兩個任務(wù)系統(tǒng) X和Y任務(wù)，X 擁有海量的數(shù)據(jù)資源且已訓(xùn)練好，但并不是目標(biāo)任務(wù)，任務(wù)Y是目標(biāo)任務(wù)，但Y的數(shù)據(jù)量很少且難以獲取，這種場景便是典型的遷移學(xué)習(xí)的應(yīng)用場景。所以，要判斷一個遷移學(xué)習(xí)應(yīng)用是否有效，必須遵守遷移學(xué)習(xí)最基本的原則，即任務(wù)X和任務(wù)Y在輸入上有一定的相似性，即兩個任務(wù)的輸入屬于同一性質(zhì)，如同是圖像或者同是語音等。

4深度學(xué)習(xí)與遷移學(xué)習(xí)的關(guān)系

只有當(dāng)從第一個任務(wù)中學(xué)習(xí)到的模型特征易于推廣時，遷移學(xué)習(xí)才能在深度學(xué)習(xí)中發(fā)揮作用。如今，深度學(xué)習(xí)在包括自然語言、圖像分類等各種各樣的任務(wù)中表現(xiàn)突出。然而，盡管深度學(xué)習(xí)具有如此高的性能，但在一些特定的情形下，使用經(jīng)典的機(jī)器學(xué)習(xí)算法要優(yōu)于大型深度網(wǎng)絡(luò)算法。目前深度學(xué)習(xí)在人工智能領(lǐng)域有著優(yōu)秀表現(xiàn)，但選擇卷積神經(jīng)網(wǎng)絡(luò)也面臨著各種難題。首先，所有的卷積神經(jīng)網(wǎng)絡(luò)都需要大量的數(shù)據(jù)集，而大量數(shù)據(jù)集的計(jì)算則需要非常高的計(jì)算資源，當(dāng)在數(shù)據(jù)樣本較少和計(jì)算資源有限的情形下，選擇一種少量數(shù)據(jù)集下依舊表現(xiàn)優(yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)，就成為了研究的關(guān)鍵點(diǎn)。

5總結(jié)

隨著科學(xué)技術(shù)的快速發(fā)展，深度學(xué)習(xí)及其衍生的相關(guān)算法已經(jīng)應(yīng)用在生活中的各個領(lǐng)域，如何將不同的深度學(xué)習(xí)算法應(yīng)用到相應(yīng)條件下的應(yīng)用場景中從而提高效率。本文介紹了部分淺談深度學(xué)習(xí)與遷移學(xué)習(xí)的原理與應(yīng)用，其包含范圍遠(yuǎn)不如此，深度學(xué)習(xí)領(lǐng)域還需要研究者進(jìn)一步的探索。

參考文獻(xiàn)：

[1] 淺談深度學(xué)習(xí)[J]. 李開菊，鄭波盡.軟件.2016（05）

[2] 基于遷移學(xué)習(xí)的類別級物體識別與檢測研究與進(jìn)展[J]. 張雪松，莊嚴(yán)，閆飛，王偉.自動化學(xué)報(bào). 2019（07）

[3] 基于深度學(xué)習(xí)的語音識別技術(shù)現(xiàn)狀與展望[J]. 戴禮榮，張仕良，黃智穎.數(shù)據(jù)采集與處理.2017（02）