一種基于彩票遷移的稀疏網(wǎng)絡植株病蟲害識別模型

張 旭，陳志奎,李秋岑，李 朋，高 靜

(大連理工大學 軟件學院,遼寧 大連 116620)

植株病蟲害的識別是農(nóng)業(yè)生產(chǎn)中一項重要的工作，需要及時準確地對病害狀況進行檢測，從而采取有效的防治措施。傳統(tǒng)方法依賴經(jīng)驗進行人工觀察和鑒定，準確率和效率都不盡人意[1]。應用計算機技術對病蟲害進行自動識別，是實現(xiàn)智慧種植中不可或缺的一環(huán)。早期方法基于機器學習的分類方法，在小規(guī)模數(shù)據(jù)集上效果較好。近年來，伴隨著農(nóng)業(yè)大數(shù)據(jù)化，數(shù)據(jù)量不斷升級，加上深度學習的高速發(fā)展，使用深度神經(jīng)網(wǎng)絡進行病蟲害圖像識別在國內(nèi)外都取得了一定的成果：文獻[2-4]分別使用采集的病態(tài)和健康的植物葉片訓練卷積神經(jīng)網(wǎng)絡，得到的網(wǎng)絡識別精度高，分類效果明顯。文獻[5]使用基于深度卷積神經(jīng)網(wǎng)絡(CNN，convolutional neural networks)的模型對水稻病葉進行識別，精度達到了95. 48%，高于傳統(tǒng)的機器學習模式。文獻[6]使用faster R-CNN識別茶葉的褐斑病、水皰病等病變。文獻[7]使用GoogleLeNet建模水稻穗株的高光譜圖像，對病株進行識別。文獻[8]綜合多種深度神經(jīng)網(wǎng)絡的特征提取器提出一種深度學習元體系結(jié)構(gòu)，實現(xiàn)了對番茄病變的實時監(jiān)測。然而，這些基于深度神經(jīng)網(wǎng)絡的方法在提供優(yōu)秀的性能同時，往往需要依靠大量的有標簽數(shù)據(jù)樣本進行訓練，數(shù)據(jù)則需要專業(yè)人員進行采集和標注，帶來了高昂的訓練成本，一定程度上限制了方法在實際問題中的應用。

為了減少實際應用中的數(shù)據(jù)需求和標注成本，深度遷移學習(deep transfer learning)是經(jīng)常被選擇的方案，這一思路也已經(jīng)被擴展到病蟲害識別工作中。文獻[9]應用遷移學習方法訓練深度卷積神經(jīng)網(wǎng)絡，進行木薯病蟲害識別，在取得高識別精度的同時減少了訓練開銷。深度遷移學習可以將知識從源域遷移到目標域，將多任務中共享的知識進行復用，并根據(jù)目標任務更新學習模型，和人類的認知策略類似[10]。在計算機視覺領域，卷積網(wǎng)絡提取的淺層視覺特征在多任務中往往可以復用，該理論已經(jīng)得到證明[11]。因此，通過復用在海量數(shù)據(jù)集和高性能硬件設備預訓練模型的一部分，用于完成實際任務中的特征提取等工作，可以大幅減少所需的有標簽數(shù)據(jù)量，縮短訓練時間，從而減少訓練的開銷。然而，遷移學習仍然無法解決需要訓練網(wǎng)絡中海量參數(shù)的問題。先進的卷積神經(jīng)網(wǎng)絡的一個發(fā)展趨勢是，為了獲得更高的精度，需要訓練更大和更深的網(wǎng)絡，從而帶來更加高昂的內(nèi)存和計算開銷。一個簡單的ResNet-18(具有18個卷積層的殘差卷積神經(jīng)網(wǎng)絡)在每一輪訓練過程中就有多達10.9 M(million)個參數(shù)需要訓練，需要進行的浮點數(shù)運算(FLOP)次數(shù)多，對硬件設備要求高。這限制了深度學習方法應用于移動終端、低算力的邊緣計算設備等領域的可能性。

剪枝(pruning)是常用的削減卷積神經(jīng)網(wǎng)絡體量的方法之一[12-13]。雖然神經(jīng)網(wǎng)絡的性能和參數(shù)數(shù)量有關，但并非所有的分支和對應的參數(shù)都做出相同貢獻，很多訓練完成的深度神經(jīng)網(wǎng)絡是過參數(shù)的[14]。通過對冗余的參數(shù)進行修剪，可以在只保留部分重要網(wǎng)絡結(jié)構(gòu)的前提下保證準確率。已有少數(shù)工作把遷移和剪枝結(jié)合起來，以進一步減少開銷和縮減網(wǎng)絡體量[15-16]。2019年，F(xiàn)rankle 和 Carbin提出了彩票假設(lottery ticket hypothesis)[17]，該方法可以尋找原始網(wǎng)絡中最富代表性的子網(wǎng)絡、該稀疏子網(wǎng)絡重新訓練后可以達到和原始任務相當?shù)男阅芡瑫r，最少可以僅保留原始參數(shù)量的5%～10%，這為遷移學習帶來了新的方向。顯而易見的，既然所有的網(wǎng)絡權(quán)重并非做出相等的貢獻，如果能夠只遷移那些最重要的部分，就能大幅壓縮需要訓練的網(wǎng)絡結(jié)構(gòu)，從而實現(xiàn)一個準確率高而且更加精煉的可遷移稀疏子網(wǎng)絡結(jié)構(gòu)。節(jié)省開銷的同時，使得任務更容易擴展到邊緣計算等新興領域，更容易適應實際生產(chǎn)和應用中的需求。

基于彩票假設，提出了一種稀疏子網(wǎng)絡遷移學習，并嘗試應用其解決植株病蟲害圖像識別的實際問題。首先，提出稀疏彩票遷移假設，將彩票假設擴展到深度遷移學習中，驗證可以找到這樣可遷移的稀疏子網(wǎng)絡結(jié)構(gòu)，在標準數(shù)據(jù)集上驗證可遷移性；隨后，應用植株病蟲害數(shù)據(jù)集，對稀疏網(wǎng)絡進行訓練，探索在實際問題上的應用；最后，通過實驗驗證，使用該方法進行訓練的網(wǎng)絡在保留遷移學習對現(xiàn)有知識利用的優(yōu)勢同時，可以使用更加精簡的網(wǎng)絡架構(gòu)和更少的參數(shù)完成相當(甚至更高的)的識別準確率。

1 彩票假設

彩票假設(lottery ticket hypothesis)于2019年由Frankle和Carbin提出。其內(nèi)容是：對于一個前饋神經(jīng)網(wǎng)絡，存在一個隱含的、可以重新訓練的最優(yōu)稀疏子網(wǎng)絡結(jié)構(gòu)，僅通過從零開始重新訓練該稀疏子網(wǎng)絡即可獲得和原始稠密網(wǎng)絡相同的精確度，且迭代次數(shù)不超過原始網(wǎng)絡。該子網(wǎng)絡在整個網(wǎng)絡被隨機初始化時產(chǎn)生，并且可以簡單地由非結(jié)構(gòu)化剪枝算法得到。Frankle和Carbin在最初的研究中發(fā)現(xiàn)，只有當使用原始網(wǎng)絡的初始化參數(shù)重新訓練時，該子網(wǎng)絡才能獲得更好的性能，用新的權(quán)重進行隨機初始化則會導致效果不佳。換言之，剪枝的特定組合在原始網(wǎng)絡中找到了一個幸運的被初始化成最佳形態(tài)的子網(wǎng)絡，該子網(wǎng)絡因此被命名為“彩票子網(wǎng)絡”。原作者討論了彩票子網(wǎng)絡是否與所訓練的任務結(jié)構(gòu)相關，以及得到的子網(wǎng)絡是否總是能夠在任務之間進行遷移，目前還沒有定論。筆者討論并驗證該假設在圖像分類任務中不同數(shù)據(jù)集間遷移的可行性，探索彩票假設在遷移學習中的應用。

原始彩票假設的形式化定義如下：對于一個神經(jīng)網(wǎng)絡f(x;θ)，定義其初始化參數(shù)為θi。在網(wǎng)絡的訓練優(yōu)化過程中，經(jīng)過j次迭代，f取得最低的代價函數(shù)損失l，此時網(wǎng)絡在當前任務上達到α%的準確率。存在這樣的子網(wǎng)絡f(x;m⊙θi)，m∈{0,1}，當其代價函數(shù)最低時，滿足迭代次數(shù)j′≤j且準確率α′≥α，稱這樣的網(wǎng)絡為一個彩票子網(wǎng)絡。

所有的彩票子網(wǎng)絡都可以通過非結(jié)構(gòu)化剪枝得到，并且可以重新訓練。當使用原始網(wǎng)絡的參數(shù)θi進行訓練時，子網(wǎng)絡的性能好于隨機初始化[17]。

2 基于彩票剪枝的稀疏子網(wǎng)絡遷移方法

基于彩票剪枝的稀疏子網(wǎng)絡遷移方法，該方法在應用彩票假設尋找可訓練稀疏子網(wǎng)絡的基礎上，將方法擴展到深度遷移學習，尋找一個可遷移的稀疏子網(wǎng)絡，保留源域的重要信息并應用其協(xié)助目標域訓練。首先，在源域上應用彩票假設，尋找最優(yōu)化的彩票子網(wǎng)絡結(jié)構(gòu)；再將該網(wǎng)絡遷移至目標域，嘗試僅使用目標任務中的少量有標簽數(shù)據(jù)對網(wǎng)絡進行微調(diào)，使之達到最優(yōu)。另外，在原始彩票剪枝算法的基礎上進行改進，包括優(yōu)化其剪枝標準和子網(wǎng)絡的訓練方法，從而進一步提高最終得到網(wǎng)絡的精度。

2.1 稀疏彩票子網(wǎng)絡可遷移假設

深度遷移學習經(jīng)常應用于將知識從源域遷移到目標域，復用共享的知識并且根據(jù)目標任務更新學習模型。其中，“域”定義為：D={χ,P(X)}，包括特征空間χ以及邊緣分布概率分布P(X),X={x1,…,xn}∈χ；“任務”定義為T={y,f(x)}，其中y代表標簽空間，f(x)代表用于標簽預測的目標函數(shù)。在基于深度神經(jīng)網(wǎng)絡的任務中，可以用來反映神經(jīng)網(wǎng)絡的非線性損失函數(shù)。原始的彩票假設僅在當前的目標任務域DT上進行。本方法結(jié)合深度遷移學習，使用來自源域的信息輔助目標域，從而同時大幅削減訓練所需的有標簽數(shù)據(jù)集和參數(shù)數(shù)量兩方面的開銷，完成一個稀疏子網(wǎng)絡的遷移。因此，對于目標域DT上的待解決的目標任務TT，從選定的相對較大的源域DS上的現(xiàn)有任務TS尋求幫助，使用2個域的共同知識優(yōu)化目標域的損失函數(shù)fT(x)。綜上所述，在基于彩票假設的遷移方法中，需要完成對目標任務(DS,TS,DT,TT,f(x;m⊙θi),m∈{0,1})的最優(yōu)化工作。

給出稀疏彩票遷移假設的形式化定義：

使用神經(jīng)網(wǎng)絡f(x;θ)定義目標域DT上的任務TT。在使用來自DT信息進行訓練優(yōu)化的過程中，經(jīng)過j次迭代，f取得最低的代價函數(shù)損失l，此時網(wǎng)絡達到α%的準確率。定義源域DS的初始化參數(shù)為θs。存在這樣的子網(wǎng)絡f(x;m⊙θs)，m∈{0,1}，通過在源域任務TS上應用彩票假設剪枝得到，當其代價函數(shù)最低時，在DT上仍能滿足迭代次數(shù)j′≤j且最終準確率α′≥α。稱這樣的網(wǎng)絡為一個可以從源域遷移信息到目標域的稀疏彩票子網(wǎng)絡。

2.2 基于彩票假設的稀疏子網(wǎng)絡遷移

改進的基于彩票假設的稀疏子網(wǎng)絡遷移方法，其實施步驟如圖1所示。

圖1 基于彩票假設的稀疏子網(wǎng)絡遷移過程Fig.1 Process of lottery ticket-based sparse neural network transfer

首先，隨機初始化網(wǎng)絡參數(shù)θ。在使用非結(jié)構(gòu)化剪枝方法尋找彩票子網(wǎng)絡的過程中，為所有的參數(shù)約定一個初始化掩膜m(mask)和對應的掩膜標準M，用于判斷并標記剪枝操作后哪些權(quán)重將被保留。因此，可以將即將被遷移的原始網(wǎng)絡定義為f(x;m⊙θ)。

方法的具體實現(xiàn)步驟如下：

步驟1：在源域上隨機初始化網(wǎng)絡，并且使用源域信息進行訓練直至其收斂，完成源任務的定義。該步驟嘗試通過對現(xiàn)有任務部分關鍵網(wǎng)絡結(jié)構(gòu)和對應權(quán)重的復用實現(xiàn)知識遷移。因此當源任務為其他領域已經(jīng)完成的工作，或者使用該領域富有代表性的海量通用數(shù)據(jù)集在高性能硬件設備上訓練而來的已知網(wǎng)絡(ImageNet上訓練的高質(zhì)量圖像數(shù)據(jù)集)時，可以省略訓練步驟，直接繼承源任務的權(quán)重和結(jié)構(gòu)。

步驟2：基于改進后的彩票剪枝方法，在該網(wǎng)絡上應用迭代的非結(jié)構(gòu)化剪枝算法，以尋找最優(yōu)的彩票子網(wǎng)絡。對于經(jīng)歷n次迭代的網(wǎng)絡，記錄訓練前的初始權(quán)重，表示為θi；訓練完成后的權(quán)重表示為θn。此外，記錄訓練開始后一段時間的權(quán)重，表示為θj(j

步驟3：在彩票剪枝算法運行過程中，使用掩膜標準M對網(wǎng)絡中的每個權(quán)重進行判斷。M可以視為對權(quán)重在神經(jīng)網(wǎng)絡中貢獻度的打分標準，其定義如下

在網(wǎng)絡的每一層中，對于得分在前p%的權(quán)重，設置其掩膜m=1，表示將被保留；對于剩余的(100-p)%權(quán)重，其掩膜m將被設置為0，表示被剪去，并隨機破壞其連接。p代表保留權(quán)重的比例，將會影響剪枝的程度，可以根據(jù)具體的層數(shù)不同進行分別定義。

步驟4：對于m=1的權(quán)重，使用θj重置其權(quán)重，準備進行下一步的訓練；m=0的權(quán)重將被剪枝，這些被剪掉的權(quán)重在后續(xù)的訓練中將被凍結(jié)(不參與訓練)。與原始的彩票剪枝方法有所區(qū)別的是，只有當即將被剪枝的權(quán)重在訓練中的趨勢是趨近0時，將其凍結(jié)為0；如果其趨勢是逐漸遠離0，則將其凍結(jié)為初始權(quán)重。

步驟5：重復1—4的步驟，直到在源域上找到最優(yōu)的可遷移稀疏彩票子網(wǎng)絡f(x;m⊙θi)。

步驟6：在目標域上，使用目標任務的數(shù)據(jù)集對得到的子網(wǎng)絡進行微調(diào)訓練，完成網(wǎng)絡的最優(yōu)化，從而完成遷移任務。在訓練時，使用θj初始化網(wǎng)絡中被保留的權(quán)重，被凍結(jié)的權(quán)重不參與訓練。

此時得到的稀疏網(wǎng)絡繼承了來自源域的信息，并且能夠用于目標域任務，且需要訓練的參數(shù)和訓練用的真實數(shù)據(jù)集數(shù)量大幅減少。

相比原始的彩票假設，為了將其應用于遷移任務并且優(yōu)化其性能，在如下方面進行改進：

1)原始的彩票假設僅能用于當前域。則當在目標任務域上應用彩票剪枝時，按照原始的彩票假設，應該使用目標任務上的初始權(quán)重作為子網(wǎng)絡的初始權(quán)重(而非隨機初始化網(wǎng)絡)進行訓練，得到的子網(wǎng)絡才能盡快收斂并達到剪枝之前準確率的水平。但在深度遷移學習中，顯而易見的，如果使用目標任務上的初始權(quán)重，源域獲得的知識將會丟失，相當于使用一個隨機值開始訓練，使源域上的訓練沒有意義。因此，為了從源域遷移現(xiàn)有的知識，本方法使用源域訓練得到的權(quán)重對子網(wǎng)絡進行初始化并應用于目標任務，實現(xiàn)彩票網(wǎng)絡的遷移。

3)在原始彩票假設的剪枝方法中，在剪枝結(jié)束后，將會使用剪枝開始前的初始權(quán)重θi對被保留的權(quán)重進行初始化。后續(xù)研究發(fā)現(xiàn)，使用訓練一段時間后的權(quán)重θj(j

4)在原始彩票假設的剪枝方法中，和其他的剪枝方法類似，被剪枝的權(quán)重在后續(xù)的訓練中將被一概凍結(jié)為0。一般認為可以這么做的理由是這些權(quán)重在網(wǎng)絡中貢獻較少，屬于不重要的分支。這些權(quán)重應該可以被設定成任意值——而不是特定的0值——而不會影響網(wǎng)絡的最終效果。實驗中發(fā)現(xiàn)，和晚重置方法類似，通過剪枝方法將特定權(quán)重凍結(jié)之所以有效，是因為它們在一定程度上反映了權(quán)重在訓練中的變化趨勢。凍結(jié)為0的操作約等于令那些隨著訓練會越來越接近0的權(quán)重提前達到其近似的最終值。因此，在本文方法中，只有當一個權(quán)重的變化趨勢是趨近0時，將其凍結(jié)為0；當其在訓練中的變化趨勢是不斷遠離0時，將其凍結(jié)為初始的值。

3 實驗及分析

3.1 稀疏彩票遷移假設的驗證

首先使用標準數(shù)據(jù)集，對提出的稀疏彩票子網(wǎng)絡可遷移假設進行驗證。對源域上的任務進行剪枝，找到最優(yōu)彩票子網(wǎng)絡后，在目標域的數(shù)據(jù)集上應用該子網(wǎng)絡，與直接在目標數(shù)據(jù)集上訓練完整網(wǎng)絡得到的結(jié)果相比較，分別對比平均準確率(ACC, accuracy)和需要訓練的參數(shù)數(shù)量，以檢驗該假設是否成立。

選擇多類別圖像分類問題，使用CIFAR-10[19]訓練遷移任務的源域。CIFAR-10是一個被廣泛使用的標準數(shù)據(jù)集，用于識別普適物體，常作為基準對各種模型進行有效性檢驗。目標數(shù)據(jù)集選擇smallNORB[20]，它是LeCun等人拍攝的不同照明及擺放方式下的玩具模型灰度圖像的小尺寸版本，常用于對3D生成模型進行測試。數(shù)據(jù)集的具體屬性如表1所示。由于目標域上的圖像尺寸和通道與源域不同，在實驗中，使用4單位的像素填充/裁剪，并且進行通道轉(zhuǎn)換。

表1 數(shù)據(jù)集屬性Table 1 Properties of datasets

網(wǎng)絡架構(gòu)方面，選擇ResNet18模型。這是經(jīng)典深度殘差網(wǎng)絡ResNet架構(gòu)的18層版本，也被Frankle等應用于驗證原始的彩票假設，使用和作者相同的配置[17]。其原始版本有多達10.9M(million)個卷積層參數(shù)需要訓練。在剪枝過程中，只對卷積層進行操作。在目標域上對遷移的子網(wǎng)絡微調(diào)使之最優(yōu)化時，按照遷移學習中常用的方法，凍結(jié)卷積層的權(quán)重，只微調(diào)全連接層。實驗使用3種不同的初始化方式初始化彩票子網(wǎng)絡：晚重置方法，原始彩票假設中的方法，以及隨機初始化。

實驗中的其他參數(shù)設定如下：應用隨機梯度下降(SGD)進行優(yōu)化，參數(shù)(5e-3,1e-3,1e-4)；基礎學習率0.01；動量參數(shù)momentum=0.9；權(quán)值衰減率decay=1e-4。在每一輪剪枝中，剪掉當前參數(shù)的20%，總共進行10輪迭代剪枝，批處理大小為128，最大迭代次數(shù)為30 000，每輪中最多進行50次遍歷。實驗全部在Dell PowerEdge R740(Silver 4110 2.1 GHz-8cores-16threads*2 NVIDIA Tesla M60*2 128G)服務器上運行。

經(jīng)過在源域CIFAR-10上的訓練后，網(wǎng)絡在測試集上取得89.43%的準確率。彩票剪枝可以在保證準確率的前提下大幅削減所需訓練的參數(shù)數(shù)量，剪枝后只保留原始參數(shù)的10%時，仍具有89.24%的準確率。對于目標域數(shù)據(jù)smallNORB，當從頭訓練同樣的稠密網(wǎng)絡時，準確率為89.9%。為了尋找最適合遷移的稀疏子網(wǎng)絡大小，將不同剪枝程度下每一輪產(chǎn)生的最優(yōu)子網(wǎng)絡分別遷移至目標域，按照研究提出的稀疏彩票遷移假設進行訓練，并對結(jié)果進行對比。

實驗結(jié)果如圖2所示。

圖2 彩票遷移在標準數(shù)據(jù)集上的結(jié)果Fig. 2 experimental results of lottery ticket-based transfer on benchmark datasets

可以發(fā)現(xiàn)，對源域剪枝得到的稀疏網(wǎng)絡可以用于目標任務。在大幅節(jié)省參數(shù)訓練開銷的同時，總體精度能保持在剪枝前附近，實現(xiàn)了稀疏子網(wǎng)絡的遷移。并且當進行適當剪枝時，可以取得比直接訓練稠密網(wǎng)絡更好的性能。相比原始彩票假設中的初始化方法和隨機初始化方法，改進的方法能更有效實現(xiàn)稀疏子網(wǎng)絡的遷移。

在實際應用中，可以進行更細粒度的剪枝，以逐步尋找用于遷移的最優(yōu)稀疏網(wǎng)絡。同時，實驗結(jié)果表明，當進行深度剪枝，即僅保留原始網(wǎng)絡10%參數(shù)時，其精度損失也可以接受。當目標任務可以接受性能的微弱損失時，這為深度計算方法在移動智能設備或者低算力的邊緣計算設備上的推廣提供了可能性?？傮w而言，通過在標準數(shù)據(jù)集上的實驗，驗證了提出的稀疏彩票可遷移假設的可行性。

3.2 基于稀疏彩票遷移假設的植株病蟲害識別方法

應用稀疏彩票遷移假設訓練一個稀疏子網(wǎng)絡，用于解決植株病蟲害的識別問題。具體的，對番茄葉片的常見病害進行識別。使用在ImageNet上預訓練完成的ResNet18模型作為源域網(wǎng)絡，進行15輪迭代剪枝，最少可以僅保留原始參數(shù)的3.6%。其它參數(shù)和實驗設備設置與上一節(jié)相同。在目標域上，使用PlantVillage數(shù)據(jù)集進行訓練。PlantVillage數(shù)據(jù)集是PlantVillage網(wǎng)站(https:∥www.plantvillage.org/en/plant_images)收集的14種農(nóng)作物、26類植株病蟲害的葉片(及其對應的健康葉片)組成的開源圖像數(shù)據(jù)集。由于原始數(shù)據(jù)集中不同類別的樣本參差不齊，只選擇Tomato類，剔除樣本較少的類和質(zhì)量較差的圖片，再使用水平翻轉(zhuǎn)等數(shù)據(jù)增強手段，將每類的樣本大小調(diào)整到基本一致，共定義8類病害+1類健康葉片。同時，圖像大小統(tǒng)一調(diào)整為64×64。數(shù)據(jù)集的具體屬性如表2所示。

表2 PlantVillage數(shù)據(jù)集屬性Table 2 Properties of PlantVillage dataset

實驗結(jié)果如圖3所示。原始稠密網(wǎng)絡經(jīng)過訓練，可以達到96.44%的準確率。通過應用稀疏彩票遷移假設，分別獲得了一系列體量不同的稀疏子網(wǎng)絡，識別準確率最高可達97.69%，同時所需訓練的參數(shù)數(shù)量大幅減少。在僅保留3.6%參數(shù)時，仍可以達到93.16%的準確率，為深度學習方法在低算力設備上的應用提供了可能性，此時只需要訓練406 495個參數(shù)(相比原始網(wǎng)絡的11 173 962個)；當需要最佳性能時，可以在最高準確率附近通過更細粒度的剪枝進一步尋找最優(yōu)子網(wǎng)絡，此時所需訓練的參數(shù)可能只有原始網(wǎng)絡的20%～50%，同時準確率高于原始稠密網(wǎng)絡。

圖3 稀疏彩票遷移訓練子網(wǎng)絡Fig. 3 Experimental results of lottery ticket-based transfer on Plant Village dataset

4 結(jié) 論

研究提出一種基于彩票假設的稀疏子網(wǎng)絡遷移方法，在借助源域知識遷移以減少訓練對有標簽數(shù)據(jù)樣本需求的同時，可以大幅減少需要訓練的參數(shù)數(shù)量并保持網(wǎng)絡精度，實現(xiàn)更加精簡高效的深度遷移學習。在標準數(shù)據(jù)集上驗證了應用彩票假設剪枝得到的稀疏子網(wǎng)絡可遷移的假設。進一步應用該方法訓練一個稀疏的深度網(wǎng)絡，進行番茄葉片病害的植株病蟲害識別工作，識別準確率可達97.69%，且只需要訓練原始參數(shù)的30%。

研究僅驗證了方法在ResNet網(wǎng)絡結(jié)構(gòu)上的可能性。該假設能否有效應用于其他網(wǎng)絡結(jié)構(gòu)，以及擴展到目標分類以外的任務，將是下一步的研究方向。