特征數(shù)據(jù)增廣探究

張倫，劉大鵬

（貴州師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，貴陽(yáng)550025）

1 研究背景及意義

數(shù)據(jù)增廣是深度學(xué)習(xí)分類任務(wù)中常用的方法之一，主要用于增加訓(xùn)練數(shù)據(jù)集的樣本，讓數(shù)據(jù)集的樣本盡可能的多樣化，使得訓(xùn)練的模型具有更強(qiáng)的泛化能力。

機(jī)器學(xué)習(xí)需要數(shù)據(jù)增廣。大量機(jī)器學(xué)習(xí)任務(wù)，如無(wú)人駕駛汽車的目標(biāo)預(yù)測(cè)、人臉識(shí)別、行人檢測(cè)、醫(yī)學(xué)圖像的分類與識(shí)別等，都需要大量的訓(xùn)練數(shù)據(jù)。數(shù)據(jù)增廣是解決訓(xùn)練樣本不足的主流方法之一。數(shù)據(jù)增廣技術(shù)通過(guò)對(duì)訓(xùn)練數(shù)據(jù)集做一系列的隨機(jī)改變，用來(lái)產(chǎn)生和原數(shù)據(jù)相似但又不相同的訓(xùn)練數(shù)據(jù)，從而擴(kuò)大訓(xùn)練數(shù)據(jù)集的規(guī)模，增加數(shù)據(jù)集的多樣性。有研究表明[27]，分類任務(wù)中數(shù)據(jù)增廣提高了模型分類的準(zhǔn)確率和泛化性。

現(xiàn)在深度學(xué)習(xí)更需要數(shù)據(jù)增廣。深度學(xué)習(xí)是近十年來(lái)人工智能領(lǐng)域取得的重要突破。2012年，Krizhevsky等人[1]設(shè)計(jì)的AlexNet（8層）卷積神經(jīng)網(wǎng)絡(luò)在ImageNet圖像競(jìng)賽中取得冠軍[2]。GoogLeNet（22層）[3]和VGG-Net（19層）是2014年ImageNet競(jìng)賽的雙雄，兩類模型的共同特點(diǎn)是網(wǎng)絡(luò)結(jié)構(gòu)比以往的模型層數(shù)更多。在2015年ImageNet競(jìng)賽上，MSRT何凱明團(tuán)隊(duì)的深度殘差網(wǎng)絡(luò)（Residual Networks，ResNet）[4]大方異彩，殘差網(wǎng)絡(luò)結(jié)構(gòu)更深（達(dá)50層），分類正確率更高。隨著卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不斷加深，網(wǎng)絡(luò)的參數(shù)越來(lái)越多，在有限的訓(xùn)練數(shù)據(jù)集下，容易發(fā)生過(guò)擬合現(xiàn)象，使圖像分類的正確率下降。除通過(guò)標(biāo)注增加訓(xùn)練數(shù)據(jù)外，提高圖像分類正確率的方法可主要分為兩種：一種是調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)或者改進(jìn)網(wǎng)絡(luò)對(duì)各層特征的處理能力，例如通過(guò)改變網(wǎng)絡(luò)中的激活數(shù)（ReLU）[5]、引入dropout層[6]等方法來(lái)提高模型的學(xué)習(xí)能力；另外一種是通過(guò)增廣方法產(chǎn)生大量新的訓(xùn)練樣本。

本文將從模型的第一層數(shù)據(jù)增廣和模型的中間層數(shù)據(jù)增廣兩方面對(duì)現(xiàn)有工作進(jìn)行綜述，提出開(kāi)放問(wèn)題、有價(jià)值的研究方向，并展望未來(lái)通過(guò)特征數(shù)據(jù)增廣更好地提升模型能力。

2 研究現(xiàn)狀

本文將神經(jīng)網(wǎng)絡(luò)模型的輸入層數(shù)據(jù)（圖像、視頻、音頻、文本，等等）看作模型第一層特征，模型中間層數(shù)據(jù)（中間各層的輸出）看做模型中間層特征。

現(xiàn)有的主要研究集中在對(duì)模型的第一層特征進(jìn)行增廣[7-14,26]，少量的工作對(duì)模型的中間層特征進(jìn)行增廣[18-21]。接下來(lái)將從模型第一層特征數(shù)據(jù)增廣和模型中間層特征數(shù)據(jù)增廣兩方面分別總結(jié)。

2.1 模型第一層特征數(shù)據(jù)增廣

現(xiàn)有工作可以主要分為人工設(shè)計(jì)和主動(dòng)學(xué)習(xí)兩類增廣方法。不同數(shù)據(jù)集有著不一樣的屬性，需要人工進(jìn)行設(shè)計(jì)數(shù)據(jù)增廣方法。如：在訓(xùn)練階段水平翻轉(zhuǎn)圖像是CIFAR-10上的有效數(shù)據(jù)增強(qiáng)方法，但不是MNIST上的有效增強(qiáng)方法。因而，研究人員為了減少數(shù)據(jù)增廣依賴于人工的部分，設(shè)計(jì)出網(wǎng)絡(luò)自主學(xué)習(xí)數(shù)據(jù)增廣方法成為一種不可缺少的需求。

下面從人工設(shè)計(jì)的增廣方法和自動(dòng)學(xué)習(xí)的增廣方法兩方面介紹。

（1）人工設(shè)計(jì)的增廣方法

模型輸入層的增廣方法有很多，如基于顏色變換的增廣方法，即圖像亮度、飽和度、對(duì)比度變化等的增廣；基于隨機(jī)差值增廣方法，對(duì)圖像進(jìn)行裁剪、縮放；基于仿射變換的增廣方法，尺度和長(zhǎng)寬比增強(qiáng)變換，對(duì)圖像進(jìn)行水平、垂直翻轉(zhuǎn)或者平移變換；基于高斯噪聲的增廣方法，對(duì)圖像引入高斯噪聲或者對(duì)圖片進(jìn)行模糊處理；類別不平衡數(shù)據(jù)的增廣[7]。圖像識(shí)別的常用數(shù)據(jù)增廣方法是人工手動(dòng)設(shè)計(jì)的，在不同數(shù)據(jù)集上應(yīng)用的數(shù)據(jù)增廣技術(shù)是不一樣的，最佳的數(shù)據(jù)增廣策略是不同數(shù)據(jù)集特有的。例如在MNIST上大多數(shù)頂級(jí)模型使用彈性扭曲[8]、縮放[9]、平移[10]和旋轉(zhuǎn)[11]。在自然圖像數(shù)據(jù)集上，如CIFAR-10和ImageNet，隨機(jī)裁剪、圖像鏡像和色彩漂移、白化更為常見(jiàn)[12]。文獻(xiàn)[26]介紹了一種新的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）的數(shù)據(jù)增強(qiáng)方法——隨機(jī)消除。在訓(xùn)練中，隨機(jī)消除隨機(jī)選擇圖像中的一個(gè)矩形區(qū)域，并用隨機(jī)值覆蓋其像素。在此過(guò)程中，生成了不同遮擋水平的訓(xùn)練圖像，從而降低了過(guò)度擬合的風(fēng)險(xiǎn)，使模型對(duì)遮擋具有魯棒性，隨機(jī)消除參數(shù)是學(xué)習(xí)得到的，易于實(shí)現(xiàn)，并可以與大多數(shù)基于CNN的識(shí)別模型集成。雖然簡(jiǎn)單，隨機(jī)消除是常用的數(shù)據(jù)處理技術(shù)（如隨機(jī)裁剪和翻轉(zhuǎn)）組合而成，提高了在目標(biāo)檢測(cè)，圖像識(shí)別的準(zhǔn)確性。隨機(jī)消除結(jié)合一般的操作方法對(duì)性能有所提高（如：翻轉(zhuǎn)、變換等）。由于這些方法需要人工經(jīng)驗(yàn)，不同數(shù)據(jù)集的數(shù)據(jù)增廣方法需要專業(yè)的研究人員進(jìn)行判斷，增加了工作量，增加了成本，而且比較耗時(shí)，并且模型的性能提升的比較有限。

（2）自動(dòng)學(xué)習(xí)的增廣方法

代替人工操作數(shù)據(jù)增廣，降低人工成本，研究人員尋找最佳數(shù)據(jù)自動(dòng)增廣策略。谷歌大腦的研究者在arXiv上發(fā)表論文，提出一種自動(dòng)搜索合適數(shù)據(jù)增強(qiáng)策略的方法AutoAugment[13]，該方法創(chuàng)建一個(gè)數(shù)據(jù)增強(qiáng)策略的搜索空間，利用搜索算法選取適合的數(shù)據(jù)增強(qiáng)策略。此外，從一個(gè)數(shù)據(jù)集中學(xué)到的策略能夠很好地遷移到其他相似的數(shù)據(jù)集上。AutoAugment對(duì)性能提高貢獻(xiàn)是很大的，但是由于選擇參數(shù)多，造成的運(yùn)算量大，且比較耗時(shí)，自動(dòng)化搜索是對(duì)每一個(gè)小的代理任務(wù)進(jìn)行單獨(dú)搜索，它的結(jié)果可能被轉(zhuǎn)移到一個(gè)更大的目標(biāo)任務(wù)中，這個(gè)方法不是最優(yōu)的。所以AutoAugment有兩大缺點(diǎn)：一是大規(guī)模的采用這樣的方法會(huì)增加訓(xùn)練復(fù)雜度、加大計(jì)算成本；二是無(wú)法根據(jù)模型或數(shù)據(jù)集大小調(diào)整正則化強(qiáng)度。于是谷歌大腦團(tuán)隊(duì)又提出了一種數(shù)據(jù)增強(qiáng)的方法——RandAugment，主要思想是隨機(jī)選擇變換，調(diào)整它們的大小。改進(jìn)的關(guān)鍵問(wèn)題是單獨(dú)搜索，所以研究人員的目標(biāo)就是消除AutoAugment數(shù)據(jù)增強(qiáng)過(guò)程中對(duì)單獨(dú)搜索的需求。由于AutoAugment的參數(shù)多，研究團(tuán)隊(duì)要大幅度減少數(shù)據(jù)增強(qiáng)的參數(shù)空間，為了減少參數(shù)空間和同時(shí)保持?jǐn)?shù)據(jù)（圖像）的多樣性，故采用無(wú)參數(shù)過(guò)程替代了學(xué)習(xí)的策略和概率。RandAugment[14]更好完善了AutoAugment的耗時(shí)，單獨(dú)搜索的缺點(diǎn)，正確率也提升了。自動(dòng)數(shù)據(jù)增廣方法代替了人工工作，而且提高了模型性能，具有很大的貢獻(xiàn)。但是由于AutoAugment、RandAugment對(duì)數(shù)據(jù)增廣方法的隨機(jī)性，所構(gòu)成的增廣策略很多，比較耗時(shí)，這些工作是在數(shù)據(jù)空間中進(jìn)行的研究。

2.2 模型中間層特征數(shù)據(jù)增廣

有研究表明[15-16]，在訓(xùn)練的過(guò)程中數(shù)據(jù)流沿著網(wǎng)絡(luò)逐層傳播時(shí)，對(duì)模型的中層特征進(jìn)行增廣比對(duì)輸入層特征增廣更有效。

部分研究工作[17-19]在特征空間中采用生成模型（通過(guò)算法找到樣本數(shù)據(jù)的概率分布）生成數(shù)據(jù)。這類方法優(yōu)點(diǎn)是收斂速度快速，如當(dāng)樣本數(shù)量較多時(shí)，能更快地收斂于真實(shí)模型，缺點(diǎn)是復(fù)雜，計(jì)算量大，在訓(xùn)練過(guò)程中耗時(shí)，有時(shí)候原數(shù)據(jù)與生成的數(shù)據(jù)有較大差異，可信度并不是很高。

在實(shí)際應(yīng)用中，適用于一個(gè)數(shù)據(jù)集上的增廣方法，換到另外一個(gè)數(shù)據(jù)集上，效果并不是很好[20-21,30-31]，需要有專家必須參與。因此有研究工作[22,25,29]對(duì)具有通用性的增廣方法（有的作者并沒(méi)有意識(shí)到其工作也是一種增廣方法）進(jìn)行了研究。

接下來(lái)從基于GAN的增廣方法、非通用性的一般增廣方法和有通用性的一般增廣方法三個(gè)方面介紹。

（1）基于GAN的增廣方法

很多時(shí)候研究人員在處理數(shù)據(jù)時(shí)，會(huì)遇到數(shù)據(jù)不足的情況，這時(shí)研究人員會(huì)考慮使用生成模型（通過(guò)算法找到樣本數(shù)據(jù)的概率分布）生成數(shù)據(jù)。GAN[17]提出了一個(gè)通過(guò)對(duì)抗過(guò)程估計(jì)生成模型的新框架，在新的框架中同時(shí)訓(xùn)練兩個(gè)模型：一個(gè)用來(lái)捕獲數(shù)據(jù)分布的生成模型G，和一個(gè)用來(lái)估計(jì)樣本來(lái)自訓(xùn)練數(shù)據(jù)而不是G概率的判別模型D，G的訓(xùn)練過(guò)程是最大化D產(chǎn)生錯(cuò)誤的概率。但是GAN不適合處理離散形式的數(shù)據(jù)，而且存在訓(xùn)練不穩(wěn)定、梯度消失、模式奔潰的問(wèn)題。最終會(huì)導(dǎo)致結(jié)果缺少一些信息特征。VAE[18]原來(lái)生成模型的下界，難用傳統(tǒng)的梯度下降方法計(jì)算，所以選用了隨機(jī)梯度下降，提出了生成模型可以解決復(fù)雜的后驗(yàn)分布計(jì)算難的問(wèn)題。論文通過(guò)重參數(shù)技巧構(gòu)建了隨機(jī)梯度的優(yōu)化方式，將神經(jīng)網(wǎng)絡(luò)與概率圖模型相結(jié)合，利用高斯分布讓后驗(yàn)估計(jì)能夠產(chǎn)生有效的數(shù)據(jù)。生成隨機(jī)網(wǎng)絡(luò)（GSN）[19]由兩個(gè)條件概率分布參數(shù)化，是去躁自編碼器的推廣，除可見(jiàn)變量（通常表示為x）之外，在生成馬爾科夫鏈中還包括潛變量h。它提出之初被用于對(duì)觀察數(shù)據(jù)x的概率分布P(x)進(jìn)行隱式建模。以上這幾種網(wǎng)絡(luò)都可以看著是特征空間的數(shù)據(jù)增廣，通過(guò)模型參數(shù)進(jìn)行調(diào)整獲得新數(shù)據(jù)，但增加了計(jì)算量。

（2）非通用性的一般增廣方法

2016年在arXiv發(fā)表的論文[20]采用SMOTE：合成少數(shù)類過(guò)采樣技術(shù)，對(duì)少數(shù)類樣本進(jìn)行分析并根據(jù)少數(shù)類樣本人工合成新樣本添加到數(shù)據(jù)集中；DBSMOTE：在SMOTE基礎(chǔ)上通過(guò)種子樣本與少數(shù)類樣本的中心距離，構(gòu)造新樣本分布函數(shù)。在模型中間層對(duì)特征進(jìn)行增廣，最后結(jié)果不是很理想，論文不好的原因是沒(méi)有考慮到增加特征空間的多樣性，用在不同數(shù)據(jù)集上的效果不佳。數(shù)據(jù)增廣是通過(guò)對(duì)訓(xùn)練數(shù)據(jù)的變換來(lái)生成樣本的過(guò)程，文獻(xiàn)[30]提出在模型中間層用一種新的自動(dòng)適應(yīng)算法來(lái)挑選用于數(shù)據(jù)增廣的樣本變換。自動(dòng)適應(yīng)算法也只是在兩個(gè)數(shù)據(jù)集上做了實(shí)驗(yàn)，只比隨機(jī)變換的方法好一點(diǎn)。為了更好地識(shí)別被遮擋和變形的物體，文獻(xiàn)[31]采用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增廣的訓(xùn)練方法，直接在特征空間對(duì)數(shù)據(jù)集進(jìn)行遮擋和變形。卷積神經(jīng)網(wǎng)絡(luò)下采樣操作過(guò)程不能保留輸入的全部特征，文獻(xiàn)[32]提出并行網(wǎng)格池（PGP）替代下采樣操作，PGP不丟棄任何特征，可以看著是特征空間數(shù)據(jù)增廣的補(bǔ)充。在研究特征空間中的數(shù)據(jù)增廣問(wèn)題[21]，提出了一種新的結(jié)構(gòu)，即特征遷移網(wǎng)絡(luò)（FATTEN）。FATTEN中外觀參數(shù)和位姿參數(shù)是為了生成新的特征，兩個(gè)參數(shù)平衡訓(xùn)練，對(duì)生成的特征是有益的。以上工作都是模型中間層的數(shù)據(jù)集增廣，一種增廣技術(shù)在不能在多個(gè)數(shù)據(jù)集上表現(xiàn)良好的性能，沒(méi)有考慮到數(shù)據(jù)集自身的特性（如：文獻(xiàn)[30]只是考慮遮擋和變形的情況，如果數(shù)據(jù)集沒(méi)有遮擋或者形變，這樣會(huì)降低模型分類正確率）。

（3）有通用性的一般增廣方法

增加數(shù)據(jù)集的多樣性，離不開(kāi)數(shù)據(jù)增廣方法，而數(shù)據(jù)增廣方法的通用性具有重要的意義?？紤]在數(shù)據(jù)中同一類別做數(shù)據(jù)增廣，文獻(xiàn)[28]提出了在特征空間中兩個(gè)同類數(shù)據(jù)集做內(nèi)插的數(shù)據(jù)增廣技術(shù)（內(nèi)插：在兩個(gè)類樣本之間生成新的樣本）。文獻(xiàn)[29]進(jìn)一步在文獻(xiàn)[28]上提出了在特征空間中兩個(gè)同類數(shù)據(jù)集做外插的數(shù)據(jù)增廣技術(shù)（外插：在兩個(gè)類樣本之外生成新樣本）。在機(jī)器學(xué)習(xí)的模型中，如果模型的參數(shù)太多，而訓(xùn)練樣本又太少，訓(xùn)練出來(lái)的模型很容易產(chǎn)生過(guò)擬合的現(xiàn)象。如果模型過(guò)擬合，那么得到的模型幾乎不能用。訓(xùn)練樣本少的問(wèn)題可以使用數(shù)據(jù)增廣方法解決。Dropout[22-24]可以在模型訓(xùn)練中防止過(guò)擬合，Dropout是指：在向前傳播的時(shí)候，讓某個(gè)神經(jīng)元的激活值以一定的概率停止工作，這樣可以使模型的泛化增強(qiáng)。Dropout的工作可以看做是數(shù)據(jù)增廣，而且可以用在不同數(shù)據(jù)集上，具有通用性。但是Dropout一定概率丟棄特征，如果丟棄的是數(shù)據(jù)集主要特征，對(duì)于模型的貢獻(xiàn)將會(huì)降低。Disout[25]是一種通過(guò)研究特征圖擾動(dòng)來(lái)增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的泛化能力的方法，根據(jù)網(wǎng)絡(luò)中間層的Rademacher復(fù)雜度（ERC），確定給定深度神經(jīng)網(wǎng)絡(luò)的泛化誤差上界，并將擾動(dòng)引入特征圖，來(lái)降低網(wǎng)絡(luò)的Rademacher復(fù)雜度，從而提高其泛化能力。Disout保留了原有的主要特征進(jìn)行訓(xùn)練，在模型訓(xùn)練過(guò)程中，這是一種數(shù)據(jù)增廣技術(shù)。在各種數(shù)據(jù)集上的性能取得了不錯(cuò)的效果。數(shù)據(jù)增廣方法的局限性，一種增廣技術(shù)往往適合一種數(shù)據(jù)集的增廣，不能在多個(gè)數(shù)據(jù)集上通用。需要人工分析，人工操作，增加了人工成本。研究人員在尋找數(shù)據(jù)增廣技術(shù)的通用性而努力。

3 結(jié)語(yǔ)

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，對(duì)數(shù)據(jù)量的需求很大，所以考慮對(duì)數(shù)據(jù)進(jìn)行增廣，傳統(tǒng)的數(shù)據(jù)增廣需要人工經(jīng)驗(yàn)，這樣就增加了時(shí)間和成本，目前有相關(guān)工作選擇最佳的增廣方法應(yīng)用于不同數(shù)據(jù)集。但是還有很多地方需要繼續(xù)研究：①在模型中間層尋找應(yīng)用于不同數(shù)據(jù)集的最佳數(shù)據(jù)增廣方法，目前是研究的熱點(diǎn)；②對(duì)于模型中間層數(shù)據(jù)增廣，主要是增加特征空間的多樣性，增加的特征對(duì)于模型性能提升還需要進(jìn)一步研究；③在模型中間層增廣方法結(jié)合強(qiáng)化學(xué)習(xí)，目前沒(méi)有人去做相關(guān)的工作，模型中間層數(shù)據(jù)增廣方法結(jié)合強(qiáng)化學(xué)習(xí)會(huì)對(duì)模型的分類有益。