圖像數(shù)據(jù)增強(qiáng)技術(shù)研究綜述

朱曉慧，錢麗萍，傅 偉

（北京建筑大學(xué)電氣與信息工程學(xué)院，北京 100044）

0 引言

基于數(shù)據(jù)驅(qū)動(dòng)的人工智能時(shí)代已出現(xiàn)一個(gè)明顯趨勢——那些具有豐富、廉價(jià)數(shù)據(jù)的領(lǐng)域更容易孕育出AI 技術(shù)。但目前眾多領(lǐng)域現(xiàn)有數(shù)據(jù)集大都存在規(guī)模較小、分布不均衡且采集、標(biāo)注困難等突出問題，可以說數(shù)據(jù)的匱乏或昂貴往往是阻礙人工智能發(fā)展的直接原因。為解決這一問題，數(shù)據(jù)增強(qiáng)技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)增強(qiáng)的主要挑戰(zhàn)是如何將現(xiàn)存的小規(guī)模數(shù)據(jù)集經(jīng)由變化或?qū)W習(xí)，使數(shù)據(jù)擁有“自我繁殖”的能力，從而產(chǎn)生足量、合理且均衡的擴(kuò)增數(shù)據(jù)。因此，國內(nèi)外專家學(xué)者對其進(jìn)行了大量研究，如今數(shù)據(jù)增強(qiáng)技術(shù)在醫(yī)學(xué)影像、視頻影音及自然語言處理等領(lǐng)域都有著廣闊的應(yīng)用前景。

目前，國內(nèi)針對數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行全面綜述的文獻(xiàn)較少。文獻(xiàn)［1］對基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)方法進(jìn)行全面總結(jié)，將數(shù)據(jù)增強(qiáng)作為其中一類方法進(jìn)行介紹，但缺乏重點(diǎn)性和全面性；文獻(xiàn)［2］對基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)方法進(jìn)行綜述，但只介紹了數(shù)據(jù)增強(qiáng)中的生成對抗網(wǎng)絡(luò)技術(shù)，同樣不夠全面。本文則對不同種類的數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行全面調(diào)研，重點(diǎn)分析所采用的典型策略。根據(jù)數(shù)據(jù)增強(qiáng)方式的不同，將現(xiàn)有數(shù)據(jù)增強(qiáng)技術(shù)分為有監(jiān)督和無監(jiān)督兩大類，對這兩個(gè)類別的研究分別進(jìn)行討論，并將每個(gè)類別作進(jìn)一步細(xì)分，對各個(gè)子類別進(jìn)行具體介紹，最后闡述各種數(shù)據(jù)增強(qiáng)技術(shù)在圖像領(lǐng)域的應(yīng)用。

1 數(shù)據(jù)增強(qiáng)及其典型分類

1.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)也稱為數(shù)據(jù)擴(kuò)增，是一種擴(kuò)充數(shù)據(jù)規(guī)模的有效方法。該技術(shù)的發(fā)展主要具有以下3 方面重要意義：

（1）豐富數(shù)據(jù)集本身。將不斷發(fā)展的數(shù)據(jù)增強(qiáng)技術(shù)應(yīng)用于各種數(shù)據(jù)集上，很好地解決了目前數(shù)據(jù)集存在的規(guī)模小、質(zhì)量差、不均衡且難以獲取等問題，從數(shù)量和性能方面豐富了數(shù)據(jù)集本身，這是數(shù)據(jù)增強(qiáng)對數(shù)據(jù)集起到的最直接的作用。

（2）提升相應(yīng)分類檢測系統(tǒng)性能。通過數(shù)據(jù)增強(qiáng)獲得大量結(jié)構(gòu)合理、種類多樣的數(shù)據(jù)，很好地滿足了深度學(xué)習(xí)模型對數(shù)據(jù)集數(shù)量和質(zhì)量的高要求，減少了網(wǎng)絡(luò)過擬合現(xiàn)象，從而得到泛化性能好的網(wǎng)絡(luò)模型，對相應(yīng)分類器、檢測器等準(zhǔn)確率的提升具有一定促進(jìn)作用。

（3）拓展延伸價(jià)值。數(shù)據(jù)增強(qiáng)技術(shù)不斷發(fā)展，現(xiàn)已廣泛應(yīng)用于眾多領(lǐng)域。在數(shù)據(jù)至上的時(shí)代，從數(shù)據(jù)角度推動(dòng)多個(gè)行業(yè)發(fā)展，這是數(shù)據(jù)增強(qiáng)技術(shù)帶來的附加延伸價(jià)值，具有深遠(yuǎn)的意義。

1.2 典型分類

現(xiàn)有數(shù)據(jù)增強(qiáng)技術(shù)按照不同標(biāo)準(zhǔn)可劃分為不同種類。其中較為典型的分類包括：根據(jù)數(shù)據(jù)集處理階段分類、根據(jù)數(shù)據(jù)增強(qiáng)方式分類以及根據(jù)數(shù)據(jù)增強(qiáng)應(yīng)用領(lǐng)域分類，具體如圖1 所示。

Fig.1 Typical classification of data enhancement methods圖1 數(shù)據(jù)增強(qiáng)方法典型分類

2 有監(jiān)督數(shù)據(jù)增強(qiáng)

2.1 單樣本數(shù)據(jù)增強(qiáng)

2.1.1 幾何變換類

幾何變換類主要從圖像數(shù)據(jù)形態(tài)出發(fā)進(jìn)行數(shù)據(jù)增強(qiáng)，包括翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、縮放變形以及仿射等操作。

（1）翻轉(zhuǎn)（Flip）。包括水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)，將圖像的左右（或上下）部分以圖像垂直（或水平）中軸線為中心進(jìn)行鏡像對換，顯然該操作可以簡單地增加樣本數(shù)量。

（2）旋轉(zhuǎn)（Rotation）。旋轉(zhuǎn)操作是對翻轉(zhuǎn)的進(jìn)一步提升，一般以圖像中心為旋轉(zhuǎn)中心進(jìn)行隨機(jī)旋轉(zhuǎn)（有正負(fù)角度約束），以此獲得更多形態(tài)的圖像數(shù)據(jù)。

（3）裁剪（Crop）。隨機(jī)定義感興趣區(qū)域，截取該區(qū)域圖像并調(diào)整為原始圖像尺寸。該操作相當(dāng)于增加隨機(jī)擾動(dòng)，可獲取大批量的新數(shù)據(jù)。隨機(jī)裁剪幾乎是所有深度學(xué)習(xí)框架訓(xùn)練都會(huì)采用的數(shù)據(jù)增強(qiáng)方法，在LeNet、AlexNet 及VGG 等經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練中均有所涉及。

（4）縮放變形（Zoom）。按照設(shè)定的比例縮小或放大圖像數(shù)據(jù)，但該操作會(huì)改變圖像大小，存在失真問題，但全卷積網(wǎng)絡(luò)對于尺度沒有嚴(yán)格要求。

（5）仿射。仿射類操作包括視覺變換操作和分段仿射操作，前者通過對圖像應(yīng)用隨機(jī)的四點(diǎn)透視變換加以實(shí)現(xiàn)，后者則通過移動(dòng)圖像中點(diǎn)網(wǎng)格上的點(diǎn)及點(diǎn)周圍區(qū)域加以實(shí)現(xiàn)。

上述方法都屬于幾何變換類數(shù)據(jù)增強(qiáng)方法，以此擴(kuò)增數(shù)據(jù)最為簡單、常用。但過多地使用這些變換方法會(huì)導(dǎo)致擴(kuò)增的數(shù)據(jù)樣本較為單一，且會(huì)產(chǎn)生大量無實(shí)際應(yīng)用價(jià)值的數(shù)據(jù)樣本，因此研究者們又從其他角度出發(fā)提出很多變換方法。

2.1.2 顏色變換類

上述幾何變換類操作沒有改變圖像本身內(nèi)容，只是選擇圖像的一部分或?qū)ο袼剡M(jìn)行了重布置，因此在增強(qiáng)樣本的多樣性方面存在欠缺。若通過改變圖像本身的內(nèi)容實(shí)現(xiàn)增強(qiáng)，則屬于顏色變換類數(shù)據(jù)增強(qiáng)，常見操作包括噪聲、模糊、顏色變換、隨機(jī)擦除以及超像素法等。

（1）噪聲?；谠肼暤臄?shù)據(jù)增強(qiáng)是指在原始圖片基礎(chǔ)上隨機(jī)疊加一些噪聲，主要包括高斯噪聲、CoarseDropout、SimplexNoiseAlpha 以及FrequencyNoiseAlpha 等。其中，添加高斯噪聲是最簡單、常用的方法，其通過對圖像添加符合高斯分布的噪聲來實(shí)現(xiàn)；CoarseDropout 方法則相對復(fù)雜，其通過在位置隨機(jī)且面積大小可選定的矩形區(qū)域上丟失部分信息實(shí)現(xiàn)轉(zhuǎn)換；SimplexNoiseAlpha 方法是在產(chǎn)生連續(xù)單一噪聲的掩模后，將掩模與源圖像進(jìn)行混合；Frequency?NoiseAlpha 方法是在頻域中用隨機(jī)指數(shù)對噪聲映射進(jìn)行加權(quán)后，再向空間域進(jìn)行轉(zhuǎn)換。

（2）模糊。該操作通過減少各像素點(diǎn)值的差異實(shí)現(xiàn)像素的平滑化，主要包括簡單、常見的高斯模糊，以及根據(jù)扭曲場平滑度與強(qiáng)度逐一移動(dòng)局部像素點(diǎn)實(shí)現(xiàn)模糊效果的ElasticTransformation 方法。

（3）顏色變換。顏色變換是指通過多種方法實(shí)現(xiàn)圖像視覺角度可見的明顯改變，包括向HSV 空間每個(gè)像素添加或減少V 值來改變色調(diào)飽和度的HSV 對比度轉(zhuǎn)換法、將圖片從RGB 顏色空間轉(zhuǎn)換到另一顏色空間增加或減少顏色參數(shù)后再返回RGB 顏色空間的RGB 顏色擾動(dòng)法、按給定概率值將部分或全部通道像素值從v 設(shè)置為255-v 的轉(zhuǎn)換法，以及將圖像從RGB 轉(zhuǎn)換為灰度空間再借由某一通道與原圖混合的GrayScale 法。

（4）隨機(jī)擦除。顧名思義，該方法就是對圖片上隨機(jī)選取的一塊區(qū)域進(jìn)行圖像信息擦除操作。

（5）超像素法。從像素角度出發(fā)，在最大分辨率處生成圖像的若干超像素并調(diào)整到原始大小，再將原始圖像中所有超像素區(qū)域按一定比例替換為超像素，其他區(qū)域不變。

上述為顏色變換類的數(shù)據(jù)增強(qiáng)方法，該方法一定程度上增加了數(shù)據(jù)樣本的多樣性與變化性。文獻(xiàn)［3］采用顏色變換方法對從千島湖海參養(yǎng)殖場采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，提高了模型識(shí)別的準(zhǔn)確率；文獻(xiàn)［4］使用色彩增強(qiáng)方法對CompCars 數(shù)據(jù)集進(jìn)行增強(qiáng)處理；文獻(xiàn)［5］利用增強(qiáng)模型對道路圖像進(jìn)行顏色空間轉(zhuǎn)換，得到突出車道線的高對比度增強(qiáng)圖像。顏色變換類數(shù)據(jù)增強(qiáng)方法在各領(lǐng)域研究中應(yīng)用較為廣泛，也取得了比較突出的成果。

2.2 多樣本數(shù)據(jù)增強(qiáng)

2.2.1 SMOTE

SMOTE 通過人工合成新樣本處理樣本不平衡問題，該方法基于插值，可以有針對性地為小樣本類合成新樣本。其作為多樣本數(shù)據(jù)增強(qiáng)方法的一種得到了有效應(yīng)用，并在不斷優(yōu)化完善的過程中涌現(xiàn)出大量改進(jìn)方法。針對SMOTE 在合成少數(shù)類新樣本時(shí)存在的不足，文獻(xiàn)［6］提出一種改進(jìn)的SMOTE 算法GA-SMOTE，將遺傳算法與SMOTE 相結(jié)合，通過選擇算子對少數(shù)類樣本進(jìn)行有區(qū)別的選擇，并使用交叉、變異算子控制合成樣本質(zhì)量。該改進(jìn)方法不僅能出色地實(shí)現(xiàn)新樣本的整體合成，還能有效提高分類器性能。文獻(xiàn)［7］介紹SMOTE 算法在處理不平衡數(shù)據(jù)集過程中，存在采樣有效性不足、模糊正負(fù)類邊界、影響原始數(shù)據(jù)分布等缺陷。之后以此為基礎(chǔ)，提出KM-SMOTE 和RM-SMOTE 兩種優(yōu)化策略。文獻(xiàn)［8］在SMOTE 算法及其改進(jìn)版本BSMOTE 兩個(gè)具有代表性方法的基礎(chǔ)上，提出DBSMOTE 算法進(jìn)行新的少數(shù)類樣本生成。該方法以邊界樣本及其最鄰近多數(shù)類樣本的中點(diǎn)作為新樣本合成來源，在拓寬少數(shù)類分類邊界的同時(shí)，降低了生成噪聲數(shù)據(jù)的可能性。

1.1.1 試驗(yàn)材料 2017年5月9日在浙江省杭州市臨安區(qū)浙江農(nóng)林大學(xué)平山試驗(yàn)基地種植徐薯22．每個(gè)小區(qū)面積3.6 m2,扦插60株,3次重復(fù)．8月5日開始采收,測定小區(qū)內(nèi)的甘薯葉和葉柄,間隔10 d再進(jìn)行一次采收,至8月25日,共采收3次;采收的甘薯葉片葉柄在45 ℃烘干至恒質(zhì)量,粉碎,過90目篩，低溫保存待測．

2.2.2 SamplePairing

SamplePairing 方法主要用于數(shù)據(jù)增強(qiáng)，其核心原理簡單，即隨機(jī)從原訓(xùn)練集中抽取兩張不同類別的圖片，將其分別經(jīng)過如翻轉(zhuǎn)、移動(dòng)等基礎(chǔ)數(shù)據(jù)增強(qiáng)操作后，采用像素取平均值的方式疊加合成新數(shù)據(jù)樣本，并選擇原數(shù)據(jù)樣本標(biāo)簽中的一種作為新數(shù)據(jù)標(biāo)簽。SamplePairing 是一種高效的數(shù)據(jù)增強(qiáng)手段，滿足奧卡姆剃刀原理，經(jīng)其處理后的訓(xùn)練集規(guī)?？捎蒒 擴(kuò)增為N*N。但該方法因可能引入不同標(biāo)簽樣本而導(dǎo)致訓(xùn)練誤差明顯增加，且可解釋性不強(qiáng)、缺少理論支撐，故對其的應(yīng)用研究相對較少。

2.2.3 Mixup

Mixup 是基于鄰域風(fēng)險(xiǎn)最小化原則的數(shù)據(jù)增強(qiáng)方法，其使用線性插值得到新樣本數(shù)據(jù)，是對SamplePairing 的進(jìn)一步延伸，也是一種對圖像進(jìn)行混類增強(qiáng)的算法，可將不同類別的圖像混合以擴(kuò)增訓(xùn)練數(shù)據(jù)。目前采用Mixup 方法進(jìn)行數(shù)據(jù)增強(qiáng)的研究已有很多，如文獻(xiàn)［9］從對抗訓(xùn)練角度解釋了Mixup 工作機(jī)制，既證明了其有效性，又提出在其基礎(chǔ)上改進(jìn)的方案系列；文獻(xiàn)［10］通過對Mixup 的深入分析，確定其“manifold intrusion”的局限性，并針對此問題提出一種新穎的自適應(yīng)版本Mixup，對原方法進(jìn)行了一定改進(jìn)；文獻(xiàn)［11］也對Mixup 方法進(jìn)行了介紹與應(yīng)用，由其訓(xùn)練的模型都具有很好的泛化能力。大量實(shí)驗(yàn)結(jié)果表明，Mix?up 可以改進(jìn)深度學(xué)習(xí)模型在ImageNet 數(shù)據(jù)集、CIFAR 數(shù)據(jù)集、語音數(shù)據(jù)集和表格數(shù)據(jù)集中的泛化誤差，減少模型對已損壞標(biāo)簽的記憶，增強(qiáng)模型對對抗樣本的魯棒性和穩(wěn)定性。盡管有著較好的改進(jìn)效果，但Mixup 在偏差與方差平衡方面尚未有較好的解釋。

3 無監(jiān)督數(shù)據(jù)增強(qiáng)

傳統(tǒng)數(shù)據(jù)增強(qiáng)方法大多是有監(jiān)督形式，但這類方法完全由使用者定義，不是所有任務(wù)都適合。故為了獲得更好的訓(xùn)練模型，無監(jiān)督方式引起了人們關(guān)注，目前主要從生成新數(shù)據(jù)和學(xué)習(xí)增強(qiáng)策略兩個(gè)方向進(jìn)行探究。

3.1 生成新數(shù)據(jù)

通過模型學(xué)習(xí)數(shù)據(jù)分布，隨機(jī)生成與訓(xùn)練數(shù)據(jù)集分布一致的數(shù)據(jù)是無監(jiān)督數(shù)據(jù)增強(qiáng)方法的重要組成部分。為了實(shí)現(xiàn)這種方式，生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）因具有強(qiáng)大的學(xué)習(xí)與生成能力受到了部分專家學(xué)者關(guān)注［12］。生成對抗網(wǎng)絡(luò)思想的誕生是受到博弈論中二人零和博弈的啟發(fā)，通過兩個(gè)參與者的對抗互相提升，其中包含兩個(gè)模型：生成模型G 和判別模型D。具體網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2 所示。

Fig.2 Generative adversarial network model圖2 生成對抗網(wǎng)絡(luò)模型

GAN 模型相比于FVBNs 模型能夠并行生成樣本，而不需要逐維產(chǎn)生；相比于玻爾茲曼機(jī)、非線性ICA 等生成模型對生成器的限制較少，能夠收斂到納什平衡，從而生成高質(zhì)量的數(shù)據(jù)樣本。正因具有這些優(yōu)點(diǎn)，GAN 在數(shù)據(jù)增強(qiáng)領(lǐng)域已得到廣泛應(yīng)用。如文獻(xiàn)［13］提出使用生成對抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)以解決不平衡數(shù)據(jù)問題，其生成的圖像樣本具有較好的多樣性；文獻(xiàn)［14］將生成對抗網(wǎng)絡(luò)應(yīng)用于生物領(lǐng)域癌癥數(shù)據(jù)樣本的生成，實(shí)現(xiàn)訓(xùn)練集樣本規(guī)模的擴(kuò)增，相比傳統(tǒng)方法提高了識(shí)別準(zhǔn)確率。生成對抗網(wǎng)絡(luò)的應(yīng)用使數(shù)據(jù)增強(qiáng)領(lǐng)域迎來了突破性發(fā)展。

3.2 學(xué)習(xí)增強(qiáng)策略

作為無監(jiān)督數(shù)據(jù)增強(qiáng)的另一類研究方向，學(xué)習(xí)增強(qiáng)策略不需要人工干預(yù)，而是通過模型自主學(xué)習(xí)出適合當(dāng)前任務(wù)的數(shù)據(jù)增強(qiáng)方法，其中以近年來提出的AutoAugment 和PBA（Population Based Augmentation）方法最具代表性與創(chuàng)新性。

4 圖像領(lǐng)域應(yīng)用及性能分析

4.1 醫(yī)學(xué)圖像

由于醫(yī)學(xué)數(shù)據(jù)本身的隱私性、復(fù)雜性以及添加專家標(biāo)注的困難性，探究恰當(dāng)、有效的數(shù)據(jù)增強(qiáng)方法是十分必要的。目前數(shù)據(jù)增強(qiáng)技術(shù)已被應(yīng)用于肝臟組織CT、腦部MRI及胸部X 射線等醫(yī)學(xué)圖像增強(qiáng)。

文獻(xiàn)［18］利用DCGAN 成功生成肝臟病變組織CT 圖像，并與經(jīng)典數(shù)據(jù)增強(qiáng)方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明，利用GAN 生成的圖像對數(shù)據(jù)集進(jìn)行增強(qiáng)能夠?qū)⒎诸悳?zhǔn)確率提升7%；文獻(xiàn)［19］在肺結(jié)節(jié)病變組織生成過程中，使用DC?GAN 生成真實(shí)性較高的結(jié)節(jié)圖像；同樣，文獻(xiàn)［20］針對肺結(jié)節(jié)病變問題，也提出使用DCGAN 進(jìn)行數(shù)據(jù)增強(qiáng)，該方法不僅克服了隨機(jī)剪裁、圖像縮放等操作造成的圖像尺寸與病變位置變化的問題，而且還能生成質(zhì)量高、形狀多樣的肺結(jié)節(jié)圖像，且該方法生成速度更快、成本更低。針對腦部MRI 圖像樣本數(shù)量少的問題，文獻(xiàn)［21］通過具有跳躍連接結(jié)構(gòu)的自編碼器對腦部MRI 圖像進(jìn)行降噪處理，并采用DCGAN 生成圖像，在病理特征和圖像質(zhì)量兩方面都與真實(shí)圖像具有較高相似度；文獻(xiàn)［22］采用左右翻轉(zhuǎn)和旋轉(zhuǎn)方法對MRI 圖像進(jìn)行增強(qiáng)，然后將增強(qiáng)后的數(shù)據(jù)樣本用于醫(yī)學(xué)圖像分割領(lǐng)域，極大地提高了分割精度。另外，文獻(xiàn)［23］運(yùn)用改進(jìn)的GAN 方法擴(kuò)充胸部X 射線數(shù)據(jù)集，并通過圖靈測試驗(yàn)證其有效性；文獻(xiàn)［24］運(yùn)用GAN 增強(qiáng)胸部X 射線圖像數(shù)據(jù)集，并將其應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，可實(shí)現(xiàn)對心血管異常的分類，相較于傳統(tǒng)數(shù)據(jù)增強(qiáng)方法，用GAN 進(jìn)行數(shù)據(jù)增強(qiáng)能實(shí)現(xiàn)更高的分類準(zhǔn)確率。數(shù)據(jù)增強(qiáng)在醫(yī)學(xué)領(lǐng)域的具體應(yīng)用遠(yuǎn)不止這些，但由此足以看出數(shù)據(jù)增強(qiáng)在該領(lǐng)域運(yùn)用的廣泛性和必要性。

醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)匯總分析如表1 所示，可看出目前生成對抗網(wǎng)絡(luò)數(shù)據(jù)增強(qiáng)在醫(yī)學(xué)領(lǐng)域應(yīng)用較多，且效果很好。

4.2 人臉表情圖像

人臉表情識(shí)別方法使得計(jì)算機(jī)能夠感知人類情感，如今在計(jì)算機(jī)視覺、模式識(shí)別、心理學(xué)及認(rèn)知科學(xué)等領(lǐng)域都得到了廣泛應(yīng)用。然而，現(xiàn)有的人臉表情數(shù)據(jù)庫規(guī)模較小且數(shù)據(jù)量不均衡。為解決該問題，文獻(xiàn)［25］采用添加噪聲、裁剪等傳統(tǒng)方法合成新樣本，為識(shí)別系統(tǒng)的訓(xùn)練提供大量數(shù)據(jù)；文獻(xiàn)［26］比較了分別采用調(diào)整大小、裁剪、添加噪聲及調(diào)整對比度等單一方法取得的效果，還分析了結(jié)合使用這些技術(shù)實(shí)現(xiàn)的性能提升；文獻(xiàn)［27］的模型中也引入圖像隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)和裁剪等數(shù)據(jù)增強(qiáng)方法以克服小數(shù)據(jù)問題。

傳統(tǒng)針對圖像識(shí)別任務(wù)的數(shù)據(jù)增強(qiáng)方法，如進(jìn)行幾何或像素顏色變換存在圖像相似度過高的問題，無法增加圖像特征的多樣性。因此，文獻(xiàn)［28］提出一種基于約束性循環(huán)一致生成對抗網(wǎng)絡(luò)（CCycleGAN）的方法，從本質(zhì)上擴(kuò)展人臉表情數(shù)據(jù)集；文獻(xiàn)［29］提出的StarGAN 模型架構(gòu)有效解決了現(xiàn)有方法在處理兩個(gè)以上域時(shí)擴(kuò)展性和魯棒性有限的問題，實(shí)現(xiàn)了僅依靠單個(gè)模型對多個(gè)域中圖像轉(zhuǎn)換生成的目標(biāo)?；诖?，文獻(xiàn)［30］提出一種靜態(tài)圖像數(shù)據(jù)增強(qiáng)方法，通過修改StarGAN 模型的重構(gòu)誤差構(gòu)造新目標(biāo)函數(shù)，利用生成器生成同一個(gè)人的不同面部表情，以更好地實(shí)現(xiàn)多種人臉表情圖像風(fēng)格之間的轉(zhuǎn)換。人臉表情圖像數(shù)據(jù)增強(qiáng)匯總分析如表2 所示。

Table 1 Summary analysis of medical image data enhancement表1 醫(yī)學(xué)圖像數(shù)據(jù)增強(qiáng)匯總分析

Table 2 Summary analysis of facial expression image data enhancement表2 人臉表情圖像數(shù)據(jù)增強(qiáng)匯總分析

4.3 行人監(jiān)控安防圖像

在自動(dòng)駕駛、智能監(jiān)控、行人分析和智能機(jī)器人等領(lǐng)域，行人檢測技術(shù)是其中的關(guān)鍵環(huán)節(jié)。目前基于深度學(xué)習(xí)的行人檢測方法都需要在大量有標(biāo)注數(shù)據(jù)的情況下進(jìn)行訓(xùn)練才能取得理想效果。如文獻(xiàn)［31］使用隨機(jī)顏色失真、隨機(jī)擴(kuò)展、隨機(jī)裁剪、隨機(jī)插值調(diào)整圖片大小、水平翻轉(zhuǎn)等傳統(tǒng)方法增加訓(xùn)練量，以提高行人檢測模型的準(zhǔn)確率。然而行人樣本圖像的生成不僅需要行人圖像自身足夠真實(shí)，還要能夠與背景環(huán)境自然融合，鑒于這兩點(diǎn)要求，若直接采用普通生成式模型將難以滿足實(shí)際需求；文獻(xiàn)［32］提出一種新穎的自動(dòng)化生成帶標(biāo)注行人數(shù)據(jù)的方法——PSGAN，其是第一個(gè)把生成對抗網(wǎng)絡(luò)用于行人或物體檢測類任務(wù)的數(shù)據(jù)增強(qiáng)模型，可提高檢測準(zhǔn)確率；文獻(xiàn)［33］提出基于生成對抗網(wǎng)絡(luò)的鐵路周界行人樣本生成算法，生成圖像與原圖像基本相似，有較好的泛化性能且能更好地兼顧環(huán)境；文獻(xiàn)［34］為解決行人數(shù)據(jù)集規(guī)模小的問題，也提出基于GAN 的數(shù)據(jù)增強(qiáng)方案。行人樣本圖像數(shù)據(jù)增強(qiáng)匯總分析如表3 所示。

Table 3 Summary analysis of pedestrian sample image data enhancement表3 行人樣本圖像數(shù)據(jù)增強(qiáng)匯總分析

4.4 討論

無論是醫(yī)學(xué)還是行人安防等領(lǐng)域圖像，數(shù)據(jù)增強(qiáng)方法本質(zhì)上都是相似的：傳統(tǒng)直觀的方法是對不同信號(hào)進(jìn)行裁剪、拼接、交換、旋轉(zhuǎn)、拉伸等，基于深度學(xué)習(xí)模型的方法主要是生成與原數(shù)據(jù)相似的數(shù)據(jù)。有監(jiān)督增強(qiáng)方法大多應(yīng)用于各領(lǐng)域的分類檢測任務(wù)，而無監(jiān)督增強(qiáng)方法既在分類檢測任務(wù)中有所應(yīng)用，也在獨(dú)立數(shù)據(jù)樣本生成任務(wù)中有所涉及。但無論在哪個(gè)領(lǐng)域，只要選取適合的數(shù)據(jù)增強(qiáng)方法，均能起到一定的效果。

5 結(jié)語

本文綜述了數(shù)據(jù)增強(qiáng)技術(shù)采用的主要方法及其應(yīng)用研究，具體從有監(jiān)督和無監(jiān)督兩方面進(jìn)行介紹，并介紹了數(shù)據(jù)增強(qiáng)技術(shù)在圖像領(lǐng)域的應(yīng)用。數(shù)據(jù)增強(qiáng)技術(shù)作為快速解決數(shù)據(jù)不平衡或數(shù)據(jù)缺失問題的一種強(qiáng)有力的工具，展現(xiàn)出極大的價(jià)值和潛力。數(shù)據(jù)增強(qiáng)方法作為緩解圖像數(shù)據(jù)集不足等問題的有效措施已得到較廣泛的應(yīng)用，對具體方法的選擇與已有數(shù)據(jù)及任務(wù)目標(biāo)息息相關(guān)。在后續(xù)研究中，如何通過分析已有數(shù)據(jù)及要完成任務(wù)，選擇更合適或運(yùn)用更恰當(dāng)?shù)臄?shù)據(jù)增強(qiáng)方法成為研究者們需要進(jìn)一步探究的問題。