基于多項式特征生成的卷積神經(jīng)網(wǎng)絡(luò)

劉 銘, 肖志成, 于曉東

(1. 長春工業(yè)大學(xué) 數(shù)學(xué)與統(tǒng)計學(xué)院, 長春 130012; 2. 上海杉達(dá)學(xué)院 信息科學(xué)與技術(shù)學(xué)院, 上海 201209)

數(shù)據(jù)是深度學(xué)習(xí)模型建立過程中不可或缺的因素, 在深度學(xué)習(xí)建模中對數(shù)據(jù)的質(zhì)量和數(shù)量都有很高的要求. 決定一個深度學(xué)習(xí)模型最終實際效果的因素, 除模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及模型的超參數(shù)外, 最重要的就是模型的訓(xùn)練數(shù)據(jù). 隨著深度學(xué)習(xí)深入到不同領(lǐng)域中面臨不同的任務(wù)時, 通常情況下, 神經(jīng)網(wǎng)絡(luò)模型需要足夠多的數(shù)據(jù)使模型擁有涵蓋業(yè)務(wù)場景任務(wù)的能力, 當(dāng)數(shù)據(jù)的豐富度和廣泛度達(dá)到一定程度時, 可有效抑制訓(xùn)練過程中產(chǎn)生的過擬合、 數(shù)據(jù)類別之間不平衡影響識別效果、 在驗證數(shù)據(jù)或新數(shù)據(jù)上欠擬合等問題. 但在很多場景任務(wù)中, 能收集的數(shù)據(jù)總量通常有限, 如在醫(yī)療場景中, 一些罕見病的可供研究病例樣本數(shù)量難以獲得足夠的病例樣本數(shù)據(jù). 但在實際的深度學(xué)習(xí)模型建模過程中, 可通過一些合理的方式生成一些與原始數(shù)據(jù)類似但存在一定差異的數(shù)據(jù), 將這些數(shù)據(jù)添加到訓(xùn)練數(shù)據(jù)中, 可有效提升模型在處理有限數(shù)據(jù)時的性能.

在圖像分類領(lǐng)域, 較經(jīng)典的圖像特征生成方式是采用圖像增強(qiáng)[1], 如翻轉(zhuǎn)、 裁剪、 幾何變換、 色域空間變換等. 這類圖像增強(qiáng)方式通過直觀地在訓(xùn)練數(shù)據(jù)基礎(chǔ)上生成與訓(xùn)練圖像相似但不相同的增強(qiáng)數(shù)據(jù)達(dá)到豐富數(shù)據(jù)的目的[2], 并且在實際訓(xùn)練中通常還采用將若干種圖像增強(qiáng)方法組合的方式進(jìn)一步豐富數(shù)據(jù).

基于神經(jīng)網(wǎng)絡(luò)的圖像生成模型可通過訓(xùn)練學(xué)習(xí)已有圖像數(shù)據(jù), 構(gòu)建一個生成與訓(xùn)練數(shù)據(jù)難以分辨的類似數(shù)據(jù)的圖像生成模型. 盡管需要額外的訓(xùn)練學(xué)習(xí)已有的數(shù)據(jù), 但由于其產(chǎn)生的數(shù)據(jù)與原始數(shù)據(jù)之間有較高相似性, 可以有效地豐富數(shù)據(jù). 如基于生成對抗網(wǎng)絡(luò)的圖像增強(qiáng)模型[3].

多項式特征生成是機(jī)器學(xué)習(xí)領(lǐng)域中對數(shù)據(jù)進(jìn)行特征工程時使用的一種基本數(shù)據(jù)增強(qiáng)方式. 在早期的建模中得到了廣泛應(yīng)用[4]. 在不同任務(wù)、 不同場景下數(shù)據(jù)多種多樣, 數(shù)據(jù)域有時表現(xiàn)為線性結(jié)構(gòu), 有時表現(xiàn)為非線性結(jié)構(gòu), 在數(shù)據(jù)特征組成較復(fù)雜的情況下, 使用多項式特征生成可以在一些特征的基礎(chǔ)上, 由線性結(jié)構(gòu)轉(zhuǎn)換為非線性結(jié)構(gòu)[5], 即得到一些特征的高階項與低階項的組合. 多數(shù)情況下可以豐富模型, 使模型的效果及性能得到提升.

本文結(jié)合機(jī)器學(xué)習(xí)中經(jīng)典的多項式數(shù)據(jù)增強(qiáng)和深度學(xué)習(xí)框架理論, 提出一種在深度學(xué)習(xí)訓(xùn)練過程中, 在訓(xùn)練數(shù)據(jù)集基礎(chǔ)上擴(kuò)增輸入數(shù)據(jù)的數(shù)據(jù)增強(qiáng)算法. 對比實驗結(jié)果表明, 在多個數(shù)據(jù)集上利用本文算法的模型與未使用本文算法處理的模型相比, 添加本文數(shù)據(jù)擴(kuò)增堆疊算法后的模型, 在多個數(shù)據(jù)集上準(zhǔn)確率均有較大提升.

1 基于多項式特征生成的數(shù)據(jù)擴(kuò)增

為將機(jī)器學(xué)習(xí)的多項式特征生成應(yīng)用轉(zhuǎn)化到高維數(shù)據(jù)中, 本文在一維數(shù)據(jù)的多項式特征生成算法基礎(chǔ)上提出一種高維數(shù)據(jù)對應(yīng)的多項式特征生成算法, 并以三維圖像數(shù)據(jù)為例進(jìn)行介紹. 本文算法提出的圖像特征生成算法, 可作為一種用于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中利用數(shù)據(jù)增強(qiáng)生成特征[6]的算法.

1.1 冪次為二的多項式特征生成

一般情況下機(jī)器學(xué)習(xí)中的多項式特征生成常對應(yīng)于1×n的n維數(shù)據(jù), 如一個由兩個輸入x1,x2組成的線性模型:

y=a0+a1x1+a2x2,

(1)

利用多項式特征法所構(gòu)造的冪次為二的二階多項式特征生成后變?yōu)?/p>

(2)

與式(1)相比, 構(gòu)造的二階多項式增加了三項, 其中兩項為兩個特征的平方項, 一項為兩個輸入的乘積項.平方項只與相應(yīng)的輸入特征對應(yīng), 而乘積項由兩個特征共同組成.因此, 也將該項稱為交叉特征或互相關(guān)項, 平方項的數(shù)量與輸入特征項對應(yīng), 而互相關(guān)項的數(shù)量隨輸入特征的數(shù)量變化[3].

1.2 卷積神經(jīng)網(wǎng)絡(luò)的特征輸入形式

在卷積神經(jīng)網(wǎng)絡(luò)中, 處理圖像輸入時對應(yīng)由一個或多個通道組成的長寬固定的矩陣, 如一個通道數(shù)為3、 長寬均為3的矩陣fc表示為

(3)

其中c表示數(shù)據(jù)對應(yīng)的通道.組成矩陣fc的各元素一般表示圖像數(shù)據(jù)對應(yīng)的像素值, 這些像素值是圖像中信息對應(yīng)的一種數(shù)值形式, 因此是卷積神經(jīng)網(wǎng)絡(luò)接觸學(xué)習(xí)的主要目標(biāo).所以, 可以將對應(yīng)的像素值視為可用于多項式特征生成對應(yīng)的特征.

由于在實際應(yīng)用中, 卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)對應(yīng)的維度大小除對應(yīng)的數(shù)據(jù)數(shù)量可作為一個超參數(shù)浮動設(shè)定外, 輸入的通道數(shù)及數(shù)據(jù)長寬通常是固定的, 如將卷積神經(jīng)網(wǎng)絡(luò)的輸入維度設(shè)為f對應(yīng)的維度, 則每個輸入卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的圖像數(shù)據(jù)類似fc的矩陣作為輸入.

1.3 圖像數(shù)據(jù)的多項式特征生成算法

為使多項式特征生成的新特征在可以輸入卷積神經(jīng)網(wǎng)絡(luò)模型的同時, 考慮到執(zhí)行拉伸產(chǎn)生的計算及信息損失, 本文通過在通道數(shù)據(jù)基礎(chǔ)上生成的方式生成多項式數(shù)據(jù).采用計算原數(shù)據(jù)各通道對應(yīng)矩陣元素的相應(yīng)二階多項式的平方項及互相關(guān)項的方式生成若干新數(shù)據(jù), 該運(yùn)算可由Hadamard積完成[7], 用公式表示為

fg=fi°fj,

(4)

其中fi,fj為f的子矩陣,f∈c,h,w,i,j∈[0,c),i≥j,c為輸入數(shù)據(jù)的通道數(shù),w為輸入數(shù)據(jù)的寬,h為輸入數(shù)據(jù)的高.

以生成的兩個平方項和互相關(guān)項為例.由fc生成各通道對應(yīng)二階多項式的平方項為

(5)

由fc生成各通道對應(yīng)輸入通道為3的二階多項式的互相關(guān)項以第i,j通道生成的其中一項為例, 可表示為

(6)

從形式上看, 新生成數(shù)據(jù)矩陣中的元素與n維特征數(shù)據(jù)生成的二階多項式中的項可以對應(yīng), 且數(shù)據(jù)矩陣的維度未發(fā)生改變, 可用于模型訓(xùn)練.

這里對于數(shù)據(jù)的平方項和互相關(guān)項的處理可以與推薦系統(tǒng)領(lǐng)域網(wǎng)絡(luò)中使用特征嵌入時使用的元素尺度(Bit-wise)生成和向量尺度(Vector-wise)生成分別對應(yīng)[7], 實際上可見二者具有很高的共通性. 本文同理給出一種圖像數(shù)據(jù)的顯式特征組合方式.

生成的數(shù)據(jù)圖像數(shù)據(jù)與作為生成材料的各通道圖像相比, 在保存基礎(chǔ)形態(tài)結(jié)構(gòu)的基礎(chǔ)上, 存在明顯色度差異, 如圖1所示. 由圖1可見, 與現(xiàn)有的數(shù)據(jù)增強(qiáng)變換簡單地進(jìn)行色值變換相比, 生成的圖像顯然與原始圖像之間通過其生成的非線性函數(shù)有極高的關(guān)聯(lián)性, 與原始圖像相比生成的特征數(shù)據(jù)由于使用的通道不同具有明顯的漸近層次感. 對于這樣一類數(shù)據(jù)相當(dāng)于從數(shù)據(jù)的近鄰分布中取樣, 生成的數(shù)據(jù)可以很好控制模型的決策邊界, 從而減少損失值的震蕩達(dá)到更好的訓(xùn)練效果[8].

圖1 原始圖像和由其分解出的各通道及生成的灰度圖像Fig.1 Original image and each channel decomposedfrom it and generated grayscale image

2 生成多項式特征堆疊

在深度學(xué)習(xí)的訓(xùn)練中, 常采用隨機(jī)打亂原始數(shù)據(jù)以及通過數(shù)據(jù)增強(qiáng)生成數(shù)據(jù)的方式, 增強(qiáng)模型的泛化能力, 提高模型的訓(xùn)練效果[9]. 通過多項式特征生成算法生成的數(shù)據(jù)同樣可利用這種方式進(jìn)行模型訓(xùn)練, 即僅作為一種簡便、 易用的數(shù)據(jù)增強(qiáng)方式生成圖像數(shù)據(jù). 但由于數(shù)據(jù)是由一張圖片的各通道數(shù)據(jù)通過多項式的固定非線性關(guān)系生成的, 因此對于一張圖片各生成圖像之間具有很高的相關(guān)性, 在機(jī)器學(xué)習(xí)中也常將這些數(shù)據(jù)共同使用. 因此, 本文構(gòu)建一種多項式特征的堆疊結(jié)構(gòu)處理數(shù)據(jù)及生成數(shù)據(jù).

對比式(1)和式(2)可見, 在機(jī)器學(xué)習(xí)中對于采用多項式特征生成的數(shù)據(jù)并沒有作為輸入特征數(shù)據(jù), 而是將這些新生成的特征與原始特征一起共同作為模型的輸入數(shù)據(jù). 因此針對這一特點(diǎn), 本文采用在卷積神經(jīng)網(wǎng)絡(luò)中處理特征圖生成傳遞時的一種堆疊結(jié)構(gòu)[10], 構(gòu)建類似的結(jié)構(gòu)處理多項式特征生成的數(shù)據(jù).

由于多項式特征輸入的數(shù)據(jù)生成由原始圖像的各通道數(shù)據(jù)組合而成, 同時生成的數(shù)據(jù)維度與卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)輸入數(shù)據(jù)維度一致, 對于一張通道、 高、 寬為(c,h,w)的輸入圖像fc, 生成的數(shù)據(jù)為h,w與輸入圖像一致, 因此可將各生成圖像與原始圖像組合為數(shù)據(jù)維度為(c+c′,h,w)的組合數(shù)據(jù), 其中c′為多項式特征生成算法生成數(shù)據(jù)的數(shù)量.

圖2為處理特征輸入時的常規(guī)方式與多項式特征生成特征輸入的特征輸入方式.由圖2可見, 將生成數(shù)據(jù)與原始數(shù)據(jù)按固定的結(jié)構(gòu)在通道維度上組合后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入.對于卷積神經(jīng)網(wǎng)絡(luò), 處理多通道輸入圖像時需要配置多個卷積核組成卷積層, 可有效實現(xiàn)各通道數(shù)據(jù)之間的融合, 如對于一個輸入維度為(3,h,w)的原始圖像, 在卷積層利用一個(k,k,1)的卷積核通過卷積后可生成一個維度為(h-k+1,w-k+1)的輸出特征圖.從而實現(xiàn)類似式(1)中原始特征與多項式特征生成的特征之間組合的目的.

圖2 處理特征輸入時的常規(guī)方式(A)與多項式特征生成特征輸入的特征輸入方式(B)Fig.2 Conventional way (A) of processing feature input and polynomial feature generation feature input (B)

3 實驗分析

為驗證本文提出的圖像生成算法及多項式特征堆疊在卷積神經(jīng)網(wǎng)絡(luò)中應(yīng)用的有效性, 結(jié)合目前卷積神經(jīng)網(wǎng)絡(luò)中流行的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及執(zhí)行圖像增強(qiáng)相關(guān)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[11-12], 構(gòu)建一個由卷積層、 特征堆疊結(jié)構(gòu)、 殘差結(jié)構(gòu)組成的卷積神經(jīng)網(wǎng)絡(luò), 結(jié)構(gòu)列于表1.網(wǎng)絡(luò)中采用的二階多項式特征生成算法可以生成輸入通道平方倍的生成特征, 如果將這些生成特征全部納入神經(jīng)網(wǎng)絡(luò)中, 會使模型所需資源數(shù)量過多.因此, 在將生成特征與原始特征結(jié)合時, 通過一個參數(shù)控制決定生成特征所占通道數(shù)與原始輸入卷積輸出的通道數(shù), 在表1構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中, 控制二者的數(shù)量之比為1∶1, 即兩者的通道數(shù)量均為16通道, 從生成特征中取多項式特征生成的前16通道特征, 用于特征堆疊結(jié)構(gòu)中.

表1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中特征堆疊放在一個卷積后的主要目的是充分利用由卷積獲取得到的原始信息, 同時盡量將特征堆疊結(jié)構(gòu)前置以減少模型在靠后的層結(jié)構(gòu)中生成多項式特征時產(chǎn)生的資源占用問題. 采用殘差結(jié)構(gòu)作為后面幾層的主要目的是使模型具有足夠的能力擬合數(shù)據(jù)集.

數(shù)據(jù)集CIFAR[13]和Caltech[14]作為檢驗?zāi)Ｐ托阅艿臄?shù)據(jù)集. 模型的檢驗指標(biāo)采用圖像識別時的準(zhǔn)確率. 為驗證模型識別效果的有效性, 設(shè)置不采用多項式特征生成算法的模型作為對比, 即在其他結(jié)構(gòu)相同的情況下不附加生成特征, 直接將卷積后的特征圖向后傳遞, 從而保證兩個模型之間的差異僅體現(xiàn)在是否采用本文提出的算法上. 在模型的參數(shù)設(shè)置上參考使用這兩個數(shù)據(jù)集作為對照實驗數(shù)據(jù)集的相關(guān)研究[10-11]設(shè)置, 在優(yōu)化器及損失函數(shù)的選擇上與其相同, 便于橫向比較. 不同的是微調(diào)了模型的學(xué)習(xí)率和每次訓(xùn)練數(shù)據(jù)的數(shù)量大小, 并采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 同時為進(jìn)一步減少干擾因素, 在執(zhí)行模型訓(xùn)練時不添加其他數(shù)據(jù)增強(qiáng)算法生成的圖像和基于其他數(shù)據(jù)集的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練.

模型的訓(xùn)練過程如圖3和圖4所示. 在模型迭代100次后從損失值和準(zhǔn)確率變化曲線可見, 在兩個數(shù)據(jù)集上的模型都已經(jīng)收斂. 表明模型已經(jīng)充分得到了訓(xùn)練, 模型的準(zhǔn)確率可充分代表模型的性能. 且未添加生成特征的模型的損失值有上升趨勢, 即有過擬合的趨勢. 而應(yīng)用本文算法的模型損失值變化較平緩, 模型的最優(yōu)準(zhǔn)確率列于表2.

表2 兩種模型的最優(yōu)準(zhǔn)確率

圖3 數(shù)據(jù)集CIFAR隨迭代次數(shù)的損失值和準(zhǔn)確率變化曲線Fig.3 Variation curves of loss values and accuracy rates of CIFAR dataset with number of iterations

圖4 數(shù)據(jù)集Caltech隨迭代次數(shù)的損失值和準(zhǔn)確率變化曲線Fig.4 Variation curves of loss values and accuracy rates of Caltech dataset with number of iterations

由表2可見, 在兩個數(shù)據(jù)集上利用本文提出的多項式特征堆疊的模型結(jié)構(gòu)訓(xùn)練的準(zhǔn)確率均優(yōu)于未使用本文算法的模型, 表明本文提出的多項式特征堆疊算法由原始特征生成對應(yīng)特征并進(jìn)行特征堆疊后對增強(qiáng)模型的性能有正向影響, 有效提升了模型的識別準(zhǔn)確率.

綜上所述, 在經(jīng)典多項式生成算法的基礎(chǔ)上, 本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)特點(diǎn), 提出了一種更簡便的圖像特征生成算法, 并結(jié)合特征堆疊提出了一種用于卷積神經(jīng)網(wǎng)絡(luò)的多項式特征生成堆疊算法. 該算法的主要思想是通過生成多項式這種非線性化的方法豐富數(shù)據(jù)域, 利用該方式可有效提升卷積神經(jīng)網(wǎng)絡(luò)的性能. 算法在生成特征的利用上有所浪費(fèi), 需要根據(jù)模型的結(jié)構(gòu)特點(diǎn)權(quán)衡設(shè)計. 但由于其對原始特征和生成特征的結(jié)構(gòu)設(shè)計, 也給模型設(shè)計帶來了靈活性.