基于改進的基因表達式編程自動優(yōu)化CNN

龔道慶，彭昱忠,2+，鄧楚燕，袁 程，曹愛清，李紅亞

(1.南寧師范大學 計算機與信息工程學院，廣西 南寧 530299； 2.復旦大學 計算機科學技術(shù)學院，上海 200433；3.廣西民族大學 預科教育學院，廣西 南寧 530006；4.許昌電氣職業(yè)學院 信息工程系，河南 許昌 461000)

0 引 言

卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)具有良好的特征提取能力和泛化能力，在圖像分類、自然語言處理和模式識別[1-3]等領(lǐng)域被廣泛應用。Lecun等提出了基于梯度學習的卷積神經(jīng)網(wǎng)絡LetNet-5模型并將其應用于手寫數(shù)字識別，該模型的成功應用引起了學術(shù)界的廣泛關(guān)注；Krizhevsky等提出了AlexNet模型，它與LetNet-5模型相似，但其具有更多的網(wǎng)絡層數(shù)，該模型在較大數(shù)據(jù)集Image Net[4]圖像分類任務中獲得最佳效果；隨著AlexNet取得成功，科研人員在其基礎(chǔ)上又提出了其它的完善方法，例如由微軟研究院的何凱明等在文獻[5]中提出的殘差網(wǎng)絡(residual neural network，ResNet)，通過使用Residual Unit成功訓練152層卷積網(wǎng)絡，在ILSCRC2015年比賽中以3.75%的top-5錯誤率，獲得比賽冠軍。另外，ResNet、NIN、GoogleNet、VGGNet、ZFNet、DenseNet、DPN和SENet也同樣是具有代表性的模型。

卷積神經(jīng)網(wǎng)絡設(shè)計，大多需要經(jīng)驗豐富的專家來完成。網(wǎng)絡優(yōu)化本質(zhì)上是一個受金錢、計算能力和時間約束的迭代過程，這將耗費大量人力物力資源。一些精確的優(yōu)化算法(如基于梯度搜索算法)在解決神經(jīng)網(wǎng)絡優(yōu)化問題時是無效的[6]。因此，研究人員提出了各種基于啟發(fā)式計算范式的網(wǎng)絡優(yōu)化算法，如，隨機搜索[7]、基于貝葉斯優(yōu)化[8]、樹狀網(wǎng)絡的Parzen估計量[9]、基于序貫模型的全局優(yōu)化[10]、擴展拓撲的神經(jīng)進化[11]、進化的無監(jiān)督深度學習[12]等。

近年來，進化算法在神經(jīng)網(wǎng)絡優(yōu)化問題上被證明為最具競爭力的方法[6]?；虮磉_式編程算法融合了遺傳算法和遺傳編程的優(yōu)點，而多細胞基因表達式編程又具有更豐富的表達能力和搜索空間，因此本文提出利用模糊控制多細胞基因表達式編程(fuzzy control multi-cell gene expression programming algorithm，F(xiàn)MCGEP)算法來自動優(yōu)化卷積神經(jīng)網(wǎng)絡的方法，并把該算法應用在多個圖像分類數(shù)據(jù)集中，與經(jīng)典算法和其它先進算法對比，本文提出的算法表現(xiàn)出更好的效果。

1 相關(guān)理論基礎(chǔ)

本章節(jié)首先介紹了模糊控制多細胞基因表達式編程算法，然后對卷積網(wǎng)絡基本原理進行概述。

1.1 模糊控制多細胞基因表達式編程

基因表達式編程算法(gene expression programming，GEP)繼承了遺傳編程(GP)的樹形網(wǎng)絡靈活多變與遺傳算法(GA)的定長線性的特點。多細胞基因表達式編程(multi-cell gene expression programming algorithm，MCGEP)是在GEP的基礎(chǔ)上引進了同源基因的概念，相對于普通GEP而言，MCGEP具有更豐富的表達能力和搜索空間。模糊控制多細胞基因表達式編程是在MCGEP基礎(chǔ)上引入模糊控制，簡寫為FMCGEP[13,14]。

GEP中的基因由頭部h、尾部t和DC域組成，頭部包含函數(shù)符(數(shù)學函數(shù)和邏輯運算等)和終結(jié)符(求解問題的常量或者變量)，尾部則只包含終結(jié)符，DC域中基因位映射到一個與帶DC域的基因?qū)臄?shù)組，基因尾部出現(xiàn)第i個“?”則對應DC域中第i個基因映射的隨機常量。不同基因之間可以用函數(shù)符連接起來，頭長h和尾長t的關(guān)系表達式如式(1)所示

t=h*(n-1)+1

(1)

式中：n代表操作符允許最多的參數(shù)個數(shù)。

多細胞基因表達式編程基因型網(wǎng)絡如圖1所示。

圖1 MCGEP基因型網(wǎng)絡

圖1中Gen1和Gen2分別表示普通基因1和基因2，Gen1的尾部Tail中的“?”對應Gen1中DC域中的C字母，而C字母映射到常量集(Constants set)中第3個隨機常量1.7601。Homeotic gene表示同源基因，同源基因尾部Tail中的1和2分別代表Gen1和Gen2。圖1中MCGEP解碼所得到表達式樹網(wǎng)絡如圖2所示。

圖2 MCGEP樹形網(wǎng)絡

由圖2解碼的表達式樹最后可轉(zhuǎn)換為數(shù)學表達式(2)

(2)

FMCGEP根據(jù)種群多樣性來計算模糊隸屬度，然后自動調(diào)節(jié)種群的交叉率、變異率和常量集變異率，增加種群多樣性，使控制算法的可控性、適應性和合理性提高，從而迭代過程能夠更快收斂。

1.2 CNN基本原理

卷積神經(jīng)網(wǎng)絡是受生物學上感受野機制的啟發(fā)而提出，是一種具有局部連接、共享權(quán)重等特性的深層前饋神經(jīng)網(wǎng)絡[15]。卷積網(wǎng)絡一般由卷積層、池化層和全連接層交叉堆疊組成，并通過反向傳播來訓練。

CNN框架中的卷積層尤為重要。圖像分類任務中常用的是二維卷積，卷積網(wǎng)絡層與層之間有若干個卷積核，上一層每個特征圖與每個卷積核做卷積操作得到下一層的特征圖，其卷積過程如圖3所示。卷積核有長、寬、深這3個維度，長、寬需要手工設(shè)定，深度則根據(jù)輸入圖像維度自適應選擇。CNN框架中的池化層，也稱為下采樣，主要用于特征降維，減小過擬合與壓縮參數(shù)量，常用的池化操作有最大池化和平均池化兩種，其池化核大小也需人為設(shè)定；圖片經(jīng)過若干個卷積和池化后，進入全連接層，全連接層多用SoftMax做分類任務。

圖3 卷積過程

2 基于FMCGEP構(gòu)建CNN算法(FMCGEP-CNN)

本節(jié)介紹FMCGEP-CNN算法框架并對其主要組成部分進行詳細討論。

2.1 FMCGEP-CNN算法描述

算法1給出了FMCGEP-CNN的整體框架，在代碼執(zhí)行前先對種群進行參數(shù)設(shè)置。整個框架由5部分組成：①隨機初始化種群，將CNN中待優(yōu)化的設(shè)計變量編碼到染色體中(見代碼第(1)行)；②對染色體解碼構(gòu)建CNN模型，通對模型評估的值作為個體適應度值(第(2)行)；③對種群按適應度值進行排序(第(3)行)；④計算模糊隸屬度值(第(4)行)；⑤通過進化得到最優(yōu)的CNN神經(jīng)網(wǎng)絡(第(18)行)。在執(zhí)行進化過程中第(5)-第(17)行)，先初始化一個空種群Qt來存儲臨時種群(第(6)行)。種群中的交叉率和變異率根據(jù)代碼第(4)行計算的隸屬度值判斷其是否在給定的閾值范圍(本文閾值范圍是0.6-1)，如果不在則將初始值交叉率和變異率賦給Pc，Pm，否則執(zhí)行模糊控制操作(第(10)行)。再創(chuàng)建臨時種群q1,q2,q3,q4分別執(zhí)行變異、交叉、先變異后交叉、先交叉后變異操作，最后將q1,q2,q3,q4中新產(chǎn)生的染色體合并到Qt中并對其排序(第(11)-第(16)行)。當種群進化迭代次數(shù)達到設(shè)定最大次數(shù)，進化終止。

算法1：FMCGEP-CNN框架

輸入：種群大小N,最大迭代次數(shù)G，交叉率Pc,變異率Pm,錦標賽規(guī)模Pt。

輸出：最優(yōu)CNN模型。

(1)P0← Initialize a population with the size ofNby MCGEP coding strategy；

(2)Construct the CNN model, evaluate the fitness of individuals in P0;

(3)Sort P0；

(4)Calculated membership(degree);

(5)While t

(6) Qt←?

(7) While Qt

(8) if degree<0.6 or degree>1

(9)Pm=Pm,Pc=Pc; //將初始值得交叉率和變異率賦給Pm,Pc

(10) else:Pm= Mutation_fuzzy_control,Pc= Cross_fuzzy_control;

(11) q1, q2 ←do mutation operation, do crossover operation;

(12) q3 ←do the mutation first then the crossover operation;

(13) q4 ←do the crossover first then the mutation operation;

(14) Qt← q1∪q2∪q3∪q4;

(15) End

(16) Sort Qt，which population size is equal toN;

(17)End

(18)Select the best CNN from Qt.

2.2 CNN網(wǎng)絡編碼

研究表明，神經(jīng)結(jié)構(gòu)和全局超參數(shù)等設(shè)計變量對CNN性能影響極大。包括：激活函數(shù)、優(yōu)化方法、卷積核大小、池化核大小、池化類型、隱藏神經(jīng)元數(shù)量以及網(wǎng)絡層數(shù)等[16-18]。在FMCGEP-CNN中，將待優(yōu)化的設(shè)計變量編碼到染色體中，假設(shè)需要優(yōu)化的設(shè)計變量有M個，則用M個同源基因表示，這M個同源基因可以通過N個普通基因映射得到，N個普通基因被翻譯為一個特定的實數(shù)。本文將用一個例子來詳細說明編碼過程，假設(shè)要優(yōu)化的CNN的最大網(wǎng)絡層數(shù)maxL等于5，可以用1個設(shè)計變量描述網(wǎng)絡層數(shù)，用5個設(shè)計變量分別描述對應隱藏層的神經(jīng)元個數(shù)。激活函數(shù)、優(yōu)化方法、卷積核大小、池化核大小、池化類型各用一個設(shè)計變量描述。則以上11個設(shè)計變量可以用11個同源基因表示并編碼到一條染色體中，如圖4所示。該染色體由5個普通基因和11個同源基因組成。染色體中的同源基因Hgen 1至Hgen 6分別表示激活函數(shù)、優(yōu)化方法、卷積核大小、池化核大小、池化類型和網(wǎng)絡層數(shù)，第7個到(maxL+6)個同源基因分別代表第一至maxL隱藏層的神經(jīng)元數(shù)。

2.3 網(wǎng)絡模型構(gòu)建

首先，F(xiàn)MCGEP-CNN根據(jù)相應設(shè)計變量值的假設(shè)域，隨機生成如圖4所示的染色體網(wǎng)絡。然后，F(xiàn)MCGEP-CNN利用由染色體解碼得到的設(shè)計變量構(gòu)建CNN模型，其構(gòu)建過程如下：

圖4 MCGE染色體網(wǎng)絡

(1)搭建卷積與池化層，使用輸入數(shù)據(jù)的特征緯度、初始化卷積核、初始化激活函數(shù)以及第一層隱藏神經(jīng)元個數(shù)，構(gòu)建卷積網(wǎng)絡第一層；

(2)利用初始化神經(jīng)元數(shù)目和激活函數(shù)建立模型的第二至最后一層；

(3)使用Flatten函數(shù)將數(shù)據(jù)緯度拉平；

(4)在全連接最后一層設(shè)置圖像分類類別以及使用SoftMax激活函數(shù)；

(5)在隱層中加入Dropout 的概率為0.2，在訓練過程中隨機丟棄部分模型神經(jīng)元，以緩解過度擬合，提高模型泛化能力；

(6)重復(1)-(5)過程構(gòu)建網(wǎng)絡，直到網(wǎng)絡個數(shù)等于種群數(shù)量。

2.4 網(wǎng)絡模型訓練與評估

算法2是模型訓練與評估過程描述。

算法2：FMCGEP-CNN模型進化

輸入：初始化種群pt，訓練數(shù)據(jù)Dtrain，測試數(shù)據(jù)Dtest。

輸出：最佳適應度值Fbest。

(1)For each individual in ptdo //個體訓練與評估

(2) CNN←Transform the information encoded in individual to a CNN with the corresponding architecture;

(3) Train CNN model on Dtrain;

(4) Accuracy←Evaluate the classification accuracy of the trained CNN on Dtest;

(5) Assign accuracy as the fitness of individual;

(6)The best fitness value of current pt.

算法輸入初始種群、訓練和測試數(shù)據(jù)，輸出最佳適應度值。代碼第(1)行對每個個體執(zhí)行進化操作；然后對個體編碼的信息解碼，構(gòu)建CNN模型(第(2)行)；再使用訓練數(shù)據(jù)訓練模型，并用測試數(shù)據(jù)評估模型，評估值即為個體適應度值(第(3)-第(5)行)；得到當前種群最佳適應度值，直到進化結(jié)束(第(6)行)。

3 實驗與討論

實驗的目的是驗證所提出的算法對圖像分類的準確率以及算法的魯棒性。

3.1 數(shù)據(jù)集介紹

本文分別使用了MNIST數(shù)據(jù)集、CIFAR10數(shù)據(jù)集和一個醫(yī)學圖像數(shù)據(jù)集[19]。其中，MNIST數(shù)據(jù)集是手寫數(shù)字0-9，共有60 000個訓練樣本和10 000個測試樣本；CIFAR10數(shù)據(jù)集有50 000個訓練樣本和10 000個測試樣本，MNIST和CIFAR10兩個數(shù)據(jù)集均有10個類別；醫(yī)學圖像數(shù)據(jù)集來自海德堡大學病理學研究所，該數(shù)據(jù)集代表人類大腸癌組織學圖像紋理的集合，包含5000個組織學圖像的壓縮文件夾，共8個病狀類別。

3.2 FMCGEP-CNN參數(shù)設(shè)置

FMCGEP-CNN算法參數(shù)由兩部分組成，一部分是FMCGEP的參數(shù)設(shè)置，如種群大小、進化代數(shù)以及錦標賽選擇比例等；另一部分是卷積網(wǎng)絡的參數(shù)設(shè)置，如卷積核上下界、網(wǎng)絡訓練次數(shù)等。FMCGEP-CNN算法參數(shù)設(shè)置見表1。

表1 FMCGEP-CNN參數(shù)設(shè)置

3.3 實驗結(jié)果與分析

文中設(shè)置了3組實驗，將FMCGEP-CNN算法分別與其它先進算法在MNIST數(shù)據(jù)集、CIFAR10數(shù)據(jù)集和醫(yī)學數(shù)據(jù)集進行對比。本文算法與文獻[20]同屬進化神經(jīng)網(wǎng)絡優(yōu)化算法，而該文獻提出的算法(EvoCNN)在多個實驗中被驗證是最具競爭力的，因此在MNIST和CIFAR10數(shù)據(jù)集上將本文算法與之進行詳細討論。

3.3.1 MNIST手寫數(shù)字分類實驗

在MNIST數(shù)據(jù)集上，主要從分類準確率和網(wǎng)絡迭代次數(shù)這兩方面做對比分析，本文提出的算法計算網(wǎng)絡模型迭代次數(shù)的公式為式(3)

Num=po*ge*epochs

(3)

其中，po表示種群大小，ge表示種群進化次數(shù)，epochs表示每個網(wǎng)絡訓練次數(shù)。

表2中前5個對比算法來自文獻[21]。本文提出的算法FMCGEP-CNN 取得99.32%的準確率，比最差的Linear classifier算法提高了8.43%，比LeNet-5算法提高了0.12%，比大多數(shù)算法的分類準確率高。FMCGEP-CNN比迭代優(yōu)化CNN[22]略低，但網(wǎng)絡模型迭代次數(shù)降低了近5倍。由于受限于計算資源，故將FMCGEP-CNN算法和EvoCNN算法的最大網(wǎng)絡層數(shù)均設(shè)置為5，在相同條件下將EvoCNN與FMCGEP-CNN在MNIST數(shù)據(jù)集訓練、測試過程進行比較。

表2 MNIST數(shù)據(jù)集上各方法對比

從圖5(a)與圖5(c)中可以看出，兩種算法在訓練和測試準確率上大體相同，圖5(b)中顯示EvoCNN在訓練集的損失值要小于FMCGEP-CNN損失值，但圖5(d)中顯示兩種算法在測試集損失幾乎一致，由此可知，EvoCNN存在過擬合現(xiàn)象。

圖5 MNIST數(shù)據(jù)集實驗分析

3.3.2 CIFAR10分類實驗

在表3所有對比算法中，F(xiàn)MCGEP-CNN算法在CIFAR10數(shù)據(jù)集上表現(xiàn)出最好的分類效果，且迭代次數(shù)最少，相比于傳統(tǒng)算法CIFAR10_Net來說，準確率提高了6.14%，迭代次數(shù)減少了10倍左右。殘差網(wǎng)絡是近年來較具競爭力的模型，ResNet18 網(wǎng)絡準確率為83%，但相比本文算法略差。

表3 CIFAR10數(shù)據(jù)集上各方法對比

為了進一步驗證本文算法的分類性能，將EvoCNN與FMCGEP-CNN在更大數(shù)據(jù)CIFAR10上進行論證分析。

由圖6(c)中可知，F(xiàn)MCGEP-CNN算法在訓練集上損失值較低，同時由圖6(d)可知，在測試集中FMCGEP-CNN損失值低于EvoCNN，所以EvoCNN算法在CIFAR10數(shù)據(jù)集上相對于FMCGEP-CNN算法仍然存在過擬合現(xiàn)象。在模型訓練時，兩者的準確率都達到了90%，但在測試集中，本文算法略微優(yōu)于EvoCNN算法，同樣說明EvoCNN算法存在過擬合現(xiàn)象。

圖6 CIFAR10數(shù)據(jù)集實驗分析

圖7展示了FMCGEP-CNN算法在CIFAR10數(shù)據(jù)集上進化20代過程中，分類準確率最優(yōu)值與最差值的變化情況。從圖中可以看出，在初始種群(即進化第0代時)，CIFAR10準確率只有67.6%，通過交叉變異等遺傳操作將準確率提升至83.63%。進化過程中最差值不斷提升，最優(yōu)值也不斷提升，最終收斂到全局最優(yōu)值，找到CNN最優(yōu)模型。

圖7 CIFAR10數(shù)據(jù)集進化代數(shù)ACC優(yōu)劣值

3.3.3 醫(yī)學圖像分類實驗

為了驗證提出算法的魯棒性，將本文算法應用在大腸癌癥數(shù)據(jù)集中，該數(shù)據(jù)集來自文獻[19]，并與文獻使用的算法進行對比。該文獻指出，當涉及到CRC組織學圖像中組織類型的分類時，所發(fā)表的文獻都使用了自己的(非公開)數(shù)據(jù)集，且只考慮腫瘤和基質(zhì)二分類問題，而該文獻的數(shù)據(jù)可共享。

從表4可知，文獻[19]中針對該數(shù)據(jù)集提出的4種機器學習分類方法分類準確率均低于90%。本文方法相對其分別提高了5.26、5.06、4.56、3.66個百分點，這說明本文方法不僅在基準數(shù)據(jù)集上實用，遷移到醫(yī)學圖像數(shù)據(jù)同樣取得較好效果。

表4 醫(yī)學數(shù)據(jù)集對比

圖8是FMCGEP-CNN算法在醫(yī)學圖像數(shù)據(jù)集的進化代數(shù)與參數(shù)變化曲線圖。圖中共5條曲線按照左邊第一個節(jié)點

從上往下依次表示為：Degree曲線表示的是模糊隸屬度變化情況；Accuracy曲線表示分類準確率變化情況；Crossover_rate曲線表示的是交叉率變化情況；Mutation_rate曲線表示的是變異率變化情況；Constants_mutation_rate曲線表示的是常量集變化情況。由圖8可知，分類準確率從第1代至第8代呈上升趨勢，但從第8代至第11代，準確率變化極其緩慢，直到第12代準確率才迅速提升。準確率從第1代至第10代的變化是受種群的交叉率和變異率的影響，但是常量集變異率為0，直到第11代，常量集變化不再為0，從而增加了種群多樣性，因此準確率也隨之變化。該數(shù)據(jù)集的參數(shù)變化使用了模糊控制技術(shù)，動態(tài)調(diào)整交叉率、變異率、常量集變異，從而使得整個種群向最優(yōu)化進化。

圖8 進化代數(shù)與參數(shù)變化

3.3.4 所得的最優(yōu)CNN網(wǎng)絡

本節(jié)展示了由本文算法在MNIST、CIFAR10和醫(yī)學圖像數(shù)據(jù)集中分別優(yōu)化得到的最好的CNN網(wǎng)絡，見表5。訓練MNIST得到的最好CNN模型有4個卷積層，用它的卷積池化核均為3*3；訓練CIFAR10得到的最好CNN模型有5個卷積層，且它的卷積核為5*5，池化核為2*2；而訓練醫(yī)學圖像數(shù)據(jù)集得到的最好CNN模型有5個卷積層，且它的卷積池化核均為3*3。3個數(shù)據(jù)所使用的激活函數(shù)和優(yōu)化方法各不相同，每層隱藏神經(jīng)元數(shù)也各不相同，但池化類型都選擇最大池化。因此，通過進化搜索自動發(fā)現(xiàn)架構(gòu)具有更簡單的架構(gòu)和更好的性能，也可能提供有用的領(lǐng)域?qū)I(yè)知識，這與我們的常識形成了對比。

表5 各數(shù)據(jù)集上得到的最優(yōu)CNN網(wǎng)絡

4 結(jié)束語

本文運用模糊控制多細胞基因表達式編程算法自動優(yōu)化卷積神經(jīng)網(wǎng)絡，并應用于圖像分類任務。實驗結(jié)果表明，本文提出的算法相對于經(jīng)典算法和其它先進算法具有一定優(yōu)勢。本文算法網(wǎng)絡構(gòu)建過程是自動的，可以節(jié)省人力、物力和財力，該算法在圖像分類建模問題中非常有效，對解決實際問題有重要意義。

盡管本文算法在自動化和分類精確度上取得了不錯效果，但該算法還存在不足。首先，本算法探索的是對一般的CNN進行優(yōu)化，一些特殊的網(wǎng)絡模塊如NiN、Inception等還沒有被探索。

總之，本文所提出的算法為圖像分類提供一種有效、可行的方法，下一步工作我們將考慮兼容更復雜神經(jīng)結(jié)構(gòu)塊的高效優(yōu)化框架及其并行化實現(xiàn)。