模擬初級(jí)視覺皮層增強(qiáng)CNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的穩(wěn)定性

張麗娟， 胡夢(mèng)達(dá)， 張紫薇， 姜雨彤， 李東明

（1.無錫學(xué)院 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214105；2.長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，吉林 長(zhǎng)春 130012；3.中國(guó)北方車輛研究所，北京100072）

1 引 言

自20世紀(jì)中葉機(jī)器學(xué)習(xí)理論被提出以來，隨著相關(guān)研究的不斷深入和計(jì)算機(jī)算力的不斷提升，機(jī)器學(xué)習(xí)的應(yīng)用越來越廣泛，圖像識(shí)別就是機(jī)器學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域上的主要應(yīng)用之一。1998年，Lecun［1］等提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN），并通過LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)成功實(shí)現(xiàn)了手寫數(shù)字的圖像識(shí)別。自此，以CNN為基礎(chǔ)的深度學(xué)習(xí)概念受到了相關(guān)領(lǐng)域大量研究人員的關(guān)注和研究，各種新型的網(wǎng)絡(luò)結(jié)構(gòu)模型和訓(xùn)練方法被提出。2012年，Krizhevsky等［2］提出了AlexNet，在ImageNet圖像識(shí)別競(jìng)賽中憑借優(yōu)秀準(zhǔn)確率奪得了分類比賽的冠軍。2015年，He［3］等提出的ResNet網(wǎng)絡(luò)結(jié)構(gòu)在ImageNet分類任務(wù)比賽中獲得第一名，ResNet50和ResNet101網(wǎng)絡(luò)結(jié)構(gòu)成為許多深度學(xué)習(xí)方法的基礎(chǔ)，如Inecption網(wǎng)絡(luò)結(jié)構(gòu)［4］以及DenseNet結(jié)構(gòu)［5］等。隨著神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率的不斷提高，CNN在搜索引擎、智能家居、生物醫(yī)療等多個(gè)領(lǐng)域都得到了廣泛的應(yīng)用，同時(shí)隨著研究的深入，神經(jīng)網(wǎng)絡(luò)穩(wěn)定性不足的缺陷也逐漸顯現(xiàn)。

穩(wěn)定性通常指神經(jīng)網(wǎng)絡(luò)模型接收到異常輸入仍能夠輸出正確結(jié)果的能力。2014年，Szegedy等［6］提出的對(duì)抗樣本表明，所有的神經(jīng)網(wǎng)絡(luò)都有著穩(wěn)定性不足的缺陷。神經(jīng)網(wǎng)絡(luò)是探索人腦神經(jīng)元結(jié)構(gòu)和功能并通過計(jì)算機(jī)對(duì)其模擬、相互連結(jié)而構(gòu)建的，以此實(shí)現(xiàn)人工智能。目前，神經(jīng)網(wǎng)絡(luò)算法已經(jīng)能夠在一定程度上模擬人類的識(shí)別、記憶、運(yùn)算等功能，但Szegedy等［6］發(fā)現(xiàn)，通過在圖像上加入人類無法識(shí)別的噪聲干擾，神經(jīng)網(wǎng)絡(luò)模型會(huì)產(chǎn)生錯(cuò)誤的判斷。這種缺陷是神經(jīng)網(wǎng)絡(luò)自身局限性導(dǎo)致的，依賴于神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別是通過認(rèn)知圖像信息中必要的信息［7］，而必要信息的維數(shù)往往遠(yuǎn)小于輸入數(shù)據(jù)的總維數(shù)，大量不被人類視覺所認(rèn)知的冗余信息也會(huì)影響神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率，即神經(jīng)網(wǎng)絡(luò)往往優(yōu)先學(xué)習(xí)圖像中的高頻紋理特征，這種認(rèn)知方式與人類認(rèn)知信息的方式間存在分歧。

提高神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的主要方法有兩種［8］：一是通過圖像壓縮［9］、去噪自編碼器［10］等降噪手段，或是通過對(duì)比降噪前后樣本［11］等方法直接篩查出對(duì)抗樣本，以減輕網(wǎng)絡(luò)受到對(duì)抗樣本的攻擊性，進(jìn)而降低對(duì)抗樣本對(duì)結(jié)果的干擾性；二是通過對(duì)抗訓(xùn)練［12-13］或生物啟發(fā)模型等形式，直接增強(qiáng)模型自身的穩(wěn)定性。前者往往防御能力有限，在會(huì)降低網(wǎng)絡(luò)自身性能的同時(shí)也無法有效地抵抗高強(qiáng)度的干擾［14］。提高網(wǎng)絡(luò)穩(wěn)定性效果最好的方法是數(shù)據(jù)增強(qiáng)，但訓(xùn)練成本較高，還可能導(dǎo)致模型過擬合和網(wǎng)絡(luò)層次過深、結(jié)構(gòu)過于臃腫等問題。相比之下，人類視覺往往比神經(jīng)網(wǎng)絡(luò)模型具有更高的穩(wěn)定性，更能分辨局部的圖像特征［15］。

1962年，Hubel和Wiesel［16］提出了視覺皮層的概念，對(duì)視覺系統(tǒng)中簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞的反應(yīng)功能做出描述以來，對(duì)于初級(jí)視覺皮層（V1）反應(yīng)的建模始終是研究的主要領(lǐng)域之一。近年來，一些學(xué)者重新從類腦視覺的角度出發(fā)［17-21］，研究人類視覺模型對(duì)神經(jīng)網(wǎng)絡(luò)的改進(jìn)。Reddy等［22］在網(wǎng)絡(luò)結(jié)構(gòu)中引入了模擬人體視網(wǎng)膜和視覺皮層注視點(diǎn)的結(jié)構(gòu)。Kim等［23］建立了一種模擬視網(wǎng)膜的模型。

本文從模擬生物視覺神經(jīng)結(jié)構(gòu)的角度出發(fā)，以Joel Dapello［24］等提出的VOneNet結(jié)構(gòu)為基礎(chǔ)，設(shè)計(jì)出VVNet混合CNN視覺模型。該模型延續(xù)了VOneNet模型基于經(jīng)典的神經(jīng)科學(xué)的線性-非線性-泊松（LNP）模型的結(jié)構(gòu)，增加了非線性層的層數(shù)，并插入瓶頸層，進(jìn)一步模仿生物視覺，以增強(qiáng)網(wǎng)絡(luò)穩(wěn)定性。在Cifar10數(shù)據(jù)集上進(jìn)行訓(xùn)練，VVNet結(jié)構(gòu)在保持原網(wǎng)絡(luò)模型性能的同時(shí)，有效地提高了模型在面對(duì)常見圖像損壞和噪聲時(shí)的穩(wěn)定性。本文提出的網(wǎng)絡(luò)可以作為輸入層擴(kuò)展模塊接入其他CNN，具有良好的可遷移性和可復(fù)現(xiàn)性。

2 VVNet的構(gòu)成及工作原理

2.1 對(duì)初級(jí)視覺皮層（V1）進(jìn)行模擬建模

早期研究者們通過調(diào)整Gabor濾波器實(shí)現(xiàn)了簡(jiǎn)單細(xì)胞［25］和復(fù)雜細(xì)胞［26］的反應(yīng)預(yù)測(cè)，并通過引入兩個(gè)連續(xù)的線性-非線性結(jié)構(gòu)來模擬V1的行為［27］。依據(jù)神經(jīng)生理學(xué)的研究，人體的視覺系統(tǒng)中的初級(jí)視覺皮層中存在簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞兩種主要的感受器［16］。二者能分別對(duì)不同特定方向的線條或邊緣產(chǎn)生反應(yīng)，背外側(cè)膝狀核（LGN）中兩種細(xì)胞互相合作，對(duì)接收到的圖像信息中的輪廓、細(xì)節(jié)和運(yùn)動(dòng)等信息進(jìn)行識(shí)別，并將得到的信息形成高級(jí)的視覺信息傳遞到腦部進(jìn)行進(jìn)一步的處理，在面部識(shí)別、運(yùn)動(dòng)感知中起到了重要的作用。

部分CNN在預(yù)測(cè)V1行為時(shí)勝過Gabor濾波器組［28］，這表明需要多個(gè)線性-非線性層來實(shí)現(xiàn)V1的復(fù)雜行為。但CNN的結(jié)構(gòu)導(dǎo)致其會(huì)依賴于一些靈長(zhǎng)類視覺系統(tǒng)不使用的一部分視覺特征作為判斷基礎(chǔ)。Joel等［24］等通過使用基于偏最小平方回歸（PLS）［29-30］的標(biāo)準(zhǔn)神經(jīng)預(yù)測(cè)方法，評(píng)估每個(gè)模型誘發(fā)的單個(gè)V1神經(jīng)元反應(yīng)的解釋程度，來對(duì)AlexNet，DenseNet，VGG，ResNet等神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練分析，發(fā)現(xiàn)在白盒對(duì)抗性攻擊下的模型準(zhǔn)確率與V1解釋方差呈現(xiàn)明顯的正相關(guān)關(guān)系。以此為基礎(chǔ)，本文提出的VVNet，其最大特征是對(duì)生物視覺系統(tǒng)中視網(wǎng)膜到V1前端的部分做了進(jìn)一步的模擬。每個(gè)VVNet由VVBlock和一個(gè)由對(duì)應(yīng)基礎(chǔ)CNN改編的后端網(wǎng)絡(luò)組成，VVBlock具有多個(gè)非線性層（見圖1），分別模擬靈長(zhǎng)類動(dòng)物視覺神經(jīng)系統(tǒng)V1區(qū)域中簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞對(duì)圖像信息的處理。最終，用VVBlock和一個(gè)特定的過渡層來替換原本CNN中的第一個(gè)模塊（一般為一個(gè)卷積層、歸一化層、非線性層和池化層的一個(gè)堆疊）。VVBlock與被替換的模塊相比雖空間圖尺寸相同，但具有更多的通道數(shù)，而過渡層中一般有一個(gè)1×1的卷積作為瓶頸，將更多的通道數(shù)壓縮到原模型的深層。VVBlock的構(gòu)成遵循LNP模型，包括卷積層、非線性層和隨機(jī)發(fā)生器三個(gè)連續(xù)的處理階段，并且在通道都有一定數(shù)量的神經(jīng)單元包含有簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞兩種不同的神經(jīng)元類型。

圖1 VVBLock結(jié)構(gòu)示意圖Fig.1 Schematic diagram of VVBLock

2.2 生物約束的Gabor濾波器組的卷積層構(gòu)建

VVBlock中第一層是一個(gè)數(shù)學(xué)參數(shù)化的GFB，其參數(shù)被調(diào)整為近似靈長(zhǎng)類V1神經(jīng)反應(yīng)數(shù)據(jù)。它用多方向、多尺度及多空間頻率的Gabor濾波器對(duì)RGB輸入圖像進(jìn)行融合。將GFB的跨度設(shè)置為4，產(chǎn)生一個(gè)56×56的激活空間圖。由于大多數(shù)CNN第一次卷積中的通道數(shù)量相對(duì)較少（在適應(yīng)的架構(gòu)中為64個(gè)），在VVBlock中將通道的數(shù)量設(shè)成較大的數(shù)值，以便GFB能覆蓋更大的范圍并更好地接近靈長(zhǎng)類的V1。將主要的VOneNet模型設(shè)置為512個(gè)通道，在簡(jiǎn)單和復(fù)雜細(xì)胞間平均分配。GFB中的每個(gè)通道都對(duì)輸入圖像中的一個(gè)顏色通道進(jìn)行卷積。

Gabor函數(shù)由一個(gè)具有高斯包絡(luò)的二維光柵組成，定義為：

其中：xrot和yrot分別為相對(duì)于光柵的正交和平行方向，θ是光柵方向的角度，f是光柵的空間頻率，φ是光柵相對(duì)于高斯包絡(luò)的相位，σx和σy分別是正交和平行于光柵的高斯包絡(luò)的標(biāo)準(zhǔn)偏差，可以定義為光柵周期（頻率的倒數(shù)）的倍數(shù)（nx和ny）。

盡管GFB大大減少了定義V1神經(jīng)元線性空間成分所需要的參數(shù)數(shù)量，但它每個(gè)通道仍然有5個(gè)參數(shù)。幸運(yùn)的是，在神經(jīng)生理學(xué)方面有大量文獻(xiàn)對(duì)靈長(zhǎng)類動(dòng)物的V1反應(yīng)特性進(jìn)行了詳細(xì)的描述，可以用來約束這些參數(shù)。為了實(shí)例化一個(gè)帶有CV1通道的VVBlock，這里根據(jù)經(jīng)驗(yàn)上的約束分布對(duì)每個(gè)參數(shù)的CV1值進(jìn)行采樣。根據(jù)輸入圖像的分辨率，限定空間頻率（f＜5.6 c/d）和周期數(shù)（n>0.1）的范圍。

2.3 簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞

簡(jiǎn)單細(xì)胞曾被認(rèn)為是計(jì)算復(fù)雜細(xì)胞反應(yīng)的一個(gè)中間步驟，它們現(xiàn)在已形成了對(duì)V2的大部分下游投射［31］。基于Hubel和Wiesel［16］提出的視覺功能柱中具有多個(gè)獨(dú)立的簡(jiǎn)單和復(fù)雜細(xì)胞層的設(shè)想，VVBlock設(shè)計(jì)成具有兩個(gè)不同的非線性層，根據(jù)其對(duì)應(yīng)的細(xì)胞類型應(yīng)用于各自的通道中，模擬簡(jiǎn)單細(xì)胞的整流線性變換，以及復(fù)雜細(xì)胞的正交相位對(duì)的頻譜功率，即：

其中：Sl和Snl分別為簡(jiǎn)單神經(jīng)元的線性和非線性響應(yīng)，Cl和Cnl對(duì)于復(fù)雜神經(jīng)元來說也是相同的。

2.4 隨機(jī)性層和瓶頸層

神經(jīng)元反應(yīng)的一個(gè)決定性屬性是它們的隨機(jī)性對(duì)一個(gè)神經(jīng)元進(jìn)行重復(fù)測(cè)量，以應(yīng)對(duì)名義上相同的視覺輸入，結(jié)果是不同的尖峰序列。對(duì)于清醒的猴子，平均尖峰計(jì)數(shù)（多次重復(fù)的平均值）取決于呈現(xiàn)的圖像，在同一組實(shí)驗(yàn)中，尖峰序列近似呈泊松分布，即尖峰計(jì)數(shù)方差基本等于平均值［32］。為了逼近神經(jīng)元反應(yīng)，本文向VVBlock的每個(gè)單元添加獨(dú)立的高斯噪聲，其方差等于激活度。最終，使用現(xiàn)有的經(jīng)驗(yàn)分布來約束GFB模型，生成一個(gè)近似于靈長(zhǎng)類V1的神經(jīng)元空間。同時(shí)，在每個(gè)非線性層后加入一個(gè)1×1的卷積作為瓶頸層，模擬視覺系統(tǒng)中對(duì)輸出維度的約束［33］，并將更多的通道數(shù)壓縮到原模型的深層。

3 消融實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)環(huán)境如下：NVIDIA A100 SXM4 40 GB顯卡的運(yùn)行內(nèi)存為80 GB，采用Pytorch1.13.1深度學(xué)習(xí)框架和Python3.8的服務(wù)器。本文使用的數(shù)據(jù)集為CIFAR-10（圖2），它由Alex Krizhevsky， Vinod Nair和Geoffrey Hinton收集完成。CIFAR-10數(shù)據(jù)集包含60 000張32×32的彩色圖像，分為10類，每類6 000張圖片，其中50 000張作為訓(xùn)練圖像，10 000張作為測(cè)試圖像。

圖2 CIFAR-10數(shù)據(jù)集圖像示例Fig.2 Example images of CIFAR-10 dataset

為驗(yàn)證本文提出網(wǎng)絡(luò)模型的性能，實(shí)驗(yàn)選擇在CIFAR-10數(shù)據(jù)集上使用常用圖像識(shí)別算法與本文提出的算法在同一數(shù)據(jù)集上進(jìn)行訓(xùn)練。為驗(yàn)證本文提出網(wǎng)絡(luò)結(jié)構(gòu)的穩(wěn)定性，使用imagecorruptions對(duì)圖像進(jìn)行破壞（見圖3），模擬噪聲干擾的情況，并進(jìn)行對(duì)比實(shí)驗(yàn)。

圖3 人為加入噪聲的圖像Fig.3 Images with artificial insertion of noise

3.1 VVNet的適用性和可移植性測(cè)試

為驗(yàn)證VVNet網(wǎng)絡(luò)的可行性，本文以AlexNet［2］，DenseNet121［5］和VGG19［34］3種基本網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)來構(gòu)建VVNet，如圖4所示。選擇標(biāo)準(zhǔn)Top1圖像分類準(zhǔn)確率作為評(píng)價(jià)指標(biāo)，通過對(duì)比3種網(wǎng)絡(luò)在使用VVNet，VOneNet和原本網(wǎng)絡(luò)結(jié)構(gòu)方法下訓(xùn)練50輪的分類準(zhǔn)確率，來檢驗(yàn)插入VVBlock模塊對(duì)算法準(zhǔn)確率的影響。

圖4 在Cifar10數(shù)據(jù)集上對(duì)3種常見網(wǎng)絡(luò)架構(gòu)的原網(wǎng)絡(luò)和VVNet重構(gòu)后網(wǎng)絡(luò)的準(zhǔn)確率對(duì)比Fig.4 Accuracy comparison of original network and reconstructed network of VVNet on dataset Cifar10 for three common networks

從圖4可以看出，與原網(wǎng)絡(luò)相比，移植了VVNet結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)的圖像分類識(shí)別準(zhǔn)確率幾乎沒有變化，這證明了該方法對(duì)不同CNN網(wǎng)絡(luò)的適應(yīng)性和通用性。相比之下，套用VOneNet結(jié)構(gòu)的網(wǎng)絡(luò)準(zhǔn)確率會(huì)下降5%～10%，VVNet結(jié)構(gòu)對(duì)于不同網(wǎng)絡(luò)的適用性比VOneNet更好，準(zhǔn)確率變化波動(dòng)小，能夠在不對(duì)原網(wǎng)絡(luò)產(chǎn)生負(fù)面影響的情況下進(jìn)行優(yōu)化。

表1 三種網(wǎng)絡(luò)不同架構(gòu)在數(shù)據(jù)集Cifar10上的準(zhǔn)確率Tab.1 Accuracy for three network in different architectures on dataset Cifar10

3.2 模型穩(wěn)定性測(cè)試

為了評(píng)估VVNet在噪聲干擾下的穩(wěn)定性，本文對(duì)數(shù)據(jù)集Cifar10的圖像進(jìn)行破壞處理，形成點(diǎn)狀噪聲、模糊、潑濺遮擋和飽和曝光4類圖像，使用的網(wǎng)絡(luò)模型為在普通的訓(xùn)練集上訓(xùn)練完成的一般模型，在噪音破壞過的測(cè)試集上進(jìn)行分類識(shí)別，通過對(duì)比準(zhǔn)確率驗(yàn)證VVNet結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)模型穩(wěn)定性的影響。

從圖5可以看出，不論哪種噪聲，隨著破壞程度的加重，網(wǎng)絡(luò)模型的準(zhǔn)確率都有了明顯的下降，與原網(wǎng)絡(luò)準(zhǔn)確率驟降的情況相比，不論是具有VVNet結(jié)構(gòu)還是具有VOneNet結(jié)構(gòu)網(wǎng)絡(luò)都能夠保持一個(gè)更平緩的下降趨勢(shì)。從實(shí)驗(yàn)結(jié)果可以看出，VVNet相比VOneNet，曲線更平滑，在破壞程度最高等級(jí)的情況下，分類準(zhǔn)確率也能提高10%左右。特別是在飽和度破壞的情況下，本文提出的方法能夠有效地減少圖像破壞對(duì)網(wǎng)絡(luò)模型準(zhǔn)確率的影響。

圖5 使用VVNet，VOneNet和原始的網(wǎng)絡(luò)模型DenseNet121對(duì)4類噪聲圖像的分類準(zhǔn)確率對(duì)比Fig.5 Comparison of image classification accuracy for four types of noise images using VVNet network， VOneNet network， and original network model

在CIFAR-10數(shù)據(jù)集上進(jìn)行多組對(duì)抗性測(cè)試，結(jié)果表明，使用VVNet結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型能在不進(jìn)行對(duì)抗訓(xùn)練的情況下確實(shí)有效地提高網(wǎng)絡(luò)的穩(wěn)定性。

4 結(jié) 論

本文提出了一種基于人體視覺神經(jīng)系統(tǒng)生物特征的CNN結(jié)構(gòu)改進(jìn)方法，通過將模擬初級(jí)視覺皮層結(jié)構(gòu)的VVBlock作為CNN前端輸入模塊來優(yōu)化原本的網(wǎng)絡(luò)性能，能夠在不增加網(wǎng)絡(luò)層數(shù)并保持原準(zhǔn)確率的情況下提高深度學(xué)習(xí)算法的穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，與原網(wǎng)絡(luò)模型相比，使用VVNet方法的網(wǎng)絡(luò)模型的準(zhǔn)確率提升了5%～10%，對(duì)于增強(qiáng)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性具有積極影響。同時(shí)，VVNet具有良好的可遷移性，通過實(shí)驗(yàn)驗(yàn)證，與原網(wǎng)絡(luò)VOneNet相比，VVnet網(wǎng)絡(luò)在不同的CNN結(jié)構(gòu)（AlexNet［2］、DenseNet121［5］和VGG19［34］）間可以順利移植，并且不會(huì)對(duì)原網(wǎng)絡(luò)模型的準(zhǔn)確率造成較大的影響。但VVNet作為一種生物啟發(fā)模型的探索仍有許多不足，優(yōu)化效果還不如對(duì)抗訓(xùn)練，今后的研究工作會(huì)嘗試進(jìn)一步優(yōu)化結(jié)構(gòu)和實(shí)驗(yàn)方法，以提高圖像分類的穩(wěn)定性。