• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    全卷積神經(jīng)網(wǎng)絡(luò)仿真與遷移學(xué)習(xí)

    2019-10-08 06:43:30付鵬飛許斌
    軟件 2019年5期
    關(guān)鍵詞:支持向量機(jī)主成分分析人臉識(shí)別

    付鵬飛 許斌

    摘 ?要: 人們捕獲視圖,從視圖中提取特征并理解含義。同理,駕駛員也通過視覺實(shí)現(xiàn)對(duì)街景的判斷。我們期待, 有一天機(jī)器能夠通過自主計(jì)算完成同樣的工作。得益于計(jì)算機(jī)的強(qiáng)大處理能力,基于CNNs(Convolutional Neural Networks, 卷積神經(jīng)網(wǎng)絡(luò))的深度學(xué)習(xí)算法能夠很好地完成目標(biāo)識(shí)別等計(jì)算機(jī)視覺任務(wù)。但在實(shí)際工業(yè)應(yīng)用中,資源往往受限,較大的網(wǎng)絡(luò)不利于嵌入式移植。通常一個(gè)完備的CNN網(wǎng)絡(luò)包含卷積層、池化層和全連接層[1],本文參考文章[2]中的方法,舍去池化層和全連接層,使用卷積層代替,并對(duì)幾種網(wǎng)絡(luò)進(jìn)行了仿真實(shí)驗(yàn)及結(jié)果分析,尋找在受限平臺(tái)使用CNN網(wǎng)絡(luò)的方法。

    關(guān)鍵詞: 人臉識(shí)別;直方圖均衡化;主成分分析;支持向量機(jī)

    中圖分類號(hào): TP391. 41 ? ?文獻(xiàn)標(biāo)識(shí)碼: A ? ?DOI:10.3969/j.issn.1003-6970.2019.05.042

    本文著錄格式:付鵬飛,許斌,等. 全卷積神經(jīng)網(wǎng)絡(luò)仿真與遷移學(xué)習(xí)[J]. 軟件,2019,40(5):216221

    【Abstract】: As we know, vision is very important for human to understand the world. Similarly, drivers also use vision to anlysis street scene. What we had being expecting is that one day machine can do the same work by itself through computer vision. Thanks to the powerful processing ability of the computer, the deep learning algorithm based on CNNs (Convolutional Neural Networks) can accomplish computer vision tasks well such as object detection. However, in most industrial environment, resources are limited, and larger networks are not easy to embedded transplantation .Now, the architectures of main CNNs used for machine vision include convolution layers and pooling layers alternately and ended with several fully-connected layers [1]. In fact, we can use convolution layers to replace pooling layers, as described in paper [2]。

    【Key words】: CNN; Computer vision; Transfer lEARNING; Driving assistance

    0 ?引言

    隨著現(xiàn)代社會(huì)的不斷發(fā)展,汽車已成為了人們最主要的交通工具,傳統(tǒng)的駕駛行為在處理很多突發(fā)情況時(shí),完全依賴于駕駛?cè)藛T在面對(duì)突發(fā)情況時(shí)的心理素質(zhì)及駕駛經(jīng)驗(yàn),非常容易出現(xiàn)危險(xiǎn)的情形。而且長(zhǎng)時(shí)間遠(yuǎn)距離的駕駛,會(huì)造成駕駛員疲勞,注意力不集中,從而導(dǎo)致交通事故頻發(fā)。主流的汽車制造商已普遍采取了被動(dòng)安全的策略,來降低事故對(duì)行人的傷害。

    但是這種被動(dòng)的保護(hù)措施還遠(yuǎn)遠(yuǎn)不夠,如果能通過技術(shù)手段,主動(dòng)的輔助駕駛員采取措施,減少甚至避免人員的傷亡,這將會(huì)是一項(xiàng)非常具有價(jià)值和意義的工作。汽車要能夠輔助人類駕駛,首先就要求汽車能夠感知到外部的環(huán)境,理解環(huán)境的構(gòu)成類型并準(zhǔn)確定位。目前主要使用雷達(dá)和光學(xué)攝像頭等傳感設(shè)備作為傳感器,通過算法來實(shí)現(xiàn)對(duì)外部環(huán)境的感知。目前的基于CNN的神經(jīng)網(wǎng)絡(luò),具有較大的參數(shù)量,訓(xùn)練過程中要消耗大量的時(shí)間,而且在實(shí)際的移植的過程時(shí)對(duì)移植系統(tǒng)的資源要求高,制約了CNN網(wǎng)絡(luò)向較小的平臺(tái)或或資源受限的平臺(tái)擴(kuò)展。

    汽車上很多智能部件以工控機(jī)、嵌入式環(huán)境為主,屬于資源受限平臺(tái)。盡管具有多層和復(fù)雜結(jié)構(gòu)的CNN網(wǎng)絡(luò)具有很好的檢測(cè)精度,但是在這樣龐大的網(wǎng)絡(luò)在有限資源的平臺(tái)上往往效果不佳。論文[2]提出了以全卷積網(wǎng)絡(luò)的模型,簡(jiǎn)化經(jīng)典的CNN網(wǎng)絡(luò)模型,也能夠達(dá)到較高的準(zhǔn)確率。本文使用論文[2]過實(shí)際修改、編寫、仿真分析A、B、C三種網(wǎng)絡(luò)結(jié)構(gòu),研究CNN網(wǎng)絡(luò)簡(jiǎn)化的可能方法,研究大型的神經(jīng)網(wǎng)絡(luò)向受限平臺(tái)遷移的可能性。

    1 ?相關(guān)工作

    卷積神經(jīng)網(wǎng)絡(luò)可以簡(jiǎn)化認(rèn)為是多個(gè)卷積模塊的不斷循環(huán)運(yùn)算并輸出特征圖[1]的過程,通常來說卷積模塊包含卷積運(yùn)算、整流、池化三個(gè)部分。通過卷積運(yùn)算把結(jié)果傳導(dǎo)至下一層,并且多次重復(fù)這樣的操作,如圖1所示。在整個(gè)計(jì)算過程中,圖片的大小逐步減少,卷積核的個(gè)數(shù)不斷增多,輸出尺寸較小而通道較多(較深)的特征向量圖,最后通過Softmax函數(shù)輸出數(shù)以確定目標(biāo)屬于某一個(gè)物體分類的概率值。目前CNN有四個(gè)主流的模型AlexNet[3]、VGGNet[4]、GoogleNet[5]、ResNet[6]模型。盡管不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),在卷積核大小的選取,卷積核的組合方式,以及向前傳播的連接方法會(huì)有不同。但總體來看其主要的結(jié)構(gòu)還是如圖1所示,通過卷積模塊數(shù)量的堆疊而把網(wǎng)絡(luò)推向更深,通過更深的網(wǎng)絡(luò)學(xué)習(xí)出特征圖。更深網(wǎng)絡(luò)意味著具有更多的參數(shù),需要占用更多的資源,越不利于向受限平臺(tái)的移植。

    參考文獻(xiàn)[2]中提出了一種基于全卷積網(wǎng)絡(luò)結(jié)構(gòu)的方法,去掉了池化層、全連接層,相比VGGNet,GoogleNet,ResNet采用了較少的深度,以實(shí)現(xiàn)模型的精簡(jiǎn)。這種思路非常有利于在受限平臺(tái)下的嵌入式移植,有利于在特定工作環(huán)境下的高效運(yùn)行。參考文獻(xiàn)[2]方法包含表1-6中所示的A,B,C,Model Stride-CNN-C,ConvPool-CNN-C network,All-CNN-C一共6種模型。本論文通過python編程實(shí)現(xiàn)了參考論文中所描述的方法,在數(shù)據(jù)集CIFAR-10上訓(xùn)練它們,并在數(shù)據(jù)集CIFAR-10上進(jìn)行測(cè)試,完成圖像分類。隨后嘗試了基于CIFAR-10數(shù)據(jù)集訓(xùn)練的全卷積網(wǎng)絡(luò)模型的遷移學(xué)習(xí),把學(xué)習(xí)到的模型應(yīng)用于CIFAR-100數(shù)據(jù)集的小子集class1和class2,分析結(jié)果,以嘗試在受限平臺(tái)下基于CNN算法的輕量化、專門化研究。

    2 ?實(shí)驗(yàn)操作

    仿真所使用的系統(tǒng)環(huán)境Intel Xeon E5-2665@ 2.4 GHz x 32 CPU,64 GB內(nèi)存,256 GB SSD,1個(gè)Nvidiz TITAN Xp GPU獨(dú)立顯卡和Ubuntu 16.04 64 bit操作系統(tǒng)。使用pyton3.6.6版本安裝了Anaconda 3-5.2,pip 10.0.1,pytorch 0.4.1.post2,CUDA 9.0.176系統(tǒng)。在上述環(huán)境中完成了以下工作:

    1)參考論文中提到的方法,通過python編寫的實(shí)現(xiàn)代碼[7-8],包含A,B,C,Stride-CNN-C,ConvPool-CNN-C network,All-CNN-C一共6種模型

    2)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模型A

    3)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模型B

    4)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模型C

    5)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模型Strided- CNN-C

    6)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模ConvPool- CNN-C

    7)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模型All-CNN-C

    8)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模型All-CNN-C

    9)在CIFAR-10數(shù)據(jù)集上訓(xùn)練模型All-CNN-C

    10)在CIFAR-10子數(shù)據(jù)集1上使用遷移學(xué)習(xí)訓(xùn)練All-CNN-C,固定前面層的參數(shù)只訓(xùn)練全連接層參數(shù)

    11)在CIFAR-10子數(shù)據(jù)集2上使用遷移學(xué)習(xí)訓(xùn)練All-CNN-C,固定前面層的參數(shù)只訓(xùn)練全連接層參數(shù)

    12)在CIFAR-10子數(shù)據(jù)集1上使用遷移學(xué)習(xí)訓(xùn)練All-CNN-C,訓(xùn)練全部層參數(shù)

    13)在CIFAR-10子數(shù)據(jù)集2上使用遷移學(xué)習(xí)訓(xùn)練All-CNN-C,訓(xùn)練全部層參數(shù)

    3 ?模型結(jié)構(gòu)

    模型A是一個(gè)包含8個(gè)中間層的結(jié)構(gòu)(除去輸入層和輸出層),采用了5*5和3*3的卷積核,采用了3*3的最大值池化操作,采用了邊界填充方法,通道數(shù)由輸入的RGB的3通道,加深至96,192通道,最后減少至10通道輸出,A模型的特點(diǎn)是層數(shù)較少,保留了最大池化層,移除了全連接層用全局池化來代替。模型B和模型A較為類似,比模型A多了兩層1*1卷積運(yùn)算,達(dá)到了10個(gè)中間層,保留了最大池化層,移除了全連接層用全局池化來代替。模型C和模型B較為類似,層數(shù)和結(jié)構(gòu)一致,只是卷積核大小的選擇,以及填充的數(shù)量上有變化。模型Strided-CNN-C在模型C的基礎(chǔ)上移除了最大池化層,微調(diào)了滑動(dòng)步長(zhǎng),保持10個(gè)中間層。 模型ConvPool-CNN-C在模型C的基礎(chǔ)上增加了兩個(gè)3*3的卷積層,整個(gè)模型變得更深達(dá)到了12個(gè)中間層。模型 All-CNN-C是在模型C的基礎(chǔ)上去除了最大池化層,微調(diào)了滑動(dòng)步長(zhǎng),保持有10個(gè)中間層。模型 All-CNN-C形式很簡(jiǎn)潔,沒有池化層和全連接層,整個(gè)模型是一個(gè)全卷積網(wǎng)絡(luò)構(gòu)架。6個(gè)模型全部采用了dropout的正則化方法,減少過擬合。

    兩個(gè)遷移學(xué)習(xí)的模型是使用的All-CNN-C的模型(全連接層訓(xùn)練feature extractor和全部參數(shù)訓(xùn)練fine tuning)。所有的模型都是使用的線性整流激活函數(shù)(ReLU),用于文獻(xiàn)[2]中提到的在每一卷積層之后進(jìn)行非線性計(jì)算。Kaiming法向函數(shù)用于初始化每一個(gè)卷積層的參數(shù)。Dropout技術(shù)用于對(duì)模型的正則化,對(duì)輸入圖片用20% dropping 概率,在池化層后面或者被卷積所替代的池化層后面采用50%的dropping概率。2個(gè)1*1卷積層用于代替常用的全連接層,最后一個(gè)卷積層直接用全局平局池化(global average pooling)輸出至每一個(gè)softmax函數(shù)用于分類。

    文中的6個(gè)模型相比VGGNet[4]、GoogleNet[5]、ResNet[6]幾個(gè)主流模型,其特點(diǎn)在于層數(shù)較少,卷積核大小相對(duì)固定,也沒有復(fù)雜的跳層連接,舍去了池化層和全連接層。整體結(jié)構(gòu)相對(duì)簡(jiǎn)潔,是一個(gè)由全卷積網(wǎng)絡(luò)構(gòu)成的結(jié)構(gòu)。其中有一個(gè)新穎點(diǎn)是在最開始的輸入層也采用20%dropout正則化方法,減少過擬合。這樣的模型結(jié)構(gòu)利于理解,訓(xùn)練時(shí)間也較端,單個(gè)模型在幾個(gè)小時(shí)之內(nèi)就可以訓(xùn)練完成。

    4 ?超參數(shù)設(shè)置及權(quán)重初始化

    本文訓(xùn)練模型時(shí)是采用的是隨機(jī)梯度下降(SGD)的方法優(yōu)化模型,設(shè)置了0.9的動(dòng)量,每一個(gè)batch的大小是32個(gè)樣本圖片,損失函數(shù)使用的是Softmax函數(shù)。模型A、B、C、Strided-CNN-C、ConvPool-CNN-C、All-CNN-C的權(quán)重衰減率為0.001,初始學(xué)習(xí)率為0.001,一共迭代350輪,分別在[200, 250, 300]輪時(shí)以0.1的比率減小學(xué)習(xí)率。數(shù)據(jù)集CIFAR-10包含50000張訓(xùn)練樣本圖片,10000張測(cè)試樣本圖片,共計(jì)60000張圖片,10種分類,每種分類包含6000張圖片,圖片為32*32的彩色圖片。本文在使用數(shù)據(jù)集CIFAR-10訓(xùn)練模型時(shí),將50000個(gè)訓(xùn)練樣本拆分成了兩部分,其中49000張樣本圖片用于訓(xùn)練, 余下的1000張樣本圖片用于驗(yàn)證,10000張測(cè)試樣本圖片用于測(cè)試。數(shù)據(jù)集CIFAR-100也包含50000張訓(xùn)練樣本圖片和10000張測(cè)試樣本圖片,但該數(shù)據(jù)集有100種分類,每種分類包含600張圖片,圖片也是32*32的彩色圖片,在本實(shí)驗(yàn)中使用CIFAR-100數(shù)據(jù)集主要是為了進(jìn)行遷移學(xué)習(xí)訓(xùn)練,選用了其中的2個(gè)子數(shù)據(jù)集,分別為class1和class2,每個(gè)子數(shù)據(jù)集中包含5000張訓(xùn)練樣本圖片和1000張測(cè)試樣本圖片,且每個(gè)子數(shù)據(jù)集只包含10種分類。本實(shí)驗(yàn)將5000個(gè)訓(xùn)練樣本分成了兩部分,其中4900個(gè)樣本用于訓(xùn)練, 余下的100個(gè)樣本用于驗(yàn)證,1000個(gè)測(cè)試樣本還是用于測(cè)試。更多的細(xì)節(jié)可以參看表7。

    驗(yàn)證是在訓(xùn)練過程中進(jìn)行的,如果在驗(yàn)證時(shí)發(fā)現(xiàn)預(yù)測(cè)準(zhǔn)確率不高,則需要調(diào)整初始學(xué)習(xí)率、權(quán)重衰減率等參數(shù),比如在驗(yàn)證時(shí)發(fā)現(xiàn)準(zhǔn)確率提高得很慢,可以嘗試減小或增大初始學(xué)習(xí)率,學(xué)習(xí)率較大時(shí),會(huì)導(dǎo)致在優(yōu)化權(quán)重及偏重等參數(shù)時(shí),參數(shù)的改變較大,這樣就可能會(huì)出現(xiàn)躍過全局或局部最優(yōu)點(diǎn),從而比較難于收斂;如果學(xué)習(xí)率較小時(shí),會(huì)導(dǎo)致在優(yōu)化權(quán)重及偏重等參數(shù)時(shí),參數(shù)的改變較小,這樣可能會(huì)出現(xiàn)訓(xùn)練得比較慢,需要較長(zhǎng)時(shí)間才會(huì)收斂到較好的全局最優(yōu)點(diǎn)或局部最優(yōu)點(diǎn)。另外在加載數(shù)據(jù)集時(shí),也需要對(duì)數(shù)據(jù)利用訓(xùn)練集數(shù)據(jù)的均值和方差進(jìn)行正則化處理,以使數(shù)據(jù)盡量圍繞中心分布,避免出現(xiàn)狹長(zhǎng)的山谷狀分布,如果出現(xiàn)這種山谷狀分布,以某個(gè)設(shè)定的學(xué)習(xí)率訓(xùn)練模型時(shí),會(huì)導(dǎo)致在窄的方向上很容易躍過全局或局部最優(yōu)點(diǎn),而在狹長(zhǎng)的方向上卻要很久才能達(dá)到全局或局部最優(yōu)點(diǎn),從而使整個(gè)訓(xùn)練過程收斂得很慢,甚至很難達(dá)到預(yù)期效果。測(cè)試是在整個(gè)訓(xùn)練都完成后才進(jìn)行的,用于檢驗(yàn)?zāi)P陀?xùn)練的效果。

    在CIFAR-100數(shù)據(jù)集的數(shù)據(jù)集1和數(shù)據(jù)集2子集上實(shí)現(xiàn)和訓(xùn)練了兩種遷移學(xué)習(xí)模型。每個(gè)子集有5000個(gè)訓(xùn)練樣本和1000個(gè)測(cè)試樣本。訓(xùn)練樣本被分成兩部分,一部分是前4900個(gè)樣本用于訓(xùn)練,另一部分是剩下的100個(gè)樣本用于驗(yàn)證。兩種轉(zhuǎn)移學(xué)習(xí)模型都是基于All-CNN-C模型,并且使用訓(xùn)練完成的All-CNN-C模型的參數(shù),來幫助在新的數(shù)據(jù)集上訓(xùn)練。第一個(gè)使用已經(jīng)訓(xùn)練好的All-CNN-C模型作為特征提取器。它凍結(jié)了前8個(gè)卷積層,并在CIFAR-100數(shù)據(jù)集的兩個(gè)子集上重新訓(xùn)練了最后一個(gè)卷積層。第二個(gè)使用已經(jīng)訓(xùn)練好的模型All-CNN- C作為fine tuning。它使用已經(jīng)訓(xùn)練好的參數(shù)作為初始參數(shù),使用CIFAR-100數(shù)據(jù)集子集進(jìn)行新的訓(xùn)練并重新計(jì)算出全部的參數(shù)。由于數(shù)據(jù)集CIFAR-100的子集class1和class2也具有與CIFAR-10相同的10個(gè)類,這意味著兩個(gè)轉(zhuǎn)移學(xué)習(xí)模型可以與全CNN-C共享相同的網(wǎng)絡(luò)結(jié)構(gòu),并且不再需要修改最后的卷積層。

    5 ?實(shí)驗(yàn)分析

    從表8可以看出,精簡(jiǎn)之后的全卷積網(wǎng)絡(luò)(前面6個(gè)模型),依然達(dá)到了較高的檢測(cè)精度,從CIFAR-100數(shù)據(jù)集的檢測(cè)結(jié)果顯示完全不比一些復(fù)雜的結(jié)構(gòu)差太多。至2014年由VGG開始提出的觀點(diǎn),CNN網(wǎng)絡(luò)越深對(duì)檢測(cè)結(jié)果越有利,在避免梯度消失的情況下,整個(gè)深度學(xué)習(xí)的研究方向是朝著更深網(wǎng)絡(luò)結(jié)構(gòu)前進(jìn)。誠(chéng)然隨著網(wǎng)絡(luò)加深,檢測(cè)的結(jié)果也隨之提升,但是龐大網(wǎng)絡(luò)需要耗費(fèi)大量的計(jì)算資源,訓(xùn)練時(shí)間和檢測(cè)速度回會(huì)變慢,這對(duì)于嵌入式的移植往往是不利的。采用論文[2]的方法,發(fā)現(xiàn)一些精簡(jiǎn)的模型也能帶來不錯(cuò)的效果,為嵌入式移植提供了另外一種思路。雖然筆者實(shí)際仿真后的結(jié)論和論文[2]中的結(jié)論有一些微小的差距,其檢測(cè)精度比參考論文中的結(jié)論稍微低一點(diǎn),但總體很接近,詳情可以參看表8。有可能筆者還需要在超參數(shù)選擇、初始權(quán)重設(shè)置等方面需要多做嘗試和優(yōu)化。 All-CNN-C基于CIFAR-100子數(shù)據(jù)1和子數(shù)據(jù)集2的檢測(cè)結(jié)果優(yōu)于論文[2]中的結(jié)果??紤]到CIFAR-100中子數(shù)據(jù)集1和子數(shù)據(jù)集2相比論文中的全部CIFAR-100數(shù)據(jù)要小得多,所以不太適合直接進(jìn)行比較。

    All-CNN-C模型在數(shù)據(jù)集CIFAR-100的子數(shù)據(jù)集1和子數(shù)據(jù)集2上進(jìn)行遷移學(xué)習(xí)訓(xùn)練時(shí),使用了在數(shù)據(jù)集CIFAR-10上訓(xùn)練好的All-CNN-C模型參數(shù)來初始化新的All-CNN-C模型,然后用這個(gè)初始化好的新All-CNN-C模型分別訓(xùn)練了兩個(gè)遷移學(xué)習(xí)模型,第一個(gè)是特征提取器(feature extractor),即固定住除最后一個(gè)分類層外的其它卷積層,只用新數(shù)據(jù)集訓(xùn)練最后的分類層,第二個(gè)是使用新數(shù)據(jù)集調(diào)校(fine tuning)所有層的參數(shù),實(shí)驗(yàn)結(jié)果表面,第二個(gè)調(diào)校模型的準(zhǔn)確率明顯優(yōu)于第一個(gè)特征提取模型??梢妼?duì)于特有應(yīng)用環(huán)境下,使用當(dāng)前環(huán)境特有的數(shù)據(jù)采用fine tuning類型的遷移學(xué)習(xí)的方法進(jìn)行訓(xùn)練,能夠更好的提升當(dāng)前特定環(huán)境下檢測(cè)的準(zhǔn)確性。這十分有利于通用模型向?qū)S泄I(yè)領(lǐng)域應(yīng)用擴(kuò)展,在通用模型基礎(chǔ)上使用 fine tuning遷移學(xué)習(xí),以實(shí)現(xiàn)通用模型向某一領(lǐng)域的更好的擴(kuò)展,提升某一個(gè)特定環(huán)境下檢測(cè)的準(zhǔn)確率。

    6 ?結(jié)論

    雖然全卷積網(wǎng)絡(luò)結(jié)構(gòu)非常簡(jiǎn)單,但是從實(shí)驗(yàn)結(jié)果來看依然表現(xiàn)得不錯(cuò),在CIFAR-100數(shù)據(jù)集上達(dá)到了很好的精度。池化和全連接也許并不是CNN網(wǎng)絡(luò)中最必須的結(jié)構(gòu)。由此看來CNN未來的發(fā)展的趨勢(shì)有可能在保證精度的情況下模型變得更加簡(jiǎn)單,以便于在不同環(huán)境下的應(yīng)用。通過遷移學(xué)習(xí)的方法能夠避免從零開始訓(xùn)練模型,共享一些權(quán)重參數(shù),也能夠訓(xùn)練特定環(huán)境下的數(shù)據(jù)以提升在這個(gè)環(huán)境下的檢測(cè)的準(zhǔn)確性。在受限平臺(tái)如單片機(jī)、工控機(jī),不通網(wǎng)絡(luò)環(huán)境或者緊急情況需要依賴本地資源計(jì)算的場(chǎng)景,非常適用精簡(jiǎn)模型。更精簡(jiǎn)、更具有針對(duì)性樣本資料訓(xùn)練,也許能夠帶領(lǐng)CNN網(wǎng)絡(luò)進(jìn)入更廣闊的工程應(yīng)用領(lǐng)域。

    參考文獻(xiàn)

    [1] Murphy J. An Overview of Convolutional Neural Network Architectures for Deep Learning [J]. 2016.

    [2] Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for simplicity: The all convolutional net [J]. arXiv preprint arXiv:1412.6806, 2014.

    [3] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classi-fication with deep convolutional neural networks[C]//Adv-ances in neural information processing systems. 2012: 1097- 1105.

    [4] Simonyan K, Zisserman A. Very deep convolutional net-works for large-scale image recognition [J]. ArXiv preprint arXiv: 1409.1556, 2014.

    [5] Szegedy C, Liu W, Jia Y, et al. Going deeper with convo-lutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.

    [6] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

    [7] https://pytorch.org/docs/stable/

    [8] https://github.com/pytorch/vision/blob/master/torchvision/datasets/cifar.py

    猜你喜歡
    支持向量機(jī)主成分分析人臉識(shí)別
    人臉識(shí)別 等
    揭開人臉識(shí)別的神秘面紗
    動(dòng)態(tài)場(chǎng)景中的視覺目標(biāo)識(shí)別方法分析
    論提高裝備故障預(yù)測(cè)準(zhǔn)確度的方法途徑
    主成分分析法在大學(xué)英語寫作評(píng)價(jià)中的應(yīng)用
    江蘇省客源市場(chǎng)影響因素研究
    基于熵技術(shù)的公共事業(yè)費(fèi)最優(yōu)組合預(yù)測(cè)
    SPSS在環(huán)境地球化學(xué)中的應(yīng)用
    考試周刊(2016年84期)2016-11-11 23:57:34
    長(zhǎng)沙建設(shè)國(guó)家中心城市的瓶頸及其解決路徑
    基于支持向量機(jī)的金融數(shù)據(jù)分析研究
    www.自偷自拍.com| 亚洲中文av在线| 天天影视国产精品| 黄色视频在线播放观看不卡| 国产精品成人在线| 大话2 男鬼变身卡| 赤兔流量卡办理| 欧美成人精品欧美一级黄| 亚洲av在线观看美女高潮| 女人被躁到高潮嗷嗷叫费观| 水蜜桃什么品种好| 国产精品久久久久久av不卡| 久久青草综合色| 777久久人妻少妇嫩草av网站| 伊人久久国产一区二区| 亚洲,欧美,日韩| 中文字幕人妻丝袜制服| 国产精品一国产av| 成人影院久久| 韩国高清视频一区二区三区| 99re6热这里在线精品视频| 亚洲激情五月婷婷啪啪| 青春草亚洲视频在线观看| 欧美精品亚洲一区二区| 日韩一区二区视频免费看| 天堂中文最新版在线下载| 日本色播在线视频| 26uuu在线亚洲综合色| 多毛熟女@视频| 亚洲欧美中文字幕日韩二区| 欧美97在线视频| 90打野战视频偷拍视频| 色婷婷av一区二区三区视频| av在线播放精品| 三级国产精品片| 成人午夜精彩视频在线观看| 母亲3免费完整高清在线观看 | 一级毛片电影观看| 日韩 亚洲 欧美在线| 国产淫语在线视频| 欧美xxⅹ黑人| 少妇人妻 视频| 人人妻人人添人人爽欧美一区卜| 国产乱来视频区| 国产又色又爽无遮挡免| 成人手机av| 国产高清国产精品国产三级| 另类精品久久| 在线精品无人区一区二区三| 又大又黄又爽视频免费| 美女福利国产在线| 97在线人人人人妻| 久久人妻熟女aⅴ| av免费在线看不卡| 欧美国产精品va在线观看不卡| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲精品aⅴ在线观看| 少妇的丰满在线观看| 咕卡用的链子| 天天影视国产精品| 最新的欧美精品一区二区| 男女边吃奶边做爰视频| 国产精品一二三区在线看| 国产精品不卡视频一区二区| 免费观看a级毛片全部| 色视频在线一区二区三区| 另类精品久久| www.av在线官网国产| 欧美日韩一级在线毛片| 丝袜美足系列| 精品国产一区二区三区四区第35| 国产成人精品久久二区二区91 | 97在线视频观看| 日韩免费高清中文字幕av| 国产爽快片一区二区三区| 免费大片黄手机在线观看| 如日韩欧美国产精品一区二区三区| 在线观看美女被高潮喷水网站| 丰满饥渴人妻一区二区三| 久久亚洲国产成人精品v| 免费高清在线观看视频在线观看| 国产av国产精品国产| 一边摸一边做爽爽视频免费| 免费大片黄手机在线观看| 看非洲黑人一级黄片| 国产1区2区3区精品| 天天躁夜夜躁狠狠躁躁| 免费女性裸体啪啪无遮挡网站| 日日撸夜夜添| 午夜日韩欧美国产| 亚洲国产看品久久| 天堂中文最新版在线下载| 日韩中文字幕视频在线看片| 色播在线永久视频| 亚洲欧美色中文字幕在线| 精品国产露脸久久av麻豆| 久久久久久伊人网av| 美国免费a级毛片| 三上悠亚av全集在线观看| www.av在线官网国产| 精品一区二区免费观看| 中文字幕精品免费在线观看视频| av视频免费观看在线观看| 婷婷色麻豆天堂久久| 国产日韩一区二区三区精品不卡| 国产欧美日韩一区二区三区在线| 亚洲av在线观看美女高潮| 亚洲经典国产精华液单| av网站在线播放免费| 亚洲欧美中文字幕日韩二区| 国产欧美亚洲国产| 中文字幕色久视频| 久久久精品区二区三区| 老司机影院毛片| 十分钟在线观看高清视频www| 亚洲av免费高清在线观看| 久久狼人影院| 电影成人av| 久久久久人妻精品一区果冻| 丝瓜视频免费看黄片| 伦理电影大哥的女人| 精品一区二区免费观看| 中文乱码字字幕精品一区二区三区| 在线观看免费视频网站a站| 日韩av在线免费看完整版不卡| √禁漫天堂资源中文www| 亚洲五月色婷婷综合| 亚洲成av片中文字幕在线观看 | 欧美日韩精品网址| 日韩,欧美,国产一区二区三区| 久久久精品国产亚洲av高清涩受| 黄色视频在线播放观看不卡| 99国产精品免费福利视频| 日本wwww免费看| av在线播放精品| 黄色视频在线播放观看不卡| 国产白丝娇喘喷水9色精品| 国产欧美日韩综合在线一区二区| 不卡av一区二区三区| 亚洲精品在线美女| 国产精品二区激情视频| 成人手机av| 熟女少妇亚洲综合色aaa.| 欧美成人午夜精品| 老汉色av国产亚洲站长工具| 久久久久国产一级毛片高清牌| 精品久久久精品久久久| 国产日韩欧美亚洲二区| freevideosex欧美| 好男人视频免费观看在线| 欧美精品高潮呻吟av久久| 精品国产一区二区三区久久久樱花| 爱豆传媒免费全集在线观看| 久久久精品区二区三区| 制服丝袜香蕉在线| 熟女少妇亚洲综合色aaa.| 久久久精品区二区三区| 国产成人精品久久久久久| 搡老乐熟女国产| 欧美日韩亚洲高清精品| 精品福利永久在线观看| 免费观看无遮挡的男女| 赤兔流量卡办理| 婷婷色综合大香蕉| 亚洲av免费高清在线观看| 熟女av电影| 久久精品久久久久久噜噜老黄| 夜夜骑夜夜射夜夜干| 秋霞伦理黄片| 亚洲天堂av无毛| 精品卡一卡二卡四卡免费| 欧美97在线视频| 国产精品无大码| 亚洲成人手机| av在线app专区| 中文字幕人妻丝袜制服| 观看美女的网站| 欧美成人午夜免费资源| 丝袜人妻中文字幕| 国语对白做爰xxxⅹ性视频网站| 午夜福利乱码中文字幕| 成人国产麻豆网| 欧美 亚洲 国产 日韩一| 亚洲视频免费观看视频| 久久久久精品久久久久真实原创| 亚洲精品成人av观看孕妇| 日韩,欧美,国产一区二区三区| 18禁裸乳无遮挡动漫免费视频| 精品卡一卡二卡四卡免费| 午夜免费观看性视频| 婷婷色麻豆天堂久久| 精品少妇内射三级| 少妇精品久久久久久久| 婷婷色综合大香蕉| 少妇人妻精品综合一区二区| 久久久国产精品麻豆| av网站在线播放免费| 美女视频免费永久观看网站| 天天操日日干夜夜撸| 久久久久久久久免费视频了| av在线app专区| 成人毛片a级毛片在线播放| 国产人伦9x9x在线观看 | 男女边吃奶边做爰视频| av线在线观看网站| 男女啪啪激烈高潮av片| 久久精品国产综合久久久| 久久精品aⅴ一区二区三区四区 | 999精品在线视频| 熟女电影av网| xxxhd国产人妻xxx| 另类亚洲欧美激情| 一本—道久久a久久精品蜜桃钙片| 国产精品免费视频内射| 久久久久久久久久久免费av| 久久人人爽av亚洲精品天堂| 国产日韩欧美在线精品| 日韩制服骚丝袜av| 亚洲欧美日韩另类电影网站| 香蕉丝袜av| 成人18禁高潮啪啪吃奶动态图| 亚洲精品一区蜜桃| 午夜av观看不卡| 2021少妇久久久久久久久久久| 亚洲第一青青草原| 一级毛片 在线播放| 久久久精品区二区三区| 电影成人av| 亚洲国产欧美网| 亚洲欧美成人精品一区二区| av又黄又爽大尺度在线免费看| 在线观看www视频免费| 成人亚洲欧美一区二区av| 伦理电影免费视频| 国产免费又黄又爽又色| 精品国产一区二区久久| 久久久久久免费高清国产稀缺| 精品国产露脸久久av麻豆| 人人澡人人妻人| 极品少妇高潮喷水抽搐| av免费观看日本| 9热在线视频观看99| 大香蕉久久网| 亚洲国产精品一区三区| 日韩视频在线欧美| 久久这里只有精品19| 亚洲三区欧美一区| 人成视频在线观看免费观看| 中文字幕精品免费在线观看视频| 国产精品一区二区在线观看99| 久久久精品94久久精品| 亚洲国产毛片av蜜桃av| 久久这里只有精品19| 国产乱来视频区| 午夜福利一区二区在线看| 又大又黄又爽视频免费| 亚洲欧美中文字幕日韩二区| 你懂的网址亚洲精品在线观看| 国产高清国产精品国产三级| h视频一区二区三区| 少妇人妻 视频| 看免费成人av毛片| 五月伊人婷婷丁香| 久久97久久精品| 菩萨蛮人人尽说江南好唐韦庄| 久久久精品国产亚洲av高清涩受| 91久久精品国产一区二区三区| 9热在线视频观看99| 国产日韩欧美亚洲二区| 国产精品av久久久久免费| 成人国产麻豆网| 精品卡一卡二卡四卡免费| 国产亚洲精品第一综合不卡| 国产免费福利视频在线观看| 国产男人的电影天堂91| 一二三四在线观看免费中文在| 欧美老熟妇乱子伦牲交| 日本av免费视频播放| 日本爱情动作片www.在线观看| 妹子高潮喷水视频| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 午夜av观看不卡| 午夜福利在线免费观看网站| 欧美老熟妇乱子伦牲交| 久久99精品国语久久久| 欧美bdsm另类| 中文字幕精品免费在线观看视频| 成年动漫av网址| 国产av精品麻豆| 美女脱内裤让男人舔精品视频| av网站在线播放免费| 国产精品久久久久久精品电影小说| 国产在线免费精品| 大片电影免费在线观看免费| 丰满饥渴人妻一区二区三| 欧美激情 高清一区二区三区| 国产精品亚洲av一区麻豆 | 国产成人a∨麻豆精品| 国产一区有黄有色的免费视频| 亚洲第一区二区三区不卡| 有码 亚洲区| 女性被躁到高潮视频| 欧美黄色片欧美黄色片| 视频区图区小说| 午夜日韩欧美国产| 久久久国产欧美日韩av| 精品人妻偷拍中文字幕| 日本爱情动作片www.在线观看| 精品99又大又爽又粗少妇毛片| 国产免费现黄频在线看| 亚洲色图 男人天堂 中文字幕| 啦啦啦视频在线资源免费观看| 久久国产精品男人的天堂亚洲| 中文欧美无线码| 国产片特级美女逼逼视频| 精品酒店卫生间| √禁漫天堂资源中文www| 久久久久久人妻| av网站免费在线观看视频| 欧美日韩视频高清一区二区三区二| 国产精品麻豆人妻色哟哟久久| 成人手机av| 欧美人与性动交α欧美软件| 久久亚洲国产成人精品v| 日韩大片免费观看网站| 蜜桃国产av成人99| 亚洲欧美一区二区三区黑人 | 国产亚洲精品第一综合不卡| 久久99蜜桃精品久久| 久久国内精品自在自线图片| 老汉色av国产亚洲站长工具| 大片电影免费在线观看免费| 国产爽快片一区二区三区| 精品人妻偷拍中文字幕| 成人漫画全彩无遮挡| 日韩制服丝袜自拍偷拍| 久久99一区二区三区| 国产一区亚洲一区在线观看| 国产精品免费视频内射| 欧美激情极品国产一区二区三区| 亚洲综合色网址| 在线亚洲精品国产二区图片欧美| 午夜福利网站1000一区二区三区| 午夜免费鲁丝| 十八禁高潮呻吟视频| 欧美精品一区二区免费开放| 欧美日韩国产mv在线观看视频| 久久精品熟女亚洲av麻豆精品| 视频区图区小说| 老司机影院成人| 国产成人精品福利久久| 中文精品一卡2卡3卡4更新| 久久久久久免费高清国产稀缺| 国产精品一区二区在线观看99| 丰满乱子伦码专区| 久久久久久久国产电影| 寂寞人妻少妇视频99o| 青春草亚洲视频在线观看| 在线亚洲精品国产二区图片欧美| 黑丝袜美女国产一区| 色婷婷av一区二区三区视频| 欧美人与性动交α欧美软件| 精品人妻在线不人妻| 国产精品一国产av| 热re99久久国产66热| 巨乳人妻的诱惑在线观看| 麻豆av在线久日| 午夜免费鲁丝| 中文字幕制服av| 国产高清不卡午夜福利| 久久久久久伊人网av| 亚洲国产最新在线播放| 国产又爽黄色视频| 国产成人91sexporn| 精品国产超薄肉色丝袜足j| 久久99一区二区三区| 国精品久久久久久国模美| 巨乳人妻的诱惑在线观看| av免费观看日本| 国产精品熟女久久久久浪| 久久精品国产亚洲av涩爱| 爱豆传媒免费全集在线观看| 免费看av在线观看网站| 精品国产露脸久久av麻豆| 2018国产大陆天天弄谢| 日韩熟女老妇一区二区性免费视频| 国产午夜精品一二区理论片| 一区在线观看完整版| 国产精品熟女久久久久浪| 成人免费观看视频高清| 国产一区二区 视频在线| 国产精品久久久av美女十八| 国产 一区精品| 亚洲国产色片| videossex国产| 亚洲国产精品成人久久小说| 亚洲国产精品成人久久小说| kizo精华| 日韩av不卡免费在线播放| 国产日韩一区二区三区精品不卡| 在现免费观看毛片| 国产伦理片在线播放av一区| 亚洲av成人精品一二三区| 国产精品熟女久久久久浪| 80岁老熟妇乱子伦牲交| 18在线观看网站| 一区二区三区四区激情视频| 久久久久久久亚洲中文字幕| av网站免费在线观看视频| 久久综合国产亚洲精品| 久久精品国产a三级三级三级| 日本-黄色视频高清免费观看| 91久久精品国产一区二区三区| 国产成人欧美| 狠狠婷婷综合久久久久久88av| 91在线精品国自产拍蜜月| 国产又爽黄色视频| 亚洲精品日韩在线中文字幕| 啦啦啦在线免费观看视频4| 丝袜喷水一区| 人成视频在线观看免费观看| 久久久久久久久免费视频了| 老熟女久久久| 老鸭窝网址在线观看| 校园人妻丝袜中文字幕| videos熟女内射| 日韩人妻精品一区2区三区| 我的亚洲天堂| 欧美97在线视频| 一级毛片 在线播放| 熟妇人妻不卡中文字幕| freevideosex欧美| 热99国产精品久久久久久7| 大陆偷拍与自拍| 国产片内射在线| 亚洲av在线观看美女高潮| 国产黄色免费在线视频| 嫩草影院入口| 少妇被粗大的猛进出69影院| 日本wwww免费看| 18禁动态无遮挡网站| 国产黄频视频在线观看| 国产精品久久久久久精品电影小说| 最近中文字幕2019免费版| 久久国产亚洲av麻豆专区| 两个人免费观看高清视频| 国产男人的电影天堂91| 十八禁高潮呻吟视频| 观看av在线不卡| 啦啦啦啦在线视频资源| 国产免费福利视频在线观看| av电影中文网址| videosex国产| 国产亚洲最大av| 青春草视频在线免费观看| 久久久国产一区二区| 侵犯人妻中文字幕一二三四区| 国产一区二区激情短视频 | √禁漫天堂资源中文www| 国产一级毛片在线| 中文字幕另类日韩欧美亚洲嫩草| 欧美另类一区| 欧美成人午夜免费资源| 男女啪啪激烈高潮av片| 国产成人a∨麻豆精品| 久热这里只有精品99| 国产欧美日韩综合在线一区二区| a级毛片黄视频| www.av在线官网国产| 欧美中文综合在线视频| 中文字幕亚洲精品专区| 亚洲国产精品一区二区三区在线| 国产成人av激情在线播放| 老女人水多毛片| 超色免费av| 国产精品久久久久成人av| 中文字幕人妻丝袜一区二区 | 日韩精品有码人妻一区| 久久久久网色| videosex国产| 一级毛片电影观看| 午夜福利一区二区在线看| 国产亚洲午夜精品一区二区久久| 男女无遮挡免费网站观看| 成人国语在线视频| 高清在线视频一区二区三区| 2022亚洲国产成人精品| 日韩欧美精品免费久久| 欧美变态另类bdsm刘玥| 亚洲人成电影观看| 欧美国产精品va在线观看不卡| 在线精品无人区一区二区三| 在线观看三级黄色| 伊人久久大香线蕉亚洲五| 日韩人妻精品一区2区三区| 久久午夜福利片| 免费在线观看完整版高清| 国产一区亚洲一区在线观看| 晚上一个人看的免费电影| 制服丝袜香蕉在线| 欧美国产精品va在线观看不卡| 国产一区二区激情短视频 | 91国产中文字幕| 亚洲色图综合在线观看| 国产日韩欧美在线精品| 国产 一区精品| 老司机影院成人| 欧美日本中文国产一区发布| 中文字幕色久视频| 婷婷成人精品国产| 日本-黄色视频高清免费观看| 久久人人爽av亚洲精品天堂| 国产亚洲精品第一综合不卡| 亚洲精品自拍成人| 日日摸夜夜添夜夜爱| 久久久久久久大尺度免费视频| 国产一区二区三区综合在线观看| 制服人妻中文乱码| 欧美激情 高清一区二区三区| 欧美精品国产亚洲| 免费黄频网站在线观看国产| 男人操女人黄网站| 国产精品国产三级国产专区5o| 边亲边吃奶的免费视频| av电影中文网址| 亚洲成色77777| 青青草视频在线视频观看| 亚洲国产看品久久| 欧美bdsm另类| 国产精品久久久久久精品古装| 交换朋友夫妻互换小说| 性色avwww在线观看| 岛国毛片在线播放| 国产精品女同一区二区软件| 午夜免费观看性视频| 大码成人一级视频| 久久精品国产鲁丝片午夜精品| 69精品国产乱码久久久| 人妻系列 视频| 老鸭窝网址在线观看| 国产精品嫩草影院av在线观看| 国产高清不卡午夜福利| av在线播放精品| 欧美人与善性xxx| 亚洲av福利一区| 亚洲少妇的诱惑av| 色婷婷av一区二区三区视频| 午夜精品国产一区二区电影| 在线观看免费日韩欧美大片| 国产日韩欧美视频二区| freevideosex欧美| 国产一级毛片在线| 色婷婷av一区二区三区视频| 青春草视频在线免费观看| 国产片内射在线| 18+在线观看网站| av天堂久久9| 考比视频在线观看| 亚洲欧洲日产国产| 在线观看免费视频网站a站| av网站在线播放免费| 少妇精品久久久久久久| 亚洲av.av天堂| 女人高潮潮喷娇喘18禁视频| 看非洲黑人一级黄片| 欧美 日韩 精品 国产| 制服诱惑二区| 免费看av在线观看网站| 国产精品国产三级专区第一集| 美女国产高潮福利片在线看| 亚洲国产精品一区二区三区在线| 超碰成人久久| 日本免费在线观看一区| 国产免费一区二区三区四区乱码| 国产精品.久久久| 最近中文字幕高清免费大全6| 高清视频免费观看一区二区| 国产亚洲最大av| 久久这里有精品视频免费| 国产亚洲欧美精品永久| 在线观看一区二区三区激情| 中国三级夫妇交换| tube8黄色片| 成年女人毛片免费观看观看9 | 在线观看www视频免费| 久久99蜜桃精品久久| 女的被弄到高潮叫床怎么办| 又大又黄又爽视频免费| www.自偷自拍.com| 视频区图区小说| 亚洲av在线观看美女高潮| 极品人妻少妇av视频| 97在线人人人人妻| 国产精品亚洲av一区麻豆 | 涩涩av久久男人的天堂| 美女国产视频在线观看| 久久久国产欧美日韩av| 各种免费的搞黄视频| 欧美97在线视频| 夫妻午夜视频| 尾随美女入室| 91在线精品国自产拍蜜月| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 91精品伊人久久大香线蕉| 波野结衣二区三区在线| 99九九在线精品视频| 黄频高清免费视频| av女优亚洲男人天堂| 男女边摸边吃奶| 一级黄片播放器| av在线观看视频网站免费| 老汉色∧v一级毛片| 美女主播在线视频| 久久久久久久国产电影| 亚洲欧洲国产日韩|