池化層
- 面向神經(jīng)網(wǎng)絡(luò)池化層的靈活高效硬件設(shè)計
多數(shù)網(wǎng)絡(luò)都需要池化層來降低卷積層輸出的特征向量。對于池化層，研究者們提出了許多硬件方案：陳浩敏等人[4]基于YOLOv3-tiny的硬件加速設(shè)計中池化層輸入圖像最大可支持416，但僅支持核大小為2×2 的池化。許杰等人[5]設(shè)計的cifar10_quick 優(yōu)化網(wǎng)絡(luò)，采取兩兩比較的層間流水實現(xiàn)核2×2的池化，該方法無任何數(shù)據(jù)復(fù)用，因此在重疊池化中性能較低。Cho 等人[6]的卷積神經(jīng)網(wǎng)絡(luò)加速器使用HLS（high-level synthesis）設(shè)計，HL
計算機工程與應(yīng)用 2023年22期2023-11-27
- 基于VGGNet深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法研究
網(wǎng)絡(luò)由卷積層、池化層和全連接層組成。卷積層是對輸入數(shù)據(jù)矩陣進行特征的采集，卷積層參數(shù)包括卷積核、輸入數(shù)據(jù)矩陣的填充(padding)和卷積核的滑動步長(stride)。如圖1 所示，卷積層的輸入是一個單通道4×4 的特征圖，采用單通道的3×2 的卷積核進行卷積，最終得到一個2×3的特征圖，這個特征圖就是卷積層的輸出特征圖。圖1中，輸入特征圖填充為0，卷積核從左到右、從上到下，以步長1在輸入特征圖上不斷滑動遍歷計算可得到特征圖。輸出特征圖的尺寸和輸入特征圖尺
電腦知識與技術(shù) 2023年25期2023-11-06
- 基于卷積神經(jīng)網(wǎng)絡(luò)的指揮控制專網(wǎng)DDoS 檢測方法*
入層、卷積層、池化層、全連接層和輸出層組成。不同結(jié)構(gòu)的CNN 具有不同數(shù)量的卷積層和池化層。假設(shè)CNN 的輸入特征是第i層的特征圖是Mi(M0=X)。那么，卷積過程可以表示為式（2）：其中Wi是第i層的卷積核權(quán)重向量，運算符號?代表卷積運算，bi是第i層的偏移向量；f(*)是激活函數(shù)。卷積層通過指定不同的窗口值提取數(shù)據(jù)矩陣Mi-1的不同特征信息，通過不同的卷積核提取數(shù)據(jù)中不同的特征Mi。在卷積操作中，同一個卷積核遵循“參數(shù)共享”的原則，顯著減少神經(jīng)網(wǎng)絡(luò)的參
艦船電子工程 2023年5期2023-08-30
- 基于多頭自注意力機制和卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)損傷識別研究
、若干個卷積和池化層、多頭自注意力層、全局池化層和Softmax分類層堆疊組成，如圖1所示。模型中輸入層輸入結(jié)構(gòu)受到動力作用后各個測點上產(chǎn)生的加速度信號；卷積層和池化層提取輸入加速度信號中的短期局部特征并實現(xiàn)降維；多頭自注意力層通過關(guān)注池化層輸出序列在不同位置、不同表征子空間中的關(guān)鍵信息，學(xué)習(xí)長期全局特征；全局池化層對序列各個位置的信息進行匯總并壓縮；最后將全局池化層的輸出經(jīng)過全連接層后再通過Softmax進行分類，類別數(shù)對應(yīng)損傷模式的個數(shù)，每個神經(jīng)元輸出
振動與沖擊 2022年24期2023-01-03
- TensorFlow下基于CNN卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別研究
入層、卷積層、池化層、全連接層和輸出層組成。CNN主要有兩個處理階段：特征學(xué)習(xí)階段和分類階段，特征學(xué)習(xí)階段通過卷積層和池化層結(jié)合來實現(xiàn)，這個階段是從訓(xùn)練示例中提取最重要的特征，然后把這些提取的特征傳送到全連接層，深度神經(jīng)網(wǎng)絡(luò)的最后一層往往是全連接層+Softmax分類網(wǎng)絡(luò)，生成一個等于項目中所需要類的數(shù)量的分類器。卷積神經(jīng)網(wǎng)絡(luò)中有多個卷積層，功能是對輸入數(shù)據(jù)進行特征提取。卷積層由多個卷積核組成，其優(yōu)點是先局部感知，然后在高層綜合局部信息從而得到全局信息；卷
信息記錄材料 2022年9期2022-11-22
- 基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別研究
Layer)、池化層(Pooling Layer，也叫下采樣層)以及激活層，使得神經(jīng)網(wǎng)絡(luò)的層數(shù)加深.為了實現(xiàn)分類功能，還會設(shè)置一個全連接層(Fully Connected Layer, FC Layer)作為最后的輸出層，進行損失計算并輸出分類結(jié)果[7].圖像識別的卷積神經(jīng)網(wǎng)絡(luò)模型如圖1所示.最左邊是輸入圖像，以若干個數(shù)據(jù)矩陣的形式輸入；接著是卷積層，卷積層是卷積神經(jīng)網(wǎng)絡(luò)特有的，卷積層可以加上激活函數(shù)；在卷積層后面是池化層，池化層沒有激活函數(shù).“卷積層+池
蘭州文理學(xué)院學(xué)報(自然科學(xué)版) 2022年5期2022-09-24
- 基于遷移學(xué)習(xí)的小型卷積神經(jīng)網(wǎng)絡(luò)的圖像分類研究
入層、卷積層、池化層以及全連接層等結(jié)構(gòu)組成，其中卷積層和池化層，它們的主要作用將網(wǎng)絡(luò)輸入的數(shù)據(jù)集中的相關(guān)特征進行提取，全連接層主要對數(shù)據(jù)集的結(jié)果進行分類。2.1.1 卷積層卷積層作為卷積神經(jīng)網(wǎng)絡(luò)的重要模塊，通過在卷積層中組合不同類別的卷積核，實現(xiàn)對數(shù)據(jù)集中的圖像區(qū)域內(nèi)的像素進行卷積計算，進而對數(shù)據(jù)集中的特征進行提取。卷積核類別的不同，提取得到的特征變量也不同，使用高級別的卷積核對輸入數(shù)據(jù)集的輸入特征進行提取，可以得到數(shù)據(jù)集的高維特征，使用低級別的卷積核對輸
電子技術(shù)與軟件工程 2022年6期2022-07-07
- 基于深度學(xué)習(xí)的ECG信號分類
結(jié)構(gòu)中加入最大池化層和擴張卷積，增大感受野，減少訓(xùn)練參數(shù)。相比原始二維GoogLeNet和無添加最大池化層和擴張卷積的一維GoogLeNet，一維改進GoogLeNet網(wǎng)絡(luò)的訓(xùn)練效率和測試效果有所提升，可達到99.39%的心電信號分類準確率。1 數(shù)據(jù)集及數(shù)據(jù)處理1.1 數(shù)據(jù)集本文實驗采用MIT-BIH心律失常數(shù)據(jù)庫(MIT-BIH Arrhythmia Database)[11]，其中共包括48條雙通道動態(tài)ECG記錄，每條記錄的心跳持續(xù)時間為30 min，
計算機與現(xiàn)代化 2022年5期2022-06-02
- 基于MDM-ResNet的腦腫瘤分類方法
文提出了雙通道池化層.3)通過對多種ResNet中殘差塊的研究,本文提出了一種多深度融合殘差塊,該殘差塊將不同ResNet中“跳躍連接”跳過的卷積單元相結(jié)合,同時保留“跳躍連接”,在結(jié)合多種卷積方式的同時也增加了殘差塊的寬度.將以上三種結(jié)構(gòu)融合組成了本文的分類網(wǎng)絡(luò),即MDM-ResNet．1 相關(guān)工作腦腫瘤的分類已經(jīng)得到了廣泛的關(guān)注,在過去的幾年中研究者們提出了多種分類方法．Cheng等[16]提出了一種基于DNN的方法對大腦正常和異常的CT圖像進行分類,
南京信息工程大學(xué)學(xué)報 2022年2期2022-05-18
- 基于VGG16 網(wǎng)絡(luò)的人臉情緒識別*
特有的卷積層、池化層這兩部分及全連接層這第三部分。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層與池化層一般情況下都會呈多次交替地出現(xiàn)，因此不同的模型具有不同的層級結(jié)構(gòu)。1.1 卷積層卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心，主要功能就是對卷積進行運算，實現(xiàn)特征提取操作。卷積核(Convolutional Kernel)的功能就是對輸入矩陣進行加權(quán)平均的一種權(quán)值定義函數(shù)，卷積核在一個特征圖上不斷地移動，與輸入矩陣根據(jù)一定的規(guī)則相乘及求和便可直接得到其特征[8]，可以直接通過一個卷積核實現(xiàn)對一
電子技術(shù)應(yīng)用 2022年1期2022-04-28
- 基于VGG16Net的人體跌倒識別研究
還包含卷積層，池化層和全連接層，這些都是卷積神經(jīng)網(wǎng)絡(luò)的重要組成部分[2]。1.1 輸入層卷積神經(jīng)網(wǎng)絡(luò)的輸入層主要用于進行數(shù)據(jù)的接收，將接收到的數(shù)據(jù)直接傳入到后續(xù)的各隱藏層之中，進行前向傳播和誤差反向傳播的訓(xùn)練，直至網(wǎng)絡(luò)達到設(shè)定的訓(xùn)練次數(shù)或者訓(xùn)練預(yù)測達到設(shè)定的閾值為止[3，4]。在輸入層后，通常會用一個卷積層進行連接。1.2 卷積層卷積神經(jīng)網(wǎng)絡(luò)的卷積層通常處于輸入層之后，主要用于進行輸入數(shù)據(jù)的特征提取。對于傳入卷積層的數(shù)據(jù)，會通過卷積操作將輸入的數(shù)據(jù)中重要的
山西電子技術(shù) 2022年2期2022-04-22
- 基于卷積神經(jīng)網(wǎng)絡(luò)的交叉口過車速度短時預(yù)測模型研究1
入層、卷積層、池化層、全連接層和輸出層構(gòu)成。卷積層和池化層可以取多個，采用卷積層和池化層交替設(shè)置方式。卷積層輸出特征面的每個神經(jīng)元與其輸入進行局部連接，并通過對應(yīng)的連接權(quán)值與局部輸入進行加權(quán)求和，并加上偏置值，得到神經(jīng)元的輸入值。在大數(shù)據(jù)和云計算支撐下，采用卷積神經(jīng)網(wǎng)絡(luò)開展交叉口的過車速度預(yù)測，發(fā)揮多層的人工神經(jīng)網(wǎng)絡(luò)所具有的優(yōu)異的特征學(xué)習(xí)能力，既可以快速準確地挖掘出隱藏在交通大數(shù)據(jù)背后的數(shù)據(jù)關(guān)聯(lián)關(guān)系，又可以避免基于統(tǒng)計方法的預(yù)測算法存在的“突發(fā)、異常”場景
交通與港航 2022年1期2022-03-03
- 一種基于FPGA 的卷積神經(jīng)網(wǎng)絡(luò)加速器實現(xiàn)方案*
入層、卷積層、池化層、全連接層及輸出層構(gòu)成,通常采用多個卷積層和池化層交替出現(xiàn)的結(jié)構(gòu),在卷積層、池化層、全連接層中,層內(nèi)部的運算都是相互獨立的,靠后的層內(nèi)運算不會影響靠前的層內(nèi)運算,換言之,以并行的方式實現(xiàn)CNN 的網(wǎng)絡(luò)結(jié)構(gòu)是可行的。 在文獻[5]中,作者率先指出CNN 并行特征可以概括為層間并行性、輸出間并行性、卷積核間并行性和卷積核內(nèi)并行性四種類型。 但在實際應(yīng)用中由于各種客觀原因,無法兼顧四種并行性,在文獻[6]中作者將探尋CNN 并行性的最大挑戰(zhàn)總
北京電子科技學(xué)院學(xué)報 2022年4期2022-03-02
- 面向Zynq平臺的卷積神經(jīng)網(wǎng)絡(luò)單元設(shè)計與實現(xiàn)
并優(yōu)化卷積層和池化層的IP核設(shè)計.實驗結(jié)果表明，在保證手寫數(shù)字識別正確率的同時，該設(shè)計相比于基于ARM的嵌入式平臺神經(jīng)網(wǎng)絡(luò)模型運算速度有顯著提升.2 重要概念2.1 卷積神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)的一個分支，是模擬生物神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型的統(tǒng)稱，卷積神經(jīng)網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的一種常見結(jié)構(gòu)，其主要優(yōu)勢在特征提取方面.卷積神經(jīng)網(wǎng)絡(luò)主要結(jié)構(gòu)如圖1所示，包括卷積層、池化層和全連接層.其中，卷積層接受上一層的特征圖，通過多個卷積核卷積來提取特征，并輸出該層的特征圖
小型微型計算機系統(tǒng) 2022年2期2022-02-19
- 基于卷積神經(jīng)網(wǎng)絡(luò)的唐卡尊像自動分類研究
類器。卷積層和池化層的權(quán)重參數(shù)在預(yù)訓(xùn)練模型中共享，此模型對于水泥混凝土橋梁表面缺陷的分類準確率有98.96%[25]。卷積神經(jīng)網(wǎng)絡(luò)有較多改進版本，主要方法就是采用Adam算法優(yōu)化模型，通過批歸一化與Dropout改善網(wǎng)絡(luò)，緩解過擬合，不同作者有不同的網(wǎng)絡(luò)模型，但是在唐卡方面的工作并不是很多。國內(nèi)主要是對破損唐卡進行修復(fù)[26]，提出的修復(fù)方法主要適用于對稱性唐卡；再者就是唐卡圖像的檢索以及局部圖像的識別[27]，李曉杰將局部累加直方圖和傳統(tǒng)局部累加圖進行對
計算機技術(shù)與發(fā)展 2021年12期2022-01-09
- 面向人臉識別的Small-FRNet模型研究*
通常由卷積層、池化層和全連接層組成。當(dāng)卷積步長為1、零填充時，卷積層計算公式為式中W為k×k的卷積核，b為偏置值，X為M×N的輸入特征圖，H為(M-k+1)×(N-k+1)的輸出特征圖。由式(1)可知，卷積運算包含了繁雜的乘法操作，且當(dāng)輸入特征圖X和卷積核W越大，更加增加了計算開銷。同時卷積神經(jīng)網(wǎng)絡(luò)中包含的全連接層雖然能有效地預(yù)測出特征表示的所屬類別，但是其計算量也十分龐大。綜上所述，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)存在著運算量大、參數(shù)量多等問題。因此本文采用深度可分離卷
傳感器與微系統(tǒng) 2021年11期2021-11-24
- 一種基于Zynq的CNN加速器設(shè)計與實現(xiàn)
層卷積層、3層池化層和2層全連接層構(gòu)成，輸入32×32×3的圖像數(shù)據(jù)，輸出10類物體分類的結(jié)果。選擇其中數(shù)值最大的結(jié)果輸出，即為最終分類的結(jié)果。cifar10_quick模型3個池化層對應(yīng)的步長為2，池化窗口的大小為3×3，訓(xùn)練5 000個批次，達到的準確率為75%左右。文中保持3個池化層的步長為2不變，池化濾波器的大小修改為2×2，訓(xùn)練后準確率達到80%。圖1中展示了修改后cifar10_quick_v1模型的網(wǎng)絡(luò)結(jié)構(gòu)。圖1 cifar10_quick_
計算機技術(shù)與發(fā)展 2021年11期2021-11-22
- 基于卷積神經(jīng)網(wǎng)絡(luò)的羚羊圖像識別模型研究
layer)、池化層(pooling layer)、全連接層及輸出層構(gòu)成。卷積層、和池化層會存在若干個,其本質(zhì)就是交替設(shè)置，這個過程會不斷循環(huán)。在卷積神經(jīng)網(wǎng)絡(luò)之中，網(wǎng)絡(luò)中的神經(jīng)元進行局部連接的方式是每個神經(jīng)元都和上一層與下一層進行相連，然后通過對應(yīng)的連接權(quán)值和局部輸入進行加權(quán)求和的方式，最后再加上偏置值就能夠得到該神經(jīng)元輸入值,這個過程就是卷積的過程。3 卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建本次論文就是搭建卷積神經(jīng)網(wǎng)絡(luò)中的LeNet-5 網(wǎng)絡(luò)模型，由輸入層、卷積層、池化層
電子技術(shù)與軟件工程 2021年17期2021-11-20
- 在移動荷載作用下簡支梁橋的結(jié)構(gòu)損傷識別研究
過多個卷積層和池化層的交替處理后，提取原始數(shù)據(jù)的特征信息，再映射到一個新的特征表達的數(shù)學(xué)模型。CNN是典型的前饋網(wǎng)絡(luò)，先通過前饋運算從原始數(shù)據(jù)中提取數(shù)據(jù)特征，再利用反向傳播算法進行網(wǎng)絡(luò)參數(shù)的優(yōu)化，求解出最優(yōu)的權(quán)值與閾值。前饋運算，即是采用原始數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，通過卷積層將原始數(shù)據(jù)中包含的各類特征進行提取和抽象，再由非線性激活函數(shù)激活后傳入池化層，然后池化層把特征提取后的信息進行匯合和壓縮，最后將數(shù)據(jù)通過全連接的方式繼續(xù)向前運算得到計算值。所謂反向傳播，即
四川水泥 2021年9期2021-10-29
- 基于PCA-CNN的光伏電站設(shè)備故障診斷研究
型特征，再經(jīng)過池化層降低數(shù)據(jù)大小，然后接全連接層分類或者回歸任務(wù)。圖1 卷積神經(jīng)網(wǎng)絡(luò)示意圖2.2.1 卷積層卷積層是利用不同大小的卷積核與卷積核參數(shù)對輸入進行卷積操作，不同大小的卷積核獲取到的輸入特征的感受野不同，不同的卷積核參數(shù)可以獲取到不同類別的特征信息。卷積層的計算公式為:2.2.2 池化層池化層一般連接在卷積層的后面，用于對當(dāng)前輸入的下采樣，可以用于壓縮數(shù)據(jù)規(guī)模并減小過擬合現(xiàn)象。池化層根據(jù)不同的計算方式可以劃分成最大池化層、平均池化層等。池化層的計
科學(xué)技術(shù)創(chuàng)新 2021年30期2021-10-25
- 基于卷積神經(jīng)網(wǎng)絡(luò)的蠟染紋樣分類
入層、卷積層、池化層、全連接層組成。為擴展網(wǎng)絡(luò)深度，CNNs通常包含多個交替堆疊的卷積層和池化層。深層的CNNs擁有大量的參數(shù)，需要巨大的數(shù)據(jù)樣本進行長時間訓(xùn)練才能充分捕獲數(shù)據(jù)中的規(guī)律，從而取得好的分類效果。VGGNet、AlexNet等優(yōu)秀模型所使用的訓(xùn)練數(shù)據(jù)集為120萬張圖像的ImageNet數(shù)據(jù)集。在具體的應(yīng)用領(lǐng)域重新建立新的CNNs，如果數(shù)據(jù)樣本不足會導(dǎo)致網(wǎng)絡(luò)模型在訓(xùn)練過程中參數(shù)過度擬合訓(xùn)練數(shù)據(jù)集，從而影響模型的泛化性能。本文采用遷移學(xué)習(xí)的方法，對
現(xiàn)代計算機 2021年22期2021-09-06
- 卷積神經(jīng)網(wǎng)絡(luò)模型研究分析*
核心是卷積層和池化層。1 卷積神經(jīng)網(wǎng)絡(luò)的核心運算1.1 卷積層的運算(1)輸入：W1×H1×D1。(2)超參數(shù)：卷積核的個數(shù)：K，卷積核的尺寸：F，步長：S，填充：P。(3)輸出：W2×H2×D2，(4)參數(shù)：(F×F×D1+1)×K，其中，W是圖像的寬度，H是圖像的高度，D是圖像的深度。1.2 池化層運算(1)輸入：W1×H1×D1。(2)超參數(shù)：卷積核的尺寸:F，步長：S。(3)輸出：W2×H2×D2，參數(shù)：最大池化和平均池化是沒有參數(shù)的，但是一些池化
科技創(chuàng)新與應(yīng)用 2021年23期2021-08-30
- 基于核相關(guān)濾波的改進目標跟蹤算法
致是由卷積層、池化層和全連接層三大模塊組成,每一層之間都是互相連接的,通過向前反饋來求解結(jié)構(gòu)中的參數(shù)。卷積層的作用就是負責(zé)提取圖像的特征信息,這是最基本的操作。其中池化層的主要作用是減小特征維度,從而減少過擬合。全連接層是把前面已經(jīng)提取的特征全部綜合起來,常用于分類。多個卷積單元組成卷積層,每個卷積單元都有相對應(yīng)的參數(shù),這些參數(shù)是通過反向傳播計算得到的。卷積層的作用就是提取圖像特征,一般卷積層的淺層只能提取一些邊緣特征,卷積層的深層才可以提取更加復(fù)雜的特征
數(shù)字技術(shù)與應(yīng)用 2021年7期2021-08-19
- 基于FPGA和卷積神經(jīng)網(wǎng)絡(luò)的人臉識別系統(tǒng)
me方式卷積。池化層與卷積層交替循環(huán)，三次池化均為最大池化，大小為2×2。第三層池化層之后是一層全連接層和一層輸出層。經(jīng)8個輸出端的輸出層輸出預(yù)測結(jié)果。訓(xùn)練時選用的激活函數(shù)是ReLU函數(shù),使用TensorFlow自帶的AdamOptimizer優(yōu)化器對模型參數(shù)進行訓(xùn)練。模型訓(xùn)練完畢后將生成的模型文件導(dǎo)入Jupyter notebook[3][4]。2.3 生成bit文件卷積神經(jīng)網(wǎng)絡(luò)的重點在卷積層，池化層和全連接層，其中，全連接層我們通過復(fù)用卷積模塊的方式來
電子元器件與信息技術(shù) 2021年5期2021-07-27
- 基于卷積神經(jīng)網(wǎng)絡(luò)的沖擊地壓微震定位法
個卷積層、4個池化層以及2個全連接層。網(wǎng)絡(luò)的輸入層采用512*512*2的尺寸。最終到達第四個池化層后輸出32*32*128的尺寸。之后經(jīng)過全連接層計算，由于研究區(qū)域被劃分為25個區(qū)間，所以輸出采用25的模型尺寸。圖5 網(wǎng)絡(luò)結(jié)構(gòu)2.2 卷積層卷積層主要包括特征圖以及卷積核。具體的卷積操作如圖6。當(dāng)卷積核卷積位置超出特征圖有效位區(qū)域時，做填充或其他操作。然后激活函數(shù)對卷積后的值做激活操作。得到卷積層最終的輸出。圖6 卷積層的運算過程示意圖2.3 池化層池化層
電子測試 2021年13期2021-07-24
- 基于卷積神經(jīng)網(wǎng)絡(luò)的發(fā)電機運行狀態(tài)實時監(jiān)視
后使用帶有預(yù)設(shè)池化層的卷積神經(jīng)網(wǎng)絡(luò)對圖像進行多標簽分類，以實現(xiàn)發(fā)電機組運行狀態(tài)的在線識別。1 卷積神經(jīng)網(wǎng)絡(luò)和預(yù)測池化層卷積神經(jīng)網(wǎng)絡(luò)是圖像分類處理常見的人工智能算法[10-11]，由卷積層、池化層和完全連接層組成。在單標簽圖像分類應(yīng)用場景中，卷積神經(jīng)網(wǎng)絡(luò)可以有效地處理對齊良好的圖像，具備良好的分類性能[12]。然而在多標簽圖像分類應(yīng)用場景中，由于會出現(xiàn)錯位和遮擋等復(fù)雜問題，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)的分類準確性較差。為此，研究通過預(yù)測池化層對分割圖像進行特征標簽預(yù)測，
能源與環(huán)保 2021年6期2021-07-06
- 改進深度卷積神經(jīng)網(wǎng)絡(luò)及其在變工況滾動軸承故障診斷中的應(yīng)用
線性激活函數(shù)。池化層的作用是降低特征數(shù)量從而減少參數(shù)的數(shù)量,防止深度卷積神經(jīng)網(wǎng)絡(luò)過擬合。常用的池化層有最大池化層和平均池化層兩種。深度卷積神經(jīng)網(wǎng)絡(luò)通過誤差反向傳播對參數(shù)進行學(xué)習(xí),計算卷積層和池化層的梯度后再通過鏈式求導(dǎo)法可以對整個網(wǎng)絡(luò)的梯度傳播進行計算。損失函數(shù)L關(guān)于第l層的卷積核和偏置的偏導(dǎo)數(shù)為(2)(3)式中:L為損失函數(shù);W(l,p,d)為卷積核;Z(l,p)為第l層的第p個沒經(jīng)過非線性激活函數(shù)的凈活性值;X(l-1,d)為第l-1層的輸入;δ(l,
西安交通大學(xué)學(xué)報 2021年6期2021-06-07
- 基于深度學(xué)習(xí)的人臉微表情識別
過多個卷積層、池化層、全連接層和Softmax層進行微表情圖像的分類識別。卷積層再將輸入圖像經(jīng)過預(yù)處理后形成特征圖，經(jīng)過池化層將所有的特征圖都提取一樣固定長度的特征向量，再將這些特征向量都串聯(lián)在一起形成一個新的向量，最后將這個向量輸入給全連接層和Softmax層進行分類訓(xùn)練。本文的卷積神經(jīng)網(wǎng)絡(luò)主要改進了最大值池化層和結(jié)構(gòu)優(yōu)化兩個部分。1.3.1 最大值池化層池化層對圖像起到縮放的作用。經(jīng)過卷積層提取特征后，需要對其進一步的壓縮，此時需要池化層的參與。最大值
智能計算機與應(yīng)用 2021年4期2021-06-05
- 基于AlexNet 的手寫希臘字母識別研究*
入層、卷積層、池化層、全連接層和輸出層。為了提取的特征更加豐富，網(wǎng)絡(luò)模型通常由一個或多個卷積層、池化層以及全連接層構(gòu)成。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型 有LeNet-5、AlexNet、VGG、GoogleNet、ResNet以及DenseNet 等，但每個模型都有獨特的優(yōu)點與缺點[1]。隨著卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類問題比基于傳統(tǒng)的“預(yù)處理+特征提取+分類器”的方法識別效果更加良好，得到了廣泛應(yīng)用[2]。在計算機視覺、自然語言處理、醫(yī)療圖
通信技術(shù) 2021年5期2021-05-20
- VGG16 在地下排水管道缺陷圖像分類中的應(yīng)用
層、全連接層和池化層，其中卷積層用來提取圖片的特征，全連接層用來接收所有特征，池化層是為了壓縮圖像的特征，既能保存主要的特征又能降低網(wǎng)絡(luò)計算的復(fù)雜度。輸出層一般由全連接層構(gòu)成，用于生成一個分類器，對輸出值進行分類。近年來，CNN 的準確率已通過ImageNet[4]之類的大規(guī)模圖像數(shù)據(jù)集進行測試，該圖像數(shù)據(jù)集包含超過10000 萬張圖像。新的CNN 如Alexnet[5]、VGG、GoogLeNet[6]和ResNet[7]在圖像分類方面表現(xiàn)的越來越好。并
科學(xué)技術(shù)創(chuàng)新 2021年7期2021-03-23
- 基于深度學(xué)習(xí)下的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)
看是由卷積層、池化層和全連接層交替組成的［4］.而全連接前饋神經(jīng)網(wǎng)絡(luò)也可用來處理圖像信息問題.通過對兩種方法進行對比，可以發(fā)現(xiàn)，當(dāng)利用全連接網(wǎng)絡(luò)處理圖像信息時會出現(xiàn)以下兩個問題：（1）參數(shù)太多.每個連接上都存在一個權(quán)重參數(shù)，如果隱藏層的神經(jīng)元數(shù)量增多，則權(quán)重參數(shù)的數(shù)量也會隨之增多.當(dāng)訓(xùn)練該神經(jīng)網(wǎng)絡(luò)時，會產(chǎn)生參數(shù)迭代時間過長、收斂速度變慢的現(xiàn)象，同時也會容易發(fā)生過擬合現(xiàn)象［5］.（2）很難提取圖像的局部不變性特征.局部不變性特征是指局部圖像特征不隨圖像的變形
渤海大學(xué)學(xué)報（自然科學(xué)版） 2021年4期2021-03-17
- 基于改進卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識別研究
是一個全局平均池化層,在將最后的結(jié)果輸入Softmax 分類器當(dāng)中從而生成表情識別的預(yù)測值。最后的Softmax 分類器對全局平均池化層的輸出結(jié)果進行分類處理,將人臉情緒分類憤怒、沮喪、恐懼、高興、悲傷、驚訝、中性七類。1.1 卷積層卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元, 對于大型圖像處理有出色表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)中每層卷積層由若干卷積單元組成,第一層卷積層可能只能提取一些低級的特征如邊緣、線條和角等層級,更多層的
科學(xué)技術(shù)創(chuàng)新 2021年1期2021-01-20
- 基于深度學(xué)習(xí)的水下目標識別方法研究
構(gòu)包含卷積層、池化層（也稱為降采樣層）、全連接層等，卷積層和池化層通常包含多個特征圖像（由不同卷積核生成），通過多層的卷積和池化，可以將數(shù)據(jù)從二維矩陣轉(zhuǎn)化為一維特征向量，最后通過Softmax 等分類層即可獲得預(yù)測的類別標簽。圖 3 LeNet 卷積神經(jīng)網(wǎng)絡(luò)，用于識別手寫數(shù)字集Fig. 3LeNet convolutional neural network for recognizing handwritten digit sets1）卷積層卷積層是卷積神
艦船科學(xué)技術(shù) 2020年12期2021-01-19
- 可實現(xiàn)時分復(fù)用的CNN卷積層和池化層IP核設(shè)計
NN的卷積層和池化層中，每一層的卷積運算都只與當(dāng)前層的特征運算核相關(guān)，與其他層相比具有獨立性和不相關(guān)性。而FPGA 作為一種高度密集型計算加速器件，其硬件結(jié)構(gòu)有助于算法中并行運算的加速[11]。當(dāng)前，利用FPGA 實現(xiàn)CNN 的方式以Verilog HDL 和HLS 為主。北京大學(xué)軟件與微電子學(xué)院采用Verilog HDL語言來設(shè)計IP核[12]，并根據(jù)CNN模型設(shè)置了多種不同種類的IP 核，可實例化不同的CNN網(wǎng)絡(luò)，充分利用FPGA 的并行性提升了CNN
計算機工程與應(yīng)用 2020年24期2020-12-26
- 基于卷積神經(jīng)網(wǎng)絡(luò)的紙幣分類與點鈔
。2.1.2 池化層池化層也稱欠采樣或下采樣，主要用于特征降維、壓縮數(shù)據(jù)和參數(shù)的數(shù)量。主要有最大池化法(Max Pooling)、平均池化法(Average Pooling)以及隨機池化法(Stochastic Pooling)，在模型中采用最大池化方法，相較于平均池化法、隨機池化法，最大池化法更像是做了特征的選擇，選出了分類辨識度更好的特征，提供了非線性[5]。通過池化可以減小過擬合，提高模型的容錯性。2.1.3 全連接層池化層沒有參數(shù)，而在全連接層，全
無線互聯(lián)科技 2020年15期2020-11-10
- 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像隱寫術(shù)分析方法?
卷積層數(shù)、去掉池化層、增加卷積核，以及使用批正則化（Batch Normalization，BN）函數(shù)對隱寫分析準確率的影響。實驗表明，針對HUGO隱寫算法，在嵌入率為0.4bpp的情況下本文算法能達到89%的檢測準確率。比文獻［14］提高了12%；在嵌入率為0.1bpp 的情況下，本文算法能夠達到80.1%，能夠提高19%。2 本文方法2.1 卷積網(wǎng)絡(luò)框架本文采用如圖1 所示的卷積神經(jīng)網(wǎng)絡(luò)框架，主要模塊包括輸出層、HPF 層、卷積層、池化層、全連接層和輸
計算機與數(shù)字工程 2020年8期2020-10-14
- 基于聯(lián)合抗噪算法的滾動軸承故障診斷研究
E 模型了舍棄池化層以減少1D-DCAE 在數(shù)據(jù)重構(gòu)過程中造成的信息丟失，從而提升降噪能力。1 卷積降噪自編碼和卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1.1 一維卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（convolitional neural network，CNN）是一種多模塊的前饋神經(jīng)網(wǎng)絡(luò)，傳統(tǒng)CNN 的結(jié)構(gòu)主要由特征提取模塊和分類模塊2 個部分組成，特征提取模塊由輸入層、卷積層、激活函數(shù)、池化層組成，分類模塊包含全連接層和分類層。 特征提取模塊的作用是從數(shù)據(jù)中提取特征，分類模塊實現(xiàn)對隱
華東交通大學(xué)學(xué)報 2020年4期2020-09-21
- 基于改進LeNet-5的牛奶生產(chǎn)日期識別研究
入層、卷積層、池化層、全連接層及輸出層。1.1 輸入層卷積神經(jīng)網(wǎng)絡(luò)的輸入層能夠直接接收二維圖像，并且能夠主動提取輸入圖像的數(shù)據(jù)特征、學(xué)習(xí)分類器，無需人為參與，大大減少了人工預(yù)處理過程，有助于學(xué)習(xí)與當(dāng)前分類任務(wù)最為有效的視覺特征。1.2 卷積層卷積層是卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)核心，主要用作圖像的特征提取。通過一個可學(xué)習(xí)的卷積核對上一層的特征圖進行卷積，再經(jīng)過激活函數(shù)，就能夠獲得新的特征圖。之后繼續(xù)對特征圖進行卷積，特征之間繼續(xù)組合卷積多個特征圖的值[15]：(1)
計算機技術(shù)與發(fā)展 2020年7期2020-07-15
- 基于卷積神經(jīng)網(wǎng)絡(luò)的JPEG 圖像隱寫分析方法研究
的丟失，不使用池化層，并加入了跳轉(zhuǎn)鏈接，以防梯度消失現(xiàn)象出現(xiàn)。Zeng 等人[2]提出一個含有三個卷積神經(jīng)網(wǎng)絡(luò)深層子網(wǎng)絡(luò)的JPEG 圖像隱寫分析模型HCNN，取得較好的效果。甘霖[3]設(shè)計一種在空域感知像素的變化，以此來檢測變換域是否有秘密信息嵌入的模型，該模型對HCNN 的復(fù)雜結(jié)構(gòu)進行了簡化，減少了參數(shù)變量，使計算開銷更低。甘霖[3]提取的網(wǎng)絡(luò)模型JPEGCNN 通過優(yōu)化HCNN 結(jié)構(gòu)取得更好的分類檢測效果。但該模型使用的池化層會丟失一些信息，并且卷積核
現(xiàn)代計算機 2020年15期2020-07-07
- 基于膠囊網(wǎng)絡(luò)的三維模型識別
絡(luò)的設(shè)計中使用池化層在一定程度上增大了神經(jīng)元的感受野以及降低了樣本訓(xùn)練的開銷，但是大量池化層的使用會造成原始數(shù)據(jù)結(jié)構(gòu)信息的丟失，從而對最終的識別結(jié)果造成不良影響。Hinton等［5］于2017年提出的膠囊網(wǎng)絡(luò)創(chuàng)新地使用向量膠囊取代傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的標量神經(jīng)元，舍棄了池化層，并提出了動態(tài)路由（Dynamic Routing，DR）算法更新膠囊之間的連接權(quán)重，從而較好地保留了特征的空間信息，在MINIST手寫數(shù)字識別上達到了99.2%識別準確率。自膠囊網(wǎng)絡(luò)誕生之后
計算機應(yīng)用 2020年5期2020-06-07
- 一種基于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)損傷檢測方法
連接、卷積層和池化層，從而可以大幅減少網(wǎng)絡(luò)訓(xùn)練的權(quán)重數(shù)量，減少模型復(fù)雜度，防止過擬合等，目前已經(jīng)在語音識別、自然語音處理等方面取得了大量的研究成果［12-16］. 在結(jié)構(gòu)損傷識別方面，Cha等［17］利用卷積神經(jīng)網(wǎng)絡(luò)通過識別混凝土裂縫的圖片來檢測損傷，將訓(xùn)練好的CNN對來自不同條件下（例如強光、陰影和非常薄的裂縫）結(jié)構(gòu)的55 張5888×3584 像素分辨率的圖像進行預(yù)測，結(jié)果表明該方法具有良好的魯棒性和適應(yīng)性. Lin等［18］和李雪松等［19-20］分
河南科學(xué) 2020年4期2020-06-03
- 基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的人體行為識別研究
個卷積層和一個池化層，兩個卷積層的卷積核的大小都為3×3，兩個卷積核的個數(shù)都是64，步長為1。池化層采用最大池化，池化層的窗口大小為2×2，步長為2。第二復(fù)合卷積層包含兩個卷積層和一個池化層，兩個卷積層的卷積核的大小都為3×3，兩個卷積核的個數(shù)都是128，步長為1。池化層采用最大池化，池化層的窗口大小為2×2，步長為2。第三復(fù)合卷積層包含三個卷積層和一個池化層，三個卷積層的卷積核的大小都為3×3，三個卷積核的個數(shù)都是256，步長為1。池化層采用最大池化，池
科技傳播 2020年6期2020-05-25
- 一種基于注意力機制的三維點云物體識別方法
卷積層替代最大池化層，減少池化過程的信息損失。2 相關(guān)工作三維點云的特征提取技術(shù)在與點云相關(guān)的應(yīng)用中發(fā)揮著重要作用。與深度學(xué)習(xí)特征有關(guān)的主流的點云特征提取方法主要可以分為三類：體素化方法[4]、多視圖方法、最大池化方法。體素化方法可以視作二維卷積在三維空間上的拓展與應(yīng)用。體素化方法結(jié)構(gòu)簡單，但是在三維空間構(gòu)造網(wǎng)格對內(nèi)存資源消耗大，并且點云在空間中的分布往往是稀疏的，直接對空網(wǎng)格進行卷積會造成不必要的計算資源浪費。所以單純的體素化方法一般難以完成高分辨率點云
計算機技術(shù)與發(fā)展 2020年4期2020-04-30
- 基于一維卷積網(wǎng)絡(luò)的心電圖輔助診斷方法
量;此外,一維池化層可以降低特征分辨率,抽取更上層的特征,進一步減少參數(shù)量,提高了訓(xùn)練和預(yù)測時的速度,同時也降低了對硬件的要求; 一維卷積神經(jīng)網(wǎng)絡(luò)是一種端到端的結(jié)構(gòu),輸入序列數(shù)據(jù),自動提取特征,自動完成分類診斷工作,魯棒性極高,可以勝任不同場景下的心電識別工作。2.2 網(wǎng)絡(luò)結(jié)構(gòu)一維卷積神經(jīng)網(wǎng)絡(luò)一般包括輸入層、一維卷積層、激活層、一維池化層、隨機失活層、全連接層等結(jié)構(gòu),各層的結(jié)構(gòu)如下:2.2.1 輸入層:本質(zhì)上是一個輸入變量,作用是接收序列樣本,其輸入張量的
科學(xué)技術(shù)創(chuàng)新 2020年3期2020-03-24
- 基于全卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷
通常由卷積層、池化層和全連接層組成。全卷積神經(jīng)網(wǎng)絡(luò)用卷積層代替了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層，通過卷積層的局部連接和權(quán)值共享特性，進一步減少了網(wǎng)絡(luò)的訓(xùn)練參數(shù)，可靠性也得到了提高。1.1 卷積層全卷積神經(jīng)網(wǎng)絡(luò)的核心是卷積層，將前一層通過不同的卷積核對進行卷積運算可以得到下一層的卷積層。卷積核與前一層的局部感受也相連，具有局部特征提取和共享權(quán)值的特點[3]。因為全卷積的卷積層是局部連接，所以其所需要的權(quán)重參數(shù)比傳統(tǒng)全連接層的全連接需要的權(quán)重參數(shù)更少，基于此，全卷
科技創(chuàng)新與應(yīng)用 2020年4期2020-02-25
- 基于值導(dǎo)數(shù)GRU 的移動惡意軟件流量檢測方法
此外，通過增設(shè)池化層使值導(dǎo)數(shù)GRU 算法獲取流量的重要信息。實驗結(jié)果表明，基于值導(dǎo)數(shù)GRU 的移動惡意軟件流量檢測方法比GRU 算法擁有更高的準確率。2 GRU 算法循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrent neural network）[15]是一種處理序列數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)。通過在相鄰時間步的隱層單元之間引入循環(huán)連接，RNN 能夠有效地利用歷史信息來執(zhí)行當(dāng)前決策。但是，經(jīng)過多階段傳播的RNN 梯度傾向于消失或爆炸，導(dǎo)致RNN 喪失學(xué)習(xí)長期依賴的能力，這
通信學(xué)報 2020年1期2020-02-09
- 基于細節(jié)提取的運動目標追蹤算法①
是若干卷積層和池化層(經(jīng)典Alexnet采用5層卷積層),網(wǎng)絡(luò)通過φ函數(shù)得到128個通道的特征圖,并將兩個特征圖通過深度卷積進行融合定位視頻中目標位置.圖1 SiamFC網(wǎng)絡(luò)基礎(chǔ)架構(gòu)1 視頻中運動目標追蹤由于CNN網(wǎng)絡(luò)在目標檢測領(lǐng)域取得良好的效果,能有效記憶目標的特征,所以CNN網(wǎng)絡(luò)也被引入追蹤網(wǎng)絡(luò)算法中[9].SiamFC網(wǎng)絡(luò)在VOT2016 (Visual Object Tracking)競賽中獲得良好的比賽成績,相較KCF(Kernelized co
計算機系統(tǒng)應(yīng)用 2020年1期2020-01-15
- 基于深度學(xué)習(xí)的人體行為識別技術(shù)研究
函數(shù)。1.2 池化層池化層采用局部求均值的方式進行降維[1]。詳細運算過程如式（2）所示。其中，Xil，j為進行池化過程后局部的一個輸出項，它是由上一層大小為n×n的局部小矩陣進行均值運算得到的。2 ?基于3D卷積神經(jīng)網(wǎng)絡(luò)的行為識別模型3D卷積神經(jīng)網(wǎng)絡(luò)的是由8個卷積層、5個池化層、兩個全連接層和一個softmax分類層組成的，該文采用大小為 3×3×3的卷積核，步長均為1×1×1。所有池化層都采用最大池化，除第一個池化層外，所有池化層的池化核大小均設(shè)為2×
科技資訊 2019年29期2019-12-10
- 基于BWDSP眾核的CNN計算任務(wù)劃分優(yōu)化①
主要由卷積層、池化層和全連接層三類層次組成.在較為復(fù)雜的CNN 模型中,隱藏層可能會包含多段卷積和池化層.其中卷積層主要用來實現(xiàn)對輸入的數(shù)據(jù)的特征的提取,池化層主要是對特征進行選擇和信息過濾,而全連接層一般是作為隱藏層的最后一部分,并將所包含的信息傳遞給下一層全連接層.如圖1顯示的是較為簡單的CNN 模型-LeNet5[7],其是LeCun Y 設(shè)計用于手寫數(shù)字識別的卷積神經(jīng)網(wǎng)絡(luò),具有2 個卷積層,2 個池化層和2 個全連接層.圖1 LeNet5 網(wǎng)絡(luò)結(jié)構(gòu)
計算機系統(tǒng)應(yīng)用 2019年9期2019-09-24
- 卷積神經(jīng)網(wǎng)絡(luò)在在線結(jié)構(gòu)健康監(jiān)測中的應(yīng)用
入層、卷積層、池化層、全連接層以及輸出層組成。其中卷積層與池化層通常交替分布，通過反復(fù)疊加的卷積池化層，可以將低層特征逐步變?yōu)楦邔犹卣鳌D1由1個輸入層、2個卷積層、2個池化層、2個全連接層和1個輸出層組成。而且從圖中可以發(fā)現(xiàn)，卷積層和池化層中的卷積核和池化采樣矩陣的數(shù)量并不是只有一個，該數(shù)量稱為通道（channel）數(shù)，多通道卷積核與池化層中的采樣矩陣可以同時提取多種特征。所以卷積神經(jīng)網(wǎng)絡(luò)中，卷積核的數(shù)量與池化參數(shù)大小是非常關(guān)鍵的，圖1表示通道數(shù)不同的5
噪聲與振動控制 2019年4期2019-08-27
- 基于KPCA初始化卷積神經(jīng)網(wǎng)絡(luò)的方法
入層、卷積層、池化層、全連接層、輸出層組成，其中卷積層的可訓(xùn)練權(quán)值被稱為卷積核。卷積神經(jīng)網(wǎng)絡(luò)的初始化是針對卷積核及全連接層的權(quán)重值進行合理有效的初始化，使網(wǎng)絡(luò)降低訓(xùn)練難度，更快收斂[4]。在初始化方法中最為常見的是隨機初始化，其主要方法是通過選取某種概率分布生成一組隨機數(shù)來初始化卷積核[5]。該方法十分簡單且易于操作，但是存在較大的偶然性和不確定性，導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定性大大增加。在2010年，由Glorot等提出了Xavier算法初始化CNN，由于一般的神經(jīng)
計算機技術(shù)與發(fā)展 2019年7期2019-07-23
- 基于交叉并行卷積神經(jīng)網(wǎng)絡(luò)的貨物列車車廂號識別系統(tǒng)
交替的卷積層、池化層以及全連接層[3]，通過互聯(lián)多層的平面對獲取的子特征進行階梯式處理，經(jīng)過多次迭代操作反向調(diào)整優(yōu)化權(quán)重和偏置，從而將視覺系統(tǒng)進行模型化，使其對輸入數(shù)據(jù)的要求更低，具有更好的魯棒性和泛化力。1.1 稀疏鏈接在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，一層內(nèi)的每個神經(jīng)元對下一層所有的神經(jīng)元節(jié)點都是采用全部連接的形式，從而導(dǎo)致網(wǎng)絡(luò)中整體參數(shù)的數(shù)量較多，計算量太大，而CNN則較之前做出了改進，新增了舊網(wǎng)絡(luò)不包含的層級[4]，通過感知局部的區(qū)域，加強鄰層神經(jīng)元節(jié)點的局
制造業(yè)自動化 2019年3期2019-03-28
- 基于卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)編織機故障預(yù)測報警系統(tǒng)的研究
l 0er)、池化層(Pooling Layer)、線性整流層(Rectified Linear Units Layer)、全 連 接 層(Fully-Connected Layer)和 輸 出 層(Output Layer)組成。一個卷積神經(jīng)網(wǎng)絡(luò)一般有多組卷積池化層,卷積層后接一個池化層,并跟隨激活函數(shù),重復(fù)此動作,在最后加入全連接層和一個分類器得到一個完整的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在卷積神經(jīng)網(wǎng)絡(luò)中,將正常情況下的
紡織科技進展 2019年2期2019-02-26
- 基于卷積神經(jīng)網(wǎng)絡(luò)的交通標志識別方法
由多個卷積層、池化層交替組成,每層包含多個相互獨立的神經(jīng)元,它的一個典型結(jié)構(gòu)如圖1所示[8].在CNN結(jié)構(gòu)中,第一層輸入的是交通標志圖像,然后進入第一卷積層C1,其中有6個卷積核尺寸均為5×5像素,形成6個特征圖,特征圖大小是28像素,然后再經(jīng)過池化層S2,使用的最大采樣核大小為2×2像素,得到6個特征圖,特征圖大小為14像素,隨后進入第二卷積層C3使用16個卷積核,卷積核大小為5×5像素,產(chǎn)生16個特征圖,特征圖大小為10像素,再經(jīng)過池化,降采樣核大小為
上海師范大學(xué)學(xué)報·自然科學(xué)版 2018年5期2018-11-09
- 滑動窗口時空深度置信網(wǎng)絡(luò)行為識別
訓(xùn)練樣本；空間池化層的目的是為了降低視頻幀的維度；時間池化層的目的是降低時間上的維度。通過多層空間和時間池化并且通過最小化偏差更正各個參數(shù)，輸出視頻的特征。通過這些特征對SVM進行訓(xùn)練和測試，最后得到行為的識別率。需要說明的是時間和空間池化層的數(shù)量不是一比一的，而是根據(jù)需要進行靈活設(shè)定。在本文涉及到的實驗中，時間池化層是兩層，而空間池化層為三層。2.2 滑動窗口為了便于描述，設(shè)視頻全長為L幀；滑動窗口寬度為k，即窗口包含k幀；每次滑動位移為t幀，k>t。如
計算機工程與設(shè)計 2018年8期2018-08-17
- 基于全卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像目標分類*
交替的卷積層、池化層堆疊而成，后面若干層為全連接層。CNN的結(jié)構(gòu)在計算機視覺領(lǐng)域得到改進，Springenberg等將CNN結(jié)構(gòu)中的池化層和全連接層都用卷積層代替，提出了全卷積神經(jīng)網(wǎng)絡(luò)(All Convolutional Neural Network, A-CNN)，并分析了池化層可用卷積層代替的原因，實驗結(jié)果驗證了A-CNN的可行性[12]。文獻[11]已證明CNN結(jié)構(gòu)中，卷積層取代全連接層能夠獲得比原CNN更好的分類效果。本文將A-CNN應(yīng)用到SAR-
雷達科學(xué)與技術(shù) 2018年3期2018-07-18
- 一種改進的卷積神經(jīng)網(wǎng)絡(luò)人臉識別算法
積層和三個最大池化層，采用一個全連接層和串聯(lián)的Softmax-SVM分類器,有效降低了網(wǎng)絡(luò)結(jié)構(gòu)的深度，減少了訓(xùn)練時長；串聯(lián)分類器相比Softmax分類器，明顯提高了人臉識別的準確率。1 算法原理1.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人臉識別卷積神經(jīng)網(wǎng)絡(luò)（CNN）主要包括卷積層、池化層、全連接層和分類層，通過逐層處理的方式有效提取輸入圖像的特征。本文構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)包含三個卷積層、三個最大池化層和一個全連接層，分類層采用串聯(lián)Softmax-SVM分類器，如圖1所示。其中
現(xiàn)代計算機 2018年18期2018-07-18
- 基于深度學(xué)習(xí)的網(wǎng)絡(luò)攻擊檢測
一種由卷積層和池化層構(gòu)成的多層前饋神經(jīng)網(wǎng)絡(luò).卷積層采用卷積運算來獲得局部特征,池化層主要用于對特征進行降維,從而保留對于目標決策重要的特征,而去掉不重要和冗余的特征.圖1所示的模型對應(yīng)的經(jīng)典的LaNet-5結(jié)構(gòu)如圖2所示.圖1 基本的卷積網(wǎng)絡(luò)模型圖2 LeNet-5結(jié)構(gòu)在圖2中,C1,C3和C5都是卷積層,卷積層的特征是由上一層的特征圖通過卷積核所規(guī)定的卷積操作來實現(xiàn),卷積核在特征圖上沿著左邊緣和上邊緣,依次向下和向左邊滑動.卷積核的計算如下所示:(1)1
太原師范學(xué)院學(xué)報(自然科學(xué)版) 2018年4期2018-03-12
- Pytorch框架下基于卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)手寫數(shù)字識別
幾層：卷積層、池化層和全連接層。每個平面由多個獨立的神經(jīng)元組成，相鄰兩層的神經(jīng)元之間互相連接，而處于同一層的神經(jīng)元之間沒有連接。最終的輸出結(jié)果是由每層網(wǎng)絡(luò)和偏置的共同影響下得出的。經(jīng)過大量訓(xùn)練得出的權(quán)重就可以被用于神經(jīng)網(wǎng)絡(luò)之中，對圖像進行識別與處理。2.1 卷積層一個圖像可以被看做一個多維矩陣。在卷積層中，圖像與卷積核進行卷積運算。設(shè)輸入圖片長和寬為W，F(xiàn)ilter大小為F×F，步長為S，padding的像素數(shù)為P，輸出的圖片的長和寬為W2。則：假設(shè)有一個
電子技術(shù)與軟件工程 2018年19期2018-02-27
- 增強層次的卷積神經(jīng)網(wǎng)絡(luò)模型研究
基于隨機策略的池化層本文基于隨機池化策略構(gòu)建隨機池化層， 替代傳統(tǒng)池化層， 在保留最大池化優(yōu)勢的基礎(chǔ)上添加隨機特性， 可以更好地防止模型訓(xùn)練時出現(xiàn)過擬合.其公式如下：（1）其中為多項式分布位置采樣概率，為i位置的激活值，是特征映射圖第j個池化區(qū)域。隨機池化介于最大值池化和均值池化之間，相當(dāng)于在池化區(qū)域上進行不同的形變再進行最大池化操作，在平均意義上，同均值池化類似；在局部區(qū)域中，服從最大池化策略。3 基于側(cè)抑制機制的歸一化層側(cè)抑制機制是普遍存在于視覺系統(tǒng)多
數(shù)字技術(shù)與應(yīng)用 2016年9期2016-11-09