卷積

210023)卷積神經(jīng)網(wǎng)絡(luò)因其出色的特征提取能力，在圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割等計(jì)算機(jī)視覺(jué)領(lǐng)域被廣泛應(yīng)用并發(fā)揮重要作用［1－2］。但卷積神經(jīng)網(wǎng)絡(luò)需要較高的計(jì)算復(fù)雜度和內(nèi)存消耗量，通常部署在云端進(jìn)行計(jì)算，這在一定程度上限制了卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用場(chǎng)景。近年來(lái)，隨著物聯(lián)網(wǎng)設(shè)備的普及，這些設(shè)備產(chǎn)生的數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)，給云端計(jì)算帶來(lái)極大的負(fù)擔(dān)。此外，將數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行計(jì)算也帶來(lái)了數(shù)據(jù)安全和響應(yīng)延遲等問(wèn)題［3］。為解決上述問(wèn)題，邊緣智能的概念被提出［4－5］，

6)1 引言線性卷積和循環(huán)卷積是信號(hào)處理類課程教學(xué)的重要知識(shí)點(diǎn)。二者的定義、常用性質(zhì)、計(jì)算方法和異同點(diǎn)也是教學(xué)的難點(diǎn)之一。離散線性時(shí)不變系統(tǒng)的零狀態(tài)響應(yīng)可通過(guò)激勵(lì)序列與系統(tǒng)的單位脈沖響應(yīng)卷積求得。陳輝金在文獻(xiàn)1中提出了圓周卷積的豎式求解方法，該方法的本質(zhì)是在線性卷積的對(duì)位相乘法基礎(chǔ)上拓展而來(lái)的，利用了圓周卷積是線性卷積的周期延拓這一結(jié)論，該方法簡(jiǎn)單易學(xué)，便于學(xué)生理解圓周卷積的本質(zhì)[1]。文獻(xiàn)2 在分析循環(huán)卷積與線性卷積關(guān)系的基礎(chǔ)上提出了一種基于序號(hào)和匹配的

文獻(xiàn)[1]給出的卷積式基礎(chǔ)上，提出了卷積式的拓方運(yùn)算，研究了其運(yùn)算性質(zhì)，進(jìn)而提出了高次組合數(shù)及相關(guān)公式.運(yùn)用該運(yùn)算及一些數(shù)學(xué)方法和技術(shù)[2-9]，解決了若干個(gè)多項(xiàng)式積的展開(kāi)問(wèn)題及2 類Stirling數(shù)的卷積式表示問(wèn)題.文中相關(guān)符號(hào)含義見(jiàn)文獻(xiàn)[1-2].m×(n+1)型卷積式指的是項(xiàng)的和，這些項(xiàng)取自其中的不同行，每一項(xiàng)的形式為a1j1a2j2…amjm，且j1+j2+…jm=n.定義（卷積式的拓方）用符號(hào)表示卷積式的r（r為整數(shù)）次拓方，其滿足條件：（1）

取得了很多成果。卷積神經(jīng)網(wǎng)絡(luò)(convolutional nerual network)作為深度學(xué)習(xí)最具代表性的算法之一，近幾年來(lái)也取得了極大的發(fā)展，一些新的優(yōu)化算法和改良的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)被不斷提出。MobileNet是谷歌在2017年發(fā)布的一種輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型[1]，與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型相比，它在保證精度損失不大的前提下，彌補(bǔ)了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型過(guò)于巨大導(dǎo)致的無(wú)法應(yīng)用于嵌入式設(shè)備的不足。目前基于MobileNet的現(xiàn)場(chǎng)可編程門(mén)陳列(fi

長(zhǎng)沙410073卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等任務(wù)上應(yīng)用廣泛。越來(lái)越多的研究嘗試加速CNN 的訓(xùn)練和推理，使用快速卷積算子就是其中的重要方法?？焖?span id="j5i0abt0b" class="hl">卷積算子包括快速傅里葉變換（fast Fourier transformation，F(xiàn)FT）卷積和Winograd 卷積，這類卷積通過(guò)把輸入特征映射和卷積核線性變換到相應(yīng)的空間，將原來(lái)的運(yùn)算轉(zhuǎn)換為對(duì)應(yīng)位相乘，運(yùn)算結(jié)果再經(jīng)過(guò)逆線性變換即可

學(xué)者在網(wǎng)絡(luò)結(jié)構(gòu)和卷積方面對(duì)輕量化方法進(jìn)行了研究，并取得了大量成果，誕生了很多貼合實(shí)際應(yīng)用需求的優(yōu)秀輕量化神經(jīng)網(wǎng)絡(luò)模型。2012 年AlexNet的驚艷亮相為神經(jīng)網(wǎng)絡(luò)發(fā)展提供了改進(jìn)思路，使得ZF-Net、VGG-Nets、GoogleNet、ResNet以及DenseNet等眾多網(wǎng)絡(luò)模型可以采用加深網(wǎng)絡(luò)和增強(qiáng)卷積功能的方式來(lái)提升網(wǎng)絡(luò)識(shí)別準(zhǔn)確率。該方式使得模型性能有了顯著提升，但網(wǎng)絡(luò)結(jié)構(gòu)較之前更為復(fù)雜，使得所需計(jì)算量和內(nèi)存大大增加。上述模型以提升準(zhǔn)確率為主要目

[1-2]。然而卷積神經(jīng)網(wǎng)絡(luò)由于其構(gòu)建模塊固定的幾何結(jié)構(gòu)天然地局限于建模的幾何變換，導(dǎo)致檢測(cè)效果不理想，而可形變卷積可以提高模型對(duì)發(fā)生形變物體的建模能力。黃鳳琪等[3]提出一種基于可形變卷積的YOLO檢測(cè)算法。張善文等[4]在VGG的基礎(chǔ)上提出一種可形變VGG模型，應(yīng)用于害蟲(chóng)檢測(cè)。雖然可形變卷積網(wǎng)絡(luò)在檢測(cè)精度上相較于普通卷積網(wǎng)絡(luò)有很大提升，但是可形變卷積會(huì)產(chǎn)生巨大的計(jì)算開(kāi)銷，導(dǎo)致檢測(cè)速度降低。本文提出了一種方法：采用可形變逐點(diǎn)卷積來(lái)提升檢測(cè)速度。通過(guò)實(shí)驗(yàn)證

006)0 引言卷積神經(jīng)網(wǎng)絡(luò)是目前人工智能領(lǐng)域最前沿的深度學(xué)習(xí)算法之一，被廣泛應(yīng)用在自然語(yǔ)言處理、圖像識(shí)別等多個(gè)領(lǐng)域。卷積層這一重要組成部分主要由卷積運(yùn)算實(shí)現(xiàn)，但由于資源消耗嚴(yán)重，故在高實(shí)時(shí)性的應(yīng)用場(chǎng)合很難滿足數(shù)據(jù)處理時(shí)間的要求。因此，研究人員使用了各種算法加速卷積，以提高其在視頻流處理、高速運(yùn)動(dòng)物體識(shí)別等應(yīng)用場(chǎng)合的實(shí)時(shí)性。本文介紹了卷積運(yùn)算的加速算法，詳述其理論基礎(chǔ)，介紹了這些算法在幾個(gè)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中體現(xiàn)出的效果，并提出了對(duì)加速算法實(shí)現(xiàn)方式的展望

發(fā)展，研究人員對(duì)卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)的研究工作[1 - 3]將會(huì)把重心放在更大規(guī)模和更高準(zhǔn)確率上，在卷積神經(jīng)網(wǎng)絡(luò)中，更大規(guī)模和更高準(zhǔn)確率需要更快速更準(zhǔn)確的運(yùn)算，所以研究卷積神經(jīng)網(wǎng)絡(luò)的加速方法很重要。與此同時(shí)，針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的加速優(yōu)化近年來(lái)也有了快速的發(fā)展，如低秩分解、定點(diǎn)運(yùn)算、矢量量化、稀疏表示[4]、剪枝[5]和快速卷積[6 - 10]等，實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)整體的加速效果。在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)[1

311121)卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于圖像分類、語(yǔ)義分割和圖像生成等計(jì)算機(jī)視覺(jué)領(lǐng)域,其通過(guò)卷積核對(duì)圖像中的局部區(qū)域做卷積,以提取圖像中的特征,在每一層的卷積中通過(guò)參數(shù)共享以減少模型復(fù)雜度,之后結(jié)合池化操作實(shí)現(xiàn)位移不變性的識(shí)別.現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)普遍將3×3 卷積作為其基本構(gòu)建模塊.對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言,卷積核的感受野、深度以及通道數(shù)決定了網(wǎng)絡(luò)的性能.感受野越大,表示特征圖上像素點(diǎn)映射的區(qū)域越大;深度決定了網(wǎng)絡(luò)的抽象能力或?qū)W習(xí)能力;通道數(shù)決定了卷積核所包含的

仁554300)卷積神經(jīng)網(wǎng)絡(luò)是一種局部提取特征的方法，可以有效地響應(yīng)局部模式，用這種方法提取整張圖片的特征，它是平移不變模式。在網(wǎng)絡(luò)逐層累加的過(guò)程中，對(duì)圖像進(jìn)行了縮放。卷積神經(jīng)網(wǎng)絡(luò)的核心是卷積層和池化層。1 卷積神經(jīng)網(wǎng)絡(luò)的核心運(yùn)算1.1 卷積層的運(yùn)算(1)輸入：W1×H1×D1。(2)超參數(shù)：卷積核的個(gè)數(shù)：K，卷積核的尺寸：F，步長(zhǎng)：S，填充：P。(3)輸出：W2×H2×D2，(4)參數(shù)：(F×F×D1+1)×K，其中，W是圖像的寬度，H是圖像的高度，D是

速度的不斷突破，卷積神經(jīng)網(wǎng)絡(luò)在近年來(lái)得以迅速發(fā)展。 2012年，AlexNet[1]在ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中獲得了圖像分類冠軍。之后，為了提高網(wǎng)絡(luò)模型的準(zhǔn)確率，研究人員不斷地加深卷積網(wǎng)絡(luò)的深度，相繼提出了性能更加優(yōu)越的卷積神經(jīng)網(wǎng)絡(luò)，如VGG16[2]、GoogLeNet[3]和DenseNet[4]等。這些網(wǎng)絡(luò)準(zhǔn)確率普遍較高，但是有著非常復(fù)雜的模型和很深的層次，參數(shù)量十分巨大。 在實(shí)際生活的應(yīng)用中，模型往往需要在資源有限的嵌入式設(shè)備和移動(dòng)

神經(jīng)網(wǎng)絡(luò)，而深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural net?works，CNN）則是其中一種經(jīng)典而廣泛應(yīng)用的結(jié)構(gòu).近些年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在許多領(lǐng)域應(yīng)用中表現(xiàn)出了優(yōu)異的結(jié)果［2］.卷積神經(jīng)網(wǎng)絡(luò)是一類具有深度結(jié)構(gòu)且包含卷積計(jì)算的神經(jīng)網(wǎng)絡(luò)，它具有權(quán)值共享、局部連接及卷積池化操作等特性.這些特性可以有效的減少訓(xùn)練參數(shù)的數(shù)目、降低網(wǎng)絡(luò)的復(fù)雜計(jì)算度，使得模型具有強(qiáng)魯棒性和容錯(cuò)能力.正因?yàn)橛羞@些特性，卷積神經(jīng)網(wǎng)絡(luò)在各種信號(hào)和信息處理任務(wù)中的性

050021)卷積是分析數(shù)學(xué)中一種重要的運(yùn)算，是一種積分變換的數(shù)學(xué)方法，它是通過(guò)兩個(gè)函數(shù)生成第三個(gè)函數(shù)的一種數(shù)學(xué)算子.卷積與Fourier變換，以及Fourier變換的特殊形式Laplace變換，都有著密切的關(guān)系，尤其是卷積定理，把函數(shù)卷積的積分變換和函數(shù)積分變換的乘積聯(lián)系起來(lái)，大大簡(jiǎn)化了卷積的計(jì)算量，使得Fourier分析中許多問(wèn)題的處理得到簡(jiǎn)化.同樣，卷積自身又有著諸如數(shù)乘、微分、積分、不等式等各種運(yùn)算性質(zhì)以及運(yùn)算規(guī)律，其中卷積的微分性質(zhì)尤其處于顯要

[6]。姚毅等將卷積神經(jīng)網(wǎng)絡(luò)(Convolu-tional Neural Network, CNN)運(yùn)用到雷達(dá)反欺騙干擾領(lǐng)域[7]，不依賴設(shè)計(jì)者的經(jīng)驗(yàn)，采用數(shù)據(jù)訓(xùn)練，取得了98.83%的識(shí)別率。但是，姚毅等搭建的卷積神經(jīng)網(wǎng)絡(luò)存在識(shí)別參數(shù)龐大的問(wèn)題，不利于實(shí)時(shí)處理。本文提出了一種基于分解卷積神經(jīng)網(wǎng)絡(luò)(Factorized Convolutional Neural Network, F-CNN)的雷達(dá)目標(biāo)辨識(shí)算法。以深度可分離卷積[7](Depthwise S

速發(fā)展之后，基于卷積神經(jīng)網(wǎng)絡(luò)的全卷積神經(jīng)網(wǎng)絡(luò)（Fully convolutional networks，F(xiàn)CN）等網(wǎng)絡(luò)的提出使得圖像分割進(jìn)入了新的階段，像素不僅能夠按照物體類別進(jìn)行分類，圖像分割精度也得以提升。2 卷積神經(jīng)網(wǎng)絡(luò)的工作原理卷積神經(jīng)網(wǎng)絡(luò)的意義在于訓(xùn)練出能夠識(shí)別圖像特征的卷積核。當(dāng)卷積核在整個(gè)圖像上滑動(dòng)之后，輸出特征圖中的相應(yīng)位置就被賦予了高低不一的數(shù)值，特定曲線及周邊區(qū)域所對(duì)應(yīng)的位置數(shù)值高，其他區(qū)域數(shù)值低。也就是說(shuō)，特定的卷積核能夠?qū)⑻囟ǖ奶卣?/div>

電子技術(shù)與軟件工程 2019年1期2019-01-30

現(xiàn)出許多高性能的卷積神經(jīng)網(wǎng)絡(luò)模型。在過(guò)去幾年中，卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)愈發(fā)復(fù)雜，直接導(dǎo)致參數(shù)和卷積操作數(shù)大幅增加，使得模型體積增大、運(yùn)行時(shí)間增長(zhǎng)。當(dāng)這些網(wǎng)絡(luò)被布置到傳感器和移動(dòng)設(shè)備上時(shí)，由于有限的存儲(chǔ)空間和計(jì)算資源，使得模型的運(yùn)行效果無(wú)法達(dá)到最佳。因此針對(duì)卷積神經(jīng)網(wǎng)路模型壓縮和加速的研究成為卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一大熱點(diǎn)。傳統(tǒng)模型壓縮研究的方法主要分為兩種：(1)通過(guò)剪枝去除冗余權(quán)重。如Denton[1]等人利用神經(jīng)網(wǎng)絡(luò)的線性結(jié)構(gòu)，通過(guò)尋找一個(gè)合適的低秩逼近以

[1]構(gòu)建的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet才在圖像分類領(lǐng)域取得了驚人的成績(jī),卷積神經(jīng)網(wǎng)絡(luò)(CNN)在計(jì)算機(jī)視覺(jué)領(lǐng)域包括圖像分類[1],目標(biāo)檢測(cè)[2]、圖像語(yǔ)義分割[3]、視頻分類[4]得到了廣泛的應(yīng)用[5].之后,層數(shù)更多、更加精細(xì)設(shè)計(jì)的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相繼被提出,比如VggNet[6]、GoogLenet[7]、ResNet[8]在ImageNet[9]上取得了更好的成績(jī).除此之外,卷積神經(jīng)網(wǎng)絡(luò)在人工智能[10],自然語(yǔ)言處理[11],故障診斷[12

241000)?卷積積分的快速分段和定限方法海 濤(安徽工程大學(xué) 電氣工程學(xué)院，安徽 蕪湖 241000)卷積積分在積分變換、控制理論、信號(hào)與系統(tǒng)以及電路分析等學(xué)科中應(yīng)用廣泛，是一個(gè)重要的數(shù)學(xué)工具．雖然卷積積分的計(jì)算方法較多，但要準(zhǔn)確計(jì)算出卷積積分并非易事，正確地分段和定限是計(jì)算卷積積分的兩大難點(diǎn)．從卷積積分的定義出發(fā)，經(jīng)嚴(yán)密的數(shù)學(xué)推導(dǎo)獲得一種卷積積分的快速分段和定限方法．在此基礎(chǔ)上，進(jìn)一步繪制出卷積積分的快速分段和定限圖，使得卷積積分的分段和定限更加直觀

周艷玲摘要：線性卷積，周期卷積和循環(huán)卷積是《數(shù)字信號(hào)處理》中的難點(diǎn)和重點(diǎn)。闡述了這三種卷積的概念及相互聯(lián)系，將線性卷積和循環(huán)卷積聯(lián)系起來(lái)，利用循環(huán)卷積的計(jì)算速度解決線性卷積表達(dá)的實(shí)際問(wèn)題，并在matlab上驗(yàn)證了循環(huán)卷積的運(yùn)算速度優(yōu)勢(shì)，有助于學(xué)生理解并掌握卷積的物理意義和使用方法。關(guān)鍵詞：數(shù)字信號(hào)處理；線性卷積；循環(huán)卷積；Matlab中圖分類號(hào)：G4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16723198（2015）080136011前言線性卷積，周期卷積和循環(huán)卷積在《數(shù)

分析與處理領(lǐng)域，卷積是一個(gè)極其重要的內(nèi)容，卷積分為線性卷積與循環(huán)卷積［1］.對(duì)于數(shù)字（離散）信號(hào)，目前計(jì)算卷積有幾種途徑：圖解法、豎式法、直接卷積法等.圖解法是畫(huà)出有限或無(wú)限長(zhǎng)序列，通過(guò)其變換疊加而得出結(jié)果，其特點(diǎn)是直觀明了；豎式法是將兩個(gè)序列寫(xiě)成豎式相乘的形式，再進(jìn)行相乘與相加運(yùn)算，特點(diǎn)是運(yùn)算簡(jiǎn)便且不易出錯(cuò)；直接卷積法是套用公式進(jìn)行卷積計(jì)算，其優(yōu)點(diǎn)是思路清晰［2－3］.針對(duì)循環(huán)卷積計(jì)算過(guò)程復(fù)雜的問(wèn)題，目前也有一些新的算法提出，譬如桂林電子科技大學(xué)的陳輝金

序列與輸入序列的卷積(線性卷積)。“數(shù)字信號(hào)處理”課程中又定義了兩個(gè)有限長(zhǎng)序列的循環(huán)卷積運(yùn)算。可以利用離散傅里葉變換的時(shí)域循環(huán)卷積性質(zhì)來(lái)計(jì)算兩個(gè)序列的線性卷積，而離散傅里葉變換可以通過(guò)快速傅里葉變換完成。通常的《數(shù)字信號(hào)處理》教材中討論循環(huán)卷積時(shí)，給出了計(jì)算公式和計(jì)算實(shí)例，但都是從定義出發(fā)，計(jì)算過(guò)程復(fù)雜。本文從線性卷積的簡(jiǎn)單計(jì)算方法入手，利用線性卷積與循環(huán)卷積的關(guān)系，提出一個(gè)非常簡(jiǎn)便的計(jì)算循環(huán)卷積方法。1 線性卷積和循環(huán)卷積及其關(guān)系首先定義模運(yùn)算。對(duì)任意整

中，圖解法是進(jìn)行卷積運(yùn)算的常用方法，然而在很多場(chǎng)合下直接用公式計(jì)算會(huì)更加便利，最關(guān)鍵的是積分上、下限的確定。我們發(fā)現(xiàn)，學(xué)生通常對(duì)時(shí)限信號(hào)和因果信號(hào)卷積較為熟悉，而對(duì)于其它情況下的卷積則不盡然，或者說(shuō)沒(méi)有概括性的了解。此外，關(guān)于卷積的存在問(wèn)題書(shū)上也很少論及。本文對(duì)卷積在各種情況下的運(yùn)算規(guī)則進(jìn)行了歸納，并探討了卷積的存在性以及它對(duì)卷積性質(zhì)的影響，以期對(duì)學(xué)生更好地學(xué)習(xí)“信號(hào)與系統(tǒng)”課程提供幫助。1 卷積的運(yùn)算規(guī)則及存在性1.1 常義函數(shù)卷積一定存在的情況函數(shù)卷積