• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向內(nèi)存受限設(shè)備的新型卷積計(jì)算方法

    2022-11-23 01:35:32孫雁飛王子牛董振江
    關(guān)鍵詞:使用量計(jì)算方法內(nèi)存

    孫雁飛,王子牛,孫 瑩,亓 晉,董振江

    (1.南京郵電大學(xué)物聯(lián)網(wǎng)學(xué)院,江蘇 南京 210003 2.南京郵電大學(xué)江蘇省高性能計(jì)算與智能處理工程研究中心,江蘇 南京 210023 3.南京郵電大學(xué)自動(dòng)化學(xué)院、人工智能學(xué)院,江蘇 南京 210023 4.南京郵電大學(xué)計(jì)算機(jī)學(xué)院,江蘇 南京 210023)

    卷積神經(jīng)網(wǎng)絡(luò)因其出色的特征提取能力,在圖像分類、目標(biāo)檢測、語義分割等計(jì)算機(jī)視覺領(lǐng)域被廣泛應(yīng)用并發(fā)揮重要作用[1-2]。但卷積神經(jīng)網(wǎng)絡(luò)需要較高的計(jì)算復(fù)雜度和內(nèi)存消耗量,通常部署在云端進(jìn)行計(jì)算,這在一定程度上限制了卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用場景。近年來,隨著物聯(lián)網(wǎng)設(shè)備的普及,這些設(shè)備產(chǎn)生的數(shù)據(jù)量呈現(xiàn)爆炸式增長,給云端計(jì)算帶來極大的負(fù)擔(dān)。此外,將數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行計(jì)算也帶來了數(shù)據(jù)安全和響應(yīng)延遲等問題[3]。為解決上述問題,邊緣智能的概念被提出[4-5],并廣泛應(yīng)用于預(yù)測性維護(hù)、精準(zhǔn)農(nóng)業(yè)、智慧城市等領(lǐng)域。

    邊緣智能是邊緣計(jì)算和人工智能的結(jié)合,當(dāng)前研究主要集中在輕量級推理框架[6-7]和輕量級卷積神經(jīng)網(wǎng)絡(luò)[8-9]。輕量級推理框架提供了在邊緣設(shè)備上部署卷積神經(jīng)網(wǎng)絡(luò)的方法;輕量級卷積神經(jīng)網(wǎng)絡(luò)研究高效的網(wǎng)絡(luò)結(jié)構(gòu),降低卷積神經(jīng)網(wǎng)絡(luò)對算力和內(nèi)存的需求。因此,如何將卷積神經(jīng)網(wǎng)絡(luò)部署在邊緣設(shè)備并進(jìn)行低復(fù)雜度、小內(nèi)存計(jì)算,已成為當(dāng)前的研究熱點(diǎn)。

    盡管在邊緣設(shè)備上部署卷積神經(jīng)網(wǎng)絡(luò)成為可能,但對于內(nèi)存受限的邊緣設(shè)備如微控制器、數(shù)字信號(hào)處理器等,其內(nèi)存小于1 MB,難以滿足卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)存需求。此外,內(nèi)存使用量的增加使得SRAM(Static Random Access Memory)的漏電流增大[10],從而縮減這些設(shè)備的續(xù)航時(shí)間。因此,有必要進(jìn)一步研究降低卷積神經(jīng)網(wǎng)絡(luò)內(nèi)存使用量的方法,從而滿足邊緣設(shè)備的內(nèi)存約束條件。因此,本文旨在面向內(nèi)存受限設(shè)備,提出一種低內(nèi)存使用的新型卷積計(jì)算方法。

    1 相關(guān)工作

    目前降低卷神經(jīng)網(wǎng)絡(luò)內(nèi)存使用量的研究主要集中在輕量化卷積神經(jīng)網(wǎng)絡(luò),通過設(shè)計(jì)特殊的卷積操作,降低網(wǎng)絡(luò)結(jié)構(gòu)的冗余,從而減少內(nèi)存使用量。然而,卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)存使用量不僅取決于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),還取決于組成卷積神經(jīng)網(wǎng)絡(luò)的卷積算子計(jì)算方法,不同計(jì)算方法的內(nèi)存使用量可以相差數(shù)十倍,有必要研究降低卷積計(jì)算內(nèi)存使用量的方法。現(xiàn)有卷積計(jì)算方法主要包括直接卷積、im2col+GEMM卷積和快速卷積等。

    (1)直接卷積:直接卷積根據(jù)卷積算子的定義,通過幾層嵌套循環(huán)進(jìn)行計(jì)算,輸入矩陣中灰色窗口與卷積核的內(nèi)積即為輸出的一個(gè)元素,存放在輸出矩陣中對應(yīng)位置。灰色窗口按照步長參數(shù)從左到右,從上到下滑動(dòng),依次計(jì)算出對應(yīng)位置輸出結(jié)果,直至計(jì)算完全部數(shù)據(jù)。使用該方法卷積時(shí)只需分配存放輸出矩陣的內(nèi)存空間,如圖1所示。

    圖1 直接卷積

    文獻(xiàn)[11]通過動(dòng)態(tài)編譯方法在x86架構(gòu)上優(yōu)化直接卷積實(shí)現(xiàn),其性能接近于理論水平;文獻(xiàn)[12]通過優(yōu)化直接卷積數(shù)據(jù)布局和計(jì)算中的循環(huán)順序,提高了直接卷積的計(jì)算速度。然而上述方法并未降低直接卷積的內(nèi)存使用,難以部署在內(nèi)存受限設(shè)備上。

    (2) im2col+GEMM 卷積:該方法依靠 im2col轉(zhuǎn)換將卷積問題轉(zhuǎn)化為通用矩陣乘(General Matrix Multiplication,GEMM)問題,利用高度優(yōu)化后的線性代數(shù)庫,如 MKL、BLAS等加速卷積計(jì)算[13]。 該方法被主流深度學(xué)習(xí)框架如 TensorFlow、Pytorch、Caffe、MxNet等深度學(xué)習(xí)框架采用作為卷積計(jì)算方法[14]。im2col將輸入矩陣中滑動(dòng)窗口內(nèi)元素展開成行向量,將卷積核展開成列向量,分別存儲(chǔ)在兩個(gè)中間矩陣中,這兩個(gè)矩陣的乘積即為輸出矩陣,如圖2所示。

    圖2 im2col+GEMM 卷積

    基于im2col+GEMM的方法需要構(gòu)造中間矩陣,空間復(fù)雜度為 O(K2CHW), 其中 K、C、H、W 分別表示卷積核高或?qū)挕⑤斎胪ǖ罃?shù)、輸出矩陣高、輸出矩陣寬。對于3×3的卷積核,輸入矩陣中每個(gè)元素被復(fù)制9次,即輸入矩陣轉(zhuǎn)換后的中間矩陣內(nèi)存使用量變?yōu)樵瓉淼?倍?;趇m2col+GEMM改進(jìn)的方法,如 MEC[15]、MFCA[16]等,有效降低了中間矩陣的大小,但相較于直接卷積方法仍需要大量額外內(nèi)存空間存放中間矩陣,因此并不適用于內(nèi)存受限設(shè)備。

    (3)快速卷積:該類方法主要包括FFT(Fast Fourier Transform)[17]和 Winograd[18]方法,通過將輸入矩陣和卷積核映射到對應(yīng)的FFT空間和Winograd空間,將計(jì)算轉(zhuǎn)換成對應(yīng)元素相乘,再將結(jié)果逆線性變換映射到原空間即可得到卷積計(jì)算輸出,從而減少卷積計(jì)算的計(jì)算量。然而此類算法由于其內(nèi)在的數(shù)值不穩(wěn)定性,導(dǎo)致計(jì)算精度降低,僅適用于單位步長和卷積核小的情況。文獻(xiàn)[19]在Winograd的基礎(chǔ)上提出使用超線性多項(xiàng)式來構(gòu)造變換矩陣,提高了計(jì)算精度,緩解數(shù)值不穩(wěn)定性。但基于快速卷積的方法仍需額外的內(nèi)存存儲(chǔ)輸入矩陣和卷積核映射后的空間以及映射空間中的計(jì)算結(jié)果,同樣也不適用于內(nèi)存受限設(shè)備。

    此外,內(nèi)存共享優(yōu)化[20]被廣泛用于TensorFlow、Caffe、MXNet等深度學(xué)習(xí)框架,通過記錄卷積神經(jīng)網(wǎng)絡(luò)中間各層輸出的大小和生命周期,回收不再使用中間結(jié)果的內(nèi)存并用于其他層,從而降低卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)存消耗。內(nèi)存共享優(yōu)化屬于卷積神經(jīng)網(wǎng)絡(luò)中不同層之間的內(nèi)存優(yōu)化,并不涉及層內(nèi)卷積計(jì)算方法,本文方法屬于層內(nèi)的卷積計(jì)算優(yōu)化方法,兩者可以組合使用,進(jìn)一步優(yōu)化內(nèi)存使用量,即混合內(nèi)存重用策略[21]。

    綜上所述,現(xiàn)有卷積計(jì)算方法主要對卷積計(jì)算速度進(jìn)行優(yōu)化,通過使用額外的內(nèi)存空間加速卷積計(jì)算過程,在此基礎(chǔ)上研究降低卷積內(nèi)存使用量方法,但對于內(nèi)存資源受限的設(shè)備來說,無法承擔(dān)這種優(yōu)化帶來的額外內(nèi)存開銷。針對上述問題,本文提出一種面向內(nèi)存資源受限設(shè)備的新型卷積計(jì)算方法,與直接卷積方法類似,根據(jù)卷積算子的定義直接進(jìn)行卷積計(jì)算,但計(jì)算結(jié)果存放在輸入矩陣中,從而降低卷積計(jì)算的內(nèi)存使用量;與im2col+GEMM卷積和快速卷積不同,本文方法無需構(gòu)造中間矩陣,避免大量的內(nèi)存使用,大幅降低卷積計(jì)算的內(nèi)存使用量。

    2 算法實(shí)現(xiàn)

    針對現(xiàn)有卷積計(jì)算方法內(nèi)存使用量大,難以滿足內(nèi)存受限設(shè)備的內(nèi)存約束的問題,本節(jié)將對卷積計(jì)算內(nèi)存使用量進(jìn)行優(yōu)化,闡述通過復(fù)用輸入矩陣內(nèi)存從而降低卷積計(jì)算內(nèi)存使用量的一種新型卷積計(jì)算方法,并給出以下幾種卷積計(jì)算的具體實(shí)現(xiàn)方法。

    2.1 標(biāo)準(zhǔn)卷積

    該算法對輸入矩陣滑動(dòng)窗口對應(yīng)的部分與卷積核直接進(jìn)行卷積計(jì)算,并將計(jì)算結(jié)果存放在輸入矩陣中,避免或減少分配輸出矩陣的內(nèi)存。如圖3所示,對于輸入矩陣 I(ih×iw×ic=6×6×1),卷積核K(kh×kw×kc=3×3×1),其中下標(biāo)h、w、c分別表示對應(yīng)矩陣高、寬和通道數(shù)?;瑒?dòng)窗口每次滑動(dòng)計(jì)算完結(jié)果后,窗口左上角元素在后續(xù)計(jì)算中不會(huì)被再次使用,因此可將計(jì)算結(jié)果存放在對應(yīng)窗口左上角位置,繼續(xù)滑動(dòng)窗口直至計(jì)算完全部輸入矩陣,此時(shí)輸入矩陣中存放著輸出矩陣的內(nèi)容,輸入矩陣變?yōu)檩敵鼍仃?,不再需要額外分配內(nèi)存存放輸出矩陣,從而降低卷積過程內(nèi)存使用量。圖中淺灰色部分表示尚未計(jì)算的區(qū)域,深灰色部分表示正在計(jì)算的區(qū)域。

    圖3 標(biāo)準(zhǔn)卷積計(jì)算方法示意圖

    在更一般的情況中,若輸入矩陣為I(ih×iw×ic),卷積核為 K(kh×kw× kc),輸出矩陣為O(oh×ow×oc)時(shí),可以分為兩種情況討論,用Mem表示矩陣占用內(nèi)存的大小。

    情況一:MemI≥MemO,此時(shí)輸入矩陣可以存放全部計(jì)算結(jié)果,按照如下步驟計(jì)算卷積。

    ①分配內(nèi)存空間m,大小為h×ow×oc(h≥「kh/2?), 臨時(shí)緩存計(jì)算結(jié)果,如圖 4(a)所示。

    ②計(jì)算輸入矩陣中深灰色行卷積,計(jì)算結(jié)果存放在m中,如圖4(b)所示,其中第一行虛線框表示卷積計(jì)算時(shí)padding填充部分示意,并不占據(jù)實(shí)際內(nèi)存空間。

    ③此時(shí)輸入矩陣中白色行的輸入數(shù)據(jù)將不再被后續(xù)計(jì)算使用,將m中對應(yīng)行的計(jì)算結(jié)果復(fù)制到該位置,如圖4(c)所示,白色部分存放卷積計(jì)算結(jié)果。值得注意的是,當(dāng)kh>1時(shí),輸入矩陣中深灰色行除了參與以當(dāng)前行為卷積中心的計(jì)算外,還會(huì)參與以相鄰行為卷積中心的計(jì)算,因此不能直接將深灰色行的輸入數(shù)據(jù)直接覆蓋。

    ④ 重復(fù)步驟②、③,如圖 4(d)、(e)所示,直至計(jì)算完全部輸入矩陣。

    ⑤計(jì)算結(jié)束后的結(jié)果如圖4(f)所示,此時(shí)卷積后的結(jié)果全部存放在輸入矩陣中,卷積計(jì)算完成。

    圖4 標(biāo)準(zhǔn)卷積計(jì)算方法情況一

    情況二:MemI<MemO,此時(shí)輸出矩陣通道數(shù)大于輸入矩陣通道數(shù),按照如下步驟計(jì)算卷積。

    ①分配內(nèi)存空間m,大小為h×ow×oc(h≥「kh/2?);分配內(nèi)存空間 M, 大小為 Memo- Memi,如圖 5(a)所示。

    ②計(jì)算輸出矩陣比輸入矩陣多出來的通道,采用直接計(jì)算方法,計(jì)算結(jié)果存放在M中,如圖5(b)所示。

    ③忽略多出來的通道數(shù)和內(nèi)存空間M,按照情況一的步驟②~④執(zhí)行,如圖5(c)所示。

    圖5 標(biāo)準(zhǔn)卷積計(jì)算方法情況二

    ④最終計(jì)算結(jié)果結(jié)果如圖5(d)所示,此時(shí)計(jì)算結(jié)果分為兩部分存放,分別存放在輸入矩陣和內(nèi)存空間M中,卷積計(jì)算完成。

    標(biāo)準(zhǔn)卷積計(jì)算方法的算法描述如算法1所示。

    算法1 標(biāo)準(zhǔn)卷積計(jì)算方法

    2.2 深度卷積

    深度卷積的輸入通道個(gè)數(shù)與卷積核數(shù)量一致,輸入通道與對應(yīng)卷積核進(jìn)行卷積計(jì)算,結(jié)算結(jié)果為對應(yīng)輸出通道,輸入輸出通道數(shù)保持一致。深度卷積計(jì)算可以看作多個(gè)通道數(shù)為1的標(biāo)準(zhǔn)卷積組合,因此可以使用上述提出標(biāo)準(zhǔn)卷積的計(jì)算方法。使用深度卷積時(shí),輸入通道數(shù)和輸出通道數(shù)相等,輸出尺寸小于或等于輸入尺寸,因此并不需要分配內(nèi)存空間M,即深度可分離卷積只需要采用標(biāo)準(zhǔn)卷積中情況一的計(jì)算方法。

    2.3 點(diǎn)卷積

    點(diǎn)卷積可以看作標(biāo)準(zhǔn)卷積中kh=kw=1的情況。點(diǎn)卷積計(jì)算不涉及輸入矩陣中相鄰行列的值,輸入矩陣中對應(yīng)位置數(shù)據(jù)計(jì)算完后將不再使用,因此,與標(biāo)準(zhǔn)卷積計(jì)算不同,點(diǎn)卷積計(jì)算時(shí)不再額外分配內(nèi)存空間m,計(jì)算結(jié)果可以直接存放在輸入矩陣中。點(diǎn)卷積計(jì)算方法如圖6所示,左上角元素與點(diǎn)卷積核計(jì)算后計(jì)算結(jié)果直接存放在原來位置,圖中輸入輸出矩陣為同一塊內(nèi)存空間。當(dāng)MemI<MemO時(shí),仍需分配內(nèi)存空間M存放額外的輸出結(jié)果,其大小為MemO-MemI。

    圖6 點(diǎn)卷積計(jì)算方法

    除了上述幾種卷積計(jì)算外,本節(jié)還提出一種降低卷積神經(jīng)網(wǎng)絡(luò)中池化計(jì)算內(nèi)存使用量的方法。池化計(jì)算方法如圖7所示,上層矩陣為輸入矩陣,下層為輸出矩陣,池化窗口每次移動(dòng)計(jì)算后的結(jié)果依次存放在輸出矩陣對應(yīng)的位置上。由于計(jì)算后輸入空間中對應(yīng)區(qū)域的數(shù)據(jù)將不再被后續(xù)計(jì)算用到,即圖中白色區(qū)域,因此該區(qū)域可以依次存放其他位置的池化結(jié)果。值得注意的是,圖7中上下兩層矩陣實(shí)際上是同一塊內(nèi)存不同時(shí)間上的狀態(tài),在池化計(jì)算前代表輸入矩陣,池化計(jì)算結(jié)束后代表輸出矩陣,因此本節(jié)提出的池化計(jì)算方法不需要使用額外內(nèi)存。

    圖7 池化計(jì)算方法

    3 實(shí)驗(yàn)分析

    實(shí)驗(yàn)測試硬件平臺(tái)選擇在內(nèi)存資源受限的微控制器上進(jìn)行,選用微控制器的型號(hào)為STM32H750VBT6,主頻為480 MHz,測試內(nèi)存包括DTCM(Data Tightly?Coupled Memory)和 SRAM,其中DTCM大小為128 KB,與微控制器內(nèi)部CPU直接連接,訪存速度較快;SRAM大小為512 KB,通過AXI總線與CPU相連,訪存速度較慢。使用C++實(shí)現(xiàn)本文提出的卷積計(jì)算方法和其他對比方法。由于這類內(nèi)存資源受限的設(shè)備通常沒有GPU等硬件加速功能,因此基于im2col+GEMM方法的卷積實(shí)驗(yàn)和其他方法均使用微控制器內(nèi)部CPU進(jìn)行計(jì)算。

    3.1 實(shí)驗(yàn)設(shè)置

    實(shí)驗(yàn)測試數(shù)據(jù)包括單個(gè)卷積測試和LeNet[22]卷積神經(jīng)網(wǎng)絡(luò)測試,并分別對其進(jìn)行內(nèi)存使用量分析和性能分析,驗(yàn)證本文提出方法的有效性。其中單個(gè)卷積測試集參考文獻(xiàn)[15]給出的測試集,測試集信息如表1所示。

    表1 測試集信息

    3.2 內(nèi)存使用量分析

    單個(gè)卷積測試集內(nèi)存開銷大小如表2所示,其中內(nèi)存使用量包括卷積計(jì)算過程中的額外內(nèi)存使用量和輸出矩陣的內(nèi)存使用量,不包含輸入矩陣和卷積核的內(nèi)存使用量, Mim2col、MMEC、Mdirectconv和 Mours分別表示im2col+GEMM、MEC、直接卷積和本文方法內(nèi)存使用量大小,單位為字,即單個(gè)float32類型參數(shù)的內(nèi)存大小。

    表2 單個(gè)卷積計(jì)算內(nèi)存使用量對比

    從表2中可以看出,本文方法明顯優(yōu)于其他幾種卷積方法,大幅減少卷積的內(nèi)存使用量。對比其他幾種方法,本文方法的平均內(nèi)存使用量分別下降89.29%、82.60%和57.15%,減少的內(nèi)存使用量主要是由于對輸入矩陣內(nèi)存空間進(jìn)行復(fù)用,減少分配輸出矩陣內(nèi)存大小,同時(shí)避免構(gòu)造中間矩陣使用量額外內(nèi)存。以CV1為例,im2col+GEMM方法需要構(gòu)造輸入矩陣的中間矩陣,內(nèi)存大小為14 400字(oh×ow×kh×kw×ic),分配輸出矩陣,內(nèi)存大小為3 200字(oh×ow×oc),共計(jì)需要17 600字內(nèi)存;MEC方法需要構(gòu)造輸入矩陣的中間矩陣,內(nèi)存大小為6 720字(oh×kh×ih×ic),分配輸出矩陣,內(nèi)存大小為3 200字,共計(jì)需要9 920字內(nèi)存;直接卷積方法無需構(gòu)造中間矩陣,僅需分配3 200字的輸出矩陣;本文方法需要分配內(nèi)存空間m,大小為1 280字 (「kh/2?× ow× oc), 此外還需要分配內(nèi)存空間M,大小為64字(Memo-Memi),共計(jì)需要1 344字內(nèi)存。為方便對比,對表2中幾種方法內(nèi)存的使用量用直方圖進(jìn)行比較,以im2col+GEMM算法的內(nèi)存使用量為基準(zhǔn),結(jié)果如圖8所示。

    圖8 幾種卷積方法的內(nèi)存開銷柱狀圖比較

    除了對單個(gè)卷積進(jìn)行實(shí)驗(yàn)分析外,本文還對經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet進(jìn)行實(shí)驗(yàn)分析。LeNet是一種用于數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò),其結(jié)構(gòu)簡單,內(nèi)存消耗少,方便對不同的卷積計(jì)算方法進(jìn)行分析。表3為LeNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)及不同卷積計(jì)算方法的內(nèi)存開銷對比。

    由于卷積神經(jīng)網(wǎng)絡(luò)輸入為圖片,第一層卷積無法使用輸入空間存放卷積結(jié)果,因此本文方法在第一次卷積時(shí)和直接卷積采用相同的方式,分配輸出矩陣,大小為4 704字(oh×ow×oc)。 池化計(jì)算采用本文提出的池化計(jì)算方法,因此該網(wǎng)絡(luò)中池化計(jì)算并不使用額外的內(nèi)存。從表3中可以看出對于LeNet卷積神經(jīng)網(wǎng)絡(luò),本文方法相較于上述其他幾種方法內(nèi)存使用量分別下降89.90%、82.21%和28.07%。

    表3 LeNet卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)存使用量對比

    3.3 性能分析

    為驗(yàn)證本文算法對卷積計(jì)算性能的影響,本文還對不同卷積計(jì)算方法的計(jì)算時(shí)間實(shí)驗(yàn)測試,分別對單個(gè)卷積和LeNet卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)測試,測試結(jié)果分別如表4和表5所示。

    表4 單個(gè)卷積計(jì)算時(shí)間對比 ms

    表5 LeNet卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算時(shí)間對比 ms

    表4 中 Tim2col、TMEC、Tdirectconv和 Tours分別表示im2col+GEMM、MEC、直接卷積和本文方法計(jì)算單個(gè)卷積的時(shí)間,時(shí)間單位為ms。對于測試集中單個(gè)卷積計(jì)算內(nèi)存使用量小于128 KB的卷積,放在訪存速度較快的DTCM內(nèi)存中計(jì)算,即表4中標(biāo)記“?”的位置;若卷積計(jì)算內(nèi)存使用量大于512 KB則無法在該設(shè)備上進(jìn)行計(jì)算,在表4中以“—”表示;其他情況下均在SRAM內(nèi)存中進(jìn)行卷積計(jì)算。雖然本文方法需要額外復(fù)制數(shù)據(jù)造成時(shí)間上的開銷,但得益于使用較少的內(nèi)存提高緩存命中率和更有效利用DTCM內(nèi)存,從表4中可以看出,實(shí)際平均計(jì)算時(shí)間相較于其他方法較快。此外其他卷積計(jì)算方法內(nèi)存使用量部分超出實(shí)驗(yàn)設(shè)備限制,無法完成全部計(jì)算,而本文方法能夠完成測試集中全部卷積計(jì)算,為內(nèi)存資源受限設(shè)備運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)提供更多的選擇。

    表5為LeNet卷積神經(jīng)網(wǎng)絡(luò)各層計(jì)算時(shí)間的對比,單位為ms,其中直接卷積和本文方法內(nèi)存使用量均小于128 KB,在DTCM中進(jìn)行計(jì)算,用“?”表示;im2col+GEMM和MEC方法內(nèi)存使用量均大于128 KB,在SRAM中進(jìn)行計(jì)算。

    綜合表3和表5可以看出,雖然使用本文方法計(jì)算LeNet卷積神經(jīng)網(wǎng)絡(luò)相較于im2col+GEMM和MEC方法計(jì)算時(shí)間分別增加2.31%和19.93%,但內(nèi)存使用量分別下降89.90%和82.21%;而對于直接卷積方法,本文方法計(jì)算時(shí)間在下降6.98%的同時(shí),內(nèi)存使用量下降28.07%,優(yōu)勢較為明顯。此外本文提出的池化層計(jì)算方法較標(biāo)準(zhǔn)池化計(jì)算方法計(jì)算時(shí)間增加14.29%,但總計(jì)僅增加0.04 ms的計(jì)算時(shí)間,對整個(gè)卷積神經(jīng)網(wǎng)絡(luò)而言可以忽略不計(jì)。綜合以上實(shí)驗(yàn)分析,驗(yàn)證了本文提出的卷積計(jì)算方法的有效性,大幅降低了卷積計(jì)算的內(nèi)存使用量。

    4 結(jié)束語

    本文提出一種面向內(nèi)存資源受限設(shè)備的卷積計(jì)算方法,卷積計(jì)算時(shí)對輸入矩陣計(jì)算后不再使用的內(nèi)存空間進(jìn)行復(fù)用存放計(jì)算結(jié)果,從而減少分配新的內(nèi)存空間存放計(jì)算結(jié)果,達(dá)到降低內(nèi)存使用量的目的,使得在內(nèi)存資源受限的設(shè)備上可以運(yùn)行更復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性,相較于其他方法均大幅降低內(nèi)存使用量,對于一些內(nèi)存使用量較大的卷積,其他方法均無法在有限的內(nèi)存中完成卷積計(jì)算,而本文方法可以完成卷積計(jì)算,對于卷積神經(jīng)網(wǎng)絡(luò)在內(nèi)存受限設(shè)備上的部署運(yùn)行具有重要意義。

    猜你喜歡
    使用量計(jì)算方法內(nèi)存
    浮力計(jì)算方法匯集
    減少#1爐再熱器減溫水使用量
    “以蟲吃蟲”這家大棚農(nóng)藥使用量減少30%
    “春夏秋冬”的內(nèi)存
    В Китае снизился объем использования пластиковых пакетов 中國塑料袋使用量減少
    中亞信息(2016年2期)2016-05-24 07:11:07
    隨機(jī)振動(dòng)試驗(yàn)包絡(luò)計(jì)算方法
    未來汽車的塑料使用量將呈倍數(shù)增長
    不同應(yīng)變率比值計(jì)算方法在甲狀腺惡性腫瘤診斷中的應(yīng)用
    一種伺服機(jī)構(gòu)剛度計(jì)算方法
    基于內(nèi)存的地理信息訪問技術(shù)
    国产精品香港三级国产av潘金莲| 在线观看www视频免费| 日韩人妻精品一区2区三区| 天堂√8在线中文| 亚洲av成人不卡在线观看播放网| 高潮久久久久久久久久久不卡| e午夜精品久久久久久久| 交换朋友夫妻互换小说| 亚洲久久久国产精品| 精品人妻1区二区| 妹子高潮喷水视频| 91精品国产国语对白视频| 国产精品一区二区在线不卡| 亚洲成a人片在线一区二区| 午夜亚洲福利在线播放| 国产成人精品在线电影| 亚洲精品国产区一区二| 9191精品国产免费久久| 国产aⅴ精品一区二区三区波| 99热网站在线观看| 国产色视频综合| 久久中文字幕一级| 国产又色又爽无遮挡免费看| 欧美日韩黄片免| 欧美激情久久久久久爽电影 | 91老司机精品| 国产精品亚洲av一区麻豆| 别揉我奶头~嗯~啊~动态视频| 中亚洲国语对白在线视频| 黄色视频,在线免费观看| 国产欧美亚洲国产| 在线免费观看的www视频| 亚洲精品国产区一区二| 午夜两性在线视频| 亚洲一区中文字幕在线| 免费一级毛片在线播放高清视频 | 脱女人内裤的视频| √禁漫天堂资源中文www| 99久久精品国产亚洲精品| 黄片大片在线免费观看| 国产又爽黄色视频| 村上凉子中文字幕在线| 嫩草影视91久久| 亚洲国产欧美日韩在线播放| 亚洲一区中文字幕在线| 久久精品亚洲熟妇少妇任你| 亚洲午夜理论影院| 一级毛片女人18水好多| 亚洲成国产人片在线观看| 中文字幕人妻熟女乱码| 免费人成视频x8x8入口观看| 国产一区二区激情短视频| 日韩欧美一区二区三区在线观看 | 国产色视频综合| 欧美精品一区二区免费开放| 亚洲欧美激情综合另类| 天天添夜夜摸| 成年动漫av网址| 国产精品综合久久久久久久免费 | 97人妻天天添夜夜摸| 欧美最黄视频在线播放免费 | 宅男免费午夜| 国产成人系列免费观看| 极品少妇高潮喷水抽搐| 身体一侧抽搐| 91在线观看av| 国产精品乱码一区二三区的特点 | 激情视频va一区二区三区| 亚洲av片天天在线观看| 丝袜美足系列| 国产精品永久免费网站| 丝袜人妻中文字幕| 日韩熟女老妇一区二区性免费视频| 久久午夜亚洲精品久久| 黄片大片在线免费观看| 啦啦啦 在线观看视频| 亚洲三区欧美一区| 午夜久久久在线观看| 精品久久久久久久毛片微露脸| 亚洲少妇的诱惑av| 精品福利观看| 高清av免费在线| bbb黄色大片| 中文欧美无线码| 成在线人永久免费视频| 美女高潮到喷水免费观看| 99热只有精品国产| 国产淫语在线视频| 天天影视国产精品| 大型黄色视频在线免费观看| 国产在线精品亚洲第一网站| 欧美中文综合在线视频| 婷婷丁香在线五月| 国产成人免费观看mmmm| 一进一出抽搐动态| 欧美色视频一区免费| 免费女性裸体啪啪无遮挡网站| 欧美日韩中文字幕国产精品一区二区三区 | 国产在线精品亚洲第一网站| 老司机午夜十八禁免费视频| 亚洲精品中文字幕一二三四区| 91九色精品人成在线观看| 精品久久蜜臀av无| 日韩欧美免费精品| 亚洲视频免费观看视频| 国产欧美日韩一区二区三区在线| 欧美人与性动交α欧美软件| 9色porny在线观看| 麻豆av在线久日| 俄罗斯特黄特色一大片| 亚洲精品国产区一区二| 女人被狂操c到高潮| 男女下面插进去视频免费观看| 丝瓜视频免费看黄片| 国产精品乱码一区二三区的特点 | 大香蕉久久网| 亚洲欧美激情在线| 日本vs欧美在线观看视频| 极品教师在线免费播放| 午夜福利欧美成人| 亚洲熟女毛片儿| 国产免费现黄频在线看| 日韩精品免费视频一区二区三区| 久久香蕉精品热| av国产精品久久久久影院| 欧美色视频一区免费| 成人精品一区二区免费| 91麻豆av在线| 麻豆国产av国片精品| 91成年电影在线观看| 久久国产乱子伦精品免费另类| 少妇猛男粗大的猛烈进出视频| 国产极品粉嫩免费观看在线| 女性生殖器流出的白浆| 99国产极品粉嫩在线观看| 一二三四在线观看免费中文在| 国产片内射在线| 免费在线观看黄色视频的| 露出奶头的视频| 国产一卡二卡三卡精品| 男女床上黄色一级片免费看| 99国产精品免费福利视频| 人人妻人人爽人人添夜夜欢视频| 国产精品二区激情视频| 91精品三级在线观看| 成人免费观看视频高清| 国产成人精品在线电影| 中文字幕人妻丝袜制服| 狠狠狠狠99中文字幕| 久久中文字幕人妻熟女| 深夜精品福利| 午夜福利欧美成人| 欧美午夜高清在线| 高清视频免费观看一区二区| 十八禁网站免费在线| 久久香蕉国产精品| 国内毛片毛片毛片毛片毛片| 国产成人精品无人区| 啪啪无遮挡十八禁网站| 1024视频免费在线观看| 后天国语完整版免费观看| 如日韩欧美国产精品一区二区三区| 亚洲欧美一区二区三区黑人| 亚洲熟妇中文字幕五十中出 | 久久精品aⅴ一区二区三区四区| 欧美国产精品va在线观看不卡| 淫妇啪啪啪对白视频| 人人妻人人澡人人看| 波多野结衣av一区二区av| 777久久人妻少妇嫩草av网站| 男男h啪啪无遮挡| 别揉我奶头~嗯~啊~动态视频| 99在线人妻在线中文字幕 | 一进一出抽搐gif免费好疼 | 大香蕉久久成人网| 精品熟女少妇八av免费久了| 亚洲三区欧美一区| 少妇猛男粗大的猛烈进出视频| 欧美老熟妇乱子伦牲交| 日本五十路高清| 欧美 日韩 精品 国产| 亚洲精品一卡2卡三卡4卡5卡| 色婷婷久久久亚洲欧美| 欧美人与性动交α欧美软件| 日韩有码中文字幕| av不卡在线播放| 国产99久久九九免费精品| 人人澡人人妻人| 精品第一国产精品| 色尼玛亚洲综合影院| www.精华液| 欧美亚洲 丝袜 人妻 在线| 99国产精品一区二区蜜桃av | 一二三四社区在线视频社区8| 另类亚洲欧美激情| 精品视频人人做人人爽| 国产高清激情床上av| 久久狼人影院| 99国产精品免费福利视频| 露出奶头的视频| 日本a在线网址| 欧美日韩乱码在线| 亚洲黑人精品在线| 黄片大片在线免费观看| 久久中文字幕一级| 成人av一区二区三区在线看| 嫩草影视91久久| 激情在线观看视频在线高清 | 深夜精品福利| 又大又爽又粗| 国产精品久久电影中文字幕 | aaaaa片日本免费| av片东京热男人的天堂| 视频区欧美日本亚洲| 香蕉丝袜av| 嫁个100分男人电影在线观看| 免费观看人在逋| 男女之事视频高清在线观看| 久久精品人人爽人人爽视色| 精品国产乱码久久久久久男人| 精品国产一区二区三区久久久樱花| 亚洲aⅴ乱码一区二区在线播放 | 午夜福利在线观看吧| 久久精品91无色码中文字幕| 亚洲人成电影观看| 搡老熟女国产l中国老女人| 欧美精品av麻豆av| 亚洲欧美日韩高清在线视频| 国产成人免费无遮挡视频| a级毛片黄视频| 亚洲国产欧美日韩在线播放| 免费少妇av软件| 搡老熟女国产l中国老女人| 亚洲精品国产区一区二| 中文字幕人妻丝袜一区二区| 人人妻人人爽人人添夜夜欢视频| 国产精品一区二区在线观看99| 叶爱在线成人免费视频播放| 香蕉丝袜av| 欧美亚洲 丝袜 人妻 在线| 热99re8久久精品国产| 国产精品秋霞免费鲁丝片| 少妇裸体淫交视频免费看高清 | 天天躁夜夜躁狠狠躁躁| 久久精品亚洲av国产电影网| 激情视频va一区二区三区| 中文字幕高清在线视频| 国产一区二区三区在线臀色熟女 | 午夜激情av网站| 国产免费男女视频| 在线视频色国产色| 国产精华一区二区三区| 久久精品人人爽人人爽视色| 国产精品亚洲av一区麻豆| 欧美日韩瑟瑟在线播放| 日本欧美视频一区| 中国美女看黄片| 两个人看的免费小视频| 精品国产亚洲在线| 国产午夜精品久久久久久| 18禁裸乳无遮挡动漫免费视频| 亚洲欧美日韩另类电影网站| 女人久久www免费人成看片| 99精品久久久久人妻精品| 午夜福利影视在线免费观看| 巨乳人妻的诱惑在线观看| 欧美日韩乱码在线| 国内久久婷婷六月综合欲色啪| 亚洲精品国产区一区二| 久久国产精品大桥未久av| 国产成人欧美在线观看 | 国产成人精品在线电影| 免费久久久久久久精品成人欧美视频| 女性被躁到高潮视频| 一进一出好大好爽视频| 日本一区二区免费在线视频| 亚洲国产欧美网| 国产淫语在线视频| bbb黄色大片| 女性被躁到高潮视频| 久久中文看片网| 精品熟女少妇八av免费久了| 国产成+人综合+亚洲专区| avwww免费| 亚洲九九香蕉| 婷婷丁香在线五月| 欧美 日韩 精品 国产| 人成视频在线观看免费观看| 亚洲精品国产色婷婷电影| 国产精品久久久久久精品古装| 精品国产一区二区三区久久久樱花| 国产精品永久免费网站| 在线观看www视频免费| 久久久水蜜桃国产精品网| 亚洲中文字幕日韩| 在线观看免费视频网站a站| 天天操日日干夜夜撸| 亚洲欧美日韩高清在线视频| 精品亚洲成国产av| 最新的欧美精品一区二区| 国产精品免费大片| 老司机靠b影院| 国产伦人伦偷精品视频| 多毛熟女@视频| 午夜精品国产一区二区电影| 久久人妻福利社区极品人妻图片| 亚洲一卡2卡3卡4卡5卡精品中文| 精品卡一卡二卡四卡免费| 一区福利在线观看| 亚洲五月婷婷丁香| 久久精品国产综合久久久| 久久久精品区二区三区| 黄片播放在线免费| 亚洲成人免费av在线播放| 久久精品成人免费网站| xxxhd国产人妻xxx| 色在线成人网| 久久午夜亚洲精品久久| 免费在线观看视频国产中文字幕亚洲| 欧美激情 高清一区二区三区| 日韩有码中文字幕| 九色亚洲精品在线播放| 国产一区二区激情短视频| 人妻久久中文字幕网| 下体分泌物呈黄色| 亚洲成av片中文字幕在线观看| 国产成人欧美在线观看 | 国产成人精品在线电影| 亚洲第一欧美日韩一区二区三区| 手机成人av网站| 成年动漫av网址| 一进一出抽搐动态| 手机成人av网站| 日韩欧美三级三区| 麻豆av在线久日| 麻豆av在线久日| 中亚洲国语对白在线视频| 久久国产精品人妻蜜桃| 侵犯人妻中文字幕一二三四区| 啦啦啦 在线观看视频| 久久久久视频综合| 悠悠久久av| 最近最新中文字幕大全免费视频| 日日爽夜夜爽网站| 久久久精品免费免费高清| 99久久国产精品久久久| 曰老女人黄片| 精品乱码久久久久久99久播| 成人黄色视频免费在线看| 亚洲自偷自拍图片 自拍| 中文字幕制服av| 俄罗斯特黄特色一大片| 中出人妻视频一区二区| 亚洲午夜理论影院| 一区二区日韩欧美中文字幕| 两性夫妻黄色片| 欧美日韩国产mv在线观看视频| 国产精品香港三级国产av潘金莲| 欧美日韩视频精品一区| 欧美乱码精品一区二区三区| 久久精品国产清高在天天线| 老司机午夜十八禁免费视频| 亚洲熟女毛片儿| 90打野战视频偷拍视频| 久久久久久久久免费视频了| 村上凉子中文字幕在线| 香蕉国产在线看| 757午夜福利合集在线观看| 天堂动漫精品| 亚洲综合色网址| 亚洲精品国产区一区二| 90打野战视频偷拍视频| 国内毛片毛片毛片毛片毛片| 黄色丝袜av网址大全| 精品电影一区二区在线| 青草久久国产| 亚洲午夜精品一区,二区,三区| 五月开心婷婷网| 电影成人av| 久久国产精品人妻蜜桃| 国产精品久久久av美女十八| 久久香蕉激情| 麻豆成人av在线观看| 满18在线观看网站| 韩国av一区二区三区四区| 亚洲,欧美精品.| 久久久国产一区二区| 嫩草影视91久久| 久久人妻熟女aⅴ| av天堂久久9| 婷婷精品国产亚洲av在线 | 亚洲在线自拍视频| 亚洲精品在线美女| 男女下面插进去视频免费观看| 国产激情欧美一区二区| av欧美777| 国产单亲对白刺激| 乱人伦中国视频| 香蕉国产在线看| 午夜激情av网站| 免费观看人在逋| 精品国内亚洲2022精品成人 | 中文欧美无线码| 曰老女人黄片| 亚洲性夜色夜夜综合| 黄色a级毛片大全视频| 巨乳人妻的诱惑在线观看| 国产成人一区二区三区免费视频网站| 又紧又爽又黄一区二区| 欧美日韩亚洲综合一区二区三区_| 亚洲欧美日韩高清在线视频| 国产av一区二区精品久久| 夜夜夜夜夜久久久久| 国产99白浆流出| 99国产综合亚洲精品| 人人澡人人妻人| 精品国产美女av久久久久小说| 国产成人av教育| 国产99白浆流出| 日本黄色视频三级网站网址 | e午夜精品久久久久久久| 18禁观看日本| 日韩视频一区二区在线观看| 久久 成人 亚洲| 亚洲精品美女久久av网站| 欧美精品av麻豆av| 老熟女久久久| 久久精品91无色码中文字幕| 无限看片的www在线观看| 国产亚洲欧美在线一区二区| 午夜成年电影在线免费观看| 欧美 日韩 精品 国产| 又大又爽又粗| 一边摸一边抽搐一进一出视频| 国产有黄有色有爽视频| 黄色怎么调成土黄色| 一进一出好大好爽视频| 高清av免费在线| 国产精品亚洲一级av第二区| 狠狠狠狠99中文字幕| 精品久久久精品久久久| 久久精品人人爽人人爽视色| 窝窝影院91人妻| 免费在线观看完整版高清| 国产精品久久电影中文字幕 | 国产精品免费一区二区三区在线 | 欧美性长视频在线观看| 视频区欧美日本亚洲| 看免费av毛片| 久久久精品免费免费高清| 欧美一级毛片孕妇| 欧美日韩亚洲高清精品| 这个男人来自地球电影免费观看| 国产精品乱码一区二三区的特点 | 亚洲成人免费电影在线观看| 天天操日日干夜夜撸| 亚洲一区二区三区不卡视频| 国产xxxxx性猛交| 女人久久www免费人成看片| 久久影院123| 久久精品国产亚洲av香蕉五月 | 无遮挡黄片免费观看| 久久久精品国产亚洲av高清涩受| 国产精品综合久久久久久久免费 | 亚洲熟女毛片儿| 夜夜爽天天搞| 色老头精品视频在线观看| 最近最新中文字幕大全免费视频| 在线十欧美十亚洲十日本专区| 宅男免费午夜| 国产精品免费大片| 午夜影院日韩av| 国产亚洲欧美98| 热re99久久精品国产66热6| 国产精品 国内视频| 欧美日韩精品网址| 高清视频免费观看一区二区| 成人18禁在线播放| avwww免费| 国产区一区二久久| 欧美+亚洲+日韩+国产| 麻豆国产av国片精品| 国产亚洲精品久久久久久毛片 | 国产人伦9x9x在线观看| 国产又色又爽无遮挡免费看| 91麻豆av在线| 日韩中文字幕欧美一区二区| 人人妻人人澡人人爽人人夜夜| 亚洲欧洲精品一区二区精品久久久| 嫩草影视91久久| 亚洲欧美激情综合另类| 丰满饥渴人妻一区二区三| 国产亚洲欧美在线一区二区| 美女福利国产在线| 99国产极品粉嫩在线观看| 老鸭窝网址在线观看| 亚洲欧美日韩高清在线视频| a级片在线免费高清观看视频| 国产精品久久电影中文字幕 | 中文字幕人妻丝袜制服| 99riav亚洲国产免费| 国产精品秋霞免费鲁丝片| 国产野战对白在线观看| 久久99一区二区三区| 亚洲精品av麻豆狂野| 久热这里只有精品99| 人妻久久中文字幕网| 精品人妻在线不人妻| 成人18禁在线播放| 国产91精品成人一区二区三区| 国产精品免费大片| avwww免费| 丰满人妻熟妇乱又伦精品不卡| 久久久国产欧美日韩av| 最新在线观看一区二区三区| 无遮挡黄片免费观看| 精品熟女少妇八av免费久了| 999精品在线视频| 一区在线观看完整版| 建设人人有责人人尽责人人享有的| 满18在线观看网站| 一边摸一边抽搐一进一出视频| 久久精品91无色码中文字幕| 99riav亚洲国产免费| 成人永久免费在线观看视频| 免费在线观看影片大全网站| 69精品国产乱码久久久| 韩国精品一区二区三区| 一本一本久久a久久精品综合妖精| 亚洲精品av麻豆狂野| 精品国产一区二区三区久久久樱花| 欧美一级毛片孕妇| 久久精品aⅴ一区二区三区四区| 高清av免费在线| 80岁老熟妇乱子伦牲交| 我的亚洲天堂| 岛国毛片在线播放| 咕卡用的链子| 成人av一区二区三区在线看| 中文字幕人妻熟女乱码| 久久久精品区二区三区| av福利片在线| 又紧又爽又黄一区二区| 男人操女人黄网站| 欧美 日韩 精品 国产| 免费在线观看黄色视频的| 一边摸一边做爽爽视频免费| 黑丝袜美女国产一区| 亚洲自偷自拍图片 自拍| 天天操日日干夜夜撸| 午夜激情av网站| 亚洲精品自拍成人| 少妇 在线观看| 香蕉国产在线看| 99国产极品粉嫩在线观看| 18禁裸乳无遮挡动漫免费视频| avwww免费| 亚洲欧洲精品一区二区精品久久久| 午夜免费成人在线视频| 三级毛片av免费| 韩国精品一区二区三区| 少妇的丰满在线观看| 99re在线观看精品视频| 精品欧美一区二区三区在线| 精品一品国产午夜福利视频| 亚洲精品国产色婷婷电影| 日本精品一区二区三区蜜桃| 成人精品一区二区免费| 欧美日韩乱码在线| 国产乱人伦免费视频| 丝袜人妻中文字幕| 国产无遮挡羞羞视频在线观看| 成人黄色视频免费在线看| 亚洲国产精品sss在线观看 | 国产成人免费观看mmmm| 亚洲久久久国产精品| 在线观看免费高清a一片| 这个男人来自地球电影免费观看| 久久久国产欧美日韩av| 精品少妇久久久久久888优播| 精品国产乱码久久久久久男人| 999精品在线视频| 欧美中文综合在线视频| 黄色视频,在线免费观看| 久久久久久免费高清国产稀缺| 大码成人一级视频| 日韩熟女老妇一区二区性免费视频| 欧美日韩瑟瑟在线播放| 欧美日韩成人在线一区二区| 精品亚洲成a人片在线观看| 国内久久婷婷六月综合欲色啪| 另类亚洲欧美激情| 中文字幕精品免费在线观看视频| 中文字幕人妻熟女乱码| 精品国产美女av久久久久小说| 中文字幕精品免费在线观看视频| 99精品久久久久人妻精品| 国产主播在线观看一区二区| 色综合婷婷激情| 电影成人av| 亚洲国产欧美日韩在线播放| 亚洲成a人片在线一区二区| 80岁老熟妇乱子伦牲交| 欧美最黄视频在线播放免费 | 欧美乱妇无乱码| 不卡一级毛片| 欧美日韩福利视频一区二区| 国产欧美日韩一区二区三区在线| 久久久久久亚洲精品国产蜜桃av| 在线观看一区二区三区激情| 黄色丝袜av网址大全| www.999成人在线观看| 国产精品秋霞免费鲁丝片| 91九色精品人成在线观看| 精品福利永久在线观看|