• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    適用于SCNN的多維度注意力方法

    2023-06-30 06:57:48徐宇奇王欣悅徐小良
    關(guān)鍵詞:多維度集上注意力

    徐宇奇,王欣悅,徐小良

    (杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院,浙江 杭州 310018)

    0 引 言

    脈沖卷積神經(jīng)網(wǎng)絡(luò)(Spiking Convolutional Neural Network,SCNN)作為第三代神經(jīng)網(wǎng)絡(luò)中的分支,使用離散的脈沖信號(hào)進(jìn)行信息傳遞,類似大腦皮層的信息處理方式使其具有巨大的發(fā)展?jié)摿?成為神經(jīng)形態(tài)視覺(jué)任務(wù)中的研究熱點(diǎn),在目標(biāo)跟蹤、圖像識(shí)別與視頻識(shí)別等領(lǐng)域應(yīng)用廣泛[1]。得益于脈沖傳遞的低耗能特性,SCNN還可以應(yīng)用于邊緣設(shè)備。與卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)不同,SCNN具有獨(dú)特的時(shí)間維度,與通道、二維空間維度相結(jié)合形成了相當(dāng)復(fù)雜的維度空間,大量的脈沖事件分布在復(fù)雜的網(wǎng)絡(luò)空間內(nèi),增加了網(wǎng)絡(luò)學(xué)習(xí)的壓力,使神經(jīng)元容易錯(cuò)誤地關(guān)注到某些不重要的脈沖事件,在時(shí)間窗口內(nèi)發(fā)放大量冗余脈沖,致使網(wǎng)絡(luò)在增加計(jì)算量與能耗的同時(shí),降低了后續(xù)神經(jīng)元的可選擇性,損害網(wǎng)絡(luò)的信息表示[2-5]。相比于CNN,SCNN更需要多維度的注意力方法幫助網(wǎng)絡(luò)對(duì)分布復(fù)雜化的脈沖事件作出精準(zhǔn)的重要性判斷。目前還沒(méi)有專門適用于SCNN的多維度注意力方法來(lái)緩解上述問(wèn)題。

    在CNN中,有一種多維度的注意力方法(Convolutional Block Attention Module,CBAM)[6]可以通過(guò)壓縮-提取模塊獲取特征圖通道維度與二維空間維度的注意力并加以融合,快速聚焦于特征圖的關(guān)鍵位置,但對(duì)于脈沖數(shù)據(jù),CBAM無(wú)法考慮時(shí)間域范圍內(nèi)的全局性與多個(gè)樣本間的全局性,并不適用于SCNN。因此,本文對(duì)CBAM進(jìn)行改進(jìn),提出一種適用于SCNN的多維度注意力方法,使得神經(jīng)元對(duì)各個(gè)脈沖事件的重要性作出精準(zhǔn)的判斷。

    1 STBP學(xué)習(xí)算法

    Wu等[5,7]提出了隨時(shí)空域反向傳播(Spatio-Temporal Backpropagation,STBP)學(xué)習(xí)算法,并與Pytorch框架兼容,將帶泄漏整合發(fā)放(Leaky Integrate-And-Fire,LIF)神經(jīng)元模型轉(zhuǎn)換為顯示迭代版本,快速訓(xùn)練更深層的脈沖神經(jīng)網(wǎng)絡(luò)。其膜電位u計(jì)算如下:

    (1)

    (2)

    (3)

    STBP學(xué)習(xí)算法使用近似導(dǎo)數(shù)來(lái)解決脈沖活動(dòng)不可微問(wèn)題。將瞬時(shí)的變化率近似為神經(jīng)元在激活前一小段時(shí)間內(nèi)的變化率,使用梯度下降算法進(jìn)行誤差的反向傳播,近似導(dǎo)數(shù)如下:

    (4)

    式中,a為影響曲線寬窄的超參數(shù)。

    2 SCNN多維度注意力方法

    本文提出適用于SCNN的多維度注意力方法主要包括3個(gè)方面,分別為通道維度注意力的獲取、時(shí)間維度注意力的獲取、通道和時(shí)間與二維空間注意力的融合。

    2.1 通道維度注意力

    本文采用通道維度注意力(Channel Attention,CA)方法來(lái)獲取SCNN中特征圖V的通道維度注意力。首先,將特征圖V的維度進(jìn)行重新排列,獲得通道維度在批次維度與時(shí)間維度下的全面信息;然后,通過(guò)卷積操作獲取每個(gè)二維空間位置的重要性,對(duì)通道維度下的數(shù)據(jù)進(jìn)行加權(quán)壓縮;最后,通過(guò)全連接層獲取全局信息通道維度的注意力。CA方法的步驟主要為批次-時(shí)間-通道整合、CA獲取。

    2.1.1 批次-時(shí)間-通道整合

    為了使獲取的通道注意力包含批次與時(shí)間維度的全局性,分別對(duì)V進(jìn)行批次與通道維度、時(shí)間與通道維度的整合。假設(shè)1個(gè)尺寸為S×Ti×C×W×H的矩陣V,其中,S表示批次下的樣本數(shù),Ti表示包含當(dāng)前時(shí)間點(diǎn)t=ti在內(nèi)的前置時(shí)間點(diǎn),即Ti∈{t1,t2,…,ti},C表示通道數(shù),W與H表示二維寬和高。對(duì)處于當(dāng)前時(shí)間點(diǎn)t=ti的V進(jìn)行批次與通道維度的整合,將V沿S維度進(jìn)行累加,矩陣尺寸由S×1×C×W×H變?yōu)?×C×W×H,記為矩陣A。此時(shí),矩陣A攜帶了該批次的全局信息。

    對(duì)V進(jìn)行時(shí)間與通道維度的整合,將V沿前置時(shí)間點(diǎn)進(jìn)行關(guān)于f(t)的加權(quán)相乘并累加,再經(jīng)過(guò)函數(shù)g(x)進(jìn)行激活,矩陣尺寸由1×Ti×C×W×H變?yōu)?×C×W×H,記為矩陣B,此時(shí)的矩陣B攜帶了前置時(shí)間點(diǎn)的全局信息。

    (5)

    (6)

    (7)

    2.1.2 通道維度注意力CA的獲取與使用

    將得到的矩陣A和B與當(dāng)前樣本在時(shí)間點(diǎn)t下的特征圖Vt進(jìn)行整合,得到的矩陣記為Ct。

    Ct=λA+μB+ξVt

    (8)

    式中,矩陣A,B,Ct和Vt尺寸均為C×W×H。λ,μ,ξ為可學(xué)習(xí)參數(shù),三者初始值相加為1,通過(guò)學(xué)習(xí)來(lái)確定矩陣A,B與Vt對(duì)矩陣Ct的貢獻(xiàn)程度,并使其限制在±0.1。通道注意力CA的獲取過(guò)程如圖1所示。

    圖1 通道注意力CA獲取示意圖

    對(duì)矩陣Ct進(jìn)行雙通道壓縮操作時(shí),直接使用MaxPool與AvgPool進(jìn)行壓縮并未考慮二維空間位置不同的重要性,存在一定的缺陷,故通過(guò)對(duì)矩陣Ct進(jìn)行額外的卷積操作來(lái)獲取全局二維空間的注意力。首先使用SoftMax與Sigmoid激活函數(shù)對(duì)卷積得到的數(shù)據(jù)進(jìn)行激活,并將激活后的數(shù)據(jù)分別與矩陣Ct相乘,獲得的矩陣記為D1與D2;然后,對(duì)D1進(jìn)行AvgPool操作,對(duì)D2進(jìn)行MaxPool操作,得到2個(gè)尺寸為C×1×1的矩陣。特別地,對(duì)于通過(guò)AvgPool得到的矩陣,將其中的每個(gè)元素乘以W×H,隨后將2個(gè)尺寸為C×1×1的矩陣共同輸入到1個(gè)共享的雙層全連接感知機(jī)MLP={Fc1(C,C/r1),Fc2(C/r1,C)}中,其中C為通道維度,r1為超參數(shù),Fc為全連接層。再將通過(guò)感知機(jī)MLP輸出的2個(gè)矩陣相加后,通過(guò)ReLu激活函數(shù)進(jìn)行激活,得到最終的多維度整合的通道注意力尺寸為C×1×1的矩陣CA,將CA與對(duì)應(yīng)的Vt中通道維度的數(shù)據(jù)相乘即可使后續(xù)膜電位攜帶通道注意力。本文將由輸入矩陣Ct到獲取通道注意力的一系列操作記為ConvSE(Convolutional Squeeze Excitation)模塊。

    2.2 時(shí)間維度注意力

    本文采用適合于SCNN的時(shí)間維度注意力方法(Temporal Attention,TA)來(lái)獲取SCNN中特征圖V的時(shí)間維度注意力。先通過(guò)轉(zhuǎn)換迭代維度來(lái)獲取所有時(shí)間點(diǎn)的信息,再由ConvSE模塊獲取時(shí)間維度注意力TA。

    2.2.1 迭代維度轉(zhuǎn)換

    在STBP算法中,將LIF神經(jīng)元模型定義為顯式迭代的版本,具體實(shí)現(xiàn)中使用先層次后時(shí)間的迭代方法,即完成當(dāng)前時(shí)刻下的網(wǎng)絡(luò)前饋后,保存各層膜電位與各層輸出數(shù)據(jù),再進(jìn)入下一個(gè)時(shí)間點(diǎn)進(jìn)行前饋,直到遍歷時(shí)間點(diǎn)結(jié)束。

    若使用時(shí)間維度進(jìn)行迭代,在經(jīng)過(guò)卷積層后只能獲取當(dāng)前時(shí)間點(diǎn)之前的中間特征圖,無(wú)法獲取還未遍歷到的時(shí)間點(diǎn)數(shù)據(jù),導(dǎo)致網(wǎng)絡(luò)無(wú)法獲取每一層的完整時(shí)間維度的注意力??蛇M(jìn)行迭代維度的轉(zhuǎn)換來(lái)解決該問(wèn)題。首先,將先層次后時(shí)間的迭代方法轉(zhuǎn)換為先時(shí)間后層次迭代,忽略前置時(shí)間點(diǎn)的膜電位對(duì)后續(xù)時(shí)刻的影響,在每層(如第i層)獲得所有時(shí)間點(diǎn)直接得到的中間特征圖Vi;然后,使用Vi獲取時(shí)間維度注意力,再進(jìn)行后續(xù)的前置時(shí)間膜電位衰減加權(quán),或進(jìn)行發(fā)送脈沖后的超極化操作;最后,繼續(xù)以上步驟進(jìn)行層次上的迭代直到網(wǎng)絡(luò)結(jié)束。

    2.2.2 時(shí)間維度注意力TA的獲取與使用

    獲取的第i層中間特征圖Vi的尺寸為T×C×W×H,分別表示時(shí)間、通道、二維空間寬和高維度。通過(guò)對(duì)Vi進(jìn)行2.1.2節(jié)所述的ConvSE操作,獲取時(shí)間維度注意力TA,并將其迭代作用于膜電位的更新,如圖2所示,具體步驟如下。

    圖2 TA的獲取與作用示意圖

    (1)對(duì)所有時(shí)間點(diǎn)的中間特征圖Vi進(jìn)行通道維度的累加,尺寸變?yōu)門×W×H。

    (2)針對(duì)步驟1獲得的矩陣,使用結(jié)合了二維空間注意力的ConvSE模塊,將其感知機(jī)MLP中的參數(shù)r1替換為r2,通過(guò)基于卷積操作的雙路池化操作獲取到時(shí)間維度上的注意力矩陣TAi,該矩陣大小為T×1×1。

    2.3 多維度注意力融合策略

    將通道維度注意力、時(shí)間維度注意力與在ConvSE模塊中的二維空間維度注意力互相結(jié)合,形成適用于調(diào)整SCNN中神經(jīng)元膜電位的多維度注意力方法。首先對(duì)迭代維度進(jìn)行調(diào)整,獲取第i層經(jīng)過(guò)卷積后得到的所有時(shí)刻的中間特征圖Vi,后續(xù)步驟如下。

    本文提出的適用于SCNN的多維度注意力方法能將各個(gè)維度的注意力互相結(jié)合,使其形成相輔相成的關(guān)系以幫助網(wǎng)絡(luò)更好地獲取到在各個(gè)復(fù)雜維度下多維度有機(jī)融合的注意力分布,隨著SCNN本身學(xué)習(xí)的進(jìn)行,各個(gè)維度的注意力獲取也在相應(yīng)地進(jìn)行調(diào)整,以達(dá)到適應(yīng)網(wǎng)絡(luò)的最好效果。

    3 實(shí)驗(yàn)結(jié)果與分析

    實(shí)驗(yàn)中,所有代碼的實(shí)現(xiàn)均采用Python3.8,平臺(tái)運(yùn)行為PyCharm2020.2,服務(wù)器操作系統(tǒng)版本為Ubuntu18.04,CPU型號(hào)為Intel(R)Core(TM)i9-10900X,主頻為3.70 GHz,GPU型號(hào)為RTX3090。實(shí)驗(yàn)數(shù)據(jù)集為3個(gè)神經(jīng)形態(tài)數(shù)據(jù)集N-MNIST[8],CIFAR10-DVS[9]和DVS-Gesture[10],從識(shí)別精度、收斂速度、各維度注意力等方面來(lái)評(píng)估系統(tǒng)的性能。

    3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

    3.1.1 數(shù)據(jù)集

    3個(gè)神經(jīng)形態(tài)數(shù)據(jù)集中,N-MNIST和CIFAR10-DVS數(shù)據(jù)集上的時(shí)間窗口T=10,劃分時(shí)間流時(shí)取間隔dt=10 ms;DVS-Gesture數(shù)據(jù)集上的時(shí)間窗口取T=40,dt=15 ms。

    3.1.2 網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置

    選用表1中的網(wǎng)絡(luò)結(jié)構(gòu)與具體參數(shù),采用本文提出的適用于SCNN的多維度注意力方法分別在3個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

    表1 實(shí)驗(yàn)數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)表

    表1中,128C3表示輸出通道為128且卷積核尺寸為3×3的卷積層,AP2表示池化核尺寸為2×2的平均池化層,1024 FC表示輸出數(shù)量為1 024的全連接層,VOTING表示分類層,Stride表示卷積核單次移動(dòng)的步長(zhǎng)。

    3個(gè)數(shù)據(jù)集使用的參數(shù)與優(yōu)化器如表2所示,其中,θ,A與k為STBP學(xué)習(xí)算法中的參數(shù);λ,μ,ξ與r1為獲取通道注意力CA時(shí)所使用的參數(shù);τ,σ與r2為獲取時(shí)間注意力TA時(shí)所使用的參數(shù),優(yōu)化器選擇使用Adam[11]。

    表2 實(shí)驗(yàn)數(shù)據(jù)集參數(shù)表

    3.2 實(shí)驗(yàn)結(jié)果與分析

    從識(shí)別精度、收斂速度與復(fù)雜度等方面對(duì)本文提出的適用于SCNN的多維度注意力方法(簡(jiǎn)稱CTSA)進(jìn)行評(píng)估和分析。

    3.2.1 精度評(píng)估

    分別對(duì)通道維度注意力CA、時(shí)間維度注意力TA、多維度注意力CTSA在3個(gè)數(shù)據(jù)集上進(jìn)行識(shí)別精度的評(píng)估。結(jié)果如表3—表5所示,其中的“-comp”項(xiàng)為對(duì)比方法。

    表3 CA精度評(píng)估

    通道維度注意力CA、時(shí)間維度注意力TA與常規(guī)網(wǎng)絡(luò)和對(duì)照方法(-comp組)的精度評(píng)估對(duì)比如表3所示,其中,CA-comp為不進(jìn)行批次-通道與時(shí)間-通道的整合,直接對(duì)中間特征圖進(jìn)行壓縮-提取以獲得通道注意力,且在壓縮時(shí)不考慮二維空間注意力;TA-comp為對(duì)輸入數(shù)據(jù)直接進(jìn)行壓縮-提取操作獲取注意力,且在壓縮時(shí)不考慮的二維空間注意力。

    表3與表4分別展示了CA,TA與常規(guī)網(wǎng)絡(luò)和對(duì)照方法(-comp組)的精度評(píng)估對(duì)比,可以發(fā)現(xiàn):盡管以往的通道與時(shí)間維度注意力(-comp組)的應(yīng)用在每個(gè)數(shù)據(jù)集上都帶來(lái)了一定的精度提升,但與本文方法對(duì)比,仍具有一定的差距。其中在N-MNIST與CIFAR10-DVS數(shù)據(jù)集上,CA比TA帶來(lái)了更多的提升,這是因?yàn)檫@2個(gè)數(shù)據(jù)集將時(shí)間窗口大小T設(shè)置為10,與通道維度數(shù)量相差較大,CA取得了更好的效果;而在DVS-Gesture數(shù)據(jù)集上,T=40,時(shí)間維度極大延長(zhǎng)后,使數(shù)據(jù)本身隱含了更多的時(shí)間維度的信息,給TA帶來(lái)更大的發(fā)揮空間,TA的精度提升高于CA。

    表4 TA精度評(píng)估

    表5展示了通道維度注意力CA、時(shí)間維度注意力TA與多維度注意力CTSA在各個(gè)數(shù)據(jù)集上的識(shí)別精度,可以看出,在單維度注意力方法的基礎(chǔ)上,CTSA進(jìn)一步幫助SCNN提升了性能。

    表5 CTSA精度評(píng)估

    在CIFAR10-DVS數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)時(shí)發(fā)現(xiàn),訓(xùn)練精度與測(cè)試精度相差較大,存在一定程度的過(guò)擬合現(xiàn)象,這是由于該數(shù)據(jù)集的復(fù)雜程度較高且數(shù)據(jù)量相對(duì)不足,導(dǎo)致網(wǎng)絡(luò)泛化能力較低。針對(duì)以上問(wèn)題,通過(guò)對(duì)圖像進(jìn)行裁剪、翻轉(zhuǎn)等傳統(tǒng)數(shù)據(jù)增強(qiáng)方法(Data Augmentation,DA)來(lái)提升訓(xùn)練數(shù)據(jù)的差異性,從而緩解過(guò)擬合現(xiàn)象[12]。在網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前,本文先對(duì)CIFAR10-DVS的數(shù)據(jù)進(jìn)行增強(qiáng)處理,對(duì)應(yīng)表5中的STBP(DA)方法。如圖3所示,首先,在128×128的圖片上增加大小為24的padding,尺寸變?yōu)?76×176,并將尺寸隨機(jī)裁剪回128×128;然后,對(duì)圖片進(jìn)行隨機(jī)的水平翻轉(zhuǎn)。在此基礎(chǔ)上,繼續(xù)驗(yàn)證各注意力在CIFAR10-DVS數(shù)據(jù)集上的性能,實(shí)驗(yàn)結(jié)果表明,相比于經(jīng)過(guò)數(shù)據(jù)增強(qiáng)的STBP算法,CTSA在該數(shù)據(jù)集上的識(shí)別精度提高了4.31%。

    圖3 CIFAR10-DVS數(shù)據(jù)增強(qiáng)流程圖

    3.2.2 收斂速度評(píng)估

    為進(jìn)一步探究各維度注意力方法為SCNN帶來(lái)的性能提升,先采用CA與CA-comp、TA與TA-comp分別在3個(gè)數(shù)據(jù)集上進(jìn)行收斂速度的對(duì)比,結(jié)果如圖4所示,再對(duì)CA,TA與CTSA進(jìn)行收斂速度的對(duì)比,結(jié)果如圖5所示。其中normal曲線為只使用STBP算法的常規(guī)網(wǎng)絡(luò),圖中橫軸為迭代次數(shù),縱軸為精度。

    圖4 單一維度注意力方法收斂速度對(duì)比

    圖5 CA,TA,CTSA收斂速度對(duì)比

    從圖4可以看出,和原網(wǎng)絡(luò)與對(duì)照方法(-comp)相比,CA與TA均能更為快速地達(dá)到較高的精度,圖中虛線圓圈標(biāo)注的部分相差最大。前期精度上升速度略低于對(duì)照方法的主要原因在于本文方法整合了全局?jǐn)?shù)據(jù),且額外加入了卷積與全連接操作,在訓(xùn)練初始階段更為困難,但最終均能快速地收斂到更高的精度。

    從圖5可以看出,在迭代過(guò)程的中期,多維度注意力方法CTSA與其他的單維度注意力方法逐漸拉開(kāi)差距,最終以最小的迭代次數(shù)完成收斂。因?yàn)镃TSA方法不局限于單個(gè)維度,而是將通道維度與時(shí)間維度的注意力有機(jī)結(jié)合,使兩者相輔相成,在幫助網(wǎng)絡(luò)提高精度的同時(shí)獲得更快的收斂速度。

    3.2.3 參數(shù)分析

    對(duì)CTSA中參數(shù)λ,μ,ξ的默認(rèn)值進(jìn)行分析,將λ,μ限定在[0,0.3]之間,ξ隨兩者變化而變化,三者相加為1。每次變化步長(zhǎng)為0.05,分別進(jìn)行實(shí)驗(yàn)并使用精度評(píng)估。實(shí)驗(yàn)過(guò)程中,使用網(wǎng)格搜索方法[13-15]尋找最優(yōu)的參數(shù)組。由于實(shí)驗(yàn)量較大,本文使用預(yù)訓(xùn)練與自訓(xùn)練聯(lián)合的方法[16-17]進(jìn)行,結(jié)果如圖6所示。

    圖6 參數(shù)分析

    從圖6可以看出,在3個(gè)數(shù)據(jù)集上得到最好精度的λ,μ取值分別為(0.1,0.1),(0.15,0.15)與(0.1,0.15)。此外可以觀察到,(0,0)附近的邊緣位置與(0.3,0.3)邊緣位置精度較低,前者主要是由于當(dāng)λ,μ都為0或有某一個(gè)為0時(shí),通道維度CA注意力失去了整合后的某些全局?jǐn)?shù)據(jù)導(dǎo)致精度較低;后者是由于當(dāng)λ,μ較大時(shí),ξ取值較小,自身的原始信息傳遞效率過(guò)低導(dǎo)致精度下降。

    3.2.4 注意力可視化展示

    在網(wǎng)絡(luò)收斂完全時(shí),將3個(gè)數(shù)據(jù)集的CA矩陣與TA矩陣分別相乘,得到通道-時(shí)間二維位置的重要性,如圖7所示,每個(gè)位置的重要性由暗到亮而遞增。對(duì)于N-MNIST與CIFAR10-DVS,取時(shí)間維度全長(zhǎng)進(jìn)行展示;對(duì)于DVS-Gesture,從0開(kāi)始每4個(gè)時(shí)間點(diǎn)選取1個(gè)用于展示。3個(gè)數(shù)據(jù)集的通道維度均取0~9,數(shù)據(jù)均取自于第1個(gè)卷積層。

    圖7 CA與TA融合重要性示意圖

    對(duì)比圖7可以看出,DVS-Gesture數(shù)據(jù)集受時(shí)間維度的影響更為明顯。這是因?yàn)镈VS-Gesture數(shù)據(jù)集對(duì)時(shí)間維度會(huì)更為敏感,使用的是由DVS相機(jī)直接捕獲的脈沖數(shù)據(jù),而N-MNIST與CIFAR10-DVS數(shù)據(jù)集是通過(guò)基于幀的圖片轉(zhuǎn)換得到的。

    3.2.5 復(fù)雜度分析

    對(duì)CA,TA與CTSA進(jìn)行時(shí)間與空間的復(fù)雜度分析。

    (1)時(shí)間復(fù)雜度:對(duì)于CA方法,由于矩陣相加可并行操作,因此其中B-C,T-C整合與壓縮提取過(guò)程均只需在每個(gè)時(shí)間點(diǎn)進(jìn)行1次操作即可,每個(gè)步驟執(zhí)行次數(shù)均為時(shí)間窗口的大小T,因此時(shí)間復(fù)雜度為O(n);對(duì)于TA方法,時(shí)間維度只需進(jìn)行1次操作即可獲取時(shí)間維度注意力,其時(shí)間復(fù)雜度為O(1);對(duì)于CTSA方法,將CA矩陣、TA矩陣與在TA方法中獲得的SASA矩陣結(jié)合共同作用于每個(gè)時(shí)間點(diǎn),復(fù)雜度為O(n);

    (2)空間復(fù)雜度:從輸入數(shù)據(jù)的角度分析,上述方法都在每個(gè)時(shí)間點(diǎn)產(chǎn)生了額外的中間變量,因此空間復(fù)雜度為O(n);從網(wǎng)絡(luò)參數(shù)的角度分析,ConvSE模塊中卷積層與2個(gè)全連接層所用參數(shù)遠(yuǎn)小于原始網(wǎng)絡(luò)卷積層的參數(shù),空間復(fù)雜度為O(1)。綜上所述,CTSA方法的空間復(fù)雜度為O(n)。

    4 結(jié)束語(yǔ)

    本文提出一種適用于SCNN的多維度注意力方法。從全局視野出發(fā),運(yùn)用SCNN復(fù)雜的時(shí)空動(dòng)力學(xué),通過(guò)壓縮-提取模塊獲取SCNN中特征圖的通道、時(shí)間與二維空間維度注意力并加以融合,對(duì)分布在復(fù)雜時(shí)空維度下的各個(gè)脈沖事件作出更為精準(zhǔn)的重要性判斷,保證了網(wǎng)絡(luò)信息的高效傳輸。但是,本文方法需要整合每個(gè)時(shí)間點(diǎn)的通道和批次,增加了一定的存儲(chǔ)負(fù)擔(dān),計(jì)劃繼續(xù)挖掘時(shí)間維度與通道維度之間的共性,形成全局適用的注意力,減少存儲(chǔ)空間的消耗。

    猜你喜歡
    多維度集上注意力
    讓注意力“飛”回來(lái)
    “多維度評(píng)改”方法初探
    Cookie-Cutter集上的Gibbs測(cè)度
    鏈完備偏序集上廣義向量均衡問(wèn)題解映射的保序性
    復(fù)扇形指標(biāo)集上的分布混沌
    多維度市南
    商周刊(2017年7期)2017-08-22 03:36:22
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    A Beautiful Way Of Looking At Things
    幾道導(dǎo)數(shù)題引發(fā)的解題思考
    多維度巧設(shè)聽(tīng)課評(píng)價(jià)表 促進(jìn)聽(tīng)評(píng)課的務(wù)實(shí)有效
    體育師友(2012年4期)2012-03-20 15:30:10
    久久精品亚洲精品国产色婷小说| 国产一区在线观看成人免费| 午夜两性在线视频| 欧美 亚洲 国产 日韩一| 咕卡用的链子| 又黄又爽又免费观看的视频| 国产精品永久免费网站| 搡老乐熟女国产| 成熟少妇高潮喷水视频| 欧美黄色淫秽网站| 久久久国产一区二区| 日本撒尿小便嘘嘘汇集6| 精品无人区乱码1区二区| x7x7x7水蜜桃| 首页视频小说图片口味搜索| 亚洲成a人片在线一区二区| 日本vs欧美在线观看视频| 色婷婷av一区二区三区视频| 成人国语在线视频| 操美女的视频在线观看| 操美女的视频在线观看| 日本撒尿小便嘘嘘汇集6| 精品欧美一区二区三区在线| 久久草成人影院| 高清av免费在线| 欧洲精品卡2卡3卡4卡5卡区| 校园春色视频在线观看| 国产精品永久免费网站| 欧美久久黑人一区二区| 中文字幕av电影在线播放| 亚洲中文日韩欧美视频| 成人永久免费在线观看视频| 欧美不卡视频在线免费观看 | 欧美日韩av久久| 亚洲 欧美 日韩 在线 免费| 一进一出抽搐gif免费好疼 | 18美女黄网站色大片免费观看| 欧美成狂野欧美在线观看| tocl精华| 成熟少妇高潮喷水视频| 国产精品一区二区免费欧美| 日韩大尺度精品在线看网址 | 老司机深夜福利视频在线观看| 亚洲色图av天堂| 身体一侧抽搐| 亚洲第一av免费看| 国产真人三级小视频在线观看| 亚洲精品一二三| 久久中文看片网| 亚洲熟妇中文字幕五十中出 | 可以在线观看毛片的网站| netflix在线观看网站| 9热在线视频观看99| 老熟妇仑乱视频hdxx| 在线观看66精品国产| 精品卡一卡二卡四卡免费| 超碰成人久久| 欧美成人午夜精品| 国产精品久久久av美女十八| 久热这里只有精品99| 亚洲精品一二三| 欧美日韩亚洲综合一区二区三区_| 一区二区三区精品91| av福利片在线| 精品欧美一区二区三区在线| 中文字幕最新亚洲高清| 热re99久久国产66热| 国产免费男女视频| 不卡av一区二区三区| 久久国产精品影院| 天天躁夜夜躁狠狠躁躁| 免费av毛片视频| 88av欧美| 淫秽高清视频在线观看| 亚洲国产精品一区二区三区在线| 国产精华一区二区三区| 午夜精品久久久久久毛片777| 免费不卡黄色视频| 国产精品 欧美亚洲| 日日摸夜夜添夜夜添小说| 午夜福利影视在线免费观看| 欧美国产精品va在线观看不卡| 超碰97精品在线观看| 天天躁夜夜躁狠狠躁躁| 在线观看一区二区三区| 99国产精品免费福利视频| 亚洲性夜色夜夜综合| 色精品久久人妻99蜜桃| 国产熟女午夜一区二区三区| 桃色一区二区三区在线观看| 国产激情久久老熟女| 亚洲精品av麻豆狂野| 亚洲欧美一区二区三区久久| 国产精品乱码一区二三区的特点 | 一区二区三区激情视频| 热re99久久精品国产66热6| 亚洲国产毛片av蜜桃av| 人人妻人人爽人人添夜夜欢视频| 亚洲性夜色夜夜综合| av网站免费在线观看视频| 男人的好看免费观看在线视频 | 久久青草综合色| 久久久久久久久中文| 一级a爱视频在线免费观看| 在线观看免费视频日本深夜| 亚洲熟女毛片儿| 91成人精品电影| 亚洲第一青青草原| 久久人妻福利社区极品人妻图片| 亚洲一区二区三区欧美精品| 精品一区二区三区四区五区乱码| 色综合欧美亚洲国产小说| 看黄色毛片网站| 丰满饥渴人妻一区二区三| av天堂在线播放| 国产91精品成人一区二区三区| 18禁美女被吸乳视频| 99香蕉大伊视频| 人妻久久中文字幕网| 高潮久久久久久久久久久不卡| 97人妻天天添夜夜摸| 99久久人妻综合| 午夜影院日韩av| 欧美激情 高清一区二区三区| а√天堂www在线а√下载| 日韩有码中文字幕| 国产aⅴ精品一区二区三区波| 亚洲va日本ⅴa欧美va伊人久久| 亚洲欧美日韩另类电影网站| 女人高潮潮喷娇喘18禁视频| 丰满的人妻完整版| av在线天堂中文字幕 | 亚洲精品国产一区二区精华液| 亚洲精品av麻豆狂野| 精品一区二区三区视频在线观看免费 | 一级毛片女人18水好多| 亚洲三区欧美一区| 1024香蕉在线观看| 久久久水蜜桃国产精品网| www.www免费av| aaaaa片日本免费| 黄色怎么调成土黄色| 一二三四在线观看免费中文在| 午夜影院日韩av| 美女高潮到喷水免费观看| 午夜精品在线福利| 老司机福利观看| 咕卡用的链子| 亚洲精品国产区一区二| 久久天堂一区二区三区四区| 男女之事视频高清在线观看| 在线观看免费午夜福利视频| 搡老乐熟女国产| 亚洲av五月六月丁香网| 18禁观看日本| 婷婷六月久久综合丁香| 99精国产麻豆久久婷婷| 国产熟女午夜一区二区三区| 亚洲欧洲精品一区二区精品久久久| 国产成+人综合+亚洲专区| 中文亚洲av片在线观看爽| 亚洲精品在线观看二区| 日韩欧美一区二区三区在线观看| 性色av乱码一区二区三区2| 国产成人av教育| 精品久久久久久久久久免费视频 | 午夜a级毛片| 亚洲九九香蕉| 操美女的视频在线观看| 91在线观看av| 欧美亚洲日本最大视频资源| 国产三级在线视频| 美女高潮到喷水免费观看| 超色免费av| 国产精品一区二区在线不卡| 黑人巨大精品欧美一区二区蜜桃| 亚洲片人在线观看| 免费高清在线观看日韩| 国产色视频综合| 制服人妻中文乱码| 国产免费男女视频| 乱人伦中国视频| 啦啦啦 在线观看视频| 国产精品 国内视频| 国产成人欧美在线观看| 欧美精品啪啪一区二区三区| av天堂在线播放| 欧美日本中文国产一区发布| 亚洲人成电影观看| 精品久久久久久成人av| 成人精品一区二区免费| 动漫黄色视频在线观看| 另类亚洲欧美激情| 国产精品久久视频播放| 成人18禁在线播放| 亚洲欧美日韩另类电影网站| 免费av毛片视频| 18禁美女被吸乳视频| av网站在线播放免费| 中出人妻视频一区二区| 在线十欧美十亚洲十日本专区| 午夜免费成人在线视频| av有码第一页| 日韩有码中文字幕| 精品高清国产在线一区| 亚洲伊人色综图| 十八禁网站免费在线| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美最黄视频在线播放免费 | 99热只有精品国产| 久久久久久久久久久久大奶| www.精华液| 脱女人内裤的视频| 99久久人妻综合| 亚洲人成77777在线视频| 国产成人欧美在线观看| a级毛片黄视频| a级毛片黄视频| 午夜福利一区二区在线看| 精品国产一区二区久久| 精品少妇一区二区三区视频日本电影| 欧美激情高清一区二区三区| 成人18禁高潮啪啪吃奶动态图| 久久人人精品亚洲av| 高清黄色对白视频在线免费看| 国内久久婷婷六月综合欲色啪| 老司机亚洲免费影院| 啦啦啦 在线观看视频| 精品欧美一区二区三区在线| 女人高潮潮喷娇喘18禁视频| 国产精品美女特级片免费视频播放器 | 国产免费男女视频| 国产精品日韩av在线免费观看 | 69精品国产乱码久久久| 久热爱精品视频在线9| 久久久精品欧美日韩精品| 国产日韩一区二区三区精品不卡| 欧美日韩黄片免| 久久精品国产清高在天天线| 91麻豆av在线| 韩国精品一区二区三区| 后天国语完整版免费观看| 免费日韩欧美在线观看| 女性生殖器流出的白浆| 50天的宝宝边吃奶边哭怎么回事| 老司机在亚洲福利影院| 亚洲熟妇熟女久久| 欧美久久黑人一区二区| 日韩成人在线观看一区二区三区| 日韩av在线大香蕉| 日本三级黄在线观看| 欧美一区二区精品小视频在线| 亚洲精华国产精华精| 可以在线观看毛片的网站| 男女做爰动态图高潮gif福利片 | 人人澡人人妻人| 在线观看一区二区三区激情| 欧美色视频一区免费| 女性被躁到高潮视频| 国产一区二区在线av高清观看| 老司机午夜福利在线观看视频| 精品一区二区三区视频在线观看免费 | 成年女人毛片免费观看观看9| 亚洲熟女毛片儿| 欧美日韩乱码在线| 欧美乱码精品一区二区三区| 久久久久久久午夜电影 | 视频区欧美日本亚洲| 国产亚洲欧美精品永久| 夜夜看夜夜爽夜夜摸 | 电影成人av| 亚洲 欧美一区二区三区| 国产主播在线观看一区二区| 人人妻人人澡人人看| 超碰成人久久| 琪琪午夜伦伦电影理论片6080| av天堂久久9| av天堂在线播放| 十八禁人妻一区二区| 咕卡用的链子| 成在线人永久免费视频| 亚洲精品av麻豆狂野| 91麻豆精品激情在线观看国产 | 一区福利在线观看| 成熟少妇高潮喷水视频| 国产又爽黄色视频| 国产成人欧美在线观看| 村上凉子中文字幕在线| 三级毛片av免费| 久久久久久免费高清国产稀缺| 夜夜爽天天搞| 国产成+人综合+亚洲专区| 国产精品日韩av在线免费观看 | 在线国产一区二区在线| 国产精品一区二区三区四区久久 | 亚洲熟妇熟女久久| 69精品国产乱码久久久| 身体一侧抽搐| 久久性视频一级片| 曰老女人黄片| 亚洲av熟女| 久久 成人 亚洲| 男女下面进入的视频免费午夜 | 精品久久久久久久毛片微露脸| 国产日韩一区二区三区精品不卡| 亚洲精品一二三| 熟女少妇亚洲综合色aaa.| 91成人精品电影| 久久99一区二区三区| 亚洲专区中文字幕在线| 中国美女看黄片| 欧美日韩国产mv在线观看视频| 国产成年人精品一区二区 | 欧美日韩黄片免| 在线天堂中文资源库| √禁漫天堂资源中文www| 91字幕亚洲| 国产精华一区二区三区| 日韩中文字幕欧美一区二区| 久久天躁狠狠躁夜夜2o2o| 亚洲av成人一区二区三| 深夜精品福利| 我的亚洲天堂| 亚洲av成人av| 午夜免费鲁丝| 欧美黑人欧美精品刺激| 国产高清国产精品国产三级| 精品国产一区二区三区四区第35| 欧美成人免费av一区二区三区| av天堂在线播放| 日本一区二区免费在线视频| 亚洲专区中文字幕在线| 国产极品粉嫩免费观看在线| 日韩免费av在线播放| 男人操女人黄网站| 999久久久精品免费观看国产| 黄频高清免费视频| 757午夜福利合集在线观看| 国产亚洲精品久久久久5区| 91精品国产国语对白视频| 亚洲久久久国产精品| 美女扒开内裤让男人捅视频| 久久人人97超碰香蕉20202| 中亚洲国语对白在线视频| 日韩国内少妇激情av| 国产精品一区二区三区四区久久 | 免费av毛片视频| 欧美日韩一级在线毛片| 999久久久国产精品视频| 午夜精品久久久久久毛片777| 91在线观看av| 欧美日韩亚洲综合一区二区三区_| 亚洲av成人一区二区三| 俄罗斯特黄特色一大片| 精品高清国产在线一区| 黄色视频,在线免费观看| 久久久久久久久中文| 久久香蕉国产精品| 午夜日韩欧美国产| 亚洲男人天堂网一区| 国内久久婷婷六月综合欲色啪| 精品人妻在线不人妻| 久99久视频精品免费| 欧美成人午夜精品| 亚洲国产欧美一区二区综合| 久久精品亚洲熟妇少妇任你| 国产精品日韩av在线免费观看 | 国产深夜福利视频在线观看| 老司机午夜十八禁免费视频| 精品人妻1区二区| 97超级碰碰碰精品色视频在线观看| www.自偷自拍.com| 一级,二级,三级黄色视频| 黄色成人免费大全| 亚洲国产精品一区二区三区在线| 欧美日韩av久久| 亚洲国产欧美一区二区综合| 亚洲人成网站在线播放欧美日韩| 国产av又大| 久久婷婷成人综合色麻豆| 欧美成狂野欧美在线观看| 亚洲精品中文字幕在线视频| 久99久视频精品免费| 成年版毛片免费区| www.www免费av| 欧美成人午夜精品| 在线观看免费日韩欧美大片| 午夜激情av网站| 亚洲aⅴ乱码一区二区在线播放 | 亚洲人成77777在线视频| 美女福利国产在线| 欧美激情 高清一区二区三区| 久久国产精品人妻蜜桃| 亚洲精品一二三| 黑人欧美特级aaaaaa片| 国产一区二区三区综合在线观看| 精品高清国产在线一区| 亚洲九九香蕉| 一级毛片女人18水好多| 99精品欧美一区二区三区四区| 成人亚洲精品av一区二区 | 久久人妻av系列| 日本 av在线| 熟女少妇亚洲综合色aaa.| 80岁老熟妇乱子伦牲交| 丰满迷人的少妇在线观看| 深夜精品福利| 看黄色毛片网站| 亚洲九九香蕉| 国产乱人伦免费视频| 日韩大码丰满熟妇| 久久久久久人人人人人| 免费在线观看黄色视频的| 神马国产精品三级电影在线观看 | 亚洲avbb在线观看| 麻豆久久精品国产亚洲av | 国产一区在线观看成人免费| svipshipincom国产片| 在线永久观看黄色视频| 成人国语在线视频| 久热这里只有精品99| 成人18禁在线播放| 免费高清视频大片| 男男h啪啪无遮挡| 成在线人永久免费视频| 国产精品国产高清国产av| 日日干狠狠操夜夜爽| 国产精品99久久99久久久不卡| 超色免费av| 麻豆久久精品国产亚洲av | 午夜免费成人在线视频| 精品午夜福利视频在线观看一区| 久久精品国产清高在天天线| 日日夜夜操网爽| 天天添夜夜摸| 岛国在线观看网站| 中国美女看黄片| 亚洲一区二区三区色噜噜 | 亚洲成人免费电影在线观看| 在线观看免费日韩欧美大片| 大型黄色视频在线免费观看| 亚洲第一欧美日韩一区二区三区| 天天影视国产精品| 操美女的视频在线观看| 国产高清激情床上av| 人妻久久中文字幕网| 成人国产一区最新在线观看| 97超级碰碰碰精品色视频在线观看| 男女午夜视频在线观看| 国产精品亚洲av一区麻豆| 午夜a级毛片| 最近最新中文字幕大全电影3 | 777久久人妻少妇嫩草av网站| 高清黄色对白视频在线免费看| 侵犯人妻中文字幕一二三四区| 国产精品偷伦视频观看了| 久久久久久人人人人人| 中文字幕色久视频| 欧美老熟妇乱子伦牲交| 99国产精品99久久久久| 国产有黄有色有爽视频| 久热爱精品视频在线9| tocl精华| 村上凉子中文字幕在线| www.熟女人妻精品国产| 日本黄色日本黄色录像| 亚洲在线自拍视频| 国产av精品麻豆| 欧美不卡视频在线免费观看 | 成人国产一区最新在线观看| 精品午夜福利视频在线观看一区| 欧美黄色片欧美黄色片| 精品卡一卡二卡四卡免费| 亚洲av熟女| 国产亚洲av高清不卡| av超薄肉色丝袜交足视频| 亚洲精品国产区一区二| 亚洲成a人片在线一区二区| 在线观看免费视频网站a站| 中文字幕最新亚洲高清| 90打野战视频偷拍视频| 亚洲国产精品合色在线| 大香蕉久久成人网| 人人妻,人人澡人人爽秒播| 亚洲第一欧美日韩一区二区三区| 国产一卡二卡三卡精品| 一级毛片精品| 最近最新中文字幕大全免费视频| 国产99白浆流出| 日本撒尿小便嘘嘘汇集6| 男女下面进入的视频免费午夜 | 国产精品 国内视频| 麻豆久久精品国产亚洲av | 国产一卡二卡三卡精品| 亚洲av成人一区二区三| a级毛片在线看网站| 国产无遮挡羞羞视频在线观看| 国产精品久久视频播放| 在线十欧美十亚洲十日本专区| 69av精品久久久久久| 美女国产高潮福利片在线看| 真人一进一出gif抽搐免费| 亚洲伊人色综图| 欧洲精品卡2卡3卡4卡5卡区| 国产一区在线观看成人免费| av网站在线播放免费| 国产蜜桃级精品一区二区三区| √禁漫天堂资源中文www| 久久精品国产亚洲av香蕉五月| 老司机福利观看| 亚洲视频免费观看视频| 黄色毛片三级朝国网站| 美女高潮喷水抽搐中文字幕| 午夜91福利影院| 久久精品成人免费网站| 婷婷精品国产亚洲av在线| 人妻久久中文字幕网| 欧美黑人欧美精品刺激| 在线国产一区二区在线| 亚洲一码二码三码区别大吗| 国产精品一区二区精品视频观看| 女警被强在线播放| 男女做爰动态图高潮gif福利片 | a级毛片黄视频| 麻豆国产av国片精品| 亚洲专区中文字幕在线| 欧洲精品卡2卡3卡4卡5卡区| 久久久久久久午夜电影 | 一区在线观看完整版| 国产深夜福利视频在线观看| 在线播放国产精品三级| 亚洲av日韩精品久久久久久密| 美女国产高潮福利片在线看| 亚洲人成电影免费在线| 男人舔女人下体高潮全视频| 夫妻午夜视频| 国产午夜精品久久久久久| 国产精品乱码一区二三区的特点 | 夜夜躁狠狠躁天天躁| 亚洲人成77777在线视频| 变态另类成人亚洲欧美熟女 | 久久久久久久久中文| 色精品久久人妻99蜜桃| 亚洲熟女毛片儿| 久99久视频精品免费| 日本 av在线| 麻豆一二三区av精品| 亚洲成人国产一区在线观看| 女人爽到高潮嗷嗷叫在线视频| 久久久水蜜桃国产精品网| 美女国产高潮福利片在线看| 男女下面插进去视频免费观看| 国产无遮挡羞羞视频在线观看| 久久草成人影院| 欧美日本中文国产一区发布| 亚洲色图av天堂| 热99re8久久精品国产| 丰满的人妻完整版| 国产亚洲精品一区二区www| 久久久久九九精品影院| 涩涩av久久男人的天堂| 黄色a级毛片大全视频| 在线看a的网站| 99久久久亚洲精品蜜臀av| 可以免费在线观看a视频的电影网站| 亚洲熟妇中文字幕五十中出 | 久久九九热精品免费| 久久久国产欧美日韩av| xxxhd国产人妻xxx| 日韩av在线大香蕉| 波多野结衣高清无吗| 亚洲欧洲精品一区二区精品久久久| 亚洲中文av在线| 国产亚洲精品一区二区www| 午夜精品在线福利| 搡老岳熟女国产| 一级毛片精品| 亚洲一区二区三区欧美精品| 午夜影院日韩av| 亚洲精品久久午夜乱码| 欧美在线一区亚洲| 亚洲精品在线美女| 老司机福利观看| 久久久国产精品麻豆| 亚洲人成网站在线播放欧美日韩| 十分钟在线观看高清视频www| 亚洲精品美女久久久久99蜜臀| 欧美精品啪啪一区二区三区| 人人妻人人澡人人看| 少妇被粗大的猛进出69影院| 韩国av一区二区三区四区| 国产色视频综合| 亚洲成人免费av在线播放| 搡老乐熟女国产| 狠狠狠狠99中文字幕| 嫩草影视91久久| 亚洲精品国产色婷婷电影| 午夜亚洲福利在线播放| 国产无遮挡羞羞视频在线观看| 欧美另类亚洲清纯唯美| 亚洲狠狠婷婷综合久久图片| 亚洲精品国产区一区二| √禁漫天堂资源中文www| 叶爱在线成人免费视频播放| 12—13女人毛片做爰片一| 在线播放国产精品三级| 黄频高清免费视频| 大型黄色视频在线免费观看| 久久国产精品人妻蜜桃| 69av精品久久久久久| 国产av在哪里看| 怎么达到女性高潮| 亚洲国产欧美一区二区综合| 亚洲自拍偷在线| 看片在线看免费视频|