• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    聯(lián)合訓練生成對抗網(wǎng)絡(luò)的半監(jiān)督分類方法

    2021-07-02 09:28:52曾慶捷
    光學精密工程 2021年5期
    關(guān)鍵詞:標簽損失卷積

    徐 哲,耿 杰,蔣 雯,張 卓,曾慶捷

    (西北工業(yè)大學電子信息學院,西安710072)

    1 引 言

    圖像分類作為計算機視覺領(lǐng)域最基礎(chǔ)的任務之一,主要通過提取原始圖像的特征并根據(jù)特征學習進行分類[1]。傳統(tǒng)的特征提取方法主要是對圖像的顏色、紋理、局部特征等圖像表層特征進行處理實現(xiàn)的,例如尺度不變特征變換法[2],方向梯度法[3]以及局部二值法[4]等。但是這些特征都是人工設(shè)計的特征,很大程度上靠人類對識別目標的先驗知識進行設(shè)計,具有一定的局限性。隨著大數(shù)據(jù)時代的到來,基于深度學習的圖像分類方法具有對大量復雜數(shù)據(jù)進行處理和表征的能力,能夠有效學習目標的特征信息,從而提高圖像分類的精度[5-8]。

    深度學習以大數(shù)據(jù)驅(qū)動的方式進行訓練,對標簽數(shù)據(jù)依賴性較強,而在現(xiàn)實應用中往往難以獲取大量的標簽數(shù)據(jù)。當樣本數(shù)量不足時,深度卷積網(wǎng)絡(luò)模型容易過擬合,導致分類性能較差。生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)[9]具有強大的數(shù)據(jù)生成能力,采用博弈對抗的方式,既訓練正常的樣本,也能對抗學習達到納什均衡,從而完成網(wǎng)絡(luò)的訓練。這樣GAN 在訓練時既能夠生成樣本,又能夠提高特征提取能力,可以用來解決小樣本條件下網(wǎng)絡(luò)過擬合的問題。但GAN 網(wǎng)絡(luò)還存在穩(wěn)定性差和依賴標簽數(shù)據(jù)的問題,不能直接應用于分類任務中。

    針對GAN 存在的問題,有不少學者從網(wǎng)絡(luò)框架和理論模型兩個角度對GAN 進行了改進。從網(wǎng)絡(luò)框架角度,Radford 等[10]提出了深度卷積生成對抗網(wǎng)絡(luò)(Deep Convolutional GAN,DCGAN),將卷積神經(jīng)網(wǎng)絡(luò)應用到生成對抗網(wǎng)絡(luò)中,提高了GAN 訓練的穩(wěn)定性;Shaham 等[11]提出了單圖像生成對抗網(wǎng)絡(luò)(SinGAN),運用一個多尺度金字塔結(jié)構(gòu)的全卷積網(wǎng)絡(luò),能夠?qū)W習到不同尺度的圖像塊分布;Karnewar 等[12]提出了多尺度梯度生成對抗網(wǎng)絡(luò)(Multi-Scale Gradients GAN,MSG-GAN),通過從判別器到生成器的梯度流向多個尺度來解決訓練不穩(wěn)定的問題。從理論模型角度,Arjovsky 等[13]提出Wasserstein 生成對抗網(wǎng)絡(luò)(Wasserstein GAN,WGAN),使用Earth-Mover 距離代替JS(Jensen-Shannon)散度來計算生成樣本分布與真實樣本分布之間的距離,緩解了GAN 訓練不穩(wěn)定和梯度消失的問題;Goodfellow 等[14]提出了自注意力生成對抗網(wǎng)絡(luò)(Self-Attention Generative Adversarial Networks,SAGAN),通過引入自注意力機制來增大深度卷積網(wǎng)絡(luò)的感受野,從而更好地獲取圖像的全局信息。

    為進一步提高圖像分類的準確率,解決GAN 訓練穩(wěn)定性差的問題,本文提出一種聯(lián)合訓練生成對抗網(wǎng)絡(luò)(Co-Training Generative Adversarial Networks,CT-GAN)的半監(jiān)督分類方法,設(shè)計兩個判別器進行聯(lián)合訓練,以消除單個判別器存在的分布誤差問題,同時利用大量無標簽數(shù)據(jù)和少量標簽數(shù)據(jù)進行半監(jiān)督學習,設(shè)計新的監(jiān)督損失和無監(jiān)督損失以優(yōu)化網(wǎng)絡(luò)模型,能夠?qū)W習到泛化能力較強、性能更好的模型,在一定程度上減小網(wǎng)絡(luò)對標簽數(shù)據(jù)的依賴,提高網(wǎng)絡(luò)的分類準確率。

    2 生成對抗網(wǎng)絡(luò)

    2.1 生成對抗網(wǎng)絡(luò)

    生成對抗網(wǎng)絡(luò)是由Goodfellow 等[9]在2014年提出的無監(jiān)督生成模型,由一個生成器(Generator)和一個判別器(Discriminator)構(gòu)成。生成器依據(jù)樣本的數(shù)據(jù)分布來生成盡可能逼真的偽數(shù)據(jù),判別器用于判別輸入數(shù)據(jù)是真實數(shù)據(jù)還是生成器生成的偽數(shù)據(jù),生成器和判別器經(jīng)過博弈對抗達到納什均衡,此時生成的數(shù)據(jù)能夠擬合真實樣本的數(shù)據(jù)分布。GAN 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

    圖1 GAN 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of GAN

    生成器G和判別器D通常可以由卷積神經(jīng)網(wǎng)絡(luò)或者函數(shù)表示,G輸入隨機噪聲z用于生成偽數(shù)據(jù)G(z),D對輸入的真實數(shù)據(jù)x和偽數(shù)據(jù)G(z)判別真?zhèn)?,輸出其屬于真實樣本的概率。生成器G和判別器D通過損失函數(shù)相互博弈對抗進行訓練,其優(yōu)化過程是極大極小博弈的過程,目標函數(shù)為:

    其中:x表示真實數(shù)據(jù),Pdata為x的數(shù)據(jù)分布,z表示服從標準正態(tài)分布的隨機噪聲,Pz為z的數(shù)據(jù)分布,G(z)表示生成器生成的偽數(shù)據(jù),D(·)表示判別器判別輸入樣本來自真實樣本的概率。對于判別器D而言,其希望判別的準確率越高,即希望D(x) 越接近1,D(G(z)) 越接近0,此時V(D,G)取極大值。對于生成器G而言,生成的能力越強,生成的數(shù)據(jù)分布越接近真實的數(shù)據(jù)分布,即希望D(G(z))越接近1 越好,此時V(D,G)取極小值。

    當V(D,G)取到極大極小值時,生成對抗網(wǎng)絡(luò)達到納什均衡,此時生成的數(shù)據(jù)能夠擬合真實數(shù)據(jù)分布。

    2.2 半監(jiān)督生成對抗網(wǎng)絡(luò)

    半監(jiān)督生成對抗網(wǎng)絡(luò)(Semi-Supervised Learning with Generative Adversarial Networks,SGAN)[15]是由Odena 提出的半監(jiān)督生成模型,其對原始GAN 網(wǎng)絡(luò)進行改進,引入半監(jiān)督學習,將標簽數(shù)據(jù)和無標簽數(shù)據(jù)共同輸入到判別器中進行訓練,并輸出K+1 維帶有類別信息的分類結(jié)果。SGAN 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

    在SGAN 中,隨機噪聲z通過生成器生成的偽數(shù)據(jù)G(z)與K類標簽數(shù)據(jù)xl和無標簽數(shù)據(jù)xu共同輸入到判別器中進行訓練,在判別器的最后一層使用softmax 非線性分類器,最終輸出K+1維分類結(jié)果{l1,l2,…,lK+1},其中前K維輸出代表對應類的置信度,第K+1 維代表判定為“偽”的置信度。

    圖2 SGAN 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of SGAN

    SGAN 采用了半監(jiān)督訓練方式,利用少量標簽數(shù)據(jù)和大量無標簽數(shù)據(jù)同時進行網(wǎng)絡(luò)訓練,從而提高半監(jiān)督分類的準確率。但有研究表明,SGAN 仍存在訓練不穩(wěn)定的問題[16],主要表現(xiàn)在訓練過程中可能出現(xiàn)梯度消失,導致網(wǎng)絡(luò)不收斂的問題。這一問題的原因是SGAN 在訓練過程中,單個判別器可能存在較大的分布誤差,從而造成梯度消失,判別器網(wǎng)絡(luò)不收斂。其中,分布誤差是指判別器對樣本類別預測時的概率分布誤差。一般情況下,判別器預測樣本類別的分布誤差都可以通過訓練迭代,逐漸消除其對網(wǎng)絡(luò)訓練的影響。但當出現(xiàn)較大的分布誤差時,判別器網(wǎng)絡(luò)會對樣本產(chǎn)生較大的誤判,造成梯度消失,使得判別器網(wǎng)絡(luò)不收斂,影響其分類性能。

    3 基于聯(lián)合訓練生成對抗網(wǎng)絡(luò)的半監(jiān)督分類

    3.1 網(wǎng)絡(luò)模型

    為進一步提高圖像分類的準確率,解決SGAN 訓練不穩(wěn)定的問題,本文提出一種聯(lián)合訓練生成對抗網(wǎng)絡(luò)(Co-training GAN,CT-GAN)的半監(jiān)督分類方法,CT-GAN 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

    圖3 CT-GAN 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of CT-GAN

    在CT-GAN 中,采用了兩個判別器D1,D2進行聯(lián)合訓練,能夠有效提升網(wǎng)絡(luò)訓練穩(wěn)定性的同時提高圖像分類的準確率。判別器D1,D2共享同一個生成器G,同時兩個判別器的網(wǎng)絡(luò)結(jié)構(gòu)和初始參數(shù)設(shè)為相同。不同的是,將標簽數(shù)據(jù)和無標簽數(shù)據(jù)的順序打亂后分別輸入到判別器D1,D2中,即保證在訓練過程中兩個判別器是動態(tài)變化的。CT-GAN 采用兩個判別器進行聯(lián)合訓練,在訓練過程計算損失函數(shù)時,取兩個判別器損失的平均值,以消除單個判別器存在的分布誤差。同時在訓練過程中,兩個判別器不僅僅輸出K+1維分類結(jié)果,還設(shè)置了一個置信度閾值,如果生成數(shù)據(jù)的置信度高于該閾值,則賦予其偽標簽并加入到初始標簽數(shù)據(jù)集中,在訓練過程中就能夠擴充數(shù)據(jù)集,加快網(wǎng)絡(luò)收斂。

    對于CT-GAN 的生成器G而言,G的能力越強,生成的圖像越接近真實圖像,即希望D(G(z))越接近1 越好,此時V(D,G)取極小值。由此可得到生成器的損失為:

    同時為了讓生成器生成的數(shù)據(jù)分布更接近真實數(shù)據(jù)的統(tǒng)計分布,采用特征匹配[17]的方法對生成器的損失進行約束,定義特征匹配損失為:

    其中:fj(·)表示判別器Dj在全連接層前的最后一層輸出的特征值。這樣,CT-GAN 生成器的總損失為:

    對于CT-GAN 的判別器損失函數(shù),采取監(jiān)督損失和無監(jiān)督損失相結(jié)合的方式給出。對于判別器的監(jiān)督損失,需要加入標簽信息,因此以交叉熵的形式定義如下:

    其中:yi表示第i維標簽,Dj(xi)表示判別器Dj判別標簽數(shù)據(jù)的標簽結(jié)果為第i維的概率。

    對于無監(jiān)督損失,CT-GAN 需要判別無標簽數(shù)據(jù)的類別標簽??紤]到兩個判別器聯(lián)合訓練的情況,CT-GAN 判別器的無監(jiān)督損失定義如下:

    其中:yi′表示判別器前一次迭代時判別無標簽數(shù)據(jù)的類別為第i維,Dj(xi)表示判別器Dj判別標簽數(shù)據(jù)的標簽結(jié)果為第i維的概率。

    由式(5)和式(6)可得CT-GAN 判別器的總損失函數(shù)為:

    由CT-GAN 生成器總損失函數(shù)和判別器總損失函數(shù)相加,可以得到CT-GAN 整體的損失函數(shù)如下:

    3.2 網(wǎng)絡(luò)模型

    CT-GAN 網(wǎng)絡(luò)的聯(lián)合訓練示意如圖4 所示。對于生成器生成的偽數(shù)據(jù)而言,判別器只需判斷其真?zhèn)?,不判別其類別,所以在此聯(lián)合訓練中暫不考慮偽數(shù)據(jù)的輸入,只考慮標簽數(shù)據(jù)和無標簽數(shù)據(jù)的輸入。

    圖4 網(wǎng)絡(luò)聯(lián)合訓練示意圖Fig.4 Schematic of co-training method

    在CT-GAN 中,為保證判別器D1,D2訓練時是動態(tài)變化的,首先將標簽數(shù)據(jù)和無標簽數(shù)據(jù)的順序打亂得到標簽樣本L1,L2和無標簽樣本U1,U2,分別輸入到判別器D1,D2中進行聯(lián)合訓練。以判別器D1為例,訓練過程按照以下步驟進行訓練:

    (1)利用標簽樣本L1訓練判別器D1。標簽樣本L1輸入到判別器D1中,輸出L1分類結(jié)果,計算判別器的監(jiān)督損失以訓練判別器D1;

    (2)利用判別器D1來預測無標簽樣本U1的標簽。判別器D1將前一次迭代得到的U1分類結(jié)果轉(zhuǎn)化為獨熱向量并認為是當前無標簽樣本U1的標簽,與當前得到的U1分類結(jié)果共同計算判別器的無監(jiān)督損失,從而不斷優(yōu)化預測無標簽樣本U1的標簽;

    (3)利用無標簽樣本U1擴充標簽樣本L2。設(shè)置一個置信度閾值,對每次迭代得到的無標簽樣本U1的分類結(jié)果進行置信度判斷,如果大于該置信度閾值,則賦予其偽標簽并加入到對應的標簽樣本L2中繼續(xù)訓練,這樣在訓練過程中就可以擴充數(shù)據(jù)集,加快網(wǎng)絡(luò)收斂。

    CT-GAN 模型通過判別器D1,D2的聯(lián)合訓練,一方面可以消除單個判別器存在的分布誤差,提高判別器訓練的穩(wěn)定性;另一方面,利用無標簽數(shù)據(jù)在訓練時擴充標簽數(shù)據(jù)集,能夠加快網(wǎng)絡(luò)收斂。因此,CT-GAN 模型能夠充分利用少量標簽數(shù)據(jù)的標簽信息和大量無標簽數(shù)據(jù)的分布信息來獲取整個樣本的特征分布,從而進一步提高網(wǎng)絡(luò)識別的精度。

    4 實驗結(jié)果與分析

    4.1 實驗數(shù)據(jù)集及預處理

    本文實驗所使用的數(shù)據(jù)集為CIFAR-10 和SVHN 數(shù)據(jù)集,其中CIFAR10 數(shù)據(jù)集是一個包含10 個類別32×32 的彩色圖像數(shù)據(jù)集,共計60 000 張圖像,其中40 000 張作為訓練集,20 000張作為測試集,即每個類別有4 000 張訓練樣本和2 000 張測試樣本。SVHN 數(shù)據(jù)集是一個真實街景數(shù)字數(shù)據(jù)集,包含10 個類別32×32 的彩色圖像,共計99 289 張圖片,其中73 257 張作為訓練集,26 032 張作為測試集。

    數(shù)據(jù)集中的每張圖像均包含一個類別信息,即均為標簽數(shù)據(jù)。為滿足本文實驗要求,對訓練集中圖像進行預處理,按一定的比例隨機去除部分標簽數(shù)據(jù)的類別信息,得到無標簽數(shù)據(jù),CIFAR-10 數(shù)據(jù)集和SVHN 數(shù)據(jù)集的預處理方案如表1 所示。其中CIFAR-10 數(shù)據(jù)集在各類別標簽數(shù)量分別為10,100,250,500,1 000 和2 000 時分別進行實驗,SVHN 數(shù)據(jù)集在各類別標簽數(shù)量分別為100 和1 000 時分別進行實驗,以研究不同數(shù)量標簽數(shù)據(jù)對網(wǎng)絡(luò)的影響。

    表1 CIFAR10數(shù)據(jù)集各類別標簽數(shù)據(jù)的數(shù)量及所占比例Tab.1 Amount and proportion of labeled data in each category of the CIFAR10 data

    4.2 實驗環(huán)境

    本實驗采用一個RTX 2080Ti 的GPU 進行訓練,共訓練200 個epochs,且設(shè)置batch size 為128,即每個epoch 迭代313 次。設(shè)置初始學習率為0.000 2,并在迭代50 000 次和90 000 次時分別衰減為原來的1/10。采用Adam 優(yōu)化算法對網(wǎng)絡(luò)進行優(yōu)化,其中一階動量設(shè)為0.5,二階動量設(shè)為0.999。模型采用基于PyTorch 的深度學習框架實現(xiàn)。

    4.3 實驗模型框架

    在CIFAR-10 數(shù)據(jù)集上,CT-GAN 模型的生成器框架和判別器框架分別如圖5(a)和(b)所示。生成器的輸入為(128,100)的隨機噪聲,首先通過(100,8 192)的全連接層得到(128,8 192)的張量,經(jīng)過維度轉(zhuǎn)換得到維度為(128,128,8,8)的圖像,經(jīng)過兩次上采樣操作和三次步長為1的3×3 卷積核的卷積操作后得到維度為(128,3,32,32)的圖像,其中每次完成卷積操作后都使用批歸一化(Batch Normalization)操作并加入ReLU 激活函數(shù)。最后一層通過Tanh 激活函數(shù)輸出生成數(shù)據(jù)G(z)。

    判別器的輸入為128 張大小為32×32 的3通道RGB 彩色圖像,其維度為(128,3,32,32),經(jīng)過四次步長為2 的3×3 卷積核的卷積操作,最終輸出圖像維度為(128,128,2,2),其中每次完成卷積操作后都加入LeakyReLU 激活函數(shù)和Dropout 操作以防止過擬合,而除了首次卷積不使用批歸一化外,其余卷積操作后都使用批歸一化。將卷積輸出圖像進行維度轉(zhuǎn)換得到維度為(128,512)的張量,通過(512,10)的全連接層和softmax 分類器得到分類結(jié)果,同時通過(512,1)的全連接層和Sigmoid 分類器判別真?zhèn)巍?/p>

    圖5 CT-GAN 模型的生成器和判別器框架Fig.5 Structure of generator and discriminator in CTGAN

    4.4 CIFAR-10 數(shù)據(jù)集上的實驗結(jié)果及分析

    在CIFAR-10 數(shù)據(jù)集上的實驗首先按照4.1節(jié)中的數(shù)據(jù)集預處理方案,對數(shù)據(jù)集中的圖像按一定的比例去除部分標簽數(shù)據(jù)的標簽信息,構(gòu)成無標簽數(shù)據(jù)。在各類別標簽數(shù)量分別為10,100,250,500,1 000 和2 000 時分別進行實驗,以研究不同數(shù)量的標簽數(shù)據(jù)下CT-GAN 模型的性能。如圖6 和圖7 給出了在各類標簽數(shù)據(jù)數(shù)量分別為10,100,250,500,1 000 和2 000 時的CT-GAN 判別器和生成器損失變化曲線。

    分析圖6 可知,在不同數(shù)量的標簽數(shù)據(jù)下,CT-GAN 的判別器損失在一定迭代次數(shù)后都達到了穩(wěn)定,標簽數(shù)據(jù)越少,損失趨于穩(wěn)定需要迭代的次數(shù)也越少。這是因為當標簽數(shù)量越少時,整個數(shù)據(jù)所含的類別信息也就越少,判別器可以學習的信息也相應減少,導致?lián)p失收斂速度加快。雖然不同標簽數(shù)量下?lián)p失收斂所需的迭代次數(shù)不同,但是其損失收斂值大致相同。這說明標簽數(shù)量對CT-GAN 的判別器的訓練影響很小,在一定程度上CT-GAN 模型能夠減小對標簽數(shù)據(jù)的依賴。分析圖7 可知,在不同數(shù)量的標簽數(shù)據(jù)下,CT-GAN 的生成器損失值逐漸減小并收斂到較低水平。

    為了驗證本文方法的有效性,利用CIFAR-10 數(shù)據(jù)集對比了不同數(shù)量標簽數(shù)據(jù)下CT-GAN模型與相關(guān)的深度網(wǎng)絡(luò)模型的分類效果,其分類準確率如表2 所示。實驗在不同條件下分別進行了20 次重復實驗,計算平均精度和方差。

    圖6 CT-GAN 判別器損失變化曲線Fig.6 Discriminator loss of CT-GAN

    圖7 CT-GAN 生成器損失變化曲線Fig.7 Generator loss of CT-GAN

    分析表2 的分類準確率可知,本文提出的CT-GAN 模型在CIFAR-10 數(shù)據(jù)集上的分類精度更高,在不同數(shù)量的標簽數(shù)據(jù)下的分類精度都有不同程度的提升,在標簽數(shù)據(jù)數(shù)量僅為10 時,就可以達到47.6%的分類精度,相比SGAN 模型提高了6.5%,這說明CT-GAN 模型能夠有效提升在標簽數(shù)據(jù)極少情況下的分類準確率,在一定程度上解決了GAN 網(wǎng)絡(luò)在小樣本條件下的過擬合問題。

    表2 CIFAR-10 數(shù)據(jù)集上不同數(shù)量標簽樣本的半監(jiān)督分類精度Tab.2 Using different number of labeled data when semi-supervised training on CIFAR-10(%)

    4.5 SVHN 數(shù)據(jù)集上的實驗結(jié)果及分析

    為更好地說明本文所提算法的有效性,在SVHN 數(shù)據(jù)集上進行實驗。按照4.1 節(jié)中的數(shù)據(jù)集預處理方案,在各類別標簽數(shù)量分別為100和1 000 時分別進行實驗,以研究不同數(shù)量的標簽數(shù)據(jù)下CT-GAN 模型的性能。表3 為SVHN數(shù)據(jù)集上不同數(shù)量標簽樣本的半監(jiān)督分類精度。實驗在不同條件下分別進行了20 次重復實驗,計算平均精度和方差。

    分析表3 可知,本文所提方法CT-GAN 模型在SVHN 數(shù)據(jù)集上的分類性能優(yōu)異,在不同數(shù)量的標簽數(shù)據(jù)下的分類精度都達到了較高水平,特別是當標簽樣本數(shù)量僅為100 時,即少量標簽樣本的情況下,達到了77.7%,相較于其他算法分別高38.33%,21.40%,6.34%和13.85%,進一步說明CT-GAN 模型能夠在少量標簽樣本條件下有效提升網(wǎng)絡(luò)的分類精度。同時,CT-GAN 在不同標簽樣本數(shù)量下的分類精度誤差都在0.1%左右,相較于其他對比方法,本文所提模型訓練更加穩(wěn)定。

    表3 SVHN 數(shù)據(jù)集上不同數(shù)量標簽樣本的半監(jiān)督分類精度Tab.3 Classification accuracy of different number of labeled data on SVHN(%)

    5 結(jié) 論

    本文提出了一種基于聯(lián)合訓練生成對抗網(wǎng)絡(luò)(CT-GAN)的半監(jiān)督分類方法,通過兩個判別器的聯(lián)合訓練來消除單個判別器存在的分布誤差,同時利用無標簽數(shù)據(jù)來擴充標簽數(shù)據(jù)集,可以有效提升半監(jiān)督分類的精度。實驗結(jié)果表明,在少量標簽樣本條件下,CT-GAN 模型能夠有效提升圖像分類精度,在一定程度上降低了GAN 網(wǎng)絡(luò)對標簽數(shù)據(jù)的依賴。此外,在不同數(shù)量的標簽數(shù)據(jù)下,CT-GAN 模型都取得了較好的分類效果,多種情況下的分類準確率相比其他方法都有一定程度提升,說明了本文模型的有效性。

    猜你喜歡
    標簽損失卷積
    少問一句,損失千金
    基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
    胖胖損失了多少元
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    玉米抽穗前倒伏怎么辦?怎么減少損失?
    無懼標簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    基于傅里葉域卷積表示的目標跟蹤算法
    標簽化傷害了誰
    一般自由碰撞的最大動能損失
    成人av一区二区三区在线看| 一区二区三区国产精品乱码| 国产精品免费视频内射| 丁香欧美五月| 香蕉丝袜av| 国产成人一区二区三区免费视频网站| 国产亚洲精品综合一区在线观看 | 一卡2卡三卡四卡精品乱码亚洲| 国产99久久九九免费精品| 国产精品98久久久久久宅男小说| 国产xxxxx性猛交| 久久久精品欧美日韩精品| 日韩有码中文字幕| 一级毛片精品| 久久久久亚洲av毛片大全| 日韩三级视频一区二区三区| 黄色片一级片一级黄色片| 啦啦啦韩国在线观看视频| 久久精品91蜜桃| 一进一出好大好爽视频| 18美女黄网站色大片免费观看| 老司机福利观看| 看黄色毛片网站| 欧美一区二区精品小视频在线| 人人妻人人爽人人添夜夜欢视频| 欧美人与性动交α欧美精品济南到| 久久午夜综合久久蜜桃| 亚洲精品中文字幕在线视频| 国产精品日韩av在线免费观看 | 18禁观看日本| 琪琪午夜伦伦电影理论片6080| 午夜亚洲福利在线播放| 成人亚洲精品一区在线观看| 亚洲电影在线观看av| 亚洲精品国产区一区二| 色婷婷久久久亚洲欧美| 一级a爱视频在线免费观看| 嫩草影视91久久| 欧美日韩乱码在线| 母亲3免费完整高清在线观看| 欧美乱妇无乱码| 国产区一区二久久| 久久影院123| 我的亚洲天堂| 亚洲午夜理论影院| 色老头精品视频在线观看| 亚洲五月色婷婷综合| 日韩欧美国产一区二区入口| 亚洲熟妇熟女久久| 精品无人区乱码1区二区| 波多野结衣巨乳人妻| 女人被躁到高潮嗷嗷叫费观| 亚洲久久久国产精品| 国产亚洲av嫩草精品影院| 欧美大码av| 国产亚洲精品久久久久久毛片| 色综合亚洲欧美另类图片| 久久久久久久久久久久大奶| 久久人妻av系列| 夜夜看夜夜爽夜夜摸| 亚洲激情在线av| 丝袜人妻中文字幕| 国产99久久九九免费精品| 亚洲成人久久性| 天堂√8在线中文| 欧美人与性动交α欧美精品济南到| 一级毛片女人18水好多| 亚洲精品在线观看二区| 亚洲性夜色夜夜综合| 日本vs欧美在线观看视频| 国产成人精品久久二区二区免费| 成人三级黄色视频| 亚洲精品久久国产高清桃花| 99精品在免费线老司机午夜| 久久人人精品亚洲av| 久久中文字幕一级| 国产精品 欧美亚洲| 少妇 在线观看| 欧美午夜高清在线| 久99久视频精品免费| 中文字幕av电影在线播放| 大型黄色视频在线免费观看| 日韩视频一区二区在线观看| 国产亚洲欧美98| 国产亚洲精品一区二区www| 天天躁狠狠躁夜夜躁狠狠躁| 夜夜爽天天搞| 制服人妻中文乱码| 精品电影一区二区在线| 久久人妻福利社区极品人妻图片| 欧洲精品卡2卡3卡4卡5卡区| 亚洲欧美激情在线| 女性生殖器流出的白浆| 在线av久久热| 少妇 在线观看| 亚洲av美国av| 中亚洲国语对白在线视频| 成在线人永久免费视频| 国产又爽黄色视频| 午夜免费成人在线视频| 亚洲成av片中文字幕在线观看| 叶爱在线成人免费视频播放| 久久精品91无色码中文字幕| 亚洲精品久久国产高清桃花| 欧美人与性动交α欧美精品济南到| 欧美人与性动交α欧美精品济南到| 色综合亚洲欧美另类图片| 国产精品二区激情视频| 制服丝袜大香蕉在线| 视频在线观看一区二区三区| bbb黄色大片| 黄色丝袜av网址大全| 成人永久免费在线观看视频| 麻豆久久精品国产亚洲av| 黄色视频不卡| 女人精品久久久久毛片| 亚洲人成网站在线播放欧美日韩| 色综合站精品国产| 精品久久久久久成人av| 免费在线观看影片大全网站| 亚洲av第一区精品v没综合| 国产亚洲欧美精品永久| 亚洲中文字幕一区二区三区有码在线看 | 精品乱码久久久久久99久播| 很黄的视频免费| 精品国内亚洲2022精品成人| 国产精品98久久久久久宅男小说| 亚洲精品一区av在线观看| 男女床上黄色一级片免费看| 日本 欧美在线| 夜夜夜夜夜久久久久| 黄片播放在线免费| 国产精品乱码一区二三区的特点 | 国产精品美女特级片免费视频播放器 | 狂野欧美激情性xxxx| 亚洲色图综合在线观看| 国内久久婷婷六月综合欲色啪| aaaaa片日本免费| 国产人伦9x9x在线观看| 老司机深夜福利视频在线观看| 麻豆久久精品国产亚洲av| 黄色女人牲交| 99国产精品一区二区蜜桃av| 国产区一区二久久| 色播在线永久视频| 欧美一区二区精品小视频在线| 亚洲男人天堂网一区| 色精品久久人妻99蜜桃| 狂野欧美激情性xxxx| 在线观看舔阴道视频| 大型黄色视频在线免费观看| 天堂√8在线中文| 亚洲成av人片免费观看| 正在播放国产对白刺激| 亚洲av五月六月丁香网| 国产精品久久久av美女十八| 99国产综合亚洲精品| 亚洲一区高清亚洲精品| 国产成人欧美在线观看| 十八禁人妻一区二区| 91麻豆av在线| 国产激情欧美一区二区| 欧美精品亚洲一区二区| 中文字幕久久专区| 欧美绝顶高潮抽搐喷水| 亚洲国产欧美日韩在线播放| 美女大奶头视频| 亚洲精品国产精品久久久不卡| 久久久久久久久久久久大奶| av片东京热男人的天堂| 精品卡一卡二卡四卡免费| 亚洲精品在线美女| 亚洲七黄色美女视频| 久久国产精品人妻蜜桃| 丁香欧美五月| 国产麻豆成人av免费视频| 超碰成人久久| 日韩欧美国产一区二区入口| 成人国产一区最新在线观看| 美女国产高潮福利片在线看| 亚洲成人免费电影在线观看| 午夜福利,免费看| 91av网站免费观看| 欧美色视频一区免费| 成年女人毛片免费观看观看9| 两个人看的免费小视频| 色老头精品视频在线观看| 黑人巨大精品欧美一区二区蜜桃| 国产精品,欧美在线| 日本a在线网址| 国产精品美女特级片免费视频播放器 | 久久中文字幕人妻熟女| 夜夜爽天天搞| 亚洲av第一区精品v没综合| 亚洲性夜色夜夜综合| 国产精品 国内视频| 午夜福利视频1000在线观看 | 99re在线观看精品视频| 国产欧美日韩一区二区三区在线| 国产精品爽爽va在线观看网站 | 男人操女人黄网站| 免费观看精品视频网站| 99久久久亚洲精品蜜臀av| 在线天堂中文资源库| 一级作爱视频免费观看| 中文字幕高清在线视频| 欧美+亚洲+日韩+国产| 亚洲狠狠婷婷综合久久图片| e午夜精品久久久久久久| 国产免费男女视频| avwww免费| 母亲3免费完整高清在线观看| 久久久久国产一级毛片高清牌| 国产精品亚洲美女久久久| 悠悠久久av| 岛国视频午夜一区免费看| 电影成人av| 日本三级黄在线观看| 999久久久国产精品视频| 一级片免费观看大全| 波多野结衣巨乳人妻| 两个人免费观看高清视频| 免费在线观看黄色视频的| 一边摸一边抽搐一进一出视频| 国产午夜精品久久久久久| 99久久综合精品五月天人人| 日韩欧美国产一区二区入口| 久9热在线精品视频| 一边摸一边抽搐一进一出视频| 女生性感内裤真人,穿戴方法视频| 国产精品久久电影中文字幕| 色在线成人网| 国产国语露脸激情在线看| av免费在线观看网站| 淫秽高清视频在线观看| 欧美一级a爱片免费观看看 | 99国产极品粉嫩在线观看| 久久久久九九精品影院| 成年版毛片免费区| 国产伦人伦偷精品视频| 热re99久久国产66热| 国产私拍福利视频在线观看| 国产成人啪精品午夜网站| 好男人电影高清在线观看| 一边摸一边抽搐一进一小说| 国产精品国产高清国产av| 欧美激情极品国产一区二区三区| 亚洲欧洲精品一区二区精品久久久| 亚洲少妇的诱惑av| 国产欧美日韩综合在线一区二区| 亚洲一区二区三区色噜噜| 免费搜索国产男女视频| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美国产精品va在线观看不卡| 99久久久亚洲精品蜜臀av| 一本大道久久a久久精品| 久久欧美精品欧美久久欧美| 亚洲av成人av| 三级毛片av免费| 女人爽到高潮嗷嗷叫在线视频| 亚洲精品一区av在线观看| 国产三级黄色录像| 欧美人与性动交α欧美精品济南到| 亚洲欧美日韩高清在线视频| 大型黄色视频在线免费观看| 日韩视频一区二区在线观看| 69精品国产乱码久久久| 一区二区三区国产精品乱码| 亚洲专区中文字幕在线| 久久久精品欧美日韩精品| 如日韩欧美国产精品一区二区三区| 电影成人av| 国产片内射在线| 欧美成人午夜精品| АⅤ资源中文在线天堂| 精品无人区乱码1区二区| 老司机深夜福利视频在线观看| 精品人妻在线不人妻| 亚洲美女黄片视频| 天堂√8在线中文| 精品一区二区三区四区五区乱码| 一本综合久久免费| 在线观看免费视频网站a站| www.www免费av| 亚洲色图综合在线观看| 国产男靠女视频免费网站| 大型av网站在线播放| 成人18禁高潮啪啪吃奶动态图| 女人被躁到高潮嗷嗷叫费观| 国产精品自产拍在线观看55亚洲| 久久精品国产99精品国产亚洲性色 | 亚洲精品av麻豆狂野| 色在线成人网| 51午夜福利影视在线观看| 亚洲成国产人片在线观看| 成年版毛片免费区| 久久天堂一区二区三区四区| 别揉我奶头~嗯~啊~动态视频| av片东京热男人的天堂| 亚洲第一欧美日韩一区二区三区| 欧美精品亚洲一区二区| 88av欧美| 久久精品国产99精品国产亚洲性色 | 国产精品久久电影中文字幕| 身体一侧抽搐| 国产三级黄色录像| 十分钟在线观看高清视频www| 欧美日本视频| 婷婷精品国产亚洲av在线| 少妇粗大呻吟视频| 变态另类丝袜制服| 欧美黄色淫秽网站| 少妇 在线观看| 亚洲精品粉嫩美女一区| 欧美中文日本在线观看视频| 久热爱精品视频在线9| 色综合站精品国产| 成人三级做爰电影| 亚洲中文字幕一区二区三区有码在线看 | 丁香欧美五月| 在线观看午夜福利视频| 一级毛片高清免费大全| 国产在线观看jvid| 久久性视频一级片| 久久精品亚洲熟妇少妇任你| 国产蜜桃级精品一区二区三区| 高清毛片免费观看视频网站| 亚洲色图综合在线观看| 国产真人三级小视频在线观看| 18美女黄网站色大片免费观看| 成人欧美大片| 久久国产精品男人的天堂亚洲| 1024视频免费在线观看| 丝袜美足系列| 久热这里只有精品99| 久久久国产成人免费| 欧美绝顶高潮抽搐喷水| 欧美黑人精品巨大| 亚洲成av人片免费观看| 精品国产国语对白av| 两个人免费观看高清视频| 国产精品美女特级片免费视频播放器 | 亚洲国产日韩欧美精品在线观看 | 久热爱精品视频在线9| 美女高潮到喷水免费观看| 少妇的丰满在线观看| 亚洲中文字幕日韩| 国产亚洲精品久久久久5区| 九色国产91popny在线| 亚洲欧美日韩无卡精品| 在线观看日韩欧美| 久久久久国产精品人妻aⅴ院| 欧美激情极品国产一区二区三区| 成人亚洲精品av一区二区| 悠悠久久av| 精品免费久久久久久久清纯| 欧美一级a爱片免费观看看 | 国产1区2区3区精品| 国产一区在线观看成人免费| 禁无遮挡网站| 在线观看舔阴道视频| 99热只有精品国产| 欧美国产日韩亚洲一区| 久久国产乱子伦精品免费另类| 久9热在线精品视频| 精品国产国语对白av| netflix在线观看网站| 最好的美女福利视频网| 91国产中文字幕| 丁香六月欧美| 免费少妇av软件| 国产色视频综合| 搡老熟女国产l中国老女人| 欧美老熟妇乱子伦牲交| 精品熟女少妇八av免费久了| 激情在线观看视频在线高清| 琪琪午夜伦伦电影理论片6080| 国产精品永久免费网站| 国产精品影院久久| 久久久久久久久久久久大奶| 国产亚洲精品综合一区在线观看 | 亚洲欧洲精品一区二区精品久久久| 国产野战对白在线观看| 久久九九热精品免费| 免费无遮挡裸体视频| 久久久久久久午夜电影| 午夜久久久久精精品| 欧美av亚洲av综合av国产av| 久久香蕉激情| 麻豆成人av在线观看| 黄频高清免费视频| 人妻丰满熟妇av一区二区三区| 亚洲片人在线观看| 久久这里只有精品19| 精品国产亚洲在线| 国产成人精品无人区| 看片在线看免费视频| 午夜福利一区二区在线看| e午夜精品久久久久久久| 欧美一区二区精品小视频在线| 亚洲精品久久国产高清桃花| 国产伦一二天堂av在线观看| 国产精品一区二区三区四区久久 | 久久精品国产99精品国产亚洲性色 | 老汉色∧v一级毛片| av视频在线观看入口| 中文字幕高清在线视频| 日韩欧美三级三区| 日韩免费av在线播放| 18禁裸乳无遮挡免费网站照片 | 亚洲精品av麻豆狂野| 精品人妻在线不人妻| 在线av久久热| 天天躁夜夜躁狠狠躁躁| 久久久久九九精品影院| 激情在线观看视频在线高清| 黑丝袜美女国产一区| 91大片在线观看| 国产不卡一卡二| 精品一区二区三区四区五区乱码| 亚洲一区二区三区色噜噜| 欧美午夜高清在线| 日韩欧美一区视频在线观看| 欧美日韩福利视频一区二区| 亚洲电影在线观看av| 亚洲av熟女| 精品高清国产在线一区| 国产av一区二区精品久久| 极品人妻少妇av视频| 精品国产亚洲在线| 国产精品久久视频播放| 欧美日韩瑟瑟在线播放| 久久久久久国产a免费观看| 久久影院123| 亚洲片人在线观看| 中文字幕色久视频| 国产男靠女视频免费网站| 三级毛片av免费| 亚洲国产欧美日韩在线播放| 日韩大码丰满熟妇| 久热爱精品视频在线9| а√天堂www在线а√下载| 亚洲精品av麻豆狂野| 他把我摸到了高潮在线观看| 狂野欧美激情性xxxx| 人人妻人人澡欧美一区二区 | 成人永久免费在线观看视频| 国产成人精品在线电影| 人人澡人人妻人| 亚洲精品久久成人aⅴ小说| 午夜福利成人在线免费观看| 亚洲少妇的诱惑av| 精品国产一区二区久久| 国产成人欧美| 久久九九热精品免费| 国产视频一区二区在线看| 久久精品91无色码中文字幕| 91在线观看av| 女性生殖器流出的白浆| 日日夜夜操网爽| www.999成人在线观看| 久久人妻av系列| 色综合亚洲欧美另类图片| 亚洲男人的天堂狠狠| 日本欧美视频一区| 十分钟在线观看高清视频www| 日韩免费av在线播放| 99在线视频只有这里精品首页| 黄网站色视频无遮挡免费观看| 日韩av在线大香蕉| 欧美绝顶高潮抽搐喷水| 叶爱在线成人免费视频播放| 99国产精品99久久久久| 国产精品九九99| 夜夜躁狠狠躁天天躁| 亚洲视频免费观看视频| 国产激情久久老熟女| 久久国产精品男人的天堂亚洲| 久久草成人影院| 人人妻,人人澡人人爽秒播| 久久性视频一级片| 久久久久久免费高清国产稀缺| 青草久久国产| 国产一级毛片七仙女欲春2 | 在线观看免费午夜福利视频| 久久久久久免费高清国产稀缺| 久久九九热精品免费| 中文亚洲av片在线观看爽| 久久天躁狠狠躁夜夜2o2o| 欧美日韩精品网址| 高清黄色对白视频在线免费看| 老司机深夜福利视频在线观看| 国产精品自产拍在线观看55亚洲| 成人精品一区二区免费| 欧美日韩中文字幕国产精品一区二区三区 | 中文字幕久久专区| 日本精品一区二区三区蜜桃| 国产精品一区二区免费欧美| 久久天堂一区二区三区四区| 国产片内射在线| 精品国产美女av久久久久小说| 多毛熟女@视频| 一区福利在线观看| 成人亚洲精品av一区二区| 日韩 欧美 亚洲 中文字幕| 成人三级做爰电影| 一a级毛片在线观看| 亚洲精品国产一区二区精华液| 日韩 欧美 亚洲 中文字幕| 亚洲av电影不卡..在线观看| 男人舔女人下体高潮全视频| 人妻久久中文字幕网| 美女午夜性视频免费| 欧美日韩亚洲国产一区二区在线观看| 啦啦啦免费观看视频1| 成人亚洲精品av一区二区| 男人舔女人下体高潮全视频| 国产激情久久老熟女| 婷婷六月久久综合丁香| svipshipincom国产片| 一区二区日韩欧美中文字幕| 日本三级黄在线观看| 日韩欧美一区二区三区在线观看| 黄色丝袜av网址大全| 亚洲成人国产一区在线观看| 久久午夜综合久久蜜桃| 久久精品国产清高在天天线| 国产片内射在线| 国产精品免费一区二区三区在线| 级片在线观看| 岛国视频午夜一区免费看| 中文字幕久久专区| 国产亚洲欧美在线一区二区| 一级毛片高清免费大全| 国产精品自产拍在线观看55亚洲| 好看av亚洲va欧美ⅴa在| 男女之事视频高清在线观看| 欧美性长视频在线观看| av视频在线观看入口| 欧美日韩精品网址| 久久精品成人免费网站| 亚洲国产高清在线一区二区三 | av视频在线观看入口| 国产精品一区二区精品视频观看| 1024视频免费在线观看| 亚洲 欧美 日韩 在线 免费| 欧美日韩一级在线毛片| 日韩精品青青久久久久久| 精品一区二区三区四区五区乱码| 精品人妻1区二区| 可以免费在线观看a视频的电影网站| 国产又爽黄色视频| 高清在线国产一区| 美女高潮喷水抽搐中文字幕| 国产激情欧美一区二区| 中文字幕精品免费在线观看视频| 国产一区二区三区在线臀色熟女| netflix在线观看网站| 男女之事视频高清在线观看| 欧美性长视频在线观看| 色在线成人网| 好男人在线观看高清免费视频 | 丝袜人妻中文字幕| 亚洲电影在线观看av| 日韩有码中文字幕| 久久人人精品亚洲av| 亚洲男人的天堂狠狠| 宅男免费午夜| 国产99久久九九免费精品| 一个人免费在线观看的高清视频| 欧美乱色亚洲激情| 久久久久久久久久久久大奶| 国产亚洲精品久久久久久毛片| 波多野结衣一区麻豆| 亚洲av成人不卡在线观看播放网| 亚洲一区高清亚洲精品| avwww免费| 精品久久久久久久久久免费视频| 亚洲av日韩精品久久久久久密| 中文字幕精品免费在线观看视频| 亚洲国产欧美一区二区综合| 不卡一级毛片| 亚洲欧美激情综合另类| 男人舔女人下体高潮全视频| 国产精品一区二区免费欧美| 久久久国产精品麻豆| 亚洲最大成人中文| 这个男人来自地球电影免费观看| 老汉色∧v一级毛片| 操美女的视频在线观看| 日韩精品免费视频一区二区三区| 两个人看的免费小视频| 90打野战视频偷拍视频| 757午夜福利合集在线观看| 久久久久国内视频| 午夜视频精品福利| 久久久久久亚洲精品国产蜜桃av| 日韩精品免费视频一区二区三区| 国产精品一区二区免费欧美| 女性生殖器流出的白浆| 欧美精品啪啪一区二区三区| 1024视频免费在线观看| 午夜精品国产一区二区电影| 可以免费在线观看a视频的电影网站| 男女做爰动态图高潮gif福利片 | 女人高潮潮喷娇喘18禁视频| 午夜久久久在线观看| 99精品欧美一区二区三区四区| 在线国产一区二区在线| 99国产精品一区二区蜜桃av| 欧美日韩黄片免| 最新在线观看一区二区三区| 国产蜜桃级精品一区二区三区| 一级毛片精品| 亚洲av第一区精品v没综合|