• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    半徑間隔界驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別

    2021-03-19 05:56:24王曉明杜亞軍黃增喜
    關(guān)鍵詞:識(shí)別率類(lèi)別間隔

    肖 遙,蔣 琦,王曉明,2*,杜亞軍,黃增喜

    (1.西華大學(xué)計(jì)算機(jī)與軟件工程學(xué)院,四川 成都 610039;2.西華大學(xué)機(jī)器人研究中心,四川 成都 610039)

    圖像識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向,其任務(wù)是識(shí)別給定的一張或多張圖像的類(lèi)別或?qū)傩?。圖像識(shí)別技術(shù)被廣泛應(yīng)用于自動(dòng)駕駛、視頻監(jiān)控以及智能醫(yī)療等領(lǐng)域。實(shí)際應(yīng)用中,圖像識(shí)別的主要挑戰(zhàn)在于如何提取具有強(qiáng)鑒別性的圖像特征。傳統(tǒng)的圖像識(shí)別算法針對(duì)不同模式的識(shí)別任務(wù)設(shè)計(jì)了多種類(lèi)型的特征[1?3]。然而,這些特征往往只針對(duì)某一特定的識(shí)別環(huán)境,無(wú)法完全適應(yīng)復(fù)雜環(huán)境。隨著計(jì)算機(jī)硬件的迅速發(fā)展及大規(guī)模數(shù)據(jù)集可用性的提高,卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)在圖像識(shí)別領(lǐng)域受到越來(lái)越多研究者的關(guān)注。不同于傳統(tǒng)的識(shí)別算法,基于CNN 的圖像識(shí)別能夠自適應(yīng)的提取適合當(dāng)前識(shí)別模式的深度特征,具有更強(qiáng)的泛化性能及更高的識(shí)別率。為了進(jìn)一步增強(qiáng)深度模型的特征表達(dá)能力,研究者提出了許多不同的改進(jìn)方案。按照實(shí)現(xiàn)的方式,這些改進(jìn)可分為基于網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)和基于能量函數(shù)的改進(jìn)?;诰W(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)旨在增加網(wǎng)絡(luò)的深度以提高深度模型的特征表達(dá)能力。文獻(xiàn)[4]提出了具有13~19 層網(wǎng)絡(luò)的VGG 深度卷積模型。文獻(xiàn)[5]提出的GoogLeNet 深度卷積模型將網(wǎng)絡(luò)層數(shù)提高到了22 層。文獻(xiàn)[6]將網(wǎng)絡(luò)模型進(jìn)一步提高到了110 層,并探索了高達(dá)1 102 層的網(wǎng)絡(luò)模型的有效性。增加網(wǎng)絡(luò)的深度能夠增強(qiáng)模型的特征表達(dá)能力,然而,這種策略是不可持續(xù)的。隨著網(wǎng)絡(luò)層數(shù)的增加,深度模型將變得更難收斂。此外,更深的網(wǎng)絡(luò)需要更多GPU/CPU 集群和復(fù)雜的分布式計(jì)算平臺(tái),以實(shí)現(xiàn)具有高計(jì)算復(fù)雜性的學(xué)習(xí),然而在當(dāng)前計(jì)算機(jī)硬件性能的限制下,這樣的策略不可避免地將會(huì)達(dá)到極限。

    不同于基于網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn),基于能量函數(shù)的改進(jìn)著手于采用不同的學(xué)習(xí)策略來(lái)指導(dǎo)深度模型的訓(xùn)練。傳統(tǒng)的CNN 模型中往往采用Softmax 能量函數(shù)指導(dǎo)模型的更新,但這種策略是間接和低效的[7]。針對(duì)這一不足,文獻(xiàn)[7]采用Triplet 能量函數(shù)代替Softmax,然而,該能量函數(shù)中錨樣本對(duì)的構(gòu)造與選擇是一個(gè)復(fù)雜且困難的過(guò)程,會(huì)導(dǎo)致模型的訓(xùn)練變得不穩(wěn)定。文獻(xiàn)[8]提出的中心損失能量函數(shù)在魯棒性和模型收斂速度上具有優(yōu)勢(shì),但其應(yīng)用必須依賴(lài)于Softmax 損失。文獻(xiàn)[9]在Softmax 中引入了Fisher 判別正則項(xiàng)與旋轉(zhuǎn)不變正則項(xiàng),增加了圖像特征的質(zhì)量與魯棒性,但過(guò)多的正則項(xiàng)約束使得深度模型的學(xué)習(xí)變得更加困難。

    不同于上述基于能量函數(shù)的改進(jìn),文獻(xiàn)[10]認(rèn)為支持向量機(jī)(support vector machine,SVM)能夠提供更出色的正則化效果,提出了一種基于SVM的CNN 模型。與傳統(tǒng)的CNN 模型相比,基于SVM 的CNN 最顯著的優(yōu)勢(shì)在于將大間隔原理引入到CNN 的學(xué)習(xí)策略中,迫使CNN 更多的關(guān)注異類(lèi)樣本特征間的分類(lèi)間隔,從而提取到具有更強(qiáng)鑒別性的樣本特征。然而,它忽略了一關(guān)鍵事實(shí):SVM 的泛化能力不僅取決于不同類(lèi)別樣本之間的間隔,還與特征空間中所有樣本的最小包含球(minimum enclosing ball,MEB)的半徑有關(guān)[11]。實(shí)際上,在一般的識(shí)別任務(wù)中,給定的樣本特征往往是不變的,MEB 的半徑是一個(gè)固定的常數(shù)。在CNN 模型中,訓(xùn)練樣本的特征會(huì)隨著網(wǎng)絡(luò)參數(shù)的更新而變化,MEB 的半徑也隨之發(fā)生改變?;赟VM 的CNN 模型中未考慮到這一變化,導(dǎo)致SVM 泛化能力不足,進(jìn)而限制了其對(duì)CNN 正則化效果的提高。

    針對(duì)上述不足,本文提出了一種半徑間隔界(radius margin bound,RMB)驅(qū)動(dòng)的CNN 模型。與傳統(tǒng)的CNN 相比,半徑間隔界驅(qū)動(dòng)的CNN 采用了更嚴(yán)格的學(xué)習(xí)策略,不僅考慮了不同類(lèi)別的樣本特征間的間隔,還進(jìn)一步考慮了不斷變化的MEB 的半徑對(duì)SVM 泛化能力的影響。本質(zhì)上,通過(guò)在學(xué)習(xí)策略中引入SVM 的泛化誤差界理論,本文模型中的CNN 能夠擴(kuò)大不同類(lèi)別的圖像特征間的分類(lèi)間隔,同時(shí)減小包含所有圖像特征的MEB 的半徑。換言之,迫使CNN 在增大類(lèi)間間隔的同時(shí)減小類(lèi)內(nèi)間隔,從而能夠提取到更高質(zhì)量的特征。此外,作為一種基于能量函數(shù)的改進(jìn)方案,本文模型能夠顯著提高深度卷積模型的泛化能力而不會(huì)額外增加網(wǎng)絡(luò)的復(fù)雜度,且不受限于某一特定的網(wǎng)絡(luò)結(jié)構(gòu),能夠應(yīng)用于不同的深度模型中。在多個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,半徑間隔界驅(qū)動(dòng)的CNN模型能夠提取到鑒別性更強(qiáng)的圖像特征,在識(shí)別應(yīng)用中表現(xiàn)出了更高的識(shí)別率。

    1 相關(guān)工作

    為了建立半徑間隔界驅(qū)動(dòng)的CNN 模型,本章首先闡述SVM 及其泛化誤差理論,然后介紹基于SVM 的CNN 模型。

    1.1 SVM 與泛化誤差

    SVM 是一種典型的基于大間隔的分類(lèi)算法,其目標(biāo)是在給定的特征空間中尋找一個(gè)最優(yōu)分類(lèi)超平面,使得特征空間中正負(fù)樣本間有最大的分類(lèi)間隔。對(duì)于一組線性可分的訓(xùn)練樣本{x1,···,xn},SVM 的優(yōu)化問(wèn)題可表示為:

    式中:yi∈{+1,?1}是對(duì)應(yīng)的訓(xùn)練樣本的標(biāo)簽;n表示訓(xùn)練樣本的個(gè)數(shù);||w||=1/γ為特征空間中正負(fù)樣本分類(lèi)間隔 γ的倒數(shù);b為對(duì)應(yīng)的偏置項(xiàng)。為了選擇有效的分類(lèi)參數(shù),使SVM 在數(shù)據(jù)集上取得更好的分類(lèi)表現(xiàn),VAPNIK 等[12]提出了留一法(leave-oneout,LOO)誤差估計(jì)用于評(píng)估SVM 的泛化性能。LOO 誤差被定義為

    式中a為MEB 的中心。由式(2)可知,SVM 泛化誤差上界不僅取決于正負(fù)樣本間的分類(lèi)間隔,還與特征空間中包含所有樣本的MEB 半徑有關(guān)。

    在一般分類(lèi)任務(wù)中,給定的訓(xùn)練樣本往往是線性不可分的,對(duì)于此類(lèi)情況,定義L2 范數(shù)SVM的優(yōu)化問(wèn)題為:

    式中:ξi為引入的松弛變量;λ為懲罰系數(shù)用于表示模型對(duì)分類(lèi)誤差的容忍度,當(dāng)λ=0時(shí)為線性可分的情況。實(shí)際上,根據(jù)文獻(xiàn)[13],L2 范數(shù)SVM 可以被轉(zhuǎn)換為一個(gè)等價(jià)的硬間隔SVM 問(wèn)題。

    1.2 基于SVM 的CNN 模型

    傳統(tǒng)的CNN 模型中往往采用Softmax 能量函數(shù)指導(dǎo)模型的學(xué)習(xí)。給定一組包含C個(gè)類(lèi)別的訓(xùn)練樣本,則Softmax 能量函數(shù)可表達(dá)為

    式中:zi=wT?(xi;ω)+b為模型中Softmax 層的預(yù)測(cè)輸出;w是模型中預(yù)測(cè)層的權(quán)重系數(shù);?(xi;ω)為模型提取到的樣本xi的圖像特征;ω表示網(wǎng)絡(luò)中的權(quán)重系數(shù);表示樣本zi中的第c個(gè)元素;yi是對(duì)應(yīng)樣本的標(biāo)簽向量;N表示樣本的個(gè)數(shù)。顯然,式(7)只考慮了模型的經(jīng)驗(yàn)風(fēng)險(xiǎn),其正則化效果有限。針對(duì)這一不足,文獻(xiàn)[10]提出了一種基于SVM 的CNN模型。該模型通過(guò)結(jié)合L2 范數(shù)的SVM,將大間隔原理引入到了CNN 模型中?;赟VM 的CNN定義了能量函數(shù),為

    式中:||w||2是分類(lèi)間隔項(xiàng),越小則表示不同類(lèi)別的圖像特征間的間隔越大;max(·)2表示二次方的合頁(yè)損失用于度量卷積深度模型的識(shí)別誤差,該項(xiàng)越小則表明模型的識(shí)別誤差越小。與式(7)相比,基于SVM 的CNN 模型額外考慮了不同類(lèi)別的樣本間的間隔,能夠提取高質(zhì)量的圖像特征。

    2 半徑間隔界驅(qū)動(dòng)卷積網(wǎng)絡(luò)的目標(biāo)識(shí)別

    本章的目的在于建立半徑間隔界驅(qū)動(dòng)的CNN模型,首先構(gòu)建二分類(lèi)模式下的模型,并進(jìn)一步推廣到多類(lèi)別的模式中;其次詳細(xì)說(shuō)明所提模型的訓(xùn)練策略;最后給出模型的識(shí)別方法。

    2.1 模型的構(gòu)建

    基于SVM 的CNN 模型通過(guò)結(jié)合L2 范數(shù)的SVM,將大間隔原理引入到了深度模型中。相比于傳統(tǒng)的基于Softmax 的CNN 模型,基于SVM 的CNN 在識(shí)別中表現(xiàn)出了更好的泛化能力。然而,其忽視了一個(gè)關(guān)鍵事實(shí):SVM 的泛化性能不僅取決于異類(lèi)樣本特征間的間隔,還與包含所有樣本特征的MEB 的半徑有關(guān)。實(shí)際上,在一般分類(lèi)任務(wù)中,確定了特征提取器后,訓(xùn)練樣本的特征就不再變化。包含所有樣本特征的MEB 的半徑隨之被固定為一個(gè)常數(shù)。由式(2)可知,此時(shí)SVM 的泛化誤差只取決于異類(lèi)樣本間的分類(lèi)間隔因此不必考慮MEB 的半徑。然而,在基于CNN 的深度模型中,作為特征提取器的CNN 會(huì)隨著權(quán)重系數(shù)的每一輪更新而改變,由所有樣本特征決定的MEB 的半徑在不斷變化。在這種情況下,如果仍忽略MEB 的半徑對(duì)SVM 泛化能力的影響,會(huì)導(dǎo)致分類(lèi)間隔只是簡(jiǎn)單的隨著的增大而增大,而無(wú)法對(duì)SVM 泛化性能的提升做出有效的貢獻(xiàn)。換言之,CNN 提取到的樣本特征雖然具有更大的類(lèi)間間隔,但其類(lèi)內(nèi)間隔也更大,顯然,這樣的特征并不能有效提高深度模型的識(shí)別能力。

    針對(duì)上述不足,基于SVM 的泛化誤差界理論,本文提出了一種半徑間隔界驅(qū)動(dòng)的CNN 模型。為了同時(shí)考慮不同類(lèi)別的圖像特征間的間隔和MEB 的半徑,所提模型中定義的能量函數(shù)為

    化簡(jiǎn)式(13),可得

    本質(zhì)上,這是一個(gè)簡(jiǎn)單的求圖像特征間最大距離的問(wèn)題,只需要遍歷圖像特征便可求得的值。顯然,相對(duì)于求解復(fù)雜的對(duì)偶優(yōu)化問(wèn)題,求解最大成對(duì)距離可以有效地減小模型的計(jì)算開(kāi)銷(xiāo)。采用替換式(9)中的,得到改進(jìn)后的能量函數(shù),為

    在實(shí)際應(yīng)用中,識(shí)別處理的圖像往往遠(yuǎn)大于2 個(gè)類(lèi)別。因此,本文將提出的深度模型擴(kuò)展到多類(lèi)別的模式。借鑒文獻(xiàn)[14]中一對(duì)多的策略,本文分別學(xué)習(xí)每個(gè)類(lèi)別間的分類(lèi)間隔的倒數(shù)及其對(duì)應(yīng)的最大成對(duì)距離。對(duì)于給定的一組包含C個(gè)類(lèi)別的訓(xùn)練樣本,令{y1,···,yn}表示對(duì)應(yīng)樣本的標(biāo)簽,yi∈{1,···,C}。由此擴(kuò)展能量函數(shù)(16)到多類(lèi)別的模式,為

    圖1 本文卷積深度模型的結(jié)構(gòu)

    2.2 模型的更新

    本節(jié)將介紹半徑間隔界驅(qū)動(dòng)的CNN 模型中各個(gè)參數(shù)的更新,包括卷積網(wǎng)絡(luò)中的權(quán)重系數(shù) ω、分類(lèi)器參數(shù)以及最大成對(duì)距離。更新過(guò)程采用交替優(yōu)化的策略,將深度模型分為3 個(gè)部分進(jìn)行更新:固定 ω與更新固定ω 與,更新固定與更新 ω。

    2.2.1 更新最大成對(duì)距離

    式(21)是一個(gè)尋找樣本間最大間隔的問(wèn)題,簡(jiǎn)單地遍歷圖像特征就可求得該問(wèn)題的解。求得{i?,j?}后,通過(guò)計(jì)算式(22)便可得到Dˉ的值。

    其中si=?(xi,ω)。該無(wú)約束問(wèn)題是關(guān)于wc和bc可導(dǎo)的[13],因此,可通過(guò)梯度下降法對(duì)其進(jìn)行求解。為了便于表述,將問(wèn)題式(23)改寫(xiě)為

    得到梯度后,通過(guò)梯度下降法便可求得wc與bc在卷積深度模型中的局部最優(yōu)解。

    2.2.3 更新權(quán)重系數(shù)ω

    其中?si/?ω表示反向傳播,可由深度學(xué)習(xí)框架如TensorFlow 以及Caffe 等提供的自動(dòng)微分技術(shù)進(jìn)行計(jì)算。最后,能量函數(shù)關(guān)于權(quán)重系數(shù) ω的梯度為

    利用式(33),在反向傳播的過(guò)程中,通過(guò)梯度下降法即可實(shí)現(xiàn)對(duì)卷積網(wǎng)絡(luò)中各權(quán)重系數(shù)的更新。

    圖2 示出了本文提出的深度模型的更新過(guò)程。其中步驟(a)表示更新分類(lèi)器參數(shù)以及最大成對(duì)距離,步驟(b)表示更新卷積網(wǎng)絡(luò)中權(quán)重系數(shù) ω。

    圖2 本文提出的深度模型的更新過(guò)程

    綜合所提模型的更新步驟,概括半徑間隔界驅(qū)動(dòng)的CNN 模型的學(xué)習(xí)過(guò)程如下。

    輸入:訓(xùn)練樣本X∈Rm×n,訓(xùn)練樣本的標(biāo)簽Y∈Rn,設(shè)置懲罰系數(shù)λ,學(xué)習(xí)率 σ以及最大迭代次數(shù)T。

    步驟3:通過(guò)式(26)與式(27)更新分類(lèi)器參數(shù)wc與bc。

    步驟4:通過(guò)式(20)計(jì)算能量函數(shù)的值。判斷,若能量函數(shù)停止收斂或迭代次數(shù)t>T,則終止迭代,否則繼續(xù)進(jìn)行步驟5。

    步驟5:通過(guò)式(33)更新權(quán)重系數(shù) ω。返回步驟1)繼續(xù)迭代。

    2.3 識(shí)別方法

    3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

    為了綜合評(píng)價(jià)本文提出的半徑間隔界驅(qū)動(dòng)的CNN 模型,本章首先分析了不同的懲罰系數(shù)λ對(duì)所提模型性能的影響,然后通過(guò)可視化的方式將所提模型提取的圖像特征與傳統(tǒng)CNN 及基于SVM 的CNN 提取的圖像特征進(jìn)行比較,最后基于3 種具有代表性的深度卷積網(wǎng)絡(luò)結(jié)構(gòu),在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了仿真實(shí)驗(yàn),以驗(yàn)證所提模型在識(shí)別率上的有效性。本文中所有的實(shí)驗(yàn)都在Nvidia TITAN X(Pascal) GPU 以及Intel(R) Xeon(R) W-2125 CPU環(huán) 境中進(jìn)行。

    3.1 懲罰系數(shù)對(duì)模型性能的影響

    半徑間隔界驅(qū)動(dòng)的CNN 模型中,懲罰系數(shù)λ被用于度量模型對(duì)誤差的容忍度。為了調(diào)查其對(duì)模型性能的影響,本節(jié)基于ResNet-18 網(wǎng)絡(luò)結(jié)構(gòu)[5]在數(shù)據(jù)集CIFAR-10[15]上對(duì)多個(gè)不同的 λ進(jìn)行仿真實(shí)驗(yàn)。CIFAR-10 數(shù)據(jù)集包含了10 個(gè)類(lèi)別的真實(shí)圖像,由5 萬(wàn)張訓(xùn)練圖像以及1 萬(wàn)張測(cè)試圖像組成,每個(gè)圖像均為32×32 大小的RGB 彩色圖。實(shí)驗(yàn)中設(shè)置懲罰系數(shù)λ ∈{0.001,0.01,0.1,1,10,100},采用Mini-batch 策略,設(shè)置每次迭代中使用250 張訓(xùn)練圖像,規(guī)定最大迭代次數(shù)t=2 000。為了使模型盡可能的收斂,采用梯度學(xué)習(xí)率策略,具體設(shè)置為:若迭代次數(shù)t<500,則學(xué)習(xí)率σ=10?3;若500 ≤t<1 500,則σ=10?4;若1 500 ≤t<2 000,則σ=10?5。圖3 示出了在不同懲罰系數(shù)λ下能量函數(shù)值的收斂曲線、識(shí)別率的增長(zhǎng)曲線。圖4 示出了模型在CIFAR-10 數(shù)據(jù)集上取得的最大識(shí)別準(zhǔn)確率。從實(shí)驗(yàn)結(jié)果中可以看出:在λ=0.01 時(shí)能量函數(shù)的收斂速度最快,模型取得了最高的識(shí)別率;隨著懲罰系數(shù)λ的增大,能量函數(shù)的收斂速度變慢,對(duì)應(yīng)的識(shí)別率的增長(zhǎng)明顯變緩,模型也難以取得較高的識(shí)別準(zhǔn)確率。分析其原因,過(guò)大的懲罰系數(shù)使得深度卷積模型過(guò)多的關(guān)注被錯(cuò)誤識(shí)別的樣本,迫使模型擬合更復(fù)雜的網(wǎng)絡(luò)參數(shù)以盡可能多地修正被錯(cuò)分的訓(xùn)練樣本,這增加了模型的優(yōu)化難度,同時(shí)導(dǎo)致模型出現(xiàn)過(guò)擬合。根據(jù)實(shí)驗(yàn)結(jié)果,設(shè)定本文實(shí)驗(yàn)中的懲罰系數(shù)λ=0.01。

    圖3 不同的懲罰系數(shù)對(duì)模型的收斂和識(shí)別率的影響

    圖4 不同懲罰系數(shù)下模型的最大識(shí)別率

    3.2 圖像特征可視化分析

    為了驗(yàn)證半徑間隔界驅(qū)動(dòng)的CNN 模型能夠提取到鑒別性更強(qiáng)的圖像特征,本節(jié)在CIFAR-10 數(shù)據(jù)集上通過(guò)可視化的方式將所提模型提取的圖像特征與基于中心損失、基于Softmax 以及基于SVM 的深度卷積模型提取的圖像特征進(jìn)行比較。其中,比較的圖像特征提取于CIFAR-10 數(shù)據(jù)集中全部的測(cè)試樣本。同時(shí),為了調(diào)查本文提出的模型在不同網(wǎng)絡(luò)結(jié)構(gòu)中的泛化能力,實(shí)驗(yàn)中采用AlexNet[16]、VGGNet-13[4]以及ResNet-18[5]3 種具有代表性的網(wǎng)絡(luò)結(jié)構(gòu)。由于深度模型提取的特征為高維的圖像特征,實(shí)驗(yàn)先通過(guò)TSNE 降維算法[17],將圖像特征的維度降到二維后再進(jìn)行可視化比較。

    圖5 示出AlexNet、VGGNet-13 以及ResNet-18在3 種損失函數(shù)驅(qū)動(dòng)下提取到的圖像特征的可視化結(jié)果。其中:xxx-Center 表示基于中心損失的深度卷積模型;xxx-Softmax 表示基于Softmax 的深度卷積模型;xxx-SVM 表示基于SVM 的深度卷積模型;xxx-RMB 表示半徑間隔界驅(qū)動(dòng)的深度卷積模型。

    圖5 各卷積深度模型提取的圖像特征的可視化比較

    從實(shí)驗(yàn)結(jié)果可以看出:與另外3 種深度模型相比,半徑間隔界驅(qū)動(dòng)的深度卷積模型能夠有效分隔不同類(lèi)別的樣本,得到線性可分的圖像特征,從而提取到更高質(zhì)量的圖像特征;基于Softmax 的深度卷積模型難以分隔不同類(lèi)別的圖像特征,并且提取的同類(lèi)樣本特征的分布較為分散;基于SVM 的深度卷積模型能夠提供較大的類(lèi)間間隔,對(duì)不同類(lèi)別的樣本的分隔能力相對(duì)較差,使得圖像特征間線性不可分;基于中心損失的深度卷積模型能夠聚合同類(lèi)圖像特征,減小了類(lèi)內(nèi)間隔,但其難以分隔不同類(lèi)別的圖像特征。綜上,半徑間隔界驅(qū)動(dòng)的深度模型在圖像特征表達(dá)上是非常有效的。

    3.3 實(shí)驗(yàn)結(jié)果與分析

    為了驗(yàn)證本文所提出的深度卷積模型在識(shí)別率上的有效性,本節(jié)在5 個(gè)大規(guī)模數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)。使用的數(shù)據(jù)集包括2 個(gè)數(shù)字識(shí)別數(shù)據(jù)集MINIST[18]和SVHN[19]、1 個(gè)表情識(shí)別數(shù)據(jù)集FER2013[20],以及2 個(gè)相對(duì)復(fù)雜的真實(shí)圖像數(shù)據(jù)集CIFAR-10[15]和CIFAR-100[15]。其中:MINIST 與SVHN 都是由0-9 這10 個(gè)類(lèi)別的數(shù)字圖像組成,MINIST 為簡(jiǎn)單的手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集,包含的圖像是28×28 尺寸的灰度圖,SVHN 是相對(duì)復(fù)雜的街景數(shù)字?jǐn)?shù)據(jù)集,由尺寸為32×32 的RGB 彩色圖組成;FER2013 由7 個(gè)類(lèi)別的表情圖像組成,每個(gè)圖像都是48×48 的灰度圖;CIFAR-10 和CIFAR-100 由相同的從真實(shí)世界收集的圖像構(gòu)成,這些圖像均為32×32 的RGB 彩色圖,CIFAR-10 將其分為了10 個(gè)類(lèi)別,CIFAR-100 進(jìn)一步將這些圖像細(xì)分成了100 個(gè)不同的類(lèi)別。為了規(guī)范數(shù)據(jù)集中的圖像,使用時(shí),本文首先將MINIST 和FER2013 中的圖像尺寸縮放到32×32 大小,然后對(duì)所有數(shù)據(jù)集中的圖像做歸一化處理。實(shí)驗(yàn)中,采用3 種具有代表性的卷積網(wǎng)絡(luò)結(jié)構(gòu) AlexNet、VGGNet-13 以及ResNet-18,使用TensorFlow 深度學(xué)習(xí)框架搭建對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu),使用Top-1 和Top-5 正確率作為模型識(shí)別性能的評(píng)價(jià)指標(biāo)[21]。Top-1 正確率表示深度卷積模型輸出的預(yù)測(cè)向量中響應(yīng)最大的那個(gè)類(lèi)別就是測(cè)試圖像真實(shí)類(lèi)別的準(zhǔn)確率。Top-5 正確率則表示預(yù)測(cè)響應(yīng)最大的前5 個(gè)類(lèi)別中包含真實(shí)類(lèi)別的概率。所提深度模型中的懲罰系數(shù)根據(jù)3.1節(jié)中的結(jié)論進(jìn)行設(shè)置,基于SVM的深度模型與基于中心損失的深度模型中的相關(guān)參數(shù)參考文獻(xiàn)[10]和文獻(xiàn)[22]進(jìn)行設(shè)置。實(shí)驗(yàn)中的剩余參數(shù)采用與3.1 節(jié)中相同設(shè)置,包括設(shè)置最大迭代次數(shù)、梯度學(xué)習(xí)率以及Mini-batch 策略。

    表1-2 示出了基于Softmax 的深度卷積模型、基于中心損失的深度卷積模型、基于SVM 的深度卷積模型以及半徑間隔界驅(qū)動(dòng)的深度卷積模型在5 個(gè)大規(guī)模數(shù)據(jù)集上的Top-1 識(shí)別率和Top-5 識(shí)別率。從實(shí)驗(yàn)結(jié)果可以看出,相比于另外3 種類(lèi)別的深度卷積模型,半徑間隔界驅(qū)動(dòng)的深度卷積在所有測(cè)試數(shù)據(jù)集的Top-1 以及Top-5 識(shí)別率上均取得了最好的表現(xiàn),尤其在類(lèi)別最多且最復(fù)雜的CIFAR-100 數(shù)據(jù)集上表現(xiàn)出了最顯著的識(shí)別率,其中:與次優(yōu)的基于中心損失的深度卷積相比,半徑間隔界驅(qū)動(dòng)的CNN 模型在CIFAR-100 的Top-5正確率上對(duì)AlexNet 的增益為0.03%,對(duì)VGGNet-13的增益為0.63%以及對(duì)ResNet-18 的增益為1.28%;同時(shí)在Top-1 正確率上對(duì)AlexNet、VGGNet-13 以及ResNet-18 的增益分別為3.40%、2.90%以及3.66%。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型在識(shí)別率上的有效性。此外,觀察深度卷積模中的參數(shù)總量可知,所提模型能夠應(yīng)用于不同的網(wǎng)絡(luò)結(jié)構(gòu)中,并且不會(huì)額外增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度。

    表1 各深度卷積模型的參數(shù)總量和在5 個(gè)所使用的數(shù)據(jù)集上的Top-5 識(shí)別率比較

    表2 各深度卷積模型的參數(shù)總量和在5 個(gè)所使用的數(shù)據(jù)集上的Top-1 識(shí)別率比較

    4 結(jié)束語(yǔ)

    為了提高CNN 的圖像特征表達(dá)能力并增強(qiáng)其在識(shí)別應(yīng)用中的泛化性能,本文基于SVM 的泛化誤差理論,提出了一種半徑間隔界驅(qū)動(dòng)的CNN 模型。該模型采用基于SVM 泛化誤差界的準(zhǔn)則來(lái)指導(dǎo)CNN 深度模型學(xué)習(xí)和相應(yīng)分類(lèi)器構(gòu)建,其不僅考慮了大間隔原理,還進(jìn)一步考慮了包含所有訓(xùn)練樣本的MEB 的半徑對(duì)SVM 泛化能力的影響。在多個(gè)大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,相對(duì)于傳統(tǒng)CNN 模型、基于SVM 的CNN 模型以及基于中心損失的CNN 模型,該模型夠提取到鑒別性更強(qiáng)的圖像特征,并且在圖像識(shí)別中具有更高的識(shí)別率。同時(shí),該模型具有較強(qiáng)的泛化能力,能夠被應(yīng)用于不同的網(wǎng)絡(luò)結(jié)構(gòu)中,因此,下一步的研究方向是探索所提深度卷積模型在其他模式中的應(yīng)用,如目標(biāo)檢測(cè)、目標(biāo)追蹤以及行為識(shí)別等。

    猜你喜歡
    識(shí)別率類(lèi)別間隔
    間隔問(wèn)題
    基于類(lèi)圖像處理與向量化的大數(shù)據(jù)腳本攻擊智能檢測(cè)
    基于真耳分析的助聽(tīng)器配戴者言語(yǔ)可懂度指數(shù)與言語(yǔ)識(shí)別率的關(guān)系
    間隔之謎
    提升高速公路MTC二次抓拍車(chē)牌識(shí)別率方案研究
    高速公路機(jī)電日常維護(hù)中車(chē)牌識(shí)別率分析系統(tǒng)的應(yīng)用
    服務(wù)類(lèi)別
    上樓梯的學(xué)問(wèn)
    論類(lèi)別股東會(huì)
    商事法論集(2014年1期)2014-06-27 01:20:42
    中醫(yī)類(lèi)別全科醫(yī)師培養(yǎng)模式的探討
    久久伊人香网站| 91av网站免费观看| 午夜久久久久精精品| 这个男人来自地球电影免费观看| 亚洲男人天堂网一区| 久久久国产欧美日韩av| 一级a爱视频在线免费观看| 中文字幕久久专区| 婷婷丁香在线五月| 视频在线观看一区二区三区| 中文字幕精品免费在线观看视频| 两个人免费观看高清视频| 免费不卡黄色视频| netflix在线观看网站| 亚洲人成电影免费在线| 亚洲第一av免费看| 女人爽到高潮嗷嗷叫在线视频| 两人在一起打扑克的视频| 免费观看人在逋| 日本欧美视频一区| 国产乱人伦免费视频| 啦啦啦观看免费观看视频高清 | 国产又色又爽无遮挡免费看| 精品无人区乱码1区二区| 97人妻精品一区二区三区麻豆 | 宅男免费午夜| 欧美日韩黄片免| 激情视频va一区二区三区| 成年版毛片免费区| 美女国产高潮福利片在线看| 久久精品亚洲精品国产色婷小说| 色播在线永久视频| 欧美大码av| 欧美成人性av电影在线观看| 九色亚洲精品在线播放| av超薄肉色丝袜交足视频| 久久久精品欧美日韩精品| 男人舔女人下体高潮全视频| 一级毛片精品| 国产精品秋霞免费鲁丝片| 好男人在线观看高清免费视频 | 变态另类丝袜制服| 日韩欧美一区视频在线观看| 伊人久久大香线蕉亚洲五| 黄色成人免费大全| 精品第一国产精品| 人妻久久中文字幕网| 国产欧美日韩综合在线一区二区| 午夜福利一区二区在线看| 久久久久久久久中文| 男人操女人黄网站| 国产片内射在线| 黄片小视频在线播放| 两性夫妻黄色片| 免费在线观看视频国产中文字幕亚洲| 国产成人系列免费观看| 色播亚洲综合网| 精品第一国产精品| 亚洲狠狠婷婷综合久久图片| 国产视频一区二区在线看| 精品久久久久久久人妻蜜臀av | 亚洲 欧美一区二区三区| 精品久久久久久久久久免费视频| 校园春色视频在线观看| 91麻豆av在线| 亚洲欧美精品综合久久99| 在线av久久热| 一进一出抽搐动态| 长腿黑丝高跟| 天天一区二区日本电影三级 | 一夜夜www| 久久精品国产综合久久久| 桃色一区二区三区在线观看| 亚洲av第一区精品v没综合| 他把我摸到了高潮在线观看| 亚洲电影在线观看av| 丝袜美足系列| 亚洲第一电影网av| x7x7x7水蜜桃| 国产精品 国内视频| 国产精品久久久人人做人人爽| 91字幕亚洲| av免费在线观看网站| 国产日韩一区二区三区精品不卡| 中国美女看黄片| 久久香蕉国产精品| 亚洲精品国产精品久久久不卡| 国产午夜精品久久久久久| 变态另类丝袜制服| 国产精品爽爽va在线观看网站 | 99久久精品国产亚洲精品| 国产91精品成人一区二区三区| 欧美日韩一级在线毛片| 欧美亚洲日本最大视频资源| 最新在线观看一区二区三区| 亚洲精品国产区一区二| 99精品久久久久人妻精品| 男人舔女人的私密视频| 91在线观看av| 欧美黄色淫秽网站| 最近最新中文字幕大全免费视频| 免费少妇av软件| 国产伦一二天堂av在线观看| 欧美成人免费av一区二区三区| 免费搜索国产男女视频| 久久精品aⅴ一区二区三区四区| 天天一区二区日本电影三级 | 亚洲中文字幕一区二区三区有码在线看 | 无人区码免费观看不卡| 免费av毛片视频| 999精品在线视频| 亚洲国产精品合色在线| 少妇的丰满在线观看| 最近最新中文字幕大全免费视频| 国产伦人伦偷精品视频| 国内毛片毛片毛片毛片毛片| 亚洲黑人精品在线| 禁无遮挡网站| 丝袜人妻中文字幕| 在线天堂中文资源库| 亚洲精品一区av在线观看| 一进一出抽搐gif免费好疼| 国产亚洲精品第一综合不卡| 大型黄色视频在线免费观看| 国产亚洲精品第一综合不卡| 美女免费视频网站| 欧美激情高清一区二区三区| 亚洲中文av在线| 久久久精品欧美日韩精品| 日韩欧美三级三区| 亚洲欧美精品综合一区二区三区| 人人妻人人澡人人看| 女人高潮潮喷娇喘18禁视频| 国产免费男女视频| 黑人操中国人逼视频| 中文字幕久久专区| 久久国产精品人妻蜜桃| 亚洲男人的天堂狠狠| 国产精品亚洲av一区麻豆| 三级毛片av免费| 久久午夜亚洲精品久久| 欧美成人一区二区免费高清观看 | 国产亚洲av嫩草精品影院| 精品乱码久久久久久99久播| 999精品在线视频| 亚洲最大成人中文| 精品少妇一区二区三区视频日本电影| 身体一侧抽搐| 97人妻精品一区二区三区麻豆 | 啪啪无遮挡十八禁网站| 天堂动漫精品| 中文字幕人成人乱码亚洲影| 色播在线永久视频| 色播亚洲综合网| 亚洲电影在线观看av| 国产精品 欧美亚洲| 国产成人影院久久av| 久久久久久大精品| 悠悠久久av| 夜夜躁狠狠躁天天躁| 久久这里只有精品19| 大型av网站在线播放| 精品免费久久久久久久清纯| 欧美成狂野欧美在线观看| 亚洲免费av在线视频| 久久精品成人免费网站| 午夜老司机福利片| 国产精品 欧美亚洲| 丁香六月欧美| 久久久久国产精品人妻aⅴ院| 亚洲成人久久性| 国产成人系列免费观看| 男女床上黄色一级片免费看| av欧美777| 一边摸一边做爽爽视频免费| 免费久久久久久久精品成人欧美视频| 桃红色精品国产亚洲av| 满18在线观看网站| 国产欧美日韩精品亚洲av| 村上凉子中文字幕在线| 色哟哟哟哟哟哟| 国产乱人伦免费视频| 国产亚洲精品综合一区在线观看 | av在线播放免费不卡| 欧美黑人欧美精品刺激| 一级片免费观看大全| 性少妇av在线| 欧美大码av| 亚洲午夜理论影院| 国语自产精品视频在线第100页| 身体一侧抽搐| 精品久久久久久,| 国产91精品成人一区二区三区| 一级毛片精品| 亚洲精品美女久久久久99蜜臀| 亚洲第一av免费看| 女人被躁到高潮嗷嗷叫费观| 亚洲熟女毛片儿| 黑人巨大精品欧美一区二区mp4| 午夜激情av网站| 黑人巨大精品欧美一区二区mp4| 一区二区三区激情视频| avwww免费| 男女床上黄色一级片免费看| 免费观看人在逋| or卡值多少钱| 欧美在线一区亚洲| 大型av网站在线播放| av超薄肉色丝袜交足视频| 嫁个100分男人电影在线观看| 亚洲色图 男人天堂 中文字幕| 久久精品91无色码中文字幕| 国产精品精品国产色婷婷| 久久人妻熟女aⅴ| a级毛片在线看网站| 在线十欧美十亚洲十日本专区| 女人高潮潮喷娇喘18禁视频| 免费高清在线观看日韩| 男人操女人黄网站| 高潮久久久久久久久久久不卡| 成人国产综合亚洲| 精品人妻1区二区| 日韩三级视频一区二区三区| 一本久久中文字幕| 亚洲免费av在线视频| 久9热在线精品视频| 精品欧美国产一区二区三| 国产亚洲欧美98| 成人国语在线视频| 啦啦啦韩国在线观看视频| 国产乱人伦免费视频| 妹子高潮喷水视频| 亚洲精品在线观看二区| 宅男免费午夜| 久久精品91无色码中文字幕| aaaaa片日本免费| 91老司机精品| 岛国在线观看网站| 韩国精品一区二区三区| 亚洲熟妇熟女久久| 高清毛片免费观看视频网站| 美女扒开内裤让男人捅视频| 一本综合久久免费| 日韩免费av在线播放| 亚洲第一青青草原| 男女下面插进去视频免费观看| 欧美人与性动交α欧美精品济南到| 99国产精品一区二区蜜桃av| 大香蕉久久成人网| 1024视频免费在线观看| 99香蕉大伊视频| 又大又爽又粗| 久99久视频精品免费| 欧美人与性动交α欧美精品济南到| 午夜福利视频1000在线观看 | 精品久久久久久成人av| 亚洲中文日韩欧美视频| 91在线观看av| 国产精品98久久久久久宅男小说| 男人舔女人的私密视频| 国产精品一区二区三区四区久久 | 国产高清激情床上av| 黄片小视频在线播放| 国产av一区二区精品久久| 亚洲av熟女| av片东京热男人的天堂| 高潮久久久久久久久久久不卡| 真人做人爱边吃奶动态| 男男h啪啪无遮挡| av电影中文网址| 午夜福利高清视频| 黄色女人牲交| 满18在线观看网站| 国产成人欧美在线观看| 成人精品一区二区免费| 国产亚洲精品综合一区在线观看 | 国产片内射在线| 色尼玛亚洲综合影院| 精品福利观看| 久久狼人影院| 中亚洲国语对白在线视频| 大码成人一级视频| 欧美精品啪啪一区二区三区| 天天躁狠狠躁夜夜躁狠狠躁| 国产成人精品在线电影| 国产麻豆69| 窝窝影院91人妻| 在线观看舔阴道视频| 久热爱精品视频在线9| 欧美黑人精品巨大| 亚洲一码二码三码区别大吗| 国产单亲对白刺激| 精品国产国语对白av| 悠悠久久av| 亚洲中文字幕一区二区三区有码在线看 | 啦啦啦免费观看视频1| 黄色视频不卡| 亚洲狠狠婷婷综合久久图片| 亚洲精品美女久久久久99蜜臀| 成人亚洲精品一区在线观看| 天天添夜夜摸| 亚洲七黄色美女视频| 中国美女看黄片| 99精品久久久久人妻精品| 免费在线观看日本一区| 国产成人欧美| 99精品欧美一区二区三区四区| 一级,二级,三级黄色视频| 欧美一级毛片孕妇| 757午夜福利合集在线观看| 午夜免费成人在线视频| 美女高潮到喷水免费观看| 一区在线观看完整版| 九色国产91popny在线| 日韩精品中文字幕看吧| 免费无遮挡裸体视频| 亚洲一区二区三区色噜噜| 亚洲精品国产区一区二| 丝袜在线中文字幕| 国产欧美日韩一区二区三区在线| 999久久久精品免费观看国产| 欧美日本亚洲视频在线播放| av有码第一页| 午夜福利视频1000在线观看 | 精品国产亚洲在线| 国产精品香港三级国产av潘金莲| 国产av精品麻豆| 99香蕉大伊视频| 黑人欧美特级aaaaaa片| 国语自产精品视频在线第100页| 日本欧美视频一区| 亚洲av电影在线进入| tocl精华| 天堂影院成人在线观看| 两个人看的免费小视频| 亚洲av片天天在线观看| 大型黄色视频在线免费观看| 免费高清视频大片| 搡老妇女老女人老熟妇| 国产精品美女特级片免费视频播放器 | 国产成人精品久久二区二区91| 午夜福利成人在线免费观看| 岛国在线观看网站| 国产免费av片在线观看野外av| 视频在线观看一区二区三区| 法律面前人人平等表现在哪些方面| 国产成人av激情在线播放| 九色亚洲精品在线播放| 女人被躁到高潮嗷嗷叫费观| 悠悠久久av| 美女高潮喷水抽搐中文字幕| 制服诱惑二区| 亚洲国产欧美网| 黄色 视频免费看| 精品人妻1区二区| 免费高清在线观看日韩| 久久精品国产99精品国产亚洲性色 | 女人精品久久久久毛片| 一本综合久久免费| 在线观看一区二区三区| 国产精品久久视频播放| 法律面前人人平等表现在哪些方面| 亚洲成人免费电影在线观看| 天堂√8在线中文| 男人操女人黄网站| 99久久99久久久精品蜜桃| 日本欧美视频一区| 18禁裸乳无遮挡免费网站照片 | 十八禁人妻一区二区| 欧美黄色淫秽网站| 国产在线精品亚洲第一网站| 天天一区二区日本电影三级 | 搡老妇女老女人老熟妇| 如日韩欧美国产精品一区二区三区| 亚洲第一欧美日韩一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 在线十欧美十亚洲十日本专区| 黄色 视频免费看| 黄色女人牲交| 亚洲aⅴ乱码一区二区在线播放 | 嫩草影视91久久| 女性生殖器流出的白浆| 国产精华一区二区三区| 国产精品野战在线观看| 精品人妻1区二区| а√天堂www在线а√下载| 成熟少妇高潮喷水视频| www日本在线高清视频| 国产精品免费一区二区三区在线| 欧美人与性动交α欧美精品济南到| 午夜日韩欧美国产| 97人妻精品一区二区三区麻豆 | 97人妻精品一区二区三区麻豆 | 久久久久国产精品人妻aⅴ院| 9热在线视频观看99| 好男人在线观看高清免费视频 | 久久久久国产精品人妻aⅴ院| 国产91精品成人一区二区三区| 最新在线观看一区二区三区| 精品国产超薄肉色丝袜足j| 久久中文字幕一级| 亚洲免费av在线视频| 国产精品亚洲av一区麻豆| 九色亚洲精品在线播放| 男女下面插进去视频免费观看| 亚洲色图综合在线观看| 在线永久观看黄色视频| 欧美另类亚洲清纯唯美| 国产三级在线视频| 三级毛片av免费| 不卡一级毛片| 少妇裸体淫交视频免费看高清 | 老司机在亚洲福利影院| 日韩精品青青久久久久久| 久久九九热精品免费| 一本大道久久a久久精品| 1024香蕉在线观看| 日韩欧美免费精品| 国产在线精品亚洲第一网站| 又紧又爽又黄一区二区| 美女免费视频网站| 国产极品粉嫩免费观看在线| 黑人巨大精品欧美一区二区mp4| 久久久精品欧美日韩精品| 精品午夜福利视频在线观看一区| 精品国产亚洲在线| 亚洲国产精品成人综合色| 精品国产乱子伦一区二区三区| 免费在线观看影片大全网站| 免费观看人在逋| 成在线人永久免费视频| 亚洲精品中文字幕一二三四区| 精品一区二区三区av网在线观看| 涩涩av久久男人的天堂| 久久人妻熟女aⅴ| 国产亚洲欧美精品永久| 麻豆成人av在线观看| 国产精品av久久久久免费| 亚洲欧洲精品一区二区精品久久久| 午夜福利高清视频| 麻豆国产av国片精品| 久9热在线精品视频| 中文字幕高清在线视频| 在线视频色国产色| 亚洲色图 男人天堂 中文字幕| 免费在线观看视频国产中文字幕亚洲| 亚洲第一青青草原| 性少妇av在线| 亚洲中文字幕日韩| 91av网站免费观看| 精品国产乱子伦一区二区三区| 亚洲国产精品sss在线观看| 国产成人影院久久av| 精品久久久久久久人妻蜜臀av | av在线播放免费不卡| 操出白浆在线播放| 少妇 在线观看| 成人免费观看视频高清| 成熟少妇高潮喷水视频| 午夜精品国产一区二区电影| 免费人成视频x8x8入口观看| 桃色一区二区三区在线观看| 国产成+人综合+亚洲专区| 女人高潮潮喷娇喘18禁视频| 久久人妻福利社区极品人妻图片| 99久久综合精品五月天人人| 欧美+亚洲+日韩+国产| 午夜精品久久久久久毛片777| 女性被躁到高潮视频| 天堂动漫精品| 中文字幕人妻熟女乱码| 国产精品国产高清国产av| 日韩 欧美 亚洲 中文字幕| 日韩av在线大香蕉| 在线播放国产精品三级| 亚洲成人免费电影在线观看| 国产一区二区激情短视频| 操出白浆在线播放| 少妇 在线观看| 亚洲狠狠婷婷综合久久图片| 亚洲情色 制服丝袜| 亚洲自拍偷在线| 在线观看午夜福利视频| 亚洲国产日韩欧美精品在线观看 | 精品熟女少妇八av免费久了| 九色亚洲精品在线播放| 亚洲性夜色夜夜综合| 成人18禁高潮啪啪吃奶动态图| 久久国产乱子伦精品免费另类| 69精品国产乱码久久久| 亚洲午夜精品一区,二区,三区| 视频区欧美日本亚洲| 亚洲欧洲精品一区二区精品久久久| 日本五十路高清| 嫁个100分男人电影在线观看| 韩国av一区二区三区四区| 国产精品久久久人人做人人爽| 操出白浆在线播放| 国产99白浆流出| 亚洲国产精品成人综合色| 精品卡一卡二卡四卡免费| 亚洲视频免费观看视频| av福利片在线| av免费在线观看网站| 18禁美女被吸乳视频| 亚洲 欧美一区二区三区| 巨乳人妻的诱惑在线观看| 在线观看日韩欧美| 亚洲专区国产一区二区| 国产精品自产拍在线观看55亚洲| 亚洲天堂国产精品一区在线| 日韩成人在线观看一区二区三区| 久9热在线精品视频| 国产精品国产高清国产av| 90打野战视频偷拍视频| 9色porny在线观看| 国产精品香港三级国产av潘金莲| 国产成人一区二区三区免费视频网站| 一级a爱视频在线免费观看| 91成年电影在线观看| 制服人妻中文乱码| 国产真人三级小视频在线观看| 午夜精品久久久久久毛片777| 又黄又爽又免费观看的视频| 亚洲av日韩精品久久久久久密| 久久国产精品人妻蜜桃| 亚洲美女黄片视频| 女警被强在线播放| 成人特级黄色片久久久久久久| 精品免费久久久久久久清纯| 一区二区三区国产精品乱码| av欧美777| 日本撒尿小便嘘嘘汇集6| 999久久久国产精品视频| 久久精品成人免费网站| www日本在线高清视频| 少妇裸体淫交视频免费看高清 | 久久久久久免费高清国产稀缺| 丝袜人妻中文字幕| www日本在线高清视频| 叶爱在线成人免费视频播放| 男男h啪啪无遮挡| 国产精品免费一区二区三区在线| 色尼玛亚洲综合影院| 国产xxxxx性猛交| 久久久久国产一级毛片高清牌| 九色亚洲精品在线播放| 免费女性裸体啪啪无遮挡网站| 91老司机精品| 久久精品aⅴ一区二区三区四区| 精品久久蜜臀av无| 久久人人精品亚洲av| 免费在线观看亚洲国产| 神马国产精品三级电影在线观看 | 久久国产精品影院| 天天添夜夜摸| 免费一级毛片在线播放高清视频 | 中文字幕最新亚洲高清| 日本 av在线| 一卡2卡三卡四卡精品乱码亚洲| 亚洲国产精品999在线| 十分钟在线观看高清视频www| 免费看a级黄色片| av片东京热男人的天堂| 人人妻,人人澡人人爽秒播| 无人区码免费观看不卡| 亚洲 国产 在线| 美女 人体艺术 gogo| 自线自在国产av| 99香蕉大伊视频| 女人被躁到高潮嗷嗷叫费观| 真人一进一出gif抽搐免费| 黄网站色视频无遮挡免费观看| 视频在线观看一区二区三区| 777久久人妻少妇嫩草av网站| 免费人成视频x8x8入口观看| 亚洲av五月六月丁香网| 搡老妇女老女人老熟妇| 丝袜美足系列| 免费高清视频大片| 91大片在线观看| 在线观看免费视频网站a站| 两人在一起打扑克的视频| 国产午夜福利久久久久久| 久久亚洲真实| 不卡av一区二区三区| 日韩视频一区二区在线观看| 亚洲欧美日韩高清在线视频| 欧美激情 高清一区二区三区| 成人亚洲精品av一区二区| 波多野结衣高清无吗| 99久久国产精品久久久| 国产一级毛片七仙女欲春2 | 天天添夜夜摸| 91在线观看av| 国产精品自产拍在线观看55亚洲| 一本综合久久免费| 免费女性裸体啪啪无遮挡网站| 亚洲午夜精品一区,二区,三区| 最近最新免费中文字幕在线| 黑人巨大精品欧美一区二区mp4| 亚洲人成电影观看| 亚洲三区欧美一区| 午夜福利在线观看吧| 亚洲国产高清在线一区二区三 | 日韩欧美一区二区三区在线观看| svipshipincom国产片| 国产91精品成人一区二区三区| xxx96com| 亚洲熟妇熟女久久| 99国产精品99久久久久| 99国产综合亚洲精品| 欧美日本视频| 精品免费久久久久久久清纯| 不卡av一区二区三区|