• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    深度學(xué)習(xí)在云和終端上的混合分布式部署研究

    2019-01-24 06:01:06暢,陸駿,李
    智能物聯(lián)技術(shù) 2019年1期
    關(guān)鍵詞:分類深度模型

    鄧 暢,陸 駿,李 廣

    (中國(guó)電子科技集團(tuán)公司第三十二研究所,上海 200233)

    0 引言

    近年來(lái),深度學(xué)習(xí)算法在多個(gè)領(lǐng)域的應(yīng)用中大放異彩,如深層卷積神經(jīng)網(wǎng)絡(luò)不斷刷新計(jì)算機(jī)視覺(jué)算法的紀(jì)錄。伴隨著物聯(lián)網(wǎng)等終端設(shè)備的急劇增多以及海量數(shù)據(jù)流的產(chǎn)生,深度學(xué)習(xí)算法在終端設(shè)備中的應(yīng)用越來(lái)越受到人們的關(guān)注。

    但是,深度學(xué)習(xí)算法模型規(guī)模大的特點(diǎn),在執(zhí)行任務(wù)時(shí)對(duì)存儲(chǔ)資源與計(jì)算資源的要求較高,因此算法的訓(xùn)練和運(yùn)行往往在云端進(jìn)行。深度學(xué)習(xí)算法在終端設(shè)備上的應(yīng)用始終存在著一些問(wèn)題:要么終端設(shè)備采集數(shù)據(jù),傳至云上的大型深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行處理,導(dǎo)致通信成本提高,帶來(lái)了延遲問(wèn)題和隱私問(wèn)題;要么在終端執(zhí)行的深度神經(jīng)網(wǎng)絡(luò)模型必須進(jìn)行大幅壓縮刪減,因此損失一定的系統(tǒng)精度。

    為了克服這些缺點(diǎn),本文提出了云端結(jié)合的深度學(xué)習(xí)部署方案:終端設(shè)備中部署深度神經(jīng)網(wǎng)絡(luò)壓縮模型,快速完成特征提取的推理運(yùn)算,輸出的檢測(cè)結(jié)果滿足置信度的標(biāo)準(zhǔn)則結(jié)束;若終端結(jié)果不能滿足要求,則終端實(shí)現(xiàn)的初始特征提取樣本將傳至云端,由完整復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行進(jìn)一步處理。這種方法可根據(jù)不同精度要求,靈活兼顧實(shí)時(shí)性、系統(tǒng)精度與通信成本的平衡。另外,由于終端已經(jīng)實(shí)現(xiàn)了特征提取,傳至云上的并非傳感器采集的原始數(shù)據(jù),因此能夠提供更好的數(shù)據(jù)隱私保護(hù)。

    1 背景與相關(guān)工作

    1.1 深度神經(jīng)網(wǎng)絡(luò)

    在人工智能眾多技術(shù)中,深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)[1]是一種通過(guò)模擬人腦神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)類人工智能的機(jī)器學(xué)習(xí)技術(shù)。鑒于DNN具有高效的數(shù)據(jù)特征提取與分析能力,現(xiàn)已被廣泛應(yīng)用在計(jì)算機(jī)視覺(jué)[2]、自然語(yǔ)言處理[3]、無(wú)人駕駛[4]、智能家居[5]、智慧城市[6]等相關(guān)的領(lǐng)域或行業(yè),影響著人們的日常生活。

    DNN的本質(zhì)是通過(guò)模擬人腦神經(jīng),組合低層特征形成更加抽象的高層特征,從而分析出數(shù)據(jù)所表達(dá)的信息。構(gòu)建一個(gè)DNN主要分為兩個(gè)階段:訓(xùn)練階段與推測(cè)階段。訓(xùn)練階段需要網(wǎng)絡(luò)模型先對(duì)大量訓(xùn)練數(shù)據(jù)進(jìn)行推測(cè),之后利用反向傳播算法遞歸調(diào)整網(wǎng)絡(luò)模型中神經(jīng)元之間的連接權(quán)重,從而最小化DNN推測(cè)結(jié)果與真實(shí)值之間的誤差。推測(cè)階段直接利用訓(xùn)練完成的網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行分析,該階段無(wú)需存儲(chǔ)訓(xùn)練數(shù)據(jù)和進(jìn)行反向傳播操作,計(jì)算與存儲(chǔ)開(kāi)銷遠(yuǎn)小于訓(xùn)練階段。

    在眾多DNN模型中,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[7]的應(yīng)用最為廣泛。CNN主要由卷積層、全連接層構(gòu)成。卷積層通過(guò)局部感受野、權(quán)值共享的思想,使用少量參數(shù)即可實(shí)現(xiàn)某一類數(shù)據(jù)特征的提取。但由于卷積層中的卷積操作需要遍歷上一層輸出的特征面,因此卷積層的計(jì)算耗時(shí)非常大。全連接層的作用則是組合之前卷積層提取的多類特征。與卷積層相比,全連接層計(jì)算用時(shí)少,但參數(shù)數(shù)量十分龐大。經(jīng)典的DNN模型還有 AlexNet[2]、GoogLeNet[8]等,這些網(wǎng)絡(luò)模型層數(shù)較深、參數(shù)數(shù)量極大,導(dǎo)致網(wǎng)絡(luò)模型的存儲(chǔ)與計(jì)算代價(jià)非常高。以AlexNet為例,其網(wǎng)絡(luò)模型共有61M的參數(shù)數(shù)量,每個(gè)參數(shù)為32位浮點(diǎn)型數(shù)值,因此加載該模型至少需要104MB的內(nèi)存空間。當(dāng)將尺寸為227×227×3的彩色圖片作為輸入數(shù)據(jù)時(shí),AlexNet第一層卷積核處理該圖片需要進(jìn)行超過(guò)1.8億次的乘法運(yùn)算。由此可見(jiàn),如果運(yùn)行AlexNet的設(shè)備沒(méi)有強(qiáng)大的硬件資源,則AlexNet網(wǎng)絡(luò)分析數(shù)據(jù)所花費(fèi)的時(shí)間很難滿足實(shí)時(shí)性要求。

    表1 主流DNN模型的比較

    為了提高DNN分析數(shù)據(jù)的準(zhǔn)確度,通常采用的方法是增加其神經(jīng)網(wǎng)絡(luò)的層數(shù)。這是由于在DNN中,特定的神經(jīng)網(wǎng)絡(luò)層被用來(lái)提取特定的數(shù)據(jù)特征,更多的網(wǎng)絡(luò)層數(shù)代表著更多可分析的數(shù)據(jù)特征,從而使得數(shù)據(jù)分析的結(jié)果也更加準(zhǔn)確。表1給出了從2012年到2016年經(jīng)典DNN模型的比較信息。從表1中可以發(fā)現(xiàn),從AlexNet到ResNet,雖然分類誤差率逐漸降低,但網(wǎng)絡(luò)模型的層數(shù)卻從8層急劇增長(zhǎng)至156層,同時(shí)網(wǎng)絡(luò)模型的參數(shù)數(shù)量也非常龐大。模型的層數(shù)與參數(shù)數(shù)量在一定程度上代表了DNN分析數(shù)據(jù)時(shí)所需的計(jì)算量與占用的內(nèi)存空間大小,這要求相應(yīng)的設(shè)備需要超強(qiáng)的計(jì)算能力與巨大的存儲(chǔ)空間。因此目前主流的深度學(xué)習(xí)框架的模型訓(xùn)練和推理計(jì)算均是在云端/服務(wù)器端設(shè)備上進(jìn)行,資源受限、強(qiáng)調(diào)實(shí)時(shí)性的嵌入式環(huán)境中的深度學(xué)習(xí)計(jì)算引擎的實(shí)現(xiàn)還在發(fā)展中。

    1.2 終端設(shè)備上網(wǎng)絡(luò)模型的優(yōu)化部署

    由于嵌入式設(shè)備資源受限,部署DNN應(yīng)用通常會(huì)面臨以下三個(gè)主要問(wèn)題:①網(wǎng)絡(luò)模型本身參數(shù)數(shù)量龐大,且計(jì)算過(guò)程中會(huì)產(chǎn)生大量的臨時(shí)變量,資源受限的終端設(shè)備無(wú)法提供足夠的內(nèi)存空間存放程序運(yùn)行所需的數(shù)據(jù);②網(wǎng)絡(luò)模型計(jì)算量過(guò)大,執(zhí)行一次推測(cè)過(guò)程的響應(yīng)時(shí)間過(guò)長(zhǎng),難以滿足終端設(shè)備的系統(tǒng)實(shí)時(shí)性需求;③運(yùn)行DNN過(guò)程中由于需要大量的數(shù)值計(jì)算與頻繁的數(shù)據(jù)讀取,高額的能耗會(huì)大幅減少設(shè)備的工作時(shí)長(zhǎng)。這些問(wèn)題已成為DNN與終端設(shè)備深度融合道路上較難逾越的鴻溝。

    使用DNN處理復(fù)雜任務(wù)時(shí)通常需要構(gòu)建層數(shù)較深的網(wǎng)絡(luò)模型來(lái)增強(qiáng)模型對(duì)數(shù)據(jù)特征的提取能力。增加DNN的網(wǎng)絡(luò)層數(shù)雖然可以在一定程度上提高網(wǎng)絡(luò)模型處理數(shù)據(jù)的能力,但也會(huì)導(dǎo)致DNN的計(jì)算量與參數(shù)數(shù)量急劇增加,迫使應(yīng)用DNN的物聯(lián)網(wǎng)設(shè)備配置強(qiáng)大的計(jì)算能力和巨大的存儲(chǔ)空間。為了解決上述問(wèn)題,研究人員從簡(jiǎn)化網(wǎng)絡(luò)模型的角度設(shè)計(jì)了各種各樣的優(yōu)化方法,降低網(wǎng)絡(luò)模型對(duì)設(shè)備的硬件資源需求。以主流通用的卷積神經(jīng)網(wǎng)絡(luò)為例,卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多適用于多種類的目標(biāo)識(shí)別任務(wù),但規(guī)模如此之大的深度神經(jīng)網(wǎng)絡(luò)往往是過(guò)參數(shù)的,不僅增加了模型存儲(chǔ)量、降低了運(yùn)行速度,甚者會(huì)引起過(guò)擬合問(wèn)題,以至于該模型在預(yù)測(cè)其他測(cè)試樣本時(shí)精度嚴(yán)重下降。為了避免過(guò)擬合,需對(duì)卷積神經(jīng)網(wǎng)絡(luò)中的冗余特征參數(shù)進(jìn)行修剪,以匹配較小的圖像特征空間。

    為實(shí)現(xiàn)網(wǎng)絡(luò)模型在嵌入式設(shè)備上的高效運(yùn)行,可以在終端設(shè)備上對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行權(quán)重量等調(diào)整,也可以基于深度學(xué)習(xí)算法模型,針對(duì)大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)的過(guò)參數(shù)的特點(diǎn),通過(guò)去除網(wǎng)絡(luò)冗余參數(shù)進(jìn)行網(wǎng)絡(luò)模型壓縮,以減少存儲(chǔ)量并提高運(yùn)行速度,并完成實(shí)時(shí)的推理運(yùn)算。具體優(yōu)化方式包括特征剪枝和權(quán)重量化等方式[11]。

    (1)特征剪枝

    以卷積神經(jīng)網(wǎng)絡(luò)為例,卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量與運(yùn)算量主要集中在卷積核與卷積操作,而卷積核并非全部適用于當(dāng)前視覺(jué)任務(wù)。卷積核自身特征各異,故其特征提取偏好各異,現(xiàn)在主流目標(biāo)識(shí)別網(wǎng)絡(luò)往往為數(shù)以百計(jì)類目標(biāo)識(shí)別設(shè)計(jì),這意味著在特化到某一簡(jiǎn)單問(wèn)題時(shí)將存在大量特征冗余的卷積核。所以可采用數(shù)據(jù)驅(qū)使法尋找冗余特征的卷積核并將其刪減。卷積核的特征學(xué)習(xí)極其依賴于輸入圖像,數(shù)據(jù)驅(qū)使法利用這一特性來(lái)研究卷積核的特征提取偏好:選取某特定卷積核,然后向網(wǎng)絡(luò)輸入大量具有不同特點(diǎn)的圖像塊,并依據(jù)該卷積核對(duì)應(yīng)神經(jīng)元的激活值大小記錄激活強(qiáng)烈的圖像,并分析這些圖像塊所具有的共同特征。由此確定卷積核的特征提取是否對(duì)目標(biāo)圖像有貢獻(xiàn),然后將無(wú)貢獻(xiàn)或貢獻(xiàn)小的卷積核進(jìn)行剪除以實(shí)現(xiàn)網(wǎng)絡(luò)的特征剪枝。

    (2)權(quán)重量化

    深度學(xué)習(xí)網(wǎng)絡(luò)模型具有大量的參數(shù)權(quán)重。由于網(wǎng)絡(luò)權(quán)重,所學(xué)特征往往是有規(guī)律的,這意味著權(quán)重參數(shù)具有相關(guān)性,這為網(wǎng)絡(luò)權(quán)重量化提供了條件。算法在應(yīng)用到目標(biāo)類別較少的簡(jiǎn)單任務(wù)時(shí),可以用量化所得精度較低的權(quán)重進(jìn)行近似計(jì)算。近似計(jì)算所帶來(lái)的誤差可通過(guò)調(diào)節(jié)量化程度控制在可接受范圍內(nèi)。

    1.3 系統(tǒng)架構(gòu)優(yōu)化

    盡管利用模型的優(yōu)化可以在終端設(shè)備上實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)部署,但在終端設(shè)備上深度學(xué)習(xí)系統(tǒng)仍面臨著兩難的境地:要么直接在終端設(shè)備上使用壓縮后的深度學(xué)習(xí)網(wǎng)絡(luò)模型,但會(huì)造成系統(tǒng)準(zhǔn)確率下降;要么把傳感器數(shù)據(jù)輸入到云端的大型深度神經(jīng)網(wǎng)絡(luò)中,但需要解決通信開(kāi)銷、延遲和隱私方面的問(wèn)題。

    另一方面,當(dāng)單個(gè)設(shè)備的處理能力無(wú)法滿足DNN日益增長(zhǎng)的計(jì)算與存儲(chǔ)需求,硬件性能的提升又會(huì)大幅增加設(shè)備的成本時(shí),可以考慮采用分布式系統(tǒng)架構(gòu),利用多設(shè)備分?jǐn)侱NN的計(jì)算與存儲(chǔ)。云端與嵌入式端混合的架構(gòu)優(yōu)化,使用若干通過(guò)網(wǎng)絡(luò)互聯(lián)的計(jì)算節(jié)點(diǎn)互相配合共同完成某個(gè)目標(biāo):通過(guò)模型并行方法對(duì)網(wǎng)絡(luò)模型進(jìn)行劃分,使用多個(gè)計(jì)算節(jié)點(diǎn)并行處理劃分后的模型。這種架構(gòu)下,在并行方式中,每個(gè)設(shè)備只運(yùn)行DNN程序的一部分,對(duì)硬件資源的需求大幅降低,每個(gè)工作節(jié)點(diǎn)不再需要執(zhí)行完整的DNN計(jì)算過(guò)程,因而可以有效地降低程序的內(nèi)存占用率。

    2 云和終端上的混合分布式部署方案

    2.1 部署方案

    一般來(lái)說(shuō),層數(shù)較深的網(wǎng)絡(luò)模型準(zhǔn)確度較高,但資源要求較高;而層數(shù)較淺的網(wǎng)絡(luò)模型準(zhǔn)確度較低,資源要求也較低。根據(jù)硬件設(shè)備性能的差異,計(jì)算量大的高精度神經(jīng)網(wǎng)絡(luò)模型可以部署在硬件性能較強(qiáng)的云端上,而計(jì)算量小的低精度神經(jīng)網(wǎng)絡(luò)模型則可以部署在硬件性能較弱的終端設(shè)備上。由于不同DNN的計(jì)算復(fù)雜度不同,動(dòng)態(tài)地選擇不同精度的網(wǎng)絡(luò)模型可以有效降低系統(tǒng)的消耗。

    我們提出在終端設(shè)備上部署經(jīng)過(guò)壓縮優(yōu)化的淺層神經(jīng)網(wǎng)絡(luò),在云服務(wù)器設(shè)備上部署深層神經(jīng)網(wǎng)絡(luò),以此構(gòu)建一個(gè)混合云端與終端的基于分布式計(jì)算層級(jí)的分布式深度神經(jīng)網(wǎng)絡(luò)。它由云、邊緣和分布式終端設(shè)備組成,通過(guò)分布式計(jì)算,增強(qiáng)了傳感器融合、數(shù)據(jù)隱私和系統(tǒng)容錯(cuò)能力;在可擴(kuò)展的分布式計(jì)算層次結(jié)構(gòu)支持下,不僅可以擴(kuò)大神經(jīng)網(wǎng)絡(luò)的規(guī)模,還可以在設(shè)備跨度上擴(kuò)展。它允許將早期的出口點(diǎn)放置在終端設(shè)備中。當(dāng)系統(tǒng)表現(xiàn)可信時(shí),深度神經(jīng)網(wǎng)絡(luò)的推理執(zhí)行可以在本地終端上完成圖像分類并退出,進(jìn)行快速的局部推斷;當(dāng)系統(tǒng)基于判斷標(biāo)準(zhǔn),需要進(jìn)一步進(jìn)行額外處理時(shí),中間數(shù)據(jù)可以傳輸至云服務(wù)器端,進(jìn)一步利用云端的深層深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理,以提高系統(tǒng)的表現(xiàn)精度。

    此方法的本質(zhì)是將一個(gè)在終端設(shè)備上的小型神經(jīng)網(wǎng)絡(luò)模型(更少的參數(shù))和一個(gè)在云上的大型神經(jīng)網(wǎng)絡(luò)模型(更多的參數(shù))組合起來(lái)。終端設(shè)備上的小型神經(jīng)網(wǎng)絡(luò)模型可以快速地初始化數(shù)據(jù)提取,并分析出這個(gè)模型是否是滿足要求的。另外,終端設(shè)備還可以通過(guò)云端的大型神經(jīng)網(wǎng)絡(luò)模型執(zhí)行進(jìn)一步的程序并完成最終的分類。相比于直接將神經(jīng)網(wǎng)絡(luò)輸入到云端,這個(gè)方法通信開(kāi)銷更低;相比于終端設(shè)備上的簡(jiǎn)單模型,這個(gè)方法可以獲得更高的準(zhǔn)確率。此外,由于使用了從終端設(shè)備處理數(shù)據(jù)的方法代替了原始傳輸數(shù)據(jù)的方法,該系統(tǒng)可以更好地保護(hù)個(gè)人隱私。

    此方法通過(guò)使用基于熵的確定標(biāo)準(zhǔn)[12],在神經(jīng)網(wǎng)絡(luò)的早期點(diǎn)對(duì)樣本進(jìn)行分類,稱為早期出口點(diǎn)。如果在一個(gè)早期出口點(diǎn),根據(jù)目標(biāo)類計(jì)算概率向量的熵,認(rèn)為樣本已經(jīng)被可信分類,就不需要由更高的云端神經(jīng)網(wǎng)絡(luò)層進(jìn)行進(jìn)一步的計(jì)算;反之,就將數(shù)據(jù)發(fā)送到云端進(jìn)行進(jìn)一步的推理計(jì)算。當(dāng)出口點(diǎn)被設(shè)置在物理邊界上,如在終端設(shè)備計(jì)算層次結(jié)構(gòu)的最后一個(gè)卷積層上,可以提前分類的輸入樣本將在本地終端上退出,從而降低響應(yīng)延遲。以圖像分類識(shí)別為例,終端利用其上的神經(jīng)網(wǎng)絡(luò)識(shí)別物體圖像,若終端設(shè)備對(duì)圖像分類結(jié)果的一致程度高于某個(gè)閾值,則圖像的分類結(jié)果可以被認(rèn)為是可靠的,終端無(wú)需再向服務(wù)器端發(fā)送數(shù)據(jù),由終端設(shè)備返回最終結(jié)果;若分類結(jié)果的一致程度低于某個(gè)閾值,則終端的分類結(jié)果被認(rèn)為是不可靠的,此時(shí)終端可以將處理后的數(shù)據(jù)發(fā)送至云服務(wù)器做進(jìn)一步計(jì)算。與直接將原始數(shù)據(jù)發(fā)送至云端進(jìn)行處理的方式相比,該方法在本地的終端設(shè)備上處理了大部分的傳感數(shù)據(jù),降低了通訊開(kāi)銷,減少了時(shí)延。

    還可以通過(guò)在終端設(shè)備和云之間的分布式計(jì)算層次中使用邊緣服務(wù)器來(lái)垂直擴(kuò)展。邊緣服務(wù)器的作用與云服務(wù)器相似,都是從終端設(shè)備中獲取輸出,盡可能進(jìn)行聚合和分類,如果需要更多的處理,則將自己的中間輸出轉(zhuǎn)發(fā)給云;在本地正確分類的樣本在沒(méi)有與邊緣或云進(jìn)行任何通信的情況下退出;需要更多特征提取的樣本會(huì)被發(fā)送到邊緣,如果有必要,最終會(huì)被發(fā)送到云。

    2.2 混合深度神經(jīng)網(wǎng)絡(luò)部署

    混合部署是將訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)映射到異構(gòu)物理設(shè)備上,分布在本地終端、邊緣服務(wù)器和云服務(wù)器。深度神經(jīng)網(wǎng)絡(luò)的各個(gè)部分都依賴于一個(gè)共同的深度學(xué)習(xí)框架,但基于不同的物理設(shè)備的分布,神經(jīng)網(wǎng)絡(luò)在不同的物理設(shè)備上進(jìn)行分級(jí)推理計(jì)算。

    全部都基于云的混合分布式神經(jīng)網(wǎng)絡(luò)可以看作是在云中運(yùn)行的標(biāo)準(zhǔn)深度學(xué)習(xí)網(wǎng)絡(luò)。這種情況下,在終端設(shè)備上捕獲的傳感器輸入以原始格式(原始輸入格式)發(fā)送到云,在云中執(zhí)行所有層的深度神經(jīng)網(wǎng)絡(luò)的推斷。

    進(jìn)一步,我們可以用終端設(shè)備執(zhí)行一部分深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算來(lái)取代將原始輸入發(fā)送到云這一操作,將這個(gè)模型擴(kuò)展為一個(gè)包含終端設(shè)備的模型。使用終端設(shè)備推理后的出口點(diǎn),我們可以不通過(guò)云就對(duì)本地網(wǎng)絡(luò)所依賴的樣本進(jìn)行分類。對(duì)于更復(fù)雜的情況,中間的深度神經(jīng)網(wǎng)絡(luò)輸出被發(fā)送到云,在云中使用額外的神經(jīng)網(wǎng)絡(luò)層進(jìn)行進(jìn)一步的推斷,并做出最終的分類決定。中間輸出可以設(shè)計(jì)得比傳感器的原始輸入小得多,因此大大減少了終端設(shè)備和云之間的網(wǎng)絡(luò)開(kāi)銷。

    混合神經(jīng)網(wǎng)絡(luò)的推斷在按物理設(shè)備劃分的階段中使用預(yù)測(cè)出口閾值T作為對(duì)樣本預(yù)測(cè)的置信度的度量。定義T的方法之一是在驗(yàn)證集上搜索T的范圍。我們使用歸一化熵的閾值作為置信條件,來(lái)決定是否在某一特定的出口點(diǎn)完成對(duì)樣本進(jìn)行分類。歸一化熵被定義為:

    其中C是所有可能的標(biāo)簽的集合,x是一個(gè)概率向量。這個(gè)歸一化熵的值在0和1之間,這樣可以更容易地解釋和搜索其對(duì)應(yīng)的閾值T。例如,η接近0表示關(guān)于樣本的預(yù)測(cè)是可信的;η接近1則表示它是不可信的。在出口點(diǎn)計(jì)算出η并與T進(jìn)行比較,以確定是否應(yīng)在該出口點(diǎn)退出。

    在給定的終端設(shè)備出口點(diǎn)上,如果預(yù)測(cè)結(jié)果是不可信的(即η〉T),則系統(tǒng)會(huì)進(jìn)一步進(jìn)入云端執(zhí)行分類操作。一個(gè)混合神經(jīng)網(wǎng)絡(luò)的推理過(guò)程如下:(1)每個(gè)終端設(shè)備首先向本地全連接層發(fā)送摘要信息;

    (2)本地設(shè)備確定摘要信息是否能夠做出準(zhǔn)確的分類;

    (3)如果是,則對(duì)樣本進(jìn)行分類,并直接在終端設(shè)備上完成處理;

    (4)如果不是,則設(shè)備將中間計(jì)算推向云,以便進(jìn)行進(jìn)一步的分類處理,讓云進(jìn)行最終分類決策。

    深度神經(jīng)網(wǎng)絡(luò)中的層級(jí)計(jì)算單元包括卷積層、池化層和全連接層等。在資源受限的終端設(shè)備中部署深度神經(jīng)網(wǎng)絡(luò)的淺層模型,在資源豐富的云端上部署深度神經(jīng)網(wǎng)絡(luò)的高層模型。云端結(jié)合的深度神經(jīng)網(wǎng)絡(luò)部署架構(gòu)如圖1所示。在資源受限的終端設(shè)備中部署時(shí)采用壓縮優(yōu)化的方式,簡(jiǎn)化網(wǎng)絡(luò)模型進(jìn)行權(quán)重等調(diào)整,降低對(duì)設(shè)備的硬件資源需求,以實(shí)現(xiàn)網(wǎng)絡(luò)模型在嵌入式設(shè)備上的高效運(yùn)行。

    圖1 云端結(jié)合的混合部署網(wǎng)絡(luò)

    運(yùn)行在終端的深度神經(jīng)網(wǎng)絡(luò)精簡(jiǎn)模型和運(yùn)行在云端的深度神經(jīng)網(wǎng)絡(luò)原始模型,二者共用同一套淺層網(wǎng)絡(luò)實(shí)現(xiàn)初始的特征提取。原始模型的淺層卷積層權(quán)重可直接遷移至壓縮模型的淺層卷積層,這是因?yàn)闇\層卷積核特征為邊緣、顏色等廣泛存在的基礎(chǔ)特征。云端結(jié)合的部署方法能夠在端快速實(shí)現(xiàn)基礎(chǔ)特征提取,即時(shí)輸出低精度檢測(cè)結(jié)果;然后基于必要性判斷,可將中間結(jié)果傳至云,由云中的復(fù)雜模型處理輸出高精度檢測(cè)結(jié)果。根據(jù)不同精度要求,靈活兼顧實(shí)時(shí)性與通信成本,并提供更好的數(shù)據(jù)隱私保護(hù)。

    3 實(shí)驗(yàn)與分析

    本節(jié)主要展示了利用深度學(xué)習(xí)混合部署方案的性能表現(xiàn)。這里選用基于AlexNet網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的擴(kuò)展深度神經(jīng)網(wǎng)絡(luò),搭建云端結(jié)合的目標(biāo)分類系統(tǒng),用于對(duì)物體圖片進(jìn)行分類。壓縮得到的網(wǎng)絡(luò)模型位于終端設(shè)備上,原始模型位于云端,共享同樣的淺層特征提取網(wǎng)絡(luò)層。在終端設(shè)備上的卷積層有4層,其中conv1層有96個(gè)卷積核,conv2層有256個(gè)卷積核,conv3層有64個(gè)卷積核,conv4層有16個(gè)卷積核。終端設(shè)備的深度神經(jīng)網(wǎng)絡(luò)的分叉出口位于conv2之上。如果終端設(shè)備對(duì)于驗(yàn)證集中的采樣輸入分類結(jié)果的一致性不高,即歸一化熵高于某個(gè)特定的閾值,中間結(jié)果會(huì)繼續(xù)傳輸?shù)皆圃O(shè)備中進(jìn)行進(jìn)一步處理。云設(shè)備的卷積層還有3層,conv3層有322個(gè)卷積核,conv4層有322個(gè)卷積核,conv5層有256個(gè)卷積核。

    終端設(shè)備上的網(wǎng)絡(luò)模型可以視為原始模型的裁剪壓縮。因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)的參數(shù)量與運(yùn)算量主要集中在卷積核與卷積操作,而不同卷積核提取的特征各不相同,故它們并非都適合當(dāng)前任務(wù)。終端設(shè)備上對(duì)卷積核特征剪枝,刪減無(wú)效特征的卷積核,實(shí)現(xiàn)網(wǎng)絡(luò)規(guī)模的壓縮,進(jìn)而減少存儲(chǔ)量與運(yùn)算量。這里采用數(shù)據(jù)驅(qū)使法,利用卷積核特征學(xué)習(xí)極度依賴于輸入圖像的特點(diǎn),來(lái)判斷不同卷積核的偏好,以尋找并刪減冗余的無(wú)效卷積核。依據(jù)不同索引的卷積核對(duì)應(yīng)神經(jīng)元的激活值大小,記錄卷積核的激活次數(shù),認(rèn)為激活次數(shù)少的卷積核對(duì)目標(biāo)數(shù)據(jù)庫(kù)貢獻(xiàn)小或無(wú)貢獻(xiàn),最后將無(wú)貢獻(xiàn)或貢獻(xiàn)小的冗余卷積核進(jìn)行剪除。

    在混合部署方式下需要的存儲(chǔ)量和推理運(yùn)行時(shí)間如表2。

    表2 混合部署方式存儲(chǔ)量和運(yùn)行時(shí)間測(cè)試結(jié)果

    為檢驗(yàn)混合部署中終端出口的閾值門(mén)限的效果,設(shè)置T值從0.1到1.00,測(cè)試得到運(yùn)行結(jié)果見(jiàn)表3。其中T=1.0,意味著所有的驗(yàn)證集采樣都在終端分類時(shí)滿足置信,在終端中即可執(zhí)行網(wǎng)絡(luò)推理運(yùn)算,不用再放入云端處理。T=0.1時(shí),所有的驗(yàn)證集采樣在終端分類不滿足置信條件,需要進(jìn)一步輸入到云設(shè)備中處理。T依次按步長(zhǎng)變化時(shí),會(huì)有不同比例的采樣進(jìn)一步傳輸?shù)皆贫恕H依賴于終端設(shè)備的網(wǎng)絡(luò)推理運(yùn)算,整體分類的精度較低,而隨著云端設(shè)備在推理運(yùn)算中參與的增加,整體分類精度也得到提升。但整個(gè)系統(tǒng)表現(xiàn)并不是線性的,可以看到閾值T=0.8時(shí),總體表現(xiàn)較好,分類精度已經(jīng)達(dá)到95%,而此時(shí)大約60%的采樣在終端設(shè)備上就完成了推理運(yùn)算,約40%的采樣需進(jìn)一步傳輸?shù)皆圃O(shè)備上進(jìn)行推理運(yùn)算。

    表3 不同閾值下的混合網(wǎng)絡(luò)比較

    在神經(jīng)網(wǎng)絡(luò)的早期點(diǎn)對(duì)樣本進(jìn)行基于熵的表現(xiàn)標(biāo)準(zhǔn)分類為T(mén)eerapittayanon S等在論文[12]中提出。不同于Teerapittayanon S等在論文[12]中提到的混合式神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程,本方法僅在推理階段基于熵的表現(xiàn)標(biāo)準(zhǔn)進(jìn)行神經(jīng)網(wǎng)絡(luò)的云端混合部署,訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)可預(yù)先采用壓縮等方式部署在終端,不必進(jìn)行復(fù)雜的訓(xùn)練流程,相對(duì)更為簡(jiǎn)單。

    4 結(jié)語(yǔ)

    在物聯(lián)網(wǎng)等終端設(shè)備中應(yīng)用深度神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)低時(shí)延和高效的數(shù)據(jù)分析,但受限于終端設(shè)備的內(nèi)存和能耗,需要對(duì)設(shè)備所要求的模型精度和能耗進(jìn)行約束。本文提出的混合分布式深度神經(jīng)網(wǎng)絡(luò)部署方式,運(yùn)行在終端的深度神經(jīng)網(wǎng)絡(luò)精簡(jiǎn)模型與運(yùn)行在云端上的深度神經(jīng)網(wǎng)絡(luò)復(fù)雜模型相結(jié)合,二者共用同一套淺層網(wǎng)絡(luò)實(shí)現(xiàn)初始的特征提取。在終端快速實(shí)現(xiàn)基礎(chǔ)特征提取,然后基于置信度的可靠性判斷,在分類結(jié)果一致性不滿足要求時(shí),將中間結(jié)果進(jìn)一步傳至云,云上的復(fù)雜模型處理后輸出高精度檢測(cè)結(jié)果。此種混合方式靈活兼顧實(shí)時(shí)性與系統(tǒng)開(kāi)銷,并提供更好的數(shù)據(jù)隱私保護(hù)。

    猜你喜歡
    分類深度模型
    一半模型
    分類算一算
    深度理解一元一次方程
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    分類討論求坐標(biāo)
    深度觀察
    深度觀察
    深度觀察
    數(shù)據(jù)分析中的分類討論
    国产乱人视频| 亚洲伊人久久精品综合| 十分钟在线观看高清视频www | 一级毛片 在线播放| 成人18禁高潮啪啪吃奶动态图 | 我的女老师完整版在线观看| 国产精品女同一区二区软件| 亚洲精品第二区| 亚洲人成网站高清观看| 黑丝袜美女国产一区| 在线观看av片永久免费下载| av免费在线看不卡| 国产精品久久久久久av不卡| 香蕉精品网在线| 少妇精品久久久久久久| 在线天堂最新版资源| 一区在线观看完整版| 国产国拍精品亚洲av在线观看| 王馨瑶露胸无遮挡在线观看| 久久精品国产亚洲网站| 人人妻人人看人人澡| 全区人妻精品视频| 一级毛片 在线播放| 久久 成人 亚洲| a 毛片基地| 久久久久久人妻| 伦精品一区二区三区| 成人毛片60女人毛片免费| 色婷婷av一区二区三区视频| 大片免费播放器 马上看| 建设人人有责人人尽责人人享有的 | 熟妇人妻不卡中文字幕| 人人妻人人看人人澡| 我的老师免费观看完整版| 久久99热这里只有精品18| 国产高清国产精品国产三级 | 亚洲精品久久久久久婷婷小说| 高清日韩中文字幕在线| 欧美xxxx黑人xx丫x性爽| 一本—道久久a久久精品蜜桃钙片| 少妇裸体淫交视频免费看高清| 国产美女午夜福利| 老师上课跳d突然被开到最大视频| 日韩国内少妇激情av| 汤姆久久久久久久影院中文字幕| 亚洲欧洲日产国产| 亚洲人与动物交配视频| 80岁老熟妇乱子伦牲交| 亚洲一区二区三区欧美精品| 国产亚洲最大av| 男男h啪啪无遮挡| 久热久热在线精品观看| 人妻一区二区av| 中文字幕av成人在线电影| av免费在线看不卡| 国模一区二区三区四区视频| 精品亚洲成a人片在线观看 | 亚洲精品成人av观看孕妇| 又爽又黄a免费视频| 精品酒店卫生间| 国产一区二区三区av在线| 一级毛片电影观看| 三级国产精品片| 小蜜桃在线观看免费完整版高清| 亚洲一区二区三区欧美精品| 18禁在线播放成人免费| 晚上一个人看的免费电影| 久久av网站| 亚洲精品自拍成人| 舔av片在线| 午夜激情福利司机影院| 91精品一卡2卡3卡4卡| 久久精品人妻少妇| 国国产精品蜜臀av免费| 秋霞在线观看毛片| av视频免费观看在线观看| 男的添女的下面高潮视频| 日韩中文字幕视频在线看片 | 国产极品天堂在线| 一级毛片久久久久久久久女| 久久99热6这里只有精品| 成人午夜精彩视频在线观看| 亚洲精品日韩在线中文字幕| 免费av中文字幕在线| av女优亚洲男人天堂| 亚洲国产毛片av蜜桃av| .国产精品久久| 一区二区av电影网| 啦啦啦视频在线资源免费观看| 一级av片app| 国产伦在线观看视频一区| 2022亚洲国产成人精品| 深爱激情五月婷婷| 久久久久久久大尺度免费视频| 欧美高清成人免费视频www| 我的老师免费观看完整版| www.色视频.com| 国产欧美另类精品又又久久亚洲欧美| 国产精品熟女久久久久浪| 久久久久精品性色| 80岁老熟妇乱子伦牲交| 亚洲精品乱码久久久久久按摩| 国国产精品蜜臀av免费| 青春草国产在线视频| 在线观看免费视频网站a站| 国产免费一级a男人的天堂| 日韩中文字幕视频在线看片 | 日本av免费视频播放| 欧美一区二区亚洲| 嘟嘟电影网在线观看| 国产在线视频一区二区| 精品国产乱码久久久久久小说| 久久久久久久精品精品| 直男gayav资源| 免费av不卡在线播放| 久久99热这里只有精品18| 欧美日韩国产mv在线观看视频 | 国产精品爽爽va在线观看网站| 最近2019中文字幕mv第一页| 高清视频免费观看一区二区| 美女主播在线视频| 久久午夜福利片| 久久久久久久久久久丰满| 99国产精品免费福利视频| 日本黄大片高清| 啦啦啦啦在线视频资源| 国产高清有码在线观看视频| 高清不卡的av网站| 亚洲,一卡二卡三卡| 天天躁日日操中文字幕| 在线 av 中文字幕| 国产人妻一区二区三区在| 国产一级毛片在线| 久久久久久久久久久丰满| 男女无遮挡免费网站观看| 国产成人午夜福利电影在线观看| 国产在线男女| 久久鲁丝午夜福利片| 日本黄大片高清| 少妇被粗大猛烈的视频| 有码 亚洲区| 在线观看免费高清a一片| 国产亚洲精品久久久com| 国产精品伦人一区二区| 精品一区二区三卡| 国产精品.久久久| 久久精品人妻少妇| 亚洲精品乱久久久久久| 插阴视频在线观看视频| 日韩欧美一区视频在线观看 | 亚洲av男天堂| 99热6这里只有精品| 久久亚洲国产成人精品v| 亚洲美女黄色视频免费看| 天堂8中文在线网| 中文字幕亚洲精品专区| 日本-黄色视频高清免费观看| 午夜激情久久久久久久| a级毛色黄片| 亚洲中文av在线| 精品国产三级普通话版| 热99国产精品久久久久久7| 精品亚洲成a人片在线观看 | 欧美成人午夜免费资源| av黄色大香蕉| 九色成人免费人妻av| 午夜激情久久久久久久| 免费大片18禁| av国产久精品久网站免费入址| 国产美女午夜福利| 国产日韩欧美亚洲二区| 国产日韩欧美在线精品| 夜夜爽夜夜爽视频| 又爽又黄a免费视频| 91狼人影院| av.在线天堂| 久久精品久久久久久噜噜老黄| 国产精品爽爽va在线观看网站| 免费观看的影片在线观看| 久久精品久久久久久久性| 国产淫语在线视频| 亚洲经典国产精华液单| 亚洲av国产av综合av卡| 日韩三级伦理在线观看| av卡一久久| 欧美丝袜亚洲另类| 欧美激情极品国产一区二区三区 | 啦啦啦啦在线视频资源| 寂寞人妻少妇视频99o| 免费av中文字幕在线| 青春草国产在线视频| 伦理电影大哥的女人| 免费不卡的大黄色大毛片视频在线观看| 欧美精品亚洲一区二区| 欧美最新免费一区二区三区| 精品久久久久久久久av| 国产精品蜜桃在线观看| 亚洲av日韩在线播放| 国产综合精华液| 亚洲精品乱码久久久v下载方式| 欧美日韩一区二区视频在线观看视频在线| 亚洲精品国产成人久久av| 狂野欧美激情性bbbbbb| 成人高潮视频无遮挡免费网站| 免费不卡的大黄色大毛片视频在线观看| 久久精品夜色国产| av福利片在线观看| 国产精品欧美亚洲77777| 欧美丝袜亚洲另类| 纵有疾风起免费观看全集完整版| 久久97久久精品| 国产日韩欧美在线精品| 五月伊人婷婷丁香| 午夜激情福利司机影院| 在线天堂最新版资源| 国产精品爽爽va在线观看网站| 中文字幕制服av| 国产免费福利视频在线观看| 亚洲色图综合在线观看| 成人一区二区视频在线观看| 亚洲国产av新网站| 欧美精品亚洲一区二区| 九九在线视频观看精品| 国产精品精品国产色婷婷| 欧美成人午夜免费资源| 亚洲真实伦在线观看| 国产免费一区二区三区四区乱码| 伦精品一区二区三区| 99热网站在线观看| 99热全是精品| 人体艺术视频欧美日本| 啦啦啦中文免费视频观看日本| 精品亚洲成国产av| 亚洲精品日韩av片在线观看| 狂野欧美激情性bbbbbb| 国产有黄有色有爽视频| 日本av手机在线免费观看| 最近最新中文字幕大全电影3| 国内少妇人妻偷人精品xxx网站| 国产免费视频播放在线视频| 日韩在线高清观看一区二区三区| 一本—道久久a久久精品蜜桃钙片| 人妻系列 视频| 国产精品一区二区在线观看99| 97在线视频观看| 久久久久久久久久久丰满| 男人舔奶头视频| 亚洲高清免费不卡视频| 老女人水多毛片| av天堂中文字幕网| 在线观看av片永久免费下载| 欧美日韩视频精品一区| 青春草亚洲视频在线观看| 黄色视频在线播放观看不卡| 一级av片app| 欧美日本视频| 久久精品人妻少妇| 我的女老师完整版在线观看| 99久久精品国产国产毛片| 大又大粗又爽又黄少妇毛片口| 国产爱豆传媒在线观看| 日本猛色少妇xxxxx猛交久久| 亚洲人与动物交配视频| 亚洲久久久国产精品| 亚洲成人中文字幕在线播放| 久久久久久久精品精品| 如何舔出高潮| 欧美最新免费一区二区三区| 观看av在线不卡| 亚洲,一卡二卡三卡| 99热6这里只有精品| 亚洲性久久影院| 少妇人妻一区二区三区视频| 国产黄片视频在线免费观看| 狠狠精品人妻久久久久久综合| www.av在线官网国产| 亚洲熟女精品中文字幕| 国产免费视频播放在线视频| 晚上一个人看的免费电影| 麻豆成人av视频| 国产精品无大码| 亚洲aⅴ乱码一区二区在线播放| 久久久久久久大尺度免费视频| 日韩国内少妇激情av| 国产精品人妻久久久影院| 在线观看免费高清a一片| 狠狠精品人妻久久久久久综合| 久久女婷五月综合色啪小说| 国产精品秋霞免费鲁丝片| 国精品久久久久久国模美| 国产精品久久久久久精品电影小说 | 成人毛片60女人毛片免费| 永久免费av网站大全| 日韩中字成人| 亚州av有码| 18禁在线播放成人免费| 综合色丁香网| 精品久久久久久久末码| 国产精品久久久久久久久免| 人人妻人人爽人人添夜夜欢视频 | 嫩草影院入口| 久久精品国产鲁丝片午夜精品| 在线精品无人区一区二区三 | 国产高清国产精品国产三级 | 国产色爽女视频免费观看| 亚洲第一av免费看| 内射极品少妇av片p| 黄色配什么色好看| 永久免费av网站大全| 少妇人妻一区二区三区视频| 成人黄色视频免费在线看| 精华霜和精华液先用哪个| 精品人妻视频免费看| 一级毛片 在线播放| 2018国产大陆天天弄谢| 人人妻人人添人人爽欧美一区卜 | 日韩成人av中文字幕在线观看| 能在线免费看毛片的网站| 成人二区视频| 青春草视频在线免费观看| 一个人看视频在线观看www免费| 日本黄大片高清| 中文欧美无线码| 国产伦精品一区二区三区视频9| 国产精品国产三级国产av玫瑰| 国国产精品蜜臀av免费| 国产黄片视频在线免费观看| 视频中文字幕在线观看| 视频中文字幕在线观看| 狂野欧美激情性xxxx在线观看| 麻豆成人午夜福利视频| 久久久久久人妻| 国产在线男女| 国产成人午夜福利电影在线观看| 欧美最新免费一区二区三区| 欧美精品人与动牲交sv欧美| www.色视频.com| 亚洲精品色激情综合| 日日摸夜夜添夜夜爱| 国产中年淑女户外野战色| 中文字幕制服av| 国产精品.久久久| 高清日韩中文字幕在线| 久久青草综合色| 国产人妻一区二区三区在| 国产高清三级在线| 欧美老熟妇乱子伦牲交| 欧美三级亚洲精品| 日韩不卡一区二区三区视频在线| 成人影院久久| 在现免费观看毛片| 又黄又爽又刺激的免费视频.| 色网站视频免费| 亚洲精品久久久久久婷婷小说| 18禁裸乳无遮挡动漫免费视频| 午夜福利视频精品| 蜜桃久久精品国产亚洲av| 久久久欧美国产精品| 女性生殖器流出的白浆| 制服丝袜香蕉在线| 99久久中文字幕三级久久日本| 人妻系列 视频| 少妇的逼水好多| 欧美日韩视频精品一区| 国产男女内射视频| 成人无遮挡网站| 联通29元200g的流量卡| 欧美日韩综合久久久久久| 精品国产乱码久久久久久小说| 少妇裸体淫交视频免费看高清| 日日啪夜夜爽| 亚洲最大成人中文| 男女边摸边吃奶| 高清日韩中文字幕在线| 最近2019中文字幕mv第一页| 联通29元200g的流量卡| 高清午夜精品一区二区三区| av又黄又爽大尺度在线免费看| 国模一区二区三区四区视频| 欧美3d第一页| 亚洲丝袜综合中文字幕| 肉色欧美久久久久久久蜜桃| 少妇人妻久久综合中文| 少妇裸体淫交视频免费看高清| 国产精品99久久99久久久不卡 | 亚洲av日韩在线播放| 国产成人免费观看mmmm| 卡戴珊不雅视频在线播放| 极品教师在线视频| 色5月婷婷丁香| 身体一侧抽搐| 99久久精品热视频| 91精品国产国语对白视频| 免费观看无遮挡的男女| 免费在线观看成人毛片| 久久精品熟女亚洲av麻豆精品| 免费观看av网站的网址| 日韩制服骚丝袜av| 亚洲婷婷狠狠爱综合网| 极品教师在线视频| 免费看光身美女| 久久精品人妻少妇| 男男h啪啪无遮挡| 九九爱精品视频在线观看| 肉色欧美久久久久久久蜜桃| 啦啦啦中文免费视频观看日本| 秋霞伦理黄片| 噜噜噜噜噜久久久久久91| 伊人久久国产一区二区| 性高湖久久久久久久久免费观看| 欧美成人a在线观看| 最近中文字幕2019免费版| 免费观看的影片在线观看| 尾随美女入室| 美女福利国产在线 | freevideosex欧美| 亚洲欧美日韩另类电影网站 | 亚洲中文av在线| 人体艺术视频欧美日本| 亚洲国产av新网站| 日本爱情动作片www.在线观看| 久热久热在线精品观看| 大又大粗又爽又黄少妇毛片口| 欧美激情极品国产一区二区三区 | 日本欧美国产在线视频| 欧美97在线视频| 国产一区二区在线观看日韩| 国精品久久久久久国模美| 国产久久久一区二区三区| 国产av码专区亚洲av| 男女下面进入的视频免费午夜| 久久 成人 亚洲| 免费黄网站久久成人精品| 大香蕉久久网| 最新中文字幕久久久久| 亚洲国产精品一区三区| 乱系列少妇在线播放| 内射极品少妇av片p| 国产亚洲最大av| 精品一区二区三卡| 日日啪夜夜撸| 国产精品女同一区二区软件| 久久久精品免费免费高清| 精品视频人人做人人爽| 亚洲伊人久久精品综合| 国产色婷婷99| 国产一区亚洲一区在线观看| 午夜精品国产一区二区电影| 久久久久视频综合| 又爽又黄a免费视频| 日本与韩国留学比较| 国产白丝娇喘喷水9色精品| 91久久精品国产一区二区三区| 成人午夜精彩视频在线观看| 国产亚洲欧美精品永久| 午夜精品国产一区二区电影| 少妇被粗大猛烈的视频| 老师上课跳d突然被开到最大视频| 婷婷色综合大香蕉| 国产精品一二三区在线看| 国产 一区精品| 少妇 在线观看| 亚洲欧美精品自产自拍| 日日啪夜夜爽| 亚洲第一区二区三区不卡| 人人妻人人添人人爽欧美一区卜 | 国产精品福利在线免费观看| a级毛色黄片| 交换朋友夫妻互换小说| 王馨瑶露胸无遮挡在线观看| 女性生殖器流出的白浆| 国产高清有码在线观看视频| 精品熟女少妇av免费看| 青春草国产在线视频| 精品国产三级普通话版| 男女无遮挡免费网站观看| 搡老乐熟女国产| 国产欧美日韩精品一区二区| 校园人妻丝袜中文字幕| av.在线天堂| 成人无遮挡网站| 久久久久国产网址| 久久久色成人| 亚洲欧美一区二区三区黑人 | 我的老师免费观看完整版| 色婷婷久久久亚洲欧美| 美女脱内裤让男人舔精品视频| 国产成人免费无遮挡视频| 久久亚洲国产成人精品v| 哪个播放器可以免费观看大片| 水蜜桃什么品种好| 五月开心婷婷网| 亚洲激情五月婷婷啪啪| 中文字幕精品免费在线观看视频 | 性色avwww在线观看| 直男gayav资源| 老司机影院毛片| 久久国产亚洲av麻豆专区| 高清毛片免费看| 国产精品国产三级专区第一集| 国产人妻一区二区三区在| 97超碰精品成人国产| 久久99蜜桃精品久久| 国精品久久久久久国模美| 免费看光身美女| 国产亚洲欧美精品永久| 午夜激情福利司机影院| 99re6热这里在线精品视频| 亚洲美女视频黄频| 一区二区三区四区激情视频| 国产免费又黄又爽又色| 边亲边吃奶的免费视频| 亚洲欧洲日产国产| 免费在线观看成人毛片| 看免费成人av毛片| 国产成人免费观看mmmm| 亚洲精品成人av观看孕妇| 国产精品.久久久| 国产精品爽爽va在线观看网站| 久久精品熟女亚洲av麻豆精品| 亚洲激情五月婷婷啪啪| 91久久精品国产一区二区成人| 免费少妇av软件| 一区二区三区精品91| av卡一久久| 成人一区二区视频在线观看| 交换朋友夫妻互换小说| 日日摸夜夜添夜夜爱| 亚洲av中文字字幕乱码综合| 五月伊人婷婷丁香| a 毛片基地| 五月开心婷婷网| 大片电影免费在线观看免费| 麻豆精品久久久久久蜜桃| 国产免费一级a男人的天堂| 青春草国产在线视频| 亚洲欧美日韩无卡精品| 亚洲国产色片| 纵有疾风起免费观看全集完整版| 青春草亚洲视频在线观看| 在线亚洲精品国产二区图片欧美 | 观看免费一级毛片| .国产精品久久| 国国产精品蜜臀av免费| 欧美变态另类bdsm刘玥| 精品一区二区免费观看| 香蕉精品网在线| 国产成人精品福利久久| 亚洲内射少妇av| 午夜精品国产一区二区电影| 久久精品国产自在天天线| 在线免费观看不下载黄p国产| 亚洲精品日韩在线中文字幕| 国语对白做爰xxxⅹ性视频网站| 久久久久久久久久成人| 最近中文字幕高清免费大全6| 久久精品熟女亚洲av麻豆精品| 欧美bdsm另类| 国产91av在线免费观看| 国产亚洲5aaaaa淫片| 国产精品一区www在线观看| 久久女婷五月综合色啪小说| 青春草亚洲视频在线观看| 国产精品麻豆人妻色哟哟久久| 精品久久久久久久久亚洲| 亚洲人成网站在线播| av播播在线观看一区| 青春草国产在线视频| 亚洲欧美精品专区久久| 国产91av在线免费观看| av又黄又爽大尺度在线免费看| 人妻 亚洲 视频| 2018国产大陆天天弄谢| 国产精品一区二区在线观看99| 午夜福利影视在线免费观看| 免费观看a级毛片全部| 麻豆成人午夜福利视频| 22中文网久久字幕| 国产69精品久久久久777片| 夫妻性生交免费视频一级片| a级毛色黄片| 观看av在线不卡| 国产在线男女| 超碰av人人做人人爽久久| 久久人妻熟女aⅴ| 亚洲va在线va天堂va国产| 波野结衣二区三区在线| 高清欧美精品videossex| 国产av码专区亚洲av| 91精品国产九色| 99久久精品热视频| 麻豆成人av视频| 卡戴珊不雅视频在线播放| 久久精品人妻少妇| 午夜精品国产一区二区电影| 噜噜噜噜噜久久久久久91| 国产成人freesex在线| 亚洲欧美日韩卡通动漫| 午夜福利在线在线| 久热久热在线精品观看| 激情五月婷婷亚洲| 99国产精品免费福利视频| 国产美女午夜福利| 欧美精品一区二区免费开放| 在线观看免费视频网站a站| 亚洲国产精品一区三区| 亚洲精品aⅴ在线观看| 国产乱来视频区| 亚洲自偷自拍三级| 国产午夜精品一二区理论片| 夫妻午夜视频| 伦精品一区二区三区| 插阴视频在线观看视频| 男女啪啪激烈高潮av片| 国产亚洲av片在线观看秒播厂|