• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向多姿態(tài)點(diǎn)云目標(biāo)的在線類增量學(xué)習(xí)

    2023-11-18 12:13:02張潤江郭杰龍王希豪
    液晶與顯示 2023年11期
    關(guān)鍵詞:災(zāi)難性姿態(tài)準(zhǔn)確率

    張潤江,郭杰龍,俞 輝,蘭 海,王希豪,魏 憲*

    (1.福州大學(xué) 電氣工程與自動(dòng)化學(xué)院,福建 福州 350108;2.中國科學(xué)院 福建物質(zhì)結(jié)構(gòu)研究所,福建 福州 350002;3.中國科學(xué)院 海西研究院 泉州裝備制造研究中心,福建 泉州 362000)

    1 引 言

    深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)已經(jīng)在許多機(jī)器學(xué)習(xí)任務(wù)中取得了巨大的成功[1-3],這些任務(wù)都是基于獨(dú)立同分布(Independent Identically Distributed,IID)數(shù)據(jù)。這一設(shè)定違反了實(shí)際應(yīng)用中所面臨的非平穩(wěn)數(shù)據(jù)分布,如自動(dòng)駕駛、智能對話系統(tǒng)、智慧醫(yī)療和其他實(shí)時(shí)應(yīng)用。面對非IID 數(shù)據(jù),當(dāng)DNN 對新任務(wù)進(jìn)行再訓(xùn)練時(shí),神經(jīng)網(wǎng)絡(luò)在過去任務(wù)中的性能表現(xiàn)會(huì)迅速下降,這被稱為災(zāi)難性遺忘[4]。增量學(xué)習(xí)(Incremental Learning,IL)[5]的出現(xiàn) 使DNN 能夠在 學(xué)習(xí)新知識(shí)的同時(shí)保留先前獲得的知識(shí),使模型具有可塑性-穩(wěn)定性[6]。

    傳統(tǒng)的增量學(xué)習(xí)大都是以離線的方式訓(xùn)練模型,即通過重復(fù)訓(xùn)練多批次當(dāng)前任務(wù)的數(shù)據(jù)來增加模型的擬合效果。然而,由于隱私問題或者內(nèi)存限制,離線的設(shè)定不再適用。本文考慮了一項(xiàng)具有挑戰(zhàn)性的單次數(shù)據(jù)流任務(wù),即在線類增量學(xué) 習(xí)(Online Class-Incremental Learning,OCIL)[7]。OCIL 限制每個(gè)訓(xùn)練任務(wù)的樣本流只能看到一次,并且是非IID 的。

    以往IL 和OCIL 的研究對象都是具有固定姿態(tài)的樣本流,即每個(gè)樣本都預(yù)先進(jìn)行了矯正。這種設(shè)定對自動(dòng)駕駛等實(shí)時(shí)應(yīng)用是不負(fù)責(zé)任的,它們在真實(shí)情況中所面臨的數(shù)據(jù)流是各個(gè)姿態(tài)的,即樣本特征存在平移、旋轉(zhuǎn)對稱變換[8]。常用的數(shù)據(jù)擴(kuò)充方法[9]在面對OCIL 這種單次數(shù)據(jù)流時(shí)也變得不再適用,特別是3D 目標(biāo)姿態(tài)的高復(fù)雜性對網(wǎng)絡(luò)提出了更嚴(yán)格的要求。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只具有平移等變性[10]而不具備旋轉(zhuǎn)等變性。在IL 任務(wù)中,除了新任務(wù)帶來的影響外,造成遺忘的另一個(gè)重要原因是網(wǎng)絡(luò)沒能提取到目標(biāo)足夠的幾何信息,而更多地關(guān)注到了一些無關(guān)特征,如固定的位置信息而不是目標(biāo)本身之間的結(jié)構(gòu)信息。保證遺忘率盡可能低首先要保證能夠?qū)W到更豐富的幾何特征,為此,我們基于李群引入旋轉(zhuǎn)等變機(jī)制[11-13]降低網(wǎng)絡(luò)受目標(biāo)姿態(tài)的影響。同時(shí),使用點(diǎn)云數(shù)據(jù)以坐標(biāo)和特征值的形式出現(xiàn),即,此設(shè)定可以方便網(wǎng)絡(luò)提取目標(biāo)的幾何信息,且通用于2D 和3D 的數(shù)據(jù)。

    常見的類增量學(xué)習(xí)方法大致分為3 大類:參數(shù)隔離方法[14-16]、正則化方法[17-19]和記憶重放方法[20-22]。參數(shù)隔離方法是通過擴(kuò)展網(wǎng)絡(luò)模型為代價(jià)提高網(wǎng)絡(luò)的可塑性,以適應(yīng)新的學(xué)習(xí)任務(wù)。隨著新類別的增加,該方法將會(huì)導(dǎo)致參數(shù)量線性增長,從而變得不可持續(xù)。正則化方法通過添加正則項(xiàng),在學(xué)習(xí)新的別類時(shí)約束參數(shù)的更新方向來避免災(zāi)難性遺忘。但正則化通常以犧牲可塑性為代價(jià),不僅會(huì)降低對新知識(shí)的接納程度,還增加了先前知識(shí)的遺忘率,往往表現(xiàn)不佳[23]。相比之下,記憶重放的方法已經(jīng)比較成熟,將舊任務(wù)數(shù)據(jù)流中的少量樣本存儲(chǔ)在存儲(chǔ)器中,并在新任務(wù)的訓(xùn)練中重放它們。該方法在許多具有挑戰(zhàn)性的場景中都具有最優(yōu)的表現(xiàn),在IL 中發(fā)揮著關(guān)鍵的作用。本文在研究中采用基于記憶重放的方法。

    基于以上問題,本文提出無視姿態(tài)重放方法,主要工作有:

    (1)考慮更符合現(xiàn)實(shí)情況的復(fù)雜設(shè)定,即面向多姿態(tài)目標(biāo)的在線類增量學(xué)習(xí)。

    (2)提出一個(gè)通用于2D 和3D 數(shù)據(jù)的OCIL模型?;诶钊阂胄D(zhuǎn)平移等變機(jī)制,使網(wǎng)絡(luò)能夠提取更豐富的幾何信息,減弱目標(biāo)姿態(tài)的影響,從而緩解災(zāi)難性遺忘。

    (3)提出基于損失變化的記憶重放策略,在圖像分類基準(zhǔn)數(shù)據(jù)集MNIST、RotMNIST、CIFAR-10 和trCIFAR-10,3D 點(diǎn)云基準(zhǔn)數(shù)據(jù)集ModelNet40 和trModelNet40 上進(jìn)行了實(shí)驗(yàn)。本文方法在目標(biāo)多姿態(tài)的設(shè)定下顯著優(yōu)于對比方法。

    2 相關(guān)基礎(chǔ)

    2.1 類增量學(xué)習(xí)

    一般情況下,類增量學(xué)習(xí)是涉及T個(gè)任務(wù)的順序?qū)W習(xí),這些任務(wù)由不同的類集組成,在不同學(xué)習(xí)階段逐漸增加,且須在任何一個(gè)訓(xùn)練任務(wù)t中對前t-1 個(gè)任務(wù)中所看到過的類能夠準(zhǔn)確分類[24-27],可以按以下方式設(shè)定:

    其中:C表示所有類別的集合;Tt表示C中分配給任務(wù)t的子集,其由分配函數(shù)Ψ決定表示類別c的樣本集;則表示任務(wù)t的樣本集,且=?。值得注意的是,不同類別c的樣本集數(shù)量Mc可以相同也可以不同,本文考慮Mc相同情況下的場景。

    2.2 等變性和不變性

    等變性:當(dāng)一個(gè)函數(shù)f:X→Y的定義域X被對稱群G作用,然后計(jì)算函數(shù)f所得到的結(jié)果等同于先計(jì)算函數(shù)f,然后計(jì)算應(yīng)用群G作用得到的結(jié)果一樣時(shí),我們稱函數(shù)f關(guān)于變換G是等變的,如公式(2)所示:

    其中,g∈G是對稱群G的一個(gè)群元素。

    不變性:同理,當(dāng)一個(gè)函數(shù)f:X→Y的定義域X被對稱群G作用,然后計(jì)算函數(shù)f所得到的結(jié)果同直接計(jì)算函數(shù)f得到的結(jié)果一樣時(shí),我們稱函數(shù)f關(guān)于變換G是不變的,如公式(3)所示:

    在分類任務(wù)中,我們期待的是對輸入進(jìn)行任何對稱變換,最終得到的結(jié)果不發(fā)生變化,即不變性。通常的解決辦法是將具有不變性的函數(shù)f與等變函數(shù)fk組合在一起,最終達(dá)到不變性。證明過程如式(4)所示[28]:

    其中:群表示π1,…,πK分別作用于函數(shù)f1,…,fK上,且fk關(guān) 于πk,πk-1等 變,即fk°πk-1=πk°fk,k∈{1,2,…,K},函數(shù)f關(guān)于πk不變,即f°πk=f,因此f°fK°…°f1是不變函數(shù)。

    群等變:深度學(xué)習(xí)中最常見的等變是卷積層的平移等變性,即Lt f(x)=f(x+t),然而卻不具備旋轉(zhuǎn)等變性,即Lr f(x)≠f(r°x)。為了能處理多姿態(tài)數(shù)據(jù),最初的辦法是數(shù)據(jù)擴(kuò)充[29-30]。2016 年,文獻(xiàn)[8]基于p4 群和p4m 群首次提出了具有旋轉(zhuǎn)對稱性的群等變卷積神經(jīng)網(wǎng)絡(luò)。從此,關(guān)于群等變性的研究吸引了許多學(xué)者的注意。例如文獻(xiàn)[11,31-32]提出基于SO(3)的三維旋轉(zhuǎn)群,文獻(xiàn)[33-34]提出基于SE(d)的平移旋轉(zhuǎn)群,文獻(xiàn)[35]提出基于R*×T(2)的平移放縮群等。

    2.3 點(diǎn)卷積

    本文使用通用于圖像和點(diǎn)云的點(diǎn)卷積網(wǎng)絡(luò)[36-37],其定義如公式(5)所示:

    其中:gθ:Rd→為卷積濾波器,f(·):Rd→為輸入特征圖,h(·):Rd→為輸出。

    離散化后如公式(6)所示:

    其中:V為積分空間體積,n為正交點(diǎn)的數(shù)量。在例如圖像的3×3 卷積層中,gθ對每個(gè)落在3×3網(wǎng)格上的點(diǎn):(-1,-1),(-1,0),…,(1,1)都有獨(dú)立的參數(shù)。

    3 無視姿態(tài)重放的在線類增量學(xué)習(xí)

    我們考慮一個(gè)單次數(shù)據(jù)流的類增量場景,它模擬了一個(gè)實(shí)際的設(shè)置,模型必須對每個(gè)傳入的示例執(zhí)行在線更新,而無需重復(fù)多次訓(xùn)練。在每個(gè)任務(wù)t到來時(shí),系統(tǒng)從數(shù)據(jù)流中接收一組新的樣本:其 中,bs 為每組 的樣本 個(gè)數(shù),xi為原輸入樣本,yi為樣本的標(biāo)簽??紤]到目標(biāo)的多姿態(tài)時(shí),其輸入表示為Tg xi,意為原樣本發(fā)生幾何變換(旋轉(zhuǎn)、平移)后的結(jié)果;g為SE(d)(d=2,3)群的一個(gè)群元素,是對應(yīng)幾何變換的群表示。

    模型結(jié)構(gòu)如圖1 所示,主要包含兩部分:(1)可以提取豐富的幾何特征的分類器θ;(2)基于損失變化的記憶重放。

    圖1 模型結(jié)構(gòu)圖Fig.1 Model structure diagram

    3.1 具有多姿態(tài)識(shí)別能力的分類器θ

    為了降低OCIL 任務(wù)中網(wǎng)絡(luò)受目標(biāo)姿態(tài)的影響,同時(shí)提取更豐富的幾何特征,減少災(zāi)難性遺忘,我們提出具有抗旋轉(zhuǎn)平移幾何變換能力的分類器,即圖1 中的θ。分類器為在骨干網(wǎng)絡(luò)PointNet++[38]上進(jìn)行的改造,主要加入3 部分:點(diǎn)云化處理、群等變點(diǎn)卷積層和群全局池化層。

    點(diǎn)云化處理負(fù)責(zé)將原輸入轉(zhuǎn)換成點(diǎn)云數(shù)據(jù),其過程如公式(7)所示:

    其中:x是原始輸入,當(dāng)輸入是圖像數(shù)據(jù)時(shí)d=2,當(dāng)輸入是3D 數(shù)據(jù)時(shí)d=3;y是原始輸入映射到高維空間后的點(diǎn)云化結(jié)果,即,xi是點(diǎn)云坐標(biāo),其原點(diǎn)為輸入樣本的幾何中心,fi為每個(gè)點(diǎn)所對應(yīng)的特征值。例如,在CIFAR-10 數(shù)據(jù)集中,xi為(-16,16),(-15,16),…,(16,-16),對應(yīng)原樣本圖片從左上角到右下角的坐標(biāo);fi是為原樣本圖片從左上角到右下角每個(gè)像素點(diǎn)所對應(yīng)的特征值。點(diǎn)云化處理后的高維信息同時(shí)包含了幾何位置和每個(gè)點(diǎn)的特征信息,使得數(shù)據(jù)特征更加豐富,從而能夠更好地提取幾何特征。

    群等變點(diǎn)卷積層負(fù)責(zé)對網(wǎng)絡(luò)進(jìn)行平移旋轉(zhuǎn)等變性改進(jìn)。將點(diǎn)云化信息映射到更高維的空間以提取特征,是使網(wǎng)絡(luò)抗旋轉(zhuǎn)平移幾何變換的關(guān)鍵,其定義由公式(8)和公式(9)給出:

    其 中:g∈SE(d),d=2 適用于xi∈R2,d=3 適用 于xi∈R3,{ui∈SE(d):u0=x},ni=|nbhd(i)|為每個(gè)點(diǎn)鄰域中的點(diǎn)數(shù)。公式(8)只適用于點(diǎn)卷積的第一層,其將輸入從歐式空間映射到了SE(d)所在的李代數(shù)空間,即:Z2?SE(d);公式(9)適用于除第一層以外的所有點(diǎn)卷積層,其在李代數(shù)空間進(jìn)行映射,即SE(d)?SE(d)。值得注意的是,在考慮姿態(tài)的在線類增量學(xué)習(xí)設(shè)定下,xi在不同時(shí)刻表現(xiàn)為不同的Tg xi,即同一個(gè)樣本每次出現(xiàn)都會(huì)表現(xiàn)為不同的姿態(tài)(發(fā)生了不同的平移和旋轉(zhuǎn))。另外,由于SE(d)群是連續(xù)群,并不能窮舉g的所有的情況,我們使用哈爾測度μ進(jìn)行均勻采樣。

    點(diǎn)云化處理后,顯式地蘊(yùn)含了位置信息和特征信息。而群等變點(diǎn)卷積層則能夠?qū)⑤斎胗成涞絊E(d)所在的李代數(shù)空間,該空間融合了樣本不同位置和角度的特征,能夠使網(wǎng)絡(luò)不受目標(biāo)姿態(tài)的影響。同時(shí),點(diǎn)卷積能夠使每個(gè)點(diǎn)鄰域范圍內(nèi)的特征進(jìn)行聚合,表征一定范圍內(nèi)的幾何信息,從而使網(wǎng)絡(luò)能夠提取更豐富的幾何特征。

    群等變點(diǎn)卷積層的具體實(shí)現(xiàn)算法流程如算法1 所示,其關(guān)于旋轉(zhuǎn)和平移變換是等變的,證明過程如式(10)所示:

    其中:Lt f表示對輸入進(jìn)行t(旋轉(zhuǎn)平移)變換,第一行到第二行令x=tx。證明結(jié)果滿足公式(2)中等變性的定義。

    群全局池化層與普通的池化層類似,包括最大池化和平均池化等,本文使用了全局最大池化(GlobalMaxPooling,GP),其定義如公式(11)所示:

    其中,gU是SE(d)的子群U上的一個(gè)g變換。對GP 層的輸入進(jìn)行對稱變化,其輸出總是不變的,即GP 具有不變性,滿足公式(3),放在網(wǎng)絡(luò)的最后用來使模型整體達(dá)到不變性的效果,相當(dāng)于公式(4)中的f,其示意圖如圖2 所示,ki∈gU。

    圖2 全局最大池化層Fig.2 Global maximum pooling layer

    3.2 基于損失變化的記憶重放

    為了應(yīng)對OCIL 挑戰(zhàn),基于記憶重放的方法在固定內(nèi)存中儲(chǔ)存少量訪問過的數(shù)據(jù),并在未來的任務(wù)中進(jìn)行回放,都取得了很好的成效[7,39-40]。我們分配一個(gè)固定內(nèi)存大小的記憶存儲(chǔ)器M(容量為M),當(dāng)樣本流到達(dá)時(shí),使用隨機(jī)采樣[41]來保證記憶的多樣性,同時(shí),儲(chǔ)存了每個(gè)樣本最近一次的損失L,即存儲(chǔ)器中為為了保證M 中的樣本均衡,在每個(gè)新類到達(dá)時(shí)舍棄一部分舊樣本來儲(chǔ)存新樣本,并保證每個(gè)類別的數(shù)量相同。

    記憶重放涉及的關(guān)鍵一步是回放樣本的選擇,我們采用與[7,42]類似的假設(shè),即模型應(yīng)該優(yōu)先回放被忘記的樣本,以減少對早期任務(wù)類別的災(zāi)難性遺忘。算法2 描述了具體的重放過程。在時(shí)刻t,舊模型θold從數(shù)據(jù)流D中接收一批數(shù)據(jù),根據(jù)損失L1執(zhí)行更新產(chǎn)生臨時(shí)模型θtemp,如公式(12)和公式(13)所示:

    其中:?為交叉熵?fù)p失函數(shù),α為學(xué)習(xí)率。接著從存儲(chǔ)器中抽取n2≥n1組數(shù)據(jù),根據(jù)臨時(shí)模型θtemp計(jì)算損失L2,并與Lm進(jìn)行比較,挑出損失變化最大的n1組L2用于更新θtemp,從而產(chǎn)生新模型θnew,如公式(14)和公式(15)所示:

    4 實(shí)驗(yàn)結(jié)果與分析

    4.1 實(shí)驗(yàn)數(shù)據(jù)集

    我們使用MNIST[43]、RotMNIST[44]、CIFAR-10[45]、trCIFAR-10、ModelNet40[46]和trModel-Net40 數(shù)據(jù)集來評(píng)估本文提出的方法。其中,Rot-MNIST 數(shù)據(jù)集由62 000個(gè)隨機(jī)旋轉(zhuǎn)的MNIST 數(shù)字組成,旋轉(zhuǎn)角度從SO(2)中均勻采樣。trCIFAR-10 和trModelNet40 為我們對CIFAR-10 和Model-Net40 進(jìn)行隨機(jī)的平移和旋轉(zhuǎn)的幾何變換,模擬真實(shí)多姿態(tài)場景。MNIST、CIFAR-10、Model-Net40 用于固定姿態(tài)目標(biāo)實(shí)驗(yàn),如圖3(a)所示。RotMNIST、trCIFAR-10、trModelNet40 用于多姿態(tài)目標(biāo)的實(shí)驗(yàn),如圖3(b)所示。我們列出了每個(gè)數(shù)據(jù)集的實(shí)驗(yàn)設(shè)置:

    圖3 固定姿態(tài)目標(biāo)(a)與多姿態(tài)目標(biāo)(b)Fig.3 Fixed posture target(a)and multi-posture target(b)

    (1)MNIST 和RotMNIST:按照每2 類為一個(gè)任務(wù),分為5 個(gè)不同的任務(wù);將圖片轉(zhuǎn)為特征值為像素值的2D 點(diǎn)云輸入,即,其中xi∈R2,fi∈R。遵從文獻(xiàn)[7]的設(shè)定,每項(xiàng)任務(wù)分配1 000 個(gè)樣本用于訓(xùn)練。

    (2)CIFAR-10 和trCIFAR-10:按照每2 類為一個(gè)任務(wù),分為5 個(gè)不同的任務(wù)。將圖片轉(zhuǎn)為特征值為像素值的2D 點(diǎn)云輸入,即其中xi∈R2,fi∈R3。遵從文獻(xiàn)[7]的設(shè)定,每項(xiàng)任務(wù)分配9 500 個(gè)樣本用于訓(xùn)練。

    (3)ModelNet40 和trModelNet40:按照每4 類為一個(gè)任務(wù),分為10 個(gè)不同的任務(wù);點(diǎn)云輸入為其 中xi∈R3,fi=1。由 于Model-Net40 數(shù)據(jù)集不同類的樣本數(shù)量不同,故取每類的80%用于訓(xùn)練,即共有9 843 個(gè)數(shù)據(jù)流用于訓(xùn)練。

    4.2 實(shí)驗(yàn)環(huán)境

    本文所有實(shí)驗(yàn)都在同一學(xué)習(xí)環(huán)境下進(jìn)行,如表1 所示。

    表1 實(shí)驗(yàn)環(huán)境Tab.1 Experimental environment

    4.3 基線和評(píng)價(jià)指標(biāo)

    對于固定姿態(tài)目標(biāo)和多姿態(tài)目標(biāo)的實(shí)驗(yàn),我們考慮了以下設(shè)定作為評(píng)價(jià)基線:

    (1)finte-tuning:微調(diào),在新任務(wù)到達(dá)時(shí)連續(xù)訓(xùn)練,不采用任何防遺忘策略,作為實(shí)驗(yàn)對照下限;

    (2)iid online:所有任務(wù)數(shù)據(jù)同時(shí)出現(xiàn)并訓(xùn)練一次;

    (3)iid offline:允許數(shù)據(jù)多次出現(xiàn)重復(fù)訓(xùn)練,作為實(shí)驗(yàn)的上限。

    這些基線所使用的分類器都是3.1 節(jié)中具有多姿態(tài)識(shí)別能力的分類器。為了評(píng)估不同方法的效果,我們引入兩個(gè)評(píng)價(jià)指標(biāo):最終平均準(zhǔn)確率(AvgACC)和平均遺忘率(AvgF)[41]。

    4.4 實(shí)驗(yàn)分析

    我們在2D 數(shù)據(jù)集上進(jìn)行了評(píng)估,即MNIST、RotMNIST、CIFAR-10 和trCIFAR-10。除 了4.3 節(jié)中提到的基線外,本節(jié)還使用了其他兩種基于記憶重放的類增量學(xué)習(xí)方法作為面向2D 數(shù)據(jù)的對照實(shí)驗(yàn):ER[41]和ER-MIR[7]。我們統(tǒng)一了記憶存儲(chǔ)器的容量M=500,且每批數(shù)據(jù)只迭代1 次。每組實(shí)驗(yàn)進(jìn)行了20 次并取平均值,結(jié)果如表2 所示。

    表2 2D 圖像數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results on 2D image data

    可以看到,當(dāng)面對固定姿態(tài)目標(biāo)MNIST 時(shí),本文方法的AvgACC 和AvgF 分別為88.0%和4.1%,均優(yōu)于ER 和ER-MIR 方法,且AvgACC 與基線iid online 接近,說明本文方法可以有效緩解災(zāi)難性遺忘,實(shí)現(xiàn)任務(wù)之間的穩(wěn)定性。當(dāng)面對固定姿態(tài)目標(biāo)CIFAR-10時(shí),本文方法的AvgACC 明顯優(yōu)于ER,與ER-MIR 相比也僅差3.7%,但AvgF明顯優(yōu)于ER 和ER-MIR,證明本文方法可以很大程度緩解災(zāi)難性遺忘。

    而當(dāng)面對多目標(biāo)姿態(tài)RotMNIST 時(shí),ER 和ER-MIR 與它們在MNIST 中的表現(xiàn)相比具有顯著的變化,AvgACC分別下降了59.0%和56.9%,AvgF 也分別增加了24.6%和23.4%,說明ER和ER-MIR 在面對多姿態(tài)目標(biāo)時(shí)均不能學(xué)習(xí)到有效信息,且遺忘率明顯增加,并不適用于真實(shí)場景。而本文方法與在MNIST 中的表現(xiàn)相比,AvgACC只下降了約1.9%,AvgF只增加了0.4%。在20 次的實(shí)驗(yàn)中,本文方法的AvgACC 均保持在85%以上,證明本文方法可以有效抵抗目標(biāo)姿態(tài)所帶來的影響,且對災(zāi)難遺忘有明顯的緩解作用。當(dāng)面對多目標(biāo)姿態(tài)trCIFAR-10 時(shí),本文方法的表現(xiàn)與上面所述一致,受目標(biāo)姿態(tài)影響很小,AvgACC 只降低了約2.2%,AvgF 只增加了1%。而ER 和ER-MIR 在面對多姿態(tài)目標(biāo)trCIFAR-10時(shí)的AvgACC 不及它們在固定姿態(tài)目標(biāo)CIFAR-10 中表現(xiàn)的1/2。雖然AvgF 并沒有很大變化,甚至ER 在trCIFAR-10 中的AvgF 要略低于在CIFAR-10 中的AvgF,但這是由于ER 本身在學(xué)習(xí)中的最高準(zhǔn)確率很低所導(dǎo)致。

    圖4中列出了本文方法和ER-MIR方法中每個(gè)任務(wù)在不同時(shí)期的分類精度對比。如圖4(a~d)所示,當(dāng)面對數(shù)據(jù)集MNIST 時(shí),本文方法和ERMIR 的表現(xiàn)不相上下,每類任務(wù)的最終準(zhǔn)確率都與最初的準(zhǔn)確率相比并沒有太大變化,說明本文方法和ER-MIR 在面對固定姿態(tài)目標(biāo)時(shí)都能提取有效的特征,并對災(zāi)難性遺忘有很好的抵抗力,面對OCIL 這種嚴(yán)格的設(shè)定能保證穩(wěn)定性。而當(dāng)面對RotMNIST 時(shí),ER-MIR 變得不再穩(wěn)定,在后續(xù)任務(wù)中發(fā)生了災(zāi)難性遺忘,每類任務(wù)的最終準(zhǔn)確率與初始準(zhǔn)確率相比有明顯的差距,下降到了20%~45%,遠(yuǎn)不及它在MNIST 中的表現(xiàn)。相比之下,本文方法在面對RotMNIST 時(shí)仍能保證最終準(zhǔn)確率與初始準(zhǔn)確率很小的差距,維持在76%~97%,且與在MNIST 中的表現(xiàn)相差無幾,證明本文方法并不受目標(biāo)姿態(tài)的影響,在OCIL 任務(wù)中有效緩解災(zāi)難性遺忘,具有很好的穩(wěn)定性。

    如圖4(e~h)所示,當(dāng)面對CIFAR-10 這種更有挑戰(zhàn)的數(shù)據(jù)集時(shí),本文方法和ER-MIR 雖然都有一定的遺忘,但它們的最終準(zhǔn)確率也都能保持在33%以上。而當(dāng)面對trCIFAR-10 時(shí),ERMIR 的第一個(gè)任務(wù)和第二個(gè)任務(wù)的最終準(zhǔn)確率下降至10%以下,第三個(gè)任務(wù)的準(zhǔn)確率也下降到了20%以下,均發(fā)生了嚴(yán)重的遺忘。相比之下,本文方法依舊能和在CIFAR-10 中的表現(xiàn)一樣,有效地消除了目標(biāo)姿態(tài)所帶來的影響,具有相對較好的穩(wěn)定性。

    從圖4 中還可以看到,本文方法在這4 種數(shù)據(jù)集中每類任務(wù)的最終準(zhǔn)確率相差不超過22%(分別為12%,22%,19%,18%),并沒有出現(xiàn)由于單任務(wù)準(zhǔn)確率高而提高平均準(zhǔn)確率的現(xiàn)象,說明本文方法在OCIL 任務(wù)中不僅不受目標(biāo)姿態(tài)的影響,還有很好的平衡性。

    為了驗(yàn)證本文方法性能,我們進(jìn)一步在3D數(shù)據(jù)集ModelNet40 上進(jìn)行了實(shí)驗(yàn)。在我們的了解中,并沒有發(fā)現(xiàn)面向3D 數(shù)據(jù)的OCIL 的相關(guān)研究,因此,本部分的對照實(shí)驗(yàn)只采用3.3 節(jié)中所提到的基線實(shí)驗(yàn)。同時(shí),設(shè)定記憶存儲(chǔ)器的容量M=4 000,即每個(gè)任務(wù)存儲(chǔ)200 個(gè)樣本,且每批數(shù)據(jù)依舊只迭代1 次來保持online 的設(shè)定。每組實(shí)驗(yàn)進(jìn)行了20 次并取平均值,結(jié)果如表3 所示??梢钥吹?,本文方法在面對多姿態(tài)目標(biāo)trModel-Net40 時(shí)的性能與固定姿態(tài)目標(biāo)ModelNet40 的AvgACC 和AvgF 都相差不大,分別約為4%和2%,且AvgACC 超過了基線idd online 的結(jié)果,證明本文方法在面對3D 目標(biāo)時(shí)也可以做到無視目標(biāo)的姿態(tài),同時(shí)對災(zāi)難性遺忘有很大程度的緩解。

    表3 3D 數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果對比Tab.3 Experimental results on 3D data

    為了評(píng)估不同姿態(tài)對OCIL 任務(wù)的影響,我們在MNIST 數(shù)據(jù)集上進(jìn)行了補(bǔ)充實(shí)驗(yàn),如圖5 所示。其中,橫軸表示樣本的姿態(tài)變化范圍,如“60”表示數(shù)據(jù)流在[-60°,60°]范圍內(nèi)隨機(jī)旋轉(zhuǎn),以此類推,來模擬樣本姿態(tài)的豐富程度。從圖5 可以明顯看到,隨著角度變化范圍的增大,ER 方法和ER-MIR 方法的AvgACC 逐漸下降,尤其在60°后有顯著的下降,并最終下降到基線fine-tuning附近,可見樣本姿態(tài)對傳統(tǒng)方法有較大的影響。相比之下,本文方法的AvgACC 隨著角度變化范圍的增大只有較小的波動(dòng),波動(dòng)范圍保持在3%以內(nèi),證明本文方法可以在很大程度上降低目標(biāo)姿態(tài)的影響,有很好的穩(wěn)定性。

    圖5 MNIST 不同姿態(tài)的結(jié)果Fig.5 Results of MNIST with different postures

    5 結(jié) 論

    與傳統(tǒng)增量學(xué)習(xí)不同,本文考慮了更切合實(shí)際的復(fù)雜場景,即面向多姿態(tài)目標(biāo)的在線類增量學(xué)習(xí),該設(shè)定加劇了災(zāi)難性遺忘。為了解決這個(gè)問題,本文提出了通用于2D 和3D 數(shù)據(jù)的在線類增量學(xué)習(xí)方法。該算法的網(wǎng)絡(luò)框架基于SE(d)李群引入旋轉(zhuǎn)平移等變機(jī)制,使網(wǎng)絡(luò)可以更好地提取目標(biāo)的幾何信息,從而使模型不受目標(biāo)姿態(tài)的影響,增加模型的可塑性。本文還提出了基于損失變化的記憶重放方法,能夠配合我們的分類器緩解災(zāi)難性遺忘,在穩(wěn)定性和可塑性直接得到很好的權(quán)衡。本文方法在MNIST、RotMNIST、CIFAR-10、trCIFAR-10、ModelNet40 和trModel-Net40 數(shù)據(jù)集上進(jìn)行多次實(shí)驗(yàn)并獲得了有競爭力的結(jié)果,其中AvgACC 除了在CIFAR-10 表現(xiàn)略低于ER-MIR 外,其余都取得了最好的結(jié)果,分別為88.0%,86.1%,42.6%,40.4%,52.8%,48.8%;AvgF 則在所有情況下都為最優(yōu),分別為4.1%,4.5%,19.3%,20.3%,22.0%,24.0%。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性,能夠同時(shí)做到不受目標(biāo)姿態(tài)的影響并緩解災(zāi)難性遺忘。

    猜你喜歡
    災(zāi)難性姿態(tài)準(zhǔn)確率
    科學(xué)家說地球變暖速度比以前認(rèn)為的要快,而避免災(zāi)難性后果的窗口期即將結(jié)束
    英語文摘(2021年10期)2021-11-22 08:02:26
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
    攀爬的姿態(tài)
    全新一代宋的新姿態(tài)
    汽車觀察(2018年9期)2018-10-23 05:46:40
    跑與走的姿態(tài)
    中國自行車(2018年8期)2018-09-26 06:53:44
    高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
    綜合發(fā)力 化解災(zāi)難性醫(yī)療風(fēng)險(xiǎn)
    中國媒體在災(zāi)難性新聞報(bào)道中的改進(jìn)與不足
    新聞傳播(2015年13期)2015-07-18 11:00:41
    久久久久九九精品影院| 欧美潮喷喷水| 五月玫瑰六月丁香| 夜夜看夜夜爽夜夜摸| 国产在线一区二区三区精| 老司机影院成人| 欧美成人一区二区免费高清观看| 女人十人毛片免费观看3o分钟| 亚洲va在线va天堂va国产| 狠狠精品人妻久久久久久综合| 午夜视频国产福利| 精品人妻偷拍中文字幕| 91久久精品国产一区二区三区| 亚洲精品日本国产第一区| 中文字幕人妻熟人妻熟丝袜美| 人妻一区二区av| 亚洲精品日韩在线中文字幕| 亚洲精品国产色婷婷电影| 麻豆成人午夜福利视频| 午夜免费观看性视频| 亚洲欧美一区二区三区黑人 | 亚洲国产日韩一区二区| 一区二区av电影网| 日日摸夜夜添夜夜爱| 免费看av在线观看网站| 欧美人与善性xxx| 亚洲av中文av极速乱| 国产精品三级大全| 亚洲精品成人av观看孕妇| 可以在线观看毛片的网站| 寂寞人妻少妇视频99o| 一本色道久久久久久精品综合| 好男人视频免费观看在线| 中文字幕免费在线视频6| 内射极品少妇av片p| 国产亚洲5aaaaa淫片| 男女国产视频网站| 亚洲国产精品成人久久小说| 午夜精品一区二区三区免费看| av.在线天堂| 最近最新中文字幕免费大全7| videossex国产| 女的被弄到高潮叫床怎么办| 亚洲精品乱码久久久v下载方式| 少妇熟女欧美另类| 亚洲精品成人久久久久久| 日韩av在线免费看完整版不卡| 国产男女超爽视频在线观看| 国产精品一区二区在线观看99| 在线精品无人区一区二区三 | 国产成人一区二区在线| 国产毛片a区久久久久| 国产av码专区亚洲av| 天堂中文最新版在线下载 | 久久久精品94久久精品| 丰满少妇做爰视频| 亚洲精品一区蜜桃| 国内精品美女久久久久久| 亚洲自偷自拍三级| 日韩 亚洲 欧美在线| 黄色欧美视频在线观看| 两个人的视频大全免费| 久久久国产一区二区| 禁无遮挡网站| 一级毛片aaaaaa免费看小| 午夜福利网站1000一区二区三区| 国产视频首页在线观看| 在线免费观看不下载黄p国产| a级一级毛片免费在线观看| 边亲边吃奶的免费视频| 亚洲精品色激情综合| 大香蕉97超碰在线| 免费看不卡的av| freevideosex欧美| 欧美激情在线99| 精品99又大又爽又粗少妇毛片| www.av在线官网国产| 久久精品久久久久久噜噜老黄| 国产片特级美女逼逼视频| 久久久久久久国产电影| 一级毛片黄色毛片免费观看视频| 国产一区二区亚洲精品在线观看| 亚洲成人一二三区av| 亚洲欧美日韩东京热| 黄片wwwwww| 国产成人a∨麻豆精品| 亚洲国产精品国产精品| 麻豆久久精品国产亚洲av| 亚洲自偷自拍三级| 丝袜脚勾引网站| 可以在线观看毛片的网站| 亚洲精品自拍成人| 69人妻影院| 亚洲人成网站在线播| 日本熟妇午夜| 爱豆传媒免费全集在线观看| 免费黄色在线免费观看| 人妻制服诱惑在线中文字幕| 99久久中文字幕三级久久日本| 欧美激情在线99| 久久精品国产鲁丝片午夜精品| 日本免费在线观看一区| 欧美另类一区| 中文字幕亚洲精品专区| 身体一侧抽搐| 超碰av人人做人人爽久久| 国产精品久久久久久久久免| 黄色日韩在线| 有码 亚洲区| 三级国产精品片| 国产精品99久久久久久久久| 亚洲无线观看免费| 99热这里只有精品一区| 国产爱豆传媒在线观看| 哪个播放器可以免费观看大片| 亚洲av免费在线观看| 亚洲综合色惰| 国产一区二区亚洲精品在线观看| 超碰av人人做人人爽久久| av在线播放精品| 亚洲国产最新在线播放| 国产精品嫩草影院av在线观看| 国产黄色视频一区二区在线观看| 人妻系列 视频| 女的被弄到高潮叫床怎么办| 久久久a久久爽久久v久久| 免费少妇av软件| 成人高潮视频无遮挡免费网站| 婷婷色麻豆天堂久久| 免费电影在线观看免费观看| 久久久久性生活片| 三级男女做爰猛烈吃奶摸视频| 亚州av有码| 97精品久久久久久久久久精品| 亚洲,欧美,日韩| 久久精品久久久久久噜噜老黄| 一区二区三区乱码不卡18| 男女无遮挡免费网站观看| 国产精品国产三级专区第一集| 69人妻影院| 国产日韩欧美亚洲二区| 久久久午夜欧美精品| 亚洲精品久久午夜乱码| 亚洲三级黄色毛片| 日本午夜av视频| 亚洲国产最新在线播放| 亚洲国产精品999| 男女下面进入的视频免费午夜| 丰满少妇做爰视频| 欧美变态另类bdsm刘玥| 欧美日韩视频精品一区| 下体分泌物呈黄色| 亚洲无线观看免费| 久久久久久伊人网av| 国产 精品1| 搞女人的毛片| 又粗又硬又长又爽又黄的视频| 久久人人爽人人片av| 免费大片黄手机在线观看| 国产成人免费观看mmmm| 热re99久久精品国产66热6| 亚洲色图av天堂| xxx大片免费视频| 建设人人有责人人尽责人人享有的 | 亚洲成人久久爱视频| 久久精品国产亚洲av涩爱| 99久久精品热视频| 久久精品夜色国产| 三级男女做爰猛烈吃奶摸视频| 有码 亚洲区| 男人爽女人下面视频在线观看| 久久久久久久国产电影| 国产亚洲91精品色在线| 国产一区二区亚洲精品在线观看| 一级毛片久久久久久久久女| 成人无遮挡网站| 国产精品国产三级国产专区5o| 国产69精品久久久久777片| 亚洲国产精品国产精品| 国产成人a区在线观看| 不卡视频在线观看欧美| 制服丝袜香蕉在线| 婷婷色综合大香蕉| 亚洲精品国产成人久久av| 午夜福利视频1000在线观看| 新久久久久国产一级毛片| 网址你懂的国产日韩在线| 亚洲精品乱久久久久久| 在线亚洲精品国产二区图片欧美 | 嫩草影院入口| 亚洲三级黄色毛片| 亚洲伊人久久精品综合| 国产视频内射| 欧美精品一区二区大全| 国产高清有码在线观看视频| 午夜免费男女啪啪视频观看| 国产伦精品一区二区三区视频9| 亚洲国产精品成人久久小说| 久久久久久久久久人人人人人人| 我要看日韩黄色一级片| tube8黄色片| av在线观看视频网站免费| 国产精品久久久久久av不卡| 亚洲精品一二三| 国产成人91sexporn| 一级黄片播放器| .国产精品久久| 国产一区二区亚洲精品在线观看| 精品人妻一区二区三区麻豆| 亚洲激情五月婷婷啪啪| 禁无遮挡网站| 日韩伦理黄色片| 日韩免费高清中文字幕av| 久热这里只有精品99| 精品久久久久久久久亚洲| 一区二区三区乱码不卡18| 成人午夜精彩视频在线观看| 成人国产av品久久久| 亚洲av中文av极速乱| av卡一久久| 国产成人a区在线观看| 久久国产乱子免费精品| 乱系列少妇在线播放| 三级经典国产精品| 久久久精品欧美日韩精品| 亚洲精品一区蜜桃| 欧美日韩精品成人综合77777| 日韩亚洲欧美综合| 国产精品一区二区在线观看99| 综合色av麻豆| 中文在线观看免费www的网站| 日本与韩国留学比较| 亚洲最大成人手机在线| 国产白丝娇喘喷水9色精品| 男女国产视频网站| 黄色欧美视频在线观看| 美女国产视频在线观看| 久久久久久久大尺度免费视频| 我的老师免费观看完整版| 国产av国产精品国产| 国产伦精品一区二区三区四那| 日韩中字成人| 国产片特级美女逼逼视频| 十八禁网站网址无遮挡 | 亚洲欧美日韩东京热| 蜜臀久久99精品久久宅男| 男男h啪啪无遮挡| 另类亚洲欧美激情| 欧美精品国产亚洲| 欧美高清性xxxxhd video| 神马国产精品三级电影在线观看| 好男人在线观看高清免费视频| 久久鲁丝午夜福利片| 久久精品综合一区二区三区| 免费少妇av软件| 亚洲欧洲国产日韩| 国产精品伦人一区二区| 汤姆久久久久久久影院中文字幕| 黄色视频在线播放观看不卡| 亚洲av日韩在线播放| 91精品伊人久久大香线蕉| 18+在线观看网站| 亚洲av.av天堂| 成人二区视频| 亚洲真实伦在线观看| 国产亚洲av嫩草精品影院| 天天一区二区日本电影三级| 听说在线观看完整版免费高清| 黄色欧美视频在线观看| 爱豆传媒免费全集在线观看| 亚洲天堂国产精品一区在线| 亚洲欧美成人综合另类久久久| 午夜激情福利司机影院| 亚洲精品aⅴ在线观看| 欧美成人a在线观看| 国产成人一区二区在线| 中国国产av一级| 免费少妇av软件| 亚洲怡红院男人天堂| 超碰97精品在线观看| 日韩欧美 国产精品| 最后的刺客免费高清国语| 国产欧美亚洲国产| 精品少妇久久久久久888优播| 午夜免费观看性视频| 成人国产av品久久久| 亚洲综合色惰| 中文字幕制服av| 亚洲精品久久久久久婷婷小说| 亚洲精品日本国产第一区| 国产高清不卡午夜福利| 久久韩国三级中文字幕| 少妇高潮的动态图| 国产黄片视频在线免费观看| 国产精品99久久久久久久久| 免费大片18禁| 伦精品一区二区三区| 色哟哟·www| 久久久a久久爽久久v久久| 久久久久精品久久久久真实原创| 国产欧美日韩一区二区三区在线 | 涩涩av久久男人的天堂| 国产精品av视频在线免费观看| 男人狂女人下面高潮的视频| 亚洲欧美日韩无卡精品| 久久精品久久久久久久性| 亚洲av欧美aⅴ国产| 美女cb高潮喷水在线观看| 五月开心婷婷网| 欧美日韩视频高清一区二区三区二| 99久久精品一区二区三区| 久久久久久久久大av| 一级av片app| 一区二区三区精品91| 亚洲高清免费不卡视频| 天堂网av新在线| 三级男女做爰猛烈吃奶摸视频| 亚洲av成人精品一二三区| 99热这里只有是精品50| 久久久成人免费电影| 如何舔出高潮| 国产亚洲5aaaaa淫片| 99久国产av精品国产电影| 久久久久久久久久人人人人人人| av国产久精品久网站免费入址| 黄色一级大片看看| 色播亚洲综合网| 亚洲国产日韩一区二区| 亚洲色图综合在线观看| 岛国毛片在线播放| 亚洲aⅴ乱码一区二区在线播放| 精品少妇黑人巨大在线播放| 欧美日韩视频高清一区二区三区二| 18+在线观看网站| 欧美另类一区| 国产精品人妻久久久久久| 国产成人福利小说| 赤兔流量卡办理| 亚洲内射少妇av| 国产成人精品一,二区| 一级毛片 在线播放| 亚洲国产精品国产精品| av免费在线看不卡| 又黄又爽又刺激的免费视频.| 亚洲国产av新网站| 高清在线视频一区二区三区| 亚洲一级一片aⅴ在线观看| 精品亚洲乱码少妇综合久久| 99热网站在线观看| 国产大屁股一区二区在线视频| 少妇人妻久久综合中文| 国产大屁股一区二区在线视频| 亚洲国产精品专区欧美| 久久久a久久爽久久v久久| 一级毛片 在线播放| 97在线人人人人妻| 亚洲一级一片aⅴ在线观看| 国产综合懂色| 黑人高潮一二区| 国产综合懂色| 久久人人爽人人爽人人片va| 久久久精品免费免费高清| 精品久久国产蜜桃| 免费看不卡的av| 搡老乐熟女国产| 久久久欧美国产精品| 久久久久久国产a免费观看| 免费人成在线观看视频色| 大片电影免费在线观看免费| 99久久精品一区二区三区| 欧美少妇被猛烈插入视频| 国产探花在线观看一区二区| 精品一区在线观看国产| 欧美日韩一区二区视频在线观看视频在线 | 成人二区视频| 免费播放大片免费观看视频在线观看| 久久精品国产鲁丝片午夜精品| www.色视频.com| videos熟女内射| 亚洲一级一片aⅴ在线观看| 日本一本二区三区精品| 欧美精品国产亚洲| 国产精品国产av在线观看| 久久久精品94久久精品| 国产伦理片在线播放av一区| 亚洲精品久久午夜乱码| 亚洲无线观看免费| 亚洲欧美日韩卡通动漫| 成人亚洲精品一区在线观看 | 国产 精品1| 中文字幕av成人在线电影| 亚洲成人久久爱视频| 亚洲精品乱码久久久久久按摩| 51国产日韩欧美| 亚洲精品视频女| 青春草国产在线视频| 欧美日韩在线观看h| 又爽又黄无遮挡网站| 亚洲成人中文字幕在线播放| 亚洲不卡免费看| 少妇人妻久久综合中文| 成人美女网站在线观看视频| 国产一区二区亚洲精品在线观看| 亚洲国产精品999| 天美传媒精品一区二区| 国产白丝娇喘喷水9色精品| videossex国产| 欧美日韩一区二区视频在线观看视频在线 | 老女人水多毛片| av又黄又爽大尺度在线免费看| 国产成人精品一,二区| 日韩av免费高清视频| 美女被艹到高潮喷水动态| 国国产精品蜜臀av免费| 高清视频免费观看一区二区| 亚洲,一卡二卡三卡| 白带黄色成豆腐渣| 美女cb高潮喷水在线观看| 成人毛片60女人毛片免费| 狂野欧美白嫩少妇大欣赏| 亚洲精品久久久久久婷婷小说| 国产69精品久久久久777片| 国产精品无大码| 91精品国产九色| 欧美日韩在线观看h| 中文字幕免费在线视频6| 免费av毛片视频| 国产在线一区二区三区精| 免费不卡的大黄色大毛片视频在线观看| 国产色婷婷99| 国产精品精品国产色婷婷| 十八禁网站网址无遮挡 | 校园人妻丝袜中文字幕| 亚洲色图av天堂| 亚洲欧美清纯卡通| 国产爱豆传媒在线观看| 又爽又黄无遮挡网站| 亚洲欧洲国产日韩| 日日啪夜夜爽| 久久人人爽人人爽人人片va| 国产伦理片在线播放av一区| 午夜福利视频精品| 国产午夜福利久久久久久| 亚洲人与动物交配视频| 深夜a级毛片| 晚上一个人看的免费电影| 日韩不卡一区二区三区视频在线| 国产日韩欧美在线精品| 青春草亚洲视频在线观看| 黄色配什么色好看| 禁无遮挡网站| 2022亚洲国产成人精品| 中文字幕免费在线视频6| 七月丁香在线播放| 色综合色国产| 国精品久久久久久国模美| 亚洲第一区二区三区不卡| 亚洲天堂国产精品一区在线| 日韩欧美精品v在线| 国产成人aa在线观看| 制服丝袜香蕉在线| 国模一区二区三区四区视频| 日本熟妇午夜| 校园人妻丝袜中文字幕| 日日摸夜夜添夜夜添av毛片| 激情五月婷婷亚洲| 小蜜桃在线观看免费完整版高清| 国产av不卡久久| 丝袜喷水一区| 丰满人妻一区二区三区视频av| av黄色大香蕉| 少妇人妻 视频| 香蕉精品网在线| 国产精品国产三级专区第一集| 久久人人爽人人片av| 日韩av不卡免费在线播放| 久久久久九九精品影院| 插逼视频在线观看| 在线 av 中文字幕| 成人亚洲欧美一区二区av| 国产精品久久久久久av不卡| 精品国产一区二区三区久久久樱花 | 男女那种视频在线观看| 国产 一区精品| 亚洲欧美中文字幕日韩二区| 国产白丝娇喘喷水9色精品| 国产精品女同一区二区软件| 尾随美女入室| 久久影院123| 亚洲丝袜综合中文字幕| 夫妻午夜视频| 亚洲av中文字字幕乱码综合| 大码成人一级视频| 国产欧美日韩一区二区三区在线 | 卡戴珊不雅视频在线播放| 成人高潮视频无遮挡免费网站| 色视频在线一区二区三区| 80岁老熟妇乱子伦牲交| 免费av毛片视频| 久久久a久久爽久久v久久| 亚洲欧美日韩无卡精品| 亚洲av不卡在线观看| 亚洲熟女精品中文字幕| 美女高潮的动态| 亚洲真实伦在线观看| 国产片特级美女逼逼视频| 国内少妇人妻偷人精品xxx网站| 午夜激情福利司机影院| 夜夜看夜夜爽夜夜摸| 亚洲va在线va天堂va国产| 精品熟女少妇av免费看| 成人无遮挡网站| 人体艺术视频欧美日本| 免费观看的影片在线观看| 欧美xxⅹ黑人| 久久国内精品自在自线图片| 国产女主播在线喷水免费视频网站| 日韩亚洲欧美综合| 久久热精品热| 精品一区二区三区视频在线| 亚洲av欧美aⅴ国产| 国产美女午夜福利| 亚洲真实伦在线观看| 欧美xxxx性猛交bbbb| 久久久亚洲精品成人影院| 三级国产精品片| 精华霜和精华液先用哪个| 成人亚洲精品av一区二区| www.色视频.com| 高清在线视频一区二区三区| 免费电影在线观看免费观看| 夜夜爽夜夜爽视频| 日本猛色少妇xxxxx猛交久久| 少妇的逼水好多| 亚洲精品国产成人久久av| 亚洲,欧美,日韩| 免费观看无遮挡的男女| 最近中文字幕2019免费版| 国产精品熟女久久久久浪| 久久精品人妻少妇| 久久久久精品性色| 2021天堂中文幕一二区在线观| 亚洲精品乱码久久久久久按摩| 麻豆成人午夜福利视频| 91午夜精品亚洲一区二区三区| 成人鲁丝片一二三区免费| 最新中文字幕久久久久| 真实男女啪啪啪动态图| 高清av免费在线| 国产午夜精品一二区理论片| 91久久精品国产一区二区三区| 一个人看视频在线观看www免费| 丝袜美腿在线中文| 大陆偷拍与自拍| 亚洲精品日本国产第一区| 国产乱人视频| 少妇熟女欧美另类| 久久精品久久久久久噜噜老黄| av线在线观看网站| 国产亚洲91精品色在线| 久久久欧美国产精品| av在线播放精品| 国产有黄有色有爽视频| 久久久久精品性色| 日产精品乱码卡一卡2卡三| 亚洲人成网站在线播| 色吧在线观看| 小蜜桃在线观看免费完整版高清| 嫩草影院新地址| 在线a可以看的网站| 亚洲国产色片| 久久热精品热| 亚洲精品456在线播放app| 精品国产乱码久久久久久小说| 最近最新中文字幕大全电影3| 一级a做视频免费观看| 80岁老熟妇乱子伦牲交| 青青草视频在线视频观看| 少妇高潮的动态图| 久久久久九九精品影院| 久久热精品热| 男人狂女人下面高潮的视频| 久久久久久久久大av| 日韩欧美一区视频在线观看 | 久久热精品热| 建设人人有责人人尽责人人享有的 | 国产一区有黄有色的免费视频| 亚洲内射少妇av| 欧美激情国产日韩精品一区| 在线观看免费高清a一片| 久久女婷五月综合色啪小说 | 在线播放无遮挡| 国产精品久久久久久av不卡| 老司机影院毛片| 国产成人aa在线观看| 欧美日韩在线观看h| 亚洲精品一区蜜桃| 国产亚洲午夜精品一区二区久久 | 啦啦啦中文免费视频观看日本| 亚洲成人av在线免费| 亚洲国产色片| 亚洲天堂av无毛| av在线app专区| 一级毛片电影观看| www.av在线官网国产| 国产老妇伦熟女老妇高清| 2021天堂中文幕一二区在线观| 国产91av在线免费观看| 自拍欧美九色日韩亚洲蝌蚪91 | av女优亚洲男人天堂| 日本色播在线视频| 国产大屁股一区二区在线视频| 男女国产视频网站| 日本熟妇午夜| 国产亚洲精品久久久com|