• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于注意力機(jī)制的點(diǎn)云神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法

    2022-10-18 01:48:08譚臺(tái)哲黃永耀
    關(guān)鍵詞:特征提取方法

    譚臺(tái)哲,黃永耀,楊 卓,劉 洋

    廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,廣州 510006

    深度學(xué)習(xí)已經(jīng)在圖像相關(guān)的領(lǐng)域取得了很好的效果。其中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像分類(lèi)任務(wù)[1]、語(yǔ)義分割任務(wù)[2]、目標(biāo)檢測(cè)任務(wù)[3]中都達(dá)到了行業(yè)領(lǐng)先的成果。由于三維點(diǎn)云處理在自動(dòng)駕駛、機(jī)器人空間理解領(lǐng)域具有重要意義[4],最近有許多研究致力于將神經(jīng)網(wǎng)絡(luò)應(yīng)用到三維點(diǎn)云數(shù)據(jù)處理中,但原始的三維點(diǎn)云是非規(guī)則數(shù)據(jù),每個(gè)點(diǎn)只包括了三維坐標(biāo)(x,y,z)和RGB信息,無(wú)法用處理圖像的規(guī)則卷積核進(jìn)行特征提取。早期的方法通常是先將原始三維點(diǎn)云預(yù)處理成網(wǎng)格狀數(shù)據(jù),然后直接采用規(guī)則的三維卷積核進(jìn)行特征提取,這種方法通常具有較高的計(jì)算復(fù)雜度。PointNet[5]的提出為基于神經(jīng)網(wǎng)絡(luò)的三維點(diǎn)云處理帶來(lái)了一種全新的思路,它不需要額外的預(yù)處理,且通過(guò)疊加多層感知機(jī)(MLP)的方法直接對(duì)原始三維點(diǎn)云進(jìn)行特征提取,大幅減少了計(jì)算消耗,在當(dāng)時(shí)達(dá)到了比較領(lǐng)先的精度。從此之后,有許多面向三維點(diǎn)云的神經(jīng)網(wǎng)絡(luò)方法被提出,這些方法主要可以分為三種:基于圖的方法[6-7]、結(jié)構(gòu)化表示方法[8-9]、基于點(diǎn)卷積的方法[5,10-12]。

    然而,在不同類(lèi)型的數(shù)據(jù)集中(如經(jīng)過(guò)激光雷達(dá)采集、D-RGB 攝像頭采集的點(diǎn)云數(shù)據(jù)集),點(diǎn)云分布情況并不統(tǒng)一,所以在現(xiàn)實(shí)應(yīng)用場(chǎng)景中仍需要面向不同類(lèi)型的數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)的人工調(diào)整以達(dá)到較好的擬合度,但是這樣的工作通常需要較高的人工成本,并且要求相關(guān)人員具有豐富的深度學(xué)習(xí)領(lǐng)域相關(guān)知識(shí)。最近得到大力發(fā)展的自動(dòng)神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(neural architecture search,NAS)技術(shù),則可以最大程度地減少神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中人工介入的影響,并能高效率地優(yōu)化神經(jīng)網(wǎng)絡(luò)。但是目前在計(jì)算機(jī)視覺(jué)領(lǐng)域中,大量的NAS 技術(shù)研究只聚集在圖像數(shù)據(jù)上,面向三維點(diǎn)云數(shù)據(jù)的NAS技術(shù)仍處于初始階段,本文的工作則是在這個(gè)方向上的一個(gè)探索。

    NAS技術(shù)主要包括兩個(gè)關(guān)鍵問(wèn)題,即搜索空間和搜索算法。搜索空間中定義了各種用于組成搜索單元的候選操作(比如3×3 卷積、最大池化等),以及由這些候選操作結(jié)合而成的搜索單元。由多個(gè)搜索單元疊加而成的神經(jīng)網(wǎng)絡(luò)將作為搜索空間,搜索算法則是用于迭代地從搜索空間中搜索出最優(yōu)的神經(jīng)網(wǎng)絡(luò),搜索算法可以大致分為進(jìn)化算法[13]、強(qiáng)化學(xué)習(xí)算法[14-15]。文獻(xiàn)[14]提出的基于強(qiáng)化學(xué)習(xí)算法雖然表現(xiàn)出良好的效果,但仍然需要大量計(jì)算資源。在這之后提出的方法DARTS[16]以及其變體[17]將網(wǎng)絡(luò)架構(gòu)搜索設(shè)計(jì)為一個(gè)可微分的方式,允許搜索算法使用梯度下降進(jìn)行網(wǎng)絡(luò)架構(gòu)搜索,從而大幅降低計(jì)算復(fù)雜度。2020年提出的SGAS[18]則實(shí)現(xiàn)了更進(jìn)一步的改進(jìn),其能在少量樣本的數(shù)據(jù)集中搜索出具有優(yōu)秀泛化能力的神經(jīng)網(wǎng)絡(luò)。同時(shí),SGAS 也是第一個(gè)將NAS技術(shù)應(yīng)用到三維點(diǎn)云處理的方法,其采用了圖卷積核(graph convolution)組成搜索空間,并以此搜索出圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolution network,GCN),這在三維點(diǎn)云處理方法分類(lèi)中屬于基于圖卷積的方法。相比基于點(diǎn)卷積的方法,這種方法在反向傳播中需要保存更多的中間變量,會(huì)占用更多的顯存空間,導(dǎo)致這類(lèi)方法難以適用于大規(guī)模點(diǎn)云數(shù)據(jù)中。針對(duì)這個(gè)問(wèn)題以及高效的三維點(diǎn)云特征提取問(wèn)題,本文提出了一種基于點(diǎn)卷積的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法,對(duì)于搜索算法,則沿用了SGAS的工作。對(duì)于搜索空間的組成,本文提出了一種新的基于點(diǎn)卷積的搜索單元。

    由于點(diǎn)云數(shù)據(jù)下采樣的特殊性,不同尺度點(diǎn)云之間的語(yǔ)義信息會(huì)產(chǎn)生較大的差異,直接采用面向圖像的搜索單元結(jié)構(gòu)的方案無(wú)法獲得理想的效果。為了增強(qiáng)不同尺度點(diǎn)云的信息融合,本文提出了一種基于注意力機(jī)制的多尺度融合模塊,取代標(biāo)準(zhǔn)搜索單元中原有的輸入節(jié)點(diǎn)處理模塊。另外,本文采用了兩個(gè)基于點(diǎn)卷積的特征提取器,其中包括了多層感知機(jī)形式的特征提取器(MLP點(diǎn)卷積核)和多層分離卷積核構(gòu)成的特征提取器(shell點(diǎn)卷積核),并設(shè)計(jì)了特殊的面向點(diǎn)云的下采樣模塊與之相結(jié)合,用以構(gòu)成候選操作并組合成一個(gè)搜索單元。本文的主要貢獻(xiàn)如下:

    (1)提出了一種基于注意力機(jī)制的多尺度融合模塊,其增強(qiáng)了兩個(gè)尺度點(diǎn)云的信息融合,改善了直接下采樣導(dǎo)致不同尺度點(diǎn)云之間的語(yǔ)義信息差異過(guò)大的問(wèn)題。另外,由于引入了注意力機(jī)制,增強(qiáng)了全局語(yǔ)義信息,從而提高了模型的特征提取能力。

    (2)通過(guò)采用該多尺度融合模塊以及設(shè)計(jì)一系列候選操作組成搜索單元,提出了一種基于點(diǎn)卷積的搜索空間。相比基于圖卷積的搜索空間,其計(jì)算效率有較大提升。

    (3)采用SGAS搜索算法在搜索空間中搜索出最優(yōu)的神經(jīng)網(wǎng)絡(luò),在ModelNet公開(kāi)數(shù)據(jù)集[9]上的對(duì)比實(shí)驗(yàn)表明,相比于傳統(tǒng)人工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò),該方法可以在很短時(shí)間內(nèi)自動(dòng)搜索出具有很少可學(xué)習(xí)參數(shù)的神經(jīng)網(wǎng)絡(luò),并且能獲得比較領(lǐng)先的性能。相比基于圖卷積的SGAS方法,本文提出的基于點(diǎn)卷積的方法搜索得到的神經(jīng)網(wǎng)絡(luò),減少了約70%的可學(xué)習(xí)參數(shù)量,并且能維持相近的性能。消融實(shí)驗(yàn)也證明了采用本文提出的基于注意力機(jī)制的多尺度融合模塊可以帶來(lái)1.1%的精度提升。另外,本文首次提出用基于點(diǎn)卷積的搜索空間進(jìn)行面向點(diǎn)云的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。

    1 相關(guān)工作

    1.1 面向三維點(diǎn)云的特征提取方法

    1.1.1 結(jié)構(gòu)表示方法

    早期提出的三維數(shù)據(jù)處理方法是將不規(guī)則的三維點(diǎn)云轉(zhuǎn)換成規(guī)則結(jié)構(gòu)的數(shù)據(jù),比如體素(voxel)[8]、多視圖[9]、層次數(shù)據(jù)結(jié)構(gòu)[19],再用標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。其中多視圖方法將三維點(diǎn)云投影成多個(gè)視點(diǎn)的圖像,對(duì)于單個(gè)目標(biāo)的分類(lèi)任務(wù),這類(lèi)方法有一定的效果,但對(duì)于語(yǔ)義分割等任務(wù),這類(lèi)方法會(huì)由于物體遮擋問(wèn)題而丟失部分物體信息,導(dǎo)致性能不佳。層次數(shù)據(jù)結(jié)構(gòu)方法通常將點(diǎn)云采樣為層次結(jié)構(gòu)數(shù)據(jù),比如八叉樹(shù)(OC-tree),再利用特殊的層次結(jié)構(gòu)對(duì)這種數(shù)據(jù)進(jìn)行學(xué)習(xí),這類(lèi)方法需要大量的數(shù)據(jù)預(yù)處理,通常會(huì)導(dǎo)致過(guò)多的計(jì)算消耗?;隗w素的方法則是在預(yù)處理過(guò)程中,將三維點(diǎn)云等距離采樣成三維網(wǎng)格狀數(shù)據(jù),并輸入到由規(guī)則的三維卷積核構(gòu)成的卷積神經(jīng)網(wǎng)絡(luò)中,這些方法通常不考慮點(diǎn)云數(shù)據(jù)的稀疏性,會(huì)對(duì)空間中的大量空白區(qū)域進(jìn)行卷積運(yùn)算,產(chǎn)生了大量的額外計(jì)算量。本文提出的是基于點(diǎn)卷積的方法,只對(duì)空間中存在的點(diǎn)進(jìn)行卷積運(yùn)算,而且不需要預(yù)處理過(guò)程,從而減少了計(jì)算量。

    1.1.2 基于圖的方法

    通過(guò)建立三維點(diǎn)云中各點(diǎn)之間的關(guān)系,基于圖的方法可以對(duì)這些圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行圖卷積計(jì)算,并逐層提取高層特征。對(duì)一個(gè)圖結(jié)構(gòu)進(jìn)行卷積,可以被定義為在其頻域上的卷積,比如ChebNet[6]采用Chebyshev多項(xiàng)式基來(lái)模擬譜濾波器(spectral filters),從而減少圖的傅里葉變換時(shí)的計(jì)算消耗。另外,文獻(xiàn)[7]專(zhuān)注于研究流形曲面表征,從而避免了譜域(spectral domain)計(jì)算。雖然圖卷積能夠在局部曲面點(diǎn)集上聚集特征并維持了點(diǎn)云的平移不變性,但是很難合理有效地定義任意兩個(gè)點(diǎn)之間的關(guān)系。

    1.1.3 基于點(diǎn)卷積的方法

    PointNet[5]是第一個(gè)用神經(jīng)網(wǎng)絡(luò)直接處理原始點(diǎn)云的方法。通過(guò)將每個(gè)點(diǎn)輸入到一個(gè)共享權(quán)值的多層感知機(jī)(MLP),PointNet 可以維持點(diǎn)云的平移不變性,這是因?yàn)槎鄬痈兄獧C(jī)具有逼近任何連續(xù)函數(shù)的能力。延續(xù)PointNet 的思想,后續(xù)的一些研究工作[10-11]專(zhuān)注于用多層感知機(jī)來(lái)設(shè)計(jì)對(duì)局部聚合點(diǎn)進(jìn)行特征提取的神經(jīng)網(wǎng)絡(luò),這些研究都獲得了很好的效果。這類(lèi)方法會(huì)將多個(gè)局部點(diǎn)集的三維坐標(biāo)信息和上下文語(yǔ)意特征一同輸入到共享權(quán)值的多層感知機(jī)中進(jìn)行特征提取,實(shí)現(xiàn)一種類(lèi)似卷積的計(jì)算,所以可以看成是一種基于點(diǎn)卷積的方法。為了能讓神經(jīng)網(wǎng)絡(luò)更好地學(xué)習(xí)空間特征和上下文語(yǔ)義特征,一些最近的研究工作[12,20]則采用了空間濾波器(spatial filter)來(lái)處理點(diǎn)云組成的特征圖。這些方法用點(diǎn)的三維坐標(biāo)來(lái)定義一個(gè)局部空間濾波器,用這個(gè)濾波器來(lái)處理相應(yīng)點(diǎn)的上下文語(yǔ)意特征。這類(lèi)方法充分利用了點(diǎn)云的三維坐標(biāo)信息,從而提高了預(yù)測(cè)精度。

    1.2 網(wǎng)絡(luò)架構(gòu)搜索

    人工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)在目前已經(jīng)取得了很大的成功,但人工設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的方法仍有相當(dāng)大的局限性,不僅僅需要面向不同數(shù)據(jù)集重新調(diào)整神經(jīng)網(wǎng)絡(luò),投入大量的人力成本進(jìn)行迭代優(yōu)化,而且這些工作都要求設(shè)計(jì)人員具有一定的深度學(xué)習(xí)研究經(jīng)驗(yàn)。為了解決這些問(wèn)題,神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(neural architecture search,NAS)被提出。文獻(xiàn)[14]最早提出用強(qiáng)化學(xué)習(xí)算法來(lái)自動(dòng)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過(guò)程,此后提出的NASNet[15]則是基于一個(gè)起始細(xì)胞結(jié)構(gòu)的搜索空間迭代地搜索神經(jīng)網(wǎng)絡(luò),并采用正則化和權(quán)重共享技術(shù)來(lái)提高搜索效率。最近的一些研究工作[21-22]通過(guò)訓(xùn)練單個(gè)具有繼承或者共享權(quán)值的過(guò)度參數(shù)化(over-parameterization)網(wǎng)絡(luò),以此來(lái)減少計(jì)算消耗。其中比較經(jīng)典的是DARTS 方法[16],其將網(wǎng)絡(luò)的表示松弛到連續(xù)空間中并使搜索過(guò)程變成可微分形式,允許搜索算法使用梯度下降進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)搜索,從而大幅降低計(jì)算復(fù)雜度。此后提出的SGAS 方法[18]則延續(xù)了DARTS 的思想,以貪婪的方式來(lái)對(duì)候選的節(jié)點(diǎn)操作進(jìn)行選擇和剪枝,并在搜索過(guò)程中提高了訓(xùn)練集和測(cè)試集之間的關(guān)聯(lián)度,在最終測(cè)試集中達(dá)到較好的效果。為了讓提出的方法有更高的性能,本文采用了SGAS作為其中的搜索算法,但實(shí)際上本文提出的搜索空間適用于所有基于DARTS的搜索算法。

    2 基于可微分的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法

    但是DARTS方法存在搜索階段和評(píng)估階段的最優(yōu)網(wǎng)絡(luò)有一定結(jié)構(gòu)差距的問(wèn)題,以及DARTS 中權(quán)值共享帶來(lái)的問(wèn)題,使得搜索階段得到的最優(yōu)網(wǎng)絡(luò)無(wú)法在評(píng)估階段中達(dá)到最優(yōu)效果,這個(gè)問(wèn)題被稱(chēng)為退化的搜索評(píng)估相關(guān)性(degenerate search-evaluation correlation)[18]。為了解決這個(gè)問(wèn)題,SGAS提出在搜索階段以貪婪的方式逐步確定和修剪每個(gè)操作o(i,j),并加入了3個(gè)衡量指標(biāo)和評(píng)估準(zhǔn)則,使得SGAS搜索得到的神經(jīng)網(wǎng)絡(luò)能在評(píng)估數(shù)據(jù)集有更好的表現(xiàn)。本文方法分別采用DARTS 和SGAS 搜索算法在基于點(diǎn)卷積的搜索空間中進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索,并加上一個(gè)分類(lèi)頭(classification head)模塊,最終得到一個(gè)可用于三維點(diǎn)云分類(lèi)任務(wù)的神經(jīng)網(wǎng)絡(luò),并在實(shí)驗(yàn)中對(duì)比了這兩種方法在點(diǎn)云數(shù)據(jù)上的性能。

    3 基于點(diǎn)卷積的搜索空間

    3.1 搜索空間的構(gòu)成

    基于點(diǎn)卷積的搜索空間是由多個(gè)搜索單元(cell)疊加而成,一個(gè)簡(jiǎn)單的搜索空間如圖2 所示,下采樣搜索單元是在正常搜索單元的基礎(chǔ)上增加了下采樣步驟,從而輸出一個(gè)尺寸縮小的特征圖。對(duì)于每一個(gè)在下采樣搜索單元后的正常搜索單元,都是由一個(gè)基于注意力機(jī)制的多尺度融合模塊和基于點(diǎn)卷積的候選操作組成,下采樣搜索單元?jiǎng)t不含基于注意力機(jī)制的多尺度融合模塊。

    圖2 一個(gè)簡(jiǎn)單的搜索空間Fig.2 A simple search space

    3.2 基于注意力機(jī)制的多尺度融合模塊

    面向圖像的搜索單元如圖3 所示,具有如下結(jié)構(gòu):兩個(gè)不同尺度的特征圖S0 和S1 輸入到搜索單元,其較大尺度的特征圖S0 會(huì)直接下采樣至特征圖S1 的大小,從而保持兩個(gè)輸入特征圖具有相同的分辨率,這兩個(gè)經(jīng)過(guò)處理后的特征圖將輸入到候選操作組合模塊中。這個(gè)步驟在圖像數(shù)據(jù)上是可行的,但根據(jù)實(shí)驗(yàn)觀察,在點(diǎn)云數(shù)據(jù)中使用這種思路設(shè)計(jì)的模型效果較差。這是由于點(diǎn)云的下采樣方式(如最遠(yuǎn)點(diǎn)采樣、隨機(jī)采樣)是一種非均勻下采樣,這與使用等距離采樣的圖像下采樣方式相比更不穩(wěn)定。

    圖3 面向圖像的搜索單元Fig.3 Search cell for image

    為了讓搜索單元能更好地融合這兩個(gè)不同尺度的點(diǎn)云數(shù)據(jù),并使這兩個(gè)不同尺度的輸入數(shù)據(jù)轉(zhuǎn)化成同一個(gè)尺度。受文獻(xiàn)[23]的啟發(fā),本文提出一種基于注意力機(jī)制的多尺度融合模塊。該模塊具體細(xì)節(jié)如圖4(a)所示,首先,較大尺度點(diǎn)云數(shù)據(jù)S0 作為關(guān)鍵點(diǎn)(key),較小尺度的點(diǎn)云數(shù)據(jù)S1作為注意力機(jī)制中的查詢(xún)點(diǎn)(query),經(jīng)過(guò)一系列的基于注意力機(jī)制的矩陣運(yùn)算之后將得到一個(gè)與S1 的尺度一致的點(diǎn)云數(shù)據(jù)S0′,代表經(jīng)過(guò)處理后的S0 的數(shù)據(jù)。給定輸入的點(diǎn)云數(shù)據(jù)S0 和S1 的特征圖分別為F0和F1,其中F0∈RNl-2×Cl-2,F(xiàn)1∈RNl-1×Cl-1,且Cl-2和Cl-1代表F0和F1的特征通道數(shù)。這個(gè)過(guò)程可以用如下公式表示:

    圖4 具有注意力機(jī)制的搜索單元Fig.4 Search cell with attention mechanism

    其中,?代表矩陣叉乘;θ、φ、?、σ0都是非線性卷積層,可以采用1×1卷積代替;θ、φ、?是用于生成注意力圖,σ0則是用于融合全局語(yǔ)義信息和調(diào)整特征通道數(shù)。這個(gè)設(shè)計(jì)思想來(lái)自于自注意力結(jié)構(gòu)(self-attention)[23],在自注意力結(jié)構(gòu)中,鍵值矩陣(key)和查詢(xún)矩陣(query)由一個(gè)輸入特征圖經(jīng)過(guò)兩組1×1卷積計(jì)算得到,之后鍵值矩陣和查詢(xún)矩陣進(jìn)行點(diǎn)乘得到一個(gè)全局的特征圖注意力權(quán)重,最后與值矩陣(value)進(jìn)行點(diǎn)乘并輸出,其中值矩陣也是由輸入特征圖經(jīng)過(guò)1×1 卷積計(jì)算得到。而本文設(shè)計(jì)的唯一不同之處在于,鍵值矩陣(key)和值矩陣(value)來(lái)自一個(gè)較大尺度的點(diǎn)云數(shù)據(jù),查詢(xún)矩陣(query)來(lái)自一個(gè)較小尺度的點(diǎn)云數(shù)據(jù)。由于較小尺度點(diǎn)云是由較大尺度點(diǎn)云經(jīng)過(guò)下采樣得到的,其包含了原有點(diǎn)云的一部分幾何結(jié)構(gòu)信息,將這個(gè)小尺度點(diǎn)云作為查詢(xún)矩陣來(lái)源,可以使自注意力模型更好地計(jì)算出原有點(diǎn)云的關(guān)鍵點(diǎn)位置,得到更好的注意力圖從而提高表征能力。另外,采用不同的下采樣方法也會(huì)對(duì)該注意力模塊造成不同影響,在實(shí)驗(yàn)4.3.2 小節(jié)對(duì)比了采用不同的下采樣方式在不同規(guī)模的點(diǎn)云上所產(chǎn)生的效果。

    其次,為了讓S1 實(shí)現(xiàn)同樣的全局上下文信息聚合,采用了一種簡(jiǎn)單的注意力機(jī)制來(lái)處理點(diǎn)云數(shù)據(jù)S1。首先,S1 將輸入到一個(gè)非線性卷積層并進(jìn)行softmax 計(jì)算,得到的數(shù)據(jù)再與原始S1 進(jìn)行點(diǎn)乘計(jì)算,得到的輸出數(shù)據(jù)S1′代表經(jīng)過(guò)處理后的S1 數(shù)據(jù)。這個(gè)過(guò)程可以用如下公式表示:

    其中,⊙代表矩陣點(diǎn)乘,τ是用于生成注意力圖的非線性卷積層,σ1的作用與σ0類(lèi)似。這個(gè)結(jié)構(gòu)設(shè)計(jì)思想來(lái)自于通道空間注意力模塊(CBAM)[24]中的空間注意力模塊,其能在空間維度上重新校準(zhǔn)點(diǎn)云特征圖,突出關(guān)鍵點(diǎn)信息。采用這個(gè)結(jié)構(gòu)也能避免S0′和S1 兩個(gè)點(diǎn)云數(shù)據(jù)之間的關(guān)鍵點(diǎn)信息差距過(guò)大導(dǎo)致難收斂的問(wèn)題,從而提升預(yù)測(cè)精度。

    這個(gè)模塊增強(qiáng)了兩個(gè)尺度點(diǎn)云數(shù)據(jù)的融合,解決了直接下采樣導(dǎo)致點(diǎn)云數(shù)據(jù)之間的語(yǔ)義信息差異過(guò)大的問(wèn)題,另外,由于對(duì)兩個(gè)尺度的點(diǎn)云數(shù)據(jù)中都采用了注意力機(jī)制,增強(qiáng)了全局語(yǔ)義信息,從而提高了模型精度。在消融實(shí)驗(yàn)中也討論了這個(gè)模塊所帶來(lái)的效果。一個(gè)完整的具有注意力機(jī)制的搜索單元如圖4所示,經(jīng)過(guò)基于注意力機(jī)制的多尺度融合模塊處理后,得到新的S0 和S1 點(diǎn)云數(shù)據(jù)將作為兩個(gè)輸入節(jié)點(diǎn)傳遞到基于點(diǎn)卷積的候選操作組合模塊,并輸出最終數(shù)據(jù)。

    3.3 基于點(diǎn)卷積的候選操作

    為了解決點(diǎn)云處理效率問(wèn)題,本文采用了基于點(diǎn)卷積的特征提取器組成候選操作(operations)。每個(gè)搜索單元中都包含以下5 種候選操作:MLP 點(diǎn)卷積核(相鄰點(diǎn)數(shù)量設(shè)置為16、32、64),shell 點(diǎn)卷積核(層數(shù)設(shè)置為2、4,其中每層包含點(diǎn)數(shù)設(shè)置為16),恒同連接(skipconnect),空置操作(zero),1×1卷積。MLP點(diǎn)卷積核和shell 點(diǎn)卷積核是本文采用的面向三維點(diǎn)云的特征提取器,其他候選操作的功能則與面向圖像數(shù)據(jù)方法中的類(lèi)似。

    不同于圖像這種網(wǎng)格狀的規(guī)則數(shù)據(jù),三維點(diǎn)云是稀疏分布的,其中每個(gè)點(diǎn)包括了三維坐標(biāo)( )x,y,z和語(yǔ)義特征值(比如RGB 值),在本文中用x∈RN×3表示每個(gè)點(diǎn)的三維坐標(biāo)信息,用f∈RN×C代表上下文語(yǔ)意特征。為了減少一個(gè)深層神經(jīng)網(wǎng)絡(luò)的計(jì)算量,需要逐層地減少點(diǎn)云的數(shù)量。在本文中采用最遠(yuǎn)點(diǎn)采樣(farthest point sample,F(xiàn)PS)[25]和隨機(jī)采樣(random point sample,RPS)來(lái)逐層減少點(diǎn)云數(shù)量,這類(lèi)似于圖像卷積神經(jīng)網(wǎng)絡(luò)中采用最大池化(max-pooling)等操作來(lái)逐層減少特征圖的分辨率。FPS 算法會(huì)迭代地尋找與當(dāng)前選擇點(diǎn)相離最遠(yuǎn)的點(diǎn),其計(jì)算復(fù)雜度為O(N2)。采用FPS 算法得到的下采樣點(diǎn)云能保留更多的幾何結(jié)構(gòu)信息。RPS算法則是隨機(jī)選擇一定數(shù)量的點(diǎn),其計(jì)算復(fù)雜度為O(N),但對(duì)點(diǎn)云密度分布不平衡的情況十分敏感,適用于點(diǎn)數(shù)量較多的點(diǎn)云數(shù)據(jù)。這兩種下采樣算法將作為一個(gè)在搜索過(guò)程中的超參數(shù),搜索算法將使用其中一種方式進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。在實(shí)驗(yàn)4.3.2小節(jié)也對(duì)這個(gè)超參數(shù)進(jìn)行了對(duì)比實(shí)驗(yàn)。

    為了能讓點(diǎn)卷積核更好地學(xué)習(xí)點(diǎn)云的局部特征,點(diǎn)云中的點(diǎn)需要聚合成多個(gè)點(diǎn)集,每個(gè)點(diǎn)集都會(huì)被輸入到點(diǎn)卷積核中。由于點(diǎn)云數(shù)據(jù)通常規(guī)模較大,對(duì)近鄰點(diǎn)聚合方法的計(jì)算效率有較高要求,目前點(diǎn)云處理領(lǐng)域中比較主流的近鄰點(diǎn)聚合方法有K-最近鄰點(diǎn)搜索(K-nearest neighbors,KNN)和球搜索(ball-query),文獻(xiàn)[20]證明了采用球搜索方法會(huì)導(dǎo)致輸入到卷積核中點(diǎn)的數(shù)量不穩(wěn)定,從而影響模型收斂,而采用KNN能維持固定的點(diǎn)數(shù)量,使得模型能夠獲得更好的預(yù)測(cè)精度,而且KNN有更快的計(jì)算速度,因此在本文中也采用KNN 算法實(shí)現(xiàn)該近鄰點(diǎn)聚合過(guò)程。

    對(duì)于點(diǎn)卷積核,采用了基于多層感知機(jī)(MLP)的MLP點(diǎn)卷積核和基于可分離卷積的shell點(diǎn)卷積核兩種。

    MLP 點(diǎn)卷積核具有計(jì)算效率高的特點(diǎn),而且由于MLP 能夠擬合任意連續(xù)函數(shù),所以這種點(diǎn)卷積核被證明有一定的特征提取能力[12]。借鑒了這個(gè)思路,本文重新設(shè)計(jì)了一種簡(jiǎn)單的MLP 點(diǎn)卷積核,其中包含了一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò),輸入層節(jié)點(diǎn)數(shù)和輸出層節(jié)點(diǎn)數(shù)分別等于輸入特征圖和輸出特征圖的通道數(shù)。一個(gè)支持點(diǎn)p和其K-1個(gè)近鄰點(diǎn)所構(gòu)成點(diǎn)集為{x1,x2,…,xk},xi∈R3+C,則一個(gè)MLP 點(diǎn)卷積運(yùn)算可以描述成如下的公式:

    其中h代表全連接神經(jīng)網(wǎng)絡(luò)。具體流程如圖5所示,對(duì)于第l層的點(diǎn)云中的某一個(gè)點(diǎn)集,將這個(gè)點(diǎn)集中所有點(diǎn)的上下文特征矩陣與對(duì)應(yīng)的點(diǎn)云三維坐標(biāo)矩陣(形狀為[Nl+1,K,3])進(jìn)行拼接(concatenate),得到形狀如[Nl+1,K,3+Cin]的矩陣,并將其輸入到MLP 點(diǎn)卷積核中,得到形狀如[Nl+1,Cout]的特征圖矩陣,作為第l+1層的輸入。由于點(diǎn)云的三維坐標(biāo)與上下文信息是結(jié)合起來(lái)輸入到MLP 點(diǎn)卷積核,所以MLP 點(diǎn)卷積核能夠從中學(xué)習(xí)到三維坐標(biāo)與上下文之間的關(guān)系。

    圖5 MLP點(diǎn)卷積核的具體細(xì)節(jié)Fig.5 Details of MLP point convolution kernel

    shell點(diǎn)卷積核則是使用了ShellNet[20]中的設(shè)計(jì)。在深層的卷積神經(jīng)網(wǎng)絡(luò)中通常會(huì)逐層地減少特征圖分辨率,同時(shí)增加特征圖的通道數(shù),通過(guò)使用疊加卷積核的方法來(lái)獲得足夠大的感受野,MLP 點(diǎn)卷積核就是延續(xù)了這種想法,而shell點(diǎn)卷積核則是利用多個(gè)同心環(huán)區(qū)域劃分不同權(quán)值,從而使用少量卷積核疊加即可獲得足夠大的感受野,具有一定的計(jì)算效率優(yōu)勢(shì)。

    每個(gè)搜索單元中都包括了6 個(gè)節(jié)點(diǎn)(圖4(b)),即3個(gè)中間節(jié)點(diǎn),2個(gè)輸入節(jié)點(diǎn)(輸入數(shù)據(jù)為S0′和S1′)和1個(gè)輸出節(jié)點(diǎn),一個(gè)節(jié)點(diǎn)的數(shù)據(jù)會(huì)經(jīng)過(guò)候選操作處理后輸出給下一個(gè)節(jié)點(diǎn)。一個(gè)搜索單元的2 個(gè)輸入節(jié)點(diǎn)的輸入數(shù)據(jù)來(lái)自前兩個(gè)搜索單元的輸出,輸出節(jié)點(diǎn)則是由所有中間節(jié)點(diǎn)的最終輸出經(jīng)過(guò)拼接得到的。

    4 實(shí)驗(yàn)

    4.1 在ModelNet10上進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

    4.1.1 實(shí)驗(yàn)數(shù)據(jù)集

    ModelNet[9]系列數(shù)據(jù)集是一種三維點(diǎn)云分類(lèi)任務(wù)數(shù)據(jù)集,其包括兩個(gè)子數(shù)據(jù)集,即含有10個(gè)類(lèi)別的Model-Net10 和含有40 個(gè)類(lèi)別的ModelNet40。ModelNet10 含有4 899個(gè)物體模型的三維點(diǎn)云數(shù)據(jù),其中包括3 991個(gè)測(cè)試樣本和908個(gè)訓(xùn)練樣本,對(duì)于每個(gè)模型的點(diǎn)云都將采樣出固定的1 024個(gè)點(diǎn)。ModelNet40含有12 311個(gè)物體模型的三維點(diǎn)云數(shù)據(jù),其中包括9 843 個(gè)訓(xùn)練樣本和2 468個(gè)測(cè)試樣本,同樣對(duì)每個(gè)模型的點(diǎn)云都采樣出固定的1 024個(gè)點(diǎn)。這里面的每個(gè)點(diǎn)都只包含了三維坐標(biāo)。

    本文延續(xù)了SGAS的搜索階段的思路,即首先在小型數(shù)據(jù)集ModelNet10中搜索出一個(gè)包含正常單元和下采樣單元的小型神經(jīng)網(wǎng)絡(luò)。然后采用增加通道數(shù)量和疊加多個(gè)單元的方式得到一個(gè)大型神經(jīng)網(wǎng)絡(luò),作為面向大型數(shù)據(jù)集ModelNet40的模型。

    4.1.2 參數(shù)設(shè)置

    一個(gè)小型的神經(jīng)網(wǎng)絡(luò)有4個(gè)單元疊加而成,其中會(huì)在第1/3和2/3層的位置(即第1和第3層)使用下采樣單元。正常單元中的點(diǎn)卷積核不會(huì)進(jìn)行下采樣計(jì)算,而下采樣單元中的點(diǎn)卷積核則會(huì)進(jìn)行下采樣計(jì)算,經(jīng)過(guò)下采樣步驟之后,點(diǎn)數(shù)量減少至Nl,其中Nl=Nl-1/4,并且每個(gè)點(diǎn)的特征通道數(shù)將擴(kuò)展成2 倍。這樣設(shè)計(jì)的小型的神經(jīng)網(wǎng)絡(luò)相當(dāng)于有4個(gè)層,而且第一層的特征通道數(shù)設(shè)定為32。

    首先用ModelNet10小型數(shù)據(jù)集對(duì)這個(gè)小型神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。采用16 的批大小(batch size)訓(xùn)練40 遍(epochs),采用隨機(jī)梯度下降(SGD)優(yōu)化器來(lái)優(yōu)化模型的權(quán)重W。采用Adam 優(yōu)化器來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)A,A={α(i,j)}。需要注意的是對(duì)于SGAS搜索算法,本文只采用了第一種準(zhǔn)則(Criterion 1)來(lái)選擇操作o(i,j),對(duì)于DARTS 搜索算法則延續(xù)文獻(xiàn)[16]中的標(biāo)準(zhǔn)。本文的全部實(shí)驗(yàn)都在一個(gè)有11 GB顯存的NVIDIA GTX 1080Ti顯卡上進(jìn)行。

    4.1.3 實(shí)驗(yàn)結(jié)果

    對(duì)于每一個(gè)搜索算法,都完成了10個(gè)獨(dú)立的搜索過(guò)程,得到10個(gè)不同的小型神經(jīng)網(wǎng)絡(luò),然后分別對(duì)小型神經(jīng)網(wǎng)絡(luò)中的單元進(jìn)行疊加,得到10個(gè)大型神經(jīng)網(wǎng)絡(luò),其中每個(gè)大型神經(jīng)網(wǎng)絡(luò)的單元數(shù)都由4個(gè)正常單元和2個(gè)下采樣單元組成,并且第一層的特征通道數(shù)設(shè)定為48。批大小設(shè)定為16,并使用Adam 優(yōu)化器訓(xùn)練80 epochs,且初始學(xué)習(xí)率為0.001,權(quán)值衰減(weight decay)為1×10-4。10 個(gè)大型神經(jīng)網(wǎng)絡(luò)在ModelNet10 數(shù)據(jù)集上的平均精度、最高精度以及與其他方法對(duì)比如表1 所示。相比一些經(jīng)典的人工設(shè)計(jì)神經(jīng)網(wǎng)絡(luò),本文提出的方法在這個(gè)小型數(shù)據(jù)集上有領(lǐng)先的準(zhǔn)確率,而且采用SGAS 搜索算法在本文提出的搜索空間中搜索效果更好,相比用DARTS搜索算法的準(zhǔn)確率提升了約0.6個(gè)百分點(diǎn)。

    表1 分類(lèi)任務(wù)數(shù)據(jù)集ModelNet10上的模型結(jié)果對(duì)比Table 1 Comparison of model results on classification task ModelNet10 dataset

    4.2 在ModelNet40 上對(duì)搜索得到的神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證

    4.2.1 參數(shù)設(shè)置

    這里只選擇前面10個(gè)大型神經(jīng)網(wǎng)絡(luò)中最高精度的3個(gè),并重新進(jìn)行訓(xùn)練。批大小設(shè)定為16,使用Adam優(yōu)化器訓(xùn)練150 epochs,且初始學(xué)習(xí)率為0.001,權(quán)值衰減(weight decay)為1×10-4。

    4.2.2 實(shí)驗(yàn)結(jié)果

    訓(xùn)練結(jié)果對(duì)比如表2所示,其中列出了4.2.1小節(jié)中選定的3 個(gè)大型神經(jīng)網(wǎng)絡(luò)在ModelNet40 數(shù)據(jù)集的測(cè)試樣本集上的最高準(zhǔn)確率和平均準(zhǔn)確率,可以看到本文提出的基于SGAS搜索算法或者基于DARTS搜索算法都比其他一些人工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)有更高的精度,說(shuō)明本文提出的基于點(diǎn)卷積的搜索空間有一定的效果。同時(shí),這些表現(xiàn)良好的大型神經(jīng)網(wǎng)絡(luò)都只用了0.18~0.20 個(gè)GPU-day(約4 h)即完成了神經(jīng)網(wǎng)絡(luò)構(gòu)建的過(guò)程,相比人工設(shè)計(jì)和微調(diào)神經(jīng)網(wǎng)絡(luò)的方式,大幅減少了人力和時(shí)間成本。

    表2 分類(lèi)任務(wù)數(shù)據(jù)集ModelNet40上的模型結(jié)果對(duì)比Table 2 Comparison of model results on classification task ModelNet40 dataset

    采用SGAS 搜索算法在本文提出的基于點(diǎn)卷積的搜索空間進(jìn)行搜索,相比基于圖卷積的搜索空間(SGAS原文方法),其搜索耗時(shí)減少0.01個(gè)GPU-day(約0.24 h),搜索得到的網(wǎng)絡(luò)可學(xué)習(xí)參數(shù)數(shù)量減少約70%,但準(zhǔn)確率相比略低,可能的原因是本文使用的一些超參數(shù)(比如近鄰點(diǎn)數(shù)量K、疊加的單元數(shù)量等)沒(méi)有做詳細(xì)的優(yōu)化挑選。

    本文提出了一種基于點(diǎn)卷積的搜索空間,可以采用任意基于可微分的搜索算法對(duì)其進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索,且采用不同的搜索算法得到的神經(jīng)網(wǎng)絡(luò)通常具有不同的收斂性。如圖6和圖7所展示的分別是采用兩種搜索算法在ModelNet10和ModelNet40數(shù)據(jù)集上的訓(xùn)練驗(yàn)證曲線。從圖6(b)和圖7(b)可以看出,采用SGAS搜索算法得到的神經(jīng)網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集的驗(yàn)證集上均獲得較低的誤差,而且通過(guò)圖6 和圖7 可看出SGAS 得到的神經(jīng)網(wǎng)絡(luò)具有更快的收斂速度,即誤差更早地降至最低水平。這是因?yàn)镈ARTS比較容易搜索出有較差表征能力的網(wǎng)絡(luò)結(jié)構(gòu),而SGAS中以貪婪的方式逐步確定每個(gè)候選操作的方案則可以改善這種情況,而且根據(jù)在實(shí)驗(yàn)中的觀察發(fā)現(xiàn),采用SGAS得到的神經(jīng)網(wǎng)絡(luò)通常有更多的參數(shù)量,由于較復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)通常有更好的泛化能力,所以采用SGAS得到的神經(jīng)網(wǎng)絡(luò)會(huì)有更高的準(zhǔn)確率。另外,采用這兩種搜索算法得到的神經(jīng)網(wǎng)絡(luò)都可以較好地收斂,表明本文提出的搜索空間具有一定的可行性。

    圖6 在ModelNet10數(shù)據(jù)集上的訓(xùn)練和驗(yàn)證誤差Fig.6 Train and valid loss on ModelNet10 dataset

    圖7 在ModelNet40數(shù)據(jù)集上的訓(xùn)練和驗(yàn)證誤差Fig.7 Train and valid loss on ModelNet40 dataset

    4.3 在ModelNet40上進(jìn)行消融實(shí)驗(yàn)

    4.3.1 分析不同單元數(shù)和特征通道數(shù)的影響

    由于構(gòu)成一個(gè)神經(jīng)網(wǎng)絡(luò)的單元(cell)數(shù)和第一層特征通道數(shù)是人工設(shè)定的,為了觀察這個(gè)設(shè)定對(duì)實(shí)驗(yàn)結(jié)果的影響,本文針對(duì)這兩個(gè)超參數(shù)進(jìn)行了消融實(shí)驗(yàn)。即是在搜索階段,使用不同的單元數(shù)和第一層特征通道數(shù)組成小型神經(jīng)網(wǎng)絡(luò),并使用SGAS搜索算法進(jìn)行搜索。如表3 所示的是采用不同的單元數(shù)和第一層特征通道數(shù)進(jìn)行神經(jīng)網(wǎng)絡(luò)搜索,最終得到的神經(jīng)網(wǎng)絡(luò)在Model-Net40數(shù)據(jù)集上的預(yù)測(cè)精度。可以看到隨著單元數(shù)和通道數(shù)增加,搜索耗時(shí)也會(huì)隨之增加,而且通道數(shù)對(duì)搜索耗時(shí)有更大的影響。其次,采用更多的單元和更多的特征通道數(shù),搜索得到的神經(jīng)網(wǎng)絡(luò)具有更好的準(zhǔn)確率,但需要留意的是,當(dāng)通道數(shù)達(dá)到64時(shí),準(zhǔn)確率提升相比通道數(shù)為32 時(shí)變化不大,這表明小型神經(jīng)網(wǎng)絡(luò)的最優(yōu)通道數(shù)是32。

    表3 由不同單元數(shù)和特征通道數(shù)搜索得到的神經(jīng)網(wǎng)絡(luò)對(duì)比Table 3 Comparison of neural networks searched by different number of cells and feature channels

    4.3.2 不同的下采樣方法效果對(duì)比

    對(duì)于下采樣方法,本文采用了最遠(yuǎn)點(diǎn)采樣(FPS)和隨機(jī)采樣(RPS)兩種,為了對(duì)比這兩種下采樣方法對(duì)模型的影響,在本實(shí)驗(yàn)中分別采用FPS和RPS組合成兩種搜索空間,然后分別在不同點(diǎn)云數(shù)量的數(shù)據(jù)集中進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索,其他實(shí)驗(yàn)設(shè)定與4.1節(jié)和4.2節(jié)中的一致。最后驗(yàn)證搜索得到的神經(jīng)網(wǎng)絡(luò)性能,并對(duì)比其推斷時(shí)間。

    性能對(duì)比結(jié)果如圖8 所示,在1 024 個(gè)點(diǎn)數(shù)量的點(diǎn)云數(shù)據(jù)中,采用RPS 方式得到的神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率為91.9%,而采用FPS 方式的準(zhǔn)確率相比略高,為92.4%。隨著點(diǎn)數(shù)量減少,采用RPS方式得到的神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率下降幅度不斷增大,而采用FPS方式的準(zhǔn)確率則是平穩(wěn)下降。這是因?yàn)椴捎肦PS 方式得到的點(diǎn)云很容易丟失幾何信息,下采樣率越大,對(duì)準(zhǔn)確率影響也會(huì)不斷加大。而經(jīng)過(guò)FPS 得到的下采樣點(diǎn)云仍能保留較準(zhǔn)確的幾何信息,采用這種下采樣點(diǎn)云作為查詢(xún)點(diǎn)(query),使得本文3.2節(jié)節(jié)中的注意力模塊能更好地計(jì)算出原有點(diǎn)云中關(guān)鍵點(diǎn)的位置,從而更好地融合多尺度點(diǎn)云信息,提高預(yù)測(cè)精度。

    圖8 采用RPS和FPS搜索到的神經(jīng)網(wǎng)絡(luò)性能對(duì)比Fig.8 Comparison of networks performance searched with RPS and FPS

    推斷時(shí)間對(duì)比如圖9所示,相比采用RPS下采樣的方式,采用FPS 的神經(jīng)網(wǎng)絡(luò)單個(gè)樣本的推斷時(shí)間多了4 ms,隨著點(diǎn)數(shù)量減少,采用FPS 和RPS 兩種方式之間的推斷時(shí)間沒(méi)有拉開(kāi)較大差距,這是因?yàn)樵谡麄€(gè)神經(jīng)網(wǎng)絡(luò)中下采樣的計(jì)算量占比不大,所以這兩種方式?jīng)]有表現(xiàn)出明顯差距。

    圖9 采用RPS和FPS搜索到的神經(jīng)網(wǎng)絡(luò)推斷時(shí)間對(duì)比Fig.9 Comparison of networks inference time searched with RPS and FPS

    4.3.3 基于注意力機(jī)制的多尺度融合模塊對(duì)比

    為了讓搜索單元能更好地融合兩個(gè)不同尺度的輸入點(diǎn)云數(shù)據(jù),提出了一種基于注意力機(jī)制的多尺度融合模塊。為了對(duì)比這個(gè)模塊帶來(lái)的性能提升,本文同樣在ModelNet40 數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn),其中的基線模型采用類(lèi)似于面向圖像的搜索單元(圖3),其結(jié)果如表4所示,相對(duì)于基線模型,加入了多尺度融合模塊之后,可學(xué)習(xí)參數(shù)量增加了0.22×106,推斷時(shí)間增加3 ms,準(zhǔn)確率提升了1.1 個(gè)百分點(diǎn),由此證明這個(gè)模塊能帶來(lái)一定的精度提升,同時(shí)不會(huì)增加過(guò)多的計(jì)算消耗。因?yàn)樵谝粋€(gè)神經(jīng)網(wǎng)絡(luò)中,只有下采樣單元后面的一個(gè)普通單元中會(huì)采用多尺度融合模塊,而整個(gè)神經(jīng)網(wǎng)絡(luò)只包含了兩個(gè)下采樣單元,所以多尺度融合模塊也只計(jì)算了兩次。另外,在多尺度融合模塊中只有6個(gè)1×1 卷積具有可學(xué)習(xí)參數(shù),總參數(shù)量與一個(gè)shell點(diǎn)卷積接近,所以加入多尺度融合模塊所增加的計(jì)算消耗十分有限。

    表4 基于注意力機(jī)制的多尺度融合模塊的對(duì)比結(jié)果Table 4 Comparison results of attention mechanism-based multi-scale fusion module

    4.3.4 采用不同候選操作的對(duì)比

    本文采用了shell點(diǎn)卷積核和MLP點(diǎn)卷積核作為主要的特征提取器加入到候選操作組合中,為了對(duì)比這兩個(gè)候選操作帶來(lái)的性能提升,本文采用不同的候選操作組合重新進(jìn)行網(wǎng)絡(luò)架構(gòu)搜索和訓(xùn)練驗(yàn)證過(guò)程,結(jié)果如表5 所示,其中基線模型是由恒同連接(skip-connect),空置操作(zero),1×1 卷積作為候選操作搜索得到的神經(jīng)網(wǎng)絡(luò)??梢钥吹交€模型的準(zhǔn)確率很低,因?yàn)橹挥?×1卷積導(dǎo)致模型缺乏足夠的特征提取能力。單獨(dú)加入MLP點(diǎn)卷積核或者shell點(diǎn)卷積核都能帶來(lái)一定的準(zhǔn)確率提升,同時(shí)也能看出MLP 點(diǎn)卷積核的可學(xué)習(xí)參數(shù)量比shell點(diǎn)卷積核少。另外值得注意的是,單獨(dú)加入shell點(diǎn)卷積核的可學(xué)習(xí)參數(shù)量比同時(shí)加入MLP點(diǎn)卷積核和shell 點(diǎn)卷積核的多,但準(zhǔn)確率卻有所下降,這是因?yàn)樵谏窠?jīng)網(wǎng)絡(luò)中加入MLP點(diǎn)卷積核來(lái)替換一部分shell點(diǎn)卷積核,可以在減少神經(jīng)網(wǎng)絡(luò)參數(shù)量的同時(shí)增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度,一定程度上緩解過(guò)擬合的問(wèn)題,從而提升準(zhǔn)確率,這也證明了同時(shí)采用shell 點(diǎn)卷積核和MLP 點(diǎn)卷積核作為候選操作的必要性。

    表5 由不同候選操作組合搜索得到的神經(jīng)網(wǎng)絡(luò)對(duì)比Table 5 Comparison of neural networks searched by different combinations of candidate operations

    4.3.5 搜索結(jié)果可視化

    經(jīng)過(guò)搜索得到的神經(jīng)網(wǎng)絡(luò)由多個(gè)搜索單元疊加而成,其中搜索得到效果最優(yōu)的搜索單元中的候選操作組合如圖10 和圖11 所示,需要注意的是因?yàn)榛谧⒁饬C(jī)制的多尺度融合模塊是固定的結(jié)構(gòu),所以圖中沒(méi)有畫(huà)出這一部分。mlpconv_k32 代表近鄰點(diǎn)設(shè)置為32 的MLP 點(diǎn)卷積,shellconv_s2 代表近鄰點(diǎn)為32 且含有2 層的shell 點(diǎn)卷積,shellconv_s4 代表近鄰點(diǎn)為64 且含有4層的shell 點(diǎn)卷積,skip_connect 代表恒同連接??梢钥吹皆谙虏蓸铀阉鲉卧?,shell 點(diǎn)卷積的數(shù)量占比較多,這是因?yàn)橄虏蓸舆^(guò)程通常需要更大的感受野,而shell點(diǎn)卷積相比MLP 點(diǎn)卷積擁有更大的感受野。另外,在一個(gè)神經(jīng)網(wǎng)絡(luò)中正常搜索單元數(shù)量更多,所以在正常搜索單元中具有更多的恒同連接(skip-connect)和1×1 卷積,這樣能夠在維持一定學(xué)習(xí)能力的同時(shí)減少神經(jīng)網(wǎng)絡(luò)參數(shù)量。

    圖1 DARTS搜索算法流程Fig.1 Process of DARTS search algorithm

    圖10 正常搜索單元中的候選操作Fig.10 Candidate operations in normal search cell

    圖11 下采樣搜索單元中的候選操作Fig.11 Candidate operations in subsample search cell

    5 結(jié)束語(yǔ)

    本文提出了一種面向三維點(diǎn)云的基于點(diǎn)卷積的搜索空間,組成該搜索空間的搜索單元中,包含了由MLP點(diǎn)卷積核和shell點(diǎn)卷積核構(gòu)成的候選操作和一種基于注意力機(jī)制的多尺度點(diǎn)云融合模塊。使用任意基于DARTS的搜索算法對(duì)這個(gè)搜索空間進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索,即可得到能直接處理原始三維點(diǎn)云的點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)。本文借助了基于DARTS的搜索算法SGAS在一個(gè)小型三維點(diǎn)云數(shù)據(jù)集ModelNet10上進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索,最終得到基于點(diǎn)卷積的神經(jīng)網(wǎng)絡(luò)可以在大型三維點(diǎn)云數(shù)據(jù)集ModelNet40上獲得比較領(lǐng)先的精度。同時(shí)在消融實(shí)驗(yàn)中證明了提出的多尺度融合模塊能在基線模型上帶來(lái)一定的精度提升。同樣采用SGAS 搜索算法,相比在圖卷積搜索空間中搜索神經(jīng)網(wǎng)絡(luò)的方式,在本文提出的點(diǎn)卷積搜索空間中搜索神經(jīng)網(wǎng)絡(luò)的方式能在維持相近精度的同時(shí)有更快的網(wǎng)絡(luò)搜索速度,且搜索出的神經(jīng)網(wǎng)絡(luò)具有更少的可學(xué)習(xí)參數(shù)。由于整個(gè)搜索過(guò)程是全自動(dòng)的,相比于人工設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的方法,本文提出的方法可以在很少的人工介入情況下,自動(dòng)搜索出性能優(yōu)秀的神經(jīng)網(wǎng)絡(luò)。關(guān)于后續(xù)的工作,計(jì)劃是設(shè)計(jì)出更多的具有高計(jì)算效率的三維點(diǎn)云特征提取器,并作為候選操作加入到搜索空間中,以求搜索出的神經(jīng)網(wǎng)絡(luò)具有更高的特征提取能力,以及針對(duì)點(diǎn)云數(shù)據(jù)的特性繼續(xù)對(duì)搜索空間進(jìn)行優(yōu)化。

    猜你喜歡
    特征提取方法
    特征提取和最小二乘支持向量機(jī)的水下目標(biāo)識(shí)別
    基于Gazebo仿真環(huán)境的ORB特征提取與比對(duì)的研究
    電子制作(2019年15期)2019-08-27 01:12:00
    學(xué)習(xí)方法
    基于Daubechies(dbN)的飛行器音頻特征提取
    電子制作(2018年19期)2018-11-14 02:37:08
    Bagging RCSP腦電特征提取算法
    可能是方法不對(duì)
    用對(duì)方法才能瘦
    Coco薇(2016年2期)2016-03-22 02:42:52
    四大方法 教你不再“坐以待病”!
    Coco薇(2015年1期)2015-08-13 02:47:34
    賺錢(qián)方法
    捕魚(yú)
    免费看a级黄色片| 欧美黑人巨大hd| 一本一本综合久久| 成人综合一区亚洲| 又紧又爽又黄一区二区| 国产一区二区在线观看日韩| 久久久久久久精品吃奶| 亚洲欧美精品综合久久99| 在线播放无遮挡| av在线蜜桃| 在线免费观看的www视频| 99国产精品一区二区蜜桃av| 亚洲国产精品久久男人天堂| 日本成人三级电影网站| 国产精品久久久久久精品电影| 嫩草影院新地址| 韩国av在线不卡| 日本一本二区三区精品| 麻豆久久精品国产亚洲av| 国产精品,欧美在线| 毛片一级片免费看久久久久 | 亚洲中文字幕一区二区三区有码在线看| 搡女人真爽免费视频火全软件 | 亚洲欧美清纯卡通| 国内精品久久久久精免费| 全区人妻精品视频| 久久精品国产清高在天天线| 在线观看午夜福利视频| 久久人妻av系列| 免费av不卡在线播放| 男女下面进入的视频免费午夜| 偷拍熟女少妇极品色| 少妇人妻精品综合一区二区 | 无人区码免费观看不卡| 国产精品不卡视频一区二区| 国产一区二区三区av在线 | 欧美精品国产亚洲| 国产成人aa在线观看| 精品国内亚洲2022精品成人| 亚洲专区中文字幕在线| 色综合站精品国产| 麻豆精品久久久久久蜜桃| 日韩一区二区视频免费看| 免费在线观看影片大全网站| 亚洲av成人av| 无人区码免费观看不卡| 免费看光身美女| 波多野结衣高清无吗| 3wmmmm亚洲av在线观看| 国产精品自产拍在线观看55亚洲| 国产精品一区www在线观看 | 97热精品久久久久久| 亚洲国产精品久久男人天堂| 熟女电影av网| 床上黄色一级片| 国产精品嫩草影院av在线观看 | 久久精品久久久久久噜噜老黄 | 我的老师免费观看完整版| 国产精品人妻久久久影院| 午夜福利视频1000在线观看| a级一级毛片免费在线观看| 国产高潮美女av| 亚洲av成人av| 午夜激情欧美在线| 天天一区二区日本电影三级| 精品人妻视频免费看| 在线观看美女被高潮喷水网站| 成年免费大片在线观看| 国产白丝娇喘喷水9色精品| avwww免费| 丝袜美腿在线中文| 日本一本二区三区精品| 亚洲精品在线观看二区| 超碰av人人做人人爽久久| 国产亚洲欧美98| 国产午夜精品论理片| 午夜影院日韩av| 欧美一区二区亚洲| 真人一进一出gif抽搐免费| 日韩 亚洲 欧美在线| 国产精品久久久久久久久免| 一卡2卡三卡四卡精品乱码亚洲| 啦啦啦观看免费观看视频高清| 国产亚洲精品av在线| 免费av不卡在线播放| 99久久久亚洲精品蜜臀av| 国产三级在线视频| 日日撸夜夜添| 深爱激情五月婷婷| 男插女下体视频免费在线播放| 99热这里只有是精品在线观看| 亚洲精品乱码久久久v下载方式| 麻豆一二三区av精品| 免费无遮挡裸体视频| 亚洲精品亚洲一区二区| 丰满的人妻完整版| 欧美日韩乱码在线| 成人性生交大片免费视频hd| 精品久久久久久久久久久久久| 久久香蕉精品热| 国产精品一区二区三区四区久久| aaaaa片日本免费| 欧美绝顶高潮抽搐喷水| 丰满的人妻完整版| 国产真实乱freesex| 国产在线男女| 午夜福利18| 两个人视频免费观看高清| 亚洲久久久久久中文字幕| 免费av不卡在线播放| 亚洲av免费在线观看| 国产淫片久久久久久久久| 天堂av国产一区二区熟女人妻| 欧美又色又爽又黄视频| 久久亚洲真实| 国产探花在线观看一区二区| 深夜a级毛片| 一区二区三区四区激情视频 | 性欧美人与动物交配| 亚洲色图av天堂| 国产精品国产三级国产av玫瑰| 欧美色视频一区免费| 天堂av国产一区二区熟女人妻| 人人妻人人澡欧美一区二区| 亚洲精品久久国产高清桃花| 麻豆一二三区av精品| 精品久久久久久,| 久久6这里有精品| 国产大屁股一区二区在线视频| 身体一侧抽搐| 日本爱情动作片www.在线观看 | 国产高清不卡午夜福利| 丰满乱子伦码专区| 欧美高清性xxxxhd video| 中文亚洲av片在线观看爽| 亚洲熟妇中文字幕五十中出| 又爽又黄无遮挡网站| 国产乱人伦免费视频| 亚洲精品色激情综合| 在现免费观看毛片| 欧美激情国产日韩精品一区| 国产成年人精品一区二区| 狂野欧美白嫩少妇大欣赏| 成人永久免费在线观看视频| 88av欧美| 亚洲精品456在线播放app | 日韩 亚洲 欧美在线| 搞女人的毛片| 国产男人的电影天堂91| 国产单亲对白刺激| 欧美日韩黄片免| 露出奶头的视频| 精品午夜福利视频在线观看一区| 国产高潮美女av| 在线观看美女被高潮喷水网站| 亚洲第一电影网av| 亚洲美女黄片视频| 国产亚洲av嫩草精品影院| 久久久久久久久中文| 黄片wwwwww| 给我免费播放毛片高清在线观看| 在线观看舔阴道视频| 国产精品av视频在线免费观看| 毛片女人毛片| 一个人看视频在线观看www免费| 免费av毛片视频| 毛片女人毛片| 欧美日韩瑟瑟在线播放| 欧美日韩中文字幕国产精品一区二区三区| 欧美高清性xxxxhd video| 人妻夜夜爽99麻豆av| 欧美性猛交╳xxx乱大交人| 人妻久久中文字幕网| 变态另类成人亚洲欧美熟女| 精品久久国产蜜桃| 尤物成人国产欧美一区二区三区| 日韩精品青青久久久久久| 欧美zozozo另类| 天堂网av新在线| 自拍偷自拍亚洲精品老妇| 亚洲五月天丁香| 免费在线观看日本一区| 午夜a级毛片| 可以在线观看毛片的网站| 亚洲国产精品sss在线观看| 一区二区三区免费毛片| 国产成人一区二区在线| 免费高清视频大片| 亚洲人成网站在线播| 国产精品一区二区性色av| 欧美日韩乱码在线| 真人做人爱边吃奶动态| 91麻豆精品激情在线观看国产| bbb黄色大片| 欧美日韩瑟瑟在线播放| 国产精品爽爽va在线观看网站| 精品久久久久久成人av| 最好的美女福利视频网| 欧美色视频一区免费| 一个人看视频在线观看www免费| 免费不卡的大黄色大毛片视频在线观看 | a在线观看视频网站| 人人妻人人看人人澡| 亚洲美女视频黄频| 性欧美人与动物交配| 亚洲第一区二区三区不卡| 国产精品爽爽va在线观看网站| 别揉我奶头 嗯啊视频| 欧美+亚洲+日韩+国产| 欧美在线一区亚洲| 韩国av一区二区三区四区| 日韩欧美一区二区三区在线观看| 成人av在线播放网站| 国产精品一区二区三区四区免费观看 | 舔av片在线| 一本精品99久久精品77| 午夜福利18| 亚洲国产精品成人综合色| 一级av片app| 看片在线看免费视频| av.在线天堂| 日本 av在线| 国产高清有码在线观看视频| 91麻豆av在线| 亚洲国产精品合色在线| 深夜a级毛片| 日本 欧美在线| 日本三级黄在线观看| 亚洲经典国产精华液单| 久久婷婷人人爽人人干人人爱| 啪啪无遮挡十八禁网站| 亚洲男人的天堂狠狠| 婷婷亚洲欧美| 亚洲美女视频黄频| 最近最新免费中文字幕在线| 精品久久久久久久久久久久久| 欧美区成人在线视频| 他把我摸到了高潮在线观看| av在线天堂中文字幕| 久久精品国产99精品国产亚洲性色| 亚洲精品456在线播放app | 又爽又黄无遮挡网站| av在线蜜桃| 69av精品久久久久久| 看片在线看免费视频| 99久久精品热视频| 蜜桃亚洲精品一区二区三区| 亚洲精品一区av在线观看| 久久国内精品自在自线图片| h日本视频在线播放| 狂野欧美激情性xxxx在线观看| 国产在视频线在精品| 国产一区二区三区av在线 | 久久中文看片网| 国模一区二区三区四区视频| 国产色婷婷99| 丰满人妻一区二区三区视频av| 蜜桃亚洲精品一区二区三区| 午夜福利在线在线| 久99久视频精品免费| 免费av不卡在线播放| 日韩欧美免费精品| 波多野结衣巨乳人妻| 他把我摸到了高潮在线观看| 干丝袜人妻中文字幕| 麻豆久久精品国产亚洲av| 亚洲精品影视一区二区三区av| 中文字幕av在线有码专区| 美女高潮喷水抽搐中文字幕| 在线播放国产精品三级| 黄片wwwwww| 在线看三级毛片| 日本黄大片高清| 亚洲欧美日韩卡通动漫| 在线国产一区二区在线| 天堂动漫精品| 亚洲av成人精品一区久久| 国内揄拍国产精品人妻在线| 色av中文字幕| 自拍偷自拍亚洲精品老妇| 麻豆国产av国片精品| 小说图片视频综合网站| 日本免费a在线| 麻豆一二三区av精品| 久久久久久久久久黄片| 国产在视频线在精品| 午夜福利18| 别揉我奶头~嗯~啊~动态视频| 欧美日韩综合久久久久久 | 午夜免费男女啪啪视频观看 | 久久香蕉精品热| 琪琪午夜伦伦电影理论片6080| 国产aⅴ精品一区二区三区波| 少妇被粗大猛烈的视频| 精品日产1卡2卡| 日韩精品青青久久久久久| 午夜精品在线福利| 国产高清不卡午夜福利| 欧美xxxx黑人xx丫x性爽| 欧美日韩瑟瑟在线播放| 亚洲七黄色美女视频| 亚洲精华国产精华液的使用体验 | 99久久久亚洲精品蜜臀av| 深夜精品福利| 国产视频一区二区在线看| 中文字幕av成人在线电影| 最近视频中文字幕2019在线8| 久久久久久久久久久丰满 | 久久久成人免费电影| 国产淫片久久久久久久久| 在线国产一区二区在线| 色在线成人网| 久久久久国内视频| 免费一级毛片在线播放高清视频| 亚洲精品亚洲一区二区| 亚洲国产精品成人综合色| 亚洲欧美日韩高清在线视频| 欧美又色又爽又黄视频| 久久亚洲真实| 精品国内亚洲2022精品成人| 精品久久久久久久久亚洲 | 身体一侧抽搐| 少妇裸体淫交视频免费看高清| 亚洲精品乱码久久久v下载方式| 两个人的视频大全免费| 高清日韩中文字幕在线| 亚洲成人久久爱视频| 国产毛片a区久久久久| 亚洲av免费在线观看| 在线看三级毛片| 国产精品久久久久久久电影| 九九热线精品视视频播放| 蜜桃久久精品国产亚洲av| 成人毛片a级毛片在线播放| 91久久精品国产一区二区成人| 日韩一区二区视频免费看| 亚洲精品日韩av片在线观看| 欧美色视频一区免费| 久久久久久久久久成人| 十八禁国产超污无遮挡网站| 久久精品国产99精品国产亚洲性色| 中文亚洲av片在线观看爽| a级毛片a级免费在线| 国产精品永久免费网站| 久久久午夜欧美精品| 女人十人毛片免费观看3o分钟| 久久人妻av系列| 少妇人妻一区二区三区视频| 亚洲欧美清纯卡通| 成人国产综合亚洲| 欧美性猛交黑人性爽| 国产又黄又爽又无遮挡在线| 一区二区三区高清视频在线| 一夜夜www| 天堂影院成人在线观看| 日日啪夜夜撸| 亚洲精品影视一区二区三区av| 国产精品野战在线观看| 日韩中字成人| 国产精品嫩草影院av在线观看 | 在线a可以看的网站| 久久精品综合一区二区三区| 黄色丝袜av网址大全| 人人妻,人人澡人人爽秒播| 国模一区二区三区四区视频| 亚洲午夜理论影院| 色吧在线观看| 97超级碰碰碰精品色视频在线观看| 三级男女做爰猛烈吃奶摸视频| 九九热线精品视视频播放| av黄色大香蕉| 亚洲乱码一区二区免费版| 禁无遮挡网站| 亚洲va日本ⅴa欧美va伊人久久| 天堂动漫精品| 欧美极品一区二区三区四区| 女同久久另类99精品国产91| 床上黄色一级片| 一卡2卡三卡四卡精品乱码亚洲| 永久网站在线| 最近中文字幕高清免费大全6 | 日韩欧美 国产精品| 免费人成视频x8x8入口观看| av专区在线播放| 色综合亚洲欧美另类图片| 国产亚洲欧美98| 亚洲成人久久性| 亚洲国产精品成人综合色| 在线国产一区二区在线| 久久久久久伊人网av| 成人鲁丝片一二三区免费| 麻豆久久精品国产亚洲av| 亚洲黑人精品在线| 中国美白少妇内射xxxbb| 亚洲熟妇熟女久久| 婷婷丁香在线五月| 久久婷婷人人爽人人干人人爱| 99久久成人亚洲精品观看| 国产精品一及| 欧美潮喷喷水| av在线天堂中文字幕| 内射极品少妇av片p| 岛国在线免费视频观看| 变态另类成人亚洲欧美熟女| 精品欧美国产一区二区三| 人妻夜夜爽99麻豆av| 亚洲成人久久爱视频| 欧美又色又爽又黄视频| 极品教师在线视频| 国产免费av片在线观看野外av| 久久精品国产鲁丝片午夜精品 | 国产精品不卡视频一区二区| 69人妻影院| 网址你懂的国产日韩在线| 97热精品久久久久久| 午夜福利在线观看免费完整高清在 | 国产爱豆传媒在线观看| 亚洲四区av| 亚洲国产高清在线一区二区三| 国产亚洲精品久久久com| 一进一出抽搐gif免费好疼| 中文字幕精品亚洲无线码一区| 日本与韩国留学比较| 婷婷丁香在线五月| 久久久久久伊人网av| 天堂网av新在线| 国产精品日韩av在线免费观看| 午夜免费男女啪啪视频观看 | 国产精品久久久久久久久免| 丰满的人妻完整版| 免费人成在线观看视频色| 狂野欧美激情性xxxx在线观看| 欧美激情国产日韩精品一区| 久久天躁狠狠躁夜夜2o2o| 国产精品久久久久久久电影| 一进一出抽搐动态| 日韩欧美精品v在线| 成年免费大片在线观看| 草草在线视频免费看| 国产又黄又爽又无遮挡在线| 琪琪午夜伦伦电影理论片6080| 久久久久免费精品人妻一区二区| 欧美zozozo另类| 九九在线视频观看精品| 国产真实乱freesex| 国产男靠女视频免费网站| 性欧美人与动物交配| 亚洲美女视频黄频| 亚洲三级黄色毛片| 一级毛片久久久久久久久女| 婷婷亚洲欧美| 精品欧美国产一区二区三| 日韩欧美国产一区二区入口| 99久国产av精品| 一进一出好大好爽视频| 国产激情偷乱视频一区二区| 97超级碰碰碰精品色视频在线观看| 亚洲一区二区三区色噜噜| 午夜激情欧美在线| 22中文网久久字幕| 一级av片app| 他把我摸到了高潮在线观看| 成人一区二区视频在线观看| 免费观看人在逋| 亚洲欧美日韩东京热| 最近最新免费中文字幕在线| 亚洲成人久久性| 久久99热6这里只有精品| 男女下面进入的视频免费午夜| 又黄又爽又刺激的免费视频.| 丰满乱子伦码专区| 伦理电影大哥的女人| 免费观看的影片在线观看| 亚洲精品亚洲一区二区| 中文字幕免费在线视频6| 国产91精品成人一区二区三区| 啦啦啦韩国在线观看视频| 欧美性感艳星| 女同久久另类99精品国产91| 51国产日韩欧美| 亚洲精品日韩av片在线观看| av在线老鸭窝| 俄罗斯特黄特色一大片| 国产黄片美女视频| av女优亚洲男人天堂| 精品人妻1区二区| 亚洲男人的天堂狠狠| 波多野结衣高清作品| 亚洲性久久影院| 一边摸一边抽搐一进一小说| 嫩草影视91久久| 久久草成人影院| 97超视频在线观看视频| netflix在线观看网站| 日韩欧美免费精品| 女同久久另类99精品国产91| 日韩高清综合在线| 亚洲中文字幕日韩| 毛片女人毛片| 一进一出抽搐动态| 亚洲成人免费电影在线观看| 亚洲五月天丁香| 国产乱人伦免费视频| 中亚洲国语对白在线视频| 少妇熟女aⅴ在线视频| 日韩高清综合在线| 国产三级中文精品| 内地一区二区视频在线| 国产成人福利小说| 婷婷亚洲欧美| 国产人妻一区二区三区在| 亚洲成人中文字幕在线播放| 精品久久久久久久久久免费视频| 亚洲av一区综合| 一级黄色大片毛片| 非洲黑人性xxxx精品又粗又长| 日本 av在线| 日日摸夜夜添夜夜添小说| av视频在线观看入口| av在线蜜桃| 99久国产av精品| 亚洲熟妇中文字幕五十中出| 欧美精品啪啪一区二区三区| 亚洲国产色片| 久久精品久久久久久噜噜老黄 | 十八禁网站免费在线| 久久久久久久久久成人| 69人妻影院| 亚洲精品一卡2卡三卡4卡5卡| 久久久久九九精品影院| 身体一侧抽搐| 一级黄片播放器| 国产一区二区三区av在线 | av在线天堂中文字幕| 国产精品亚洲美女久久久| 午夜亚洲福利在线播放| 伊人久久精品亚洲午夜| 免费观看人在逋| 日韩精品中文字幕看吧| 啪啪无遮挡十八禁网站| .国产精品久久| 午夜福利视频1000在线观看| 一区二区三区高清视频在线| 一级黄片播放器| 成人三级黄色视频| 精品久久久久久成人av| 91麻豆精品激情在线观看国产| 成人综合一区亚洲| 91久久精品国产一区二区三区| 亚洲精华国产精华液的使用体验 | 日韩人妻高清精品专区| 三级毛片av免费| 日本与韩国留学比较| 成人亚洲精品av一区二区| 热99在线观看视频| 又黄又爽又刺激的免费视频.| 亚洲内射少妇av| 可以在线观看毛片的网站| 国国产精品蜜臀av免费| 亚洲成av人片在线播放无| 一个人免费在线观看电影| 在线看三级毛片| 日本黄大片高清| 简卡轻食公司| 人人妻,人人澡人人爽秒播| 美女高潮的动态| 国产不卡一卡二| 亚洲第一电影网av| 国产精品人妻久久久影院| 亚洲中文日韩欧美视频| 亚洲av一区综合| 亚洲经典国产精华液单| 日本欧美国产在线视频| 嫩草影视91久久| 国产精品伦人一区二区| 婷婷六月久久综合丁香| 亚洲人成网站高清观看| 亚洲无线在线观看| 欧美激情国产日韩精品一区| 嫩草影院入口| av在线蜜桃| xxxwww97欧美| 国产精品av视频在线免费观看| 国产成人a区在线观看| 国产精品三级大全| 欧美激情国产日韩精品一区| 色精品久久人妻99蜜桃| 日本-黄色视频高清免费观看| 国产精品一区www在线观看 | 男人和女人高潮做爰伦理| 日韩人妻高清精品专区| 两人在一起打扑克的视频| 在线观看一区二区三区| 成人综合一区亚洲| 俄罗斯特黄特色一大片| 国内精品一区二区在线观看| 春色校园在线视频观看| 欧美bdsm另类| 欧美日本视频| 久久久色成人| 国产免费av片在线观看野外av| 欧美人与善性xxx| 精品人妻熟女av久视频| 国产精品,欧美在线| 久久久久国产精品人妻aⅴ院| 日韩 亚洲 欧美在线| 97超视频在线观看视频| 亚洲av五月六月丁香网| 色视频www国产| 麻豆国产97在线/欧美| 国产视频一区二区在线看| 亚洲成a人片在线一区二区| 久久这里只有精品中国| 美女被艹到高潮喷水动态| 一个人观看的视频www高清免费观看|