• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    三種用于加工特征識(shí)別的神經(jīng)網(wǎng)絡(luò)方法綜述

    2019-09-25 06:02:40石葉楠鄭國(guó)磊
    航空學(xué)報(bào) 2019年9期
    關(guān)鍵詞:神經(jīng)元神經(jīng)網(wǎng)絡(luò)加工

    石葉楠,鄭國(guó)磊

    北京航空航天大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院,北京 100083

    加工特征自動(dòng)識(shí)別是智能化設(shè)計(jì)與制造領(lǐng)域中的一項(xiàng)核心技術(shù)和關(guān)鍵支撐,在所有借助特征進(jìn)行分析與決策的計(jì)算機(jī)輔助設(shè)計(jì)與制造系統(tǒng)中,特征識(shí)別均是必不可少的基礎(chǔ)組成單元。在當(dāng)下的數(shù)字化設(shè)計(jì)與制造中,設(shè)計(jì)完成的計(jì)算機(jī)輔助設(shè)計(jì)(Computer Aided Design, CAD)模型用于計(jì)算機(jī)輔助制造(Computer Aided Manufacturing, CAM)時(shí),常常存在數(shù)據(jù)與物理環(huán)境間脫節(jié)的問(wèn)題,即物理制造階段僅傳遞面、邊等低級(jí)信息,而丟失CAD模型設(shè)計(jì)中的其他相關(guān)信息。計(jì)算機(jī)輔助工藝規(guī)劃(Computer Aided Process Planning, CAPP)從制造需求的角度對(duì)CAD模型進(jìn)行解釋,并重新用“加工特征”來(lái)定義,從而解決了CAD和CAM之間的連接問(wèn)題。

    加工特征與加工過(guò)程密切相關(guān),涉及加工方式、刀具類型、加工刀軌、夾具等信息。根據(jù)加工特征的幾何性質(zhì)和在CAD模型中的空間關(guān)系,通常將其分為獨(dú)立特征與相交/復(fù)合特征。相交特征由多個(gè)獨(dú)立的特征組合形成,并在幾何或拓?fù)浣Y(jié)構(gòu)上發(fā)生了改變,其識(shí)別是加工特征識(shí)別中的難點(diǎn)和重點(diǎn)。現(xiàn)有的加工特征識(shí)別方法已得到了廣泛的應(yīng)用,但是特征識(shí)別方法仍然面臨三方面的挑戰(zhàn):一是特征本身具有多樣性,而不同的應(yīng)用系統(tǒng)僅根據(jù)需要尋求預(yù)定特征的識(shí)別算法,使得算法不具通用性,無(wú)法適應(yīng)特征多樣性的發(fā)展要求;二是特征識(shí)別的時(shí)間成本較高,特別是在處理復(fù)雜特征、相交特征或大型結(jié)構(gòu)件中的多類型特征時(shí),識(shí)別時(shí)間可能會(huì)大幅增加;三是準(zhǔn)確率還需進(jìn)一步提高。

    目前針對(duì)加工特征識(shí)別的方法有很多,其中比較經(jīng)典的方法可歸納為基于圖的方法[1]、基于體分解的方法[2]、基于規(guī)則的方法[3]和基于痕跡的方法[4]。這些方法各有優(yōu)缺點(diǎn),但是它們間的共性問(wèn)題包括:① 不具備學(xué)習(xí)和抽象能力;② 對(duì)CAD輸入模型的抗噪性較差;③ 專注于特定類型的CAD表示,不能推廣到其他不同表示方法的特征表示;④ 處理可變特征、相交特征的能力較差。

    恰恰相反,神經(jīng)網(wǎng)絡(luò)方法具有彌補(bǔ)這些共性不足的技術(shù)優(yōu)勢(shì)。首先,神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)的能力;其次,神經(jīng)網(wǎng)絡(luò)方法是基于數(shù)據(jù)驅(qū)動(dòng)的方法,只要建立了一種通用的數(shù)學(xué)表達(dá)方法,就可以統(tǒng)一用神經(jīng)網(wǎng)絡(luò)識(shí)別不同類型的特征;再次,神經(jīng)網(wǎng)絡(luò)具有識(shí)別相似特征的能力,不需要預(yù)定義所有可能的特征實(shí)例。因此,自20世紀(jì)90年代末開始,國(guó)內(nèi)外學(xué)者開始關(guān)注和研究利用神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征,并取得了一系列顯著的成果[5-6]。神經(jīng)網(wǎng)絡(luò)方法的基本思想是借助神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力,通過(guò)向網(wǎng)絡(luò)輸入樣本特征并依據(jù)期望輸出結(jié)果來(lái)反復(fù)訓(xùn)練網(wǎng)絡(luò),以實(shí)現(xiàn)特征識(shí)別任務(wù)。同時(shí),神經(jīng)網(wǎng)絡(luò)的抗噪性能也有助于提高特征識(shí)別的準(zhǔn)確率。目前,這方面的研究重點(diǎn)在于:① 如何將CAD模型和加工特征轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)的輸入信息,即特征的預(yù)處理和編碼;② 選擇何種神經(jīng)網(wǎng)絡(luò),即神經(jīng)網(wǎng)絡(luò)構(gòu)架。

    神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺與模式識(shí)別中的巨大成功已驗(yàn)證了其強(qiáng)大的識(shí)別與分類能力,類比可見神經(jīng)網(wǎng)絡(luò)方法在加工特征識(shí)別領(lǐng)域也很有發(fā)展?jié)摿?。本文針?duì)目前神經(jīng)網(wǎng)絡(luò)在識(shí)別加工特征方面的能力和所取得的成果,綜述多層感知機(jī)(Multilayer Perceptron, MLP)、自組織神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)三種典型神經(jīng)網(wǎng)絡(luò)的發(fā)展現(xiàn)狀,介紹神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征的具體方法,包括特征預(yù)處理和編碼,以及神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)過(guò)程,對(duì)比分析神經(jīng)網(wǎng)絡(luò)方法與其他特征識(shí)別方法及三種神經(jīng)網(wǎng)絡(luò)技術(shù)特點(diǎn),并在此基礎(chǔ)上展望神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征技術(shù)的發(fā)展趨勢(shì)。

    1 三種神經(jīng)網(wǎng)絡(luò)概述

    1.1 多層感知機(jī)

    感知機(jī)是由Rosenblatt[7]最早提出的單層神經(jīng)網(wǎng)絡(luò),是第一個(gè)具有學(xué)習(xí)能力的數(shù)學(xué)模型。但是單層的神經(jīng)網(wǎng)絡(luò)無(wú)法解決線性不可分問(wèn)題,而隨后出現(xiàn)的MLP卻解決了這一問(wèn)題。與單層感知機(jī)相比,MLP具有3個(gè)典型特點(diǎn):① 輸入層和輸出層之間添加了隱藏層,且可以為多層;② 輸出層的神經(jīng)元個(gè)數(shù)可大于1個(gè),一般情況下,用于預(yù)測(cè)和函數(shù)逼近的MLP的輸出神經(jīng)元為1個(gè),用于分類的輸出神經(jīng)元為一個(gè)或多個(gè),每一個(gè)表示一種類型;③ 隱藏層和輸出層均含有非線性激活函數(shù)。

    (1)

    MLP的訓(xùn)練或?qū)W習(xí)方式屬于監(jiān)督型,其主要特點(diǎn)為:對(duì)于給定的輸入信息,根據(jù)輸出神經(jīng)元的實(shí)際值和期望值之間的誤差來(lái)調(diào)整隱藏層和輸出層神經(jīng)元間連接權(quán)值,使其最終滿足總體計(jì)算誤差要求。常用的訓(xùn)練方法有多種,例如反向傳播(Backpropagation, BP)法、delta-bar-delta方法、最快下降法、高斯-牛頓法和LM方法等。實(shí)驗(yàn)結(jié)果表明,LM方法、高斯-牛頓法和最快下降法等訓(xùn)練速度優(yōu)于BP和delta-bar-delta方法,其中LM方法最為有效[8]。

    圖1 MLP結(jié)構(gòu)Fig.1 MLP structure

    當(dāng)MLP采用BP方法訓(xùn)練時(shí),即為BP神經(jīng)網(wǎng)絡(luò)。BP方法是目前最常用的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法,其實(shí)質(zhì)是計(jì)算誤差函數(shù)的最小值問(wèn)題,按照誤差函數(shù)的負(fù)梯度方向修改權(quán)值。

    BP算法包括信號(hào)正向計(jì)算和誤差反向計(jì)算等兩個(gè)計(jì)算過(guò)程。前面所介紹的計(jì)算過(guò)程即為信號(hào)正向計(jì)算,而誤差E反向計(jì)算式為

    (2)

    1.2 自組織神經(jīng)網(wǎng)絡(luò)

    與MLP類似,自組織神經(jīng)網(wǎng)絡(luò)也是一種前饋神經(jīng)網(wǎng)絡(luò)。但是,自組織神經(jīng)網(wǎng)絡(luò)采用無(wú)監(jiān)督學(xué)習(xí)方式,具有自組織學(xué)習(xí)能力,即自動(dòng)學(xué)習(xí)輸入數(shù)據(jù)中的重要特征或找出其內(nèi)部規(guī)律,如分布和聚類等特征,根據(jù)這些特征和規(guī)律自動(dòng)調(diào)整自身的學(xué)習(xí)過(guò)程,使得之后的輸出與之相適應(yīng)。對(duì)自組織神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),學(xué)習(xí)過(guò)程不僅包括網(wǎng)絡(luò)參數(shù)的調(diào)整,也包括網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的調(diào)整。

    在加工特征識(shí)別領(lǐng)域,已采用的自組織神經(jīng)網(wǎng)絡(luò)有自組織特征映射(Self-Organizing Feature Map, SOFM)和自適應(yīng)共振理論(Adaptive Resonance Theory, ART)網(wǎng)絡(luò)等。

    SOFM是Kohonen于1981年提出的一個(gè)兩層網(wǎng)絡(luò)模型,其中第一層為輸入層,神經(jīng)元個(gè)數(shù)與樣本維數(shù)相等;第二層為輸出層,也稱為Kohonen層。神經(jīng)元排布有一維線性、二維平面和三維柵格三種形式,其中最常用的為二維平面形式。SOFM的神經(jīng)元有兩種連接關(guān)系:每個(gè)Kohonen層神經(jīng)元與所有輸入層神經(jīng)元相連;Kohonen層的神經(jīng)元之間互相連接,即側(cè)向連接,這也是SOFM模仿大腦皮層神經(jīng)側(cè)抑制特性的一個(gè)體現(xiàn)。圖2給出了SOFM的3種拓?fù)浣Y(jié)構(gòu),其中圓/橢圓表示神經(jīng)元,實(shí)線表示層間連接和輸入/出,虛線表示Kohonen層內(nèi)神經(jīng)元間的連接。

    圖2 SOFM拓?fù)浣Y(jié)構(gòu)Fig.2 Topological structure of SOFM

    對(duì)于一個(gè)給定的輸入,SOFM通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)得到獲勝神經(jīng)元,之后獲勝神經(jīng)元與其附近的神經(jīng)元(稱為鄰域)一起調(diào)整權(quán)值,該鄰域特征有助于保持該輸入的拓?fù)涮匦浴?/p>

    神經(jīng)網(wǎng)絡(luò)一般具有兩種能力,可塑性是指網(wǎng)絡(luò)學(xué)習(xí)新知識(shí)的能力,而穩(wěn)定性則指神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新知識(shí)時(shí)要保持對(duì)舊知識(shí)的記憶。通常,當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)于輸入樣本的訓(xùn)練學(xué)習(xí)達(dá)到穩(wěn)定后,如果再加入新的樣本繼續(xù)訓(xùn)練,前面的訓(xùn)練結(jié)果就會(huì)受到影響,表現(xiàn)為對(duì)舊數(shù)據(jù)、舊知識(shí)的遺忘。ART網(wǎng)絡(luò)的建立即是為了解決神經(jīng)網(wǎng)絡(luò)這種可塑性與穩(wěn)定性的矛盾。

    ART理論由Grossberg于1976年提出,隨后Carpenter和Grossberg[9]建立了ART網(wǎng)絡(luò),即ART1。ART1的輸入被限定為二進(jìn)制信號(hào),使得其應(yīng)用存在一定的局限性。ART2[10]作為ART1的擴(kuò)展型,在網(wǎng)絡(luò)結(jié)構(gòu)上也進(jìn)行了一定程度的改進(jìn),能夠處理連續(xù)型模擬信號(hào)。ART1和ART2均為無(wú)監(jiān)督學(xué)習(xí)類型,具有自組織能力,是ART網(wǎng)絡(luò)中的最基本網(wǎng)絡(luò),在此基礎(chǔ)上發(fā)展起來(lái)了兼容ART1與ART2的ART3、監(jiān)督型學(xué)習(xí)的ARTM-AP、基于模糊理論的Fuzzy ART等。用于加工特征識(shí)別的ART網(wǎng)絡(luò)有ART2和Fuzzy ART。

    圖3為ART2的基本構(gòu)架,由監(jiān)視子系統(tǒng)和決策子系統(tǒng)兩部分組成。監(jiān)視子系統(tǒng)包括比較層和識(shí)別層(Y層)及兩層間的連接通路。其中比較層包含六個(gè)子層,分別為W層、X層、V層、U層、P層和Q層。決策子系統(tǒng)則由R層組成。ART2將相似的特征聚集在一起,特征的相似性則由警戒參數(shù)控制。當(dāng)輸入到網(wǎng)絡(luò)的新特征與已存在的特征簇中的成員相似時(shí),新特征就與該簇關(guān)聯(lián);否則,ART2為新特征創(chuàng)建一個(gè)新的簇。相關(guān)變量說(shuō)明參見文獻(xiàn)[11]。

    圖3 ART1構(gòu)架[11]Fig.3 ART1 architecture[11]

    1.3 卷積神經(jīng)網(wǎng)絡(luò)

    CNN作為目前最著名的深度學(xué)習(xí)方法之一,已經(jīng)在圖像識(shí)別[12]、場(chǎng)景標(biāo)記[13]、語(yǔ)音識(shí)別[14]、目標(biāo)檢測(cè)[15]、自然語(yǔ)言理解[16]等領(lǐng)域取得了突出的應(yīng)用效果。CNN在處理和分析大型復(fù)雜數(shù)據(jù)方面具有很強(qiáng)的計(jì)算能力,并且由于具有良好的魯棒性,CNN特別適用于視覺相關(guān)領(lǐng)域的特征提取和學(xué)習(xí)任務(wù)。

    CNN的構(gòu)架靈感來(lái)源于貓視覺皮層簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞[17]的結(jié)構(gòu)和功能。Fukushima和Miyake[18]建立的Neocognitron可被視為CNN的雛形,其框架由S-layer和C-layer交替組成。早期CNN的代表是LeCun[19-20]的LeNets系列,由卷積層(Convolution Layer, CL)和子采樣層組成(見圖4)。隨著Hinton等[21]在2006年提出layer-wise-layer-greedy-learning方法,深度學(xué)習(xí)技術(shù)才得以真正意義上的建立和發(fā)展。2012年,Krizhevsky等[22]使用深度CNN模型AlexNet在ILSVRC ImageNet圖像分類比賽中奪得冠軍后,深度CNN的研究熱潮席卷了整個(gè)計(jì)算機(jī)視覺領(lǐng)域,得到了廣泛的應(yīng)用[23-26]。

    CNN一般由CL、池化層(Pooling Layer, PL)和完全連接層(Fully-connected Layer, FL)組成,CL與PL交替連接,F(xiàn)L多位于網(wǎng)絡(luò)最后面。CL由多個(gè)特征圖組成,每個(gè)特征圖中的神經(jīng)元都與前一層的神經(jīng)元鄰域相連,構(gòu)成CL神經(jīng)元的感受野,通過(guò)權(quán)值和激活函數(shù)提取感受野的特征。PL的目的是降低CL特征圖的空間分辨率,從而實(shí)現(xiàn)對(duì)輸入失真和平移的空間不變性,常用方法有平均值池化法和最大值池化法。FL可對(duì)網(wǎng)絡(luò)中的抽象特征進(jìn)行解釋,并執(zhí)行高級(jí)推理功能,實(shí)現(xiàn)分類和識(shí)別目的,常用的算子是softmax算子。CNN的結(jié)構(gòu)決定了CNN有稀疏連接、參數(shù)共享和等價(jià)表示等三大關(guān)鍵要素。

    Lin等[27]設(shè)計(jì)了一種Network in Network模型對(duì)CL進(jìn)行改進(jìn),將一個(gè)傳統(tǒng)的CL改為多層CL,從而將線性抽象轉(zhuǎn)變?yōu)榉蔷€性抽象,提高了CNN的抽象表達(dá)能力。Zhai等[28]利用一個(gè)雙CL替代單一的CL,用于平衡識(shí)別精度與內(nèi)存占用量(即參數(shù)量)之間的關(guān)系。雙CL的特點(diǎn)是其元濾波器的尺寸大于有效濾波器的尺寸。計(jì)算時(shí),從每個(gè)對(duì)應(yīng)的元濾波器中提取有效濾波器,之后將所有提取到的濾波器與輸入連接進(jìn)行卷積。

    對(duì)于PL的改進(jìn),Krizhevsky等[22]提出了重疊池化方法,即相鄰池化窗口之間存在重疊區(qū)域。由于同一個(gè)神經(jīng)元可以參與不同的池化操作,因此可以在一定程度上提高識(shí)別結(jié)果。為了解決最大池化法容易陷入局部最優(yōu)的問(wèn)題,Sermanet等[29]建立了Lp池化方法,該方法可以通過(guò)隨機(jī)表示將一般球分布擴(kuò)展到范數(shù)表示,并估計(jì)最優(yōu)非線性和子空間的大小。混合池化[30]是一種將平均池化法和最大池化法綜合起來(lái)的池化方法,該方法既可以解決最大池化法因參數(shù)不均勻造成的失真問(wèn)題,又可以避免平均池化造成的特征對(duì)比度下降的問(wèn)題,但是該方法的訓(xùn)練誤差較大。

    圖4 LeNet-5構(gòu)架[20]Fig.4 LeNet-5 architecture[20]

    傳統(tǒng)的CNN采用的激活函數(shù)多為飽和函數(shù),如sigmoid和tanh函數(shù)等。目前,不飽和激活函數(shù)成為主流,出現(xiàn)了ReLU[31]及其擴(kuò)展函數(shù)。ReLU是一個(gè)分段函數(shù),當(dāng)x>0時(shí),ReLU(x)=x;當(dāng)x≤0時(shí),ReLU(x)=0。ReLU的優(yōu)點(diǎn)是可以幫助神經(jīng)網(wǎng)絡(luò)輕松獲得稀疏表示。LReLU[32]的提出是為了改進(jìn)ReLU在無(wú)監(jiān)督預(yù)處理網(wǎng)絡(luò)中的性能,采用的方法是當(dāng)x≤0時(shí),令LReLU(x)=αx,式中:α為比例因子,是一個(gè)給定值。LReLU的變體還包括PReLU[33],其與LReLU的唯一區(qū)別是PReLU的α可以通過(guò)BP學(xué)習(xí)獲得,且沒有額外的過(guò)度擬合的風(fēng)險(xiǎn)。

    2 神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征

    2.1 特征預(yù)處理與編碼

    加工特征存在于CAD實(shí)體模型中,包含幾何和拓?fù)湫畔?,而神?jīng)網(wǎng)絡(luò)的輸入形式是一組數(shù)值信息,也可稱為表示向量(Representation Vector, RV)。因此,如何將CAD模型或加工特征轉(zhuǎn)化為適用于神經(jīng)網(wǎng)絡(luò)的輸入格式成為了神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征的首要問(wèn)題。本文將該問(wèn)題表述為特征的預(yù)處理與編碼問(wèn)題。據(jù)文獻(xiàn),神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征時(shí),常用的特征預(yù)處理與編碼方法主要有:基于屬性鄰接圖(Attributed Adjacency Graph, AAG)編碼、基于面鄰接矩陣(Face Adjacency Matrix, FAM)編碼、基于面值向量(Face Score Vector, FSV)編碼、體素化方法和橫截面分層法等。

    2.1.1 基于AAG編碼

    加工特征的AAG通常定義為G=N,C,A,式中:N為頂點(diǎn)集,表示特征的組成面集;C為頂點(diǎn)間的連接邊集;A為連接邊的凹凸性集合。AAG只定義了模型的拓?fù)湫畔ⅲ缓心P偷膸缀涡畔?。在基于AAG的編碼中,為了獲得作為神經(jīng)網(wǎng)絡(luò)的輸入RV,需將AAG分解為AAG子圖,再轉(zhuǎn)化為鄰接矩陣(Adjacency Matrix, AM),然后根據(jù)AM得到RV。

    通常,AM是一個(gè)二進(jìn)制的對(duì)稱矩陣,以對(duì)角線分為凸和凹兩個(gè)區(qū)域,元素表示行列號(hào)所示的兩個(gè)面的鄰接邊的凹凸性。取AM的上三角或下三角并按行列號(hào)依次排序,所得元素序列即為神經(jīng)網(wǎng)絡(luò)的輸入[34]。

    若各AAG子圖的AM規(guī)格不一致,可對(duì)AM中的元素進(jìn)一步提煉。首先建立一個(gè)有關(guān)拓?fù)渑c幾何關(guān)系的問(wèn)題表,然后根據(jù)AM確定各問(wèn)題的二進(jìn)制答案,最后將答案作為RV的各元素值。Nezis和Vosniakos[35]及Guan等[36]均采用該思路創(chuàng)建RV。

    2.1.2 基于FAM編碼

    基于FAM編碼是基于AAG編碼的改進(jìn)型,與AM相比,F(xiàn)AM增加了面的編碼信息,因此能夠更加準(zhǔn)確地定義面間的鄰接關(guān)系。FAM是一個(gè)對(duì)稱矩陣A=(aij)m×m,其中aii表示第i個(gè)特征面的屬性,aij(i≠j)表示第i個(gè)特征面與第j個(gè)特征面間的鄰接關(guān)系,每種關(guān)系對(duì)應(yīng)不同的整數(shù)值。FAM生成RV的方式與AM生成RV的方式相同。

    Prabhakar和Henderson[37]建立了一個(gè)8×8的FAM,每一行/列定義為一個(gè)含有八個(gè)元素的整數(shù)向量,分別表示某個(gè)面與其鄰接面間的屬性,包括邊類型、面類型、面角度類型、環(huán)個(gè)數(shù)等。該方法的缺點(diǎn)是不能分離拓?fù)湎嗤螤畈煌奶卣?。胡小平等[38]在添加虛構(gòu)面的基礎(chǔ)上設(shè)計(jì)了一個(gè)6×6的擴(kuò)展型面鄰接矩陣,以虛構(gòu)的盒形體統(tǒng)一定義特征的表達(dá)式,并利用特征面的屬性來(lái)區(qū)分特征的真實(shí)存在面和虛構(gòu)面,避免特征的描述混淆。

    考慮到AAG僅能識(shí)別平面和簡(jiǎn)單曲面特征,不能處理有共同底面的相交特征,Ding和Yue[39]建立了F-鄰接矩陣和V-鄰接矩陣。該方法通過(guò)一個(gè)空間虛擬實(shí)體(Spatial Virtual Entity, SVE)來(lái)表示初始模型生成最終特征時(shí)所需移除的實(shí)體。兩種矩陣的實(shí)例如圖5[40]和圖6[40]所示。其中,F(xiàn)-鄰接矩陣定義特征的組成面類型和面間的夾角,V-鄰接矩陣定義SVE中虛擬面間的關(guān)系,即行列號(hào)對(duì)應(yīng)的兩個(gè)虛擬面是否相連。

    圖5 F-鄰接矩陣實(shí)例[40]Fig.5 Example of F-adjacency matrix[40]

    圖6 V-鄰接矩陣實(shí)例[40]Fig.6 Example of V-adjacency matrix[40]

    2.1.3 基于FSV編碼

    面值計(jì)算公式是一個(gè)與面、邊、頂點(diǎn)特征及其鄰接關(guān)系有關(guān)的函數(shù)[41],用FSV對(duì)特征進(jìn)行編碼的常用思路為:① 定義FSV的計(jì)算式及各分量的分值表;② 定義RV的元素個(gè)數(shù)和相應(yīng)的面順序;③ 根據(jù)公式計(jì)算各特征面的值;④ 將各面值作為元素值生成RV。

    FSV的計(jì)算公式可概括為F=G′+L+E′+V,F(xiàn)為面分值;G′為面幾何分值,表示面的凹凸性;L為環(huán)值;E′為邊值;V為頂點(diǎn)值。通過(guò)對(duì)相關(guān)文獻(xiàn)的研究,該公式有以下幾種表現(xiàn)形式:

    1)F=G′+L+V型

    該類型的FSV包含面幾何分值、環(huán)值和頂點(diǎn)值等三個(gè)參數(shù),其中面幾何分值與環(huán)值由分值表查詢獲得,頂點(diǎn)值則與過(guò)該點(diǎn)的邊值有關(guān)。相關(guān)實(shí)例包括文獻(xiàn)[42-44]等。

    2)F=G′+V型

    該類型的FSV包含僅包含面幾何分值與頂點(diǎn)值兩個(gè)參數(shù)。Marquez等[45]采用該公式定義FSV,并用數(shù)值的正負(fù)表示面、邊等元素的凹凸性。Sunil和Pande[46]采用該方法計(jì)算面分值,并將特征的7個(gè)組成面的面分值作為輸入RV的前7個(gè)元素值。

    3)F=G′+E′+V型

    ?ztürk和?ztürk[47-48]采用該公式將特征定義為一個(gè)關(guān)于點(diǎn)、邊和面的輸入矢量,這種方法的局限性是僅能表示有限的復(fù)合特征,并且特征樣本和特征之間不含一一對(duì)應(yīng)的關(guān)系。

    4)F=G′+L+E′+V型

    Jian等[49]建立的面值計(jì)算公式為

    (3)

    式中:Ai為特征面的分值;Fi為面的權(quán)值,定義面的凹凸性;Eij為環(huán)的權(quán)值;Lik為邊的權(quán)值;Vix為鄰接關(guān)系權(quán)值,定義特征面與鄰接面的夾角關(guān)系,其目的是幫助識(shí)別V型槽等具有特殊夾角的特征;m′、n′和q分別為相應(yīng)的對(duì)象個(gè)數(shù)。

    2.1.4 體素化方法

    體素化方法是三維CNN特有的特征預(yù)處理與編碼方法,通過(guò)將CAD模型劃分為體素網(wǎng)格,對(duì)體素進(jìn)行二進(jìn)制賦值,進(jìn)而獲得CNN的輸入數(shù)據(jù)。以圖7為例[50],若體素位于模型內(nèi)部則賦值1,即綠色點(diǎn)集,若體素位于模型外部則賦值0,即紅色點(diǎn)集。通過(guò)這種方法,整個(gè)模型可以表示為一長(zhǎng)串二進(jìn)制數(shù)字,便于CNN進(jìn)行卷積計(jì)算。

    圖7 CAD體素模型的可視化[50]Fig.7 Visualization of voxelized CAD models[50]

    體素化的方式包括渲染法[51]和奇偶計(jì)數(shù)法與射線穿透法相結(jié)合的方法[52]。為了加速體素化過(guò)程,Balu等[50]利用圖形處理單元?jiǎng)澐煮w素網(wǎng)格,比CPU方法快10倍以上,而且能夠創(chuàng)建超過(guò)10億個(gè)體素的CAD體素模型。為了減少特征邊界信息的丟失,Ghadai等[51]利用面法線嵌入網(wǎng)格的方式來(lái)增強(qiáng)體素化過(guò)程。

    2.1.5 橫截面分層法

    橫截面分層法[53-54]是指對(duì)于具有相同厚度和公共底面的相交特征,采用分層方法得到實(shí)體模型的二維合成區(qū)域,從而將三維特征屬性轉(zhuǎn)為二維特征屬性,合成區(qū)域的各頂點(diǎn)信息即為神經(jīng)網(wǎng)絡(luò)(如SOFM)的輸入。

    圖8給出了一個(gè)由實(shí)體模型(見圖8(a))生成合成區(qū)域的具體過(guò)程,在模型的頂點(diǎn)處逐層切片,獲得一系列相互平行的橫截面圖(見圖8(b))后,利用橫截面間的減法處理得到合成區(qū)域(見圖8(c))。相關(guān)變量說(shuō)明參見文獻(xiàn)[53]。

    圖8 相交特征的分層方法[53]Fig.8 Layering technique used to find interacting features[53]

    2.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    神經(jīng)網(wǎng)絡(luò)創(chuàng)建包括三方面的設(shè)計(jì):網(wǎng)絡(luò)參數(shù)設(shè)計(jì)、數(shù)據(jù)集構(gòu)建和訓(xùn)練方法選擇。面向加工特征識(shí)別任務(wù)時(shí),神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集為CAD實(shí)體模型,網(wǎng)絡(luò)參數(shù)和訓(xùn)練方法則根據(jù)識(shí)別對(duì)象的復(fù)雜程度和特點(diǎn)進(jìn)行配置與設(shè)計(jì)。

    2.2.1 網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

    MLP參數(shù)設(shè)計(jì)主要包括層數(shù)選擇以及層的結(jié)構(gòu)設(shè)計(jì)。雖然目前并沒有明確的設(shè)計(jì)準(zhǔn)則來(lái)輔助結(jié)構(gòu)參數(shù)的設(shè)計(jì)與選擇,但是有學(xué)者研究發(fā)現(xiàn)對(duì)于MLP,三層結(jié)構(gòu)足以解決一般性的非線性映射問(wèn)題,并且能夠滿足要求的準(zhǔn)確度[55]。

    隱藏層是MLP的設(shè)計(jì)難點(diǎn),隱藏層神經(jīng)元的數(shù)量過(guò)多會(huì)使數(shù)據(jù)過(guò)擬合,造成網(wǎng)絡(luò)泛化能力的松散;隱藏層神經(jīng)元個(gè)數(shù)較少則會(huì)影響網(wǎng)絡(luò)的學(xué)習(xí)能力。比較保守的方法是將隱藏層神經(jīng)元個(gè)數(shù)介于輸出神經(jīng)元數(shù)量和輸入神經(jīng)元數(shù)量之間。

    表1和表2分別列舉了加工特征識(shí)別常用的兩種MLP網(wǎng)絡(luò)結(jié)構(gòu),即三層MLP和四層MLP。其中三層MLP各層的神經(jīng)元個(gè)數(shù)分別為n1-p1-q1,四層MLP各層的神經(jīng)元個(gè)數(shù)為n1-p1-p2-q1,表中的參數(shù)個(gè)數(shù)是指對(duì)一個(gè)樣本執(zhí)行前饋計(jì)算時(shí)的計(jì)算參數(shù)量。通過(guò)兩表可得以下規(guī)律:① 對(duì)于三層MLP,p1與n1無(wú)絕對(duì)的大小關(guān)系,通常p1∈[n1,2n1];② 四層MLP中,一般選擇p1=p2,其目的是簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)計(jì)算;③ 對(duì)比文獻(xiàn)[56]和文獻(xiàn)[47]可知,在n1與q1基本保持不變的情況下,將一個(gè)隱藏層分解為兩個(gè)隱藏層可以顯著減少參數(shù)個(gè)數(shù);④ 三層MLP的時(shí)間復(fù)雜性可表示為O(n1p1+p1q1+p1+q1),分別改變n1和p1時(shí),時(shí)間復(fù)雜度的變化分別為O(Δn1p1)和O(Δp1(n1+q1+1)),顯然隱藏層神經(jīng)元個(gè)數(shù)的變化對(duì)時(shí)間復(fù)雜度的影響較大。

    表1 三層神經(jīng)網(wǎng)絡(luò)構(gòu)造Table 1 Three-layer neural network configuration

    表2 四層神經(jīng)網(wǎng)絡(luò)構(gòu)造Table 2 Four-layer neural network configuration

    SOFM網(wǎng)絡(luò)設(shè)計(jì)主要包括神經(jīng)元的個(gè)數(shù)設(shè)置和鄰域的尺寸設(shè)計(jì)。為了識(shí)別九種加工特征,Onwubolu[43]建立了一個(gè)輸入層有10個(gè)節(jié)點(diǎn),Kohonen層有100×100個(gè)節(jié)點(diǎn)的SOFM,鄰域大小為5。結(jié)果顯示,SOFM迭代后可以識(shí)別不同類別的特征,且槽和臺(tái)階兩種特征被聚為一類。文獻(xiàn)[53-54]將多級(jí)SOFM用于相交特征中相交區(qū)域的分解,每一級(jí)的輸入都是當(dāng)前合成區(qū)域的各頂點(diǎn),輸出均為2×2數(shù)組。

    CNN的結(jié)構(gòu)設(shè)計(jì)包括各類型層的選擇以及過(guò)濾器的尺寸設(shè)置。其中,常見的類型層包括CL、PL、FL和輸出層(Output Layer, OL)等。為了確定鉆孔特征的可加工性,Balu等[50]建立了一個(gè)7層的三維CNN,如圖9所示,依次包括輸入層→CL(8×8)→PL→CL(4×4)→PL→FL(10)→OL(2)。OL的2個(gè)神經(jīng)元分別表示可加工和不可加工。Ghadai等[51]對(duì)上述模型進(jìn)一步修正,在CL和PL后添加了一個(gè)批量標(biāo)準(zhǔn)化層,目的是改善網(wǎng)絡(luò)的飽和現(xiàn)象進(jìn)而提高實(shí)驗(yàn)精度。

    FeatureNet[52]是第一個(gè)將深度學(xué)習(xí)應(yīng)用于加工特征識(shí)別的三維CNN。FeatureNet的結(jié)構(gòu)如圖10所示,包括4個(gè)CL、1個(gè)PL、1個(gè)FL和1個(gè)OL。多個(gè)CL的連接有助于對(duì)復(fù)雜的結(jié)構(gòu)特征分層編碼和識(shí)別。OL含有24個(gè)神經(jīng)元,每個(gè)神經(jīng)元代表一種特征。整個(gè)網(wǎng)絡(luò)擁有3 400萬(wàn)個(gè)參數(shù),遠(yuǎn)遠(yuǎn)超過(guò)MLP的參數(shù)量。相關(guān)變量說(shuō)明參見文獻(xiàn)[52]。

    圖9 三維CNN[50]Fig.9 3D CNN[50]

    圖10 FeatureNet結(jié)構(gòu)[52]Fig.10 FeatureNet structure[52]

    2.2.2 數(shù)據(jù)集構(gòu)建

    前文提到的三種神經(jīng)網(wǎng)絡(luò)中,MLP和CNN屬于監(jiān)督型網(wǎng)絡(luò),自組織神經(jīng)網(wǎng)絡(luò)為無(wú)監(jiān)督網(wǎng)絡(luò)。監(jiān)督型神經(jīng)網(wǎng)絡(luò)需要依賴有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練,借助標(biāo)簽數(shù)據(jù)的期望輸出來(lái)修正權(quán)值,調(diào)整特征。這種微調(diào)建立在大量標(biāo)簽數(shù)據(jù)的基礎(chǔ)上,而未標(biāo)注數(shù)據(jù)對(duì)監(jiān)督型訓(xùn)練的作用不大。但是,神經(jīng)網(wǎng)絡(luò)很難獲得足夠多的標(biāo)簽數(shù)據(jù)來(lái)擬合一個(gè)復(fù)雜模型,因此標(biāo)簽數(shù)據(jù)的獲取是神經(jīng)網(wǎng)絡(luò)訓(xùn)練的一個(gè)難點(diǎn)。創(chuàng)建數(shù)據(jù)集和遷移學(xué)習(xí)是數(shù)據(jù)獲取和擴(kuò)容的常用方法。

    根據(jù)文獻(xiàn),加工特征數(shù)據(jù)集由一系列CAD 3D模型組成,每個(gè)模型一般僅包含一個(gè)加工特征,同一類型的加工特征在形狀、位置和尺寸(如半徑、高度、長(zhǎng)度等)等方面有所區(qū)別,數(shù)據(jù)集實(shí)體模型的類型與神經(jīng)網(wǎng)絡(luò)待識(shí)別的特征類型相對(duì)應(yīng)。圖11為文獻(xiàn)[36]創(chuàng)建的訓(xùn)練樣本,每一類樣本都有各自的輸入矢量與期望輸出矢量,元素均用二進(jìn)制數(shù)字表示。相關(guān)變量說(shuō)明參見文獻(xiàn)[36]。

    一個(gè)完整的數(shù)據(jù)集應(yīng)包括訓(xùn)練集、測(cè)試集和驗(yàn)證集三部分。其中,驗(yàn)證集用于調(diào)整網(wǎng)絡(luò)超參數(shù),不參與最終測(cè)試。Ding和Yue[39]建立了一個(gè)分層的神經(jīng)網(wǎng)絡(luò)系統(tǒng),將137個(gè)訓(xùn)練實(shí)例和15個(gè)測(cè)試實(shí)例用于第一級(jí)網(wǎng)絡(luò)后,又將62個(gè)訓(xùn)練實(shí)例用于專門識(shí)別槽/臺(tái)階面的神經(jīng)網(wǎng)絡(luò),并用12個(gè)模型樣本進(jìn)行測(cè)試。Sunil和Pande[46]選擇了95個(gè)實(shí)例模型用于訓(xùn)練,20個(gè)實(shí)例模型用于測(cè)試。

    與MLP相比,CNN的參數(shù)量成數(shù)量級(jí)倍增加,因此需要規(guī)模更大的數(shù)據(jù)集。Balu等[50]為CNN建立了6 669個(gè)正方體模型,每個(gè)模型僅包含一個(gè)鉆孔特征,且孔的直徑、深度、位置等在規(guī)定范圍內(nèi)變化。模型尺寸均為5英寸。50%的模型作為訓(xùn)練實(shí)例,25%的模型作為驗(yàn)證實(shí)例,其余的作為測(cè)試實(shí)例。Zhang等[52]為CNN建立了一個(gè)更大規(guī)模的數(shù)據(jù)庫(kù),存儲(chǔ)了24種特征(見圖12),每種特征含有6 000個(gè)不同的樣本模型。這些模型均為統(tǒng)一規(guī)格(10 cm)的正方體結(jié)構(gòu)。

    圖11 訓(xùn)練樣本的輸入與輸出[36]Fig.11 Input and output of training samples[36]

    隨著深度CNN的迅速發(fā)展,大型數(shù)據(jù)集對(duì)CNN的影響和作用越來(lái)越明顯,更加凸顯了數(shù)據(jù)集創(chuàng)建的必要性。對(duì)于一些很難獲得的標(biāo)簽樣本,遷移學(xué)習(xí)是數(shù)據(jù)集擴(kuò)充的一種有效方法。遷移學(xué)習(xí)是一種運(yùn)用已有知識(shí)對(duì)不同但相關(guān)領(lǐng)域問(wèn)題進(jìn)行求解的機(jī)器學(xué)習(xí)能力,常用的一種方法是對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)。例如,Shin等[58]對(duì)AlexNet和GoogLeNet微調(diào)時(shí),將CNN所有層(不含最后一層)的學(xué)習(xí)速率由默認(rèn)值減小了10倍。Han等[59]仔細(xì)研究了預(yù)訓(xùn)練網(wǎng)絡(luò)的超參數(shù)調(diào)整,利用貝葉斯優(yōu)化來(lái)處理學(xué)習(xí)率的搜索問(wèn)題。

    圖12 24種加工特征[52]Fig.12 24 manufacturing features[52]

    2.2.3 訓(xùn)練方法選擇

    神經(jīng)網(wǎng)絡(luò)最常用的訓(xùn)練方法為BP算法,文獻(xiàn)[10,19,46]等均采用此方法。然而,該方法存在一定的局限性,收斂速度慢和容易陷入局部極小是其中的兩大問(wèn)題。目前針對(duì)BP算法的改進(jìn)措施中,動(dòng)量法是較常用的一種方法。通過(guò)在原來(lái)的權(quán)值調(diào)整公式中增加一個(gè)含動(dòng)量比的乘積項(xiàng),能夠減小學(xué)習(xí)過(guò)程中的振蕩趨勢(shì),降低網(wǎng)絡(luò)對(duì)誤差曲面局部細(xì)節(jié)的敏感性,從而改善收斂性,抑制網(wǎng)絡(luò)陷入局部極小。

    Ding和Yue[39]采用了共軛梯度算法訓(xùn)練神經(jīng)網(wǎng)絡(luò),該方法在一組相互共軛的方向調(diào)整權(quán)值,與最快梯度方向相比能獲得更快地收斂。Shao等[60]選擇粒子群算法訓(xùn)練MLP,初始化一群“粒子”后通過(guò)迭代尋找最優(yōu)解,迭代過(guò)程中不斷更新粒子本身的最優(yōu)解和全局最優(yōu)解。該方法的優(yōu)點(diǎn)是收斂快,精度高。Jian等[49]設(shè)計(jì)了一種新型蝙蝠算法(Novel Bat Algorithm, NBA)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò),與粒子群算法相比,該方法能夠控制局部搜索與全局搜索之間的轉(zhuǎn)換,避免網(wǎng)絡(luò)陷入局部最優(yōu)缺陷,有助于提高特征識(shí)別的準(zhǔn)確性。

    警戒參數(shù)ρ是ART2計(jì)算過(guò)程中的一個(gè)重要參數(shù)。ART2將相似的特征聚集在一起,特征的相似性則由警戒參數(shù)控制。當(dāng)網(wǎng)絡(luò)新輸入的特征與特征簇中的已有成員相似時(shí),新特征就與該簇關(guān)聯(lián);否則,ART2為新特征創(chuàng)建一個(gè)新的簇。一般情況下,隨著警戒參數(shù)的提高,ART2的聚類由粗糙轉(zhuǎn)向精細(xì)化,這種現(xiàn)象在Fuzzy ART[61]中也得到了驗(yàn)證。隨著警戒參數(shù)ρ依次選擇為0.85、0.95、0.98和0.99,五種特征由共享一個(gè)簇發(fā)展為擁有各自的簇(見圖13)。

    圖13 Fuzzy ART分類Fig.13 Fuzzy ART classification

    3 對(duì)比分析

    3.1 神經(jīng)網(wǎng)絡(luò)方法與傳統(tǒng)方法

    近30年來(lái),有關(guān)加工特征識(shí)別的研究已經(jīng)相當(dāng)成熟,并形成了多種不同類型的識(shí)別方法,每種方法都有各自的優(yōu)勢(shì)和不足。

    基于圖的方法具有特征定義簡(jiǎn)單,算法效率高,能準(zhǔn)確描述特征面鄰接屬性等優(yōu)點(diǎn),但是該方法識(shí)別相交特征時(shí)易丟失鄰接關(guān)系?;隗w分解的方法不受特征拓?fù)浣Y(jié)構(gòu)的限制,能夠較好地處理相交特征的識(shí)別,然而識(shí)別過(guò)程依賴大量的布爾運(yùn)算,導(dǎo)致計(jì)算量大、算法效率低下?;谝?guī)則的方法在特征表示方面具有很好的性能,但是對(duì)每種特征都進(jìn)行規(guī)則預(yù)定義是不現(xiàn)實(shí)的,故該方法靈活性較低。此外,拓?fù)浠驇缀巫冃慰赡軙?huì)使簡(jiǎn)單特征的規(guī)則描述過(guò)于繁瑣,造成計(jì)算成本較高[62]?;诤圹E的方法多以幾何與拓?fù)湫畔⒆鳛楹圹E進(jìn)行識(shí)別,當(dāng)痕跡指向多種特征時(shí),需要進(jìn)一步的幾何推理來(lái)獲得所需特征。該方法雖然可以有效地識(shí)別相交特征,但是當(dāng)痕跡的數(shù)量明顯多于特征時(shí),可能會(huì)導(dǎo)致無(wú)效的特征或特征被其他特征所覆蓋[63]。

    與這些主流的識(shí)別方法相比,神經(jīng)網(wǎng)絡(luò)識(shí)別方法具有以下幾點(diǎn)優(yōu)勢(shì):① 具有學(xué)習(xí)能力[64],能夠隱式推導(dǎo)特征的構(gòu)造關(guān)系,識(shí)別和分類具有不同尺寸和拓?fù)涞南嗨铺卣?;?具有泛化能力,通過(guò)訓(xùn)練可以識(shí)別預(yù)定義的一組特征,進(jìn)而可擴(kuò)展到識(shí)別新的特征;③ 訓(xùn)練完成后可保持很高的處理速度;④ 抗噪性能好,有利于識(shí)別相交特征。

    然而,神經(jīng)網(wǎng)絡(luò)方法識(shí)別加工特征仍然存在著一些不足:① 神經(jīng)網(wǎng)絡(luò)輸出層的神經(jīng)元個(gè)數(shù)一般為待識(shí)別的特征類型數(shù),但是中間各層的結(jié)構(gòu)配置方法還需進(jìn)一步研究;② 加工特征數(shù)據(jù)集的樣本模型結(jié)構(gòu)簡(jiǎn)單,只包含一個(gè)特征,且多為標(biāo)準(zhǔn)特征,不含有相交特征;③ 加工特征識(shí)別前需要將其轉(zhuǎn)換為數(shù)值表示,轉(zhuǎn)換過(guò)程中容易造成特征某些信息的丟失,影響識(shí)別精度。

    表3對(duì)比了不同特征識(shí)別方法的識(shí)別范圍。

    表3 特征識(shí)別方法與識(shí)別范圍

    Table 3 Feature recognition methods and their recognition range

    識(shí)別方法識(shí)別范圍基于圖獨(dú)立特征基于體分解獨(dú)立特征,有限個(gè)相交特征:僅含柱面和平面基于規(guī)則獨(dú)立特征,預(yù)定義的相交特征基于痕跡尺寸適中的獨(dú)立特征,相交特征神經(jīng)網(wǎng)絡(luò)獨(dú)立特征,相交特征

    3.2 不同神經(jīng)網(wǎng)絡(luò)方法

    本節(jié)針對(duì)三種神經(jīng)網(wǎng)絡(luò)方法,分別從輸入特性、輸出特性、識(shí)別范圍和相交特征處理等幾個(gè)方面分析各自的特點(diǎn)。

    3.2.1 輸入特性

    一種合理且有效的特征預(yù)處理與編碼方法必須具備三點(diǎn)特性:① 能夠準(zhǔn)確且完整地表達(dá)加工特征的幾何與拓?fù)湫畔?;?能夠被輸入層識(shí)別,符合RV的要求;③ 每一類特征都有唯一的表示,各類特征間的表示不重疊。

    根據(jù)組成元素類型,RV可分為三種:① 整數(shù)型,即元素均為整數(shù);② 實(shí)數(shù)型,即元素均為實(shí)數(shù);③ 二進(jìn)制型,即元素僅有0和1兩種值。通常,基于AAG和FAM編碼的RV多為整數(shù)型或二進(jìn)制型,基于FSV的RV元素多為小數(shù),體素化方法得到的體素網(wǎng)絡(luò)均用二進(jìn)制表示。

    表4總結(jié)了三種神經(jīng)網(wǎng)絡(luò)常用的特征預(yù)處理與編碼方法。由于特征具有復(fù)雜的拓?fù)渑c幾何特性,因此綜合了面、環(huán)、邊和點(diǎn)信息的面編碼方式比AAG編碼方式更準(zhǔn)確,也更有效。自組織神經(jīng)網(wǎng)絡(luò)的輸入同樣依賴CAD模型的B-rep信息提取和特征表達(dá)方法,因此,能夠更好反映拓?fù)湫畔⒌奶卣鞅磉_(dá)方法對(duì)提高自組織神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和魯棒性具有重要意義。

    關(guān)于CNN的輸入類型,一方面,CNN的體素化表達(dá)是一種與幾何信息無(wú)關(guān)的數(shù)值轉(zhuǎn)換,而其他兩種神經(jīng)網(wǎng)絡(luò)從B-rep模型提取幾何信息,并借助預(yù)定義的公式生成RV;另一方面,CNN直接選擇體素(三維形式)作為輸入,與將三維對(duì)象簡(jiǎn)單投影到二維表示(如深度圖像或多視圖等)相比,既可減少幾何特征的丟失,又可避免局部或內(nèi)部特征不易投影的問(wèn)題。

    表4 三種神經(jīng)網(wǎng)絡(luò)的常用編碼方法

    3.2.2 輸出特性

    神經(jīng)網(wǎng)絡(luò)的輸出是神經(jīng)網(wǎng)絡(luò)的輸入與權(quán)值反復(fù)計(jì)算和相互作用的結(jié)果,從形式來(lái)看,神經(jīng)網(wǎng)絡(luò)的輸出有以下幾種形式:① 單個(gè)神經(jīng)元的輸出;② 向量形式的輸出;③ 矩陣形式的輸出。

    文獻(xiàn)[45-46]屬于單個(gè)神經(jīng)元的輸出形式。其中文獻(xiàn)[45]為每一種特征建立了一個(gè)三層MLP,其輸出為一個(gè)二進(jìn)制數(shù)值,用于表示該類型特征的識(shí)別結(jié)果。文獻(xiàn)[46]的輸出值是一個(gè)實(shí)數(shù)值,且不同的數(shù)值代表不同的識(shí)別類型,如 0.10 代表三角形型腔,0.12代表長(zhǎng)方形型腔等,所有特征類型的輸出值位于區(qū)間[0.1,0.8]。

    向量是最常見的神經(jīng)網(wǎng)絡(luò)輸出形式,可分為二進(jìn)制形式的向量和實(shí)數(shù)值形式的向量。在二進(jìn)制型向量中,若每個(gè)神經(jīng)元對(duì)應(yīng)一種類型的加工特征,且每次僅激活一個(gè)輸出神經(jīng)元,則該向量為one-hot向量。文獻(xiàn)[34,36,39]等均采用該輸出方式。文獻(xiàn)[49]雖然也是二進(jìn)制向量輸出,但是存在兩個(gè)神經(jīng)元同時(shí)激活一種特征的情況,如[0,1,1]表示通槽,因此不屬于one-hot向量。實(shí)數(shù)型向量的代表有文獻(xiàn)[52]等。此外,Hwang和Henderson[41]應(yīng)用了含六個(gè)元素的輸出向量,每個(gè)元素分別代表類、名稱、置信因子、主面名稱、關(guān)聯(lián)面列表以及總執(zhí)行時(shí)間。

    矩陣也是神經(jīng)網(wǎng)絡(luò)輸出的一種形式,文獻(xiàn)[53]建立的SOFM的輸出即為一個(gè)二進(jìn)制矩陣O=[bij](i=1,2;j=1,2,3,4,5),其中b1j代表識(shí)別的特征代碼,b2j表示該特征在五個(gè)坐標(biāo)軸方向上的可加工性。

    總之,二進(jìn)制向量形式是最常用的神經(jīng)網(wǎng)絡(luò)輸出形式,若采用one-hot編碼,每次計(jì)算僅有一個(gè)輸出神經(jīng)元被激活,因此特征類型數(shù)即為輸出向量的元素個(gè)數(shù)。以3種特征為例,one-hot編碼需要3個(gè)輸出神經(jīng)元,而非one-hot編碼僅需2個(gè)神經(jīng)元,可表示為[0,1]、[1,0]和[1,1],由此可見one-hot編碼在一定程度上增加了神經(jīng)網(wǎng)絡(luò)的參數(shù)量,表1中文獻(xiàn)[49]和文獻(xiàn)[56]的對(duì)比也反映了這個(gè)問(wèn)題。

    3.2.3 識(shí)別范圍

    由于神經(jīng)網(wǎng)絡(luò)類型的不同,特征預(yù)處理方式的不同,以及訓(xùn)練方法等的不同,加工特征識(shí)別的范圍也不盡相同。本文對(duì)相關(guān)文獻(xiàn)進(jìn)行了詳細(xì)的分析,并列舉了部分文獻(xiàn)識(shí)別加工特征的范圍和優(yōu)缺點(diǎn),相關(guān)內(nèi)容見表5,其中I級(jí)特征與II級(jí)特征的說(shuō)明見3.2.4節(jié)。

    由表5可知,槽、臺(tái)階、型腔、孔等簡(jiǎn)單特征最易識(shí)別,相交特征特別是II級(jí)相交特征是各種神經(jīng)網(wǎng)絡(luò)識(shí)別的難點(diǎn)。近年來(lái)隨著研究的深入,相關(guān)算法也在進(jìn)一步發(fā)展。遺傳算法、NBA算法等其他技術(shù)被應(yīng)用到MLP中,提高了識(shí)別性能,然而識(shí)別范圍并沒有明顯的擴(kuò)展。深度學(xué)習(xí)技術(shù)雖然是加工特征識(shí)別的新方法,但在識(shí)別范圍和精度方面均有明顯優(yōu)勢(shì),由此也體現(xiàn)了以CNN為代表的深度學(xué)習(xí)方法在加工特征識(shí)別領(lǐng)域的潛在能力。

    表5 基于神經(jīng)網(wǎng)絡(luò)的特征識(shí)別方法Table 5 Feature recognition methods based on neural networks

    3.2.4 相交特征處理

    相交特征識(shí)別一直是特征識(shí)別的難點(diǎn),復(fù)合/相交特征存在兩種形式的特征交叉。在第一種形式中,簡(jiǎn)單特征的內(nèi)部面同時(shí)是其他簡(jiǎn)單特征的外部面,這種復(fù)合特征能夠分解出多個(gè)完整的簡(jiǎn)單特征,可稱為I類相交特征。另一種特征交叉中,兩個(gè)或多個(gè)簡(jiǎn)單特征具有共同的面,且這些面均位于特征的內(nèi)部,該類型的特征不能分解出相互獨(dú)立的子特征,可稱為II類相交特征。神經(jīng)網(wǎng)絡(luò)識(shí)別相交特征具有一定的優(yōu)勢(shì),其主要原因是神經(jīng)網(wǎng)絡(luò)具有良好的抗噪性,當(dāng)輸入特征為相交特征時(shí),神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練可在一定程度上學(xué)習(xí)相交特征的主要特點(diǎn),忽略次要信息,進(jìn)而識(shí)別得到正確結(jié)果。常見的相交特征處理方法可歸結(jié)為分解子圖法、啟發(fā)式算法、橫截面分層法和基于軟件包的方法等,其中:

    1) 分解子圖法

    基于AAG和FAM編碼的神經(jīng)網(wǎng)絡(luò)識(shí)別復(fù)合特征時(shí),通常先生成模型的AAG,然后再用啟發(fā)式算法或其他方法生成子圖,每個(gè)子圖只包含一個(gè)簡(jiǎn)單特征,最后將子圖轉(zhuǎn)為神經(jīng)網(wǎng)絡(luò)的輸入。文獻(xiàn)[36]即用這種方式處理相交特征。

    對(duì)于一些復(fù)合特征,如多級(jí)孔等,子圖分解方法可能會(huì)將其分為多個(gè)子特征。然而,考慮到特征間的相互作用,這些子特征應(yīng)被識(shí)別為一個(gè)統(tǒng)一的整體。為了解決此問(wèn)題,文獻(xiàn)[49]對(duì)子圖分解后得到的任意兩個(gè)AM(特征因子)進(jìn)行比較,若存在公共面和公共基面,則將這兩個(gè)特征因子組合為一個(gè)特征。

    2) 啟發(fā)式算法

    啟發(fā)式算法識(shí)別相交特征的基礎(chǔ)是利用相交特征對(duì)構(gòu)建不同類型的相交實(shí)體(Interacting Entity, IE)。首先遍歷模型中的所有特征,然后對(duì)每個(gè)特征對(duì)執(zhí)行布爾交叉運(yùn)算,最后分析IE,從而確定每對(duì)特征的關(guān)系。具體算法可參見文獻(xiàn)[39]。文獻(xiàn)[35]利用啟發(fā)式算法將復(fù)合特征分解為簡(jiǎn)單特征,之后輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別,但是該方法不能處理II類相交特征。

    3) 橫截面分層法

    文獻(xiàn)[53-54]識(shí)別相交特征時(shí),利用橫截面分層的方法獲取相交區(qū)域的頂點(diǎn),然后用SOFM進(jìn)行聚類,結(jié)合布爾運(yùn)算分解相交區(qū)域和提取體積數(shù)據(jù),實(shí)現(xiàn)整個(gè)相交特征合成區(qū)域的分離。根據(jù)相交區(qū)域的復(fù)雜程度,該過(guò)程可能需要執(zhí)行多次SOFM操作。

    4) 基于軟件包的方法

    FeatureNet[52]使用Python的scikit-image包中提供的連通分量標(biāo)記算法,先將不相鄰的特征或特征子集彼此分離,再利用分水嶺分割算法將每個(gè)分離的特征子集分割為單個(gè)特征,最后輸入到CNN進(jìn)行識(shí)別。

    4 展 望

    神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征是同時(shí)利用和融合了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特性和CAD/CAM/CAPP專業(yè)屬性,是一種完全有別于傳統(tǒng)識(shí)別方法的跨學(xué)科技術(shù)。其可能的發(fā)展趨勢(shì)如下:

    1) 深度學(xué)習(xí)算法應(yīng)用。目前,CNN已經(jīng)被初步應(yīng)用到加工特征的識(shí)別中,但是采用的結(jié)構(gòu)簡(jiǎn)單,數(shù)據(jù)集的規(guī)模也較小。未來(lái)可以考慮模仿AlexNet、VGGNet等深層網(wǎng)絡(luò)結(jié)構(gòu)建立更加復(fù)雜的CNN模型識(shí)別加工特征。同時(shí),鑒于ImageNet對(duì)分類和識(shí)別任務(wù)的重要性,有必要建立一個(gè)種類多樣、模型復(fù)雜、尺寸變化大、形狀不規(guī)則的CAD模型數(shù)據(jù)集,為神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測(cè)試提供數(shù)據(jù)。此外,體素化方法在邊界特征表示、計(jì)算效率等方面還不太完善,也需進(jìn)一步優(yōu)化和思考。

    2) 全信息特征識(shí)別。從CAD/CAM/CAPP角度考慮,為了保證下游CAPP模塊或檢查和裝配過(guò)程規(guī)劃中能夠獲得有效的特征,特征識(shí)別系統(tǒng)除了能夠識(shí)別形狀特征外,還應(yīng)找到零件的特征和相應(yīng)的尺寸及公差之間的匹配關(guān)系,具體涉及尺寸、幾何公差、形位公差及其他特征屬性等。因此需要研究神經(jīng)網(wǎng)絡(luò)對(duì)多種不同類型屬性的識(shí)別問(wèn)題,以及建立配套的特征表示方法。

    3) 類人腦認(rèn)知結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)的本質(zhì)是基于數(shù)據(jù)驅(qū)動(dòng)的數(shù)值計(jì)算方法,因此任何類型的神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征都須將CAD模型轉(zhuǎn)換為數(shù)值輸入。神經(jīng)網(wǎng)絡(luò)是對(duì)大腦系統(tǒng)的模仿和再現(xiàn),同樣地,利用類人腦技術(shù)模仿大腦的某些機(jī)理,也可以建立新型的神經(jīng)網(wǎng)絡(luò)。其中的一種構(gòu)思是將網(wǎng)絡(luò)設(shè)計(jì)為與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)類似的結(jié)構(gòu)形式;在輸入類型上直接以面作為輸入,不必轉(zhuǎn)換為數(shù)值信息;神經(jīng)元處理函數(shù)不再是數(shù)值型的激活函數(shù),而是自定義的認(rèn)知表達(dá)式形式。此時(shí)的神經(jīng)網(wǎng)絡(luò)可轉(zhuǎn)變成一種基于邏輯運(yùn)算的神經(jīng)網(wǎng)絡(luò)。這也是神經(jīng)網(wǎng)絡(luò)在3D模型的面特征識(shí)別領(lǐng)域的一個(gè)發(fā)展方向。

    5 結(jié) 論

    本文針對(duì)智能化設(shè)計(jì)與制造領(lǐng)域中的加工特征識(shí)別這一關(guān)鍵技術(shù)問(wèn)題,介紹了近年來(lái)興起的新型識(shí)別方法,即神經(jīng)網(wǎng)絡(luò)識(shí)別方法。根據(jù)目前的研究現(xiàn)狀和主要采用的神經(jīng)網(wǎng)絡(luò)類型,將特征識(shí)別分為三種不同方法,并進(jìn)行了較為全面的論述和分析。

    1) 系統(tǒng)性地論述了MLP、自組織神經(jīng)網(wǎng)絡(luò)和CNN等三種不同神經(jīng)網(wǎng)絡(luò)的原理,詳細(xì)研究了神經(jīng)網(wǎng)絡(luò)在加工特征識(shí)別領(lǐng)域的計(jì)算方法。

    2) 進(jìn)一步歸納了神經(jīng)網(wǎng)絡(luò)方法采用的特征預(yù)處理方式和網(wǎng)絡(luò)結(jié)構(gòu),深入分析了每種神經(jīng)網(wǎng)絡(luò)的特性和優(yōu)缺點(diǎn)。

    3) 總結(jié)了目前神經(jīng)網(wǎng)絡(luò)識(shí)別加工特征的優(yōu)勢(shì),指出了其中存在的一些問(wèn)題和面臨的挑戰(zhàn),并展望了該領(lǐng)域未來(lái)的發(fā)展方向。

    猜你喜歡
    神經(jīng)元神經(jīng)網(wǎng)絡(luò)加工
    認(rèn)識(shí)“超加工食品”
    中老年保健(2022年5期)2022-08-24 02:36:10
    后期加工
    《從光子到神經(jīng)元》書評(píng)
    自然雜志(2021年6期)2021-12-23 08:24:46
    神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
    電子制作(2019年19期)2019-11-23 08:42:00
    躍動(dòng)的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
    菱的簡(jiǎn)易加工幾法
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    基于二次型單神經(jīng)元PID的MPPT控制
    毫米波導(dǎo)引頭預(yù)定回路改進(jìn)單神經(jīng)元控制
    男人的好看免费观看在线视频| 久久精品夜夜夜夜夜久久蜜豆| 丝袜喷水一区| 色视频www国产| 国产亚洲一区二区精品| 高清在线视频一区二区三区 | 少妇的逼水好多| 夜夜爽夜夜爽视频| 搞女人的毛片| 中文字幕免费在线视频6| 亚洲精品色激情综合| 高清日韩中文字幕在线| 在线免费观看的www视频| 热99在线观看视频| 日韩制服骚丝袜av| 爱豆传媒免费全集在线观看| 高清日韩中文字幕在线| av免费在线看不卡| 99热网站在线观看| 久久婷婷人人爽人人干人人爱| 美女国产视频在线观看| 我的女老师完整版在线观看| 久久人人爽人人爽人人片va| a级毛片免费高清观看在线播放| 日韩欧美三级三区| 日韩制服骚丝袜av| 国产精品久久视频播放| av线在线观看网站| 久久久久国产网址| 精品国产三级普通话版| 91精品伊人久久大香线蕉| 成年免费大片在线观看| 在线播放无遮挡| 中文天堂在线官网| 国产男人的电影天堂91| 免费观看的影片在线观看| 国产精品久久久久久久久免| 天天一区二区日本电影三级| 婷婷色综合大香蕉| 免费观看性生交大片5| 一级黄片播放器| 午夜精品一区二区三区免费看| 欧美最新免费一区二区三区| 99久久精品热视频| 美女内射精品一级片tv| 国产亚洲av片在线观看秒播厂 | 亚洲成人av在线免费| 亚洲精品成人久久久久久| 国产高清国产精品国产三级 | 日本五十路高清| 日本猛色少妇xxxxx猛交久久| 男人和女人高潮做爰伦理| 99久久成人亚洲精品观看| 伊人久久精品亚洲午夜| 黄片wwwwww| 国产一区二区亚洲精品在线观看| 久久韩国三级中文字幕| 日韩精品有码人妻一区| 性色avwww在线观看| 我要看日韩黄色一级片| 毛片一级片免费看久久久久| 久久国内精品自在自线图片| 一级av片app| 啦啦啦韩国在线观看视频| 不卡视频在线观看欧美| av.在线天堂| 日本五十路高清| 中文字幕av成人在线电影| 看非洲黑人一级黄片| 又粗又硬又长又爽又黄的视频| 久久精品久久精品一区二区三区| 18禁裸乳无遮挡免费网站照片| 日韩欧美精品免费久久| 男人和女人高潮做爰伦理| 中文字幕亚洲精品专区| 午夜精品国产一区二区电影 | 寂寞人妻少妇视频99o| 欧美+日韩+精品| 欧美最新免费一区二区三区| 国内精品美女久久久久久| 国产精品国产高清国产av| 联通29元200g的流量卡| 欧美极品一区二区三区四区| 国产淫语在线视频| 伊人久久精品亚洲午夜| 中文字幕av成人在线电影| 97超视频在线观看视频| 亚洲伊人久久精品综合 | 国产精华一区二区三区| 特大巨黑吊av在线直播| 日韩 亚洲 欧美在线| 国产淫片久久久久久久久| 久久99热6这里只有精品| 亚洲欧美精品综合久久99| 午夜久久久久精精品| 国产精品野战在线观看| 国产免费男女视频| 三级男女做爰猛烈吃奶摸视频| 两个人的视频大全免费| av在线观看视频网站免费| 精品久久久久久电影网 | 国产高清三级在线| 久久久久国产网址| 汤姆久久久久久久影院中文字幕 | 国产又黄又爽又无遮挡在线| 91av网一区二区| 午夜日本视频在线| 免费观看a级毛片全部| 色吧在线观看| 成人午夜高清在线视频| 综合色av麻豆| 亚洲久久久久久中文字幕| 蜜桃亚洲精品一区二区三区| 国产乱人偷精品视频| 99久久精品一区二区三区| 看十八女毛片水多多多| 三级国产精品欧美在线观看| 最新中文字幕久久久久| 精品午夜福利在线看| av在线播放精品| 亚洲欧美中文字幕日韩二区| 午夜精品国产一区二区电影 | 日韩av不卡免费在线播放| 成人国产麻豆网| 国国产精品蜜臀av免费| 国产精品久久久久久av不卡| 99热6这里只有精品| 久久久久性生活片| 免费黄网站久久成人精品| 国内精品一区二区在线观看| 精品国产三级普通话版| 亚洲综合精品二区| 国产欧美日韩精品一区二区| 日韩av不卡免费在线播放| 99九九线精品视频在线观看视频| 精品久久久久久成人av| 麻豆久久精品国产亚洲av| 久久久精品94久久精品| 干丝袜人妻中文字幕| 亚洲精华国产精华液的使用体验| 亚洲精品日韩av片在线观看| 午夜免费激情av| 国产 一区 欧美 日韩| 高清午夜精品一区二区三区| 国产亚洲午夜精品一区二区久久 | 中文乱码字字幕精品一区二区三区 | 日韩亚洲欧美综合| 看片在线看免费视频| 日日啪夜夜撸| 欧美性猛交╳xxx乱大交人| 国产精品一二三区在线看| 国产免费男女视频| 美女黄网站色视频| 最近的中文字幕免费完整| 久久久欧美国产精品| 91aial.com中文字幕在线观看| 成人午夜高清在线视频| 青春草视频在线免费观看| 婷婷色麻豆天堂久久 | 夜夜看夜夜爽夜夜摸| 长腿黑丝高跟| 嘟嘟电影网在线观看| 九草在线视频观看| 亚洲自偷自拍三级| 如何舔出高潮| 成年女人看的毛片在线观看| 狂野欧美激情性xxxx在线观看| 建设人人有责人人尽责人人享有的 | 中文字幕免费在线视频6| 国产日韩欧美在线精品| 中文字幕久久专区| 少妇熟女aⅴ在线视频| 久久热精品热| 高清日韩中文字幕在线| 嫩草影院入口| 非洲黑人性xxxx精品又粗又长| 久久精品国产亚洲av天美| 日韩欧美在线乱码| 久久精品91蜜桃| 精品人妻视频免费看| 久久人人爽人人爽人人片va| 国产精品.久久久| 欧美成人一区二区免费高清观看| 久久99热6这里只有精品| 亚洲精品乱码久久久久久按摩| 成人三级黄色视频| 性色avwww在线观看| 欧美一级a爱片免费观看看| 波多野结衣高清无吗| 18禁在线播放成人免费| 日韩欧美国产在线观看| 免费看a级黄色片| 精品午夜福利在线看| 国产一区二区在线av高清观看| 精品久久国产蜜桃| 中文字幕熟女人妻在线| 亚洲va在线va天堂va国产| 18禁动态无遮挡网站| 亚洲精华国产精华液的使用体验| 日韩欧美 国产精品| www.色视频.com| 午夜福利在线观看吧| 中文字幕制服av| 久久久久国产网址| 亚洲精品日韩av片在线观看| 国产精品女同一区二区软件| 午夜激情欧美在线| 免费一级毛片在线播放高清视频| 精品熟女少妇av免费看| 国产精品久久久久久精品电影| 一区二区三区免费毛片| a级一级毛片免费在线观看| 国产真实伦视频高清在线观看| 嫩草影院入口| 秋霞伦理黄片| 九九久久精品国产亚洲av麻豆| 久99久视频精品免费| 精品少妇黑人巨大在线播放 | av专区在线播放| 少妇人妻一区二区三区视频| 久久久国产成人免费| 亚洲丝袜综合中文字幕| 亚洲第一区二区三区不卡| 亚洲精品亚洲一区二区| 久久婷婷人人爽人人干人人爱| 国产精品爽爽va在线观看网站| 1024手机看黄色片| 又爽又黄a免费视频| 三级经典国产精品| 色噜噜av男人的天堂激情| 久久韩国三级中文字幕| 日本三级黄在线观看| h日本视频在线播放| 黄片wwwwww| 欧美成人a在线观看| 亚洲美女搞黄在线观看| 女人久久www免费人成看片 | 亚洲美女搞黄在线观看| 亚洲成色77777| 高清日韩中文字幕在线| 亚洲四区av| 国产激情偷乱视频一区二区| 91午夜精品亚洲一区二区三区| 男女边吃奶边做爰视频| 亚洲国产成人一精品久久久| 日本五十路高清| 亚洲精品国产av成人精品| 伦精品一区二区三区| 亚洲一级一片aⅴ在线观看| 麻豆精品久久久久久蜜桃| 在线天堂最新版资源| 久久久精品欧美日韩精品| videos熟女内射| 国产免费福利视频在线观看| videossex国产| 久久亚洲国产成人精品v| 搡女人真爽免费视频火全软件| 最近的中文字幕免费完整| 亚洲成人av在线免费| 99九九线精品视频在线观看视频| 一级毛片aaaaaa免费看小| 五月伊人婷婷丁香| a级毛色黄片| 国产午夜福利久久久久久| 观看美女的网站| 久久久久久久亚洲中文字幕| 国内揄拍国产精品人妻在线| 久久精品国产99精品国产亚洲性色| av在线蜜桃| 久久精品久久精品一区二区三区| 97超碰精品成人国产| 成人国产麻豆网| 一边摸一边抽搐一进一小说| 偷拍熟女少妇极品色| 噜噜噜噜噜久久久久久91| 免费观看的影片在线观看| 免费观看精品视频网站| 又粗又爽又猛毛片免费看| 国产高清视频在线观看网站| 插阴视频在线观看视频| 可以在线观看毛片的网站| 欧美日本亚洲视频在线播放| 性插视频无遮挡在线免费观看| 天堂影院成人在线观看| 国产精品久久久久久久电影| 久久久久久九九精品二区国产| 国产一区二区亚洲精品在线观看| 一级黄片播放器| 久久久久免费精品人妻一区二区| 亚洲精品亚洲一区二区| 一个人看视频在线观看www免费| 日本免费在线观看一区| 长腿黑丝高跟| 久久久久性生活片| 国产伦理片在线播放av一区| 亚洲精品,欧美精品| 91久久精品国产一区二区三区| 男插女下体视频免费在线播放| 国产乱人偷精品视频| 亚洲中文字幕日韩| 国产伦精品一区二区三区视频9| 欧美激情在线99| 日本黄色片子视频| a级一级毛片免费在线观看| 精品一区二区三区人妻视频| 亚洲精品色激情综合| 嫩草影院入口| 精品99又大又爽又粗少妇毛片| .国产精品久久| 日日撸夜夜添| 国产精华一区二区三区| 天堂网av新在线| av专区在线播放| 国产探花极品一区二区| 国产黄片美女视频| 在线观看av片永久免费下载| 丰满乱子伦码专区| 亚洲人与动物交配视频| 人人妻人人看人人澡| 又粗又爽又猛毛片免费看| 欧美性猛交╳xxx乱大交人| 亚洲人成网站在线播| 小说图片视频综合网站| 国产精品,欧美在线| 老司机影院成人| 成人一区二区视频在线观看| 免费看a级黄色片| 一二三四中文在线观看免费高清| 午夜久久久久精精品| 日韩av在线免费看完整版不卡| 国产精品女同一区二区软件| 亚洲人成网站在线播| 精品熟女少妇av免费看| 久久精品综合一区二区三区| 建设人人有责人人尽责人人享有的 | 亚洲自偷自拍三级| 精品人妻熟女av久视频| 99热精品在线国产| 欧美日本亚洲视频在线播放| 成人午夜高清在线视频| 久久久久久久久久久丰满| 一区二区三区高清视频在线| 91久久精品国产一区二区三区| 国产v大片淫在线免费观看| 国产av码专区亚洲av| 变态另类丝袜制服| 国产精品一二三区在线看| 国产白丝娇喘喷水9色精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 老师上课跳d突然被开到最大视频| 中文天堂在线官网| 免费观看人在逋| 国产精品永久免费网站| 1000部很黄的大片| 国产成年人精品一区二区| 国产精品美女特级片免费视频播放器| 久久鲁丝午夜福利片| 一边亲一边摸免费视频| 特大巨黑吊av在线直播| 永久网站在线| 69人妻影院| 在线播放国产精品三级| 在线免费十八禁| 国产又黄又爽又无遮挡在线| 久久99蜜桃精品久久| 卡戴珊不雅视频在线播放| 欧美97在线视频| 国产伦在线观看视频一区| 亚洲成色77777| 舔av片在线| 国产单亲对白刺激| 日本-黄色视频高清免费观看| or卡值多少钱| 老师上课跳d突然被开到最大视频| 婷婷色麻豆天堂久久 | 日日摸夜夜添夜夜添av毛片| 美女国产视频在线观看| 国内精品宾馆在线| 特级一级黄色大片| 久久久久久久久大av| a级毛色黄片| 人妻制服诱惑在线中文字幕| 国产av不卡久久| 一级黄片播放器| 亚洲欧美精品自产自拍| 国产精品女同一区二区软件| 欧美一级a爱片免费观看看| 成人国产麻豆网| 建设人人有责人人尽责人人享有的 | 亚洲婷婷狠狠爱综合网| 午夜福利在线在线| 午夜免费激情av| 欧美精品一区二区大全| 高清毛片免费看| 最后的刺客免费高清国语| 搞女人的毛片| 久久久国产成人精品二区| 舔av片在线| 三级国产精品欧美在线观看| 国产激情偷乱视频一区二区| 99久久精品热视频| 国产毛片a区久久久久| 国产精品久久久久久精品电影小说 | 不卡视频在线观看欧美| 99久国产av精品| 日韩av在线大香蕉| 久久久久久久久久黄片| 日韩欧美 国产精品| 国产淫语在线视频| 久久草成人影院| 久99久视频精品免费| 一边摸一边抽搐一进一小说| 日韩三级伦理在线观看| 亚洲精品日韩在线中文字幕| 亚洲av二区三区四区| 免费av观看视频| 99久久人妻综合| 人妻少妇偷人精品九色| 卡戴珊不雅视频在线播放| 视频中文字幕在线观看| 亚州av有码| 26uuu在线亚洲综合色| 亚洲精品亚洲一区二区| 99久久九九国产精品国产免费| 国产又黄又爽又无遮挡在线| 中文字幕免费在线视频6| 人妻系列 视频| 好男人在线观看高清免费视频| 国产视频首页在线观看| 日韩成人av中文字幕在线观看| 国产精品久久视频播放| 成人性生交大片免费视频hd| 国产人妻一区二区三区在| 一本久久精品| 亚洲av一区综合| 男女下面进入的视频免费午夜| 大话2 男鬼变身卡| 精品99又大又爽又粗少妇毛片| 国产精品美女特级片免费视频播放器| 久久久久精品久久久久真实原创| 人妻夜夜爽99麻豆av| 中国美白少妇内射xxxbb| 成人美女网站在线观看视频| 不卡视频在线观看欧美| 91aial.com中文字幕在线观看| 日韩中字成人| 国产私拍福利视频在线观看| 天堂√8在线中文| 超碰av人人做人人爽久久| 亚洲成av人片在线播放无| 麻豆精品久久久久久蜜桃| 内地一区二区视频在线| 国产单亲对白刺激| 麻豆成人午夜福利视频| 亚洲国产成人一精品久久久| 一级毛片aaaaaa免费看小| 色网站视频免费| 村上凉子中文字幕在线| 亚洲怡红院男人天堂| 国产一区二区在线av高清观看| 国产成人a∨麻豆精品| 超碰97精品在线观看| 午夜精品一区二区三区免费看| 国产亚洲精品av在线| 国产午夜精品论理片| 三级经典国产精品| 看非洲黑人一级黄片| 亚洲精品乱久久久久久| 国产精品一二三区在线看| 91在线精品国自产拍蜜月| 国产精品美女特级片免费视频播放器| av在线老鸭窝| 三级男女做爰猛烈吃奶摸视频| 日韩精品青青久久久久久| 亚洲欧洲日产国产| 国产亚洲精品久久久com| a级毛色黄片| 波多野结衣巨乳人妻| 全区人妻精品视频| 我的女老师完整版在线观看| 久久久久久久久久黄片| 欧美成人a在线观看| 99热这里只有是精品50| 尾随美女入室| 三级国产精品欧美在线观看| 丰满乱子伦码专区| 精品欧美国产一区二区三| 久久久久久久久久久丰满| 老司机影院毛片| 永久免费av网站大全| 亚洲伊人久久精品综合 | 国产三级中文精品| 日韩欧美精品免费久久| 成人美女网站在线观看视频| 日韩精品青青久久久久久| 国产成年人精品一区二区| 一级毛片久久久久久久久女| 啦啦啦啦在线视频资源| 天堂av国产一区二区熟女人妻| 国产伦理片在线播放av一区| 中文亚洲av片在线观看爽| 免费看a级黄色片| 中文精品一卡2卡3卡4更新| 亚洲国产最新在线播放| 亚洲av不卡在线观看| 欧美+日韩+精品| 波多野结衣高清无吗| 长腿黑丝高跟| 欧美xxxx黑人xx丫x性爽| 久久久国产成人免费| 亚洲国产日韩欧美精品在线观看| 午夜福利在线观看免费完整高清在| 欧美三级亚洲精品| 国产成人福利小说| 久99久视频精品免费| 国产在线一区二区三区精 | 国产午夜精品论理片| 日韩av在线免费看完整版不卡| 国产精品一区二区三区四区久久| 91精品伊人久久大香线蕉| 成人亚洲精品av一区二区| 亚洲在线自拍视频| 大香蕉久久网| 婷婷六月久久综合丁香| 99久久无色码亚洲精品果冻| 亚洲久久久久久中文字幕| 尾随美女入室| 欧美bdsm另类| 国模一区二区三区四区视频| 内地一区二区视频在线| av福利片在线观看| 黄片wwwwww| 最近中文字幕高清免费大全6| 亚洲av不卡在线观看| 日韩,欧美,国产一区二区三区 | 亚洲中文字幕一区二区三区有码在线看| 免费不卡的大黄色大毛片视频在线观看 | 亚洲内射少妇av| 能在线免费看毛片的网站| 国产乱人偷精品视频| 黄色一级大片看看| 五月伊人婷婷丁香| 乱人视频在线观看| 一本一本综合久久| 十八禁国产超污无遮挡网站| 国产探花极品一区二区| 亚洲精品日韩在线中文字幕| 淫秽高清视频在线观看| 国产乱来视频区| 国产淫语在线视频| 日日啪夜夜撸| 乱人视频在线观看| 桃色一区二区三区在线观看| 直男gayav资源| 三级男女做爰猛烈吃奶摸视频| 日韩制服骚丝袜av| 卡戴珊不雅视频在线播放| 在线播放国产精品三级| 国产免费一级a男人的天堂| 国产av不卡久久| 床上黄色一级片| 毛片女人毛片| 国产日韩欧美在线精品| 三级男女做爰猛烈吃奶摸视频| 丰满人妻一区二区三区视频av| 男人的好看免费观看在线视频| 国产大屁股一区二区在线视频| 国产高清不卡午夜福利| 五月玫瑰六月丁香| 日本欧美国产在线视频| 一级二级三级毛片免费看| 国产亚洲一区二区精品| 国产精品1区2区在线观看.| 国产精品爽爽va在线观看网站| 中文乱码字字幕精品一区二区三区 | 精品少妇黑人巨大在线播放 | 我要看日韩黄色一级片| 日本黄色片子视频| 身体一侧抽搐| 欧美一区二区亚洲| 亚洲欧美精品综合久久99| 日本-黄色视频高清免费观看| 午夜亚洲福利在线播放| 日韩欧美国产在线观看| 亚洲国产精品sss在线观看| 成人av在线播放网站| 久久精品国产鲁丝片午夜精品| 日本免费在线观看一区| 亚洲最大成人av| 国产在线一区二区三区精 | 青春草视频在线免费观看| 久久久久精品久久久久真实原创| 91在线精品国自产拍蜜月| 蜜桃久久精品国产亚洲av| 男的添女的下面高潮视频| 亚洲国产精品成人综合色| 美女国产视频在线观看| 精品一区二区三区视频在线| 插逼视频在线观看| av视频在线观看入口| 伦精品一区二区三区| 91久久精品国产一区二区三区| 日本黄色片子视频| 两个人的视频大全免费| 麻豆国产97在线/欧美| 嘟嘟电影网在线观看| 亚洲精品亚洲一区二区| 欧美激情在线99| av在线老鸭窝| 三级经典国产精品| 91久久精品国产一区二区三区| 蜜桃亚洲精品一区二区三区| 日韩成人伦理影院| 欧美又色又爽又黄视频| 1024手机看黄色片|