• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Swin Transformer 輕量化的TFT-LCD 面板缺陷分類算法

    2023-12-19 13:14:58周怡君
    光學(xué)精密工程 2023年22期
    關(guān)鍵詞:標(biāo)簽卷積向量

    夏 衍, 羅 晨*, 周怡君, 賈 磊

    (1. 東南大學(xué) 機(jī)械工程學(xué)院,江蘇 南京 211189;2. 無(wú)錫尚實(shí)電子科技有限公司,江蘇 無(wú)錫 214174)

    1 引 言

    伴隨5G 技術(shù)的出現(xiàn),萬(wàn)物互聯(lián)的發(fā)展趨勢(shì)愈加明顯,信息交互的增加進(jìn)一步突出了智能顯示的重要性,而作為智能顯示的載體,顯示面板行業(yè)也得到了極為迅速地發(fā)展,其中薄膜晶體管液晶顯示器(Thin Film Transistor Liquid Crystal Display,TFT-LCD)充分滿足了人們對(duì)于液晶顯示面板性能、分辨率、價(jià)格等多方面的要求,逐漸成為了市場(chǎng)上的主流屏幕。

    整個(gè)TFT-LCD 面板制作過(guò)程極為復(fù)雜,其中不同工藝所產(chǎn)生的問(wèn)題會(huì)在圖像掃描的成像端上表現(xiàn)為各種形態(tài)不一的缺陷,而通過(guò)對(duì)這些缺陷進(jìn)行是否為缺陷以及是何種缺陷的判定,可以幫助快速定位到導(dǎo)致缺陷產(chǎn)生的工藝,進(jìn)而針對(duì)性地調(diào)整和改進(jìn)工藝,因此TFT-LCD 面板缺陷的準(zhǔn)確快速分類對(duì)于整體生產(chǎn)過(guò)程具有重要意義。

    隨著液晶顯示器內(nèi)部結(jié)構(gòu)更加精細(xì),TFTLCD 缺陷逐漸缺乏固定的表現(xiàn)形式,不同種類的缺陷之間特征區(qū)別不明顯,導(dǎo)致缺陷分類難度大大增加。同時(shí),缺陷產(chǎn)生的位置也對(duì)缺陷分類產(chǎn)生了新的要求,由于不在線路區(qū)域的缺陷并不影響產(chǎn)品的正常使用,因此這類情況下即便存在缺陷也依然需要被判定為正常。此外,除了對(duì)分類準(zhǔn)確率的高要求,分類算法還需要兼顧好對(duì)生產(chǎn)節(jié)拍時(shí)間的高要求。

    目前TFT-LCD 面板缺陷的分類算法主要為基于自動(dòng)光學(xué)檢測(cè)的傳統(tǒng)方法,分為特征提取和分類器識(shí)別兩階段。特征提取能夠幫助研究對(duì)象從圖像矩陣格式轉(zhuǎn)換為特征向量格式輸入后續(xù)的分類器中,這些提取的特征剔除很多冗余信息后,顯著提升了分類器的訓(xùn)練速度和精度。一般常用的特征提取方法包括灰度共生矩陣[1]、梯度方向直方圖[2]和二值連通區(qū)域標(biāo)記[3]等。分類器識(shí)別主要是將上一階段提取到的缺陷特征輸入以支持向量機(jī)[4](Support Vector Machine,SVM)為主的各類分類器中完成缺陷分類。Kang 等[5]定義并提取了24 個(gè)LCD 缺陷的關(guān)鍵特征,輸入SVM 后完成了對(duì)LCD 生產(chǎn)流程中缺陷的分類。Huang 等[6]提出了一種基于視覺詞袋模型的TFT-LCD 缺陷分類算法,引入顏色和SIFT(Scale-Invariant Feature Transform)特征描述缺陷區(qū)域后,利用基于多核卡方核函數(shù)的SVM 獲得了效果最佳的分類器。Kong 等[7]使用帶通濾波器和Sobel 邊緣檢測(cè)算子對(duì)圖像增強(qiáng)后獲得了更為明顯的缺陷特征,利用這些特征訓(xùn)練的SVM 分類器完成了對(duì)TFT-LCD 水漬缺陷的分類。但上述方法極為依賴人為選取的特征,因此對(duì)場(chǎng)景的變化比較敏感,缺乏對(duì)復(fù)雜背景下缺陷的分類能力。

    近年來(lái)深度學(xué)習(xí)的快速發(fā)展為缺陷分類任務(wù)提供了新的思路[8],如弱監(jiān)督學(xué)習(xí)[9]、少樣本學(xué)習(xí)[10]和抽象學(xué)習(xí)[11]等。Wen 等[12]對(duì)于鋼材表面缺陷提出了一種集成不同深度卷積神經(jīng)網(wǎng)絡(luò)的缺陷分類方法,通過(guò)數(shù)據(jù)增強(qiáng)分別訓(xùn)練三個(gè)不同的深度卷積神經(jīng)網(wǎng)絡(luò)以減少過(guò)擬合后,再將三個(gè)訓(xùn)練好的模型融合以提高分類準(zhǔn)確性和魯棒性。Fu等[13]采用預(yù)訓(xùn)練的SqueezeNet 作為骨干網(wǎng)絡(luò),在只需要少量特定于缺陷的訓(xùn)練樣本情況下,完成了鋼材表面各類缺陷的高精度識(shí)別。Ihor 等[14]基于ResNet50 網(wǎng)絡(luò)結(jié)構(gòu),結(jié)合注意力損失函數(shù),實(shí)現(xiàn)了金屬表面缺陷的多標(biāo)簽分類。He 等[15]引入多尺度感受野提取多尺度特征,并利用自動(dòng)編碼器降低多尺度特征維度,進(jìn)而提高了模型在訓(xùn)練樣本不足下的特征表達(dá)和泛化能力,最終實(shí)現(xiàn)了對(duì)熱軋鋼板表面缺陷的準(zhǔn)確分類。Haselmanm等[16]利用人工合成缺陷構(gòu)建了更為準(zhǔn)確的缺陷數(shù)據(jù)集,根據(jù)數(shù)據(jù)集訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了塑料制品表面真實(shí)缺陷的準(zhǔn)確分類。

    盡管深度學(xué)習(xí)方法大大提高了對(duì)各類缺陷的分類能力,但其對(duì)于具有復(fù)雜紋理和模糊邊界等特點(diǎn)的缺陷仍難以精確區(qū)分。同時(shí),考慮到工業(yè)檢測(cè)的實(shí)時(shí)性要求,深度學(xué)習(xí)模型還應(yīng)當(dāng)保證輕量化。因此,本文在高精度網(wǎng)絡(luò) Swin Transformer 基礎(chǔ)上提出輕量化改進(jìn),在損失較小精度的情況下完成了最大化的速度提升,最終獲得了具有92.7%精度和每秒檢測(cè)60.43 張圖像速度的適用于工業(yè)生產(chǎn)的深度學(xué)習(xí)模型。本文的改進(jìn)工作如下:

    (1) 引入標(biāo)記向量融合模塊,通過(guò)融合相似的標(biāo)記向量以減少每一層送入神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù),從而完成對(duì)模型的輕量化操作;

    (2) 插入深度可分離卷積模塊以幫助模型增加卷積歸納偏置,進(jìn)而緩解模型中Transformer架構(gòu)對(duì)訓(xùn)練數(shù)據(jù)的巨大需求并提高分類準(zhǔn)確率;

    (3) 通過(guò)知識(shí)蒸餾策略將改進(jìn)模型作為學(xué)生模型,從而保證模型輕量化的同時(shí)進(jìn)一步提升模型的分類準(zhǔn)確性。

    2 Swin Transformer 算法

    Swin Transformer 算法[17]由微軟研究院在2021年的ICCV 會(huì)議上提出,其在Vision Transformer(ViT)模型[18]的基礎(chǔ)上,引入類似卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的層次化構(gòu)建方法,通過(guò)對(duì)特征圖的下采樣實(shí)現(xiàn)了多尺度的檢測(cè)能力。同時(shí),模型使用窗口多頭自注意力(Windows Multi-Head Self-Attention, WMSA)機(jī)制以減少計(jì)算量,并使用移動(dòng)窗口多頭自注意力(Shifted Windows Multi-Head Self-Attention, SW-MSA)機(jī)制解決W-MSA 導(dǎo)致的窗口間信息傳遞隔絕問(wèn)題。具體參數(shù)量最少的Swin Transformer Tiny(Swin-T)模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。由圖可知,整個(gè)Swin Transformer模型傳播過(guò)程主要分為三個(gè)步驟:

    圖1 Swin-T 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Architecture of Swin-T model

    (1)首先輸入圖片在圖像塊分割(Patch Partition)層進(jìn)行分塊,其中每4×4 相鄰像素為一個(gè)圖像塊(Patch)并沿通道方向展平為標(biāo)記向量(Token),然后在線性嵌入層(Linear Embedding)對(duì)通道進(jìn)行線性變換;

    (2)利用四個(gè)階段構(gòu)建不同大小特征圖,其中后三個(gè)階段中首先使用圖像塊融合(Patch Merging)進(jìn)行下采樣,然后重復(fù)堆疊Swin Transformer Block 模塊。值得注意的是,Block 模塊中包含了圖2 顯示的兩種結(jié)構(gòu),前者使用W-MSA機(jī)制而后者使用SW-MSA 機(jī)制,兩種結(jié)構(gòu)成對(duì)使用,因此堆疊的Block 次數(shù)都為偶數(shù);

    圖2 Swin Transformer Block 示意圖Fig.2 Architecture of Swin Transformer Block

    (3)最后接上歸一化(Layer Normalization,LN)層、全局池化層和全連接層完成圖像分類任務(wù)。

    Swin Transformer 目前在圖像分類、目標(biāo)檢測(cè)和圖像分割等視覺任務(wù)上均表現(xiàn)出優(yōu)異的性能,但受限于其較大的計(jì)算開銷,仍需要在保證精度的情況下完成模型輕量化才能更好地應(yīng)用于工業(yè)領(lǐng)域。

    3 改進(jìn)的Swin Transformer 算法

    針對(duì)TFT-LCD 面板缺陷分類對(duì)速度和精度的高要求,本文在保證Swin Transformer 精度的基礎(chǔ)上進(jìn)行了輕量化改進(jìn),具體改進(jìn)部分在圖2 中以顏色標(biāo)出。首先,在每個(gè)Swin Transformer Block 內(nèi)的SW-MSA 和多層感知器(Multi-Layer Perception, MLP)之間插入Token 融合(Token Merging, TM)模塊[19],從而完成對(duì)特征圖數(shù)據(jù)和模型計(jì)算量的減少;然后,針對(duì)Transformer 架構(gòu)依賴巨大數(shù)據(jù)量的問(wèn)題,在多層感知器中引入深度可分離卷積(Depthwise Separable Convolution, DW)模塊[20],幫助模型獲得卷積歸納偏置以適應(yīng)較小的數(shù)據(jù)量;最后將訓(xùn)練好的Swin Transformer Base(Swin-B)大模型作為教師模型,改進(jìn)后的輕量模型作為學(xué)生模型,通過(guò)知識(shí)蒸餾策略[21]在不改變模型參數(shù)量的情況下提高改進(jìn)模型的分類精度。

    3.1 Token 融合

    輸入圖片被劃分為眾多圖像塊并展平為標(biāo)記向量后,自注意力機(jī)制將計(jì)算每一個(gè)標(biāo)記向量和其他所有標(biāo)記向量之間的關(guān)系,因此模型復(fù)雜度和輸入標(biāo)記向量數(shù)量的平方成正比,而這種關(guān)系限制了Transformer 架構(gòu)對(duì)高分辨率圖像的處理能力。從標(biāo)記向量維度出發(fā),目前一種常用的降低Transformer 架構(gòu)模型計(jì)算復(fù)雜度的方法是對(duì)標(biāo)記向量進(jìn)行剪枝,剪枝可以一定程度上保證精度并減少計(jì)算量,但也存在著極大的局限性:一方面剪枝需要引入額外的神經(jīng)網(wǎng)絡(luò)來(lái)計(jì)算每個(gè)標(biāo)記向量的得分,進(jìn)而判斷哪些標(biāo)記向量應(yīng)當(dāng)予以保留;另一方面剪枝可能造成重要信息的損失,因此需要確定好適當(dāng)?shù)募糁Ρ嚷??;谏鲜龇治?,相較于標(biāo)記向量剪枝,選擇引入無(wú)需訓(xùn)練并可以即插即用的Token 融合模塊對(duì)Swin Transformer 進(jìn)行輕量化操作。

    考慮到自注意力機(jī)制通過(guò)對(duì)每個(gè)標(biāo)記向量提取查詢(Query,Q)、鍵(Key,K)和值(Value,V)矩陣來(lái)完成對(duì)注意力權(quán)重的計(jì)算,其中鍵矩陣在轉(zhuǎn)置后和查詢矩陣進(jìn)行點(diǎn)積以獲得向量之間的相關(guān)性,其實(shí)質(zhì)上已經(jīng)包含了每個(gè)標(biāo)記向量的信息,因此使用鍵矩陣均值的余弦距離來(lái)作為衡量標(biāo)記向量之間相似度的標(biāo)準(zhǔn)。如圖3 所示,將Token融合模塊插入在SW-MSA 和MLP 之間,一方面利用SW-MSA 模塊的自注意力計(jì)算來(lái)獲得標(biāo)記向量之間的相似性結(jié)果,另一方面保證融合后的標(biāo)記向量可以被MLP 繼續(xù)傳播。具體的Token融合模塊中使用了二分軟匹配算法(Bipartite Soft Matching)來(lái)快速匹配相似的標(biāo)記向量,進(jìn)而實(shí)現(xiàn)精確減少r個(gè)標(biāo)記向量,具體方法步驟如下:

    圖3 Token 融合模塊示意圖Fig.3 Token merging module

    (1)將輸入到模塊內(nèi)的所有標(biāo)記向量均分為集合A 和集合B;

    (2)對(duì)集合A 中的每個(gè)標(biāo)記向量,在集合B中找到和其最相似的標(biāo)記向量并連線;

    (3)保留所有連線中最相似的r條予以保留;

    (4)對(duì)于仍然相連的標(biāo)記向量取均值進(jìn)行融合;

    (5)最終輸出上述集合的并集。

    需要注意的是,由于融合后的標(biāo)記向量包含了多個(gè)標(biāo)記向量的信息,所以其所占的注意力權(quán)重也應(yīng)當(dāng)更大,因此在原注意力計(jì)算的公式內(nèi)加入包含每個(gè)標(biāo)記向量尺寸的行向量s來(lái)幫助調(diào)整,計(jì)算公式如式(1)所示:

    其中:Q為查詢矩陣,K為鍵矩陣,dk為鍵的向量長(zhǎng)度,取其平方根主要為了解耦點(diǎn)積結(jié)果方差與向量長(zhǎng)度之間的關(guān)系,進(jìn)而避免訓(xùn)練過(guò)程中梯度的消失。

    考慮到Swin Tansformer 模型的多層次網(wǎng)絡(luò)設(shè)計(jì),Token 融合模塊中r值需要根據(jù)每一層的特征圖大小進(jìn)行動(dòng)態(tài)調(diào)整。假設(shè)輸入特征圖寬高為H×W,如果將該特征圖的寬高都減少2n(取偶數(shù)以保證后續(xù)下采樣的進(jìn)行),則該層需要保留的標(biāo)記向量數(shù)量應(yīng)為:

    同時(shí),下一層圖像塊融合時(shí)的輸入也應(yīng)當(dāng)同步調(diào)整為(H-2n)×(W-2n)。具體的Token融合操作如下:

    (1) 自注意力機(jī)制模塊中除了輸出注意力矩陣外,同時(shí)輸出對(duì)應(yīng)的鍵矩陣均值;

    (2) 判斷是否為一個(gè)階段內(nèi)的最后一次SW-MSA 計(jì)算,如果是,則對(duì)上述輸出的鍵矩陣均值進(jìn)行維度和通道數(shù)的變換,從而符合后續(xù)Token 融合的輸入要求;

    (3) 確定對(duì)每個(gè)階段輸出的特征圖寬高的減少值,從而計(jì)算出對(duì)應(yīng)的每個(gè)階段經(jīng)過(guò)Token 融合后保留的標(biāo)記向量數(shù)量(r);

    (4) 利用鍵矩陣均值和二分軟匹配算法對(duì)相似的標(biāo)記向量進(jìn)行融合,最終只保留設(shè)定的r個(gè)標(biāo)記向量;

    (5) 修改下一階段下采樣時(shí)的特征圖寬高大小。

    經(jīng)過(guò)Token 融合后的每一階段輸出的特征圖都有所減小,減小后的特征圖在進(jìn)入下一階段后即可有效降低下一階段的計(jì)算量,最終完成模型輕量化。

    此外,為了進(jìn)一步顯示Token 融合的效果,對(duì)Token 融合過(guò)程進(jìn)行了可視化分析,如圖4 所示,相同背景塊對(duì)應(yīng)的標(biāo)記向量得以融合,而不同背景塊則不會(huì)進(jìn)行融合,因此融合后的標(biāo)記向量并不會(huì)對(duì)缺陷目標(biāo)的識(shí)別造成過(guò)多的干擾。

    3.2 深度可分離卷積

    除了計(jì)算的巨大開銷外,Transformer 架構(gòu)模型往往還需要在超大數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練才能達(dá)到超越CNN 的效果,而造成這種對(duì)訓(xùn)練數(shù)據(jù)巨大需求的原因在于其缺乏類似于CNN 的歸納偏置。這些符合視覺任務(wù)屬性的歸納偏置能夠幫助CNN 在較小的數(shù)據(jù)集上也能取得較好的檢測(cè)效果,而Transformer 架構(gòu)的自注意力機(jī)制處理圖像時(shí)考慮的是全局感受野,因此其雖然有效建模了全局信息但也損失了先驗(yàn)知識(shí),進(jìn)而需要大量數(shù)據(jù)進(jìn)行學(xué)習(xí)?;谝陨戏治?,在Swin Tranformer 模型中加入了卷積操作以引入一定的歸納偏置和提升分類準(zhǔn)確率,同時(shí)考慮到輕量化要求,加入的卷積為深度可分離卷積。

    深度可分離卷積主要由逐通道卷積和逐點(diǎn)卷積組成:逐通道卷積中一個(gè)卷積核只負(fù)責(zé)一個(gè)通道,因此最終的輸出通道數(shù)和輸入通道數(shù)完全相同;逐點(diǎn)卷積即為1×1 卷積,其在遍歷輸入特征圖每個(gè)位置的基礎(chǔ)上在通道方向進(jìn)行了加權(quán)組合,從而融合通道信息生成新的特征圖,完成對(duì)特征圖維度的改變。如圖5 所示,常規(guī)卷積的參數(shù)量(Params)為108,浮點(diǎn)數(shù)計(jì)算量(FLOPs)為2 700,逐通道卷積卷積的參數(shù)量為27,計(jì)算量為675,逐點(diǎn)卷積的參數(shù)量為12,計(jì)算量為300。因此,深度可分離卷積的整體參數(shù)量為27+12=39,整體計(jì)算量為675+300=975,與常規(guī)卷積108的參數(shù)量和2 700的計(jì)算量相比,減少了約2/3。因此,對(duì)于同樣的輸入和輸出,深度可分離卷積更加滿足輕量化要求。

    圖5 常規(guī)卷積和深度可分離卷積示意圖Fig.5 Conventional convolution and depthwise separable convolution

    為了加入深度可分離卷積模塊,首先將Swin Transformer 模型MLP 模塊的輸入數(shù)據(jù)由展平的一維序列調(diào)整為二維的特征圖格式,然后依次經(jīng)過(guò)1×1 卷積(特征圖維度升降)、GELU 激活函數(shù)和Dropout 操作,接著加入深度可分離卷積來(lái)幫助模型引入歸納偏置,最后再經(jīng)過(guò)1×1 卷積和Dropout 操作得到輸出并調(diào)整回一維序列格式。

    3.3 知識(shí)蒸餾策略

    知識(shí)蒸餾(Knowledge Distillation, KD)作為一種常用的模型壓縮方法,其主要利用從具有良好性能的大模型中學(xué)到的知識(shí)來(lái)指導(dǎo)訓(xùn)練小模型,從而幫助小模型在參數(shù)量大幅減少的同時(shí)保證和大模型相當(dāng)?shù)男阅?,最終實(shí)現(xiàn)模型的壓縮。知識(shí)蒸餾方法首先訓(xùn)練一個(gè)復(fù)雜大模型,然后將該復(fù)雜模型的輸出與數(shù)據(jù)真實(shí)標(biāo)簽相結(jié)合去訓(xùn)練新的輕量小模型,其中復(fù)雜大模型也被稱為教師模型(Teacher),輕量小模型被稱為學(xué)生模型(Student),來(lái)自教師模型的輸出信息即為知識(shí)(Knowledge),學(xué)生模型學(xué)習(xí)教師模型信息的過(guò)程即為蒸餾(Distillation)。

    一般分類任務(wù)中的標(biāo)簽往往為獨(dú)熱編碼(one-hot)形式,即除了正標(biāo)簽為1,其他的負(fù)標(biāo)簽值都為0,例如一張內(nèi)容為老虎的圖像,其老虎的標(biāo)簽為1,貓和鴨子的標(biāo)簽都是0,則此時(shí)貓和鴨子的概率相同,而老虎和貓之間的潛在關(guān)系被忽略了。因此,為了提供更多的信息量,軟目標(biāo)概念被提出,其實(shí)質(zhì)為引入蒸餾溫度T后教師模型在歸一化指數(shù)層(Softmax)輸出的各個(gè)類別的概率,即每個(gè)類別都分配有一定的概率,即便同樣為負(fù)標(biāo)簽,但某些負(fù)標(biāo)簽的概率遠(yuǎn)大于其他負(fù)標(biāo)簽,說(shuō)明教師模型的推理中該標(biāo)簽與樣本存在一定相似性。所謂蒸餾溫度,其主要是在原始Softmax 的基礎(chǔ)上除以T,具體計(jì)算公式如式(3)所示:

    其中:qi為每個(gè)類別最終輸出的概率,zi為每個(gè)類別的得分,T為蒸餾溫度。由公式可得,T=1 即為原始Softmax,當(dāng)T>1 時(shí),Softmax 的輸出將趨于平滑,即原本某些概率被抑制為0 的類別也將獲得較小的概率,但當(dāng)T過(guò)大時(shí),類別概率將趨于相同,此時(shí)網(wǎng)絡(luò)將喪失區(qū)分能力。因此,合適的T可以適當(dāng)放大負(fù)標(biāo)簽攜帶的信息,使模型在訓(xùn)練時(shí)也會(huì)關(guān)注到負(fù)標(biāo)簽。

    在實(shí)際運(yùn)用中,將訓(xùn)練好的Swin-B 作為教師模型,改進(jìn)后的輕量模型作為學(xué)生模型,其中Swin-B 模型作為Swin Transformer 的基礎(chǔ)模型,參數(shù)量高達(dá)88 M,整體復(fù)雜度約為Swin-T 的三倍。首先教師模型和學(xué)生模型在相同的蒸餾溫度T=3 下分別獲得軟目標(biāo)并計(jì)算交叉熵?fù)p失得到軟目標(biāo)損失,然后學(xué)生模型在T=1 的情況下獲得硬目標(biāo)并和原始標(biāo)簽計(jì)算交叉熵?fù)p失得到硬目標(biāo)損失,最后按一定的系數(shù)將軟目標(biāo)損失和硬目標(biāo)損失加權(quán)得到最終損失,具體知識(shí)蒸餾流程如圖6 所示,其中損失函數(shù)計(jì)算如式(4)所示:

    圖6 知識(shí)蒸餾流程示意圖Fig.6 Knowledge distillation flow

    其中:yiT為教師模型在T溫度下預(yù)測(cè)出的為i類的概率(0-1 之間),qiT為學(xué)生模型在T溫度下預(yù)測(cè)出的為i類的概率(0~1 之間),ci為在i類上的原始標(biāo)簽值(非0 即1),qi1為學(xué)生模型在T=1 溫度下預(yù)測(cè)出的為i類的概率(0~1 之間),α為平衡軟目標(biāo)和硬目標(biāo)的權(quán)重系數(shù)。

    4 實(shí) 驗(yàn)

    4.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

    目前沒有TFT-LCD 面板缺陷分類的公開數(shù)據(jù)集,所以本文從工業(yè)現(xiàn)場(chǎng)收集了包含大劃傷(big_scratch, 240 張)、劃傷(scratch, 200 張)、貝殼(shell, 668 張)、臟點(diǎn)(dirt, 210 張)和無(wú)缺陷(ok,672 張)5 個(gè)種類1 990 張448×448 圖像的分類數(shù)據(jù)集,其中訓(xùn)練集1 393 張,測(cè)試集398 張,驗(yàn)證集199 張,每張圖像僅有一個(gè)標(biāo)簽,即每張缺陷圖像內(nèi)僅包含一類缺陷,并不涉及多標(biāo)簽分類任務(wù)。

    對(duì)于圖像分類任務(wù)的評(píng)估,評(píng)價(jià)指標(biāo)主要針對(duì)模型分類的準(zhǔn)確率和計(jì)算量,其中準(zhǔn)確率常用Top-1 準(zhǔn)確率(Top-1 Acc)、精準(zhǔn)率(Precision)、召回率(Recall)和F1得分,計(jì)算量常用FLOPs。Top-1 Acc 即取最終輸出中概率向量最大的一個(gè)作為預(yù)測(cè)結(jié)果時(shí)的分類準(zhǔn)確性。Precision 表示被檢測(cè)為正樣本的缺陷中實(shí)際為正樣本的比例。Recall 表示被檢測(cè)為正樣本的缺陷占總體正樣本的比例。F1得分為精確率和召回率的調(diào)和平均數(shù)。FLOPs 則主要通過(guò)統(tǒng)計(jì)模型結(jié)果中加法和乘法計(jì)算的次數(shù)來(lái)衡量模型整體計(jì)算的復(fù)雜度。

    4.2 實(shí)驗(yàn)環(huán)境

    本實(shí)驗(yàn)所用計(jì)算機(jī)處理器型號(hào)為Intel Core i7-9700@3.00 GHz,顯卡型號(hào)為NVIDIA Ge-Force RTX 3090 GPU,內(nèi)存為16 GB。操作系統(tǒng)為 Windows10 64 位,神經(jīng)網(wǎng)絡(luò)部分在Pytorch 框架下搭建,軟件編程環(huán)境為python3.9,使用 CUDA 11.7 并行架構(gòu)來(lái)提高計(jì)算能力。訓(xùn)練過(guò)程中,由于GPU 顯存限制,批處理大小為8,輸入尺寸為448×448,訓(xùn)練輪數(shù)為300,采用Adam 優(yōu)化器,初始學(xué)習(xí)率為0.001 并使用余弦退火學(xué)習(xí)率策略進(jìn)行調(diào)整,Dropout 為0.1。此外,使用在大型數(shù)據(jù)集ImageNet 上訓(xùn)練好的參數(shù)作為教師模型(Swin-B)訓(xùn)練時(shí)的初始化參數(shù),從而保證小規(guī)模數(shù)據(jù)集在深度神經(jīng)網(wǎng)絡(luò)下訓(xùn)練的精度。實(shí)驗(yàn)過(guò)程中模型損失如圖7 所示,隨著訓(xùn)練輪數(shù)的不斷增加,loss 曲線逐漸趨于平穩(wěn),在150 輪后逐漸收斂,訓(xùn)練過(guò)程未出現(xiàn)過(guò)擬合現(xiàn)象。

    圖7 Loss 曲線Fig.7 Loss curve

    4.3 參數(shù)n 的影響分析

    參數(shù)n值作為確定隨不同層級(jí)動(dòng)態(tài)變化的r值的變量,可以控制Token 融合過(guò)程中每一層去除的標(biāo)記向量數(shù)量,越大的n值去除越多的標(biāo)記向量,模型也就更加輕量化,但檢測(cè)精度也會(huì)對(duì)應(yīng)有所下降,不同n值情況下的模型檢測(cè)結(jié)果如表1所示。隨著n值的增大,模型Top-1 Acc 逐漸下降,同時(shí)FLOPs 顯著下降,每秒檢測(cè)的圖片數(shù)量(im/s)則顯著增加,在均衡模型精度和速度的前提下,n=2 時(shí)對(duì)應(yīng)的r值更加符合工業(yè)實(shí)時(shí)檢測(cè)的要求。需要注意的是,伴隨著模型各階段的下采樣操作,每一層的特征圖寬高在不斷變小,因此n值不能過(guò)大以避免后續(xù)無(wú)法繼續(xù)下采樣,由于當(dāng)前模型的輸入尺寸為448×448,因此n值應(yīng)不大于2。綜合以上分析,在后續(xù)實(shí)驗(yàn)中,取n=2 時(shí)對(duì)應(yīng)的r值作為每一層的標(biāo)記向量減少數(shù)量。

    表1 參數(shù)n 影響實(shí)驗(yàn)結(jié)果Tab.1 Results of parameter n affects experiments

    4.4 參數(shù)T 和α 的影響分析

    參數(shù)T值影響知識(shí)蒸餾過(guò)程中教師和學(xué)生模型最終輸出的軟目標(biāo)結(jié)果,越大的T值導(dǎo)致Softmax 輸出的概率更加平滑,模型對(duì)負(fù)標(biāo)簽的關(guān)注更高,但過(guò)大的T值也會(huì)導(dǎo)致類別概率之間缺乏區(qū)分度。如圖8 所示,不同T值對(duì)模型整體精度的影響相差不大,模型的FLOPs 也并不受影響。當(dāng)T=1 時(shí),模型準(zhǔn)確率最低,說(shuō)明模型需要關(guān)注到一定的負(fù)標(biāo)簽信息;T=3 時(shí),模型準(zhǔn)確率達(dá)到最高,因此可以在該值的基準(zhǔn)上對(duì)α進(jìn)行調(diào)整。

    圖8 不同參數(shù)T 對(duì)模型準(zhǔn)確率影響Fig.8 Different effect of the parameters T on the model accuracy

    在T=3 的基礎(chǔ)上進(jìn)一步驗(yàn)證權(quán)重參數(shù)α對(duì)模型結(jié)果的影響,α越小則軟目標(biāo)損失占比更高,模型更傾向于向教師模型學(xué)習(xí)相關(guān)信息。如圖9所示,相對(duì)于α值取0.5,其偏向于0 或1 一側(cè)時(shí)的模型精度更高,其中α取0.8 時(shí)模型精度雖然在周圍表現(xiàn)最高,但仍低于α取0.3 時(shí)的檢測(cè)精度,因此最終選擇α=0.3。

    圖9 T=3 時(shí)不同參數(shù)α 對(duì)模型準(zhǔn)確率影響Fig.9 Different effect of the parameters α on the model accuracy at T=3

    4.5 消融實(shí)驗(yàn)

    為分析各改進(jìn)部分對(duì)模型性能的影響,共設(shè)計(jì)五組實(shí)驗(yàn)對(duì)不同改進(jìn)模塊進(jìn)行分析,每組實(shí)驗(yàn)均在相同訓(xùn)練參數(shù),不同模型內(nèi)容上進(jìn)行測(cè)試。模型性能檢測(cè)結(jié)果如表2 所示,其中各模塊依次疊加。對(duì)比Swin-T 和Swin-T+Token 融合的性能,加入Token 融合后FLOPs 提升了16%,速度指標(biāo)提升約20%,表明Token 融合模塊可以一定程度上加速模型,幫助減少模型計(jì)算量。雖然Top-1 Acc 相較基線模型下降了3.4%,F(xiàn)1得分相較基線模型下降了0.034 5,但也符合預(yù)期在犧牲一部分精度的情況下對(duì)模型進(jìn)行輕量化。深度可分離卷積的引入為系統(tǒng)提高了0.6% 的Top-1 Acc 和0.013 6 的Precision,其原因在于加入了一定的歸納偏置,但同時(shí)模型的FLOPs 略增了1.4%,Recall 和速度指標(biāo)也略有下降。對(duì)改進(jìn)模型進(jìn)行知識(shí)蒸餾后,在不改變FLOPs 和速度的情況下提升了1.5% 的Top-1 Acc 和0.008 6 的F1得分,說(shuō)明改進(jìn)模型作為學(xué)生模型成功從教師模型(Swin-B)中學(xué)到了知識(shí)。以上改進(jìn)策略最終在Top-1 Acc 僅損失1.3%和F1得分僅下降0.024 5 的情況下完成了對(duì)FLOPs 指標(biāo)14%的降低和速度指標(biāo)17%的提升,證明了三種改進(jìn)方法在速度和精度均衡方向上的有效性。

    表2 改進(jìn)策略消融實(shí)驗(yàn)Tab.2 Results of ablation experiments

    此外,對(duì)于實(shí)際工業(yè)生產(chǎn)中的TFT-LCD 缺陷分類任務(wù),面陣相機(jī)拍攝的圖像分辨率為1 280×1 024,檢測(cè)時(shí)間要求為100 ms,分類精度要求為90%。在將模型部署到實(shí)際工業(yè)現(xiàn)場(chǎng)的C++平臺(tái)后,模型每張圖像的推理時(shí)間約為15ms,將待測(cè)圖像分割為6 張512×512 分辨率的小圖像送入模型中(在模型中壓縮為448×448 分辨率),最終的檢測(cè)時(shí)間約為90 ms,符合檢測(cè)時(shí)間的需求。同時(shí),改進(jìn)模型的分類Top-1 準(zhǔn)確率達(dá)到92.7%,符合檢測(cè)精度的需求。

    4.6 對(duì)比實(shí)驗(yàn)

    為驗(yàn)證改進(jìn)模型的檢測(cè)性能,將其與主流圖像分類模型做對(duì)比實(shí)驗(yàn),包括多種經(jīng)典常用圖像分類網(wǎng)絡(luò)(ResNet 系列[22]、DenseNet 系列[23]、EfficientNet 系列[24]和Vision Transformer系列[25])以及圖像分類最新成果(ConvNext 系列[26-27]和EVA 系列[28-29]),實(shí)驗(yàn)結(jié)果如表3 所示,其中輸入圖像尺寸均為448×448。由表可知,雖然卷積神經(jīng)網(wǎng)絡(luò)ResNet-34 比改進(jìn)模型具有更小的FLOPs 和更快的速度,但精度相差5.3%。如圖10(a)和10(b)所示,對(duì)于存在缺陷但位于線路外的情況,ResNet-34 依舊將其分類為缺陷(類別為臟點(diǎn),置信度在0~1 之間達(dá)到了0.919),而改進(jìn)模型則成功將其分類為無(wú)缺陷(類別為無(wú)缺陷,置信度為0.696)。圖10(c)和(d)則反映了線路上存在類似缺陷結(jié)構(gòu)時(shí)的檢測(cè)情況,可以發(fā)現(xiàn),ResNet-34 將其誤判為缺陷(類別為貝殼,置信度為0.792),而改進(jìn)模型則成功將其判斷為無(wú)缺陷(類別為無(wú)缺陷,置信度為0.477)。對(duì)于DenseNet169 和EffecientNet-v2模型,雖然兩者都具有較小的FLOPs,但在精度和速度上均不及改進(jìn)模型。MobileViT-v2 模型取得了最高的檢測(cè)速度,但在精度上仍具有一定劣勢(shì)。最后,雖然改進(jìn)模型相較ConvNext-T和EVA02 模型在Top-1 Acc 指標(biāo)上下降了2.4% 和3.1%,但速度提升了約16.6% 和469%,更加滿足工業(yè)實(shí)時(shí)檢測(cè)要求。因此,從檢測(cè)精度和速度綜合評(píng)價(jià),改進(jìn)模型在自制數(shù)據(jù)集上較現(xiàn)階段圖像分類主流模型具有更加均衡的精度和速度。

    圖10 ResNet-34 模型與改進(jìn)模型檢測(cè)效果對(duì)比Fig.10 Comparison of detection performance between ResNet-34 model and the improved model

    表4 顯示了在圖像分類領(lǐng)域常用公開數(shù)據(jù)集ImageNet-1k 上的對(duì)比實(shí)驗(yàn)結(jié)果。由表可知,在類似的輸入尺寸下,與高精度大模型相比,改進(jìn)模型在參數(shù)量和計(jì)算量上都有明顯下降,與輕量級(jí)模型相比,改進(jìn)模型則在精度上有一定優(yōu)勢(shì)。因此,改進(jìn)模型在ImageNet-1k 公開數(shù)據(jù)集上也對(duì)精度和速度具有良好的適應(yīng)性。

    表4 公開數(shù)據(jù)集對(duì)比實(shí)驗(yàn)Tab.4 Results of comparison experiments on public dataset

    5 結(jié) 論

    為了更好更快地解決TFT-LCD 面板缺陷分類問(wèn)題,本文在Swin Transformer 算法的基礎(chǔ)上提出了一種改進(jìn)模型。首先插入Token 融合模塊使模型更加輕量化,然后利用深度可分離卷積模塊引入歸納偏置和提高模型分類能力,最后使用知識(shí)蒸餾策略來(lái)進(jìn)一步提升模型分類的準(zhǔn)確率。實(shí)驗(yàn)證明,該改進(jìn)模型相對(duì)于基線模型,在精度僅下降1.3%的情況下大大減少了模型的復(fù)雜度,從而提升了17% 的速度,適用于對(duì)TFT-LCD 面板缺陷進(jìn)行分類的工業(yè)任務(wù),其最終檢測(cè)結(jié)果如圖11 所示,其中各類缺陷均被正確分出,大劃傷、劃傷、貝殼和無(wú)缺陷四種類型置信度達(dá)到了0.9 以上,臟點(diǎn)類型由于容易誤檢所以置信度相對(duì)較低,但仍然達(dá)到了0.753。在后續(xù)研究中將繼續(xù)完善模型算法來(lái)進(jìn)一步提高檢測(cè)精度和檢測(cè)速度,并補(bǔ)充和完善TFT-LCD 面板缺陷分類數(shù)據(jù)集。

    猜你喜歡
    標(biāo)簽卷積向量
    向量的分解
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    聚焦“向量與三角”創(chuàng)新題
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    無(wú)懼標(biāo)簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標(biāo)簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    標(biāo)簽化傷害了誰(shuí)
    向量垂直在解析幾何中的應(yīng)用
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    久久九九热精品免费| 亚洲五月色婷婷综合| 九色亚洲精品在线播放| 女同久久另类99精品国产91| 又紧又爽又黄一区二区| 不卡一级毛片| 日本免费一区二区三区高清不卡 | 亚洲一区中文字幕在线| 欧美日韩av久久| 一级黄色大片毛片| 国产一区二区三区视频了| 久久久久久人人人人人| 精品人妻1区二区| 亚洲片人在线观看| 国产91精品成人一区二区三区| 午夜福利一区二区在线看| 十八禁网站免费在线| 亚洲人成77777在线视频| 久久久精品欧美日韩精品| 一夜夜www| 一级,二级,三级黄色视频| 男人操女人黄网站| 很黄的视频免费| 高清av免费在线| 最新美女视频免费是黄的| 亚洲中文日韩欧美视频| 丁香六月欧美| 午夜激情av网站| 悠悠久久av| 亚洲国产毛片av蜜桃av| 国产高清激情床上av| a级片在线免费高清观看视频| 国产精品日韩av在线免费观看 | 久久精品人人爽人人爽视色| 51午夜福利影视在线观看| 一级,二级,三级黄色视频| 69精品国产乱码久久久| 亚洲免费av在线视频| 成人影院久久| 欧美最黄视频在线播放免费 | 久久人人精品亚洲av| 亚洲国产毛片av蜜桃av| 在线永久观看黄色视频| 国产一区二区三区综合在线观看| 淫秽高清视频在线观看| av网站免费在线观看视频| 一区在线观看完整版| 性欧美人与动物交配| www.熟女人妻精品国产| 脱女人内裤的视频| 超碰成人久久| 动漫黄色视频在线观看| 成人国产一区最新在线观看| 91成人精品电影| 一进一出好大好爽视频| 久久精品人人爽人人爽视色| 欧美日韩乱码在线| 中亚洲国语对白在线视频| 欧美人与性动交α欧美精品济南到| 国产成人欧美在线观看| 国产成人啪精品午夜网站| 国产精品电影一区二区三区| 高清欧美精品videossex| 女同久久另类99精品国产91| 久久久国产欧美日韩av| 国产精品久久久人人做人人爽| 黄色视频不卡| 亚洲aⅴ乱码一区二区在线播放 | av网站在线播放免费| 50天的宝宝边吃奶边哭怎么回事| 亚洲欧美一区二区三区久久| 亚洲欧美精品综合一区二区三区| 大型黄色视频在线免费观看| 丁香欧美五月| 久久中文看片网| 久久精品人人爽人人爽视色| 欧美日韩乱码在线| 麻豆av在线久日| 女警被强在线播放| 国产日韩一区二区三区精品不卡| 高清在线国产一区| 国产亚洲精品综合一区在线观看 | 日韩精品青青久久久久久| 一二三四在线观看免费中文在| 国产精品一区二区精品视频观看| 色哟哟哟哟哟哟| 亚洲国产精品sss在线观看 | 午夜免费激情av| 最新在线观看一区二区三区| 国产精品一区二区在线不卡| netflix在线观看网站| 国产精品98久久久久久宅男小说| 每晚都被弄得嗷嗷叫到高潮| 亚洲精品一区av在线观看| 午夜福利一区二区在线看| www.999成人在线观看| 精品国产乱码久久久久久男人| 欧美精品一区二区免费开放| aaaaa片日本免费| 级片在线观看| 黑人操中国人逼视频| 国产视频一区二区在线看| 亚洲自拍偷在线| 天堂动漫精品| 中文字幕人妻丝袜制服| 在线观看免费日韩欧美大片| 久久久久国产一级毛片高清牌| 看免费av毛片| 欧美日韩瑟瑟在线播放| 亚洲精品在线美女| 巨乳人妻的诱惑在线观看| 十八禁网站免费在线| 69av精品久久久久久| 精品国产一区二区久久| 成人三级做爰电影| 国产成人免费无遮挡视频| 久热爱精品视频在线9| 成人国产一区最新在线观看| 国产主播在线观看一区二区| 91精品三级在线观看| 亚洲av第一区精品v没综合| 国产精品偷伦视频观看了| 久久久久久亚洲精品国产蜜桃av| 成人影院久久| 国产伦一二天堂av在线观看| 久久香蕉精品热| 婷婷精品国产亚洲av在线| 久久中文看片网| 性色av乱码一区二区三区2| 久9热在线精品视频| 国产成人啪精品午夜网站| 精品卡一卡二卡四卡免费| 九色亚洲精品在线播放| 久久国产精品男人的天堂亚洲| 女生性感内裤真人,穿戴方法视频| 亚洲黑人精品在线| 99在线视频只有这里精品首页| 99久久综合精品五月天人人| 男男h啪啪无遮挡| 久久国产精品影院| 久久人人精品亚洲av| 在线天堂中文资源库| 久久精品91无色码中文字幕| 97超级碰碰碰精品色视频在线观看| 精品第一国产精品| 超碰成人久久| 久久久久久免费高清国产稀缺| 久久久国产欧美日韩av| 国产精品九九99| 视频在线观看一区二区三区| 桃色一区二区三区在线观看| 黄色怎么调成土黄色| 又黄又粗又硬又大视频| 亚洲一区二区三区色噜噜 | 69av精品久久久久久| 国产成人欧美在线观看| 亚洲精品久久午夜乱码| 欧美黄色淫秽网站| 久久天躁狠狠躁夜夜2o2o| 很黄的视频免费| 中文字幕高清在线视频| 成人国产一区最新在线观看| 久久久久久久午夜电影 | 咕卡用的链子| 精品电影一区二区在线| 久久香蕉国产精品| aaaaa片日本免费| 日韩国内少妇激情av| 欧美在线黄色| 丝袜人妻中文字幕| 久久久久精品国产欧美久久久| 国产亚洲av高清不卡| 亚洲av美国av| 69精品国产乱码久久久| 丁香六月欧美| 免费看a级黄色片| 亚洲九九香蕉| 女人精品久久久久毛片| 久久精品国产综合久久久| 国产一区二区三区视频了| 亚洲成人国产一区在线观看| 久久香蕉激情| 在线观看舔阴道视频| 久久人人精品亚洲av| 成人亚洲精品一区在线观看| 夜夜爽天天搞| 制服诱惑二区| 精品一区二区三卡| 国产精品日韩av在线免费观看 | 色综合站精品国产| 另类亚洲欧美激情| 国产欧美日韩精品亚洲av| 亚洲五月天丁香| 国产亚洲欧美精品永久| 亚洲国产欧美网| 亚洲精品国产区一区二| 亚洲成人国产一区在线观看| 一夜夜www| 女人精品久久久久毛片| 黑人欧美特级aaaaaa片| 免费一级毛片在线播放高清视频 | 超碰成人久久| 成人三级黄色视频| 亚洲欧美一区二区三区黑人| 亚洲成国产人片在线观看| 久久精品国产综合久久久| 老司机福利观看| 99国产精品99久久久久| 亚洲一区二区三区色噜噜 | 18禁裸乳无遮挡免费网站照片 | 国产高清视频在线播放一区| 两个人免费观看高清视频| 最近最新免费中文字幕在线| 国产精品久久电影中文字幕| 亚洲av片天天在线观看| 亚洲 国产 在线| 久久香蕉国产精品| 高清毛片免费观看视频网站 | 午夜两性在线视频| 丁香欧美五月| 欧美在线一区亚洲| 久久草成人影院| 午夜福利影视在线免费观看| 婷婷精品国产亚洲av在线| 亚洲人成77777在线视频| 三级毛片av免费| 一区二区三区国产精品乱码| 自线自在国产av| 露出奶头的视频| 亚洲人成伊人成综合网2020| 夜夜躁狠狠躁天天躁| 在线观看www视频免费| 日本精品一区二区三区蜜桃| 国产黄色免费在线视频| 日韩欧美在线二视频| 水蜜桃什么品种好| 国产又色又爽无遮挡免费看| 老汉色av国产亚洲站长工具| 女人爽到高潮嗷嗷叫在线视频| 亚洲第一欧美日韩一区二区三区| 精品国产一区二区三区四区第35| 女性生殖器流出的白浆| 亚洲精品一二三| 亚洲国产精品999在线| 亚洲成av片中文字幕在线观看| 欧美日韩视频精品一区| 怎么达到女性高潮| 99久久人妻综合| 精品国产乱码久久久久久男人| 精品欧美一区二区三区在线| 一边摸一边抽搐一进一出视频| 男女下面进入的视频免费午夜 | 97人妻天天添夜夜摸| 在线观看免费视频网站a站| 亚洲七黄色美女视频| svipshipincom国产片| 欧美日韩黄片免| 国产三级黄色录像| 夜夜夜夜夜久久久久| av电影中文网址| 99re在线观看精品视频| 日韩av在线大香蕉| 两个人看的免费小视频| 老汉色∧v一级毛片| 琪琪午夜伦伦电影理论片6080| 十分钟在线观看高清视频www| 午夜激情av网站| 国产成年人精品一区二区 | 大型黄色视频在线免费观看| 亚洲性夜色夜夜综合| www国产在线视频色| 手机成人av网站| 国产精品国产av在线观看| 亚洲五月婷婷丁香| 国产1区2区3区精品| 美女午夜性视频免费| 超色免费av| 一级毛片高清免费大全| 国产av在哪里看| 亚洲国产精品一区二区三区在线| svipshipincom国产片| 天堂俺去俺来也www色官网| 天堂动漫精品| 久久久精品国产亚洲av高清涩受| 91精品国产国语对白视频| 国产亚洲精品第一综合不卡| 免费搜索国产男女视频| 搡老乐熟女国产| 少妇粗大呻吟视频| av在线天堂中文字幕 | 亚洲人成网站在线播放欧美日韩| 深夜精品福利| 精品久久久久久电影网| 757午夜福利合集在线观看| 80岁老熟妇乱子伦牲交| tocl精华| 99国产精品99久久久久| 亚洲自拍偷在线| cao死你这个sao货| 久久久久久久久免费视频了| 97碰自拍视频| 欧美成人性av电影在线观看| 9色porny在线观看| 人人妻,人人澡人人爽秒播| 国产精品久久久久久人妻精品电影| 人人澡人人妻人| 黄色视频,在线免费观看| 久久午夜亚洲精品久久| 国产激情欧美一区二区| avwww免费| 一进一出抽搐动态| 欧美精品啪啪一区二区三区| 免费av毛片视频| a级毛片在线看网站| 99热国产这里只有精品6| 99久久99久久久精品蜜桃| 日韩精品免费视频一区二区三区| 男人的好看免费观看在线视频 | 色婷婷久久久亚洲欧美| 在线观看一区二区三区激情| 视频在线观看一区二区三区| 免费一级毛片在线播放高清视频 | 宅男免费午夜| 无人区码免费观看不卡| a级毛片黄视频| 91精品三级在线观看| 操美女的视频在线观看| av免费在线观看网站| 在线观看免费视频网站a站| 男人操女人黄网站| av电影中文网址| 亚洲激情在线av| 在线观看日韩欧美| 老熟妇乱子伦视频在线观看| 天堂√8在线中文| 精品一区二区三区四区五区乱码| 无限看片的www在线观看| 亚洲激情在线av| 亚洲人成伊人成综合网2020| 激情在线观看视频在线高清| 99精品欧美一区二区三区四区| 日本vs欧美在线观看视频| 国产精品99久久99久久久不卡| 亚洲精品美女久久久久99蜜臀| 日本一区二区免费在线视频| 色婷婷久久久亚洲欧美| 88av欧美| 两人在一起打扑克的视频| 超碰成人久久| 亚洲成人国产一区在线观看| 宅男免费午夜| 亚洲一区二区三区欧美精品| 欧美大码av| 国产三级在线视频| a级毛片在线看网站| 国产精品野战在线观看 | 无人区码免费观看不卡| 午夜激情av网站| 女性生殖器流出的白浆| 精品日产1卡2卡| 亚洲国产欧美日韩在线播放| 性色av乱码一区二区三区2| 久久热在线av| 美女大奶头视频| 国产色视频综合| 成年版毛片免费区| 国产黄a三级三级三级人| 精品久久久久久成人av| 日本五十路高清| 嫁个100分男人电影在线观看| 好看av亚洲va欧美ⅴa在| 欧美老熟妇乱子伦牲交| 首页视频小说图片口味搜索| 丰满饥渴人妻一区二区三| 亚洲精品粉嫩美女一区| 亚洲avbb在线观看| 欧美亚洲日本最大视频资源| 国产精品av久久久久免费| 丰满迷人的少妇在线观看| 日韩欧美国产一区二区入口| 母亲3免费完整高清在线观看| 丁香六月欧美| 男女做爰动态图高潮gif福利片 | 高清黄色对白视频在线免费看| 50天的宝宝边吃奶边哭怎么回事| 欧美av亚洲av综合av国产av| 如日韩欧美国产精品一区二区三区| 一本大道久久a久久精品| 美女高潮喷水抽搐中文字幕| 精品午夜福利视频在线观看一区| 一进一出抽搐gif免费好疼 | 午夜激情av网站| 久久久久久大精品| 久久久久精品国产欧美久久久| 亚洲少妇的诱惑av| 久久九九热精品免费| 色婷婷久久久亚洲欧美| 亚洲精品国产精品久久久不卡| 色尼玛亚洲综合影院| 日韩欧美国产一区二区入口| a级毛片在线看网站| 日韩免费高清中文字幕av| 日本精品一区二区三区蜜桃| 久久久久国产一级毛片高清牌| 午夜精品国产一区二区电影| 最近最新免费中文字幕在线| 国产熟女xx| 99精品欧美一区二区三区四区| 久久久国产一区二区| 嫩草影视91久久| 18美女黄网站色大片免费观看| 亚洲一区二区三区不卡视频| 午夜福利,免费看| www国产在线视频色| 国产精品综合久久久久久久免费 | 久久精品影院6| 国产高清videossex| 亚洲欧美日韩无卡精品| 国产极品粉嫩免费观看在线| 久久香蕉精品热| 69av精品久久久久久| 国产伦一二天堂av在线观看| 国产黄a三级三级三级人| 亚洲精品国产色婷婷电影| 亚洲美女黄片视频| 在线观看日韩欧美| 激情视频va一区二区三区| 视频在线观看一区二区三区| 欧美精品啪啪一区二区三区| 国产亚洲欧美在线一区二区| 欧美久久黑人一区二区| 国产又爽黄色视频| 无人区码免费观看不卡| 亚洲 欧美 日韩 在线 免费| 日韩av在线大香蕉| 国产成+人综合+亚洲专区| 欧美激情极品国产一区二区三区| 黑人猛操日本美女一级片| 亚洲成人精品中文字幕电影 | 国产熟女xx| 十八禁网站免费在线| 日韩欧美在线二视频| 久久久国产欧美日韩av| 国产欧美日韩综合在线一区二区| 黄网站色视频无遮挡免费观看| 在线看a的网站| 一本综合久久免费| 国产三级黄色录像| 久久人人精品亚洲av| 久99久视频精品免费| 黄色 视频免费看| 免费看十八禁软件| 女人被躁到高潮嗷嗷叫费观| 99国产极品粉嫩在线观看| 男人的好看免费观看在线视频 | 最好的美女福利视频网| 欧美日韩视频精品一区| 欧美精品亚洲一区二区| 美女高潮到喷水免费观看| 久久国产精品人妻蜜桃| 国产真人三级小视频在线观看| 国产97色在线日韩免费| 日韩精品青青久久久久久| 欧美日韩视频精品一区| 又紧又爽又黄一区二区| 交换朋友夫妻互换小说| 国产伦一二天堂av在线观看| 淫秽高清视频在线观看| 脱女人内裤的视频| 亚洲男人天堂网一区| 国产片内射在线| 精品人妻在线不人妻| 老司机福利观看| 亚洲成人免费av在线播放| 99久久精品国产亚洲精品| 一进一出抽搐gif免费好疼 | 亚洲专区国产一区二区| 最近最新中文字幕大全免费视频| 亚洲专区字幕在线| 俄罗斯特黄特色一大片| 热re99久久国产66热| 女生性感内裤真人,穿戴方法视频| 搡老乐熟女国产| 精品国产美女av久久久久小说| 多毛熟女@视频| 久久精品aⅴ一区二区三区四区| 亚洲第一欧美日韩一区二区三区| 亚洲美女黄片视频| 极品人妻少妇av视频| 黑人巨大精品欧美一区二区蜜桃| 国产成人av教育| 精品电影一区二区在线| av福利片在线| 老熟妇仑乱视频hdxx| 男人操女人黄网站| 国产成人欧美| 久久久国产成人免费| 少妇粗大呻吟视频| 真人一进一出gif抽搐免费| 超碰97精品在线观看| 国产精品成人在线| 欧美日韩黄片免| 欧美日韩视频精品一区| 麻豆久久精品国产亚洲av | 久久久久久免费高清国产稀缺| 亚洲五月天丁香| 在线观看66精品国产| 久久久久久久久久久久大奶| 九色亚洲精品在线播放| 国产精品 国内视频| 亚洲午夜精品一区,二区,三区| 亚洲欧美一区二区三区黑人| 亚洲va日本ⅴa欧美va伊人久久| 日日干狠狠操夜夜爽| 欧美精品啪啪一区二区三区| 久久精品国产亚洲av高清一级| 免费在线观看视频国产中文字幕亚洲| 黄色视频,在线免费观看| 国产亚洲精品综合一区在线观看 | 人人妻人人澡人人看| 18禁观看日本| 黄色片一级片一级黄色片| 欧美+亚洲+日韩+国产| 国产精品秋霞免费鲁丝片| 日本免费一区二区三区高清不卡 | 少妇的丰满在线观看| 亚洲成人免费av在线播放| 91麻豆av在线| av在线播放免费不卡| 午夜成年电影在线免费观看| 午夜福利一区二区在线看| 伦理电影免费视频| 人人妻人人爽人人添夜夜欢视频| 黄片播放在线免费| 99精品欧美一区二区三区四区| 我的亚洲天堂| 老汉色av国产亚洲站长工具| 免费观看精品视频网站| 中文字幕人妻丝袜一区二区| 夜夜躁狠狠躁天天躁| 国产欧美日韩精品亚洲av| 亚洲色图综合在线观看| 91精品三级在线观看| 脱女人内裤的视频| videosex国产| 女人爽到高潮嗷嗷叫在线视频| 欧美激情高清一区二区三区| 欧美性长视频在线观看| 99国产精品一区二区蜜桃av| 777久久人妻少妇嫩草av网站| 最近最新免费中文字幕在线| 国产视频一区二区在线看| 一区二区三区精品91| 老司机靠b影院| 无人区码免费观看不卡| 色在线成人网| 亚洲avbb在线观看| 日韩欧美一区二区三区在线观看| 91大片在线观看| 亚洲精品一二三| av国产精品久久久久影院| 久久久国产精品麻豆| 国产亚洲精品一区二区www| 久久人妻熟女aⅴ| 激情在线观看视频在线高清| 一级,二级,三级黄色视频| 亚洲人成网站在线播放欧美日韩| 欧美乱妇无乱码| 欧美一区二区精品小视频在线| 国产成人av教育| 无遮挡黄片免费观看| 婷婷丁香在线五月| 黄色女人牲交| 国产精品一区二区免费欧美| 国产一区二区在线av高清观看| 国产1区2区3区精品| 国产精品自产拍在线观看55亚洲| 亚洲一区二区三区不卡视频| 高清黄色对白视频在线免费看| 在线观看66精品国产| 制服诱惑二区| 伊人久久大香线蕉亚洲五| 日本撒尿小便嘘嘘汇集6| 亚洲国产精品999在线| 法律面前人人平等表现在哪些方面| a级片在线免费高清观看视频| 亚洲情色 制服丝袜| 日韩三级视频一区二区三区| 黑人操中国人逼视频| 亚洲av熟女| 欧美丝袜亚洲另类 | 亚洲成a人片在线一区二区| 村上凉子中文字幕在线| 久久伊人香网站| 88av欧美| 在线国产一区二区在线| 精品免费久久久久久久清纯| 午夜激情av网站| 欧美日韩视频精品一区| 成人影院久久| 老汉色av国产亚洲站长工具| 国产成人免费无遮挡视频| 黄色视频,在线免费观看| 激情在线观看视频在线高清| 久久久久九九精品影院| ponron亚洲| 女人被狂操c到高潮| 两个人免费观看高清视频| 淫妇啪啪啪对白视频| 视频区欧美日本亚洲| 久久精品亚洲熟妇少妇任你| 亚洲人成电影观看| 亚洲 国产 在线| 男人操女人黄网站| 婷婷精品国产亚洲av在线|