• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)中失衡問題研究綜述

    2022-09-15 10:27:22吳艷霞梁鵬舉
    計(jì)算機(jī)與生活 2022年9期
    關(guān)鍵詞:分類特征優(yōu)化

    任 寧,付 巖+,吳艷霞,梁鵬舉,韓 希

    1.哈爾濱工程大學(xué),哈爾濱 150001

    2.黑龍江省自然資源技術(shù)保障中心,哈爾濱 150030

    目標(biāo)檢測(cè)是提取圖片或者視頻等數(shù)據(jù)特征去定位目標(biāo)位置并進(jìn)行準(zhǔn)確分類,這是計(jì)算機(jī)視覺中的基本問題之一,并且在安全監(jiān)控、自動(dòng)駕駛、醫(yī)療決策、遙感等領(lǐng)域有廣泛應(yīng)用。

    目標(biāo)檢測(cè)算法主要分類為:基于階段的檢測(cè)方案、是否采用錨的檢測(cè)方案和基于標(biāo)簽的檢測(cè)方案。盡管三類方法在深度學(xué)習(xí)的目標(biāo)檢測(cè)方面都很實(shí)用,但近幾年大多數(shù)的目標(biāo)檢測(cè)方法都普遍存在失衡問題。其中基于階段的檢測(cè)方案中單階段檢測(cè)器出現(xiàn)的失衡問題較為嚴(yán)重,雙階段和多階段相對(duì)穩(wěn)定。Anchor-base的方法主要代表有SSD(single shot multibox detector)、RetinaNet等,造成失衡問題的主要原因是錨框?qū)?yīng)的參數(shù)長(zhǎng)寬比、空間特征信息和IoU 的微小變化會(huì)直接影響檢測(cè)效果。Anchorfree的方法是近幾年才提出的,典型的代表作是YOLO(you only look once)變種,主要特點(diǎn)是快速且魯棒,但是由于追求檢測(cè)速度導(dǎo)致的失衡問題也隨之而來?;跇?biāo)簽的檢測(cè)方案分為region proposal-based、author-IOU 和keypoint-based,其中region proposalbased 的檢測(cè)方法核心思想是將依賴離線的算法工具直接嵌入到傳統(tǒng)算法中,加快了檢測(cè)速度,但是直接造成了均衡問題;author-IoU 的方案是巧妙地在訓(xùn)練過程中動(dòng)態(tài)設(shè)置樣本來篩選閾值去分配正樣本優(yōu)化IoU 對(duì)實(shí)例本身的不敏感問題;keypoint-based 的出現(xiàn)直接替換了anchor預(yù)設(shè)框的概念,用點(diǎn)代替框的同時(shí)也造成嚴(yán)重的均衡問題。

    應(yīng)用深度學(xué)習(xí)的目標(biāo)檢測(cè)綜述,Litjens 等人討論了各種應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的方法,如分類、檢測(cè)、分割在醫(yī)學(xué)圖像分析中的應(yīng)用。Johnson 等人僅考慮機(jī)器學(xué)習(xí)方法,未特別關(guān)注基于深度學(xué)習(xí)的方法。董文軒等人以時(shí)間和算法架構(gòu)為研究主線,綜述了近年來基于深度卷積的目標(biāo)檢測(cè)代表性算法的研究和發(fā)展歷程。李柯泉等人介紹了圖像目標(biāo)檢測(cè)模型中常用的卷積神經(jīng)網(wǎng)絡(luò),從候選區(qū)域、回歸和anchor-free 方法的角度對(duì)現(xiàn)有經(jīng)典的圖像目標(biāo)檢測(cè)模型進(jìn)行綜述。但以上文章并未提到目標(biāo)檢測(cè)失衡問題。

    近幾年關(guān)于目標(biāo)檢測(cè)失衡的綜述主要介紹應(yīng)用深度學(xué)習(xí)的通用目標(biāo)檢測(cè)發(fā)展過程。綜述提出了一個(gè)分類法,用于正輸入邊界框的對(duì)象IoU 分布整個(gè)圖像中對(duì)象的位置不同任務(wù)(即分類、回歸)對(duì)整體損失檢測(cè)方法的貢獻(xiàn),并詳細(xì)分析典型優(yōu)化方法。其中,Zou 等人對(duì)處理規(guī)模失衡的方法進(jìn)行了辯證分析。程旭等人總結(jié)了深度學(xué)習(xí)中區(qū)域提案和單階段基準(zhǔn)檢測(cè)模型。并從特征圖、上下文模型、邊框優(yōu)化、區(qū)域提案、類別不平衡處理、訓(xùn)練策略、弱監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)這八個(gè)角度分類總結(jié)當(dāng)前主流的目標(biāo)檢測(cè)模型。但是僅僅討論了類別失衡問題,并且未深度解析產(chǎn)生的原因。Dollar 等人對(duì)處理尺度失衡的特征提取方法進(jìn)行了全面分析。張偉針對(duì)目標(biāo)檢測(cè)尺度失衡問題進(jìn)行全面分析和歸納,總結(jié)引起尺度不平衡的原因,針對(duì)每種原因分析解決方案。然而從失衡的角度,以上綜述只分析了一類或者其中一種失衡問題。與這些綜述不同的是,本文應(yīng)用深度學(xué)習(xí)模型剖析目標(biāo)檢測(cè)失衡的每一類問題在模型中產(chǎn)生的原因,并對(duì)優(yōu)化失衡問題的方法進(jìn)行全面對(duì)比分析。

    目前針對(duì)目標(biāo)檢測(cè)的深度學(xué)習(xí)技術(shù)綜述相對(duì)較多,但針對(duì)目標(biāo)檢測(cè)失衡問題的綜述論文涉及較少或者簡(jiǎn)單介紹其中的一類。然而失衡問題發(fā)生在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的每一個(gè)環(huán)節(jié)并且每一個(gè)微小的變化都會(huì)產(chǎn)生意想不到的影響,因此目標(biāo)檢測(cè)中的失衡問題一直是困擾研究人員進(jìn)一步優(yōu)化檢測(cè)器需要解決的核心問題之一。本文的目標(biāo)是全面介紹目標(biāo)檢測(cè)中的失衡問題,剖析問題產(chǎn)生的原因并將問題根據(jù)產(chǎn)生原因進(jìn)行分類,總結(jié)主要優(yōu)化方案,分析優(yōu)化策略的對(duì)比結(jié)果,最后展望此領(lǐng)域未來的研究方向。

    1 目標(biāo)檢測(cè)失衡問題

    近年來深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)算法取得了顯著成果。最常用的檢測(cè)算法主要分為兩個(gè)方向:一是基于Region Proposal 的雙階段算法(R-CNN、Fast R-CNN、Faster R-CNN);另一類是YOLO 和SSD 系列的單階段算法。圖1(a)展示了單階段網(wǎng)絡(luò)的訓(xùn)練流程示例圖,首先將圖像輸入到深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,得到一組密集的假設(shè)錨,然后將假設(shè)錨與真實(shí)數(shù)據(jù)框匹配和采樣,最后將以上輸出反饋給分類和回歸網(wǎng)絡(luò)進(jìn)行訓(xùn)練。與單階段不同的是,在雙階段中第一階段做前景-背景分類和候選區(qū)域回歸,第二階段是特征提取和候選區(qū)域篩選、精確和再分類。由于單階段中刪去RPN(region proposal network)操作,雙階段存在的失衡問題在單階段中更為突出。當(dāng)然,無論是單階段還是雙階段檢測(cè)方案均需要訓(xùn)練神經(jīng)網(wǎng)絡(luò)達(dá)到實(shí)驗(yàn)效果。

    圖1 失衡問題示例圖Fig.1 Example diagram of imbalance problem

    如圖1(b)展示訓(xùn)練的四個(gè)環(huán)節(jié)存在的四類目標(biāo)檢測(cè)失衡問題,從上到下為數(shù)據(jù)失衡、尺度失衡、相對(duì)空間失衡和分類與回歸失衡。其中數(shù)據(jù)失衡包括:前景/背景失衡、前景/前景失衡、類別標(biāo)簽失衡、長(zhǎng)尾數(shù)據(jù)失衡。尺度失衡包括:目標(biāo)實(shí)例/邊界框失衡、特征失衡。相對(duì)空間失衡包括:回歸損失失衡、目標(biāo)位置失衡。

    2 失衡問題分類

    2.1 數(shù)據(jù)失衡

    數(shù)據(jù)失衡是指在一個(gè)數(shù)據(jù)集中類別數(shù)量分布直接導(dǎo)致數(shù)據(jù)特征偏移形成的分布失衡。主要分為四種:前景/背景失衡、前景/前景失衡、類別標(biāo)簽失衡和長(zhǎng)尾數(shù)據(jù)失衡。

    (1)前景/背景失衡

    前景/背景失衡中背景類是過度代表類,前景類是不足代表類。此類問題是由邊界框匹配和標(biāo)記模塊邊界框過多被標(biāo)記為背景(負(fù)類)導(dǎo)致訓(xùn)練過程出現(xiàn)前景/背景失衡,因?yàn)樗话魏伪尘皹?biāo)注,所以它不依賴于數(shù)據(jù)集中每一類的實(shí)例數(shù)量。

    可以將前景/背景類失衡的解決方案分為四種:硬采樣方法、軟采樣方法、無采樣方法和生成方法。

    (2)前景/前景失衡

    在前景/前景類失衡中,過度代表類和不足代表類都是前景類。根據(jù)問題的起因可以分為兩種:數(shù)據(jù)集和批處理。數(shù)據(jù)集引起的前景/前景失衡是由于目標(biāo)存在不同性質(zhì),在數(shù)據(jù)集中會(huì)出現(xiàn)目標(biāo)類之間的失衡。通過直接生成人工樣本并將其插值到訓(xùn)練數(shù)據(jù)集中的生成方法可解決此類問題。批處理引起的數(shù)據(jù)失衡是指不同的類在一個(gè)批次中的分布不均勻?qū)е履P驮谟?xùn)練期間偏向于代表性過強(qiáng)的類而忽略了代表性不足的類。針對(duì)批處理引起的失衡問題,OFB(online foreground balanced)表明通過給每個(gè)待采樣邊界框分配概率,可以在批處理級(jí)別上解決前景/前景類失衡問題,使得批處理中不同類的分布均勻。同理,該方法旨在提升抽樣過程中正樣本數(shù)量較少的類。

    (3)類別標(biāo)簽失衡

    類別標(biāo)簽失衡主要是發(fā)生在半監(jiān)督學(xué)習(xí)的訓(xùn)練中,是由訓(xùn)練過程中參數(shù)的更新過度依賴固定閾值來計(jì)算無監(jiān)督損失導(dǎo)致的,僅用預(yù)測(cè)置信度高于閾值的未標(biāo)記數(shù)據(jù)造成標(biāo)簽之間的失衡從而影響檢測(cè)結(jié)果。主要分類是標(biāo)簽內(nèi)失衡、標(biāo)簽間失衡和標(biāo)簽集失衡。

    目前的解決方案分為重采樣、分類器自適應(yīng)和集成方法。

    (4)長(zhǎng)尾數(shù)據(jù)失衡

    長(zhǎng)尾數(shù)據(jù)失衡是指在訓(xùn)練樣本中,其中頭部有大量的樣本點(diǎn),但尾部?jī)H有少部分樣本,如圖2 所示。這種訓(xùn)練樣本級(jí)的類失衡導(dǎo)致深度學(xué)習(xí)模型的識(shí)別和分類表現(xiàn)不佳。目前的研究方案分為以下三類:類-再平衡、信息增強(qiáng)和模型改進(jìn)。

    圖2 長(zhǎng)尾數(shù)據(jù)標(biāo)簽分布Fig.2 Label distribution of long-tail data

    2.2 尺度失衡

    尺度失衡是目標(biāo)檢測(cè)對(duì)象與預(yù)測(cè)邊界框的尺度之間的失衡。主要分為以下兩種:目標(biāo)實(shí)例/邊界框失衡和特征失衡。

    (1)目標(biāo)實(shí)例/邊界框失衡

    當(dāng)部分大小的目標(biāo)或輸入邊界框在數(shù)據(jù)集中過度表示時(shí)會(huì)導(dǎo)致尺寸失衡。已經(jīng)證明,這會(huì)影響估計(jì)ROIs 的尺寸和整體檢測(cè)性能。He 等人提出了邊界框?qū)δ繕?biāo)檢測(cè)結(jié)果的直接影響分為圖3 中的四種情況。

    圖3 邊界框示例圖Fig.3 Example diagram of boundary box

    圖3(a)(c)中的邊界框標(biāo)記不準(zhǔn)確;(b)有遮擋物導(dǎo)致的標(biāo)記偏差;(d)圖像中待檢測(cè)物體邊界模糊。以上幾個(gè)問題會(huì)直接導(dǎo)致目標(biāo)檢測(cè)的分類和定位偏差。

    深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)的檢測(cè)器時(shí)存在一個(gè)缺陷是依賴于主干卷積神經(jīng)網(wǎng)絡(luò),預(yù)先訓(xùn)練圖像分類任務(wù)以便從輸入圖像中提取視覺特征。Henderson等人提出一種專門為目標(biāo)檢測(cè)任務(wù)而設(shè)計(jì)的主干網(wǎng)絡(luò),通過限制高層特征的空間降采樣率,減小此類問題對(duì)檢測(cè)結(jié)果帶來的影響。

    (2)特征失衡

    主干網(wǎng)絡(luò)的特征集在低特征和高特征層之間進(jìn)行平衡,才能得到一致的預(yù)測(cè)結(jié)果。傳統(tǒng)的FPN(feature pyramid network)系統(tǒng)架構(gòu)如圖4 所示,2 層自下而上通過低級(jí)特征的5 層特征金字塔,然而2和2 層直接集成層,導(dǎo)致2 和5 層中的高級(jí)和低級(jí)特性的效果是不同的。

    圖4 特征失衡問題在FPN 中的體系結(jié)構(gòu)Fig.4 Architecture of feature imbalance problem in FPN

    解決FPN 架構(gòu)中的失衡問題的主要趨勢(shì)是從改進(jìn)的自上而下特征層連接到新的架構(gòu),用新的架構(gòu)來解決特征失衡問題的方法分為兩大類:金字塔特征提取方法或主干特征提取方法。

    對(duì)于金字塔型代表方法是PANet(path aggregation network)。PANet 是第一個(gè)表明FPN 提取的特征可以進(jìn)一步增強(qiáng),采用自頂向下和自底向上的雙向融合骨干網(wǎng)絡(luò),提升預(yù)測(cè)掩碼的質(zhì)量。主干特征提取的代表方法是STDN(scale transferrable detection network),利用Dense-Net 塊提取主干特征的最后一個(gè)層特征生成金字塔特征。

    2.3 相對(duì)空間失衡

    相對(duì)空間失衡是由圖片大小、形狀、位置(相對(duì)于圖像或另一個(gè)框)和IoU(邊界框)的空間屬性的失衡造成的。在單階段檢測(cè)器分類與定位是并行的,因此空間失衡在單階段檢測(cè)器中愈加嚴(yán)重。例如,損失函數(shù)的選擇、位置的微小變化可能會(huì)導(dǎo)致回歸(局部化)損失的大幅變化。主要分為:回歸損失失衡和目標(biāo)位置失衡。

    (1)回歸損失失衡

    回歸損失主要分為點(diǎn)回歸損失和邊框回歸損失(IoU 損失)。其中點(diǎn)回歸損失包含均方差損失、平均絕對(duì)誤差損失、Huber Loss 和分位數(shù)損失。邊框回歸損失包含IoU Loss、GIoU Loss、DIoU Loss、CIoU Loss、EIoU Loss 和Focal-EIoU Loss。其中最常見的回歸損失失衡是IoU 分布失衡。

    IoU 分布失衡是當(dāng)輸入邊界框呈傾斜的IoU 分布時(shí),會(huì)觀察到IoU 分布失衡,回歸后退化的錨的比率逐漸向回歸器訓(xùn)練的閾值下降。另一方面,假陽性錨的比例正向增加,其中陽性錨被回歸變量丟失。R-CNN方法是第一個(gè)解決IoU 失衡的方法,直接最小化Anchor 和目標(biāo)框之間的歸一化距離以達(dá)到更快的收斂速度。Multi-Region CNN和AttractioNet迭代地將相同的網(wǎng)絡(luò)應(yīng)用到邊界框達(dá)到均衡。另一個(gè)解決IoU 失衡的方法是HSD(hierarchical shot detector),在邊界框回歸之后運(yùn)行分類器使分布更加均衡。

    (2)目標(biāo)失衡

    目標(biāo)失衡是由目標(biāo)在整個(gè)圖像中的分布不勻?qū)е碌模壳暗纳疃葯z測(cè)器使用密集采樣錨作為滑動(dòng)窗口分類器。大部分方法默認(rèn)錨點(diǎn)在圖像中均勻分布,因此圖像中的每一部分都被認(rèn)為具有相同的權(quán)重。另一方面,圖像中物體的不均勻分布導(dǎo)致物體位置存在失衡問題。主要解決方案是同時(shí)學(xué)習(xí)錨點(diǎn)的位置、尺度和長(zhǎng)寬比屬性,針對(duì)不同的任務(wù)設(shè)計(jì)生成錨點(diǎn),減少錨點(diǎn)的數(shù)量同時(shí)提高召回率。

    2.4 分類與回歸失衡

    目標(biāo)檢測(cè)任務(wù)中包含分類任務(wù)和回歸任務(wù),分類的目的是目標(biāo)識(shí)別,而回歸的任務(wù)是位置的回歸,實(shí)現(xiàn)目標(biāo)定位。分類與回歸都是監(jiān)督學(xué)習(xí),對(duì)輸入的數(shù)據(jù)進(jìn)行預(yù)測(cè)。其中分類的輸出結(jié)果是分散的,例如目標(biāo)所屬的類別,貓、狗、熊等,最終的目的是得到一個(gè)決策面。回歸的輸出結(jié)果是連續(xù)的目標(biāo)值,最終目的是得到一個(gè)最優(yōu)擬合線。分類的分支任務(wù)是用來目標(biāo)識(shí)別,回歸的分支任務(wù)是用來實(shí)現(xiàn)目標(biāo)定位。

    分類與回歸失衡是指訓(xùn)練過程中目標(biāo)(損失)功能被最小化。根據(jù)定義,目標(biāo)檢測(cè)要同時(shí)解決分類和回歸任務(wù),如圖5(a)所示。然而不同的任務(wù)可能由以下情況導(dǎo)致失衡:(1)如果分類損失函數(shù)相較于回歸損失下降速度很快,會(huì)導(dǎo)致其中一個(gè)任務(wù)主導(dǎo)整個(gè)訓(xùn)練,如圖5(b)。(2)不同任務(wù)的損失函數(shù)范圍不同,導(dǎo)致了任務(wù)之間的失衡,如圖5(c)。(3)各個(gè)任務(wù)的訓(xùn)練成本不同直接影響任務(wù)的學(xué)習(xí)速度,從而影響訓(xùn)練結(jié)果,如圖5(d)。

    圖5 分類與回歸損失函數(shù)圖Fig.5 Classification and regression loss function diagram

    3 優(yōu)化策略

    3.1 數(shù)據(jù)失衡優(yōu)化策略

    數(shù)據(jù)失衡問題的優(yōu)化策略之一硬采樣,采用啟發(fā)式方法執(zhí)行,通過一組給定的標(biāo)記BBs中選擇正負(fù)樣本示例的子集來解決失衡問題。雙階段算法中的硬采樣代表作是Faster R-CNN,通過預(yù)先定義的前景背景比例隨機(jī)檢測(cè)樣本,但這種方案忽視了難易樣本的區(qū)別。OHEM(online hard example mining)提出來一種考慮正負(fù)樣本損失值的方案。但是傾向于采樣更難的目標(biāo)示例,而不是更容易的示例,導(dǎo)致難易樣本差距更大。S-OHEM(stratified online hard example mining for object detection)是基于OHEM的改進(jìn),根據(jù)loss 的分布抽樣訓(xùn)練樣本避免了僅使用高損失的樣本來更新模型參數(shù),卻引入額外超參數(shù)增加了訓(xùn)練成本。

    軟采樣方法的經(jīng)典之作是Focal Loss,它動(dòng)態(tài)地給復(fù)雜例子分配權(quán)重,如下公式所示:

    在式(1)中,當(dāng)=0 時(shí),F(xiàn)ocal Loss退化為香農(nóng)交叉熵?fù)p失。當(dāng)=2 時(shí),體系結(jié)構(gòu)中復(fù)雜示例和簡(jiǎn)單示例之間達(dá)到良好平衡狀態(tài)。Focal Loss針對(duì)的是難易樣本失衡問題,提出關(guān)注部分很少但很難被分類的樣本上,避免容易樣本在分類過程中主導(dǎo)檢測(cè)器的訓(xùn)練過程,設(shè)計(jì)出簡(jiǎn)單的密集檢測(cè)器RetinaNet取得顯著成果。然而當(dāng)樣本中有離群點(diǎn),即使模型已經(jīng)收斂了,F(xiàn)ocal Loss還是由于離群點(diǎn)導(dǎo)致判斷錯(cuò)誤。因此梯度均衡機(jī)制GHM(gradient harmonized singlestage detector)出現(xiàn)了,提出計(jì)算梯度密度的倒數(shù)作為損失函數(shù)的權(quán)重分別引入到分類損失函數(shù)(GHMC)和邊框損失函數(shù)(GHM-R)。它抑制了容易產(chǎn)生的正、負(fù)梯度。與Focal Loss 的不同點(diǎn)是,GHM 運(yùn)用一種基于計(jì)數(shù)的方法計(jì)算具有相似梯度范數(shù)的樣本數(shù)量,如果有許多具有相似梯度的樣本,則降低樣本的損失,如式(2)所示。

    式中,(BB)為梯度范數(shù)接近BB梯度范數(shù)的樣本個(gè)數(shù);為輸入邊界框的個(gè)數(shù)。GHM 方法預(yù)先假設(shè)簡(jiǎn)單的例子是具有多相似梯度的示例。與其他方法的不同點(diǎn)是GHM 能夠證明不僅對(duì)類別耦合任務(wù)有效,也對(duì)回歸任務(wù)有效。

    2020 年P(guān)ISA(prime sample attention)提出新的研究角度,從樣本獨(dú)立性和平等性出發(fā),根據(jù)mAP測(cè)量的整體性能重新定義范式,更關(guān)注對(duì)檢測(cè)性能方面發(fā)揮關(guān)鍵作用的樣本,開發(fā)一種簡(jiǎn)單有效的采樣和學(xué)習(xí)策略。提出了IoU-HLR 對(duì)小批量邊界框樣本的重要性進(jìn)行排序優(yōu)化失衡問題。

    由于上述方案中超參數(shù)量不斷增加,無采樣方法應(yīng)運(yùn)而生,代表方案是AP-Loss,直接根據(jù)最終的損失分類建模成一項(xiàng)排序任務(wù),并使用平均精度作為任務(wù)的損失函數(shù)減少超參數(shù)數(shù)量來平衡前景/背景類失衡問題。DR-Loss將前景/背景的置信度值分布推向決策邊界,優(yōu)化派生分布的期望進(jìn)行排序代替原始示例,解決背景中困難樣本的問題,從而達(dá)到相對(duì)平衡的狀態(tài)。

    2021 年Chen 等人提出的無采樣機(jī)制是基于類別自適應(yīng)的思想。在研究中發(fā)現(xiàn)訓(xùn)練檢測(cè)器時(shí)不采用抽樣啟發(fā)式會(huì)直接導(dǎo)致檢測(cè)精度大幅度下降,而這種下降主要由于分類梯度失衡。因此Sampling-Free 通過初始化bias、引導(dǎo)損失函數(shù)權(quán)重和類別分?jǐn)?shù)閾值自適應(yīng)來解決正負(fù)樣本失衡問題取得了顯著成效。然而與減少超參數(shù)量的初衷相悖。

    生成方法的主要思想是將人工生成的樣本注入到數(shù)據(jù)集中解決數(shù)據(jù)失衡問題,代表作是生成性對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)。優(yōu)勢(shì)是在訓(xùn)練過程中生成更難的樣本訓(xùn)練模型,得到更穩(wěn)定的模型。例如,TADS(task-aware data synthesis)是一種特定于任務(wù)的合成數(shù)據(jù)生成方法,通過評(píng)估目標(biāo)分類器的優(yōu)缺點(diǎn)來產(chǎn)生有意義的訓(xùn)練樣本。合成器和目標(biāo)網(wǎng)絡(luò)以對(duì)抗方式進(jìn)行訓(xùn)練,其中每個(gè)網(wǎng)絡(luò)都以超越另一個(gè)的目標(biāo)進(jìn)行更新,優(yōu)化數(shù)據(jù)失衡問題。另一種研究方向是GA-RPN(guided anchoring region proposal network),一種新的anchor 生成方法。該方案通過圖像特征來指導(dǎo)生成anchor,運(yùn)用CNN 預(yù)測(cè)anchor 的形狀和位置,生成稀疏而且形狀任意的anchor,并且設(shè)計(jì)Feature Adaption 模塊來修正特征圖使之與anchor 精確匹配,從基于anchor 的角度優(yōu)化失衡問題。

    此類方案的性能對(duì)比結(jié)果如表1 所示,可以總結(jié)為:(1)軟采樣方案中的PISA 在Faster R-CNN 上獲得最高AP 值41.5%,相對(duì)硬采樣中的MBS 提升了5.1個(gè)百分點(diǎn);PISA 在RetinaNet 上取得40.4%的效果,相比無采樣方案的AP Loss提升了5.4個(gè)百分點(diǎn)。(2)生成方案中,在Fast R-CNN 上,GA-RPN 相比TADS 提升了7.4 個(gè)百分點(diǎn)。(3)四類方案中整體性能都處于上升趨勢(shì),其中軟采樣方案和生成方案相對(duì)提升顯著。

    表1 前景/背景失衡優(yōu)化策略性能對(duì)比Table 1 Performance comparison of foregroundbackground class imbalance optimization strategies

    針對(duì)前景/前景失衡問題,Oksuz 等人開發(fā)了一種生成器pRoI Generator,根據(jù)IoU 分布自動(dòng)生成RoI來模擬正樣本的采樣方式,平衡前景/前景失衡問題。實(shí)驗(yàn)證明pRoI 在Pascal VOC 2007 數(shù)據(jù)集上獲得了77.8%的mAP。pRoI 應(yīng)用在Faster R-CNN 上在低IoU 下取得更好或者同等性能,同時(shí)也體現(xiàn)出該方案的局限性,在高IoU 下無優(yōu)勢(shì)。另一種方案是預(yù)先訓(xùn)練主干網(wǎng)絡(luò)的最后一層的特征做內(nèi)積,再構(gòu)建類之間的相似度度量,并分層分組來優(yōu)化數(shù)據(jù)集級(jí)前景類失衡。針對(duì)設(shè)計(jì)的層次樹中的每個(gè)節(jié)點(diǎn),根據(jù)分類器的置信度得分來學(xué)習(xí)分類器。

    針對(duì)以上方案存在的問題,GraphSMOTE(graph synthetic minority oversampling techniques)在特征提取階段先用GNN(graph neural networks)學(xué)習(xí)Embedding,得到低維且稠密的特征避免引入域外噪音,且能夠同時(shí)編碼節(jié)點(diǎn)特征和圖結(jié)構(gòu)。然后生成合成節(jié)點(diǎn),將生成的結(jié)果輸入到GNN 分類器最終進(jìn)行端到端的訓(xùn)練。該模型構(gòu)造一個(gè)嵌入空間來編碼節(jié)點(diǎn)之間的相似性,從未生成新樣本,具備良好的可擴(kuò)展性。

    2022 年Hou 等人提出新的研究方向,從Batch內(nèi)失衡的角度解決失衡問題,設(shè)計(jì)批量轉(zhuǎn)換在訓(xùn)練期間隱式探索樣本關(guān)系,實(shí)現(xiàn)不同樣本間的協(xié)作關(guān)系,同時(shí)將BatchFormer 設(shè)計(jì)成即插即用模式,在測(cè)試期間將其刪除,來減少時(shí)間消耗。實(shí)驗(yàn)表明Batch-Former 在數(shù)據(jù)集ImageNet-LT、iNaturalist 2018 和Places分別取得了47.6%、74.1%和41.6%的AP值。在零樣本學(xué)習(xí)中的MIT-States、UT-Zap50K 和C-GQA 數(shù)據(jù)集上取得了6.7%、34.6%和3.8%的AUC 值。

    類別標(biāo)簽失衡問題的優(yōu)化方法之重采樣,是一種應(yīng)用廣泛的優(yōu)化數(shù)據(jù)失衡問題的方案。例如,MLSOL(synthetic oversampling of multi-label data based on local label distribution)首先根據(jù)局部標(biāo)簽分布計(jì)算實(shí)例的權(quán)重向量和合成實(shí)例生成的類型矩陣,使用加權(quán)采樣進(jìn)行實(shí)例選擇,新實(shí)例的標(biāo)簽會(huì)根據(jù)位置發(fā)生變化,從而避免標(biāo)簽失衡。

    另一種采樣方式是MMT(mutual mean-teaching),利用更魯棒的“軟”標(biāo)簽對(duì)偽標(biāo)簽進(jìn)行在線優(yōu)化,并設(shè)計(jì)針對(duì)三元組的合理偽標(biāo)簽以及對(duì)應(yīng)的損失函數(shù)來優(yōu)化標(biāo)簽失衡問題。實(shí)驗(yàn)證明MMT 在Duke-to-Market和Market-to-Duke上分別取得76.50%和65.75%的mAP 值,相比不采用MMT 的方案優(yōu)化效果顯著。

    類別自適應(yīng)的核心思想是直接從數(shù)據(jù)集中的類中學(xué)習(xí)失衡分布?;诜菍?duì)稱的stagewise loss函數(shù)來動(dòng)態(tài)調(diào)整正負(fù)樣本的損失來解決弱監(jiān)督多標(biāo)簽學(xué)習(xí)中的失衡問題。Zhang 等人提出COCOA(crosscoupling aggregation),結(jié)合當(dāng)前標(biāo)簽對(duì)應(yīng)的二元類不平衡分類器的預(yù)測(cè)結(jié)果和多類不平衡學(xué)習(xí)器的預(yù)測(cè)結(jié)果得到每個(gè)類標(biāo)簽的最終決策優(yōu)化失衡問題。實(shí)驗(yàn)證明COCOA 在F-measure、G-mean、Balanced Acc、AUC-ROC 和AUC-PR 五個(gè)評(píng)價(jià)指標(biāo)中分別取得了4.22、5.00、4.50、4.31 和4.55 的效果。

    集成方法的核心思想是結(jié)合多個(gè)分類器作為集合訓(xùn)練多變標(biāo)簽的分類器,可以實(shí)現(xiàn)多樣化的多標(biāo)簽預(yù)測(cè)和解決失衡問題。MCHE(multi-label classification using heterogeneous ensemble)通過結(jié)合最先進(jìn)的多標(biāo)簽方法,提出多標(biāo)簽學(xué)習(xí)者的異構(gòu)集成。該方法同時(shí)解決了樣本失衡和標(biāo)簽相關(guān)性問題。由五個(gè)分類器組成,在同一數(shù)據(jù)上使用不同的算法進(jìn)行訓(xùn)練。測(cè)試連接單個(gè)預(yù)測(cè)的方法,以及通過交叉驗(yàn)證調(diào)整不同閾值和加權(quán)方案。ECCRU(ensemble of classifier chains with random undersampling)通過耦合欠采樣和改進(jìn)對(duì)多數(shù)樣本的利用,擴(kuò)展了ECC 對(duì)失衡的彈性。實(shí)驗(yàn)證明ECCRU3 在F-measure、Gmean、Balanced Acc、AUC-ROC 和AUC-PR 五個(gè)評(píng)價(jià)指標(biāo)中分別取得了2.81、2.72、1.91、1.84 和2.06 的效果。相較于COCOA 方案有明顯優(yōu)勢(shì)。

    長(zhǎng)尾數(shù)據(jù)失衡的優(yōu)化方案之一類-再平衡,目的是平衡模型訓(xùn)練過程中不同類的訓(xùn)練樣本數(shù)。SimCal提出了一種新的雙層類平衡采樣策略來處理長(zhǎng)尾實(shí)例分割。具體來說,雙層采樣策略結(jié)合了圖像級(jí)重采樣和實(shí)例級(jí)重采樣,以緩解實(shí)例分割中的失衡問題。BALMS(balanced meta-Softmax)開發(fā)了一種基于元學(xué)習(xí)的采樣方法來估計(jì)長(zhǎng)尾學(xué)習(xí)的不同類別的最佳采樣率。提出的元學(xué)習(xí)方法是一種雙層優(yōu)化策略,通過在平衡的元驗(yàn)證集上優(yōu)化模型分類性能來學(xué)習(xí)最佳樣本分布參數(shù)。FVR(framework for long-tail visual recognition)提出一種自適應(yīng)校準(zhǔn)函數(shù)對(duì)分類器的輸出進(jìn)行評(píng)估和一種廣義重加權(quán)校準(zhǔn)方法,通過數(shù)據(jù)集分布的先驗(yàn)信息對(duì)損失函數(shù)進(jìn)行調(diào)整。FASA(feature augmentation and sampling adaptation)提出使用平衡元驗(yàn)證集(作為度量)上的模型分類損失來調(diào)整不同類別的特征采樣率,從而可以對(duì)代表性不足的尾類進(jìn)行更多采樣。

    面對(duì)長(zhǎng)尾失衡問題,類-再平衡方案的性能分析如表2,其中AP 表示平均精度,AP、AP和AP分別表示稀有類、常見類和頻繁類的平均精度,可以看出整體檢測(cè)精度不斷提高。其中FVR 方案的表現(xiàn)不如BALMS,但是提出的自適應(yīng)校準(zhǔn)和廣義重加權(quán)是一個(gè)新的研究方向。

    表2 類-再平衡策略性能對(duì)比表Table 2 Performance comparison of class re-balancing

    信息增強(qiáng)的核心思想是試圖在模型訓(xùn)練中引入額外的信息,以便在長(zhǎng)尾學(xué)習(xí)中提高模型性能。LEAP(learnable embedding augmentation perspective)為每個(gè)類構(gòu)建“特征云”,通過對(duì)尾類樣本進(jìn)行一定的擴(kuò)充,并尋求通過在特征空間中增加具有一定擾動(dòng)的尾類樣本來轉(zhuǎn)移頭類特征云的知識(shí),以增強(qiáng)尾類特征云的類內(nèi)變化,最終減輕了類間類內(nèi)特征方差的失真。M2M(major-to-minor)提出通過基于擾動(dòng)的優(yōu)化將頭級(jí)樣本轉(zhuǎn)換為尾級(jí)樣本來增強(qiáng)尾級(jí),這基本上類似于對(duì)抗攻擊。處理后的尾類樣本將用于構(gòu)建給模型訓(xùn)練的更平衡的訓(xùn)練集。GIST(geometric structure transfer network)提出在分類器級(jí)別進(jìn)行頭對(duì)尾傳輸。通過利用頭類相對(duì)較大的分類器幾何信息來增強(qiáng)尾類的分類器權(quán)重,GIST 能夠獲得更好的尾類性能。

    模型改進(jìn)是從網(wǎng)絡(luò)模型的角度優(yōu)化失衡問題。KCL提出了一種k-positive contrastive loss 來學(xué)習(xí)平衡的特征空間,這有助于緩解類不平衡并提高模型泛化能力。另一種方案是引入一種原型對(duì)比學(xué)習(xí)策略來增強(qiáng)長(zhǎng)尾學(xué)習(xí)。PaCo(parametric contrastive)通過添加一組參數(shù)可學(xué)習(xí)的類中心進(jìn)一步創(chuàng)新了監(jiān)督對(duì)比學(xué)習(xí),如果將類中心視為分類器權(quán)重,則它們起到與分類器相同的作用。DRO-LT(distributional robustness loss for long-tail)使用分布魯棒優(yōu)化擴(kuò)展了原型對(duì)比學(xué)習(xí),這使得學(xué)習(xí)模型對(duì)數(shù)據(jù)分布變化更加魯棒。

    表3 總結(jié)了在不同數(shù)據(jù)集上信息增益和模型改進(jìn)方案的檢測(cè)準(zhǔn)確度對(duì)比結(jié)果。從表2 與表3 可以總結(jié)出,相較于類-再平衡,信息增益和模型改進(jìn)方案的整體性能具有優(yōu)勢(shì)。尤其是GIST 在iNaturalist 2018數(shù)據(jù)集上的ACC 已經(jīng)達(dá)到70.8%。PaCo 在ImageNet-LT 數(shù)據(jù)集上相較于KCL 提升5.26 個(gè)百分點(diǎn),DROLT 在CIFAR-LT-100 數(shù)據(jù)集上相較于Hybrid-PSC 提升2.34 個(gè)百分點(diǎn)。

    表3 信息增益和模型改進(jìn)方案性能對(duì)比Table 3 Performance comparison of information augmentation and module improvement

    因此無標(biāo)簽的類-再平衡值得進(jìn)一步研究,具體而言,實(shí)際的長(zhǎng)尾任務(wù)除了類別失衡之外,還存在標(biāo)簽頻繁出現(xiàn)導(dǎo)致的失衡問題,影響著訓(xùn)練結(jié)果。如何獲得準(zhǔn)確的標(biāo)簽頻率從而精進(jìn)類-重平衡方案是進(jìn)一步研究的方向。

    3.2 尺度失衡優(yōu)化策略

    針對(duì)目標(biāo)實(shí)例/邊界框失衡,主要的優(yōu)化策略如下:(1)從主干特征層次進(jìn)行預(yù)測(cè)的方法是根據(jù)主干網(wǎng)絡(luò)不同級(jí)別的特征進(jìn)行獨(dú)立的預(yù)測(cè)。由于不同的層次在不同的尺度上編碼信息不同,該方法考慮了多尺度上的目標(biāo)檢測(cè)。Scale Aware Fast R-CNN方法是學(xué)習(xí)兩個(gè)分類器的集成,一個(gè)用于小尺度目標(biāo),一個(gè)用于大尺度目標(biāo),進(jìn)行聯(lián)合預(yù)測(cè)。同時(shí)Fast R-CNN 采用隨機(jī)梯度下降訓(xùn)練,使用分層抽樣進(jìn)行采樣。并且對(duì)每一張圖都要取足夠的候選框,因此與Faster R-CNN 相比,在檢測(cè)速度上效果不好。(2)特征金字塔網(wǎng)絡(luò)(FPN)在進(jìn)行預(yù)測(cè)前將不同尺度的特征進(jìn)行組合。FPN 利用了一種附加的自上而下的方法,橫向連接高層和低層的功能,在增加極小計(jì)算量前提下處理目標(biāo)檢測(cè)多尺度失衡問題。但是由于直接從主干網(wǎng)絡(luò)提取特征進(jìn)行組合導(dǎo)致了一定的特征失衡。(3)相比FPN 的不斷疊加特征,SNIP(scale normalization for image pyramids)巧妙地引入圖像金字塔來處理數(shù)據(jù)集中的尺寸失衡問題。SNIP是Singh和Davis 提出的一種新的訓(xùn)練方法。該研究證明通過向檢測(cè)器輸入特定尺度數(shù)據(jù)進(jìn)行訓(xùn)練會(huì)損壞數(shù)據(jù),并且在單個(gè)檢測(cè)器上使用多尺度訓(xùn)練。由于保留數(shù)據(jù)的變化導(dǎo)致尺度不平衡。因此SNIP 只對(duì)尺寸在指定范圍內(nèi)的目標(biāo)回傳損失,減小了Domain-Shift的影響。在訓(xùn)練過程中用不同大小的圖像訓(xùn)練多個(gè)網(wǎng)絡(luò)模型和檢測(cè)器網(wǎng)絡(luò),并且對(duì)于每個(gè)網(wǎng)絡(luò)只標(biāo)記適當(dāng)尺寸的輸入邊界框?yàn)橛行Э騺砜刂贫喑叽缬?xùn)練下數(shù)據(jù)損失。SNIPER(scale normalization for image pyramids with efficient resampling)不是處理圖像金字塔中的每個(gè)像素,而是以適當(dāng)?shù)谋壤幚碚鎸?shí)實(shí)例周圍的上下文區(qū)域。在訓(xùn)練期間每個(gè)圖像生成的chips 的數(shù)量會(huì)根據(jù)場(chǎng)景復(fù)雜度自適應(yīng)地變化。(4)圖像與特征金字塔相結(jié)合的方法是生成超分辨率特征圖。Noh 等人提出了用于雙階段目標(biāo)檢測(cè)器的小目標(biāo)檢測(cè)的超分辨率,這些檢測(cè)器在RoI 標(biāo)準(zhǔn)化層之后缺乏小目標(biāo)的強(qiáng)表示。另一種方法,Scale-Aware Trident Network結(jié)合基于特征金字塔和圖像金字塔方法的優(yōu)點(diǎn),未使用多個(gè)下采樣圖像,而是用擴(kuò)大卷積來提高檢測(cè)準(zhǔn)確率。為了保證每個(gè)分支的特定比例,將三種不同的感受野網(wǎng)絡(luò)并行化,根據(jù)其大小為適當(dāng)?shù)姆种гO(shè)置輸入邊界框,并且提出了一種使用單個(gè)參數(shù)共享分支來近似其他分支優(yōu)化損失函數(shù)的方案。

    特征失衡的優(yōu)化方案中,PANet(path aggregation network)通過自下而上的路徑擴(kuò)展特征金字塔,將底層特征更快地輸入到預(yù)測(cè)層,然后建立自適應(yīng)特征池,將每個(gè)ROI 與每個(gè)級(jí)別相關(guān)聯(lián),再應(yīng)用ROI 池化操作進(jìn)行融合,得到固定大小的特征網(wǎng)格傳播到檢測(cè)器網(wǎng)絡(luò)。但是PANet 依然采用順序路徑提取特征。ThunderNet 網(wǎng)絡(luò)的檢測(cè)部分采用壓縮的RPN 網(wǎng)絡(luò),即CEM(context enhancement module)整合局部和全局特征增強(qiáng)網(wǎng)絡(luò)特征表達(dá)能力,并提出Spatial Attention Module 空間注意模塊,引入來自RPN 的前后景信息用以優(yōu)化特征分布。然而Libra FPN打破順序提取特征的方式,采用縮放和平均將來自不同層的所有特征圖都集成為一個(gè)單一特征圖,再運(yùn)用卷積網(wǎng)絡(luò)將細(xì)化后的結(jié)果添加到金字塔特征的每一層,保證提取特征能夠被充分利用。使用整體平衡的設(shè)計(jì)優(yōu)化檢測(cè)器訓(xùn)練過程中的失衡,從而盡可能地挖掘模型架構(gòu)的潛力。

    STDN(scale-transferrable detection network)使用DenseNet-169 作為基礎(chǔ)網(wǎng)絡(luò)提取特征,基于多層特征做預(yù)測(cè),并對(duì)預(yù)測(cè)結(jié)果做融合得到最終結(jié)果。該方案提出Scale-transfer Layer,在幾乎不增加參數(shù)量和計(jì)算量的情況下生成大尺度的特征圖,STDN 不僅mAP 高,而且運(yùn)行速度快。

    NAS-FPN(neural architecture search FPN)通過使用神經(jīng)架構(gòu)搜索方法來搜索最佳架構(gòu),以在給定主干特征的情況下生成金字塔特征,此方案在圖像分類任務(wù)中取得良好效果。Auto FPN是另一個(gè)使用NAS 的方案,同時(shí)學(xué)習(xí)從主干到金字塔功能和其他功能的連接。雖然NAS-FPN 實(shí)現(xiàn)了更高的性能,但Auto FPN 效率更高,內(nèi)存占用更少。

    GraphFPN使用拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)跨空間和尺度地執(zhí)行特征交互。通過泛化卷積神經(jīng)網(wǎng)絡(luò)的全局通道注意力,為圖神經(jīng)網(wǎng)絡(luò)引入了兩種類型的局部通道注意力。提出的圖特征金字塔網(wǎng)絡(luò)增強(qiáng)卷積特征金字塔網(wǎng)絡(luò)的多尺度特征,使得特征層之間達(dá)到平衡。

    另一個(gè)研究方向是基于主干特征網(wǎng)絡(luò)的探索,例如Multi-level FPN主要由特征融合模塊FFM(feature fusion module)、細(xì)化U 型模塊TUM(thinned Ushape modules)和尺度特征聚合模塊SFAM(scale-wise feature aggregation module)三個(gè)模塊組成。實(shí)現(xiàn)了比FPN 融合更多的特征,且按照不同size進(jìn)行融合。

    2022 年AdaMixer的出現(xiàn)提出了自適應(yīng)的特征采樣位置,將Query 解耦成內(nèi)容向量和位置向量,并且將位置向量采用參數(shù)化使得Query 與多層特征形成的3D 特征空間直接聯(lián)系。該方案通過自適應(yīng)地學(xué)習(xí)目標(biāo)物體的位置和尺度變化來優(yōu)化失衡問題。消融實(shí)驗(yàn)證明AdaMixer 在不加入額外金字塔網(wǎng)絡(luò)的條件下效果高出0.01(AP)。在COCO 數(shù)據(jù)集上取得AP 值45.0%,相比GraphFPN 高出0.013。

    3.3 相對(duì)空間失衡優(yōu)化策略

    針對(duì)回歸損失失衡的優(yōu)化策略,GIOU-loss(generalized-IoU loss)直接把IOU 設(shè)為回歸的loss,基于一種距離度量方法不僅關(guān)注重疊區(qū)域,還關(guān)注非重合區(qū)域,從重合角度優(yōu)化尺度失衡問題。更進(jìn)一步,DIoU Loss(distance-IoU loss)將目標(biāo)與anchor 的距離、重疊率和尺度都作為建模參考值,實(shí)現(xiàn)了收斂速度比GIOU-loss 更快,并且當(dāng)出現(xiàn)兩個(gè)框在水平方向或者垂直方向時(shí),DIoU Loss 回歸非??欤藭r(shí)的GIOU-loss 會(huì)退化為IOU loss。CIoU Loss(complete-IoU loss)是在DIoU Loss 的基礎(chǔ)上考慮長(zhǎng)寬比問題,引入了一個(gè)影響因子,把預(yù)測(cè)框的長(zhǎng)寬比擬合目標(biāo)框的長(zhǎng)寬比來計(jì)算損失,改進(jìn)了DIoU Loss 存在的對(duì)小尺度樣本精確度低的問題,優(yōu)化了大小尺度樣本間的失衡問題。EIoU Loss摒棄IoU Loss 的長(zhǎng)寬比指標(biāo),直接運(yùn)用邊長(zhǎng)(寬和高的值)作為懲罰項(xiàng),直接優(yōu)化DIoU-Loss 存在的邊長(zhǎng)被錯(cuò)誤放大問題,從而達(dá)到平衡。

    基于IoU 系列方案的性能對(duì)比結(jié)果如表4 所示。從相對(duì)對(duì)比結(jié)果看到整體性能是在提升的,CIoU 在YOLOv3、SSD 和Faster R-CNN 上相較于GIoU-loss 和DIoU-loss 分別有3.10%、0.74%和1.66%相對(duì)提升結(jié)果。EIoU 在COCO val-2017 數(shù)據(jù)集上相比GIoU 和CIoU 分別有1.66%和4.11%的相對(duì)提升結(jié)果。整體性能呈上升趨勢(shì),下一步研究可以繼續(xù)探索基于IoU 的優(yōu)化策略。

    表4 IOU 系列性能對(duì)比Table 4 Performance comparison of IOU

    另一種優(yōu)化思路是Cascade R-CNN,在樣本數(shù)不減少的情況下通過調(diào)試最優(yōu)閾值來訓(xùn)練一個(gè)高性能檢測(cè)器。在出現(xiàn)偏態(tài)的分布下使回歸對(duì)單個(gè)閾值過擬合,證明正樣本的分布對(duì)回歸有影響,表明分布的失衡可以從左偏移到近似均勻,甚至右偏移,為訓(xùn)練最優(yōu)閾值提供足夠的樣本。IoU-uniform R-CNN增加可控的抖動(dòng),并以這種方式只向回歸變量提供近似一致的正輸入邊達(dá)到均衡。相對(duì)于其他方法,Oksuz等人的一個(gè)重要研究是系統(tǒng)地使用邊界框生成器生成邊界框,優(yōu)化失衡問題的同時(shí)提高檢測(cè)效率。

    針對(duì)目標(biāo)失衡問題,主要的工作是在anchor上做改進(jìn)來優(yōu)化失衡問題。Wang 等人提出同時(shí)學(xué)習(xí)錨的位置、尺度和長(zhǎng)寬比屬性,以減少錨的數(shù)量,同時(shí)提高召回率。利用在特征圖上的完全卷積分類器,提出基于可變形卷積的錨特征自適應(yīng),以獲得基于錨大小的平衡表示。2018年RefineDet算法改進(jìn)SSD算法,采用ARM+ODM結(jié)合調(diào)整anchors的失衡,簡(jiǎn)化模型的同時(shí)優(yōu)化失衡問題。2019年提出RepPoints,通過卷積的方式預(yù)測(cè)各個(gè)點(diǎn)的相對(duì)位置偏移,以此作為卷積網(wǎng)絡(luò)的偏移量對(duì)原特征圖進(jìn)行卷積,得到重合率更高的特征與目標(biāo)區(qū)域,再進(jìn)行第二階段的預(yù)測(cè)來優(yōu)化失衡問題。Free anchor沒有學(xué)習(xí)錨,而是減小匹配策略的硬約束。通過修改loss函數(shù)刪去固定閾值使網(wǎng)絡(luò)自主學(xué)習(xí)選擇anchor 真實(shí)目標(biāo)匹配。實(shí)驗(yàn)證明Free anchor 在COCO 數(shù)據(jù)集上獲得43.1%的AP 值。

    2020 年YOLO 系列中YOLOv4在輸入端引入數(shù)據(jù)增強(qiáng)(Mosaic)、cmBN 模塊;將主干網(wǎng)絡(luò)更換為CSDarknet-53 結(jié)合Mish 激活函數(shù);將原來的FPN 換為PANet 中的FPN;針對(duì)回歸失衡問題采用CIOU_Loss 進(jìn)行回歸預(yù)測(cè)。實(shí)驗(yàn)證明YOLOv4 取得43.5%(AP),相比Free anchor 和RefineDet 的43.1%(AP)和41.0%(AP)有優(yōu)勢(shì)。

    3.4 分類與回歸失衡優(yōu)化策略

    針對(duì)分類與回歸任務(wù)失衡問題,Jiang等人證明了基于CNN 的目標(biāo)檢測(cè)方法存在分類置信度和定位置信度不匹配問題,并設(shè)計(jì)IoU-Net來解決此類問題。IoU-Net學(xué)習(xí)預(yù)測(cè)每個(gè)檢測(cè)得到的邊界框和與之匹配的目標(biāo)之間的IoU 作為該框的定位置信度。利用這種定位置信度,檢測(cè)器能確保定位更準(zhǔn)確的邊界框在NMS 過程中被保留下來,從而改進(jìn)NMS 過程。研究者在MS-COCO 數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn),證明IoU-Net的有效性。

    Kendall 等人已經(jīng)證明,基于多任務(wù)學(xué)習(xí)的模型的性能在很大程度上取決于每個(gè)任務(wù)損失之間的相對(duì)權(quán)重。但是以前的方法主要關(guān)注如何增強(qiáng)模型體系結(jié)構(gòu)的識(shí)別能力。

    2020 年出現(xiàn)的aLRP Loss(average localisationrecall-precision loss)是第一個(gè)用于分類和回歸任務(wù)中的基于排名的損失函數(shù)且僅引入單個(gè)超參數(shù)。aLRP執(zhí)行對(duì)高精度的分類實(shí)施高質(zhì)量的定位,并且證明了正面和負(fù)面樣本之間的平衡。

    Double-Head RCNN的出現(xiàn)是一個(gè)轉(zhuǎn)折點(diǎn),開啟了分類與回歸的解耦之路。由于雙階段目標(biāo)檢測(cè)器中共享一個(gè)分類和回歸的頭部,然而對(duì)全連接頭部和卷積頭部結(jié)構(gòu)之間缺乏聯(lián)系。通過對(duì)比發(fā)現(xiàn),兩種頭部可以實(shí)現(xiàn)互補(bǔ)。全連接頭部可以更好地區(qū)分一個(gè)完整目標(biāo)和一個(gè)目標(biāo)的局部,用于分類任務(wù),卷積頭部輸出更準(zhǔn)確的回歸邊界框用于回歸任務(wù)。在此基礎(chǔ)之上研究者提出Double-Head RCNN。但由于輸入到兩個(gè)分支的是同一個(gè)proposal ROI pooling之后的特征,因此分類和回歸任務(wù)失衡依然存在。Song 等人從空間維度上來解耦目標(biāo)檢測(cè)中的分類和回歸失衡問題,作者證明分類和回歸存在空間維度上的不對(duì)齊問題。即兩個(gè)任務(wù)在特征學(xué)習(xí)時(shí)關(guān)注的點(diǎn)是不一樣的,某些顯著區(qū)域的特征可能具有豐富的分類信息,而邊界附近的特征更有利于位置回歸。TSD(task-aware spatial disentanglement)的出現(xiàn)為它們生成兩個(gè)通過共享估計(jì)得到的解耦Proposal,將它們與空間維度解耦。實(shí)驗(yàn)表明,TSD 使COCO和谷歌Open-Image 上的所有主骨架和模型一致地增加約0.03 的mAP。

    2021 年YOLO 系列提出一個(gè)無錨框的高性能目標(biāo)檢測(cè)器YOLOX,參考雙階段中的Double-Head RCNN 和TSD 中的思想用解耦頭替換YOLO 的耦合檢測(cè)頭。實(shí)驗(yàn)結(jié)果如表5 所示,在速度增加的情況下,AP 精度提高0.8~2.9 個(gè)百分點(diǎn)。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)較輕時(shí),YOLOX-S 相較于YOLOv5-S 提升了2.9 個(gè)百分點(diǎn),隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深和擴(kuò)寬,AP 增長(zhǎng)逐漸降低到0.8 個(gè)百分點(diǎn)。因此進(jìn)一步研究探索如何精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)成為關(guān)鍵。

    表5 YOLOX 性能對(duì)比Table 5 Performance comparison of YOLOX

    在經(jīng)典的失衡問題下,Yang 等人探索回歸失衡問題提出了DIR(delving into deep imbalanced regression),并泛化到整個(gè)目標(biāo)范圍。分別提出LDS(labeldistribution smoothing)和FDS(feature distribution smoothing),運(yùn)用目標(biāo)之間的相似性解決在computer vision、NLP 和healthcare上的回歸任務(wù)失衡。

    單階段中分類與回歸失衡問題相較于雙階段更加嚴(yán)重,單階段的分類任務(wù)和回歸任務(wù)是并行分支且共享參數(shù)導(dǎo)致兩個(gè)任務(wù)之間相互限制。TOOD(taskaligned one-stage object detection)設(shè)計(jì)T-head 增強(qiáng)分類與定位之間的相互作用,提出TAL 對(duì)兩個(gè)任務(wù)進(jìn)行顯示對(duì)齊,該方法平衡學(xué)習(xí)任務(wù)交互和任務(wù)特定功能。實(shí)驗(yàn)證明在COCO數(shù)據(jù)集上達(dá)到51.1%AP。

    RS(rank &sort)Loss的提出開辟了新的研究方向。該方案在沒有額外輔助頭的情況下對(duì)陽性樣本屬性(中心,IoU,mask-IoU)進(jìn)行優(yōu)先排序,也因此RS Loss 對(duì)目標(biāo)失衡具有魯棒性;使用無需調(diào)整的任務(wù)平衡系數(shù)來解決視覺檢測(cè)器的多任務(wù)失衡問題。因此RS Loss 是采用一種簡(jiǎn)潔高效、基于損失且無需調(diào)參的啟發(fā)式算法來平衡多任務(wù)中的失衡問題。

    3.5 方案總結(jié)

    本節(jié)系統(tǒng)總結(jié)分析應(yīng)用深度學(xué)習(xí)的目標(biāo)檢測(cè)算法針對(duì)失衡問題提出的優(yōu)化策略。

    數(shù)據(jù)失衡問題主要改進(jìn)思路是從采樣的角度優(yōu)化失衡問題,優(yōu)勢(shì)是直接且高效,局限性表現(xiàn)在內(nèi)存和時(shí)間成本上。從表6~表8 可以得出以下結(jié)論:

    表6 前景/背景&前景/前景失衡優(yōu)化策略總結(jié)Table 6 Summary of foreground/background&foreground/foreground imbalance optimization strategy

    表7 類別標(biāo)簽失衡優(yōu)化策略總結(jié)Table 7 Summary of category label imbalance optimization strategy

    表8 長(zhǎng)尾數(shù)據(jù)失衡優(yōu)化策略總結(jié)Table 8 Summary of long-tail data imbalance optimization strategy

    (1)前景/背景失衡的優(yōu)化方案在早期主要采用硬采樣,核心思想是設(shè)置固定數(shù)量或者比例的正負(fù)樣本優(yōu)化失衡問題,優(yōu)勢(shì)是啟發(fā)式抽樣提高算法精度,局限性主要表現(xiàn)在時(shí)間成本上。軟采樣方案的核心思想是通過對(duì)訓(xùn)練過程的相對(duì)權(quán)重來設(shè)定樣本損失權(quán)重,優(yōu)勢(shì)是訓(xùn)練更高效,局限性表現(xiàn)在泛化性上。無采樣方法的核心思想是引入新的分支,根據(jù)前一批樣本預(yù)測(cè)后一批樣本的權(quán)重。優(yōu)勢(shì)是分類問題轉(zhuǎn)化為排序問題更精確,局限性表現(xiàn)為超參數(shù)過量。近期出現(xiàn)的生成式方案主要是基于GAN 的生成器和判別器組成的一系列方法,優(yōu)勢(shì)是提高召回率,局限性表現(xiàn)在訓(xùn)練時(shí)間上。

    (2)前景/前景問題的優(yōu)化主要是針對(duì)數(shù)據(jù)集失衡和每個(gè)批次內(nèi)的類別失衡問題?;跀?shù)據(jù)集的失衡代表作是pRoI Generator,生成新的圖像和類別進(jìn)行優(yōu)化;基于批次內(nèi)的類別失衡優(yōu)化思路是提升捕捉類間關(guān)系實(shí)現(xiàn)不同樣本之間的協(xié)作關(guān)系,使得樣本之間達(dá)到平衡如Batch Former。綜合評(píng)價(jià)兩種改進(jìn)方向各有優(yōu)缺點(diǎn),并且探索樣本關(guān)系會(huì)一直是優(yōu)化前景/前景失衡的熱門話題。

    (3)類別標(biāo)簽失衡的優(yōu)化策略中重采樣方法是具有優(yōu)勢(shì)的,因?yàn)樗撾x于分類器且不需要任何特定的多標(biāo)簽分類器來預(yù)處理MLD。但標(biāo)簽之間失衡的差異以及標(biāo)簽之間的高并發(fā)會(huì)直接影響重采樣結(jié)果。因此在低并發(fā)的情況下是最有優(yōu)勢(shì)的策略。分類器自適應(yīng)是依賴分類器進(jìn)行優(yōu)化的策略,優(yōu)勢(shì)是直接從數(shù)據(jù)集的分布中學(xué)習(xí)且自適應(yīng)輸出結(jié)果。但由于分類器是根據(jù)實(shí)驗(yàn)環(huán)境設(shè)計(jì)則很難在不同的環(huán)境中適用。集成方法的創(chuàng)新點(diǎn)在于集合幾個(gè)基本模型的優(yōu)點(diǎn)來產(chǎn)生一個(gè)最優(yōu)的預(yù)測(cè)模型,可以完成多樣化的多標(biāo)簽預(yù)測(cè),異構(gòu)集成突破了同時(shí)解決樣本失衡和標(biāo)簽相關(guān)性的問題,然而該方案存在計(jì)算復(fù)雜性問題。

    (4)長(zhǎng)尾數(shù)據(jù)失衡的優(yōu)化方案中類-再平衡方法相對(duì)簡(jiǎn)單,卻取得很好的效果。但該方法是以犧牲頭類性能為代價(jià)來改善尾類性能。雖然整體性能有所提高,卻無法從本質(zhì)上解決缺少信息的問題。為了解決這一局限性,提出對(duì)所有類進(jìn)行信息擴(kuò)充,即信息增益。信息增益的代表方案是數(shù)據(jù)增強(qiáng),一種運(yùn)用類條件統(tǒng)計(jì)量來優(yōu)化失衡問題的方案。該方案可以保證在不犧牲頭部信息的條件下提高尾部性能。然而,簡(jiǎn)單地使用現(xiàn)有的與類無關(guān)的增強(qiáng)技術(shù)來改進(jìn)長(zhǎng)尾學(xué)習(xí)是不利的,因?yàn)轭^部類有更多的樣本會(huì)被更多地增強(qiáng),存在進(jìn)一步增加失衡的風(fēng)險(xiǎn)。模型改進(jìn)方案中解耦訓(xùn)練越來越受到關(guān)注。該方法在類-再平衡分類器學(xué)習(xí)的第二階段不引入大量計(jì)算開銷,卻帶來顯著的性能提升。解耦訓(xùn)練的思想在概念上很簡(jiǎn)單,易于設(shè)計(jì)解決各種長(zhǎng)尾學(xué)習(xí)問題的新方法,但同時(shí)也伴隨著訓(xùn)練時(shí)間的問題。

    尺度失衡問題的核心改進(jìn)思路是提升多尺度目標(biāo)的檢測(cè)效果,優(yōu)勢(shì)是實(shí)現(xiàn)多尺度目標(biāo)檢測(cè)性能,局限性表現(xiàn)在網(wǎng)絡(luò)結(jié)構(gòu)加深。表9 可以總結(jié)為:(1)目標(biāo)實(shí)例/邊界框失衡的優(yōu)化策略主要是基于特征層的優(yōu)化思路,從主干特征層次到圖像與金字塔的結(jié)合是不斷改進(jìn)的過程,性能也在不斷提升,但更進(jìn)一步的模型改進(jìn)遇到了瓶頸。(2)針對(duì)特征失衡問題的優(yōu)化方案主要是基于FPN 的改進(jìn)過程,如Libra FPN、Multi-level FPN、NAS-FPN 和GraphFPN,雖然該系列的改進(jìn)取得顯著效果,卻在時(shí)間上有一定的局限性。當(dāng)然也有PANet、ThunderNet、SSD、STDN 和Objectness Prior 等方案的進(jìn)一步優(yōu)化提升。主要研究趨勢(shì)是克服時(shí)間和空間問題。

    表9 尺度失衡優(yōu)化策略總結(jié)Table 9 Summary of scale imbalance optimization strategy

    相對(duì)空間失衡問題的改進(jìn)思路分為回歸和目標(biāo)兩類。表10 可以總結(jié)為:(1)回歸失衡問題的改進(jìn)是基于IOU 損失函數(shù)系列,優(yōu)勢(shì)是反映預(yù)測(cè)檢測(cè)框與真實(shí)檢測(cè)框的檢測(cè)效果,局限性表現(xiàn)在收斂和退化問題上需要進(jìn)一步研究。(2)目標(biāo)失衡基于錨的方案和無錨點(diǎn)優(yōu)化?;阱^點(diǎn)的優(yōu)勢(shì)是獲得更精細(xì)的目標(biāo)檢測(cè)框,提高定位準(zhǔn)確率;局限性是存儲(chǔ)空間需求大和網(wǎng)絡(luò)量較大影響檢測(cè)速度。無錨點(diǎn)的方案優(yōu)勢(shì)是減少超參數(shù),泛化能力強(qiáng);局限性表現(xiàn)在檢測(cè)精度偏低。因此提取更有價(jià)值的錨點(diǎn)成為研究熱點(diǎn)。

    表10 相對(duì)空間失衡優(yōu)化策略總結(jié)Table 10 Summary of relative spatial imbalance optimization strategy

    分類與回歸失衡的優(yōu)化算法分為解耦和不解耦兩個(gè)方向。如表11 所示優(yōu)化方案主要在于如何設(shè)置權(quán)重來保持分類與回歸平衡,如IoU-Net。此類方案是以一種控制的方式優(yōu)化失衡,分類與回歸失衡依然存在于每一個(gè)空間點(diǎn)。因此出現(xiàn)了新的研究方向在空間上對(duì)頭部進(jìn)行解耦來優(yōu)化失衡問題,如Double-Head RCNN、TSD、TOOD 和YOLOX。這些優(yōu)化方案都是運(yùn)用解耦的思想使分類與回歸達(dá)到時(shí)間或者空間上的平衡,但是網(wǎng)絡(luò)模型在不斷地?cái)U(kuò)寬,雖然失衡得到控制,性能有所提升,卻導(dǎo)致訓(xùn)練和檢測(cè)速度降低,難以滿足端側(cè)實(shí)時(shí)檢測(cè)的要求,因此分類與回歸失衡依然是一個(gè)有待解決的問題。

    表11 分類與回歸失衡優(yōu)化策略總結(jié)Table 11 Summary of classification and regression imbalance optimization strategy

    4 未來展望

    隨著特征提取網(wǎng)絡(luò)的深入、優(yōu)化和更新,目標(biāo)檢測(cè)的算法精度在逐步提升,但是依然存在待解決的問題。本文針對(duì)在深度學(xué)習(xí)系統(tǒng)中出現(xiàn)的目標(biāo)失衡問題開展了一系列的優(yōu)化策略總結(jié),但隨著應(yīng)用環(huán)境和目標(biāo)對(duì)象的多元化,檢測(cè)難度越來越大。目標(biāo)檢測(cè)失衡問題也仍需解決,以下列出幾個(gè)未來面臨的主要挑戰(zhàn):

    (1)抽象特征層語義提取方式。較高層次的特征包括對(duì)象或者部分對(duì)象的高級(jí)語義相對(duì)低層次的信息(邊緣、輪廓等)更難提取。例如一只熊貓頭的圖片高層語義特征只顯示一張臉的輪廓。目前的解決方案大多采用特征融合(FPN、HRNet),但會(huì)引入高低層特征信息不對(duì)等和高低層特征之間在空間上存在不對(duì)齊的問題。因此設(shè)計(jì)可行的特征篩選機(jī)制和利用圖像的幀來對(duì)齊高低層特征或許可以提高高層語義的利用率。

    (2)分析異常值和不變量對(duì)回歸損失函數(shù)的影響。目前關(guān)于損失函數(shù)的研究方法中研究者根據(jù)具體問題描述損失函數(shù)的結(jié)果。例如,AP Loss 損失的計(jì)算是基于所有BBs 的置信度得分的單個(gè)示例的排名,因此損失是由整個(gè)集合得到而不是單個(gè)示例,卻因單個(gè)或者個(gè)別異常值降低模型整體性能。因此是否可以借鑒LSTM 中“過濾門”的思想減小異常值和不變量引導(dǎo)整體的性能。

    (3)剖析損失函數(shù)失衡問題,損失函數(shù)在深度學(xué)習(xí)目標(biāo)檢測(cè)中直接反映一個(gè)模型的性能。然而目前的研究都在優(yōu)化損失失衡,未考慮失衡原因?;诰嚯x度量的損失函數(shù)和基于概率分布計(jì)算的損失函數(shù)失衡的誘因不同。是否可以采用對(duì)抗訓(xùn)練的方式引入重構(gòu)損失和分類損失對(duì)失衡問題引入額外約束探索此類問題。

    (4)Anchors 相似性對(duì)失衡問題的影響,單階段目標(biāo)檢測(cè)器的顯著效果依賴于大量的錨,因此數(shù)據(jù)失衡問題在單階段檢測(cè)器中異常突出。Anchors 之間的相似性關(guān)系是否可以通過Anchor based 和Anchor free融合解決此類問題有待研究。

    (5)量化與評(píng)估失衡問題,失衡問題發(fā)生在深度學(xué)習(xí)目標(biāo)檢測(cè)的每個(gè)環(huán)節(jié)。但在多樣化的應(yīng)用場(chǎng)景下如何量化失衡問題并且建模一個(gè)具有魯棒性的評(píng)估模型將會(huì)是一個(gè)研究趨勢(shì)。今后可以綜合準(zhǔn)確度、精度、召回率和平均精度等的計(jì)算方法評(píng)估每個(gè)環(huán)節(jié)的平衡度結(jié)果供研究人員參考。

    目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)性研究,受到了很多學(xué)者的關(guān)注,近年來也取得了較大進(jìn)展。本文從不同角度指出應(yīng)用深度學(xué)習(xí)的通用目標(biāo)檢測(cè)算法中存在的失衡問題并總結(jié)目前的優(yōu)化策略。未來,深度學(xué)習(xí)中的目標(biāo)檢測(cè)領(lǐng)域仍有許多問題需要解決,目標(biāo)檢測(cè)與各個(gè)領(lǐng)域的結(jié)合不斷推動(dòng)未來發(fā)展。

    5 結(jié)束語

    由于深度學(xué)習(xí)算法及其應(yīng)用場(chǎng)景的多元化,檢測(cè)失衡的問題也會(huì)隨之有所差異,本著解決問題的角度,本文綜述了目前一些具有代表性的優(yōu)化策略。未來隨著加速器以及應(yīng)用場(chǎng)景的變化,相信此類問題會(huì)提出更好的優(yōu)化方案。

    猜你喜歡
    分類特征優(yōu)化
    超限高層建筑結(jié)構(gòu)設(shè)計(jì)與優(yōu)化思考
    民用建筑防煙排煙設(shè)計(jì)優(yōu)化探討
    關(guān)于優(yōu)化消防安全告知承諾的一些思考
    分類算一算
    一道優(yōu)化題的幾何解法
    如何表達(dá)“特征”
    不忠誠的四個(gè)特征
    分類討論求坐標(biāo)
    數(shù)據(jù)分析中的分類討論
    教你一招:數(shù)的分類
    日韩av在线大香蕉| 日韩欧美一区二区三区在线观看| 午夜两性在线视频| ponron亚洲| 此物有八面人人有两片| 久久久精品大字幕| 日韩有码中文字幕| 日本a在线网址| 色播亚洲综合网| 91麻豆精品激情在线观看国产| 人人妻人人澡欧美一区二区| 国产极品精品免费视频能看的| 悠悠久久av| 97碰自拍视频| 日韩欧美国产一区二区入口| 天堂动漫精品| 国产成人影院久久av| 首页视频小说图片口味搜索| 天堂网av新在线| 久久久久久久久免费视频了| 久99久视频精品免费| 岛国在线免费视频观看| 久久久久久久久久黄片| 少妇人妻一区二区三区视频| 亚洲成人中文字幕在线播放| 国产伦在线观看视频一区| 国产人伦9x9x在线观看| 啦啦啦韩国在线观看视频| 首页视频小说图片口味搜索| 久久精品国产99精品国产亚洲性色| 97超级碰碰碰精品色视频在线观看| 一边摸一边抽搐一进一小说| 在线观看午夜福利视频| 日韩高清综合在线| 黄色片一级片一级黄色片| 国产成人啪精品午夜网站| 天堂网av新在线| 国产精品99久久久久久久久| 久久久久亚洲av毛片大全| 久久久水蜜桃国产精品网| 久久性视频一级片| 久久午夜综合久久蜜桃| 网址你懂的国产日韩在线| 波多野结衣高清无吗| 女生性感内裤真人,穿戴方法视频| 香蕉国产在线看| 国产综合懂色| 又紧又爽又黄一区二区| 亚洲片人在线观看| 狠狠狠狠99中文字幕| 欧美黄色淫秽网站| 搡老熟女国产l中国老女人| 国产男靠女视频免费网站| 亚洲狠狠婷婷综合久久图片| 国内精品久久久久久久电影| 少妇的逼水好多| 999久久久国产精品视频| 哪里可以看免费的av片| 亚洲色图 男人天堂 中文字幕| 亚洲在线观看片| 亚洲中文字幕一区二区三区有码在线看 | 国语自产精品视频在线第100页| 国产一区在线观看成人免费| 日本a在线网址| 婷婷丁香在线五月| 欧美精品啪啪一区二区三区| 巨乳人妻的诱惑在线观看| 日本免费a在线| 99精品欧美一区二区三区四区| 麻豆av在线久日| 中文字幕最新亚洲高清| 小说图片视频综合网站| 一进一出好大好爽视频| 日韩高清综合在线| 国产aⅴ精品一区二区三区波| 国产视频一区二区在线看| 1024香蕉在线观看| 国产精华一区二区三区| xxx96com| 亚洲一区二区三区色噜噜| 亚洲精品粉嫩美女一区| 99久久国产精品久久久| 国产亚洲精品综合一区在线观看| 国产av在哪里看| 香蕉丝袜av| 亚洲欧美精品综合久久99| 成人国产综合亚洲| 丰满的人妻完整版| www.www免费av| 精品一区二区三区av网在线观看| 999精品在线视频| 亚洲熟妇熟女久久| 日韩有码中文字幕| 欧美日本视频| 美女大奶头视频| 久久久久久久精品吃奶| 国产激情久久老熟女| 亚洲欧美精品综合一区二区三区| 91麻豆精品激情在线观看国产| 国产精华一区二区三区| 一级毛片女人18水好多| 男人舔女人的私密视频| 黄色视频,在线免费观看| 欧美黄色淫秽网站| 欧美激情久久久久久爽电影| 99久久精品热视频| 18禁裸乳无遮挡免费网站照片| 久久国产精品人妻蜜桃| 免费在线观看影片大全网站| 视频区欧美日本亚洲| 日本黄色片子视频| 在线十欧美十亚洲十日本专区| avwww免费| 高清毛片免费观看视频网站| 夜夜躁狠狠躁天天躁| 精品电影一区二区在线| 噜噜噜噜噜久久久久久91| 欧美3d第一页| 日韩精品中文字幕看吧| 久久久成人免费电影| 男人的好看免费观看在线视频| 免费观看精品视频网站| 男人舔女人的私密视频| 精品国产乱码久久久久久男人| 成人亚洲精品av一区二区| av天堂中文字幕网| 国产精品一区二区三区四区久久| 国产美女午夜福利| 久久精品亚洲精品国产色婷小说| av欧美777| 午夜免费激情av| 99精品在免费线老司机午夜| 99久久久亚洲精品蜜臀av| 久久久久久大精品| 99久国产av精品| 在线a可以看的网站| 亚洲18禁久久av| 亚洲人与动物交配视频| 免费在线观看视频国产中文字幕亚洲| 少妇丰满av| 日韩高清综合在线| 国产1区2区3区精品| 人人妻人人澡欧美一区二区| 久久亚洲真实| 国产精品一区二区免费欧美| ponron亚洲| 观看美女的网站| 欧美国产日韩亚洲一区| 黄色 视频免费看| 俄罗斯特黄特色一大片| 一卡2卡三卡四卡精品乱码亚洲| 18美女黄网站色大片免费观看| 非洲黑人性xxxx精品又粗又长| 国产午夜精品论理片| 久久亚洲精品不卡| 久久久色成人| 亚洲av片天天在线观看| 午夜福利欧美成人| 午夜免费激情av| 人人妻人人看人人澡| av国产免费在线观看| 一本久久中文字幕| 99国产精品99久久久久| 91av网一区二区| 性色avwww在线观看| 看免费av毛片| 午夜影院日韩av| 这个男人来自地球电影免费观看| 成人欧美大片| 少妇人妻一区二区三区视频| 99riav亚洲国产免费| 国产欧美日韩精品一区二区| 在线视频色国产色| 一边摸一边抽搐一进一小说| 国产激情偷乱视频一区二区| 97人妻精品一区二区三区麻豆| 一边摸一边抽搐一进一小说| 波多野结衣巨乳人妻| 五月伊人婷婷丁香| 成年人黄色毛片网站| 搡老熟女国产l中国老女人| 国产精品久久久人人做人人爽| 亚洲成人久久爱视频| 少妇熟女aⅴ在线视频| 国产成年人精品一区二区| xxxwww97欧美| 在线a可以看的网站| 久久精品综合一区二区三区| 午夜福利成人在线免费观看| 日本黄大片高清| 99国产综合亚洲精品| 丰满人妻熟妇乱又伦精品不卡| 久久久久久九九精品二区国产| 亚洲av第一区精品v没综合| 黑人欧美特级aaaaaa片| av中文乱码字幕在线| 久久天躁狠狠躁夜夜2o2o| 99久久精品一区二区三区| 日韩 欧美 亚洲 中文字幕| 欧美乱妇无乱码| 亚洲一区二区三区不卡视频| 国产伦精品一区二区三区视频9 | 国内精品久久久久久久电影| 亚洲专区国产一区二区| 他把我摸到了高潮在线观看| 亚洲人与动物交配视频| h日本视频在线播放| 琪琪午夜伦伦电影理论片6080| 国产精品久久电影中文字幕| 男人舔女人的私密视频| 中亚洲国语对白在线视频| 亚洲中文日韩欧美视频| 亚洲美女视频黄频| 在线免费观看不下载黄p国产 | 丝袜人妻中文字幕| 久久精品国产综合久久久| 一进一出好大好爽视频| 国产日本99.免费观看| 在线观看66精品国产| 综合色av麻豆| 国产高清videossex| 亚洲精品在线观看二区| 俺也久久电影网| 亚洲自偷自拍图片 自拍| 亚洲国产欧洲综合997久久,| 色综合欧美亚洲国产小说| 三级国产精品欧美在线观看 | 国产黄片美女视频| 女生性感内裤真人,穿戴方法视频| 国产成人啪精品午夜网站| 伊人久久大香线蕉亚洲五| 亚洲五月天丁香| 99久久99久久久精品蜜桃| 国产精品免费一区二区三区在线| 午夜激情欧美在线| 少妇的逼水好多| 日韩欧美 国产精品| 午夜两性在线视频| 免费在线观看影片大全网站| 视频区欧美日本亚洲| 精品午夜福利视频在线观看一区| 黄色 视频免费看| 欧美成人性av电影在线观看| 美女扒开内裤让男人捅视频| 色综合婷婷激情| 日韩欧美国产一区二区入口| 91av网站免费观看| 中文字幕最新亚洲高清| 久久久久久人人人人人| 欧美性猛交黑人性爽| 久久久久性生活片| 国产免费男女视频| 久久久久久久久久黄片| 国产成人av教育| 欧美日韩瑟瑟在线播放| 亚洲激情在线av| 一级作爱视频免费观看| 中文资源天堂在线| 国产高清激情床上av| 免费观看人在逋| 亚洲欧美激情综合另类| 国产免费男女视频| 男女做爰动态图高潮gif福利片| 日本一二三区视频观看| 小蜜桃在线观看免费完整版高清| 天天躁狠狠躁夜夜躁狠狠躁| 老鸭窝网址在线观看| 黑人欧美特级aaaaaa片| 日韩人妻高清精品专区| 国产黄色小视频在线观看| 国产久久久一区二区三区| 日韩精品青青久久久久久| av视频在线观看入口| 伦理电影免费视频| 黄色 视频免费看| 性色av乱码一区二区三区2| 久久久久国产一级毛片高清牌| 小说图片视频综合网站| 亚洲av免费在线观看| 天天添夜夜摸| 国产黄色小视频在线观看| 日本撒尿小便嘘嘘汇集6| 国产成人精品久久二区二区免费| 亚洲精品一卡2卡三卡4卡5卡| 国产一区二区在线观看日韩 | 男女下面进入的视频免费午夜| 久久久久国内视频| 成人一区二区视频在线观看| av天堂在线播放| 亚洲精华国产精华精| 国产精品电影一区二区三区| 亚洲国产精品sss在线观看| 色综合站精品国产| 亚洲18禁久久av| 亚洲精品粉嫩美女一区| 亚洲欧美激情综合另类| 欧美不卡视频在线免费观看| 久久天堂一区二区三区四区| 操出白浆在线播放| 国产成+人综合+亚洲专区| 国产精品久久久久久精品电影| 精品一区二区三区视频在线 | 国产久久久一区二区三区| 久久精品91蜜桃| 听说在线观看完整版免费高清| www.精华液| 国产av在哪里看| 免费看美女性在线毛片视频| 日韩欧美国产在线观看| 一个人看的www免费观看视频| 老汉色av国产亚洲站长工具| 欧美丝袜亚洲另类 | 亚洲成人免费电影在线观看| 久久久久久国产a免费观看| 99久久综合精品五月天人人| 中文亚洲av片在线观看爽| a级毛片a级免费在线| 蜜桃久久精品国产亚洲av| 国产一区二区三区视频了| 露出奶头的视频| 国产激情久久老熟女| 99久久久亚洲精品蜜臀av| 精品免费久久久久久久清纯| 午夜久久久久精精品| 国产三级中文精品| 欧美黑人巨大hd| 国产激情欧美一区二区| 午夜福利欧美成人| 99精品久久久久人妻精品| 变态另类成人亚洲欧美熟女| 国产精品日韩av在线免费观看| 欧洲精品卡2卡3卡4卡5卡区| 成人三级黄色视频| av片东京热男人的天堂| 99国产极品粉嫩在线观看| 黄色片一级片一级黄色片| 国产高清视频在线播放一区| 国产淫片久久久久久久久 | 国产激情欧美一区二区| www.999成人在线观看| 日本一本二区三区精品| 国产欧美日韩一区二区三| 亚洲男人的天堂狠狠| 精华霜和精华液先用哪个| 欧美中文日本在线观看视频| 亚洲精品一区av在线观看| x7x7x7水蜜桃| 波多野结衣高清无吗| 国产成人av教育| 好男人电影高清在线观看| 在线观看日韩欧美| 每晚都被弄得嗷嗷叫到高潮| 麻豆成人午夜福利视频| 黄色 视频免费看| 亚洲欧美日韩高清专用| 1000部很黄的大片| 国产欧美日韩一区二区精品| 不卡一级毛片| 两性夫妻黄色片| 全区人妻精品视频| 免费观看的影片在线观看| 亚洲国产高清在线一区二区三| a在线观看视频网站| 亚洲人成网站在线播放欧美日韩| 久久天躁狠狠躁夜夜2o2o| 老司机在亚洲福利影院| 午夜亚洲福利在线播放| 91老司机精品| 亚洲美女视频黄频| 久久这里只有精品19| 精品久久久久久成人av| 麻豆国产av国片精品| 国产激情久久老熟女| 日本黄大片高清| 国产一区二区三区在线臀色熟女| xxx96com| 在线视频色国产色| 中国美女看黄片| 波多野结衣巨乳人妻| 宅男免费午夜| 国产激情久久老熟女| 最好的美女福利视频网| 最近在线观看免费完整版| 老熟妇乱子伦视频在线观看| 国产精品自产拍在线观看55亚洲| 欧美最黄视频在线播放免费| 国产高清视频在线观看网站| 亚洲精品乱码久久久v下载方式 | 精品人妻1区二区| 欧美日韩福利视频一区二区| 国产乱人伦免费视频| 欧美一区二区国产精品久久精品| 午夜福利成人在线免费观看| av中文乱码字幕在线| 桃红色精品国产亚洲av| 黑人操中国人逼视频| 亚洲国产欧洲综合997久久,| 欧美国产日韩亚洲一区| 丁香欧美五月| 在线看三级毛片| 好男人电影高清在线观看| 这个男人来自地球电影免费观看| 怎么达到女性高潮| www日本黄色视频网| bbb黄色大片| 久久香蕉精品热| 国产成人精品无人区| 久久久久免费精品人妻一区二区| 午夜福利免费观看在线| 天堂网av新在线| 亚洲国产精品999在线| 欧美成狂野欧美在线观看| 国产亚洲精品一区二区www| 99re在线观看精品视频| 国产精品亚洲av一区麻豆| 亚洲人成网站在线播放欧美日韩| 精品久久久久久久毛片微露脸| 国产v大片淫在线免费观看| 又粗又爽又猛毛片免费看| 免费大片18禁| 国产久久久一区二区三区| 亚洲精品在线观看二区| 久久亚洲真实| 9191精品国产免费久久| 天堂动漫精品| 亚洲天堂国产精品一区在线| 国产又色又爽无遮挡免费看| 99riav亚洲国产免费| 亚洲在线观看片| 国产乱人视频| 欧美日韩一级在线毛片| 久久久久国产精品人妻aⅴ院| 女生性感内裤真人,穿戴方法视频| 99热6这里只有精品| av在线蜜桃| 最近最新中文字幕大全免费视频| 欧美一级a爱片免费观看看| 日本 av在线| 99久国产av精品| ponron亚洲| 性色avwww在线观看| 老熟妇乱子伦视频在线观看| 中文字幕人妻丝袜一区二区| av片东京热男人的天堂| 身体一侧抽搐| 露出奶头的视频| 国产精品 欧美亚洲| 国产高潮美女av| 99热只有精品国产| 国产v大片淫在线免费观看| 亚洲av成人不卡在线观看播放网| 成年人黄色毛片网站| 午夜日韩欧美国产| 久久久国产欧美日韩av| 嫁个100分男人电影在线观看| 亚洲va日本ⅴa欧美va伊人久久| 日韩高清综合在线| 久久午夜综合久久蜜桃| 国内揄拍国产精品人妻在线| 色综合欧美亚洲国产小说| 村上凉子中文字幕在线| 一进一出抽搐动态| 久久香蕉精品热| 国产高清有码在线观看视频| 好看av亚洲va欧美ⅴa在| 中文字幕熟女人妻在线| 中文资源天堂在线| 视频区欧美日本亚洲| 啦啦啦观看免费观看视频高清| 国产精品免费一区二区三区在线| 中文字幕最新亚洲高清| 国产主播在线观看一区二区| 久久久久国产一级毛片高清牌| 日韩 欧美 亚洲 中文字幕| 免费在线观看成人毛片| 日本黄大片高清| www.www免费av| 亚洲欧美精品综合一区二区三区| 久久亚洲真实| 一级黄色大片毛片| 亚洲av第一区精品v没综合| 国产亚洲精品av在线| 88av欧美| 九色国产91popny在线| 亚洲真实伦在线观看| 久久九九热精品免费| 曰老女人黄片| 亚洲欧美一区二区三区黑人| 免费在线观看视频国产中文字幕亚洲| 久久久久久久午夜电影| 久久久精品大字幕| 免费av毛片视频| 久久久国产成人精品二区| www.自偷自拍.com| 成年免费大片在线观看| 美女大奶头视频| 一进一出抽搐动态| 亚洲自偷自拍图片 自拍| 综合色av麻豆| 精品久久久久久久人妻蜜臀av| 午夜免费观看网址| 法律面前人人平等表现在哪些方面| avwww免费| 国产精品久久电影中文字幕| 国产真人三级小视频在线观看| 久久这里只有精品19| 91字幕亚洲| 日韩有码中文字幕| 亚洲国产高清在线一区二区三| 国产精品久久久久久人妻精品电影| 亚洲中文日韩欧美视频| 久久中文字幕人妻熟女| 国产亚洲精品av在线| 亚洲av日韩精品久久久久久密| 99精品在免费线老司机午夜| 一二三四社区在线视频社区8| 淫妇啪啪啪对白视频| www.999成人在线观看| 波多野结衣巨乳人妻| 亚洲,欧美精品.| 两个人看的免费小视频| 免费电影在线观看免费观看| 久久国产精品人妻蜜桃| 91麻豆精品激情在线观看国产| 法律面前人人平等表现在哪些方面| 久久精品aⅴ一区二区三区四区| 欧美中文综合在线视频| 国产精品久久久人人做人人爽| 高潮久久久久久久久久久不卡| 久久精品综合一区二区三区| 精品久久久久久久人妻蜜臀av| 长腿黑丝高跟| 国产aⅴ精品一区二区三区波| 亚洲,欧美精品.| 午夜精品一区二区三区免费看| 国产欧美日韩精品亚洲av| 久久伊人香网站| 美女黄网站色视频| 国产成人av激情在线播放| 国产精品免费一区二区三区在线| 两个人看的免费小视频| 国产精品日韩av在线免费观看| 国产亚洲精品综合一区在线观看| 成在线人永久免费视频| netflix在线观看网站| 天天添夜夜摸| 好看av亚洲va欧美ⅴa在| 噜噜噜噜噜久久久久久91| 成人18禁在线播放| 91av网一区二区| 欧美乱妇无乱码| www.自偷自拍.com| 国产单亲对白刺激| www日本黄色视频网| 精品久久久久久成人av| 18禁黄网站禁片免费观看直播| 国产视频内射| 国产视频一区二区在线看| 午夜免费激情av| 麻豆久久精品国产亚洲av| 真人一进一出gif抽搐免费| 成年女人看的毛片在线观看| av女优亚洲男人天堂 | 听说在线观看完整版免费高清| 亚洲成av人片在线播放无| 我要搜黄色片| 一个人看视频在线观看www免费 | 午夜福利视频1000在线观看| 精品电影一区二区在线| 非洲黑人性xxxx精品又粗又长| 999久久久国产精品视频| 亚洲人成电影免费在线| 99国产极品粉嫩在线观看| 久久草成人影院| 99久久精品热视频| 99热这里只有是精品50| 国产精品九九99| 欧美日韩国产亚洲二区| 99国产精品一区二区蜜桃av| 成年女人看的毛片在线观看| xxxwww97欧美| 丰满的人妻完整版| 亚洲中文日韩欧美视频| 日韩av在线大香蕉| 一区二区三区高清视频在线| 欧美3d第一页| 精品乱码久久久久久99久播| 窝窝影院91人妻| а√天堂www在线а√下载| 国产午夜福利久久久久久| 两人在一起打扑克的视频| 99久久精品热视频| 小蜜桃在线观看免费完整版高清| cao死你这个sao货| 国产精品综合久久久久久久免费| 精品午夜福利视频在线观看一区| 国产精品一区二区三区四区久久| 国产成+人综合+亚洲专区| 高清毛片免费观看视频网站| 欧美又色又爽又黄视频| 日韩欧美在线二视频| 琪琪午夜伦伦电影理论片6080| 亚洲av五月六月丁香网| av女优亚洲男人天堂 | 国内久久婷婷六月综合欲色啪| 日韩三级视频一区二区三区| 岛国在线观看网站| 亚洲成av人片免费观看| 亚洲中文字幕一区二区三区有码在线看 | 亚洲精品456在线播放app | 综合色av麻豆| 欧美激情久久久久久爽电影| 性色avwww在线观看| 婷婷精品国产亚洲av在线| 国产久久久一区二区三区|