• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于自監(jiān)督學(xué)習(xí)的輸電線路螺栓螺母異常檢測技術(shù)

    2023-06-02 06:32:46楊景崳劉曉華孫忠慧張治國劉文超王沐東付思詩
    計(jì)算機(jī)測量與控制 2023年5期
    關(guān)鍵詞:監(jiān)督檢測模型

    楊景崳,辛 巍,劉 全,劉曉華,孫忠慧,張治國,劉文超,王沐東,付思詩

    (1.國網(wǎng)湖北省電力有限公司 超高壓公司,武漢 430050;2.浙江大學(xué) 濱江研究院,杭州 310000)

    0 引言

    電力供應(yīng)是生產(chǎn)生活的重要保障。我國輸電線線路眾多,覆蓋廣泛,因此基層巡檢、運(yùn)維成本都面臨著極大的挑戰(zhàn),迫切需要一種自動(dòng)化與智能化檢測技術(shù)來改變這一現(xiàn)狀[1-2]。近年來,越來越多的研究嘗試將人工智能應(yīng)用于電力設(shè)備的運(yùn)維以期達(dá)到高通量檢測、自動(dòng)化篩選故障點(diǎn)用以提高檢測效率、降低運(yùn)維成本[3]。主要使用計(jì)算機(jī)視覺算法來分析輸電線路航拍圖像,以識(shí)別圖像中關(guān)鍵部件的缺陷類型并進(jìn)行準(zhǔn)確定位作為目標(biāo)。目前,如何對(duì)輸電線路關(guān)鍵部件視覺缺陷進(jìn)行準(zhǔn)確檢測仍是關(guān)鍵問題之一[4-5]。其中,在輸電線路中用于固定、連接的螺栓部件在人為或者環(huán)境的影響下經(jīng)常會(huì)出現(xiàn)螺栓損壞故障,輕則引發(fā)輸電線路部分組件脫落的故障,重則引發(fā)重大電網(wǎng)事故[6-7],因此對(duì)輸電線路中螺栓檢測對(duì)于輸電線路運(yùn)維具有重大意義。

    輸電線路螺栓故障檢測技術(shù)主要是將計(jì)算機(jī)視覺算法做為技術(shù)基礎(chǔ),輸電線路無人機(jī)巡檢圖像作為待檢測對(duì)象,以識(shí)別圖像中螺栓缺陷目標(biāo)[8]?;谏疃葘W(xué)習(xí)的目標(biāo)檢測模型目前是處理輸電線路巡檢圖像的最優(yōu)選擇[9]。為了將深度學(xué)習(xí)模型用于輸電線路關(guān)鍵部件缺陷檢測,首先需要構(gòu)建完備的關(guān)鍵部件缺陷數(shù)據(jù)集用于訓(xùn)練和測試。在無人機(jī)將航拍圖像傳回之后,使用數(shù)據(jù)集訓(xùn)練搭建好的深度學(xué)習(xí)模型即可完成各類缺陷檢測任務(wù)[10]。

    對(duì)于輸電線路螺栓檢測方法,主要依靠無人機(jī)巡檢技術(shù)、圖像處理、深度學(xué)習(xí)的圖像識(shí)別技術(shù)實(shí)現(xiàn)螺栓檢測。檢測流程通過無人機(jī)對(duì)輸電線路巡檢,獲得輸電線路的高清圖像,再通過人工或圖像處理等方式對(duì)無人機(jī)巡檢圖像中的螺栓進(jìn)行檢查[11-14]。近幾年,隨著深度學(xué)習(xí)技術(shù)和無人機(jī)技術(shù)的快速發(fā)展。有監(jiān)督學(xué)習(xí)的目標(biāo)檢測被廣泛應(yīng)用到螺栓檢測任務(wù)中。通過SSD[15]和YOLOv3[16]目標(biāo)檢測模型對(duì)螺栓進(jìn)行有監(jiān)督學(xué)習(xí),先對(duì)關(guān)鍵掛點(diǎn)部位進(jìn)行有監(jiān)督學(xué)習(xí),再對(duì)掛點(diǎn)中的螺栓目標(biāo)進(jìn)行有監(jiān)督學(xué)習(xí),同時(shí)依靠數(shù)據(jù)增強(qiáng)方法,提高了螺栓檢測的準(zhǔn)確率。利用AdaBoost和與或圖基于Haar特征建立螺栓開口銷分類器,但是這方法對(duì)螺栓角度和亮度變化魯棒性差[17]。通過有監(jiān)督學(xué)習(xí)訓(xùn)練兩次特征金字塔分別提取可能螺栓缺失開口銷的區(qū)域和螺栓缺失開口銷的區(qū)域,再通過DBSCAN[18]對(duì)螺栓銷釘缺失進(jìn)行目標(biāo)檢測。使用基于注意機(jī)制的弱監(jiān)督螺栓檢測模型[19],提升了螺栓檢測的精度。應(yīng)用知識(shí)圖譜和知識(shí)特征融合方法提升螺栓和螺母分類任務(wù)的準(zhǔn)確率和召回率[20]。

    但是,由于目前螺栓故障檢測技術(shù)仍不能保證具有較高的識(shí)別準(zhǔn)確率,故該工作主要采用計(jì)算機(jī)視覺螺栓故障檢測技術(shù)輔助加人工復(fù)檢,人工復(fù)檢工作量仍然很大。目前在所有關(guān)于輸電線路螺栓檢測的研究主要中存在三點(diǎn)問題。第一,所有研究均使用少量的有標(biāo)簽的自建數(shù)據(jù)集進(jìn)行螺栓檢測相關(guān)任務(wù)的有監(jiān)督學(xué)習(xí)和驗(yàn)證。第二,少量的標(biāo)注數(shù)據(jù)導(dǎo)致了大量的巡檢原始數(shù)據(jù)沒有被模型學(xué)習(xí),造成了訓(xùn)練數(shù)據(jù)集資源的浪費(fèi)。第三,若對(duì)大量的原始數(shù)據(jù)進(jìn)行標(biāo)注,需要花費(fèi)極大的時(shí)間和人力成本才能完成這一項(xiàng)漫長而又艱巨的標(biāo)注任務(wù)[19]。

    針對(duì)以上輸電線路螺栓檢測有監(jiān)督學(xué)習(xí)通常依賴大量標(biāo)注數(shù)據(jù)以達(dá)到較好的性能的問題。本文采用自監(jiān)督學(xué)習(xí)方法從大量的無標(biāo)簽螺栓數(shù)據(jù)中獲取螺栓信息有很大價(jià)值。自監(jiān)督學(xué)習(xí)通過學(xué)習(xí)大量無標(biāo)簽數(shù)據(jù)的內(nèi)存在特征,SimCLR[21]和MoCo[22-24]自監(jiān)督學(xué)習(xí)通過拉大不同樣本的之間的距離實(shí)現(xiàn)和縮小同一樣本內(nèi)的距離,學(xué)習(xí)數(shù)據(jù)集的內(nèi)在特征實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)。該方法需要需要保證數(shù)據(jù)集中不同類別數(shù)據(jù)量的均衡,但是對(duì)于螺栓異常檢測負(fù)樣本是極少的。直到BYOL[25]自監(jiān)督學(xué)習(xí)方法的出現(xiàn),不再需要數(shù)據(jù)均衡,可以學(xué)習(xí)數(shù)據(jù)分布及內(nèi)在特征。該方法對(duì)于螺栓檢測樣本及不均衡的場景十分適用。最近,最先進(jìn)的自監(jiān)督學(xué)習(xí)框架DINO[26]基于BYOL方法和先進(jìn)的視覺Transformer[27]主干網(wǎng)絡(luò)在大模型預(yù)訓(xùn)練任務(wù)中展現(xiàn)出了很好的表現(xiàn)。

    本文針對(duì)數(shù)據(jù)集資源浪費(fèi)的問題,為了充分利用無標(biāo)簽的螺栓數(shù)據(jù)集資源,首次提出使用自監(jiān)督學(xué)習(xí)進(jìn)行螺栓檢測大模型預(yù)訓(xùn)練方法,并驗(yàn)證自監(jiān)督學(xué)習(xí)在螺栓檢測預(yù)訓(xùn)練的效果。首先通過有監(jiān)督學(xué)習(xí)目標(biāo)檢測方法獲得115萬張無標(biāo)簽螺栓數(shù)據(jù)。然后使用無監(jiān)督學(xué)習(xí)的方式預(yù)訓(xùn)練螺栓檢測大模型。最后通過預(yù)訓(xùn)練大模型生成螺栓注意圖,驗(yàn)證了自監(jiān)督學(xué)習(xí)在螺栓大模型預(yù)訓(xùn)練中可以學(xué)習(xí)并關(guān)注到有效的螺栓特征。

    為了驗(yàn)證預(yù)訓(xùn)練大模型在螺栓檢測任務(wù)中的效果,建立了螺栓分類任務(wù)數(shù)據(jù)集和螺栓圖像檢索數(shù)據(jù)集。通過下游任務(wù)的有監(jiān)督學(xué)習(xí),驗(yàn)證了自監(jiān)督螺栓預(yù)訓(xùn)練大模型,在螺栓分類任務(wù)和螺栓圖像檢索任務(wù)中效果優(yōu)于傳統(tǒng)的有監(jiān)督學(xué)習(xí)。

    總之,本文在螺栓檢測領(lǐng)域主要有4個(gè)方面的貢獻(xiàn):1)證明了使用大量無標(biāo)注螺栓圖像數(shù)據(jù)集的自監(jiān)督學(xué)習(xí)在輸電線路螺栓、螺母異常檢測中是有效的。2)實(shí)驗(yàn)結(jié)果表明該方法在下游螺栓狀態(tài)分類任務(wù)和螺栓圖像檢索任務(wù)中都有很好的表現(xiàn)。3)實(shí)驗(yàn)結(jié)果對(duì)比了各種計(jì)算機(jī)視覺結(jié)構(gòu),顯示了ViT在螺栓異常檢測中的優(yōu)越性,ViT-B/8在分類任務(wù)中表現(xiàn)最好,ViT-S/8在檢索任務(wù)中由于ResNet50。4)展示了模型在自監(jiān)督學(xué)習(xí)過程中學(xué)習(xí)到的螺栓特征。

    1 研究思路

    該研究根據(jù)輸電線路原始數(shù)據(jù)特點(diǎn)和自監(jiān)督學(xué)習(xí)方法對(duì)輸電線路螺栓螺母檢測方法進(jìn)行設(shè)計(jì)。首先獲取螺栓數(shù)據(jù)集,包括螺栓原始數(shù)據(jù)集、單圖無標(biāo)簽螺栓數(shù)據(jù)螺栓分類數(shù)據(jù)集、螺栓圖像檢索數(shù)據(jù)集。然后使用自監(jiān)督學(xué)習(xí)DINO訓(xùn)練螺栓預(yù)訓(xùn)練大模型。最后驗(yàn)證該算法在螺栓遷移學(xué)習(xí)和螺栓圖像檢索任務(wù)中的有效性。

    螺栓數(shù)據(jù)集獲取包括原始數(shù)據(jù)的采集,為了使自監(jiān)督模型學(xué)習(xí)到更廣泛的螺栓場景,充分利用所能獲取的輸電線路螺栓數(shù)據(jù),通過標(biāo)注少量的螺栓目標(biāo)檢測數(shù)據(jù)集,使用Yolo訓(xùn)練螺栓目標(biāo)檢測模型,用于提取單圖無標(biāo)簽螺栓數(shù)據(jù)。使用Yolo模型推理出大量單圖無標(biāo)簽螺栓數(shù)據(jù)用于自監(jiān)督學(xué)習(xí)大模型訓(xùn)練。螺栓分類數(shù)據(jù)集、螺栓圖像檢索數(shù)據(jù)集分別用于驗(yàn)證自監(jiān)督預(yù)訓(xùn)練模型在螺栓分類任務(wù)中和螺栓檢索任務(wù)的有效性。DINO是目前表現(xiàn)最好的自監(jiān)督學(xué)習(xí)方法,首次獲取無標(biāo)簽螺栓數(shù)據(jù)集在自監(jiān)督模型上訓(xùn)練螺栓預(yù)訓(xùn)練大模型。

    因此本文的研究思路是基于自監(jiān)督學(xué)習(xí)的輸電線路螺栓螺母檢測算法,實(shí)現(xiàn)螺栓檢測大模型的訓(xùn)練,并提升算法的準(zhǔn)確率。

    圖1 算法整體研究流程

    2 螺栓檢測自監(jiān)督學(xué)習(xí)算法

    2.1 螺栓數(shù)據(jù)集獲取

    2.1.1 原始數(shù)據(jù)集來源

    本文采用的原始數(shù)據(jù)集有3個(gè)來源,分別為中國電網(wǎng)公司提供的真實(shí)輸電線路無人機(jī)巡檢圖像、輸電線路人工采集圖像和輸電線路零件圖像。輸電線路無人機(jī)巡檢圖像是使用像素為2 000 W、焦距為8.8 mm、光圈為f/3.2的高清攝像機(jī)在距離輸電線路塔1.5~3 m的距離上拍攝的像素大小為547 236 48的輸電塔圖像。采用無人機(jī)定點(diǎn)巡航或人工飛行無人機(jī)進(jìn)行拍攝。每個(gè)輸電塔用固定拍攝位置,主要對(duì)地線掛點(diǎn)、絕緣子上掛點(diǎn)、絕緣子下掛點(diǎn)進(jìn)行拍攝。拍攝距離在1.5~3 m之間。輸電線路人工采集圖像是將輸電線路各部件組裝,人工制造模擬不同的螺栓狀態(tài)進(jìn)行拍攝的圖像。拍攝相機(jī)參數(shù)與無人機(jī)巡檢圖像保持一致。首先將絕緣子下掛點(diǎn)和底線掛點(diǎn)懸掛在空中,模擬實(shí)現(xiàn)螺栓狀態(tài)多種狀態(tài),包括螺栓松動(dòng)、螺栓平扣、螺栓欠扣、缺螺母等狀態(tài)。然后由人工手持無人機(jī)模擬無人機(jī)飛行。最后在一組固定點(diǎn)位進(jìn)行拍攝,點(diǎn)位分別為間隔角度為30度,和上、中、下3個(gè)視角進(jìn)行拍攝。一組螺栓圖像為36張圖像。拍攝時(shí)間包括造成、中午、傍晚,模擬了不同光照角度的信息。拍攝天氣為自然天氣,包括晴天、陰天、小雨天氣,增加了天氣對(duì)檢測數(shù)據(jù)信息。輸電線路零件圖像是將多個(gè)包含螺栓的輸電線路零部件擺放在一起進(jìn)行拍攝的圖像。拍攝方法與輸電線路人工采集圖像方法相同。

    圖2 輸電線路螺栓原始數(shù)據(jù),真實(shí)的輸電線路無人機(jī)巡檢圖像(左)、輸電線路人工采集圖像(中)、輸電線路零部件圖像(右)

    真實(shí)的輸電線路無人機(jī)巡檢圖像可以保留數(shù)據(jù)的實(shí)際應(yīng)用場景信息,輸電線路人工采集圖像和輸電線路零部件圖像通過模型不同的螺栓狀態(tài)、拍攝角度、自然環(huán)境的光照強(qiáng)度豐富了螺栓的數(shù)據(jù)信息,并添了一定的噪音,可以適當(dāng)?shù)沫h(huán)境模型學(xué)習(xí)過程的過擬合現(xiàn)象。

    從原始圖像中獲得單獨(dú)的螺栓圖像用于自監(jiān)督學(xué)習(xí),本文使用目標(biāo)檢測模型從原始數(shù)據(jù)集檢測螺栓圖像。首先通過人工標(biāo)注的方式,在原始圖像為3通道的RGB圖像i∈R3×H0×W0中使用矩形框?qū)⒙菟?biāo)注。然后訓(xùn)練一個(gè)螺栓的目標(biāo)檢測模型,本文采用Yolo[28-30]進(jìn)行訓(xùn)練。最后對(duì)原始數(shù)據(jù)進(jìn)行推理,從原始數(shù)據(jù)中裁剪出所有檢測到的螺栓。Yolo的網(wǎng)絡(luò)結(jié)構(gòu)主要由4個(gè)部分構(gòu)成,分別為輸入端、骨干網(wǎng)絡(luò) Backbone、強(qiáng)特征提取網(wǎng)絡(luò) Neck 以及預(yù)測網(wǎng)絡(luò) Prediction 這4個(gè)部分構(gòu)成。輸入端采用 Mosaic 數(shù)據(jù)增強(qiáng)方法的同時(shí),融合了 Mixup 數(shù)據(jù)增強(qiáng)方法,通過隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布、不同圖片加權(quán)融合等方式對(duì)圖片進(jìn)行拼接,豐富了數(shù)據(jù)的多樣性,可提升小目標(biāo)的檢測效果。

    bboxn=yolo(i)n=0,1,…,N

    (1)

    ib=crop(i,bboxn,ratio)

    (2)

    其中:yolo為螺栓目標(biāo)檢測模型,bboxn為識(shí)別到的螺栓框其形狀為N×4,N為識(shí)別到的螺栓數(shù)量,4為[x1,y1,x2,y2]表示識(shí)別螺栓框的坐標(biāo),x1,y1為原始圖像i的左上角坐標(biāo),x2,y2為原始圖像i的右下角坐標(biāo),crop為從圖像i裁剪螺栓方法,ratio為在1到1.1之間隨機(jī)取值的螺栓圖像坐標(biāo)放大比率。ib為無標(biāo)簽的螺栓數(shù)據(jù)集。

    2.1.2 螺栓狀態(tài)分類數(shù)據(jù)集

    螺栓狀態(tài)分類數(shù)據(jù)集用于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。螺栓的狀態(tài)由開口銷、單螺母和雙螺母的狀態(tài)組成,狀態(tài)有3種形式分別為存在、不存在、未知。通過人工識(shí)別對(duì)螺栓的狀態(tài)進(jìn)行標(biāo)注。

    2.1.3 螺栓圖像檢索數(shù)據(jù)集

    通過對(duì)輸電線路巡檢的圖像中的螺栓進(jìn)行分析,將螺栓按照不同位置和不同作用劃分為6種螺栓類型。6種螺栓分別為:塔身垂直螺栓、塔身U型螺栓、活動(dòng)件水平螺栓、活動(dòng)件垂直螺栓,地線掛點(diǎn)線夾螺栓、絕緣子下掛點(diǎn)線夾螺栓。每種類別的螺栓按照?qǐng)D片清晰度又分為清晰螺栓和模糊螺栓。

    2.2 基于DINO的自監(jiān)督模型

    2.2.1 DINO自監(jiān)督框架

    DINO自監(jiān)督學(xué)習(xí)框架是目前最先進(jìn)的自監(jiān)督學(xué)習(xí)框架,本文首次將DINO自監(jiān)督學(xué)習(xí)框架應(yīng)用輸電線路螺栓檢測任務(wù)中。DINO[31],該方式的網(wǎng)絡(luò)結(jié)構(gòu)包含兩個(gè)結(jié)構(gòu)完全相同的網(wǎng)絡(luò)結(jié)構(gòu),一個(gè)作為學(xué)生網(wǎng)絡(luò)一個(gè)作為教師網(wǎng)絡(luò)。

    圖3 DINO螺栓自監(jiān)督框架結(jié)構(gòu)圖

    知識(shí)蒸餾的學(xué)習(xí)方法通過訓(xùn)練學(xué)生網(wǎng)絡(luò)g(θs),將訓(xùn)練結(jié)果匹配給教師網(wǎng)絡(luò)g(θt),分別用θs和θt參數(shù)化。給定一個(gè)無標(biāo)簽的螺栓圖像數(shù)據(jù)集ib作為輸入,學(xué)生網(wǎng)絡(luò)教師網(wǎng)絡(luò)分別輸出K維向量,通過softmax函數(shù)進(jìn)行歸一化得到學(xué)生網(wǎng)絡(luò)輸出的概率向量和老師網(wǎng)絡(luò)輸出的概率向量,分別用Ps和Pt表示。

    (3)

    (4)

    其中:τs和τt分別為學(xué)生網(wǎng)絡(luò)的溫度參數(shù)和教師網(wǎng)絡(luò)的溫度參數(shù)。

    損失函數(shù)為:

    loss=-Pt(i)logPs(i)

    (5)

    通過模型不斷學(xué)習(xí),得到使loss最小的θs作為螺栓自監(jiān)督與訓(xùn)練模型參數(shù)。

    2.2.2 ViT主干網(wǎng)絡(luò)

    ViT[32]主干網(wǎng)絡(luò)是DINO自監(jiān)督框架中教師網(wǎng)絡(luò)和學(xué)生學(xué)生網(wǎng)絡(luò)常用的結(jié)構(gòu)。該研究主要對(duì)比了不同規(guī)格的ViT和ResNet50的在螺栓螺母檢測任務(wù)中的精度表現(xiàn)。ViT將Transformer模型從自然語言處理NLP成功應(yīng)用計(jì)算機(jī)視覺領(lǐng)域,并取得非常優(yōu)秀的成績。該網(wǎng)絡(luò)參考文本處理方法,將圖片分割成非重疊連續(xù)N個(gè)圖像塊,每個(gè)圖像小塊的分辨率為 或。將每個(gè)圖像塊通過一個(gè)線性層映射成N個(gè)向量,并和一個(gè)可學(xué)習(xí)的向量組成一個(gè)(N+1)D的向量,同時(shí)在向量中添加圖像塊位置信息后,將向量序列輸入到Transformer中進(jìn)行計(jì)算輸出圖像編碼。

    2.3 遷移學(xué)習(xí)

    遷移學(xué)習(xí)將DINO得到的螺栓預(yù)訓(xùn)練大模型后添加一個(gè)可學(xué)習(xí)的多層感知機(jī)MLP用來學(xué)習(xí)一個(gè)特定的螺栓分類任務(wù)。螺栓分類任務(wù)通過標(biāo)注少量的螺栓分類數(shù)據(jù)集,在螺栓預(yù)訓(xùn)練大模型的基礎(chǔ)上訓(xùn)練。經(jīng)過遷移學(xué)習(xí)后,得到螺栓圖像的特征向量fi。

    fi=MLP(gθs(i)),fi∈RN*M

    (6)

    其中:M為分類任務(wù)的類別數(shù)量,fi經(jīng)過softmax函數(shù)得到分類的概率Pi。

    (7)

    損失函數(shù)采用CE(Cross Entropy)[34]進(jìn)行計(jì)算。具體而言,每一類的預(yù)測標(biāo)簽與標(biāo)注標(biāo)簽計(jì)算CE損失。

    2.4 螺栓圖像檢索方法

    圖像特征向量的高效表示是圖像檢索的一個(gè)重要基礎(chǔ),使用DINO得到的螺栓預(yù)訓(xùn)練大模型得到螺栓圖像特征向量進(jìn)行圖像檢索。采用K最近鄰(K-Nearest Neighbor,KNN)KNN[33]方法進(jìn)行圖像檢索。將螺栓圖像檢索數(shù)據(jù)集中的圖像經(jīng)過螺栓預(yù)訓(xùn)練大模型得到螺栓圖像的特征向量。K最近鄰檢索通過在螺栓圖像檢索數(shù)據(jù)集中查找與查詢螺栓特征向量距離最近的向量來獲得相同類型的螺栓圖像。螺栓圖像特征向量之間的距離采用余弦相似度方法計(jì)算。

    3 實(shí)驗(yàn)結(jié)果與分析

    本研究將自監(jiān)督學(xué)習(xí)應(yīng)用到輸電線路螺栓檢測任務(wù)中,并驗(yàn)證自監(jiān)督學(xué)習(xí)在輸電線路螺栓檢測任務(wù)中的效果。首先完成數(shù)據(jù)集的建立,包括螺栓無監(jiān)督學(xué)習(xí)數(shù)據(jù)集、遷移學(xué)習(xí)數(shù)據(jù)集、螺栓檢索數(shù)據(jù)集。然后通過自監(jiān)督學(xué)的視覺表征特征驗(yàn)證自監(jiān)督學(xué)習(xí)在輸電線路中螺栓特征的學(xué)習(xí)效果。最后使用自監(jiān)督學(xué)的螺栓預(yù)訓(xùn)練大模型在螺栓分類任務(wù)和螺栓檢索任務(wù)中進(jìn)行對(duì)比實(shí)驗(yàn)。

    3.1 數(shù)據(jù)集建立

    3.1.1 自監(jiān)督無標(biāo)簽數(shù)據(jù)集

    為了從原始數(shù)據(jù)獲得大量的自監(jiān)督無標(biāo)簽的螺栓數(shù)據(jù)集,使用少量標(biāo)注數(shù)據(jù)進(jìn)行有監(jiān)督訓(xùn)練目標(biāo)檢測模型,再使用模型對(duì)原始圖像推理,最后獲得大量的無標(biāo)注螺栓圖像。人工標(biāo)注12 302張?jiān)紙D像中的螺栓,使用yolo模型進(jìn)行訓(xùn)練。batch size設(shè)置為240,使用CSPResNeXt50主干網(wǎng)絡(luò)在單機(jī)8個(gè)A100 GPU上進(jìn)行訓(xùn)練。優(yōu)化器使用Adam。學(xué)習(xí)率采用cosine衰減策略。訓(xùn)練100個(gè)epoch。訓(xùn)練環(huán)境配置及參數(shù),本實(shí)驗(yàn)使用Python 3.7、PyTorch 1.7.1、 CUDA 11.0、 torchvision 0.8.1環(huán)境進(jìn)行有監(jiān)督學(xué)習(xí)訓(xùn)練。

    圖4 原始圖像螺栓檢測結(jié)果

    對(duì)檢測到的螺栓進(jìn)行摳圖,獲得115萬輸電線路單螺栓圖像,用于DINO框架下的自監(jiān)督學(xué)習(xí)。在螺栓摳圖的過程中,將螺栓圖像長和寬各放大1.1倍,使螺栓位于圖像中央。通過該方式獲的數(shù)據(jù)數(shù)量多,螺栓類型多樣,螺栓數(shù)據(jù)與真實(shí)數(shù)據(jù)一致。

    3.1.2 螺栓狀態(tài)有標(biāo)簽數(shù)據(jù)集

    為了減少人工標(biāo)注成本,僅挑選出小部分螺栓圖像進(jìn)行人工標(biāo)注,將標(biāo)注的圖像用于有監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)任務(wù)。第一行到第六行分別標(biāo)注為單螺母存在、開口銷存在、雙螺母存在、單螺母未知、開口銷未知、雙螺母未知。

    圖5 螺栓狀態(tài)分類數(shù)據(jù)集

    3.1.3 螺栓圖像檢索驗(yàn)證集

    為了驗(yàn)證自監(jiān)督螺栓預(yù)訓(xùn)練大模型在檢索任務(wù)中的效果,建立螺栓圖像檢索數(shù)據(jù)集。通過人工篩選了6類螺栓數(shù)據(jù)用于圖像檢索任務(wù),每類螺栓數(shù)據(jù)分為清晰和模糊兩個(gè)類別。清晰和模糊的標(biāo)準(zhǔn)按照是否可以看清螺栓中每個(gè)部件的邊緣輪廓進(jìn)行區(qū)分。6類螺栓為輸電線路中常見的螺栓圖像,包括雙螺母螺栓、單螺母螺栓、開口銷螺栓,其中雙螺母螺栓包括塔身垂直螺栓、塔身U型螺栓,單螺母螺栓包括地線掛點(diǎn)線夾螺栓、絕緣子下掛點(diǎn)線夾螺栓,開口銷螺栓包括活動(dòng)件螺栓(水平方向),活動(dòng)件螺栓(豎直方向)。每個(gè)類別螺栓數(shù)據(jù)分布如表2,清晰螺栓每個(gè)類別為數(shù)量為1 332張2 632張圖像,模糊類別的螺栓數(shù)數(shù)量為63到1 344張圖像。如圖6,數(shù)據(jù)集中包含6個(gè)類別螺栓的查詢圖像(左側(cè)第一列)和清晰圖像(中間部分)與模糊圖像(右側(cè)部分),圖中從上到下6列分別為地線掛點(diǎn)線夾螺栓、活動(dòng)件螺栓(豎直方向)、絕緣子下掛點(diǎn)線夾螺栓、塔身U型螺栓、活動(dòng)件螺栓(水平方向)、塔身垂直螺栓。通過每類螺栓的查詢圖像檢索該類別螺栓圖像。

    表1 螺栓狀態(tài)分類數(shù)據(jù)集標(biāo)簽分布

    表2 螺栓圖像檢索數(shù)據(jù)集標(biāo)簽分布

    表3 不同backbone和不同遷移學(xué)習(xí)任務(wù)的acc結(jié)果

    圖6 螺栓檢索數(shù)據(jù)集

    圖7 螺栓自監(jiān)督學(xué)習(xí)注意力圖

    3.2 自注意力視覺表征

    使用沒有標(biāo)簽的螺栓數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練。batch size設(shè)置為1 024,分別使用resnet50和ViT-S/8主干網(wǎng)絡(luò)在單機(jī)8個(gè)A100 GPU上進(jìn)行訓(xùn)練。優(yōu)化器使用Adamw。學(xué)習(xí)率在前10個(gè)epochs使用線性上升策略從0至0.002。其中0.002使用Lr = 0.000 5 * batchsize/256計(jì)算方法獲得,在10個(gè)epochs后采用cosine衰減策略,權(quán)重衰減采用從0.04到0.4的cosine 衰減策略。學(xué)生網(wǎng)絡(luò)的溫度參數(shù)設(shè)置為0.1,教師網(wǎng)絡(luò)的溫度參數(shù)前30個(gè)epochs采用0.04到0.07的線性變化。訓(xùn)練環(huán)境配置及參數(shù),本實(shí)驗(yàn)使用Python 3.6、PyTorch 1.7.1、 CUDA 11.0、 torchvision 0.8.2環(huán)境進(jìn)行系監(jiān)督學(xué)習(xí)訓(xùn)練。

    使用螺栓自監(jiān)督預(yù)訓(xùn)練大模型,對(duì)雙螺母螺栓、水平視角螺栓、垂直視角螺栓圖片進(jìn)行推理獲得螺栓圖片注意力圖。從注意力圖中可以看出,基于DINO的自監(jiān)督螺栓預(yù)訓(xùn)練大模型可以學(xué)習(xí)到螺栓的特征。圖6中上層結(jié)果為雙螺母螺栓結(jié)果,中間層結(jié)果為水平視角的螺栓、底層為豎直方向的螺栓。觀察實(shí)驗(yàn)結(jié)果可知,模型能很好的學(xué)習(xí)到兩個(gè)螺母、螺栓桿、螺帽、連接件的特征。說明DINO對(duì)于螺栓自監(jiān)督學(xué)習(xí)具有很好的效果。

    3.3 自監(jiān)督預(yù)訓(xùn)練遷移學(xué)習(xí)實(shí)驗(yàn)

    為了驗(yàn)證自監(jiān)督預(yù)訓(xùn)練的效果,采用5種backbone進(jìn)行自監(jiān)督預(yù)訓(xùn)練實(shí)驗(yàn)。5種backbone分別為Resnet50[36]、ViT-S/16、ViT-S/8、ViT-B/16、ViT-B/8。遷移學(xué)習(xí)任務(wù)分別為開口銷狀態(tài)分類、單螺母狀態(tài)分類、雙螺母狀態(tài)分類。在表中比較了5中主干網(wǎng)絡(luò)在自監(jiān)督預(yù)訓(xùn)練遷移學(xué)習(xí)和有監(jiān)督學(xué)習(xí)條件下開口銷狀態(tài)、單螺母狀態(tài)、雙螺母狀態(tài)的準(zhǔn)確率。準(zhǔn)確率使用acc表示,單位%。

    (8)

    其中:TP、TV、FP、FN分別為正例預(yù)測正確的數(shù)量、負(fù)例預(yù)測錯(cuò)誤的數(shù)量、負(fù)例預(yù)測正確的數(shù)量、正例預(yù)測錯(cuò)誤的數(shù)量。

    可以看出基于Dino的自監(jiān)督螺栓預(yù)訓(xùn)練大模型的遷移學(xué)習(xí)在螺栓狀態(tài)分類任務(wù)中表現(xiàn)優(yōu)于有監(jiān)督學(xué)習(xí)。螺栓預(yù)訓(xùn)練大模型在在分類任務(wù)中相對(duì)于監(jiān)督學(xué)習(xí)準(zhǔn)確率提升了2%到7%,在ViT-B/8的主干網(wǎng)絡(luò)上的自監(jiān)督預(yù)訓(xùn)練遷移學(xué)習(xí)表現(xiàn)最好。

    3.4 螺栓圖像檢索

    將DINO自監(jiān)督預(yù)訓(xùn)練模型應(yīng)用到螺栓圖像檢索任務(wù)中,將DINO自監(jiān)督預(yù)訓(xùn)練模型參數(shù)凍結(jié),并提取訓(xùn)練數(shù)據(jù)集的螺栓圖像特征。使用KNN方法驗(yàn)證DINO自監(jiān)督預(yù)訓(xùn)練模型獲得的螺栓圖像特征的在檢索任務(wù)中的效果。

    為了評(píng)估性能,使用平均精度(AP)度量作為查詢的精度-召回曲線下的面積計(jì)算。精度定義為檢索到的正圖像與檢索到的總圖像數(shù)量之比。召回率定義為檢索到的正例圖像數(shù)量與數(shù)據(jù)集中正例圖像總數(shù)的比值。理想的精度-召回曲線在所有召回級(jí)別上的精度為100%,這對(duì)應(yīng)于平均精度為100%。計(jì)算6類螺栓的每類AP分?jǐn)?shù),將它們平均起來以獲得 (mAP)分?jǐn)?shù)來評(píng)估整體表現(xiàn)。

    在自建的螺栓數(shù)據(jù)集中的檢索結(jié)果如表4,通過實(shí)驗(yàn)結(jié)果可知DINO的mAP在ResNet50和ViT-S/8主干網(wǎng)絡(luò)上均比有監(jiān)督學(xué)習(xí)高,清晰圖像檢索任務(wù)比模糊的效果要好。DINO自監(jiān)督預(yù)訓(xùn)練模型在螺栓圖像檢索任務(wù)效果較好,平均精度提升了8%。

    表4 螺栓自監(jiān)督大模型檢索任務(wù)結(jié)果

    4 結(jié)束語

    本文提出了一種基于自監(jiān)督學(xué)習(xí)的輸電線路螺栓檢測技術(shù),首次將DINO自監(jiān)督學(xué)習(xí)應(yīng)用到輸電線路螺栓檢測任務(wù)中。從原始輸電線路數(shù)據(jù)中生成無標(biāo)簽螺栓數(shù)據(jù)集、螺栓狀態(tài)分類數(shù)據(jù)集、螺栓圖像檢索驗(yàn)證集。分別在3個(gè)數(shù)據(jù)上完成自監(jiān)督訓(xùn)練、有監(jiān)督螺栓分類遷移學(xué)習(xí)和螺栓圖像檢索任務(wù)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,自監(jiān)督螺栓預(yù)訓(xùn)練大模型可以學(xué)習(xí)到螺栓的組成特征,并且可以提升下游的分類任務(wù)準(zhǔn)確率,在螺栓檢索任務(wù)效果也有明顯提升。無標(biāo)簽的螺栓數(shù)據(jù)集獲取成本相對(duì)較低,可以獲得更的螺栓數(shù)據(jù)集,通過自監(jiān)督的學(xué)習(xí)方式訓(xùn)練一個(gè)關(guān)于螺栓檢測任務(wù)更通用的螺栓預(yù)訓(xùn)練大模型,為輸電線路的螺栓缺陷檢測提供更實(shí)用的模型基礎(chǔ)。

    猜你喜歡
    監(jiān)督檢測模型
    一半模型
    “不等式”檢測題
    “一元一次不等式”檢測題
    “一元一次不等式組”檢測題
    重要模型『一線三等角』
    突出“四個(gè)注重” 預(yù)算監(jiān)督顯實(shí)效
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    監(jiān)督見成效 舊貌換新顏
    夯實(shí)監(jiān)督之基
    3D打印中的模型分割與打包
    日韩欧美国产一区二区入口| 亚洲熟女毛片儿| av福利片在线| 亚洲免费av在线视频| 欧美中文综合在线视频| 一级毛片精品| 99久久99久久久精品蜜桃| 九色国产91popny在线| 在线观看免费视频网站a站| 91老司机精品| 99久久国产精品久久久| 人成视频在线观看免费观看| 在线视频色国产色| 亚洲成人久久性| 精品电影一区二区在线| 深夜精品福利| 中国美女看黄片| 精品日产1卡2卡| 欧美乱码精品一区二区三区| 国产午夜福利久久久久久| 一区二区日韩欧美中文字幕| 男女之事视频高清在线观看| 免费不卡黄色视频| 真人做人爱边吃奶动态| 免费在线观看影片大全网站| 天堂动漫精品| 午夜福利视频1000在线观看 | 亚洲精品在线观看二区| 天堂动漫精品| tocl精华| 丰满人妻熟妇乱又伦精品不卡| 夜夜躁狠狠躁天天躁| 夜夜躁狠狠躁天天躁| 国产精品永久免费网站| 欧美中文日本在线观看视频| 很黄的视频免费| 国产成人影院久久av| 一进一出好大好爽视频| 国产一级毛片七仙女欲春2 | 一卡2卡三卡四卡精品乱码亚洲| 亚洲七黄色美女视频| 精品乱码久久久久久99久播| 欧美黄色片欧美黄色片| 美女高潮喷水抽搐中文字幕| 国产三级黄色录像| 给我免费播放毛片高清在线观看| 成人三级做爰电影| 50天的宝宝边吃奶边哭怎么回事| 色综合欧美亚洲国产小说| 精品国产乱码久久久久久男人| 亚洲第一av免费看| 午夜福利影视在线免费观看| 国内久久婷婷六月综合欲色啪| 人成视频在线观看免费观看| 成人亚洲精品一区在线观看| 成年人黄色毛片网站| 色尼玛亚洲综合影院| 久久久久国产精品人妻aⅴ院| 夜夜看夜夜爽夜夜摸| 亚洲伊人色综图| 麻豆成人av在线观看| 色尼玛亚洲综合影院| 成人精品一区二区免费| 中文字幕精品免费在线观看视频| 午夜两性在线视频| 色哟哟哟哟哟哟| 日本欧美视频一区| 亚洲熟女毛片儿| 久久国产精品男人的天堂亚洲| 欧美黑人欧美精品刺激| 男女下面插进去视频免费观看| 一级作爱视频免费观看| 少妇的丰满在线观看| 两个人看的免费小视频| 女人爽到高潮嗷嗷叫在线视频| 麻豆成人av在线观看| 男女午夜视频在线观看| 亚洲,欧美精品.| 极品教师在线免费播放| 桃红色精品国产亚洲av| 最新在线观看一区二区三区| 国产aⅴ精品一区二区三区波| 黑人操中国人逼视频| 国产精品一区二区精品视频观看| 久久欧美精品欧美久久欧美| 日韩欧美一区二区三区在线观看| 90打野战视频偷拍视频| 桃红色精品国产亚洲av| 成人三级做爰电影| 成人精品一区二区免费| 黑人巨大精品欧美一区二区mp4| 日韩欧美国产一区二区入口| 久久精品国产清高在天天线| 丝袜美腿诱惑在线| 国产精华一区二区三区| 免费在线观看亚洲国产| 女警被强在线播放| 国产成人欧美在线观看| 免费在线观看亚洲国产| 老司机午夜福利在线观看视频| 视频在线观看一区二区三区| 91老司机精品| 午夜免费激情av| 黑丝袜美女国产一区| 久久人人97超碰香蕉20202| 久久久久国产精品人妻aⅴ院| 欧美性长视频在线观看| www.熟女人妻精品国产| 久久久久久久久免费视频了| 日日摸夜夜添夜夜添小说| 18禁观看日本| 99精品欧美一区二区三区四区| videosex国产| 亚洲专区国产一区二区| 精品国产国语对白av| 又紧又爽又黄一区二区| 伦理电影免费视频| 亚洲第一欧美日韩一区二区三区| 亚洲av日韩精品久久久久久密| 国产av在哪里看| 午夜视频精品福利| 999精品在线视频| 伊人久久大香线蕉亚洲五| 亚洲av成人av| 美女 人体艺术 gogo| 91在线观看av| 18禁观看日本| 亚洲第一青青草原| 国产主播在线观看一区二区| 国产欧美日韩综合在线一区二区| 性色av乱码一区二区三区2| 亚洲久久久国产精品| 午夜亚洲福利在线播放| 欧美激情 高清一区二区三区| 国产主播在线观看一区二区| 啪啪无遮挡十八禁网站| 成人18禁高潮啪啪吃奶动态图| 精品不卡国产一区二区三区| 丁香欧美五月| 国产一区二区三区综合在线观看| 欧美日本中文国产一区发布| 午夜两性在线视频| netflix在线观看网站| 亚洲欧美日韩高清在线视频| 久久精品亚洲精品国产色婷小说| 在线十欧美十亚洲十日本专区| 一边摸一边做爽爽视频免费| 男女床上黄色一级片免费看| 久久午夜亚洲精品久久| 熟女少妇亚洲综合色aaa.| 欧美久久黑人一区二区| 97超级碰碰碰精品色视频在线观看| 电影成人av| 免费高清在线观看日韩| 亚洲九九香蕉| 亚洲av第一区精品v没综合| 男女之事视频高清在线观看| 午夜老司机福利片| 99国产精品一区二区三区| 精品一品国产午夜福利视频| 久久性视频一级片| 在线国产一区二区在线| 美女午夜性视频免费| 视频区欧美日本亚洲| 桃红色精品国产亚洲av| 桃色一区二区三区在线观看| 国产高清有码在线观看视频 | 久久人人97超碰香蕉20202| 亚洲三区欧美一区| 欧美激情 高清一区二区三区| 操出白浆在线播放| 亚洲自偷自拍图片 自拍| 精品国产一区二区三区四区第35| 久久精品91无色码中文字幕| 麻豆一二三区av精品| 亚洲国产精品sss在线观看| 人成视频在线观看免费观看| 日韩大尺度精品在线看网址 | 成人三级做爰电影| 丝袜在线中文字幕| 亚洲性夜色夜夜综合| 成人亚洲精品av一区二区| 黄网站色视频无遮挡免费观看| 视频区欧美日本亚洲| 成人亚洲精品av一区二区| 亚洲精品中文字幕在线视频| 亚洲九九香蕉| 制服人妻中文乱码| 亚洲精品中文字幕在线视频| 亚洲九九香蕉| 黑人欧美特级aaaaaa片| 亚洲中文字幕日韩| 久久婷婷人人爽人人干人人爱 | 成人三级做爰电影| 91国产中文字幕| 给我免费播放毛片高清在线观看| 后天国语完整版免费观看| 欧美乱妇无乱码| 麻豆国产av国片精品| 在线观看免费午夜福利视频| 国产精品电影一区二区三区| 欧美av亚洲av综合av国产av| 嫁个100分男人电影在线观看| 国产成人一区二区三区免费视频网站| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲精品在线观看二区| av有码第一页| 国产成人精品久久二区二区91| 国产成年人精品一区二区| 女人高潮潮喷娇喘18禁视频| 精品少妇一区二区三区视频日本电影| 国产成人精品久久二区二区免费| 99国产精品99久久久久| 中文亚洲av片在线观看爽| 免费看a级黄色片| 韩国精品一区二区三区| 国产一卡二卡三卡精品| 一个人观看的视频www高清免费观看 | 欧美国产日韩亚洲一区| 久久香蕉精品热| 成在线人永久免费视频| 色尼玛亚洲综合影院| 黑人巨大精品欧美一区二区mp4| 两个人免费观看高清视频| 丰满的人妻完整版| 老熟妇仑乱视频hdxx| 欧美日韩黄片免| 97碰自拍视频| 亚洲av成人不卡在线观看播放网| 久久狼人影院| 亚洲精品美女久久av网站| 亚洲黑人精品在线| 女人被狂操c到高潮| 亚洲欧美日韩另类电影网站| 国产精品自产拍在线观看55亚洲| 国产精品一区二区在线不卡| 亚洲精品国产区一区二| 欧美激情高清一区二区三区| 成熟少妇高潮喷水视频| 女性被躁到高潮视频| 18禁观看日本| 国产av在哪里看| 亚洲少妇的诱惑av| av天堂在线播放| av天堂在线播放| 日韩欧美三级三区| 国产精品精品国产色婷婷| 电影成人av| 美女 人体艺术 gogo| 国产精品国产高清国产av| 天堂√8在线中文| 亚洲一区高清亚洲精品| 老司机靠b影院| 最近最新中文字幕大全免费视频| 免费观看精品视频网站| 国产精品久久久人人做人人爽| 99精品久久久久人妻精品| 夜夜躁狠狠躁天天躁| 侵犯人妻中文字幕一二三四区| 国产亚洲精品第一综合不卡| 伊人久久大香线蕉亚洲五| 国产99白浆流出| 精品一区二区三区视频在线观看免费| 亚洲一区二区三区色噜噜| 国产又色又爽无遮挡免费看| 长腿黑丝高跟| 一区二区三区精品91| 久久国产亚洲av麻豆专区| 免费av毛片视频| 亚洲成a人片在线一区二区| 黄网站色视频无遮挡免费观看| 黄频高清免费视频| 成人18禁在线播放| 又紧又爽又黄一区二区| 欧美在线黄色| 90打野战视频偷拍视频| 黑丝袜美女国产一区| 黑丝袜美女国产一区| 免费人成视频x8x8入口观看| av福利片在线| 在线av久久热| 久久人妻av系列| 不卡一级毛片| av超薄肉色丝袜交足视频| 一级毛片精品| 人人妻人人澡欧美一区二区 | av片东京热男人的天堂| 国产成人av教育| 国产高清videossex| 久久人妻av系列| 又黄又爽又免费观看的视频| 亚洲 欧美 日韩 在线 免费| 一级a爱片免费观看的视频| 亚洲av熟女| 高潮久久久久久久久久久不卡| 一a级毛片在线观看| av片东京热男人的天堂| 好男人电影高清在线观看| 日韩大码丰满熟妇| 欧美日韩精品网址| 亚洲人成77777在线视频| 两个人看的免费小视频| 国产高清激情床上av| 欧美色欧美亚洲另类二区 | 国产极品粉嫩免费观看在线| 日本黄色视频三级网站网址| 欧美乱码精品一区二区三区| 美女大奶头视频| АⅤ资源中文在线天堂| а√天堂www在线а√下载| 久久久久久久精品吃奶| 国产成人av教育| 精品一区二区三区av网在线观看| 韩国av一区二区三区四区| 黄色 视频免费看| 国产一区在线观看成人免费| 国产成人精品久久二区二区91| 久久精品国产99精品国产亚洲性色 | 女人爽到高潮嗷嗷叫在线视频| 色精品久久人妻99蜜桃| 欧美绝顶高潮抽搐喷水| 成人亚洲精品一区在线观看| 国产精品野战在线观看| 国产一区二区三区综合在线观看| 91老司机精品| 午夜福利,免费看| 国内久久婷婷六月综合欲色啪| 欧美+亚洲+日韩+国产| 每晚都被弄得嗷嗷叫到高潮| 亚洲狠狠婷婷综合久久图片| 午夜福利成人在线免费观看| 久久久久国产精品人妻aⅴ院| 久久久久亚洲av毛片大全| av欧美777| 亚洲无线在线观看| 亚洲国产精品成人综合色| 国产单亲对白刺激| 欧美最黄视频在线播放免费| 亚洲精品一卡2卡三卡4卡5卡| 久久精品aⅴ一区二区三区四区| 免费在线观看黄色视频的| 熟妇人妻久久中文字幕3abv| 国产精品香港三级国产av潘金莲| 亚洲国产欧美一区二区综合| 操出白浆在线播放| 色播亚洲综合网| 91麻豆av在线| 91麻豆av在线| 99久久成人亚洲精品观看| 日日摸夜夜添夜夜添小说| 黄色日韩在线| 无遮挡黄片免费观看| 有码 亚洲区| 日韩欧美精品免费久久| 亚洲成人久久爱视频| netflix在线观看网站| 男女下面进入的视频免费午夜| 一本一本综合久久| 免费av观看视频| 亚洲 国产 在线| 他把我摸到了高潮在线观看| 亚洲精品国产成人久久av| 男插女下体视频免费在线播放| 两人在一起打扑克的视频| 中文资源天堂在线| 又粗又爽又猛毛片免费看| 免费大片18禁| 国产又黄又爽又无遮挡在线| 黄色女人牲交| 高清在线国产一区| 国产免费av片在线观看野外av| 亚洲一区高清亚洲精品| 久久精品91蜜桃| 最近视频中文字幕2019在线8| 亚洲久久久久久中文字幕| 久久久久久久久久成人| 在线a可以看的网站| 午夜福利18| 女生性感内裤真人,穿戴方法视频| 在线免费观看不下载黄p国产 | 99久久九九国产精品国产免费| 热99在线观看视频| 91精品国产九色| 精华霜和精华液先用哪个| 成人av在线播放网站| 欧美激情国产日韩精品一区| 自拍偷自拍亚洲精品老妇| 美女xxoo啪啪120秒动态图| 男人和女人高潮做爰伦理| 国产色婷婷99| 成人特级黄色片久久久久久久| 亚洲成人中文字幕在线播放| 亚洲av熟女| 九色国产91popny在线| 日本黄色视频三级网站网址| 美女高潮喷水抽搐中文字幕| 成人亚洲精品av一区二区| 国产午夜精品久久久久久一区二区三区 | 国产亚洲av嫩草精品影院| 免费黄网站久久成人精品| 不卡视频在线观看欧美| 成人av一区二区三区在线看| 亚洲国产精品sss在线观看| 免费人成视频x8x8入口观看| 一本精品99久久精品77| 国产免费一级a男人的天堂| 高清日韩中文字幕在线| 国产精品伦人一区二区| av国产免费在线观看| 女人被狂操c到高潮| 全区人妻精品视频| 听说在线观看完整版免费高清| 成人亚洲精品av一区二区| 久久香蕉精品热| 国产不卡一卡二| 国产精品女同一区二区软件 | 亚洲精品一卡2卡三卡4卡5卡| 亚洲精品色激情综合| 午夜激情福利司机影院| 日韩在线高清观看一区二区三区 | 最后的刺客免费高清国语| 成年版毛片免费区| 免费看美女性在线毛片视频| 久久久精品大字幕| 午夜福利在线在线| 亚洲aⅴ乱码一区二区在线播放| 亚洲精品乱码久久久v下载方式| 欧美精品啪啪一区二区三区| 美女免费视频网站| 午夜福利在线观看吧| 国产aⅴ精品一区二区三区波| 91午夜精品亚洲一区二区三区 | 日本一本二区三区精品| 精品人妻1区二区| 一个人观看的视频www高清免费观看| 成人国产综合亚洲| 男女边吃奶边做爰视频| 日韩中文字幕欧美一区二区| 一区二区三区四区激情视频 | 又爽又黄无遮挡网站| 亚洲成人中文字幕在线播放| 黄色丝袜av网址大全| 我的女老师完整版在线观看| 午夜精品一区二区三区免费看| 久久久久久国产a免费观看| 国产精品野战在线观看| 变态另类丝袜制服| 久久久久精品国产欧美久久久| 91久久精品电影网| 无遮挡黄片免费观看| 国产精品美女特级片免费视频播放器| 国产高清不卡午夜福利| 一个人免费在线观看电影| 国产精品野战在线观看| 午夜福利18| bbb黄色大片| 欧美不卡视频在线免费观看| 香蕉av资源在线| av在线老鸭窝| 国产一区二区亚洲精品在线观看| 日韩欧美在线乱码| 欧美成人性av电影在线观看| 国产老妇女一区| 国产真实乱freesex| 国产高潮美女av| 午夜福利视频1000在线观看| 亚洲av中文av极速乱 | 97碰自拍视频| 蜜桃亚洲精品一区二区三区| 日日撸夜夜添| 天堂网av新在线| 噜噜噜噜噜久久久久久91| 少妇熟女aⅴ在线视频| 国产黄色小视频在线观看| 特级一级黄色大片| 国产成人影院久久av| 日本免费一区二区三区高清不卡| 啦啦啦啦在线视频资源| 国产蜜桃级精品一区二区三区| 亚洲av成人精品一区久久| 国产精品日韩av在线免费观看| 内射极品少妇av片p| 97热精品久久久久久| 日韩欧美 国产精品| 性欧美人与动物交配| 午夜福利欧美成人| 国产色婷婷99| 天美传媒精品一区二区| 国产精品久久久久久久电影| x7x7x7水蜜桃| 九九久久精品国产亚洲av麻豆| 精品国内亚洲2022精品成人| 校园人妻丝袜中文字幕| av.在线天堂| aaaaa片日本免费| 一级a爱片免费观看的视频| 老女人水多毛片| a级毛片a级免费在线| 伦理电影大哥的女人| 亚洲欧美日韩高清专用| 人人妻人人澡欧美一区二区| av黄色大香蕉| 狂野欧美激情性xxxx在线观看| 国内精品一区二区在线观看| 男人和女人高潮做爰伦理| 2021天堂中文幕一二区在线观| 精品99又大又爽又粗少妇毛片 | 亚洲,欧美,日韩| www.www免费av| 日本免费一区二区三区高清不卡| 色av中文字幕| 天堂动漫精品| 日韩国内少妇激情av| 久久久久国内视频| 亚洲精品在线观看二区| 在线播放国产精品三级| 淫秽高清视频在线观看| 变态另类成人亚洲欧美熟女| 非洲黑人性xxxx精品又粗又长| 一区福利在线观看| 精品国内亚洲2022精品成人| 岛国在线免费视频观看| 99久久久亚洲精品蜜臀av| 久久久国产成人精品二区| 丰满人妻一区二区三区视频av| 欧美日本视频| 中国美女看黄片| 嫩草影视91久久| 亚洲国产精品久久男人天堂| 丰满乱子伦码专区| 欧美最新免费一区二区三区| 日韩 亚洲 欧美在线| 3wmmmm亚洲av在线观看| 欧美潮喷喷水| 成人午夜高清在线视频| 亚洲一区二区三区色噜噜| 欧美中文日本在线观看视频| 国产精品一区二区三区四区久久| 日本熟妇午夜| 男人和女人高潮做爰伦理| 美女大奶头视频| 黄色欧美视频在线观看| 成人午夜高清在线视频| 一进一出抽搐gif免费好疼| 色av中文字幕| 国产一区二区激情短视频| 看十八女毛片水多多多| 精品人妻熟女av久视频| 男女做爰动态图高潮gif福利片| 波多野结衣巨乳人妻| 色精品久久人妻99蜜桃| 国产av在哪里看| 国产综合懂色| 欧美日韩乱码在线| 我的老师免费观看完整版| 亚洲精品456在线播放app | 中国美白少妇内射xxxbb| 桃红色精品国产亚洲av| 国产真实伦视频高清在线观看 | 制服丝袜大香蕉在线| 亚洲中文字幕日韩| 老司机午夜福利在线观看视频| 国产欧美日韩精品亚洲av| 欧美激情久久久久久爽电影| 日本欧美国产在线视频| 久久精品国产自在天天线| 大又大粗又爽又黄少妇毛片口| 91在线精品国自产拍蜜月| 不卡一级毛片| 亚洲avbb在线观看| a级毛片a级免费在线| 国产视频一区二区在线看| 麻豆精品久久久久久蜜桃| 香蕉av资源在线| 欧美激情国产日韩精品一区| 99在线视频只有这里精品首页| 午夜a级毛片| 日韩欧美在线乱码| 男人的好看免费观看在线视频| 国产精品福利在线免费观看| 又黄又爽又刺激的免费视频.| 亚洲七黄色美女视频| 亚洲专区中文字幕在线| 精品久久久久久久久久久久久| 国产精品女同一区二区软件 | 久久精品国产99精品国产亚洲性色| 亚洲国产欧洲综合997久久,| 亚洲欧美日韩东京热| 日韩 亚洲 欧美在线| 国产精品一及| 亚洲最大成人中文| 51国产日韩欧美| 美女黄网站色视频| 国内精品一区二区在线观看| 热99re8久久精品国产| 国产精品,欧美在线| 亚洲欧美日韩东京热| 国产麻豆成人av免费视频| 国产精品久久久久久精品电影| 韩国av一区二区三区四区| 精品欧美国产一区二区三| 欧美bdsm另类| 91在线观看av| 99在线视频只有这里精品首页| 久久精品国产亚洲av香蕉五月| 午夜日韩欧美国产| a在线观看视频网站| 精品久久久久久久久亚洲 | 亚洲精品影视一区二区三区av| 免费在线观看影片大全网站| 日本在线视频免费播放| 欧美性猛交╳xxx乱大交人| 亚洲成人久久性| 级片在线观看| 一个人免费在线观看电影|