• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    圖像分割評估方法在顯微圖像分析中的應(yīng)用

    2021-01-21 07:28:34馬博淵姜淑芳申昊鍇班曉娟黃海友薛維華
    工程科學(xué)學(xué)報(bào) 2021年1期
    關(guān)鍵詞:真值晶界晶粒

    馬博淵,姜淑芳,尹 豆,申昊鍇,班曉娟,黃海友,王 浩,薛維華,封 華

    1) 北京科技大學(xué)北京材料基因工程高精尖創(chuàng)新中心,北京 100083 2) 北京科技大學(xué)材料領(lǐng)域知識工程北京市重點(diǎn)實(shí)驗(yàn)室,北京 100083 3) 北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院,北京 100083 4) 北京科技大學(xué)人工智能研究院,北京 100083 5) 解放軍總醫(yī)院第一醫(yī)學(xué)中心婦產(chǎn)科,北京 100853 6) 中國石油大學(xué)(北京)信息科學(xué)與工程學(xué)院,北京 102249 7) 北京科技大學(xué)新材料技術(shù)研究院,北京 100083 8) 北京科技大學(xué)順德研究生院,佛山 528300 9) 北京科技大學(xué)材料科學(xué)與工程學(xué)院,北京 100083 10) 遼寧工程技術(shù)大學(xué)材料科學(xué)與工程學(xué)院,阜新 123099

    計(jì)算機(jī)視覺是一門“教”會(huì)計(jì)算機(jī)如何去“看”世界的科學(xué),旨在使用計(jì)算機(jī)及相關(guān)設(shè)備對生物視覺進(jìn)行模擬,進(jìn)而代替眼睛對數(shù)字圖像中的目標(biāo)進(jìn)行處理、識別、分析和理解[1].圖像分割是從圖像中提取感興趣區(qū)域的方法,是計(jì)算機(jī)視覺的重要組成部分[2].在實(shí)際應(yīng)用中,對圖像分割結(jié)果的正確評估是分割方法完善的重要研究手段[3].

    在材料科學(xué)領(lǐng)域,隨著材料信息學(xué)的發(fā)展,大量先進(jìn)的信息學(xué)技術(shù)在材料領(lǐng)域獲得應(yīng)用,并展現(xiàn)出蓬勃的生機(jī)和快速發(fā)展的態(tài)勢.材料圖像,特別是材料顯微圖像,是材料組織信息的重要載體.使用圖像分割等計(jì)算機(jī)視覺方法可提取材料圖像中的組織信息,是高效建立材料成分–工藝–組織–性能關(guān)系的重要環(huán)節(jié).

    本文在材料顯微圖像分析的應(yīng)用背景下,重點(diǎn)綜述了圖像分割的評估方法,并討論了不同評估方法的適用性.

    1 圖像分割的定義及其在材料顯微圖像分析中的應(yīng)用

    圖像分割是將圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)區(qū)域的技術(shù)[4],是計(jì)算機(jī)視覺的重要分支.分割結(jié)果可進(jìn)一步為圖像識別和圖像描述等圖像理解相關(guān)任務(wù)提供信息支撐.

    圖1 材料顯微圖像分割流程示意Fig.1 Flow chart of material microscopic image segmentation

    目前,隨著多學(xué)科間的深入交叉和融合,科學(xué)工作者開始嘗試將以圖像分割為代表的計(jì)算機(jī)視覺技術(shù)運(yùn)用到表面缺陷檢測、金相組織分析、神經(jīng)細(xì)胞拓?fù)浞治龅炔牧虾蜕镝t(yī)學(xué)領(lǐng)域[5?6].如圖1所示為材料顯微圖像分割流程圖,針對原始的材料顯微圖像,采用圖像分割方法(Image segmenta-tion methods)提取圖像中科研人員感興趣的組織結(jié)構(gòu)區(qū)域[7],如圖1中的白色區(qū)域?qū)?yīng)的材料組織(枝晶和晶粒).通過定量分析材料內(nèi)部的微觀組織特征(如尺寸和形狀分布等),可進(jìn)一步解構(gòu)材料微觀組織特征與材料成分、制備工藝、宏觀性能之間的內(nèi)稟關(guān)系[8],進(jìn)而輔助材料性能的優(yōu)化和新材料的研發(fā)[9].

    隨著計(jì)算機(jī)硬件以及以深度學(xué)習(xí)[10]為代表的機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步,多種基于不同理論的圖像分割方法如雨后春筍般涌現(xiàn),如圖1中基于閾值的分割方法(Threshold based segmentation methods)[11]、基于梯度的分割方法(Gradient based segmentation methods)[12]、基于形態(tài)學(xué)的分割方法(Morphology based segmentation methods)[13]、基于區(qū)域生長的分割方法(Region growing based segmentation methods)[14]、基于聚類的分割方法(Clustering based segmentation methods)[15],基于圖論的分割方法(Graph based segmentation methods)[16]和基于深度學(xué)習(xí)的分割方法 (Deep learning-based segmentation methods)[17?18]等,上述方法被廣泛應(yīng)用于材料顯微圖像分析任務(wù)[19?21].為了進(jìn)一步理解各種圖像分割方法的適用性以及改進(jìn)分割質(zhì)量,本文對不同方法的分割結(jié)果進(jìn)行了系統(tǒng)地評估.雖然人的視覺判斷是最直接的判斷方法,但是人的主觀不確定性會(huì)導(dǎo)致算法評估難以量化.因此,采用自動(dòng)的客觀的評估方法成為圖像分割結(jié)果評估的主流方式.當(dāng)前存在多種基于不同理論的圖像分割客觀評估方法(Segmentation evaluation methods),每種方法均從特定的角度評估分割結(jié)果的優(yōu)劣,可應(yīng)用于不同目標(biāo)的圖像分割任務(wù)中.

    本文綜述了14種基于不同理論的圖像分割客觀評估指標(biāo),將其分成五大類方法分別展開敘述(圖1):基于像素的評估方法(Pixel based evaluation methods)、基于類內(nèi)重合度的評估方法(Intra class coincidence based evaluation methods)、基于邊界的評估方法(Edge based evaluation methods)、基于聚類的評估方法(Clustering based evaluation methods)和基于實(shí)例的評估方法(Instance based evaluation methods).并在材料顯微圖像分析應(yīng)用中,選擇兩種典型材料顯微圖像分割任務(wù)作為分析目標(biāo),對比采用不同分割方法和不同典型噪聲下各種評估指標(biāo)的性能,進(jìn)而對不同評估方法的適用性展開討論.

    2 圖像分割評估方法

    通過現(xiàn)有文獻(xiàn)整理和研究,本文將圖像分割評估指標(biāo)分為基于像素的評估方法、基于類內(nèi)重合度的評估方法、基于邊緣的評估方法、基于聚類的評估方法和基于實(shí)例的評估方法等五個(gè)類別.

    2.1 基于像素的評估方法

    基于像素的評估方法主要包括像素準(zhǔn)確率(Pixel accuracy)和平均準(zhǔn)確率(Mean accuracy)[17]兩個(gè)評估指標(biāo).

    像素準(zhǔn)確率統(tǒng)計(jì)了預(yù)測正確的像素占總像素的比例[22],其定義為:

    在圖像分割任務(wù)中,假定有k+1個(gè)類別(“+1”指包括背景類),通常使用pij表示真值結(jié)果為類i而預(yù)測結(jié)果為類j的像素點(diǎn)總數(shù),同理,pii表示真值結(jié)果和預(yù)測結(jié)果均為類i的像素點(diǎn)總數(shù),即預(yù)測正確的像素點(diǎn)數(shù)目.

    平均準(zhǔn)確率(Mean accuracy):是對像素準(zhǔn)確率的改進(jìn),分別計(jì)算每個(gè)類內(nèi)被正確分類像素?cái)?shù)的比例,進(jìn)而對所有類求平均值.該方法可緩解當(dāng)分割任務(wù)中不同類別包含像素?cái)?shù)目差異較大時(shí),準(zhǔn)確率被包含像素?cái)?shù)目較多的類別所主導(dǎo)的問題,其定義為:

    2.2 基于類內(nèi)重合度的評估方法

    基于類內(nèi)重合度的評估方法主要包括平均交并比(Mean intersection over union, MIoU)[17],頻權(quán)交并比(Frequency weighted intersection over union,FWIoU)[17]和 Dice系數(shù)(Dice score)[23]三個(gè)評估指標(biāo).

    平均交并比MIoU在計(jì)算每個(gè)類的交并比的基礎(chǔ)上求均值,可反映預(yù)測結(jié)果和真值結(jié)果的重合度.IoU(或稱為 Jacarrd index)的計(jì)算方式如圖2(a)所示,其中P代表預(yù)測結(jié)果(Predicted segmentation),T代表真值結(jié)果(也稱目標(biāo)結(jié)果,Target truth),其思路是計(jì)算真值結(jié)果和預(yù)測結(jié)果區(qū)域集合的交集和并集之比,即公式(3)所示.

    具體地,采用上述描述方法,MIoU可定義為[17]:

    圖2 評估指標(biāo)示意圖.(a)IoU 指標(biāo)示意圖;(b)VI指標(biāo)示意圖Fig.2 Schematics of evaluation metrics: (a) IoU metric diagram; (b) VI metric diagram

    其中,pji表示真值結(jié)果為類j而預(yù)測結(jié)果為類i的像素點(diǎn)總數(shù).

    頻權(quán)交并比FWIoU是對原始的MIoU的改進(jìn),即根據(jù)每一類出現(xiàn)的頻率對各個(gè)類的IoU進(jìn)行加權(quán)求和,定義為[17]:

    Dice系數(shù)(Dice score)是圖像分割結(jié)果衡量的常用指標(biāo),其計(jì)算公式為[23]:

    其中,|P∩T|代表預(yù)測結(jié)果P和真值結(jié)果T之間的重合像素?cái)?shù)量,|P|表示預(yù)測結(jié)果P中的像素?cái)?shù)量,同理|T|表示真值結(jié)果T中的像素?cái)?shù)量,通常P、T集合僅統(tǒng)計(jì)前景區(qū)域的像素.Dice score實(shí)質(zhì)上是兩個(gè)樣本間的重疊度量(0~1),其中該指標(biāo)為1代表完全重疊,表示預(yù)測結(jié)果較好.Dice score相比于IoU的區(qū)別在于分子和分母間均增加|P∩T|的數(shù)目.

    2.3 基于邊界的評估方法

    邊界檢測也稱邊緣檢測,是指將圖像分成邊緣區(qū)域和非邊緣區(qū)域.由于在邊緣檢測任務(wù)中,邊緣區(qū)域往往僅占據(jù)少量像素區(qū)域,并且繪制真值邊緣時(shí)容易產(chǎn)生誤差,致使預(yù)測邊緣和真實(shí)邊緣在像素上通常無法一一對應(yīng),因此該類評估方法主要通過計(jì)算預(yù)測邊緣像素和真實(shí)邊緣像素間的距離來反映邊緣檢測效果.

    基于邊界的評估方法主要包括FoM(Figure of merit)[24]、Completeness[25]、Correctness[25]和Quality[25]4個(gè)評估指標(biāo).

    FoM(Figure of merit)計(jì)算公式為:

    其中,通過人工檢視標(biāo)注得到的真值邊緣像素點(diǎn)個(gè)數(shù)為|T|;通過檢測算法檢測的邊緣像素點(diǎn)個(gè)數(shù)為|P|;檢測算法得到的第i個(gè)邊緣像素點(diǎn)和離它最近的真值邊緣像素點(diǎn)間的歐氏距離為di;常量系數(shù)ξ一般為0.1,表示錯(cuò)位邊緣懲罰項(xiàng).FoM值越大表明檢測出的邊緣越靠近人工標(biāo)注的真值邊緣, 即該邊緣檢測算法的檢測精度越高.

    Completeness、Correctness和 Quality評估方法在基于歐氏距離的基礎(chǔ)上重新定義了匹配的概念.其匹配的計(jì)算公式為:

    設(shè)兩個(gè)像素集合A和B,其中a和b分別為兩個(gè)集合中的兩個(gè)元素,d(a,b)表示兩個(gè)元素之間的歐氏距離.μB(A)指集合A中滿足與距集合B某一元素的距離小于閾值 θ的元素的子集.根據(jù)上述定義,分別計(jì)算預(yù)測邊緣像素集合P和真值邊緣像素集合T的μT(P)和μP(T),μT(P)代表預(yù)測結(jié)果中與真值結(jié)果相匹配的元素的子集,μP(T)代表真值結(jié)果中與預(yù)測結(jié)果相匹配的元素的子集.如圖3所示.

    圖3 邊緣檢測匹配示意圖.(a)令預(yù)測邊界與真值邊界進(jìn)行匹配;(b)令真值邊界與預(yù)測邊界進(jìn)行匹配Fig.3 Matching schematics of edge detection:(a) matching ground truth with prediction skeleton; (b) matching prediction with ground truth skeleton

    在此基礎(chǔ)上,Completeness的計(jì)算公式為:

    其中,|P|為預(yù)測邊緣像素集合P中的邊緣像素個(gè)數(shù).同理,|μT(P)|,|μP(T)|和|T|分別代表各自集合中的邊緣像素個(gè)數(shù).

    Correctness的計(jì)算公式為:

    Quality的計(jì)算公式為:

    2.4 基于聚類的評估方法

    圖像分割可以看作是一種聚類任務(wù),將圖像中的所有像素分割成n個(gè)分區(qū)或段,通過對比真值圖和預(yù)測圖中的分區(qū)結(jié)果可對圖像分割任務(wù)進(jìn)行評估.在基于聚類的評估方法中類的定義和圖像類別中類的定義不同,聚類中每個(gè)類具體指圖像中得到每個(gè)分區(qū),在圖像分割任務(wù)中,某個(gè)圖像類別可以有多個(gè)分區(qū).

    基于聚類的評估方法主要包括:蘭德系數(shù)(Rand index, RI)[26?27]、調(diào)整蘭德系數(shù)(Adjusted rand index,ARI)[28]和信息變化量(Variation of information,VI)[29]3 個(gè)評估指標(biāo).

    給定一個(gè)含有n個(gè)元素的集合S的兩種劃分,S劃分為r個(gè)子集:T={T1,T2,···,Tr}和S劃分為s個(gè)子集:P={P1,P2,···,Ps}.在圖像分割任務(wù)中,S代表像素集合,T代表真值分割結(jié)果,P代表預(yù)測分割結(jié)果.通常,采用聯(lián)通區(qū)域方法(Connected component)分別將T和P劃分成不同的分區(qū)(子集).

    進(jìn)一步,定義:

    a為S集合中在T中屬于同一子集,在P中也屬于同一子集的元素對數(shù);b為S集合中在T中屬于不同子集,在P中也屬于不同子集的元素對數(shù);c為S集合中在T中屬于同一子集,但在P中屬于不同子集的元素對數(shù);d為S集合中在T中屬于不同子集,但在P中屬于同一子集的元素對數(shù);

    則RI定義為:

    直觀地,a+b可被認(rèn)為是T和P之間一致的元素對個(gè)數(shù),c+d可被認(rèn)為是T和P之間不一致的元素對個(gè)數(shù).

    雖然RI的取值范圍為[0,1],但該指標(biāo)不能保證在類別標(biāo)簽是隨機(jī)分配的情況下其值接近0.由于RI基于像素點(diǎn)對數(shù)目進(jìn)行評估,而在材料顯微圖像分割應(yīng)用中,大多數(shù)像素點(diǎn)對不相連,即公式(12)中的b非常高,導(dǎo)致不同分割方法的評估結(jié)果均接近1,造成區(qū)分度較低.因此,ARI在RI的基礎(chǔ)上進(jìn)行了修正,令來表示Ti與Pj之 間交集的元素,基于聚類任務(wù)的列聯(lián)表如表1所示.其計(jì)算公式如式(13)所示.

    表1 基于聚類任務(wù)的列聯(lián)表Table 1 Contingency table

    ARI的取值范圍為[?1,1],值越大,代表預(yù)測結(jié)果中的分區(qū)結(jié)果更接近與真值結(jié)果中的分區(qū)結(jié)果.

    VI公式如(14)所示,將預(yù)測結(jié)果P和真值結(jié)果T看成兩種數(shù)據(jù)分布,利用信息熵計(jì)算兩者之間的分布變化.核心是計(jì)算預(yù)測和真實(shí)標(biāo)注圖之間的條件熵,如圖2(b)所示.

    其中,H(P|T)代表過分割錯(cuò)誤,過分割即錯(cuò)誤地將一個(gè)區(qū)域分割成兩個(gè)區(qū)域,也被稱為拆分錯(cuò)誤(Split error,SE).H(T|P)代表欠分割錯(cuò)誤,即將兩個(gè)區(qū)域錯(cuò)誤地合并成一個(gè)區(qū)域,也被稱為合并錯(cuò)誤 (Merge error,ME).VI代表總錯(cuò)誤指標(biāo),為ME和SE的和,值越小,代表分割結(jié)果中存在的錯(cuò)誤越少,即分割結(jié)果越準(zhǔn)確.并且,隨著誤差的變化,VI呈現(xiàn)線性變化,而RI呈現(xiàn)二次方的變化,因此,VI更適用于作為距離指標(biāo)反映誤差的變化[30].

    2.5 基于實(shí)例的評估方法

    基于實(shí)例的評估方法主要包括平均均值精確率 (Mean average precision,MAP)[31?32]和基數(shù)差(Cardinality difference,CD)[33]兩個(gè)評估指標(biāo).

    MAP是圖像分割和物體檢測任務(wù)中的經(jīng)典評估指標(biāo),與基于聚類的評估方法類似,該方法首先使用聯(lián)通區(qū)域方法分別將真值分割結(jié)果和預(yù)測分割結(jié)果分成多個(gè)分區(qū),進(jìn)而在每個(gè)預(yù)測分區(qū)上逐個(gè)與所有的真值分割結(jié)果的分區(qū)計(jì)算IoU,IoU的閾值范圍從0.5到0.95,步長為0.05,即在閾值t為(0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)情形下分別統(tǒng)計(jì)匹配的數(shù)目.在MAP計(jì)算過程中,匹配指某一預(yù)測結(jié)果中的分區(qū)與真值結(jié)果中的分區(qū)的IoU大于特定的閾值.其中True positive(TP)表示真實(shí)和預(yù)測結(jié)果中正確匹配的分區(qū)對數(shù)量,F(xiàn)alse positive(FP)表示預(yù)測分割結(jié)果中未正確匹配的分區(qū)數(shù)量,F(xiàn)alse negative(FN)表示真值分割結(jié)果中未正確匹配的分區(qū)數(shù)量.

    在每個(gè)閾值t上,根據(jù)預(yù)測分割的分區(qū)結(jié)果與真值分割的分區(qū)結(jié)果比較產(chǎn)生的TP、FN、和FP的數(shù)量計(jì)算出一個(gè)精度值,并除以閾值個(gè)數(shù)獲得均值精確率.在此基礎(chǔ)上,對所有圖像n計(jì)算各自均值精確率再求平均,獲得最終平均均值精確率,公式如下所示:

    CD是Waggoner等引入的一種比較分割結(jié)果中分區(qū)個(gè)數(shù)的評估指標(biāo)[33],其定義為:

    式中,NumT代表真實(shí)結(jié)果中的實(shí)例個(gè)數(shù),NumP代表預(yù)測結(jié)果中的實(shí)例個(gè)數(shù),如果CD是正數(shù),表示欠分割,如果CD是負(fù)數(shù),表示過分割.

    綜上,各評估指標(biāo)的簡要信息如表2所示,其中 ↑代表值越大性能越高,↓代表值越低性能越高,N代表圖像中像素個(gè)數(shù).

    表2 各指標(biāo)的簡要概括Table 2 Brief description of different evaluation methods

    3 圖像分割評估方法對比實(shí)驗(yàn)

    本章以兩種典型材料顯微圖像分割任務(wù)為應(yīng)用背景,定量地衡量圖像分割評估方法在不同分割算法和不同噪聲下的性能.本文所有代碼及示例圖像可開源獲取,詳見如下網(wǎng)址:https://github.com/Keep-Passion/ImageSegMetrics.

    3.1 不同圖像分割算法下的評估結(jié)果

    為了降低圖像分割算法對評估方法的影響,本文選擇了6種最為經(jīng)典的圖像分割算法進(jìn)行比較:基于閾值的圖像分割算法OTSU[11],基于梯度的邊緣提取算法Canny[34],基于形態(tài)學(xué)的圖像分割算法Watershed[35],基于聚類的圖像分割方法K–means[36],基于圖論的圖像分割算法Random Walker[37]和基于深度學(xué)習(xí)的圖像分割算法Unet[18].

    本文選擇多晶純鐵(Polycrystalline iron)晶粒組織圖像和鋁鑭合金(Al–La alloy)枝晶組織圖像作為目標(biāo)數(shù)據(jù)集,數(shù)據(jù)集參數(shù)如表3所示.兩數(shù)據(jù)集示例如圖1所示,其中多晶純鐵晶粒的前景晶粒區(qū)域像素個(gè)數(shù)遠(yuǎn)高于背景邊界區(qū)域的像素個(gè)數(shù),屬于類別不平衡的圖像分割任務(wù).鋁鑭合金枝晶圖像的前景組織區(qū)域像素個(gè)數(shù)與背景區(qū)域的像素個(gè)數(shù)相當(dāng),屬于類別平衡的圖像分割任務(wù).在實(shí)踐過程中,類別不平衡的圖像分割任務(wù)更加困難.

    表3 材料顯微圖像數(shù)據(jù)集參數(shù)Table 3 Description of two material micrographic image datasets

    由于本文選擇基于深度學(xué)習(xí)的圖像分割模型Unet作為不同評估指標(biāo)的基線模型,而Unet需要樣本訓(xùn)練模型才可進(jìn)一步使用.因此將數(shù)據(jù)集按照7∶1∶2的方式劃分為訓(xùn)練集、驗(yàn)證集和測試集.為保證實(shí)驗(yàn)的公平性,所有圖像分割算法均在測試集上進(jìn)行評估.對于Unet模型,模型在訓(xùn)練集上訓(xùn)練,并在每輪迭代中使用驗(yàn)證集驗(yàn)證,選擇驗(yàn)證集損失最低的網(wǎng)絡(luò)參數(shù)在測試集上進(jìn)行評估.其中,Unet網(wǎng)絡(luò)訓(xùn)練參數(shù)為:Batch size 為 10,初始學(xué)習(xí)率為1×10?4,在Adam優(yōu)化器下訓(xùn)練50輪.所有實(shí)驗(yàn)均在裝備一臺Nvidia Tesla V100顯卡的工作站上測試.

    多晶純鐵晶粒組織圖像在不同分割算法下的各評估結(jié)果如表4所示,其可視化示例如圖4上兩行所示.鋁鑭合金枝晶組織圖像在不同分割算法下的各評估結(jié)果如表5所示,其可視化示例如圖4下兩行所示.

    表4 多晶純鐵晶粒組織圖像不同分割算法下評估結(jié)果Table 4 Evaluation results under different segmentation algorithms for polycrystalline iron image

    由于多晶純鐵晶粒組織圖像分割任務(wù)的目標(biāo)是提取并分離每個(gè)晶粒,因此,該任務(wù)可被解讀為晶粒分割或晶界提取兩種不同的描述.因此,對于后者,可采用基于邊界的評估方法對晶界提取的準(zhǔn)確性進(jìn)行評估.

    由于基于深度學(xué)習(xí)的機(jī)器學(xué)習(xí)算法可在訓(xùn)練過程中自動(dòng)學(xué)習(xí)到數(shù)據(jù)中適用于目標(biāo)任務(wù)的強(qiáng)有效特征,因此其分割性能遠(yuǎn)高于傳統(tǒng)圖像處理方法.由圖4直觀比較,基于深度學(xué)習(xí)的圖像分割模型Unet在兩種數(shù)據(jù)集上的可視化效果均顯著超過了其余經(jīng)典算法.但在多晶純鐵晶粒組織圖像的客觀評估中(表4),Unet和傳統(tǒng)方法(除Unet外的其他方法)在基于像素和基于類內(nèi)重合度的評估方法的數(shù)值指標(biāo)上相差較小.在鋁鑭合金枝晶組織圖像的客觀評估中(表5),傳統(tǒng)方法和Unet在基于像素的評估方法的數(shù)值指標(biāo)上相差較小.基于像素的評估方法逐像素地比較預(yù)測分割結(jié)果和真值分割結(jié)果的區(qū)別,而基于類內(nèi)重合度的評估方法逐類別的比較兩者之前的差異,均未考慮材料顯微組織的拓?fù)涮匦?,因此,本文認(rèn)為在材料顯微圖像分析及定量表征應(yīng)用中,該評估方法適用于目標(biāo)為統(tǒng)計(jì)物相組成比例等的表征任務(wù),但不適用于需要分析單個(gè)組織特征的尺寸或形狀統(tǒng)計(jì)等的表征任務(wù).

    基于邊界的評估方法僅適用于基于邊緣提取的圖像分割任務(wù),其泛用性較低.同時(shí)晶界提取的目標(biāo)在于分離每個(gè)晶粒,基于邊界的評估方法并未考慮晶界不閉合的情況.因此,本文認(rèn)為在材料顯微圖像分析應(yīng)用中,基于邊界的評估方法可適用于缺陷(如裂紋)檢測[25],但不適用組織結(jié)構(gòu)定量表征任務(wù).

    基于聚類和基于實(shí)例的評估方法由于在執(zhí)行過程中需要先使用聯(lián)通區(qū)域方法對分割結(jié)果進(jìn)行分區(qū)操作,考慮了顯微組織結(jié)構(gòu)的拓?fù)涮匦裕虼吮疚恼J(rèn)為這兩類方法更適用于材料顯微圖像分析任務(wù)中統(tǒng)計(jì)尺寸和形狀分布等微觀組織定量表征的目標(biāo).

    在基于聚類的評估方法中,RI被證明在最差情況下也難以達(dá)到最低值,造成各方法間差距過小,如多晶純鐵晶粒圖像分割結(jié)果(表4)中的Watershed(RI=0.9444)和 Unet(RI=0.9819).ARI是對RI指標(biāo)的改進(jìn),各方法間該指標(biāo)的差距較大.VI指標(biāo)進(jìn)一步分為合并錯(cuò)誤(Merge Error,ME)和分離錯(cuò)誤(Split Error,SE),可更加全面的分析算法的分割結(jié)果.

    圖4 多晶純鐵晶粒組織及鋁鑭合金枝晶組織圖像在不同分割算法結(jié)果的可視化對比Fig.4 Visualization results of different segmentation methods for polycrystalline iron and Al–La alloy microscopic image

    在基于實(shí)例的評估算法中,CD指標(biāo)易受到噪聲影響,且該指標(biāo)不存在上下限,造成各方法的評估結(jié)果差距過大,難以直觀評估分割結(jié)果,如在鋁鑭合金枝晶圖像分割任務(wù)中,CD指標(biāo)從?10到?10918產(chǎn)生變化,因此本文認(rèn)為該指標(biāo)不適合材料顯微圖像分析任務(wù).MAP的值域范圍是[0,1],且在不同交并比閾值下綜合評估分割結(jié)果,性能較為準(zhǔn)確,但也同樣容易受到微小噪聲的影響.

    3.2 引入不同噪聲下評估方法效果

    為進(jìn)一步加深對圖像分割評估方法的理解,本文在圖像中增加固定數(shù)目的典型噪聲,以展示各圖像評估方法的魯棒性.

    本文從多晶純鐵晶粒圖像和鋁鑭合金枝晶圖像中分別選擇500×500像素尺寸的圖像,并通過控制變量,隨機(jī)引入三種在材料顯微圖像分析任務(wù)中常見的噪聲[38],每種噪聲各具有500像素的改變量:隨機(jī)斑點(diǎn)噪聲、劃痕噪聲和邊界模糊或消失現(xiàn)象.

    表5 鋁鑭合金枝晶組織圖像不同分割算法下評估結(jié)果Table 5 Evaluation of different segmentation results for Al–La microscopic image

    (1)隨機(jī)斑點(diǎn)噪聲(Random noises):在制備過程中,需要在材料表面涂抹銹蝕劑,才可在拋光過程中磨掉材料表面區(qū)域,進(jìn)而獲得材料的微觀形貌.若采用系列截面法逐層觀察材料組織形貌,則需要頻繁的使用銹蝕劑,在拋光過程中,銹蝕劑不可避免地殘留在微觀組織表面,形成隨機(jī)斑點(diǎn)噪聲,如圖5中黑色箭頭所示.

    (2)劃痕噪聲(Scratch noises):如前所述,在制備過程中,需要對材料表面進(jìn)行研磨.該制備方法不可避免地將在顯微組織表面留下劃痕噪聲.劃痕噪聲通常為黑色直線.由于其與多晶純鐵晶粒圖像中晶界區(qū)域在像素值上相似,容易被誤認(rèn)為是晶界從而影響分割結(jié)果,如圖5中紅色箭頭所示.

    圖5 兩種圖像數(shù)據(jù)引入不同種類噪聲的結(jié)果.(a)多晶純鐵晶粒圖像;(b)圖(a)的真值結(jié)果;(c)在(b)中隨機(jī)引入 500 像素的噪聲點(diǎn);(d)在(b)中引入 500 像素的劃痕噪聲;(e)在(b)中引入 500 像素的消失晶界噪聲;(f)鋁鑭合金枝晶圖像;(g)圖(f)的真值結(jié)果;(h)在(g)中隨機(jī)引入 500 像素的噪聲點(diǎn);(i)在(g)中引入500像素的劃痕噪聲Fig.5 Two microscopic images with different noises: (a) polycrystalline iron; (b) ground truth of (a); (c) random noises with 500 pixels in (b); (d) scratch noises with 500 pixels in (b); (e) missing boundaries with 500 pixels in (b); (f) Al la alloy; (g) ground truth of (f); (h) random noises with 500 pixels in (g);(i) scratch noises with 500 pixels in (g)

    (3)邊界模糊或消失現(xiàn)象(Blurred or missing boun-daries):在制備過程中,除銹蝕和研磨外,需使用一定比例的浸蝕液對材料表面進(jìn)行處理,才可浸蝕出晶界或相界(后文以晶界為例),為防止形成雙晶界或粗晶界缺陷,浸蝕時(shí)間不宜過長,因此容易出現(xiàn)浸蝕不完全現(xiàn)象.具體地表現(xiàn)為晶界區(qū)域沒有完全浸蝕,致使出現(xiàn)晶界模糊或晶界消失現(xiàn)象.由于晶界消失后的表觀特征與晶粒內(nèi)部區(qū)域相似,容易被誤認(rèn)為是晶粒區(qū)域從而影響分割結(jié)果,如圖5中藍(lán)色箭頭所示.

    在本實(shí)驗(yàn)中,只有斑點(diǎn)噪聲屬于隨機(jī)分布,而劃痕噪聲和缺失晶界噪聲是根據(jù)原圖的紋理信息和傳統(tǒng)方法的錯(cuò)誤識別結(jié)果在標(biāo)注圖中相應(yīng)增加而形成.通過固定噪聲數(shù)目,可以直觀地展示不同評估方法的區(qū)別.比如對于基于像素的評估方法并不考慮分割結(jié)果的拓?fù)渥兓嗤肼晹?shù)目但不同噪聲類型的評估結(jié)果基本相同.對于基于實(shí)例和基于聚類的評估方法考慮了顯微組織的拓?fù)浣Y(jié)構(gòu),相同噪聲數(shù)目但不同噪聲類型的評估結(jié)果具有很大差異.

    隨機(jī)斑點(diǎn)噪聲由于面積較小且較為分散,不影響顯微組織拓?fù)浣Y(jié)構(gòu),并且可通過設(shè)置最小連通區(qū)域的面積閾值進(jìn)而消除該噪聲.雖然500個(gè)像素只占一幅500×500尺寸圖像的1/500,但是劃痕噪聲和模糊或消失晶界噪聲改變了分割結(jié)果的拓?fù)浣Y(jié)構(gòu):劃痕噪聲會(huì)造成分割結(jié)果中的分區(qū)錯(cuò)誤(即將一個(gè)晶粒錯(cuò)誤地分離成兩個(gè)晶粒),嚴(yán)重影響顯微組織尺寸及形狀統(tǒng)計(jì).模糊或消失晶界同樣會(huì)影響多晶純鐵晶粒圖像中的微觀組織表征(即將兩個(gè)晶粒錯(cuò)誤地合并成一個(gè)晶粒).因此,本文期望在劃痕噪聲和模糊或消失晶界噪聲下,評估指標(biāo)出現(xiàn)明顯的退化,以正確反映圖像分割結(jié)果.

    多晶純鐵晶粒圖像在不同噪聲下的各指標(biāo)評估結(jié)果如表6所示,鋁鑭合金枝晶圖像在不同噪聲下的各指標(biāo)評估結(jié)果如表7所示.兩表中每個(gè)數(shù)據(jù)項(xiàng)括號中的數(shù)值表示變化的幅值.基于像素、基于類內(nèi)重合度和基于邊界的評估方法在三種噪聲影響下變化較?。ㄗ兓稻诎俜治换蚯Х治唬?,且性能均較高,不符合本文的要求.而基于實(shí)例和基于聚類的評估指標(biāo)的變化幅度在十分位以上,相較于基于像素,基于類內(nèi)重合度和基于邊界的評估方法更能有代表性地反映分割結(jié)果的退化情況.基于實(shí)例的評估方法中,RI的變化幅度較小,ARI雖然在模糊或消失晶界處變化較大,但在劃痕噪聲情況變化幅度較小.VI可通過合并錯(cuò)誤(ME)和分離錯(cuò)誤(SE)綜合評估分割結(jié)果.在劃痕噪聲影響下,其分離錯(cuò)誤出現(xiàn)了大幅提高;在模糊和缺失晶界噪聲影響下,其合并錯(cuò)誤出現(xiàn)了大幅提高;MAP在多晶純鐵晶粒圖像中在上述兩種噪聲影響下出現(xiàn)大幅度變化,變化幅度與VI相當(dāng),但在鋁鑭合金枝晶圖像中,在模糊或消失晶界噪聲下其變化幅度相對VI指標(biāo)較低.

    4 討論

    本文綜述了14種圖像分割的評估指標(biāo),并將其分為五大類:基于像素點(diǎn)的評估方法、基于類內(nèi)重合度的評估方法、基于邊界的評估方法、基于聚類的評估方法和基于實(shí)例的評估方法.并在材料顯微圖像分析應(yīng)用中,通過實(shí)驗(yàn)對比了兩種數(shù)據(jù)集在不同分割方法和不同常見噪聲類型下各評估指標(biāo)的評估結(jié)果.

    表6 多晶純鐵晶粒圖像在不同噪聲下各評估方法的結(jié)果Table 6 Results of different evaluation methods for polycrystalline iron image under different noises

    表7 鋁鑭合金枝晶圖像在不同噪聲下各評估方法的結(jié)果Table 7 Results of different evaluation methods for Al La alloy under different noises

    由于基于像素的評估方法逐像素地比較預(yù)測分割結(jié)果和真值分割結(jié)果的區(qū)別,而基于類內(nèi)重合度的方法逐類別地比較兩者之間的差異,均未考慮材料顯微組織的拓?fù)涮匦?,因此,本文認(rèn)為在材料顯微圖像分析及定量表征應(yīng)用中,該評估方法適用于圖像分割的目標(biāo)為統(tǒng)計(jì)物相組成比例的表征任務(wù),但不適用于需要分析單個(gè)組織特征的尺寸或形狀統(tǒng)計(jì)等的表征任務(wù).

    基于邊界的評估方法僅適用于基于邊緣提取的圖像分割任務(wù),其泛用性較低.同時(shí)針對多晶純鐵晶粒分割任務(wù),晶界提取的目標(biāo)在于分離每個(gè)晶粒,基于邊界的評估方法并未考慮晶界不閉合的情況.因此,本文認(rèn)為在材料顯微圖像分析應(yīng)用中,基于邊界的評估方法可適用于表面缺陷(如裂紋)檢測,但不適用組織結(jié)構(gòu)定量表征任務(wù).

    基于聚類和基于實(shí)例的評估方法由于在執(zhí)行過程中需要先使用聯(lián)通區(qū)域方法對分割結(jié)果進(jìn)行分區(qū),考慮了顯微組織結(jié)構(gòu)的拓?fù)涮匦?,因此本文認(rèn)為這兩類方法更適用于材料顯微圖像分析任務(wù)中統(tǒng)計(jì)尺寸和形狀分布等微觀組織定量表征的目標(biāo).同時(shí)在引入典型噪聲后,當(dāng)組織拓?fù)浣Y(jié)構(gòu)發(fā)生巨大變化時(shí),VI和MAP其變化幅度較大,本文認(rèn)為上述兩個(gè)指標(biāo)更適合于材料顯微圖像分割任務(wù).并且,VI可進(jìn)一步細(xì)分為合并錯(cuò)誤和分離錯(cuò)誤,可更加全面地評估分割結(jié)果.

    5 總結(jié)與展望

    隨著硬件計(jì)算能力和計(jì)算機(jī)算法的發(fā)展,圖像分割領(lǐng)域取得了巨大突破,大量基于不同理論的優(yōu)秀的圖像分割方法爭相問世.因此,在應(yīng)用過程中,準(zhǔn)確地評估各種分割方法的準(zhǔn)確性和適用性是科研工作中的必要環(huán)節(jié),同時(shí)理解和掌握各種評估方法是改進(jìn)圖像分割方法的途徑之一.本文首先按照不同類別(基于像素的評估方法、基于類內(nèi)重合度的評估方法、基于邊界的評估方法、基于聚類的評估方法和基于實(shí)例的評估方法)詳細(xì)介紹了各評估方法的計(jì)算方式,并在材料顯微圖像分析的應(yīng)用背景下,進(jìn)行實(shí)驗(yàn)討論了不同分割方法和不同噪聲對不同評估方法的影響.最后探討了每種方法的優(yōu)勢和適用性.本文認(rèn)為在材料顯微圖像分析及定量表征應(yīng)用中,基于像素和基于類內(nèi)重合度的評估方法適用于圖像分割的目標(biāo)為統(tǒng)計(jì)物相組成比例的表征任務(wù),但不適用于需要分析單個(gè)組織特征的尺寸或形狀統(tǒng)計(jì)等的表征任務(wù);基于邊界的評估方法可適用于表面缺陷(如裂紋)檢測任務(wù);基于聚類和基于實(shí)例的評估方法更適合于材料顯微圖像分割任務(wù).并且,VI可進(jìn)一步細(xì)分為合并錯(cuò)誤和分離錯(cuò)誤,可更加全面的評估分割結(jié)果.

    同時(shí),由于材料顯微圖像分割任務(wù)的目標(biāo)是獲得微觀組織的定量表征,如面積或形狀分布等.在未來的研究中,可更進(jìn)一步從材料學(xué)目標(biāo)出發(fā),如選擇 KL 散度(Kullback–Leibler divergence),JS散度(Jensen–Shannon divergence)或 Wassertein 距離等方法評估預(yù)測結(jié)果的面積分布和真實(shí)結(jié)果的面積分布的相似性.

    致謝

    本文的計(jì)算工作得到了北京材料基因工程高精尖創(chuàng)新中心材料計(jì)算平臺的支持.

    猜你喜歡
    真值晶界晶粒
    晶界工程對316L不銹鋼晶界形貌影響的三維研究
    上海金屬(2022年4期)2022-08-03 09:52:00
    基于截?cái)嗲驙钅P偷腇e扭轉(zhuǎn)晶界的能量計(jì)算
    鐵/鎳基奧氏體多晶合金晶界彎曲研究進(jìn)展
    甘草次酸球晶粒徑與體外溶出行為的關(guān)系
    中成藥(2019年12期)2020-01-04 02:02:26
    10kV組合互感器誤差偏真值原因分析
    電子制作(2017年1期)2017-05-17 03:54:35
    超粗晶粒硬質(zhì)合金截齒性能表征參數(shù)的探討
    真值限定的語言真值直覺模糊推理
    Inconel 600 合金的晶界工程工藝及晶界處碳化物的析出形貌
    上海金屬(2015年6期)2015-11-29 01:09:02
    WC晶粒度對WC-10% Co 硬質(zhì)合金組織和性能的影響
    上海金屬(2015年1期)2015-11-28 06:01:11
    基于真值發(fā)現(xiàn)的沖突數(shù)據(jù)源質(zhì)量評價(jià)算法
    99热这里只有是精品50| 无遮挡黄片免费观看| 女人高潮潮喷娇喘18禁视频| or卡值多少钱| 亚洲成人久久爱视频| 国产高清videossex| 欧美乱色亚洲激情| 美女大奶头视频| 久久久久久大精品| 亚洲欧美激情综合另类| 午夜精品一区二区三区免费看| 黄色成人免费大全| 1024香蕉在线观看| 俺也久久电影网| www.精华液| 久久精品aⅴ一区二区三区四区| 免费电影在线观看免费观看| 午夜福利视频1000在线观看| 天堂影院成人在线观看| 精品一区二区三区视频在线观看免费| 中文字幕人成人乱码亚洲影| av超薄肉色丝袜交足视频| 成年女人毛片免费观看观看9| 中文字幕av在线有码专区| 色哟哟哟哟哟哟| 国产免费av片在线观看野外av| 99国产综合亚洲精品| 国内毛片毛片毛片毛片毛片| 国产视频内射| 日本熟妇午夜| 久久精品夜夜夜夜夜久久蜜豆 | 国产麻豆成人av免费视频| 免费在线观看日本一区| 日本黄色视频三级网站网址| 亚洲精品美女久久久久99蜜臀| 国模一区二区三区四区视频 | 国产精品98久久久久久宅男小说| 一a级毛片在线观看| 黄频高清免费视频| 欧美成人免费av一区二区三区| 又黄又粗又硬又大视频| 午夜a级毛片| 亚洲国产精品成人综合色| 91麻豆av在线| 岛国在线观看网站| 欧美午夜高清在线| 精品欧美国产一区二区三| 亚洲av成人精品一区久久| 国产精品久久久久久久电影 | 成人三级黄色视频| 日韩欧美免费精品| 亚洲精品国产一区二区精华液| 亚洲最大成人中文| 五月伊人婷婷丁香| a级毛片在线看网站| 欧洲精品卡2卡3卡4卡5卡区| 亚洲 欧美 日韩 在线 免费| 国产一区二区激情短视频| 最近在线观看免费完整版| 国内精品久久久久精免费| 国产一级毛片七仙女欲春2| 在线免费观看的www视频| a在线观看视频网站| 99国产极品粉嫩在线观看| x7x7x7水蜜桃| 国产三级中文精品| av天堂在线播放| 欧美黑人精品巨大| 国产高清视频在线观看网站| 日本免费a在线| 黄片大片在线免费观看| 最新在线观看一区二区三区| 国产精品永久免费网站| 一级毛片高清免费大全| 久久香蕉精品热| 好男人电影高清在线观看| 在线观看一区二区三区| 亚洲av成人av| 欧美在线黄色| 国产不卡一卡二| 天堂√8在线中文| 国产亚洲精品久久久久5区| 精品久久久久久久末码| 亚洲九九香蕉| 亚洲一卡2卡3卡4卡5卡精品中文| 97超级碰碰碰精品色视频在线观看| 岛国在线免费视频观看| 亚洲欧美激情综合另类| 亚洲国产看品久久| 国产三级黄色录像| 岛国在线免费视频观看| aaaaa片日本免费| 一级毛片女人18水好多| 最近最新中文字幕大全电影3| 黄色成人免费大全| 日韩 欧美 亚洲 中文字幕| 视频区欧美日本亚洲| 高清毛片免费观看视频网站| 亚洲av电影不卡..在线观看| 精品国产乱子伦一区二区三区| 日韩国内少妇激情av| 男人舔奶头视频| 他把我摸到了高潮在线观看| 久久中文字幕一级| 国内精品久久久久久久电影| 两个人看的免费小视频| 国产精品乱码一区二三区的特点| 国产三级在线视频| 日韩成人在线观看一区二区三区| 国产一区二区在线av高清观看| av有码第一页| 国产成人精品久久二区二区91| 欧美色视频一区免费| 99热这里只有精品一区 | 香蕉丝袜av| 麻豆国产av国片精品| 99久久国产精品久久久| 日本撒尿小便嘘嘘汇集6| 三级毛片av免费| 国产单亲对白刺激| √禁漫天堂资源中文www| 亚洲av片天天在线观看| 少妇熟女aⅴ在线视频| 免费看美女性在线毛片视频| 男插女下体视频免费在线播放| 国产激情久久老熟女| 一本大道久久a久久精品| 亚洲av成人不卡在线观看播放网| 亚洲av成人av| 国产成人影院久久av| 国产成人欧美在线观看| 啦啦啦观看免费观看视频高清| 亚洲人成网站在线播放欧美日韩| 男人舔女人下体高潮全视频| 欧美日韩亚洲综合一区二区三区_| 欧美日韩福利视频一区二区| 观看免费一级毛片| 777久久人妻少妇嫩草av网站| www.自偷自拍.com| 99热只有精品国产| 中亚洲国语对白在线视频| 精品欧美一区二区三区在线| 亚洲 欧美一区二区三区| 国内精品一区二区在线观看| 欧美av亚洲av综合av国产av| 国产精品爽爽va在线观看网站| 免费在线观看黄色视频的| 亚洲欧美日韩高清在线视频| 一本大道久久a久久精品| 妹子高潮喷水视频| 久久99热这里只有精品18| 国产黄a三级三级三级人| av视频在线观看入口| 三级毛片av免费| 亚洲天堂国产精品一区在线| 亚洲av成人一区二区三| 少妇粗大呻吟视频| 无遮挡黄片免费观看| 淫秽高清视频在线观看| 久99久视频精品免费| 免费在线观看日本一区| 色哟哟哟哟哟哟| 国内揄拍国产精品人妻在线| 亚洲一码二码三码区别大吗| 国产成人一区二区三区免费视频网站| 伦理电影免费视频| 香蕉久久夜色| 成人高潮视频无遮挡免费网站| 三级男女做爰猛烈吃奶摸视频| 久久婷婷成人综合色麻豆| 久久精品国产清高在天天线| 老鸭窝网址在线观看| 成年女人毛片免费观看观看9| 欧美乱码精品一区二区三区| 国产爱豆传媒在线观看 | 女人被狂操c到高潮| 日韩欧美国产在线观看| 免费一级毛片在线播放高清视频| 国产一级毛片七仙女欲春2| 免费电影在线观看免费观看| 18美女黄网站色大片免费观看| 蜜桃久久精品国产亚洲av| 色老头精品视频在线观看| 一级a爱片免费观看的视频| 一个人免费在线观看的高清视频| 欧美中文日本在线观看视频| 精品电影一区二区在线| 国产av不卡久久| 亚洲av第一区精品v没综合| 欧美乱码精品一区二区三区| 精品不卡国产一区二区三区| 日韩成人在线观看一区二区三区| 日本a在线网址| 久久这里只有精品19| 99久久99久久久精品蜜桃| 亚洲 国产 在线| 99在线人妻在线中文字幕| 久久精品成人免费网站| 欧美中文综合在线视频| 欧美 亚洲 国产 日韩一| 成人一区二区视频在线观看| 国产精品一区二区免费欧美| 亚洲精品av麻豆狂野| 婷婷亚洲欧美| 一a级毛片在线观看| 美女午夜性视频免费| 宅男免费午夜| 老鸭窝网址在线观看| 欧美另类亚洲清纯唯美| 国产伦在线观看视频一区| 久久久久亚洲av毛片大全| 91成年电影在线观看| 美女 人体艺术 gogo| 女人爽到高潮嗷嗷叫在线视频| 国产精品影院久久| 久久中文字幕一级| 美女扒开内裤让男人捅视频| 岛国在线观看网站| 在线视频色国产色| 美女高潮喷水抽搐中文字幕| 国产三级黄色录像| or卡值多少钱| 欧美在线一区亚洲| 狂野欧美激情性xxxx| 欧美日本视频| 一本综合久久免费| 亚洲全国av大片| 精品国产美女av久久久久小说| 久久精品成人免费网站| 中文字幕最新亚洲高清| 日本黄色视频三级网站网址| 美女高潮喷水抽搐中文字幕| 国产欧美日韩一区二区精品| 丁香六月欧美| 人人妻,人人澡人人爽秒播| 亚洲精品美女久久av网站| 狠狠狠狠99中文字幕| 欧美黑人巨大hd| 黄片大片在线免费观看| 亚洲欧美精品综合久久99| 熟女少妇亚洲综合色aaa.| 亚洲av片天天在线观看| 国产精品影院久久| 哪里可以看免费的av片| 三级毛片av免费| 熟妇人妻久久中文字幕3abv| 男女做爰动态图高潮gif福利片| 1024视频免费在线观看| 老司机福利观看| 在线观看舔阴道视频| 国语自产精品视频在线第100页| 少妇粗大呻吟视频| 久久精品人妻少妇| 欧美一区二区国产精品久久精品 | 99国产精品一区二区蜜桃av| 国产av又大| 日韩欧美精品v在线| 日韩欧美一区二区三区在线观看| 又大又爽又粗| 午夜日韩欧美国产| 久久婷婷人人爽人人干人人爱| 久久久久九九精品影院| 精品高清国产在线一区| 亚洲国产精品sss在线观看| 亚洲av第一区精品v没综合| 久久精品国产99精品国产亚洲性色| 欧美日本视频| 在线永久观看黄色视频| tocl精华| 香蕉久久夜色| 少妇被粗大的猛进出69影院| 亚洲色图 男人天堂 中文字幕| 91老司机精品| 久久久久亚洲av毛片大全| 国产成人精品久久二区二区91| 午夜久久久久精精品| 一区二区三区高清视频在线| 久久久精品欧美日韩精品| 亚洲av电影不卡..在线观看| 欧美精品啪啪一区二区三区| 在线免费观看的www视频| 午夜激情福利司机影院| 欧美日韩瑟瑟在线播放| 国产精品免费一区二区三区在线| 国产日本99.免费观看| 曰老女人黄片| 天堂动漫精品| 成年免费大片在线观看| 在线观看66精品国产| 19禁男女啪啪无遮挡网站| 国产成人欧美在线观看| 午夜两性在线视频| or卡值多少钱| 日本三级黄在线观看| 12—13女人毛片做爰片一| 制服丝袜大香蕉在线| 一本精品99久久精品77| 久久久久久人人人人人| 亚洲国产精品成人综合色| 亚洲第一电影网av| 亚洲熟女毛片儿| 日韩三级视频一区二区三区| 无人区码免费观看不卡| 无限看片的www在线观看| 国产高清激情床上av| 母亲3免费完整高清在线观看| 国产高清videossex| 精品国产超薄肉色丝袜足j| 19禁男女啪啪无遮挡网站| 国内精品久久久久久久电影| 日本熟妇午夜| 少妇被粗大的猛进出69影院| 午夜精品久久久久久毛片777| 9191精品国产免费久久| 亚洲成人中文字幕在线播放| 这个男人来自地球电影免费观看| 免费观看精品视频网站| 欧美又色又爽又黄视频| 色播亚洲综合网| 日本一本二区三区精品| 国产精品久久久久久亚洲av鲁大| 免费人成视频x8x8入口观看| 精品第一国产精品| 久久婷婷成人综合色麻豆| а√天堂www在线а√下载| 国产在线精品亚洲第一网站| 三级国产精品欧美在线观看 | 欧美在线黄色| 在线观看免费日韩欧美大片| 久久精品国产综合久久久| 亚洲自拍偷在线| 国产精品日韩av在线免费观看| 成年女人毛片免费观看观看9| 成年版毛片免费区| 五月玫瑰六月丁香| 成人国语在线视频| 成人特级黄色片久久久久久久| 亚洲中文av在线| 午夜福利成人在线免费观看| 一区二区三区激情视频| 91成年电影在线观看| 国产久久久一区二区三区| 12—13女人毛片做爰片一| 制服丝袜大香蕉在线| 精品第一国产精品| 国产亚洲精品第一综合不卡| 1024视频免费在线观看| 亚洲av片天天在线观看| 欧美黑人精品巨大| 日本一区二区免费在线视频| 国产精品98久久久久久宅男小说| 欧美一区二区国产精品久久精品 | 日韩免费av在线播放| 色播亚洲综合网| 免费在线观看日本一区| 午夜影院日韩av| 麻豆av在线久日| 亚洲一区二区三区不卡视频| 国产精品,欧美在线| 欧美成人一区二区免费高清观看 | 观看免费一级毛片| 亚洲国产精品999在线| 这个男人来自地球电影免费观看| 亚洲中文日韩欧美视频| 午夜免费观看网址| 首页视频小说图片口味搜索| 精品国产亚洲在线| 大型av网站在线播放| 中文字幕av在线有码专区| 一进一出好大好爽视频| 国产97色在线日韩免费| 色哟哟哟哟哟哟| 男女视频在线观看网站免费 | 久久中文字幕一级| 亚洲欧美日韩高清在线视频| av在线播放免费不卡| 亚洲人成伊人成综合网2020| 白带黄色成豆腐渣| 国产精品爽爽va在线观看网站| 91大片在线观看| 亚洲国产精品999在线| 真人一进一出gif抽搐免费| 一本综合久久免费| 88av欧美| 老鸭窝网址在线观看| 日韩欧美在线乱码| 亚洲av成人不卡在线观看播放网| 欧美成人性av电影在线观看| 亚洲avbb在线观看| 男人舔女人的私密视频| 母亲3免费完整高清在线观看| 波多野结衣巨乳人妻| 一a级毛片在线观看| 免费在线观看黄色视频的| 国产精品1区2区在线观看.| 淫秽高清视频在线观看| 伦理电影免费视频| 免费看a级黄色片| 亚洲欧美日韩高清专用| 成人国产综合亚洲| 午夜福利免费观看在线| 亚洲天堂国产精品一区在线| 日韩欧美精品v在线| 国产真实乱freesex| 午夜激情av网站| a级毛片a级免费在线| 最新美女视频免费是黄的| 搡老岳熟女国产| 午夜老司机福利片| 亚洲精品中文字幕在线视频| 中亚洲国语对白在线视频| 人妻丰满熟妇av一区二区三区| 精品午夜福利视频在线观看一区| 亚洲欧美精品综合一区二区三区| 淫秽高清视频在线观看| 国产又黄又爽又无遮挡在线| 久久精品夜夜夜夜夜久久蜜豆 | 亚洲一区高清亚洲精品| 不卡一级毛片| av超薄肉色丝袜交足视频| 国产99久久九九免费精品| 日韩欧美一区二区三区在线观看| xxxwww97欧美| 亚洲中文字幕一区二区三区有码在线看 | 在线观看免费日韩欧美大片| 搞女人的毛片| 女生性感内裤真人,穿戴方法视频| 日本三级黄在线观看| 亚洲真实伦在线观看| 欧美色视频一区免费| 老司机在亚洲福利影院| 亚洲九九香蕉| 成人一区二区视频在线观看| 18禁国产床啪视频网站| 午夜福利成人在线免费观看| 国产av在哪里看| 午夜精品久久久久久毛片777| 国产亚洲av高清不卡| 99国产精品一区二区蜜桃av| 91在线观看av| 99在线人妻在线中文字幕| 正在播放国产对白刺激| 色老头精品视频在线观看| 五月伊人婷婷丁香| a级毛片在线看网站| 一区二区三区国产精品乱码| 国产私拍福利视频在线观看| 首页视频小说图片口味搜索| 伊人久久大香线蕉亚洲五| 两性夫妻黄色片| 在线观看66精品国产| 欧美zozozo另类| 欧美日韩国产亚洲二区| 麻豆国产97在线/欧美 | 在线观看www视频免费| 国产精品久久视频播放| 亚洲午夜精品一区,二区,三区| 在线观看美女被高潮喷水网站 | 熟妇人妻久久中文字幕3abv| 亚洲av电影在线进入| 一区二区三区国产精品乱码| 亚洲熟妇熟女久久| 精品一区二区三区av网在线观看| 长腿黑丝高跟| 国产高清videossex| 国产精品av视频在线免费观看| 欧美大码av| 麻豆国产97在线/欧美 | 黄色视频,在线免费观看| 婷婷亚洲欧美| 1024手机看黄色片| 午夜福利18| svipshipincom国产片| 国产欧美日韩精品亚洲av| 中文字幕高清在线视频| 色播亚洲综合网| 欧美日韩黄片免| 中文字幕精品亚洲无线码一区| 欧美在线黄色| 黄色a级毛片大全视频| 成在线人永久免费视频| 又紧又爽又黄一区二区| 国产成人一区二区三区免费视频网站| avwww免费| 91老司机精品| 在线观看美女被高潮喷水网站 | 欧美成人性av电影在线观看| 亚洲中文字幕一区二区三区有码在线看 | 成年免费大片在线观看| 他把我摸到了高潮在线观看| 精品高清国产在线一区| 欧美黑人巨大hd| 亚洲成人久久性| 免费看日本二区| 黄片小视频在线播放| 亚洲午夜理论影院| 1024视频免费在线观看| 此物有八面人人有两片| 日本在线视频免费播放| 国产精品九九99| 天天一区二区日本电影三级| 一本一本综合久久| 美女大奶头视频| 最近最新中文字幕大全电影3| 久久久久久大精品| 亚洲色图av天堂| 麻豆国产av国片精品| 97碰自拍视频| 国产日本99.免费观看| 免费看a级黄色片| 亚洲五月婷婷丁香| 欧美极品一区二区三区四区| 老司机午夜福利在线观看视频| 亚洲精品久久成人aⅴ小说| 观看免费一级毛片| 亚洲av成人av| 韩国av一区二区三区四区| 一夜夜www| 国产精品99久久99久久久不卡| 嫁个100分男人电影在线观看| 老汉色∧v一级毛片| 热99re8久久精品国产| 搡老岳熟女国产| 国产精品永久免费网站| 免费在线观看完整版高清| 黄色a级毛片大全视频| 色综合站精品国产| 午夜日韩欧美国产| 最近视频中文字幕2019在线8| 欧美日韩国产亚洲二区| 免费观看人在逋| 在线十欧美十亚洲十日本专区| 久久久久久久精品吃奶| 老司机午夜福利在线观看视频| 99国产极品粉嫩在线观看| 国产区一区二久久| 巨乳人妻的诱惑在线观看| 熟女少妇亚洲综合色aaa.| 两个人免费观看高清视频| 在线播放国产精品三级| 亚洲激情在线av| 精品久久久久久久久久免费视频| www.999成人在线观看| 日日摸夜夜添夜夜添小说| 舔av片在线| 亚洲最大成人中文| 欧美黑人巨大hd| 亚洲电影在线观看av| 在线观看日韩欧美| 午夜福利在线在线| 欧美黄色淫秽网站| 久久亚洲精品不卡| xxx96com| 久久久国产精品麻豆| 国产精品亚洲美女久久久| 日本a在线网址| 欧美激情久久久久久爽电影| 精品久久久久久久末码| 亚洲人成网站在线播放欧美日韩| 91国产中文字幕| 国产亚洲欧美98| 精品少妇一区二区三区视频日本电影| 男插女下体视频免费在线播放| 12—13女人毛片做爰片一| 毛片女人毛片| 熟女电影av网| 在线观看免费日韩欧美大片| 久久久久久人人人人人| 久久久久久亚洲精品国产蜜桃av| 亚洲自拍偷在线| 久久精品国产99精品国产亚洲性色| 无遮挡黄片免费观看| 两人在一起打扑克的视频| 色噜噜av男人的天堂激情| 狂野欧美激情性xxxx| 国产野战对白在线观看| 伦理电影免费视频| 九九热线精品视视频播放| 亚洲第一电影网av| 国产精品一区二区三区四区久久| 韩国av一区二区三区四区| 久久久久久久精品吃奶| 午夜两性在线视频| 免费在线观看成人毛片| 色在线成人网| 亚洲国产中文字幕在线视频| 在线免费观看的www视频| 一级毛片高清免费大全| 国产精品爽爽va在线观看网站| 无限看片的www在线观看| 狠狠狠狠99中文字幕| 又紧又爽又黄一区二区| 国产精华一区二区三区| 一区二区三区高清视频在线| e午夜精品久久久久久久| 男女下面进入的视频免费午夜| 天堂影院成人在线观看| 19禁男女啪啪无遮挡网站| 国产伦一二天堂av在线观看| 夜夜爽天天搞| 身体一侧抽搐| 亚洲成a人片在线一区二区| 久久精品夜夜夜夜夜久久蜜豆 | 在线十欧美十亚洲十日本专区| www.www免费av| 男人舔女人的私密视频| 国产v大片淫在线免费观看| 午夜免费观看网址| 久久 成人 亚洲| 日本a在线网址| 久久精品91蜜桃| 亚洲欧美激情综合另类| av欧美777| 丁香六月欧美| 69av精品久久久久久|