• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度可分離卷積和寬殘差網(wǎng)絡(luò)的醫(yī)學(xué)影像超分辨率重建

    2019-10-31 09:21:33高媛王曉晨秦品樂王麗芳
    計(jì)算機(jī)應(yīng)用 2019年9期

    高媛 王曉晨 秦品樂 王麗芳

    摘 要:為提高醫(yī)學(xué)影像超分辨率的重建質(zhì)量,提出了一種基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法。首先,利用深度可分離卷積改進(jìn)網(wǎng)絡(luò)的殘差塊,擴(kuò)寬殘差塊中卷積層的通道,將更多的特征信息傳入了激活函數(shù),使得網(wǎng)絡(luò)中淺層低級(jí)圖像特征更容易地傳播到高層,提高了醫(yī)學(xué)影像超分辨率的重建質(zhì)量;然后,采用組歸一化的方法訓(xùn)練網(wǎng)絡(luò),將卷積層的通道維度劃分為組,在每個(gè)組內(nèi)計(jì)算歸一化的均值和方差,使得網(wǎng)絡(luò)訓(xùn)練過程更快地收斂,解決了深度可分離卷積擴(kuò)寬通道數(shù)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練難度增加的問題,同時(shí)網(wǎng)絡(luò)表現(xiàn)出更好的性能。實(shí)驗(yàn)結(jié)果表明,對(duì)比傳統(tǒng)的最近鄰插值、雙三次插值超分辨率算法,以及基于稀疏表達(dá)的超分辨率算法,所提算法重建出的醫(yī)學(xué)影像紋理細(xì)節(jié)更加豐富、視覺效果更加逼真。對(duì)比基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率算法,基于寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法和生成對(duì)抗網(wǎng)絡(luò)超分辨率算法,所提算法在峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)上有顯著的提升。

    關(guān)鍵詞:超分辨率;寬殘差;深度可分離卷積;組歸一化;殘差塊

    中圖分類號(hào):TP391.41

    文獻(xiàn)標(biāo)志碼:A

    Medical image super-resolution reconstruction based on depthwise separable convolution and wide residual network

    GAO Yuan*, WANG Xiaochen, QIN Pinle, WANG Lifang

    School of Data Science, North University of China, Taiyuan Shanxi 030051, China

    Abstract:

    In order to improve the quality of medical image super-resolution reconstruction, a wide residual super-resolution neural network algorithm based on depthwise separable convolution was proposed. Firstly, the depthwise separable convolution was used to improve the residual block of the network, widen the channel of the convolution layer in the residual block, and pass more feature information into the activation function, making the shallow low-level image features in the network easier transmitted to the upper level, so that the quality of medical image super-resolution reconstruction was enhanced. Then, the network was trained by group normalization, the channel dimension of the convolutional layer was divided into groups, and the normalized mean and variance were calculated in each group, which made the network training process converge faster, and solved the difficulty of network training because the depthwise separable convolution widens the number of channels. Meanwhile, the network showed better performance. The experimental results show that compared with the traditional nearest neighbor interpolation, bicubic interpolation super-resolution algorithm and the super-resolution algorithm based on sparse expression, the medical image reconstructed by the proposed algorithm has richer texture detail and more realistic visual effects. Compared with the super-resolution algorithm based on convolutional neural network, the super-resolution neural network algorithm based on wide residual and the generative adversarial-network super-resolution algorithm, the proposed algorithm has a significant improvement in PSNR (Peak Signal-to-Noise Ratio) and SSIM (Structural SIMilarity index).

    Key words:

    super resolution; wide residual; depthwise separable convolution; group normalization; residual block

    0 引言

    隨著醫(yī)學(xué)影像在醫(yī)療實(shí)踐中的不斷發(fā)展和廣泛使用,計(jì)算機(jī)斷層成像(Computed Tomography, CT)[1]、磁共振成像(Magnetic Resonance Imaging, MRI)[2]、正電子發(fā)射計(jì)算機(jī)斷層掃描(Positron Emission Tomography, PET)[3]等技術(shù)成為臨床診斷不可或缺的工具,而清晰的醫(yī)學(xué)影像可以提供豐富的病灶信息,輔助醫(yī)生進(jìn)行更加精確的診斷。但由于成像技術(shù)和成像原理的不同,獲得的醫(yī)學(xué)影像的分辨率也就不同,低分辨率的醫(yī)學(xué)影像中,噪聲和偽影會(huì)損害診斷信息,在臨床上很難進(jìn)行全面綜合的診斷,因此,對(duì)醫(yī)學(xué)影像進(jìn)行超分辨率重建,可以在不增加高分辨率成像技術(shù)成本的基礎(chǔ)上,降低對(duì)成像環(huán)境的要求,通過復(fù)原出的清晰醫(yī)學(xué)影像,實(shí)現(xiàn)對(duì)病變部位的精準(zhǔn)探測(cè),有助于醫(yī)生對(duì)患者病情作出更好的診斷[4]。

    目前,圖像超分辨率(Super Resolution, SR)技術(shù)的研究方向分為兩類:1)基于整體視覺效果的超分辨率重建。經(jīng)典算法如基于生成對(duì)抗的超分辨率網(wǎng)絡(luò)(photo-realistic single image Super-Resolution using a Generative Adversarial Network, SRGAN)[5],以及具有感知損耗的實(shí)時(shí)傳輸超分辨率網(wǎng)絡(luò)(perceptual losses for Real-time style Transfer and Super-Resolution, RTSR)[6]等。該類方法追求符合人類認(rèn)知視覺的整體效果,但對(duì)細(xì)節(jié)部分的重建要求不高。應(yīng)用場(chǎng)景如低分辨率電視視頻的恢復(fù)、相機(jī)模糊圖像的恢復(fù)等。2)基于細(xì)節(jié)的超分辨率重建。傳統(tǒng)算法如最近鄰插值(bilinear)[7]和雙三次插值(bicubic)[8],以及基于稀疏表達(dá)的圖像超分辨率(image Super-Resolution Via Sparse Representation, SRVSR)[9];基于深度學(xué)習(xí)的算法如使用深度卷積網(wǎng)絡(luò)的圖像超分辨率(image Super-Resolution using Deep Convolutional Networks, SRCNN)[10],單圖像超分辨率的增強(qiáng)型深度殘差網(wǎng)絡(luò)(Enhanced Deep residual networks for single image Super-Resolution, EDSR)[11],以及寬殘差的高效超分辨率網(wǎng)絡(luò)(Wide activation for efficient and accurate image Super-Resolution, WDSR)[12]等。該類方法對(duì)細(xì)節(jié)要求苛刻,力求恢復(fù)出圖像真實(shí)可靠的細(xì)節(jié)及紋理信息,應(yīng)用場(chǎng)景如醫(yī)學(xué)影像上的超分辨率重建、低分辨率攝像頭人臉或者外形的恢復(fù)等。

    傳統(tǒng)的超分辨率算法,如基于稀疏表達(dá)的圖像超分辨率,通過強(qiáng)化高分辨率圖像和低分辨率圖像的字典之間稀疏表示的相似性,學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的稀疏系數(shù),使用學(xué)習(xí)到的稀疏系數(shù)和高分辨率字典重建出了較為清晰的高分辨率圖片。而基于深度學(xué)習(xí)的超分辨率神經(jīng)網(wǎng)絡(luò)算法,通過加深網(wǎng)絡(luò)的深度,學(xué)習(xí)圖像的高級(jí)特征信息,重建出的圖像更加清晰,在PSNR和SSIM上均取得比傳統(tǒng)方法更好的效果。醫(yī)學(xué)影像的超分辨率重建要求細(xì)節(jié)明顯、紋理清晰,同時(shí)減弱噪聲的影響。因此,在對(duì)醫(yī)學(xué)影像進(jìn)行超分辨率重建時(shí),定位在對(duì)超分辨率神經(jīng)網(wǎng)絡(luò)的優(yōu)化上:即如何在圖像尺寸放大的同時(shí)獲得更好的細(xì)節(jié)收益,且不放大噪聲,減弱噪聲對(duì)重建的影響。

    Yu等[12]提出的WDSR網(wǎng)絡(luò)認(rèn)為,在單圖像超分辨率(Single Image Super-Resolution, SISR)網(wǎng)絡(luò)的問題中,具有更廣泛特征信息激活的網(wǎng)絡(luò)具有更好的性能,因此,基于WDSR算法,本文提出了基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法(Wide Residual Super-Resolution neural network based on depthwise separable convolution, WR-SR)。該算法利用深度可分離卷積(Depthwise separable convolution)[13]進(jìn)一步擴(kuò)寬了卷積層的通道數(shù),使得淺層更多的特征信息傳入到深層,增大了醫(yī)學(xué)影像在上采樣4倍時(shí)的細(xì)節(jié)收益,同時(shí)利用組歸一化(Group Normalization, GN)[14]方法在卷積層的通道維度內(nèi)計(jì)算均值和方差,在提升網(wǎng)絡(luò)訓(xùn)練速度的同時(shí)提高了網(wǎng)絡(luò)的性能。實(shí)驗(yàn)結(jié)果顯示,使用深度可分離卷積擴(kuò)寬卷積層通道這一方法效果顯著,與SRGAN、WDSR等超分辨率算法相比,獲得了更高的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity index, SSIM)。

    1 相關(guān)理論

    1.1 寬殘差的高效超分辨率網(wǎng)絡(luò)算法

    寬殘差的高效超分辨率(WDSR)網(wǎng)絡(luò)算法在NTIRE 2018數(shù)據(jù)集DIV2K(一個(gè)大型的自然圖像數(shù)據(jù)集,具有大量的RGB圖像)的超分辨率挑戰(zhàn)賽上獲得了3個(gè)比賽方向上的冠軍。該算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,包括全局殘差學(xué)習(xí)、遞歸學(xué)習(xí)和上采樣處理3個(gè)模塊。網(wǎng)絡(luò)使用低分辨率圖片作為輸入,在低分辨率階段使用3×3卷積核(3×3 Conv)提取圖像所有特征;之后在遞歸殘差塊(Residual Body)內(nèi)學(xué)習(xí)圖像的高級(jí)特征,再使用3×3卷積核(3×3 Conv)提取學(xué)習(xí)到的高級(jí)特征;最后在上采樣層中使用像素重組(Pixel Shuffle)的方式對(duì)圖像進(jìn)行放大。同時(shí)使用全局殘差學(xué)習(xí)(Global Residual Learning)將原始低分辨率圖像進(jìn)行上采樣處理,與學(xué)習(xí)的高級(jí)特征疊加后輸出超分辨率圖片。

    網(wǎng)絡(luò)深度的增加給表示能力帶來了好處,但同時(shí)未充分使用來自淺層的特征信息。WDSR中證明非線性激活函數(shù)(Rectified Linear Unit, ReLU)阻礙了從淺層到深層的信息流,不同于在其他網(wǎng)絡(luò)中添加各種跳過連接(Skip Connection)的方式,只需在激活函數(shù)ReLU之前擴(kuò)展特征圖(Feature map)的大小,即可顯著改善圖像的重建質(zhì)量。為此,該算法提出了線性低秩卷積(如圖2所示)構(gòu)建超分辨率網(wǎng)絡(luò)的殘差塊,它將大卷積核分解為兩個(gè)低秩卷積核,其中一個(gè)1×1的卷積核用于減少特征圖的通道數(shù),另一個(gè)3×3的卷積核用于提取特征。

    WDSR使用殘差塊擴(kuò)展特征圖大小的同時(shí),又使用了1×1卷積核減少了特征圖的通道數(shù),解決了網(wǎng)絡(luò)過寬導(dǎo)致難以訓(xùn)練的難題。但是,該方法限制了網(wǎng)絡(luò)寬度的增加,使得之后的3×3卷積層提取的特征信息不足,導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)的淺層特征較少,從而影響了網(wǎng)絡(luò)的重建效果。

    1.2 深度可分離卷積

    線性低秩卷積是實(shí)現(xiàn)空間相關(guān)性和通道相關(guān)性的聯(lián)合映射,即同時(shí)考慮輸入的空間特征和通道特征。Sifre等[14]認(rèn)為,卷積層通道間的相關(guān)性和空間相關(guān)性是可以解耦合的,將它們分開映射,能達(dá)到更好的效果。提出深度可分離卷積模塊將空間和通道的計(jì)算分開,在輸入的每個(gè)通道上單獨(dú)地執(zhí)行通道卷積,之后再進(jìn)行不添加非線性激活函數(shù)的空間卷積。

    如圖3所示,Input表示卷積核的輸入通道數(shù),Output表示卷積核的輸出通道數(shù),該模塊將線性低秩卷積的3×3×Input×Output卷積核分解為一個(gè)3×3×1×Input的卷積核和一個(gè)1×1×Input×Output的卷積核。線性低秩卷積核所需參數(shù)為3×3×Input×Output,而深度可分離卷積核所需的參數(shù)為3×3×1×Input+1×1×Input×Output。當(dāng)網(wǎng)絡(luò)的寬度增大時(shí),即輸入與輸出通道數(shù)增大時(shí),深度可分離卷積操作所需的參數(shù)將遠(yuǎn)小于線性低秩卷積所需的參數(shù)。

    深度可分離卷積首先使用3×3的卷積核將特征圖的各個(gè)通道映射到一個(gè)新的空間,在這一過程中學(xué)習(xí)通道的相關(guān)性,再通過1×1的卷積核進(jìn)行卷積,以同時(shí)學(xué)習(xí)空間上的相關(guān)性和通道間的相關(guān)性。與同時(shí)學(xué)習(xí)通道和空間相關(guān)性的線性低秩卷積操作相比,深度可分離卷積實(shí)現(xiàn)了通道和空間的分離,不僅比線性低秩卷積減少了所需要的參數(shù),使得網(wǎng)絡(luò)的訓(xùn)練速度變快,而且進(jìn)一步提升了網(wǎng)絡(luò)的寬度,使得更多的特征信息能夠在網(wǎng)絡(luò)中進(jìn)行傳播,提高了網(wǎng)絡(luò)的重建質(zhì)量。

    1.3 歸一化層

    神經(jīng)網(wǎng)絡(luò)中的每一層都面臨輸入的分布隨訓(xùn)練而變化的情況,所以每個(gè)中間層需要不斷適應(yīng)其輸入的變化,導(dǎo)致網(wǎng)絡(luò)變得難以訓(xùn)練。歸一化層通過標(biāo)準(zhǔn)化輸入的均值和方差,使得每一層都能夠?qū)W習(xí)到更穩(wěn)定的輸入分布,確保網(wǎng)絡(luò)能夠使用更大的學(xué)習(xí)率,從而提高了網(wǎng)絡(luò)的訓(xùn)練速度,提高了網(wǎng)絡(luò)表達(dá)能力。

    在深度學(xué)習(xí)中,常見的歸一化層有以下四種。如圖4所示,其中每個(gè)圖表示特征圖張量,H和W表示特征圖的高和寬,C表示通道維度,N表示批量維度,深色區(qū)域的內(nèi)容表示使用的是相同的均值和方差,通過聚合該區(qū)域的像素值來計(jì)算該歸一化。1)批量歸一化(Batch Normalization, BN)[16]。BN沿樣本的批量維度N執(zhí)行全局歸一化,當(dāng)輸入分布發(fā)生變化時(shí),之前計(jì)算的數(shù)據(jù)分布也可能改變,這導(dǎo)致網(wǎng)絡(luò)每層的權(quán)重訓(xùn)練不一致。Nah等[17]在圖像去模糊工作中認(rèn)為,由于批量標(biāo)準(zhǔn)化層對(duì)特征進(jìn)行了規(guī)范化,導(dǎo)致網(wǎng)絡(luò)變得不靈活,并且消耗了計(jì)算資源,去除BN層后使網(wǎng)絡(luò)的重建性能獲得了提升。2)層歸一化(Layer Normalization, LN)[18]。LN沿通道維度C進(jìn)行歸一化,僅針對(duì)每個(gè)樣本操作,解決了批量歸一化中網(wǎng)絡(luò)過度依賴批量大小的問題,但在大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)中,LN訓(xùn)練的效果不如BN。3)權(quán)重歸一化(Weight Normalization, WN)[19]。WN對(duì)卷積核的權(quán)重進(jìn)行歸一化,而不是對(duì)特征進(jìn)行操作。WN層同樣不會(huì)受到批量維度的影響,但WN僅針對(duì)卷積核的參數(shù)歸一化,擴(kuò)寬卷積核的通道后將導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練速度降低。4)組歸一化,簡(jiǎn)稱GN層,將通道維度C劃分為不同的組,在組內(nèi)進(jìn)行歸一化。

    由于圖像的形狀、照明、紋理等特征的系數(shù)相互依賴,它們的依賴關(guān)系在網(wǎng)絡(luò)中表現(xiàn)為前后不同的幾組通道。因此,將網(wǎng)絡(luò)通道進(jìn)行分組歸一化來處理,可使超分辨率網(wǎng)絡(luò)學(xué)習(xí)到這些特征之間的依賴關(guān)系,有效提升網(wǎng)絡(luò)的性能。本文將在擴(kuò)寬網(wǎng)絡(luò)寬度的基礎(chǔ)上,使用GN層在卷積核的通道維度內(nèi)進(jìn)行歸一化,從而加快網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度并提高網(wǎng)絡(luò)的性能。

    2 深度可分離卷積寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)

    2.1 改進(jìn)思想

    影響超分辨率網(wǎng)絡(luò)重建性能的兩個(gè)重要因素是網(wǎng)絡(luò)的寬度和深度?;诟嗟奶卣餍畔⒂幸嬗谔岣叱直媛示W(wǎng)絡(luò)的重建性能這一思想,WDSR算法提出線性低秩卷積,用以擴(kuò)展輸入通道的特征維度,但隨著網(wǎng)絡(luò)寬度的增加,網(wǎng)絡(luò)變得難以訓(xùn)練,限制了其寬度的繼續(xù)增長(zhǎng)。本文運(yùn)用深度可分離卷積,改進(jìn)WDSR算法的殘差塊,進(jìn)一步提升網(wǎng)絡(luò)的寬度,提出了基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)(WR-SR)。同時(shí),運(yùn)用組歸一化的方法,解決了由于網(wǎng)絡(luò)變寬導(dǎo)致難以訓(xùn)練的難題,將輸入特征的維度進(jìn)行分組歸一化處理,不僅可以加快網(wǎng)絡(luò)的訓(xùn)練速度,而且可以提升網(wǎng)絡(luò)的性能。

    2.2 網(wǎng)絡(luò)結(jié)構(gòu)

    2.2.1 基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)

    WR-SR的網(wǎng)絡(luò)深度為34層,包括32層的殘差塊(Residual Body)以及殘差塊前后2個(gè)提取特征的卷積層。通過改進(jìn)殘差塊與使用組歸一化方法,設(shè)計(jì)的整個(gè)WR-SR網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

    WR-SR算法直接使用隨機(jī)裁剪的3×24×24大小的補(bǔ)丁作為輸入,在殘差塊前后使用大小為3×3的卷積核(Conv)提取特征,使用GN層進(jìn)行歸一化;之后在殘差塊內(nèi)學(xué)習(xí)圖像之間的高級(jí)特征,輸出3×42×24×24的補(bǔ)丁,其中4是上采樣的比例;最后通過像素重組(Pixel Shuffle)的方式將補(bǔ)丁上采樣為3×96×96的大小。同時(shí),使用全局殘差學(xué)習(xí)(Global Residual Learning)將輸入圖像的原始特征信息與深層學(xué)習(xí)的高級(jí)特征信息疊加,輸出重建的超分辨率圖像。最終將原始的低分辨率圖像放大4倍為超分辨率圖像,且重建的圖像細(xì)節(jié)信息豐富,同時(shí)減弱了噪聲的影響。

    2.2.2 構(gòu)建殘差塊

    為擴(kuò)展卷積層的特征維度,即通道數(shù),基于Laurent Sifre提出的深度可分離卷積模塊對(duì)WDSR算法的殘差塊作了改進(jìn):通過分別計(jì)算通道和空間上的特征,使用3×3的卷積核和1×1的卷積核線性組合的方式重新設(shè)計(jì)了維度更高的殘差塊,將網(wǎng)絡(luò)的特征維度分別擴(kuò)展至了1536維和2048維。同時(shí)使用GN層對(duì)卷積層的通道數(shù)進(jìn)行歸一化,以加快網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度。

    每個(gè)殘差塊內(nèi)輸入的特征圖大小是x×x×256,其中x表示特征圖的高或?qū)挘?56表示其通道數(shù)。首先,在通道相關(guān)性上,使用3×3大小的卷積核提取通道特征,得到x×x×256大小的特征圖,再使用1×1大小的卷積核對(duì)這些特征圖提取空間特征,即聯(lián)合映射所有維度的相關(guān)性,得到x×x×1536大小的特征圖;其次,繼續(xù)使用3×3卷積核和1×1卷積核以同樣的方式將特征圖擴(kuò)寬至x×x×2048;之后,使用ReLU作為激活函數(shù),以增加輸入的非線性;最后,使用3×3和1×1的卷積核,將卷積層的通道數(shù)由2048維降到256維,以實(shí)現(xiàn)網(wǎng)絡(luò)的快速訓(xùn)練。最終輸出x×x×256大小的特征圖。殘差塊的深度為32層,前一層的輸出為后一層的輸入。每層殘差塊的定義如圖6所示。

    通過該殘差塊結(jié)構(gòu)以及擴(kuò)寬特征維度的方式,網(wǎng)絡(luò)中來自淺層的低級(jí)圖像特征可以更容易地傳播到深層。改進(jìn)的殘差塊獲得了更清晰的細(xì)節(jié)及紋理信息,同時(shí)減弱了圖像的噪聲及偽影的影響。

    2.2.3 組歸一化

    針對(duì)醫(yī)學(xué)影像超分辨率,小批量的醫(yī)學(xué)影像其均值和方差差異較大,因此不適用使用BN層進(jìn)行歸一化。由于WR-SR擴(kuò)寬了卷積層的通道,LN層和WN層歸一化也不適用于該網(wǎng)絡(luò)的訓(xùn)練。因此,本文采用了GN層對(duì)WR-SR網(wǎng)絡(luò)進(jìn)行歸一化。

    描述特征歸一化的一般公式:

    i =(xi-μi)/σi(1)

    其中:xi是由某一層計(jì)算的特征,i是索引,在二維圖像的情況下,i=(iN,iC,iH,iW)是以(N,C,H,W)順序索引的4維向量,其中N是批量向量,C是通道向量,H是高度向量,W是寬度向量。 μ和σ是由式(2)和式(3)計(jì)算的均值和標(biāo)準(zhǔn)差:

    μi=1m∑k∈Sixk(2)

    σi=1m∑k∈Si(xk-μi)2+ε(3)

    其中:m是該集合的大小,ε是一個(gè)常數(shù),k是索引。如式(4)所示,Si為μ和σ的約束條件,它是計(jì)算均值和方差的像素集合。

    Si=kkN=iN,kCC/G=iCC/G(4)

    其中:iN和kN表示沿批量向量N的i和k的索引,這表示相同批量索引的像素被一起歸一化。iC和kC表示索引i和k在同一組通道中。G是組的數(shù)量,它是預(yù)定義的超參數(shù)。C/G是每組的通道數(shù)。 GN沿(H,W)向量在一組通道內(nèi)計(jì)算μ和σ。如Razavian等[20]在通過減少內(nèi)部協(xié)變量偏移來加速深度網(wǎng)絡(luò)訓(xùn)練中所述相同,組歸一化也學(xué)習(xí)了一個(gè)通道線性變換,以補(bǔ)償表示能力的可能丟失:

    yi=γi+β(5)

    其中:γ和β是可訓(xùn)練的比例和位移。

    綜上所述,GN層由等式(1)、(2)、(3)、(4)、(5)定義。具體而言,同一組中的像素通過計(jì)算相同的μ和σ被一起歸一化。除此之外,GN還學(xué)習(xí)每個(gè)通道的γ和β。通過運(yùn)用組歸一化的方法,WR-SR算法在訓(xùn)練期間加快L1損失收斂速度的同時(shí)獲得了更高的PSNR值。

    2.3 實(shí)驗(yàn)參數(shù)及訓(xùn)練過程

    實(shí)驗(yàn)所采用的數(shù)據(jù)集來源于開源的美國(guó)國(guó)家醫(yī)學(xué)圖書館MedPix數(shù)據(jù)庫(kù)中的肺部淋巴結(jié)數(shù)據(jù),并從中選取了不同病人的900張512×512高分辨率醫(yī)學(xué)影像用作訓(xùn)練與測(cè)試。實(shí)驗(yàn)使用800張圖像作為訓(xùn)練集,100張圖像作為測(cè)試集。為減少測(cè)試所需的時(shí)間,在訓(xùn)練期間取測(cè)試集中的10張圖像作為驗(yàn)證集,以驗(yàn)證訓(xùn)練期間的L1損失和PSNR值。在訓(xùn)練期間,使用隨機(jī)水平和旋轉(zhuǎn)兩種方式增強(qiáng)訓(xùn)練集。在訓(xùn)練之前將512×512的醫(yī)學(xué)影像轉(zhuǎn)為png格式的RGB圖片,之后使用隨機(jī)裁剪的方式將512×512的圖像裁剪為96×96大小的補(bǔ)丁,并將其作為高分辨率(High Resolution, HR)圖像,接著將96×96的HR圖像下采樣為24×24的低分辨率(Low Resolution, LR)圖像并作為網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)通過端到端的映射將LR圖像上采樣4倍為96×96大小的超分辨率(Super Resolution, SR)圖像,通過計(jì)算并不斷迭代SR和HR之間的L1損失以優(yōu)化網(wǎng)絡(luò)中的參數(shù)。

    實(shí)驗(yàn)采用PSNR和SSIM作為醫(yī)學(xué)影像超分辨率的評(píng)價(jià)指標(biāo),同時(shí)以L1損失驗(yàn)證網(wǎng)絡(luò)訓(xùn)練期間的收斂速度。

    3 實(shí)驗(yàn)結(jié)果

    本文的實(shí)驗(yàn)采用mini-batch的訓(xùn)練方式,mini-batch大小設(shè)置為16。初始學(xué)習(xí)率設(shè)置為10-4,每迭代2×105次,學(xué)習(xí)率減半,以加快網(wǎng)絡(luò)的訓(xùn)練。本文的實(shí)驗(yàn)環(huán)境為Ubuntu 14.01.5 LTS操作系統(tǒng),Pytorch V0.4.1,CUDA Toolkit 9.0,Python3.6。整個(gè)網(wǎng)絡(luò)在兩塊NVIDIA Tesla M40上運(yùn)行了2天?;跉埐顗K的改進(jìn)與GN層的替換,本文在相同的實(shí)驗(yàn)環(huán)境下做了兩組對(duì)比實(shí)驗(yàn),以驗(yàn)證改進(jìn)算法WR-SR在醫(yī)學(xué)影像超分辨率上的PSNR值和SSIM指標(biāo),該評(píng)價(jià)指標(biāo)以驗(yàn)證集作為參考圖像,通過計(jì)算測(cè)試結(jié)果與參考圖像之間的差異評(píng)判網(wǎng)絡(luò)的準(zhǔn)確性。此外,在相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集下,與傳統(tǒng)的超分辨率方法(包括Biliner和Bicubic)以及基于深度學(xué)習(xí)的超分辨率算法(包括SRGAN、WDSR)作了對(duì)比,以顯示W(wǎng)R-SR算法的優(yōu)越性。本文共做了三組對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)證明WR-SR算法在性能和評(píng)價(jià)指標(biāo)上與其他算法相比,確實(shí)有明顯提高。

    3.1 改進(jìn)殘差塊對(duì)比實(shí)驗(yàn)

    為了驗(yàn)證進(jìn)一步擴(kuò)寬特征維度的改進(jìn)殘差塊與未改進(jìn)的殘差塊的效果,在使用GN歸一化層的基礎(chǔ)上,以及相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集條件下做了兩種殘差塊的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)運(yùn)行了250個(gè)時(shí)期(epoch),每個(gè)epoch內(nèi)迭代了1000次,共迭代了2.5×105次。同時(shí)在10張圖像的驗(yàn)證集上計(jì)算了網(wǎng)絡(luò)的L1損失和PSNR值以驗(yàn)證網(wǎng)絡(luò)的收斂性和準(zhǔn)確性,同時(shí)對(duì)測(cè)試結(jié)果計(jì)算了SSIM,以評(píng)價(jià)各殘差塊在醫(yī)學(xué)影像超分辨率上的優(yōu)劣。兩種方法的L1損失及PSNR值如圖7和圖8所示。

    圖7中,上下兩條線分別代表WDSR網(wǎng)絡(luò)和WR-SR網(wǎng)絡(luò)的訓(xùn)練結(jié)果。從圖7中可以看出,在迭代相同的250個(gè)Epoch的情況下,與WDSR網(wǎng)絡(luò)相比,WR-SR網(wǎng)絡(luò)在訓(xùn)練過程中,其L1損失收斂得更快,且獲得了更低的損失值。證明WR-SR算法在改進(jìn)殘差塊后,加快了網(wǎng)絡(luò)的訓(xùn)練速度,同時(shí)提升了網(wǎng)絡(luò)性能。

    圖8中,上下兩條線分別代表WR-SR網(wǎng)絡(luò)和WDSR網(wǎng)絡(luò)的訓(xùn)練結(jié)果。從圖8中可以看出:兩種方法均在200至250個(gè)Epoch期間趨于穩(wěn)定。同時(shí),與WDSR網(wǎng)絡(luò)對(duì)比,WR-SR在改進(jìn)殘差塊后收斂得更快,且獲得更高了PSNR值。

    該組對(duì)比實(shí)驗(yàn)證明,通過使用深度可分離卷積擴(kuò)展殘差塊的特征維度,改進(jìn)的WR-SR網(wǎng)絡(luò)獲得了更快的收斂性和更高的準(zhǔn)確性。

    3.2 GN對(duì)比實(shí)驗(yàn)

    該組實(shí)驗(yàn)在相同的數(shù)據(jù)集以及實(shí)驗(yàn)環(huán)境下分別使用GN歸一化層和WN歸一化層進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)在10張圖片的驗(yàn)證集上以L1損失評(píng)估兩種方法的訓(xùn)練過程的準(zhǔn)確性及收斂速度,其結(jié)果如圖9所示。

    從圖9(a)中可以看出,使用WN層歸一化WR-SR網(wǎng)絡(luò)時(shí),其開始的L1損失較高。在網(wǎng)絡(luò)訓(xùn)練至20個(gè)Epoch后,L1損失才出現(xiàn)明顯收斂。

    從圖9(b)中可以看出,使用GN層歸一化WR-SR的網(wǎng)絡(luò)其L1損失開始值遠(yuǎn)小于使用WN層歸一化的網(wǎng)絡(luò)。網(wǎng)絡(luò)在訓(xùn)練至10個(gè)Epoch后出現(xiàn)明顯收斂,且其L1損失為3.97,遠(yuǎn)小于使用WN層訓(xùn)練的網(wǎng)絡(luò),表示網(wǎng)絡(luò)的準(zhǔn)確性更高。

    該組對(duì)比實(shí)驗(yàn)證明,通過使用組歸一化的方法,WR-SR網(wǎng)絡(luò)獲得了更快的收斂性,顯著提升了網(wǎng)絡(luò)的性能。同時(shí),實(shí)驗(yàn)對(duì)比了各個(gè)方法的PSNR值和SSIM指標(biāo),其結(jié)果如表1所示。

    從表1中可以看出,同時(shí)修改殘差塊和添加GN層歸一化的方法,其PSNR值和SSIM指標(biāo)均高于其余任何方法。且單獨(dú)修改殘差塊的方法,其PSNR值和SSIM指標(biāo)均顯著高于單獨(dú)未修改殘差塊的方法。同時(shí),添加GN層的方法其PSNR值和SSIM指標(biāo)均高于使用WN層的方法。

    3.3 改進(jìn)算法的對(duì)比實(shí)驗(yàn)

    本文將修改的殘差塊和使用GN層訓(xùn)練的網(wǎng)絡(luò)作為最終模型,在測(cè)試集中選取了4幅圖像,與傳統(tǒng)的超分辨率算法(包括Bilinear、Bicubic算法和SRVSR算法)以及基于深度學(xué)習(xí)的SRCNN算法、SRGAN算法和WDSR算法進(jìn)行了對(duì)比,并以PSNR與SSIM作為評(píng)價(jià)指標(biāo)計(jì)算原圖像與各算法生成的圖像之間的差異。各算法的評(píng)價(jià)指標(biāo)如表2所示,實(shí)驗(yàn)結(jié)果如圖10所示。

    由表2可以看出,WR-SR算法在PSNR和SSIM上均顯著高于傳統(tǒng)方法與基于深度學(xué)習(xí)的算法,此外,WR-SR算法與WDSR原始算法對(duì)比,亦提升了1~2dB的PSNR值與0.2~0.3的SSIM指標(biāo)。

    圖10(a)為原始高清圖像(Ground Truth),圖10(b)~(h)為表2中提到的各個(gè)算法訓(xùn)練出的實(shí)驗(yàn)結(jié)果。由圖10顯示的結(jié)果可以看出,使用WR-SR網(wǎng)絡(luò)訓(xùn)練的實(shí)驗(yàn)結(jié)果其圖像更加接近于原始圖像,且均明顯優(yōu)于其他方法,得到了較好的超分辨率圖像。該組對(duì)比實(shí)驗(yàn)證明,WR-SR算法在醫(yī)學(xué)影像超分辨率上顯示出了更好的細(xì)節(jié)收益以及更少的噪聲以及偽影信息。

    4 結(jié)語(yǔ)

    本文提出了一種基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法,該算法使用深度可分離卷積構(gòu)建殘差塊,以擴(kuò)寬卷積層的特征維度,即通道數(shù);使用組歸一化方法對(duì)卷積層的通道分組,在組內(nèi)進(jìn)行歸一化。三組對(duì)比實(shí)驗(yàn)顯示,對(duì)于肺部淋巴結(jié)的4倍超分辨率圖像,WR-SR算法在測(cè)試集上的PSNR和SSIM指標(biāo)上均顯著高于傳統(tǒng)的超分辨率方法和其他基于深度學(xué)習(xí)的超分辨率算法。同時(shí)生成的圖像細(xì)節(jié)豐富,減弱了噪聲的影響,充分證明了改進(jìn)算法在醫(yī)學(xué)影像超分辨率上高效與準(zhǔn)確性。在下一步的工作中,將使WR-SR算法結(jié)合生成式對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)框架,探討感知質(zhì)量良好但PSNR值較低的GAN網(wǎng)絡(luò)對(duì)于醫(yī)學(xué)影像,其超分辨率的結(jié)果是否也具有較高的準(zhǔn)確性。

    參考文獻(xiàn)

    [1]RIVIERE P J L, VARGAS P, FU G. et al. Accelerating X-ray fluorescence computed tomography [C]// Proceedings of the 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway, NJ: IEEE, 2009:1000-1003.

    [2]PELEDS, YESHURUNY. Superresolution in MRI: application to human white matter fiber tract visualization by diffusion tensor imaging[J]. Magnetic Resonance in Medicine, 2001, 45(1): 29-35.

    [3]SUBBARAO M. High-sensitivity Single-Photon Emission Computed Tomography (SPECT): safer, faster, and more accurate SPECT [C]// Proceedings of the 8th International Conference and Expo on Emerging Technologies for a Smarter World. Piscataway, NJ: IEEE, 2011: 1-2.

    [4]PARK S C, PARK M K, KANG M G. Super-resolution image reconstruction: a technical overview[J]. IEEE Signal Processing Magazine, 2003, 20(3): 21-36.

    [5]LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 105-114.

    [6]JOHNSON J, ALAHI A, LI F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision, LNCS 9906. Berlin: Springer, 2016: 694-711.

    [7]蘇衡,周杰,張志浩.超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào),2013,39(8): 1202-1213.(SU H, ZHOU J, ZHANG Z H. Survey of super-resolution image reconstruction methods [J]. Acta Automatica Sinica, 2013, 39(8): 1202-1213.)

    [8]KEYS R. Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1981, 29(6): 1153-1160.

    [9]YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing,2010,19(11):2861-2873.

    [10]DONG C, LOY C C, HE K. et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

    [11]LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2017: 1132-1440.

    [12]YU J, FAN Y, YANG J, et al. Wide activation for efficient and accurate image super-resolution [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ:IEEE, 2018. 2621-2624.

    YU J, FAN Y, YANG J, et al. Wide activation for efficient and accurate image super-resolution [EB/OL]. [2019-01-23]. https://arxiv.org/pdf/1808.08718v1.pdf.

    [13]CHOLLET F. Xception: deep learning with depthwise separable convolutions [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 1800-1807.

    [14]WU Y, HE K. Group normalization [EB/OL]. [2018-12-12]. https://arxiv.org/pdf/1803.08494.pdf.

    [15]SIFRE L, MALLAT S. Rotation, scaling and deformation invariant scattering for texture discrimination [C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ :IEEE, 2013: 1233-1240.

    [16]IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015,37: 448-456.

    IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift [EB/OL]. [2019-01-10]. https://arxiv.org/pdf/1502.03167.pdf.

    [17]NAH S, KIM T H, LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 257-265.

    [18]BA J L, KIROS J R, HINTON G E. Layer normalization [EB/OL]. [2019-01-20]. https://arxiv.org/pdf/1607.06450.pdf.

    [19]SALIMANS T, KIMGMA D P. Weight normalization: a simple reparameterization to accelerate training of deep neural networks [C]// Proceedings of the 30th Neural Information Processing Systems. New York: NIPS, 2016: 901-909.

    [20]RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off-the-shelf: an astounding baseline for recognition [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2014:512-519.

    GAO Yuan, born in 1972, M. S., associate professor. Her Research interests include image processing, artificial intelligence.

    WANG Xiaochen, born in 1995, M. S. candidate. His research interests include deep learning, computer vision.

    QIN Pinle, born in 1978, Ph. D., associate professor. His research interests include machine vision, big data processing.

    WANG Lifang, born in 1977, Ph. D., associate professor. Her research interest include machine vision, big data processing.

    我的老师免费观看完整版| 国产一区二区在线观看日韩| 午夜a级毛片| 亚州av有码| 中国美女看黄片| 国产淫片久久久久久久久 | 青草久久国产| 日本 欧美在线| 禁无遮挡网站| 能在线免费观看的黄片| 国产av一区在线观看免费| 99热精品在线国产| 国产爱豆传媒在线观看| 成年女人永久免费观看视频| 麻豆成人午夜福利视频| 少妇的逼水好多| 动漫黄色视频在线观看| 在线免费观看的www视频| 久久亚洲真实| 国产成人欧美在线观看| 成人高潮视频无遮挡免费网站| 日韩中文字幕欧美一区二区| 国产高清视频在线观看网站| 最近中文字幕高清免费大全6 | 51午夜福利影视在线观看| 国产成人av教育| 亚洲久久久久久中文字幕| 国产精品久久电影中文字幕| 久久国产精品影院| 两个人的视频大全免费| 90打野战视频偷拍视频| 男插女下体视频免费在线播放| 亚洲不卡免费看| 日韩欧美国产在线观看| 国产毛片a区久久久久| 人妻丰满熟妇av一区二区三区| 午夜免费男女啪啪视频观看 | 国产在线精品亚洲第一网站| 麻豆一二三区av精品| 一区二区三区高清视频在线| 日韩欧美一区二区三区在线观看| 亚洲aⅴ乱码一区二区在线播放| 久久久色成人| 精品一区二区三区av网在线观看| 搞女人的毛片| 亚洲国产精品sss在线观看| 亚洲av美国av| 欧美日韩福利视频一区二区| 一本精品99久久精品77| 久久国产精品影院| 亚洲欧美日韩无卡精品| 免费搜索国产男女视频| 亚洲人与动物交配视频| 亚洲中文日韩欧美视频| 久久热精品热| 久久中文看片网| 亚洲五月天丁香| 精品无人区乱码1区二区| 欧美色欧美亚洲另类二区| 看黄色毛片网站| 在线十欧美十亚洲十日本专区| 日韩成人在线观看一区二区三区| 国产精品爽爽va在线观看网站| 99久久无色码亚洲精品果冻| 天堂影院成人在线观看| 老熟妇乱子伦视频在线观看| 波多野结衣高清无吗| 麻豆国产97在线/欧美| 夜夜爽天天搞| av在线老鸭窝| 亚洲国产高清在线一区二区三| 久久久久亚洲av毛片大全| 90打野战视频偷拍视频| bbb黄色大片| 内地一区二区视频在线| 亚洲 欧美 日韩 在线 免费| 搡老岳熟女国产| 丝袜美腿在线中文| 亚洲欧美精品综合久久99| 国产又黄又爽又无遮挡在线| 欧美一区二区精品小视频在线| 他把我摸到了高潮在线观看| 国产美女午夜福利| 9191精品国产免费久久| 欧美在线黄色| 免费观看的影片在线观看| 亚洲在线自拍视频| 国产午夜福利久久久久久| 色在线成人网| 精品免费久久久久久久清纯| 国产精品影院久久| 国产高清视频在线观看网站| 亚洲最大成人av| 岛国在线免费视频观看| 亚洲无线在线观看| 国产黄a三级三级三级人| 久久久久久国产a免费观看| 国产麻豆成人av免费视频| 中文字幕人妻熟人妻熟丝袜美| 国产精品乱码一区二三区的特点| 国产免费av片在线观看野外av| 嫩草影院新地址| 别揉我奶头~嗯~啊~动态视频| 99久久精品一区二区三区| 国产老妇女一区| 久久国产乱子免费精品| www.www免费av| 成熟少妇高潮喷水视频| 亚洲欧美日韩东京热| 午夜a级毛片| 免费大片18禁| 日本黄色片子视频| 免费无遮挡裸体视频| av中文乱码字幕在线| 久久久成人免费电影| 男插女下体视频免费在线播放| 国产精品久久电影中文字幕| 老司机深夜福利视频在线观看| 国产不卡一卡二| 国产精品自产拍在线观看55亚洲| 成熟少妇高潮喷水视频| 国产乱人伦免费视频| 老女人水多毛片| 国产激情偷乱视频一区二区| 一区二区三区激情视频| 九九久久精品国产亚洲av麻豆| 我要搜黄色片| 精品午夜福利视频在线观看一区| 国产伦一二天堂av在线观看| 女同久久另类99精品国产91| 亚洲18禁久久av| 97热精品久久久久久| 国产综合懂色| 成人特级黄色片久久久久久久| 在线观看一区二区三区| 毛片女人毛片| 丁香六月欧美| 国产爱豆传媒在线观看| 亚洲av电影在线进入| 麻豆av噜噜一区二区三区| 美女被艹到高潮喷水动态| 在线天堂最新版资源| 国产一区二区亚洲精品在线观看| 国产精品美女特级片免费视频播放器| 高潮久久久久久久久久久不卡| 午夜福利高清视频| 一个人免费在线观看的高清视频| 色av中文字幕| 日韩国内少妇激情av| .国产精品久久| 国产欧美日韩一区二区三| 丝袜美腿在线中文| 丁香六月欧美| 午夜福利在线在线| 丁香六月欧美| 中文字幕人成人乱码亚洲影| 精品乱码久久久久久99久播| 亚洲无线在线观看| av视频在线观看入口| 免费高清视频大片| АⅤ资源中文在线天堂| 亚洲黑人精品在线| 午夜免费激情av| 无人区码免费观看不卡| 色综合欧美亚洲国产小说| 欧美另类亚洲清纯唯美| 日日摸夜夜添夜夜添av毛片 | 中文字幕精品亚洲无线码一区| 中出人妻视频一区二区| www.熟女人妻精品国产| 窝窝影院91人妻| 在线天堂最新版资源| 12—13女人毛片做爰片一| 男女床上黄色一级片免费看| 国产真实乱freesex| 免费大片18禁| 亚洲欧美日韩卡通动漫| 国产v大片淫在线免费观看| 国产精品亚洲美女久久久| avwww免费| 最近中文字幕高清免费大全6 | 91在线观看av| 国产久久久一区二区三区| 国产精品,欧美在线| 午夜福利免费观看在线| 国内毛片毛片毛片毛片毛片| 性插视频无遮挡在线免费观看| 国内精品久久久久久久电影| 亚洲第一欧美日韩一区二区三区| 最近最新中文字幕大全电影3| 国产 一区 欧美 日韩| 麻豆国产av国片精品| 精品无人区乱码1区二区| www.熟女人妻精品国产| 亚洲人成网站在线播| 夜夜夜夜夜久久久久| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 色精品久久人妻99蜜桃| 一本精品99久久精品77| 国产亚洲精品久久久久久毛片| 18禁黄网站禁片免费观看直播| 午夜福利在线观看吧| 直男gayav资源| 亚洲专区国产一区二区| 精品乱码久久久久久99久播| 老司机午夜福利在线观看视频| 在线播放无遮挡| 久久欧美精品欧美久久欧美| 深爱激情五月婷婷| 欧美中文日本在线观看视频| 亚洲国产精品合色在线| 有码 亚洲区| 精品熟女少妇八av免费久了| 国产精品不卡视频一区二区 | 最近在线观看免费完整版| 欧美日韩国产亚洲二区| 精华霜和精华液先用哪个| 俄罗斯特黄特色一大片| 精品久久久久久成人av| 一区二区三区激情视频| 色综合亚洲欧美另类图片| 最近在线观看免费完整版| 国产av麻豆久久久久久久| 最新中文字幕久久久久| 美女cb高潮喷水在线观看| 国产成人a区在线观看| av在线观看视频网站免费| 欧美一区二区亚洲| 亚洲avbb在线观看| 午夜福利高清视频| 51午夜福利影视在线观看| 久久人妻av系列| 一区二区三区激情视频| a级毛片免费高清观看在线播放| 欧美日韩亚洲国产一区二区在线观看| 欧美日韩国产亚洲二区| 一卡2卡三卡四卡精品乱码亚洲| 无人区码免费观看不卡| 观看免费一级毛片| 国产伦一二天堂av在线观看| 亚洲av二区三区四区| 久久欧美精品欧美久久欧美| 亚洲综合色惰| 女人十人毛片免费观看3o分钟| 俄罗斯特黄特色一大片| 国产黄色小视频在线观看| 国产精品久久久久久人妻精品电影| 非洲黑人性xxxx精品又粗又长| 亚洲欧美激情综合另类| 国产精品不卡视频一区二区 | 中文字幕熟女人妻在线| 男女那种视频在线观看| av在线观看视频网站免费| 免费搜索国产男女视频| 免费av观看视频| 色综合亚洲欧美另类图片| 99在线视频只有这里精品首页| 日韩大尺度精品在线看网址| 久久精品国产亚洲av香蕉五月| 美女cb高潮喷水在线观看| 黄色丝袜av网址大全| 亚洲精品亚洲一区二区| 亚洲精品在线观看二区| 亚洲最大成人av| 国产成人a区在线观看| 日韩人妻高清精品专区| 亚洲自偷自拍三级| 亚洲第一欧美日韩一区二区三区| 亚洲成人免费电影在线观看| 人人妻,人人澡人人爽秒播| 99riav亚洲国产免费| 九色国产91popny在线| 深夜a级毛片| 亚洲精华国产精华精| 亚洲久久久久久中文字幕| 日韩欧美国产一区二区入口| 俺也久久电影网| 中文字幕av在线有码专区| 国产私拍福利视频在线观看| 亚洲av电影不卡..在线观看| 精品久久久久久久人妻蜜臀av| 99国产极品粉嫩在线观看| 51午夜福利影视在线观看| 久久伊人香网站| 国产在线精品亚洲第一网站| 人妻制服诱惑在线中文字幕| 日韩欧美国产一区二区入口| 国产伦精品一区二区三区视频9| 深爱激情五月婷婷| 老司机福利观看| 熟妇人妻久久中文字幕3abv| 一进一出抽搐gif免费好疼| 亚洲激情在线av| 狠狠狠狠99中文字幕| 亚洲欧美日韩高清专用| 午夜免费男女啪啪视频观看 | 午夜福利18| 啪啪无遮挡十八禁网站| 日韩精品中文字幕看吧| 有码 亚洲区| 美女 人体艺术 gogo| 九九在线视频观看精品| or卡值多少钱| 成年女人看的毛片在线观看| 嫩草影院新地址| 亚洲一区高清亚洲精品| 精品人妻偷拍中文字幕| 亚洲国产精品成人综合色| 国产精品永久免费网站| 亚洲成人精品中文字幕电影| 免费观看的影片在线观看| 精品久久久久久久久久久久久| 精品乱码久久久久久99久播| 国产亚洲欧美98| 大型黄色视频在线免费观看| 性色avwww在线观看| 国产精品一区二区三区四区免费观看 | 最新中文字幕久久久久| 在线看三级毛片| av在线蜜桃| 日本免费a在线| 欧美极品一区二区三区四区| 日韩免费av在线播放| 嫩草影院新地址| 欧美日本视频| 十八禁网站免费在线| 久久久国产成人免费| 小说图片视频综合网站| 精品久久国产蜜桃| 如何舔出高潮| 亚洲 欧美 日韩 在线 免费| 欧美性感艳星| 国产在线男女| 搡女人真爽免费视频火全软件 | 我的老师免费观看完整版| 一区二区三区免费毛片| 人人妻人人看人人澡| 丁香欧美五月| 亚洲一区高清亚洲精品| 永久网站在线| 国产亚洲精品久久久com| 亚洲一区二区三区不卡视频| 亚洲综合色惰| 精品久久久久久成人av| 亚洲 国产 在线| 51午夜福利影视在线观看| 午夜免费男女啪啪视频观看 | 午夜a级毛片| 琪琪午夜伦伦电影理论片6080| 欧美色欧美亚洲另类二区| 中文字幕久久专区| 精品不卡国产一区二区三区| 一区福利在线观看| 国产精品自产拍在线观看55亚洲| 精品欧美国产一区二区三| 国产精品1区2区在线观看.| 亚洲乱码一区二区免费版| 日本 av在线| 久久久色成人| 日日夜夜操网爽| 国产主播在线观看一区二区| 91av网一区二区| 简卡轻食公司| 此物有八面人人有两片| 久久午夜福利片| 国内精品一区二区在线观看| 久久精品综合一区二区三区| 国产视频内射| 亚洲成人免费电影在线观看| 51午夜福利影视在线观看| 天堂影院成人在线观看| 热99在线观看视频| 国产69精品久久久久777片| 国产爱豆传媒在线观看| 国产成人影院久久av| 99热精品在线国产| 88av欧美| 夜夜夜夜夜久久久久| 欧美精品啪啪一区二区三区| a级毛片a级免费在线| 久久精品国产亚洲av天美| 999久久久精品免费观看国产| 亚洲精华国产精华精| 少妇的逼水好多| 久久精品久久久久久噜噜老黄 | 嫩草影院新地址| 亚洲无线观看免费| 男女床上黄色一级片免费看| 精品99又大又爽又粗少妇毛片 | 成人精品一区二区免费| 国产91精品成人一区二区三区| 国产久久久一区二区三区| 久久久久亚洲av毛片大全| 欧美xxxx性猛交bbbb| 老熟妇乱子伦视频在线观看| 国模一区二区三区四区视频| 精品人妻1区二区| 69人妻影院| a级毛片免费高清观看在线播放| 精品午夜福利视频在线观看一区| 国产爱豆传媒在线观看| 午夜福利视频1000在线观看| 欧美中文日本在线观看视频| 91在线观看av| 久久国产乱子伦精品免费另类| 国产精品三级大全| 国产淫片久久久久久久久 | 99久久精品一区二区三区| 亚洲精品在线美女| 国产精品,欧美在线| 18禁裸乳无遮挡免费网站照片| 亚洲精品乱码久久久v下载方式| 免费无遮挡裸体视频| 亚洲精品粉嫩美女一区| 国产欧美日韩一区二区精品| 少妇的逼水好多| av天堂在线播放| 久久久久久久午夜电影| 亚洲久久久久久中文字幕| 亚洲经典国产精华液单 | 俄罗斯特黄特色一大片| 成人鲁丝片一二三区免费| 身体一侧抽搐| 国产国拍精品亚洲av在线观看| 最近在线观看免费完整版| 可以在线观看毛片的网站| 亚洲成人久久性| 最近最新免费中文字幕在线| 国产在视频线在精品| 国产午夜福利久久久久久| 国产精品一区二区三区四区久久| 色精品久久人妻99蜜桃| 国产伦精品一区二区三区四那| 91午夜精品亚洲一区二区三区 | 黄色一级大片看看| 亚洲国产欧美人成| 精品无人区乱码1区二区| 久久久久免费精品人妻一区二区| 又粗又爽又猛毛片免费看| 高清日韩中文字幕在线| 三级毛片av免费| 成人永久免费在线观看视频| 亚洲乱码一区二区免费版| 亚洲av熟女| 给我免费播放毛片高清在线观看| 国产又黄又爽又无遮挡在线| 国产精品久久久久久久电影| 久久久久久久久久黄片| 麻豆国产av国片精品| 啦啦啦韩国在线观看视频| 精品不卡国产一区二区三区| 三级国产精品欧美在线观看| 午夜福利免费观看在线| 国产视频内射| 老熟妇乱子伦视频在线观看| 亚洲av.av天堂| 18禁裸乳无遮挡免费网站照片| 久久精品国产亚洲av涩爱 | 波多野结衣高清作品| 国模一区二区三区四区视频| 国产精品一区二区免费欧美| 久久热精品热| 性色av乱码一区二区三区2| 成熟少妇高潮喷水视频| 身体一侧抽搐| 性插视频无遮挡在线免费观看| 欧美一级a爱片免费观看看| 九九久久精品国产亚洲av麻豆| 欧美3d第一页| 亚洲av成人不卡在线观看播放网| 欧美成狂野欧美在线观看| 欧美区成人在线视频| 毛片女人毛片| 午夜免费成人在线视频| 精品午夜福利视频在线观看一区| 国产蜜桃级精品一区二区三区| 亚洲在线观看片| 国产av不卡久久| 日日摸夜夜添夜夜添av毛片 | 欧美中文日本在线观看视频| 国产主播在线观看一区二区| 高潮久久久久久久久久久不卡| 国产精品爽爽va在线观看网站| 黄色一级大片看看| 成年人黄色毛片网站| 又粗又爽又猛毛片免费看| 亚洲精品456在线播放app | 国产精品久久久久久久久免 | 免费看日本二区| 久久久成人免费电影| 免费观看精品视频网站| 国产精品自产拍在线观看55亚洲| 亚洲av五月六月丁香网| 男人和女人高潮做爰伦理| 嫩草影视91久久| 婷婷丁香在线五月| 深夜精品福利| 欧美高清成人免费视频www| 99国产精品一区二区蜜桃av| 精品一区二区三区人妻视频| 99久久精品国产亚洲精品| 久久精品夜夜夜夜夜久久蜜豆| 乱码一卡2卡4卡精品| 国产一区二区亚洲精品在线观看| 欧美精品啪啪一区二区三区| 亚洲欧美日韩高清专用| 精品久久久久久,| 日本三级黄在线观看| 99在线人妻在线中文字幕| 亚洲,欧美,日韩| 成人无遮挡网站| 亚洲专区中文字幕在线| 亚洲av电影不卡..在线观看| 波多野结衣高清作品| 一本综合久久免费| 成人无遮挡网站| 欧美又色又爽又黄视频| 别揉我奶头 嗯啊视频| АⅤ资源中文在线天堂| 搞女人的毛片| 毛片女人毛片| 91av网一区二区| 九色国产91popny在线| 丰满乱子伦码专区| 国产aⅴ精品一区二区三区波| 九九热线精品视视频播放| 伦理电影大哥的女人| 99在线视频只有这里精品首页| 久久国产乱子伦精品免费另类| 一级作爱视频免费观看| 精品久久久久久久久亚洲 | 久久精品国产亚洲av天美| av欧美777| 首页视频小说图片口味搜索| 国产精品免费一区二区三区在线| 十八禁国产超污无遮挡网站| 99国产综合亚洲精品| 搞女人的毛片| 国产亚洲精品久久久com| 国产一级毛片七仙女欲春2| 性欧美人与动物交配| 一级a爱片免费观看的视频| 在现免费观看毛片| 亚洲精品日韩av片在线观看| 国产v大片淫在线免费观看| 国产欧美日韩精品亚洲av| 久久久久久久久中文| 97热精品久久久久久| 亚洲 欧美 日韩 在线 免费| 亚洲人与动物交配视频| 日韩精品青青久久久久久| 别揉我奶头~嗯~啊~动态视频| 国产高潮美女av| 三级毛片av免费| 国产不卡一卡二| 国产v大片淫在线免费观看| 天堂√8在线中文| 麻豆一二三区av精品| 午夜福利在线观看吧| 又紧又爽又黄一区二区| 美女高潮的动态| 国产高清视频在线观看网站| 欧美激情久久久久久爽电影| 18禁黄网站禁片午夜丰满| 国产免费av片在线观看野外av| 91在线观看av| 欧美成狂野欧美在线观看| eeuss影院久久| a级一级毛片免费在线观看| 欧美xxxx黑人xx丫x性爽| 精品人妻1区二区| 国产精品一区二区免费欧美| 两个人视频免费观看高清| 日韩人妻高清精品专区| 尤物成人国产欧美一区二区三区| 欧美性猛交╳xxx乱大交人| 亚洲 欧美 日韩 在线 免费| 99久国产av精品| 有码 亚洲区| 在线a可以看的网站| aaaaa片日本免费| 五月玫瑰六月丁香| 99久久九九国产精品国产免费| 在线免费观看不下载黄p国产 | 中亚洲国语对白在线视频| 此物有八面人人有两片| 又黄又爽又刺激的免费视频.| 天美传媒精品一区二区| 久久热精品热| 国产大屁股一区二区在线视频| 精品免费久久久久久久清纯| 一进一出抽搐gif免费好疼| 久久久久精品国产欧美久久久| 免费观看人在逋| 久久久久久九九精品二区国产| 精品久久久久久久久久久久久| 观看美女的网站| 一进一出抽搐gif免费好疼| 国产麻豆成人av免费视频| 一a级毛片在线观看| 精品国内亚洲2022精品成人| 99国产综合亚洲精品| 国产午夜福利久久久久久| 少妇人妻精品综合一区二区 | 香蕉av资源在线| 国产伦在线观看视频一区| 99国产精品一区二区蜜桃av| 婷婷精品国产亚洲av在线| 如何舔出高潮| 噜噜噜噜噜久久久久久91| 赤兔流量卡办理| 91久久精品国产一区二区成人| 久久久久免费精品人妻一区二区| 欧美精品国产亚洲| 国产成+人综合+亚洲专区|