• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度可分離卷積和寬殘差網(wǎng)絡(luò)的醫(yī)學(xué)影像超分辨率重建

    2019-10-31 09:21:33高媛王曉晨秦品樂王麗芳
    計(jì)算機(jī)應(yīng)用 2019年9期

    高媛 王曉晨 秦品樂 王麗芳

    摘 要:為提高醫(yī)學(xué)影像超分辨率的重建質(zhì)量,提出了一種基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法。首先,利用深度可分離卷積改進(jìn)網(wǎng)絡(luò)的殘差塊,擴(kuò)寬殘差塊中卷積層的通道,將更多的特征信息傳入了激活函數(shù),使得網(wǎng)絡(luò)中淺層低級(jí)圖像特征更容易地傳播到高層,提高了醫(yī)學(xué)影像超分辨率的重建質(zhì)量;然后,采用組歸一化的方法訓(xùn)練網(wǎng)絡(luò),將卷積層的通道維度劃分為組,在每個(gè)組內(nèi)計(jì)算歸一化的均值和方差,使得網(wǎng)絡(luò)訓(xùn)練過程更快地收斂,解決了深度可分離卷積擴(kuò)寬通道數(shù)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練難度增加的問題,同時(shí)網(wǎng)絡(luò)表現(xiàn)出更好的性能。實(shí)驗(yàn)結(jié)果表明,對(duì)比傳統(tǒng)的最近鄰插值、雙三次插值超分辨率算法,以及基于稀疏表達(dá)的超分辨率算法,所提算法重建出的醫(yī)學(xué)影像紋理細(xì)節(jié)更加豐富、視覺效果更加逼真。對(duì)比基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率算法,基于寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法和生成對(duì)抗網(wǎng)絡(luò)超分辨率算法,所提算法在峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)上有顯著的提升。

    關(guān)鍵詞:超分辨率;寬殘差;深度可分離卷積;組歸一化;殘差塊

    中圖分類號(hào):TP391.41

    文獻(xiàn)標(biāo)志碼:A

    Medical image super-resolution reconstruction based on depthwise separable convolution and wide residual network

    GAO Yuan*, WANG Xiaochen, QIN Pinle, WANG Lifang

    School of Data Science, North University of China, Taiyuan Shanxi 030051, China

    Abstract:

    In order to improve the quality of medical image super-resolution reconstruction, a wide residual super-resolution neural network algorithm based on depthwise separable convolution was proposed. Firstly, the depthwise separable convolution was used to improve the residual block of the network, widen the channel of the convolution layer in the residual block, and pass more feature information into the activation function, making the shallow low-level image features in the network easier transmitted to the upper level, so that the quality of medical image super-resolution reconstruction was enhanced. Then, the network was trained by group normalization, the channel dimension of the convolutional layer was divided into groups, and the normalized mean and variance were calculated in each group, which made the network training process converge faster, and solved the difficulty of network training because the depthwise separable convolution widens the number of channels. Meanwhile, the network showed better performance. The experimental results show that compared with the traditional nearest neighbor interpolation, bicubic interpolation super-resolution algorithm and the super-resolution algorithm based on sparse expression, the medical image reconstructed by the proposed algorithm has richer texture detail and more realistic visual effects. Compared with the super-resolution algorithm based on convolutional neural network, the super-resolution neural network algorithm based on wide residual and the generative adversarial-network super-resolution algorithm, the proposed algorithm has a significant improvement in PSNR (Peak Signal-to-Noise Ratio) and SSIM (Structural SIMilarity index).

    Key words:

    super resolution; wide residual; depthwise separable convolution; group normalization; residual block

    0 引言

    隨著醫(yī)學(xué)影像在醫(yī)療實(shí)踐中的不斷發(fā)展和廣泛使用,計(jì)算機(jī)斷層成像(Computed Tomography, CT)[1]、磁共振成像(Magnetic Resonance Imaging, MRI)[2]、正電子發(fā)射計(jì)算機(jī)斷層掃描(Positron Emission Tomography, PET)[3]等技術(shù)成為臨床診斷不可或缺的工具,而清晰的醫(yī)學(xué)影像可以提供豐富的病灶信息,輔助醫(yī)生進(jìn)行更加精確的診斷。但由于成像技術(shù)和成像原理的不同,獲得的醫(yī)學(xué)影像的分辨率也就不同,低分辨率的醫(yī)學(xué)影像中,噪聲和偽影會(huì)損害診斷信息,在臨床上很難進(jìn)行全面綜合的診斷,因此,對(duì)醫(yī)學(xué)影像進(jìn)行超分辨率重建,可以在不增加高分辨率成像技術(shù)成本的基礎(chǔ)上,降低對(duì)成像環(huán)境的要求,通過復(fù)原出的清晰醫(yī)學(xué)影像,實(shí)現(xiàn)對(duì)病變部位的精準(zhǔn)探測(cè),有助于醫(yī)生對(duì)患者病情作出更好的診斷[4]。

    目前,圖像超分辨率(Super Resolution, SR)技術(shù)的研究方向分為兩類:1)基于整體視覺效果的超分辨率重建。經(jīng)典算法如基于生成對(duì)抗的超分辨率網(wǎng)絡(luò)(photo-realistic single image Super-Resolution using a Generative Adversarial Network, SRGAN)[5],以及具有感知損耗的實(shí)時(shí)傳輸超分辨率網(wǎng)絡(luò)(perceptual losses for Real-time style Transfer and Super-Resolution, RTSR)[6]等。該類方法追求符合人類認(rèn)知視覺的整體效果,但對(duì)細(xì)節(jié)部分的重建要求不高。應(yīng)用場(chǎng)景如低分辨率電視視頻的恢復(fù)、相機(jī)模糊圖像的恢復(fù)等。2)基于細(xì)節(jié)的超分辨率重建。傳統(tǒng)算法如最近鄰插值(bilinear)[7]和雙三次插值(bicubic)[8],以及基于稀疏表達(dá)的圖像超分辨率(image Super-Resolution Via Sparse Representation, SRVSR)[9];基于深度學(xué)習(xí)的算法如使用深度卷積網(wǎng)絡(luò)的圖像超分辨率(image Super-Resolution using Deep Convolutional Networks, SRCNN)[10],單圖像超分辨率的增強(qiáng)型深度殘差網(wǎng)絡(luò)(Enhanced Deep residual networks for single image Super-Resolution, EDSR)[11],以及寬殘差的高效超分辨率網(wǎng)絡(luò)(Wide activation for efficient and accurate image Super-Resolution, WDSR)[12]等。該類方法對(duì)細(xì)節(jié)要求苛刻,力求恢復(fù)出圖像真實(shí)可靠的細(xì)節(jié)及紋理信息,應(yīng)用場(chǎng)景如醫(yī)學(xué)影像上的超分辨率重建、低分辨率攝像頭人臉或者外形的恢復(fù)等。

    傳統(tǒng)的超分辨率算法,如基于稀疏表達(dá)的圖像超分辨率,通過強(qiáng)化高分辨率圖像和低分辨率圖像的字典之間稀疏表示的相似性,學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的稀疏系數(shù),使用學(xué)習(xí)到的稀疏系數(shù)和高分辨率字典重建出了較為清晰的高分辨率圖片。而基于深度學(xué)習(xí)的超分辨率神經(jīng)網(wǎng)絡(luò)算法,通過加深網(wǎng)絡(luò)的深度,學(xué)習(xí)圖像的高級(jí)特征信息,重建出的圖像更加清晰,在PSNR和SSIM上均取得比傳統(tǒng)方法更好的效果。醫(yī)學(xué)影像的超分辨率重建要求細(xì)節(jié)明顯、紋理清晰,同時(shí)減弱噪聲的影響。因此,在對(duì)醫(yī)學(xué)影像進(jìn)行超分辨率重建時(shí),定位在對(duì)超分辨率神經(jīng)網(wǎng)絡(luò)的優(yōu)化上:即如何在圖像尺寸放大的同時(shí)獲得更好的細(xì)節(jié)收益,且不放大噪聲,減弱噪聲對(duì)重建的影響。

    Yu等[12]提出的WDSR網(wǎng)絡(luò)認(rèn)為,在單圖像超分辨率(Single Image Super-Resolution, SISR)網(wǎng)絡(luò)的問題中,具有更廣泛特征信息激活的網(wǎng)絡(luò)具有更好的性能,因此,基于WDSR算法,本文提出了基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法(Wide Residual Super-Resolution neural network based on depthwise separable convolution, WR-SR)。該算法利用深度可分離卷積(Depthwise separable convolution)[13]進(jìn)一步擴(kuò)寬了卷積層的通道數(shù),使得淺層更多的特征信息傳入到深層,增大了醫(yī)學(xué)影像在上采樣4倍時(shí)的細(xì)節(jié)收益,同時(shí)利用組歸一化(Group Normalization, GN)[14]方法在卷積層的通道維度內(nèi)計(jì)算均值和方差,在提升網(wǎng)絡(luò)訓(xùn)練速度的同時(shí)提高了網(wǎng)絡(luò)的性能。實(shí)驗(yàn)結(jié)果顯示,使用深度可分離卷積擴(kuò)寬卷積層通道這一方法效果顯著,與SRGAN、WDSR等超分辨率算法相比,獲得了更高的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity index, SSIM)。

    1 相關(guān)理論

    1.1 寬殘差的高效超分辨率網(wǎng)絡(luò)算法

    寬殘差的高效超分辨率(WDSR)網(wǎng)絡(luò)算法在NTIRE 2018數(shù)據(jù)集DIV2K(一個(gè)大型的自然圖像數(shù)據(jù)集,具有大量的RGB圖像)的超分辨率挑戰(zhàn)賽上獲得了3個(gè)比賽方向上的冠軍。該算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,包括全局殘差學(xué)習(xí)、遞歸學(xué)習(xí)和上采樣處理3個(gè)模塊。網(wǎng)絡(luò)使用低分辨率圖片作為輸入,在低分辨率階段使用3×3卷積核(3×3 Conv)提取圖像所有特征;之后在遞歸殘差塊(Residual Body)內(nèi)學(xué)習(xí)圖像的高級(jí)特征,再使用3×3卷積核(3×3 Conv)提取學(xué)習(xí)到的高級(jí)特征;最后在上采樣層中使用像素重組(Pixel Shuffle)的方式對(duì)圖像進(jìn)行放大。同時(shí)使用全局殘差學(xué)習(xí)(Global Residual Learning)將原始低分辨率圖像進(jìn)行上采樣處理,與學(xué)習(xí)的高級(jí)特征疊加后輸出超分辨率圖片。

    網(wǎng)絡(luò)深度的增加給表示能力帶來了好處,但同時(shí)未充分使用來自淺層的特征信息。WDSR中證明非線性激活函數(shù)(Rectified Linear Unit, ReLU)阻礙了從淺層到深層的信息流,不同于在其他網(wǎng)絡(luò)中添加各種跳過連接(Skip Connection)的方式,只需在激活函數(shù)ReLU之前擴(kuò)展特征圖(Feature map)的大小,即可顯著改善圖像的重建質(zhì)量。為此,該算法提出了線性低秩卷積(如圖2所示)構(gòu)建超分辨率網(wǎng)絡(luò)的殘差塊,它將大卷積核分解為兩個(gè)低秩卷積核,其中一個(gè)1×1的卷積核用于減少特征圖的通道數(shù),另一個(gè)3×3的卷積核用于提取特征。

    WDSR使用殘差塊擴(kuò)展特征圖大小的同時(shí),又使用了1×1卷積核減少了特征圖的通道數(shù),解決了網(wǎng)絡(luò)過寬導(dǎo)致難以訓(xùn)練的難題。但是,該方法限制了網(wǎng)絡(luò)寬度的增加,使得之后的3×3卷積層提取的特征信息不足,導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)的淺層特征較少,從而影響了網(wǎng)絡(luò)的重建效果。

    1.2 深度可分離卷積

    線性低秩卷積是實(shí)現(xiàn)空間相關(guān)性和通道相關(guān)性的聯(lián)合映射,即同時(shí)考慮輸入的空間特征和通道特征。Sifre等[14]認(rèn)為,卷積層通道間的相關(guān)性和空間相關(guān)性是可以解耦合的,將它們分開映射,能達(dá)到更好的效果。提出深度可分離卷積模塊將空間和通道的計(jì)算分開,在輸入的每個(gè)通道上單獨(dú)地執(zhí)行通道卷積,之后再進(jìn)行不添加非線性激活函數(shù)的空間卷積。

    如圖3所示,Input表示卷積核的輸入通道數(shù),Output表示卷積核的輸出通道數(shù),該模塊將線性低秩卷積的3×3×Input×Output卷積核分解為一個(gè)3×3×1×Input的卷積核和一個(gè)1×1×Input×Output的卷積核。線性低秩卷積核所需參數(shù)為3×3×Input×Output,而深度可分離卷積核所需的參數(shù)為3×3×1×Input+1×1×Input×Output。當(dāng)網(wǎng)絡(luò)的寬度增大時(shí),即輸入與輸出通道數(shù)增大時(shí),深度可分離卷積操作所需的參數(shù)將遠(yuǎn)小于線性低秩卷積所需的參數(shù)。

    深度可分離卷積首先使用3×3的卷積核將特征圖的各個(gè)通道映射到一個(gè)新的空間,在這一過程中學(xué)習(xí)通道的相關(guān)性,再通過1×1的卷積核進(jìn)行卷積,以同時(shí)學(xué)習(xí)空間上的相關(guān)性和通道間的相關(guān)性。與同時(shí)學(xué)習(xí)通道和空間相關(guān)性的線性低秩卷積操作相比,深度可分離卷積實(shí)現(xiàn)了通道和空間的分離,不僅比線性低秩卷積減少了所需要的參數(shù),使得網(wǎng)絡(luò)的訓(xùn)練速度變快,而且進(jìn)一步提升了網(wǎng)絡(luò)的寬度,使得更多的特征信息能夠在網(wǎng)絡(luò)中進(jìn)行傳播,提高了網(wǎng)絡(luò)的重建質(zhì)量。

    1.3 歸一化層

    神經(jīng)網(wǎng)絡(luò)中的每一層都面臨輸入的分布隨訓(xùn)練而變化的情況,所以每個(gè)中間層需要不斷適應(yīng)其輸入的變化,導(dǎo)致網(wǎng)絡(luò)變得難以訓(xùn)練。歸一化層通過標(biāo)準(zhǔn)化輸入的均值和方差,使得每一層都能夠?qū)W習(xí)到更穩(wěn)定的輸入分布,確保網(wǎng)絡(luò)能夠使用更大的學(xué)習(xí)率,從而提高了網(wǎng)絡(luò)的訓(xùn)練速度,提高了網(wǎng)絡(luò)表達(dá)能力。

    在深度學(xué)習(xí)中,常見的歸一化層有以下四種。如圖4所示,其中每個(gè)圖表示特征圖張量,H和W表示特征圖的高和寬,C表示通道維度,N表示批量維度,深色區(qū)域的內(nèi)容表示使用的是相同的均值和方差,通過聚合該區(qū)域的像素值來計(jì)算該歸一化。1)批量歸一化(Batch Normalization, BN)[16]。BN沿樣本的批量維度N執(zhí)行全局歸一化,當(dāng)輸入分布發(fā)生變化時(shí),之前計(jì)算的數(shù)據(jù)分布也可能改變,這導(dǎo)致網(wǎng)絡(luò)每層的權(quán)重訓(xùn)練不一致。Nah等[17]在圖像去模糊工作中認(rèn)為,由于批量標(biāo)準(zhǔn)化層對(duì)特征進(jìn)行了規(guī)范化,導(dǎo)致網(wǎng)絡(luò)變得不靈活,并且消耗了計(jì)算資源,去除BN層后使網(wǎng)絡(luò)的重建性能獲得了提升。2)層歸一化(Layer Normalization, LN)[18]。LN沿通道維度C進(jìn)行歸一化,僅針對(duì)每個(gè)樣本操作,解決了批量歸一化中網(wǎng)絡(luò)過度依賴批量大小的問題,但在大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)中,LN訓(xùn)練的效果不如BN。3)權(quán)重歸一化(Weight Normalization, WN)[19]。WN對(duì)卷積核的權(quán)重進(jìn)行歸一化,而不是對(duì)特征進(jìn)行操作。WN層同樣不會(huì)受到批量維度的影響,但WN僅針對(duì)卷積核的參數(shù)歸一化,擴(kuò)寬卷積核的通道后將導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練速度降低。4)組歸一化,簡(jiǎn)稱GN層,將通道維度C劃分為不同的組,在組內(nèi)進(jìn)行歸一化。

    由于圖像的形狀、照明、紋理等特征的系數(shù)相互依賴,它們的依賴關(guān)系在網(wǎng)絡(luò)中表現(xiàn)為前后不同的幾組通道。因此,將網(wǎng)絡(luò)通道進(jìn)行分組歸一化來處理,可使超分辨率網(wǎng)絡(luò)學(xué)習(xí)到這些特征之間的依賴關(guān)系,有效提升網(wǎng)絡(luò)的性能。本文將在擴(kuò)寬網(wǎng)絡(luò)寬度的基礎(chǔ)上,使用GN層在卷積核的通道維度內(nèi)進(jìn)行歸一化,從而加快網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度并提高網(wǎng)絡(luò)的性能。

    2 深度可分離卷積寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)

    2.1 改進(jìn)思想

    影響超分辨率網(wǎng)絡(luò)重建性能的兩個(gè)重要因素是網(wǎng)絡(luò)的寬度和深度?;诟嗟奶卣餍畔⒂幸嬗谔岣叱直媛示W(wǎng)絡(luò)的重建性能這一思想,WDSR算法提出線性低秩卷積,用以擴(kuò)展輸入通道的特征維度,但隨著網(wǎng)絡(luò)寬度的增加,網(wǎng)絡(luò)變得難以訓(xùn)練,限制了其寬度的繼續(xù)增長(zhǎng)。本文運(yùn)用深度可分離卷積,改進(jìn)WDSR算法的殘差塊,進(jìn)一步提升網(wǎng)絡(luò)的寬度,提出了基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)(WR-SR)。同時(shí),運(yùn)用組歸一化的方法,解決了由于網(wǎng)絡(luò)變寬導(dǎo)致難以訓(xùn)練的難題,將輸入特征的維度進(jìn)行分組歸一化處理,不僅可以加快網(wǎng)絡(luò)的訓(xùn)練速度,而且可以提升網(wǎng)絡(luò)的性能。

    2.2 網(wǎng)絡(luò)結(jié)構(gòu)

    2.2.1 基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)

    WR-SR的網(wǎng)絡(luò)深度為34層,包括32層的殘差塊(Residual Body)以及殘差塊前后2個(gè)提取特征的卷積層。通過改進(jìn)殘差塊與使用組歸一化方法,設(shè)計(jì)的整個(gè)WR-SR網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

    WR-SR算法直接使用隨機(jī)裁剪的3×24×24大小的補(bǔ)丁作為輸入,在殘差塊前后使用大小為3×3的卷積核(Conv)提取特征,使用GN層進(jìn)行歸一化;之后在殘差塊內(nèi)學(xué)習(xí)圖像之間的高級(jí)特征,輸出3×42×24×24的補(bǔ)丁,其中4是上采樣的比例;最后通過像素重組(Pixel Shuffle)的方式將補(bǔ)丁上采樣為3×96×96的大小。同時(shí),使用全局殘差學(xué)習(xí)(Global Residual Learning)將輸入圖像的原始特征信息與深層學(xué)習(xí)的高級(jí)特征信息疊加,輸出重建的超分辨率圖像。最終將原始的低分辨率圖像放大4倍為超分辨率圖像,且重建的圖像細(xì)節(jié)信息豐富,同時(shí)減弱了噪聲的影響。

    2.2.2 構(gòu)建殘差塊

    為擴(kuò)展卷積層的特征維度,即通道數(shù),基于Laurent Sifre提出的深度可分離卷積模塊對(duì)WDSR算法的殘差塊作了改進(jìn):通過分別計(jì)算通道和空間上的特征,使用3×3的卷積核和1×1的卷積核線性組合的方式重新設(shè)計(jì)了維度更高的殘差塊,將網(wǎng)絡(luò)的特征維度分別擴(kuò)展至了1536維和2048維。同時(shí)使用GN層對(duì)卷積層的通道數(shù)進(jìn)行歸一化,以加快網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度。

    每個(gè)殘差塊內(nèi)輸入的特征圖大小是x×x×256,其中x表示特征圖的高或?qū)挘?56表示其通道數(shù)。首先,在通道相關(guān)性上,使用3×3大小的卷積核提取通道特征,得到x×x×256大小的特征圖,再使用1×1大小的卷積核對(duì)這些特征圖提取空間特征,即聯(lián)合映射所有維度的相關(guān)性,得到x×x×1536大小的特征圖;其次,繼續(xù)使用3×3卷積核和1×1卷積核以同樣的方式將特征圖擴(kuò)寬至x×x×2048;之后,使用ReLU作為激活函數(shù),以增加輸入的非線性;最后,使用3×3和1×1的卷積核,將卷積層的通道數(shù)由2048維降到256維,以實(shí)現(xiàn)網(wǎng)絡(luò)的快速訓(xùn)練。最終輸出x×x×256大小的特征圖。殘差塊的深度為32層,前一層的輸出為后一層的輸入。每層殘差塊的定義如圖6所示。

    通過該殘差塊結(jié)構(gòu)以及擴(kuò)寬特征維度的方式,網(wǎng)絡(luò)中來自淺層的低級(jí)圖像特征可以更容易地傳播到深層。改進(jìn)的殘差塊獲得了更清晰的細(xì)節(jié)及紋理信息,同時(shí)減弱了圖像的噪聲及偽影的影響。

    2.2.3 組歸一化

    針對(duì)醫(yī)學(xué)影像超分辨率,小批量的醫(yī)學(xué)影像其均值和方差差異較大,因此不適用使用BN層進(jìn)行歸一化。由于WR-SR擴(kuò)寬了卷積層的通道,LN層和WN層歸一化也不適用于該網(wǎng)絡(luò)的訓(xùn)練。因此,本文采用了GN層對(duì)WR-SR網(wǎng)絡(luò)進(jìn)行歸一化。

    描述特征歸一化的一般公式:

    i =(xi-μi)/σi(1)

    其中:xi是由某一層計(jì)算的特征,i是索引,在二維圖像的情況下,i=(iN,iC,iH,iW)是以(N,C,H,W)順序索引的4維向量,其中N是批量向量,C是通道向量,H是高度向量,W是寬度向量。 μ和σ是由式(2)和式(3)計(jì)算的均值和標(biāo)準(zhǔn)差:

    μi=1m∑k∈Sixk(2)

    σi=1m∑k∈Si(xk-μi)2+ε(3)

    其中:m是該集合的大小,ε是一個(gè)常數(shù),k是索引。如式(4)所示,Si為μ和σ的約束條件,它是計(jì)算均值和方差的像素集合。

    Si=kkN=iN,kCC/G=iCC/G(4)

    其中:iN和kN表示沿批量向量N的i和k的索引,這表示相同批量索引的像素被一起歸一化。iC和kC表示索引i和k在同一組通道中。G是組的數(shù)量,它是預(yù)定義的超參數(shù)。C/G是每組的通道數(shù)。 GN沿(H,W)向量在一組通道內(nèi)計(jì)算μ和σ。如Razavian等[20]在通過減少內(nèi)部協(xié)變量偏移來加速深度網(wǎng)絡(luò)訓(xùn)練中所述相同,組歸一化也學(xué)習(xí)了一個(gè)通道線性變換,以補(bǔ)償表示能力的可能丟失:

    yi=γi+β(5)

    其中:γ和β是可訓(xùn)練的比例和位移。

    綜上所述,GN層由等式(1)、(2)、(3)、(4)、(5)定義。具體而言,同一組中的像素通過計(jì)算相同的μ和σ被一起歸一化。除此之外,GN還學(xué)習(xí)每個(gè)通道的γ和β。通過運(yùn)用組歸一化的方法,WR-SR算法在訓(xùn)練期間加快L1損失收斂速度的同時(shí)獲得了更高的PSNR值。

    2.3 實(shí)驗(yàn)參數(shù)及訓(xùn)練過程

    實(shí)驗(yàn)所采用的數(shù)據(jù)集來源于開源的美國(guó)國(guó)家醫(yī)學(xué)圖書館MedPix數(shù)據(jù)庫(kù)中的肺部淋巴結(jié)數(shù)據(jù),并從中選取了不同病人的900張512×512高分辨率醫(yī)學(xué)影像用作訓(xùn)練與測(cè)試。實(shí)驗(yàn)使用800張圖像作為訓(xùn)練集,100張圖像作為測(cè)試集。為減少測(cè)試所需的時(shí)間,在訓(xùn)練期間取測(cè)試集中的10張圖像作為驗(yàn)證集,以驗(yàn)證訓(xùn)練期間的L1損失和PSNR值。在訓(xùn)練期間,使用隨機(jī)水平和旋轉(zhuǎn)兩種方式增強(qiáng)訓(xùn)練集。在訓(xùn)練之前將512×512的醫(yī)學(xué)影像轉(zhuǎn)為png格式的RGB圖片,之后使用隨機(jī)裁剪的方式將512×512的圖像裁剪為96×96大小的補(bǔ)丁,并將其作為高分辨率(High Resolution, HR)圖像,接著將96×96的HR圖像下采樣為24×24的低分辨率(Low Resolution, LR)圖像并作為網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)通過端到端的映射將LR圖像上采樣4倍為96×96大小的超分辨率(Super Resolution, SR)圖像,通過計(jì)算并不斷迭代SR和HR之間的L1損失以優(yōu)化網(wǎng)絡(luò)中的參數(shù)。

    實(shí)驗(yàn)采用PSNR和SSIM作為醫(yī)學(xué)影像超分辨率的評(píng)價(jià)指標(biāo),同時(shí)以L1損失驗(yàn)證網(wǎng)絡(luò)訓(xùn)練期間的收斂速度。

    3 實(shí)驗(yàn)結(jié)果

    本文的實(shí)驗(yàn)采用mini-batch的訓(xùn)練方式,mini-batch大小設(shè)置為16。初始學(xué)習(xí)率設(shè)置為10-4,每迭代2×105次,學(xué)習(xí)率減半,以加快網(wǎng)絡(luò)的訓(xùn)練。本文的實(shí)驗(yàn)環(huán)境為Ubuntu 14.01.5 LTS操作系統(tǒng),Pytorch V0.4.1,CUDA Toolkit 9.0,Python3.6。整個(gè)網(wǎng)絡(luò)在兩塊NVIDIA Tesla M40上運(yùn)行了2天?;跉埐顗K的改進(jìn)與GN層的替換,本文在相同的實(shí)驗(yàn)環(huán)境下做了兩組對(duì)比實(shí)驗(yàn),以驗(yàn)證改進(jìn)算法WR-SR在醫(yī)學(xué)影像超分辨率上的PSNR值和SSIM指標(biāo),該評(píng)價(jià)指標(biāo)以驗(yàn)證集作為參考圖像,通過計(jì)算測(cè)試結(jié)果與參考圖像之間的差異評(píng)判網(wǎng)絡(luò)的準(zhǔn)確性。此外,在相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集下,與傳統(tǒng)的超分辨率方法(包括Biliner和Bicubic)以及基于深度學(xué)習(xí)的超分辨率算法(包括SRGAN、WDSR)作了對(duì)比,以顯示W(wǎng)R-SR算法的優(yōu)越性。本文共做了三組對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)證明WR-SR算法在性能和評(píng)價(jià)指標(biāo)上與其他算法相比,確實(shí)有明顯提高。

    3.1 改進(jìn)殘差塊對(duì)比實(shí)驗(yàn)

    為了驗(yàn)證進(jìn)一步擴(kuò)寬特征維度的改進(jìn)殘差塊與未改進(jìn)的殘差塊的效果,在使用GN歸一化層的基礎(chǔ)上,以及相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集條件下做了兩種殘差塊的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)運(yùn)行了250個(gè)時(shí)期(epoch),每個(gè)epoch內(nèi)迭代了1000次,共迭代了2.5×105次。同時(shí)在10張圖像的驗(yàn)證集上計(jì)算了網(wǎng)絡(luò)的L1損失和PSNR值以驗(yàn)證網(wǎng)絡(luò)的收斂性和準(zhǔn)確性,同時(shí)對(duì)測(cè)試結(jié)果計(jì)算了SSIM,以評(píng)價(jià)各殘差塊在醫(yī)學(xué)影像超分辨率上的優(yōu)劣。兩種方法的L1損失及PSNR值如圖7和圖8所示。

    圖7中,上下兩條線分別代表WDSR網(wǎng)絡(luò)和WR-SR網(wǎng)絡(luò)的訓(xùn)練結(jié)果。從圖7中可以看出,在迭代相同的250個(gè)Epoch的情況下,與WDSR網(wǎng)絡(luò)相比,WR-SR網(wǎng)絡(luò)在訓(xùn)練過程中,其L1損失收斂得更快,且獲得了更低的損失值。證明WR-SR算法在改進(jìn)殘差塊后,加快了網(wǎng)絡(luò)的訓(xùn)練速度,同時(shí)提升了網(wǎng)絡(luò)性能。

    圖8中,上下兩條線分別代表WR-SR網(wǎng)絡(luò)和WDSR網(wǎng)絡(luò)的訓(xùn)練結(jié)果。從圖8中可以看出:兩種方法均在200至250個(gè)Epoch期間趨于穩(wěn)定。同時(shí),與WDSR網(wǎng)絡(luò)對(duì)比,WR-SR在改進(jìn)殘差塊后收斂得更快,且獲得更高了PSNR值。

    該組對(duì)比實(shí)驗(yàn)證明,通過使用深度可分離卷積擴(kuò)展殘差塊的特征維度,改進(jìn)的WR-SR網(wǎng)絡(luò)獲得了更快的收斂性和更高的準(zhǔn)確性。

    3.2 GN對(duì)比實(shí)驗(yàn)

    該組實(shí)驗(yàn)在相同的數(shù)據(jù)集以及實(shí)驗(yàn)環(huán)境下分別使用GN歸一化層和WN歸一化層進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)在10張圖片的驗(yàn)證集上以L1損失評(píng)估兩種方法的訓(xùn)練過程的準(zhǔn)確性及收斂速度,其結(jié)果如圖9所示。

    從圖9(a)中可以看出,使用WN層歸一化WR-SR網(wǎng)絡(luò)時(shí),其開始的L1損失較高。在網(wǎng)絡(luò)訓(xùn)練至20個(gè)Epoch后,L1損失才出現(xiàn)明顯收斂。

    從圖9(b)中可以看出,使用GN層歸一化WR-SR的網(wǎng)絡(luò)其L1損失開始值遠(yuǎn)小于使用WN層歸一化的網(wǎng)絡(luò)。網(wǎng)絡(luò)在訓(xùn)練至10個(gè)Epoch后出現(xiàn)明顯收斂,且其L1損失為3.97,遠(yuǎn)小于使用WN層訓(xùn)練的網(wǎng)絡(luò),表示網(wǎng)絡(luò)的準(zhǔn)確性更高。

    該組對(duì)比實(shí)驗(yàn)證明,通過使用組歸一化的方法,WR-SR網(wǎng)絡(luò)獲得了更快的收斂性,顯著提升了網(wǎng)絡(luò)的性能。同時(shí),實(shí)驗(yàn)對(duì)比了各個(gè)方法的PSNR值和SSIM指標(biāo),其結(jié)果如表1所示。

    從表1中可以看出,同時(shí)修改殘差塊和添加GN層歸一化的方法,其PSNR值和SSIM指標(biāo)均高于其余任何方法。且單獨(dú)修改殘差塊的方法,其PSNR值和SSIM指標(biāo)均顯著高于單獨(dú)未修改殘差塊的方法。同時(shí),添加GN層的方法其PSNR值和SSIM指標(biāo)均高于使用WN層的方法。

    3.3 改進(jìn)算法的對(duì)比實(shí)驗(yàn)

    本文將修改的殘差塊和使用GN層訓(xùn)練的網(wǎng)絡(luò)作為最終模型,在測(cè)試集中選取了4幅圖像,與傳統(tǒng)的超分辨率算法(包括Bilinear、Bicubic算法和SRVSR算法)以及基于深度學(xué)習(xí)的SRCNN算法、SRGAN算法和WDSR算法進(jìn)行了對(duì)比,并以PSNR與SSIM作為評(píng)價(jià)指標(biāo)計(jì)算原圖像與各算法生成的圖像之間的差異。各算法的評(píng)價(jià)指標(biāo)如表2所示,實(shí)驗(yàn)結(jié)果如圖10所示。

    由表2可以看出,WR-SR算法在PSNR和SSIM上均顯著高于傳統(tǒng)方法與基于深度學(xué)習(xí)的算法,此外,WR-SR算法與WDSR原始算法對(duì)比,亦提升了1~2dB的PSNR值與0.2~0.3的SSIM指標(biāo)。

    圖10(a)為原始高清圖像(Ground Truth),圖10(b)~(h)為表2中提到的各個(gè)算法訓(xùn)練出的實(shí)驗(yàn)結(jié)果。由圖10顯示的結(jié)果可以看出,使用WR-SR網(wǎng)絡(luò)訓(xùn)練的實(shí)驗(yàn)結(jié)果其圖像更加接近于原始圖像,且均明顯優(yōu)于其他方法,得到了較好的超分辨率圖像。該組對(duì)比實(shí)驗(yàn)證明,WR-SR算法在醫(yī)學(xué)影像超分辨率上顯示出了更好的細(xì)節(jié)收益以及更少的噪聲以及偽影信息。

    4 結(jié)語(yǔ)

    本文提出了一種基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法,該算法使用深度可分離卷積構(gòu)建殘差塊,以擴(kuò)寬卷積層的特征維度,即通道數(shù);使用組歸一化方法對(duì)卷積層的通道分組,在組內(nèi)進(jìn)行歸一化。三組對(duì)比實(shí)驗(yàn)顯示,對(duì)于肺部淋巴結(jié)的4倍超分辨率圖像,WR-SR算法在測(cè)試集上的PSNR和SSIM指標(biāo)上均顯著高于傳統(tǒng)的超分辨率方法和其他基于深度學(xué)習(xí)的超分辨率算法。同時(shí)生成的圖像細(xì)節(jié)豐富,減弱了噪聲的影響,充分證明了改進(jìn)算法在醫(yī)學(xué)影像超分辨率上高效與準(zhǔn)確性。在下一步的工作中,將使WR-SR算法結(jié)合生成式對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)框架,探討感知質(zhì)量良好但PSNR值較低的GAN網(wǎng)絡(luò)對(duì)于醫(yī)學(xué)影像,其超分辨率的結(jié)果是否也具有較高的準(zhǔn)確性。

    參考文獻(xiàn)

    [1]RIVIERE P J L, VARGAS P, FU G. et al. Accelerating X-ray fluorescence computed tomography [C]// Proceedings of the 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway, NJ: IEEE, 2009:1000-1003.

    [2]PELEDS, YESHURUNY. Superresolution in MRI: application to human white matter fiber tract visualization by diffusion tensor imaging[J]. Magnetic Resonance in Medicine, 2001, 45(1): 29-35.

    [3]SUBBARAO M. High-sensitivity Single-Photon Emission Computed Tomography (SPECT): safer, faster, and more accurate SPECT [C]// Proceedings of the 8th International Conference and Expo on Emerging Technologies for a Smarter World. Piscataway, NJ: IEEE, 2011: 1-2.

    [4]PARK S C, PARK M K, KANG M G. Super-resolution image reconstruction: a technical overview[J]. IEEE Signal Processing Magazine, 2003, 20(3): 21-36.

    [5]LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 105-114.

    [6]JOHNSON J, ALAHI A, LI F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision, LNCS 9906. Berlin: Springer, 2016: 694-711.

    [7]蘇衡,周杰,張志浩.超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào),2013,39(8): 1202-1213.(SU H, ZHOU J, ZHANG Z H. Survey of super-resolution image reconstruction methods [J]. Acta Automatica Sinica, 2013, 39(8): 1202-1213.)

    [8]KEYS R. Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1981, 29(6): 1153-1160.

    [9]YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing,2010,19(11):2861-2873.

    [10]DONG C, LOY C C, HE K. et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

    [11]LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2017: 1132-1440.

    [12]YU J, FAN Y, YANG J, et al. Wide activation for efficient and accurate image super-resolution [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ:IEEE, 2018. 2621-2624.

    YU J, FAN Y, YANG J, et al. Wide activation for efficient and accurate image super-resolution [EB/OL]. [2019-01-23]. https://arxiv.org/pdf/1808.08718v1.pdf.

    [13]CHOLLET F. Xception: deep learning with depthwise separable convolutions [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 1800-1807.

    [14]WU Y, HE K. Group normalization [EB/OL]. [2018-12-12]. https://arxiv.org/pdf/1803.08494.pdf.

    [15]SIFRE L, MALLAT S. Rotation, scaling and deformation invariant scattering for texture discrimination [C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ :IEEE, 2013: 1233-1240.

    [16]IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015,37: 448-456.

    IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift [EB/OL]. [2019-01-10]. https://arxiv.org/pdf/1502.03167.pdf.

    [17]NAH S, KIM T H, LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 257-265.

    [18]BA J L, KIROS J R, HINTON G E. Layer normalization [EB/OL]. [2019-01-20]. https://arxiv.org/pdf/1607.06450.pdf.

    [19]SALIMANS T, KIMGMA D P. Weight normalization: a simple reparameterization to accelerate training of deep neural networks [C]// Proceedings of the 30th Neural Information Processing Systems. New York: NIPS, 2016: 901-909.

    [20]RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off-the-shelf: an astounding baseline for recognition [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2014:512-519.

    GAO Yuan, born in 1972, M. S., associate professor. Her Research interests include image processing, artificial intelligence.

    WANG Xiaochen, born in 1995, M. S. candidate. His research interests include deep learning, computer vision.

    QIN Pinle, born in 1978, Ph. D., associate professor. His research interests include machine vision, big data processing.

    WANG Lifang, born in 1977, Ph. D., associate professor. Her research interest include machine vision, big data processing.

    x7x7x7水蜜桃| 一进一出抽搐gif免费好疼| 巨乳人妻的诱惑在线观看| 变态另类丝袜制服| 亚洲成av人片免费观看| 亚洲在线自拍视频| 日韩中文字幕欧美一区二区| 亚洲激情在线av| 亚洲av第一区精品v没综合| 在线观看免费午夜福利视频| 亚洲av电影不卡..在线观看| 亚洲天堂国产精品一区在线| 国产精品98久久久久久宅男小说| 免费在线观看视频国产中文字幕亚洲| 午夜福利在线在线| 琪琪午夜伦伦电影理论片6080| 十八禁人妻一区二区| 91麻豆av在线| 手机成人av网站| 亚洲成人精品中文字幕电影| 亚洲欧美一区二区三区黑人| 校园春色视频在线观看| 777久久人妻少妇嫩草av网站| 色在线成人网| 久久人妻福利社区极品人妻图片| 免费看日本二区| 9191精品国产免费久久| 久久欧美精品欧美久久欧美| 亚洲性夜色夜夜综合| 亚洲成人久久爱视频| 久久久精品大字幕| 国产高潮美女av| 久久久久久久久久黄片| 久久久国产成人免费| 国产色爽女视频免费观看| 亚洲精品一卡2卡三卡4卡5卡| 深夜a级毛片| 久久久精品94久久精品| 免费看av在线观看网站| 国产毛片a区久久久久| 亚洲乱码一区二区免费版| 国产精品日韩av在线免费观看| 在现免费观看毛片| 亚洲av中文字字幕乱码综合| 人人妻,人人澡人人爽秒播| 精品久久久久久久久av| 亚洲成a人片在线一区二区| 少妇的逼水好多| 成人av一区二区三区在线看| 综合色av麻豆| 国产单亲对白刺激| 国产伦一二天堂av在线观看| 美女免费视频网站| 亚洲高清免费不卡视频| 亚洲在线观看片| 亚洲第一区二区三区不卡| 久久久成人免费电影| 嫩草影院入口| 亚洲av成人精品一区久久| 全区人妻精品视频| 亚洲欧美日韩卡通动漫| 国产精品久久久久久久久免| 亚洲经典国产精华液单| 久久精品国产清高在天天线| 男插女下体视频免费在线播放| 中文在线观看免费www的网站| 在线观看免费视频日本深夜| 久久精品国产清高在天天线| 亚洲国产精品成人久久小说 | 国产高清不卡午夜福利| 久久久久久久久大av| 国产精品久久视频播放| 亚洲在线自拍视频| 精品人妻偷拍中文字幕| 精品乱码久久久久久99久播| 18禁在线播放成人免费| 久久久成人免费电影| 少妇的逼水好多| 亚洲中文日韩欧美视频| 亚洲无线观看免费| 波野结衣二区三区在线| 22中文网久久字幕| 18禁黄网站禁片免费观看直播| 亚洲自偷自拍三级| or卡值多少钱| 女人十人毛片免费观看3o分钟| 一边摸一边抽搐一进一小说| 麻豆av噜噜一区二区三区| 午夜久久久久精精品| 国产精品乱码一区二三区的特点| 一进一出好大好爽视频| 国产黄色视频一区二区在线观看 | 韩国av在线不卡| 亚洲成av人片在线播放无| 婷婷精品国产亚洲av在线| 我要看日韩黄色一级片| 老司机午夜福利在线观看视频| 亚洲国产精品合色在线| 菩萨蛮人人尽说江南好唐韦庄 | 色吧在线观看| 熟女人妻精品中文字幕| av在线亚洲专区| 无遮挡黄片免费观看| 搡老妇女老女人老熟妇| 国产 一区 欧美 日韩| 日本黄大片高清| 亚洲国产欧美人成| 蜜桃亚洲精品一区二区三区| 永久网站在线| av在线天堂中文字幕| 99久国产av精品| 一个人看的www免费观看视频| www.色视频.com| 俺也久久电影网| 亚洲在线观看片| 天天躁夜夜躁狠狠久久av| 噜噜噜噜噜久久久久久91| 欧美中文日本在线观看视频| 在线观看免费视频日本深夜| 国产男人的电影天堂91| 麻豆av噜噜一区二区三区| 国产精品一区二区三区四区免费观看 | 一个人免费在线观看电影| 精品午夜福利视频在线观看一区| 国产成人精品久久久久久| 国产av不卡久久| 久久精品夜色国产| 老熟妇乱子伦视频在线观看| 成年女人永久免费观看视频| 特大巨黑吊av在线直播| 成年女人看的毛片在线观看| 亚洲av一区综合| 亚洲国产精品久久男人天堂| 又粗又爽又猛毛片免费看| 美女xxoo啪啪120秒动态图| 91精品国产九色| 亚洲经典国产精华液单| 一级毛片电影观看 | 91在线精品国自产拍蜜月| 别揉我奶头 嗯啊视频| 在线天堂最新版资源| 成年女人永久免费观看视频| 九九爱精品视频在线观看| 久久精品91蜜桃| 国产一区二区激情短视频| 麻豆精品久久久久久蜜桃| 日本熟妇午夜| 精品午夜福利在线看| 秋霞在线观看毛片| 国产精品亚洲一级av第二区| 乱人视频在线观看| 精品久久久久久成人av| 三级国产精品欧美在线观看| 一夜夜www| 又爽又黄a免费视频| 三级国产精品欧美在线观看| а√天堂www在线а√下载| 亚洲第一电影网av| 亚洲av中文av极速乱| 嫩草影院新地址| 国内久久婷婷六月综合欲色啪| 成人av一区二区三区在线看| 狠狠狠狠99中文字幕| 尤物成人国产欧美一区二区三区| 日韩欧美 国产精品| 黄色视频,在线免费观看| 人妻久久中文字幕网| 插逼视频在线观看| 一级毛片电影观看 | 99久久无色码亚洲精品果冻| 小蜜桃在线观看免费完整版高清| 看非洲黑人一级黄片| 18禁裸乳无遮挡免费网站照片| 成人一区二区视频在线观看| 久久精品夜夜夜夜夜久久蜜豆| 亚洲四区av| 中国美白少妇内射xxxbb| 国产不卡一卡二| 男插女下体视频免费在线播放| 中文字幕av在线有码专区| 黄片wwwwww| 久久久久九九精品影院| 天天一区二区日本电影三级| 久久久久久国产a免费观看| 久久久国产成人精品二区| 免费av不卡在线播放| 变态另类丝袜制服| 亚洲精品456在线播放app| 亚洲成人av在线免费| 丰满乱子伦码专区| 又爽又黄a免费视频| 国产精品99久久久久久久久| 国产高清激情床上av| 欧美色视频一区免费| 国产免费男女视频| 麻豆国产97在线/欧美| 久久草成人影院| av.在线天堂| 久久久精品欧美日韩精品| 别揉我奶头 嗯啊视频| 精品人妻偷拍中文字幕| 亚洲五月天丁香| 日日摸夜夜添夜夜添小说| av国产免费在线观看| 久久国内精品自在自线图片| 亚洲成av人片在线播放无| 99久久精品热视频| 中出人妻视频一区二区| 天天躁夜夜躁狠狠久久av| 日日摸夜夜添夜夜爱| 可以在线观看毛片的网站| 色在线成人网| 亚洲性夜色夜夜综合| 久久人人爽人人片av| 亚洲天堂国产精品一区在线| 久久久久久久久久成人| 男人舔奶头视频| 国国产精品蜜臀av免费| 午夜福利视频1000在线观看| 在线播放国产精品三级| 婷婷亚洲欧美| 少妇被粗大猛烈的视频| 18禁在线播放成人免费| 最近2019中文字幕mv第一页| 天堂av国产一区二区熟女人妻| 1000部很黄的大片| 久久久久久久久大av| 一本久久中文字幕| 中文字幕久久专区| 日韩欧美 国产精品| 久久6这里有精品| 中文字幕久久专区| 美女黄网站色视频| 校园春色视频在线观看| 色在线成人网| 1024手机看黄色片| 99久久九九国产精品国产免费| 免费高清视频大片| 夜夜夜夜夜久久久久| 日本黄色视频三级网站网址| 欧美成人a在线观看| 国产亚洲精品av在线| 香蕉av资源在线| 国产人妻一区二区三区在| 人人妻人人看人人澡| 内地一区二区视频在线| 中文字幕人妻熟人妻熟丝袜美| 亚洲性久久影院| 欧美bdsm另类| 夜夜爽天天搞| 麻豆av噜噜一区二区三区| 中文资源天堂在线| 欧美日韩在线观看h| 欧美最新免费一区二区三区| 亚洲欧美成人综合另类久久久 | 乱码一卡2卡4卡精品| 亚洲精华国产精华液的使用体验 | 97人妻精品一区二区三区麻豆| 欧美性感艳星| 欧美3d第一页| 搞女人的毛片| 99久久精品热视频| 最近在线观看免费完整版| 亚洲中文日韩欧美视频| 国产精品福利在线免费观看| АⅤ资源中文在线天堂| 国产黄色视频一区二区在线观看 | 亚洲成人久久爱视频| av在线亚洲专区| 久久精品久久久久久噜噜老黄 | 日本-黄色视频高清免费观看| 丰满乱子伦码专区| 桃色一区二区三区在线观看| 欧美激情国产日韩精品一区| 国产爱豆传媒在线观看| 一夜夜www| 欧洲精品卡2卡3卡4卡5卡区| 精品不卡国产一区二区三区| 久久婷婷人人爽人人干人人爱| 性色avwww在线观看| 直男gayav资源| 欧美日韩综合久久久久久| 亚洲精品成人久久久久久| 男人的好看免费观看在线视频| av在线老鸭窝| ponron亚洲| 在线观看美女被高潮喷水网站| 亚洲精品456在线播放app| 精品福利观看| 国产成人福利小说| 在线免费观看不下载黄p国产| 尾随美女入室| 欧美最新免费一区二区三区| 久久久精品欧美日韩精品| 三级毛片av免费| 国产伦在线观看视频一区| 亚洲av中文av极速乱| 久久综合国产亚洲精品| 成年女人毛片免费观看观看9| 白带黄色成豆腐渣| 成年女人永久免费观看视频| 国产成人aa在线观看| 亚洲国产日韩欧美精品在线观看| 日本与韩国留学比较| 一区二区三区四区激情视频 | 久久久久久久亚洲中文字幕| 中文亚洲av片在线观看爽| 国产亚洲91精品色在线| 精品无人区乱码1区二区| 欧美不卡视频在线免费观看| 色吧在线观看| 亚洲欧美日韩高清专用| 亚洲欧美成人精品一区二区| 2021天堂中文幕一二区在线观| 免费人成视频x8x8入口观看| 久久久久久久亚洲中文字幕| 两个人的视频大全免费| 在线观看美女被高潮喷水网站| 久久久国产成人精品二区| 欧美最新免费一区二区三区| 成人特级av手机在线观看| 久久99热6这里只有精品| 亚洲精品色激情综合| 给我免费播放毛片高清在线观看| 午夜精品一区二区三区免费看| 成人av一区二区三区在线看| 18禁在线播放成人免费| 观看免费一级毛片| 91午夜精品亚洲一区二区三区| 国产精品日韩av在线免费观看| 亚洲一区高清亚洲精品| 三级男女做爰猛烈吃奶摸视频| 亚洲熟妇熟女久久| 男人狂女人下面高潮的视频| 精品福利观看| 国产一区亚洲一区在线观看| 久久久久性生活片| 婷婷精品国产亚洲av| АⅤ资源中文在线天堂| 成人鲁丝片一二三区免费| 亚洲专区国产一区二区| 综合色av麻豆| 亚洲图色成人| 中文字幕av成人在线电影| 女人十人毛片免费观看3o分钟| 午夜精品一区二区三区免费看| 午夜福利18| 97热精品久久久久久| 国产激情偷乱视频一区二区| 搡老岳熟女国产| 久久国内精品自在自线图片| 日韩成人伦理影院| 久久久久久伊人网av| 老司机影院成人| 国产精品不卡视频一区二区| 97人妻精品一区二区三区麻豆| 日韩高清综合在线| 国产色婷婷99| 深夜a级毛片| 毛片女人毛片| 久久精品国产亚洲av涩爱 | 日本精品一区二区三区蜜桃| 成熟少妇高潮喷水视频| 国产三级中文精品| 男插女下体视频免费在线播放| 97超碰精品成人国产| 婷婷六月久久综合丁香| aaaaa片日本免费| av福利片在线观看| 淫秽高清视频在线观看| 真实男女啪啪啪动态图| 国产不卡一卡二| 日本撒尿小便嘘嘘汇集6| 成年女人看的毛片在线观看| 欧美性感艳星| 亚洲av成人精品一区久久| 精品国产三级普通话版| 别揉我奶头~嗯~啊~动态视频| 国产精品乱码一区二三区的特点| 国产高清视频在线观看网站| 亚洲欧美精品综合久久99| 99久久久亚洲精品蜜臀av| 欧美在线一区亚洲| 中文资源天堂在线| 久久久久久久久大av| 国产美女午夜福利| 婷婷精品国产亚洲av| 97在线视频观看| 日本一本二区三区精品| 日日啪夜夜撸| 一本久久中文字幕| 亚洲av五月六月丁香网| 我要看日韩黄色一级片| 亚洲人成网站高清观看| 久久亚洲精品不卡| 欧美xxxx性猛交bbbb| 少妇高潮的动态图| 久久精品综合一区二区三区| 中文字幕人妻熟人妻熟丝袜美| 国产真实伦视频高清在线观看| videossex国产| 国产午夜精品论理片| 国产成人91sexporn| 亚洲成a人片在线一区二区| 精品熟女少妇av免费看| 欧美日韩乱码在线| 青春草视频在线免费观看| 搡女人真爽免费视频火全软件 | 91在线观看av| 免费av毛片视频| 成人鲁丝片一二三区免费| 人妻夜夜爽99麻豆av| 色播亚洲综合网| 在线播放无遮挡| 久久久久久久久久黄片| 午夜福利成人在线免费观看| 97碰自拍视频| 久久国内精品自在自线图片| 伦理电影大哥的女人| 露出奶头的视频| 精品久久久久久成人av| 搡老岳熟女国产| 国产日本99.免费观看| 国产老妇女一区| 日本a在线网址| 亚洲无线观看免费| 日本精品一区二区三区蜜桃| 女的被弄到高潮叫床怎么办| 国产三级中文精品| 亚洲最大成人手机在线| 一个人看视频在线观看www免费| 国产一区亚洲一区在线观看| 成人亚洲精品av一区二区| 色在线成人网| 少妇人妻精品综合一区二区 | 尾随美女入室| 欧美一区二区国产精品久久精品| 日本在线视频免费播放| 亚洲欧美日韩无卡精品| 三级毛片av免费| 国产老妇女一区| а√天堂www在线а√下载| 熟妇人妻久久中文字幕3abv| 一级毛片电影观看 | 日本与韩国留学比较| 少妇熟女欧美另类| 22中文网久久字幕| 亚洲精品国产av成人精品 | 欧美日韩乱码在线| 级片在线观看| 午夜福利在线在线| 久久国内精品自在自线图片| 亚洲,欧美,日韩| 亚洲av免费在线观看| 蜜桃久久精品国产亚洲av| 国内揄拍国产精品人妻在线| 好男人在线观看高清免费视频| 老熟妇乱子伦视频在线观看| 日本免费a在线| 人人妻人人看人人澡| 女生性感内裤真人,穿戴方法视频| 大又大粗又爽又黄少妇毛片口| 久久久久久伊人网av| 午夜爱爱视频在线播放| 久久久欧美国产精品| 久久久精品大字幕| 国产蜜桃级精品一区二区三区| 国产精品一二三区在线看| 一级黄色大片毛片| 国产黄色小视频在线观看| 99热这里只有精品一区| 人妻夜夜爽99麻豆av| 中国国产av一级| 国产色婷婷99| 国产私拍福利视频在线观看| 色av中文字幕| 亚洲乱码一区二区免费版| 免费看av在线观看网站| 国产精品久久久久久亚洲av鲁大| av女优亚洲男人天堂| 日本黄大片高清| 禁无遮挡网站| 成年女人看的毛片在线观看| 一级毛片我不卡| 熟女电影av网| 最后的刺客免费高清国语| 三级经典国产精品| 日日干狠狠操夜夜爽| 国产午夜精品论理片| 91久久精品国产一区二区三区| 十八禁国产超污无遮挡网站| 国内揄拍国产精品人妻在线| 成人鲁丝片一二三区免费| 2021天堂中文幕一二区在线观| 啦啦啦啦在线视频资源| 日本免费一区二区三区高清不卡| 99久久精品国产国产毛片| 成年版毛片免费区| 日日摸夜夜添夜夜爱| 国内精品一区二区在线观看| 黄色视频,在线免费观看| 日韩成人伦理影院| 男女之事视频高清在线观看| 国产亚洲精品av在线| 久久精品综合一区二区三区| 国产高清三级在线| 香蕉av资源在线| 国产大屁股一区二区在线视频| 欧美日韩精品成人综合77777| 最新在线观看一区二区三区| 嫩草影视91久久| 亚洲人与动物交配视频| 成人毛片a级毛片在线播放| 一本久久中文字幕| 又黄又爽又免费观看的视频| 欧美性感艳星| 波多野结衣巨乳人妻| 久久精品影院6| 啦啦啦观看免费观看视频高清| 国产av不卡久久| 国产激情偷乱视频一区二区| 国产国拍精品亚洲av在线观看| 一卡2卡三卡四卡精品乱码亚洲| 此物有八面人人有两片| 久久九九热精品免费| 国产视频一区二区在线看| 综合色丁香网| 午夜日韩欧美国产| 欧美性感艳星| 黄色一级大片看看| 一级毛片久久久久久久久女| 国产精品不卡视频一区二区| 国产高清视频在线观看网站| 日本一本二区三区精品| 亚洲av免费在线观看| 可以在线观看毛片的网站| 九九热线精品视视频播放| 99精品在免费线老司机午夜| АⅤ资源中文在线天堂| 人人妻人人看人人澡| 深爱激情五月婷婷| 久久久久免费精品人妻一区二区| 久久综合国产亚洲精品| 麻豆一二三区av精品| 亚洲无线在线观看| 日日摸夜夜添夜夜添av毛片| 日韩强制内射视频| 国产亚洲精品av在线| 国产黄色小视频在线观看| 波野结衣二区三区在线| 18禁在线无遮挡免费观看视频 | 亚洲七黄色美女视频| 国产精品国产高清国产av| 少妇猛男粗大的猛烈进出视频 | 亚洲国产精品国产精品| 免费电影在线观看免费观看| 欧美潮喷喷水| 美女xxoo啪啪120秒动态图| 大香蕉久久网| 美女内射精品一级片tv| av福利片在线观看| 69av精品久久久久久| 免费无遮挡裸体视频| 美女cb高潮喷水在线观看| 悠悠久久av| 中文字幕精品亚洲无线码一区| 午夜福利在线在线| 91精品国产九色| avwww免费| 欧洲精品卡2卡3卡4卡5卡区| 黑人高潮一二区| 天堂av国产一区二区熟女人妻| or卡值多少钱| 伦理电影大哥的女人| 禁无遮挡网站| 人人妻,人人澡人人爽秒播| 精品日产1卡2卡| 国内揄拍国产精品人妻在线| 尤物成人国产欧美一区二区三区| 亚洲av成人av| 少妇的逼水好多| 亚洲最大成人av| 国产精品亚洲美女久久久| 国产精品久久久久久av不卡| 你懂的网址亚洲精品在线观看 | 亚洲18禁久久av| 97超碰精品成人国产| 免费观看人在逋| 久久鲁丝午夜福利片| 精品久久久久久久末码| 亚洲成人久久性| 三级毛片av免费| 国产精品福利在线免费观看| 国产精品久久久久久久久免| 一区福利在线观看| 天堂网av新在线| 超碰av人人做人人爽久久| 一个人看的www免费观看视频| 成人无遮挡网站| 亚洲国产高清在线一区二区三| 最近在线观看免费完整版| 日韩精品青青久久久久久| 麻豆av噜噜一区二区三区| 精品国产三级普通话版| 亚洲av成人精品一区久久| 欧美一区二区国产精品久久精品| 国内精品一区二区在线观看| 日韩高清综合在线| 国产高清不卡午夜福利| 在现免费观看毛片| 在线观看av片永久免费下载| 欧美丝袜亚洲另类| 国产一区二区在线观看日韩| 天堂网av新在线| 观看美女的网站|