面向紋理平滑的方向性濾波尺度預(yù)測(cè)模型

林俊彥，劉春曉，章金凱，李泓易

浙江工商大學(xué)計(jì)算機(jī)與信息工程學(xué)院, 杭州 310018

0 引 言

紋理濾波旨在通過(guò)保留物體的結(jié)構(gòu)和平滑不重要的紋理對(duì)圖像進(jìn)行濾波，這是一個(gè)底層視覺(jué)算法問(wèn)題，并在細(xì)節(jié)增強(qiáng)、色調(diào)映射、去噪和邊緣提取等領(lǐng)域有著重要的實(shí)用價(jià)值。

已有的紋理濾波方法可以分為兩大類，即圖像處理方法和深度學(xué)習(xí)方法。圖像處理的紋理濾波方法又可以分為局部濾波和全局濾波兩類。局部濾波方法通過(guò)局部濾波核計(jì)算紋理像素的鄰域平均值，同時(shí)試圖保留結(jié)構(gòu)像素的原始值，如He等人(2010)提出的引導(dǎo)濾波(guided filtering，GF)，Zhang等人(2014)提出的滾動(dòng)引導(dǎo)圖像濾波(rolling guidance filter，RGF)，Zhang等人(2015)提出的基于分割圖的圖像濾波(segment graph based image filtering，SGF)，劉春曉等人(2018)提出的基于半高斯梯度算子的尺度自適應(yīng)紋理濾波。局部濾波的方法往往能以較快的速度得出平滑結(jié)果，但是效果不是很理想。而全局濾波的方法通過(guò)尋求含有數(shù)據(jù)約束項(xiàng)和先驗(yàn)平滑項(xiàng)的目標(biāo)函數(shù)的最優(yōu)解來(lái)進(jìn)行紋理濾波，如Xu等人(2012)提出的相對(duì)總變分(relative total variation，RTV)，Xu等人(2011)提出的L0梯度最小化方法，Ham等人(2018)提出的魯棒引導(dǎo)圖像濾波(static/dynamic filter，SDF)，邵歡和劉春曉(2018)提出的結(jié)合紋理梯度抑制與L0梯度最小化的紋理濾波。這些方法往往能得到較好的運(yùn)行結(jié)果，但是速度較慢?，F(xiàn)有的基于圖像處理的紋理濾波方法難以在濾波強(qiáng)梯度紋理的同時(shí)較好地保持結(jié)構(gòu)，并且大多數(shù)此類方法都需要經(jīng)過(guò)復(fù)雜的超參數(shù)調(diào)整。

目前已有許多基于深度學(xué)習(xí)的紋理濾波方法， Xu等人(2015)的深度邊緣感知過(guò)濾器(deep edge-aware filters，DEAF)和Fan等人(2017)提出的級(jí)聯(lián)邊緣和圖像學(xué)習(xí)網(wǎng)絡(luò)(cascaded edge and image learning network，CEILNet)在模型表示方面有相似的思想，即先求出物體的結(jié)構(gòu)，再求出最終的濾波結(jié)果。Zhu等人(2019)提出的邊緣保持圖像平滑的基準(zhǔn)模型(benchmark for edge-preserving image smoothing，BEPS)，在沒(méi)有任何先驗(yàn)知識(shí)的前提下，使用殘差網(wǎng)絡(luò)進(jìn)行端對(duì)端的訓(xùn)練。雖然訓(xùn)練方式簡(jiǎn)便，但會(huì)給模型擬合帶來(lái)困難。上述方法都是在以現(xiàn)有非深度學(xué)習(xí)方法產(chǎn)生的結(jié)果為標(biāo)簽的基礎(chǔ)上進(jìn)行訓(xùn)練的，相較于復(fù)雜的非深度學(xué)習(xí)方法，運(yùn)行速度較快，同時(shí)也能得到不錯(cuò)的性能，但是無(wú)法克服現(xiàn)有非深度學(xué)習(xí)方法的不足。其中BEPS是此類方法的代表，它以多種圖像處理方法的結(jié)果為標(biāo)簽，分別計(jì)算損失函數(shù)并根據(jù)視覺(jué)平滑效果人工確定混合權(quán)重。雖然BEPS的訓(xùn)練方式可以得到綜合性能較好的模型，但是當(dāng)所有圖像處理方法都對(duì)某些紋理失效時(shí)，BEPS也不會(huì)得到好的結(jié)果，并且這類方式工作量巨大。Fan等人(2018)提出了基于無(wú)監(jiān)督學(xué)習(xí)的圖像平滑，這種方法利用一個(gè)可以自動(dòng)鑒別紋理的能量函數(shù)對(duì)模型進(jìn)行訓(xùn)練，但其鑒別方式較為簡(jiǎn)單，不能廣泛地涵蓋所有紋理，因此在紋理鑒別的時(shí)候性能會(huì)受到一定約束。它的網(wǎng)絡(luò)結(jié)構(gòu)與BEPS類似，都是較深的單階段卷積神經(jīng)網(wǎng)絡(luò)，所以其模型表示方式的缺點(diǎn)也與BEPS類似。Lu等人(2018)提出了紋理和結(jié)構(gòu)敏感的圖像平滑網(wǎng)絡(luò)(texture and structure aware filtering network，TSAFN)，借助自己合成的數(shù)據(jù)集來(lái)訓(xùn)練提出的網(wǎng)絡(luò)模型。然而，它以卡通圖像等缺乏紋理的圖像作為圖像平滑標(biāo)簽，在此基礎(chǔ)上整體添加紋理細(xì)節(jié)生成待平滑圖像。這樣的數(shù)據(jù)集合成方式存在兩個(gè)問(wèn)題：1)標(biāo)簽方面，TSAFN中紋理細(xì)節(jié)移除后的圖像平滑標(biāo)簽與目前主流方法所追求的紋理和背景的平滑顏色不一致。2)紋理方面，TSAFN在整幅圖像上覆蓋同樣的紋理，而自然圖像中的紋理是因物體而各異的。因此，TSAFN合成的數(shù)據(jù)集不但與真實(shí)圖像有較大的域差異，而且不符合主流的紋理平滑期望。

1 本文算法

針對(duì)目前圖像平滑方法在平滑強(qiáng)梯度紋理與保持物體結(jié)構(gòu)上性能較差，深度學(xué)習(xí)方法缺少可使用的數(shù)據(jù)集與其模型表示方式比較粗糙的問(wèn)題，本文在現(xiàn)有結(jié)構(gòu)圖像的基礎(chǔ)上，通過(guò)逐連通區(qū)域填充不同形式的紋理和對(duì)物體邊緣進(jìn)行多種處理的方式，生成了一個(gè)面向深度學(xué)習(xí)的紋理濾波數(shù)據(jù)集。隨后，本文設(shè)計(jì)了一個(gè)由尺度感知子網(wǎng)絡(luò)和圖像平滑子網(wǎng)絡(luò)組成的基于方向性紋理濾波尺度預(yù)測(cè)模型的圖像平滑網(wǎng)絡(luò)。其主旨是先通過(guò)尺度感知子網(wǎng)絡(luò)得到濾波尺度圖，該圖不但包含了某一像素與周圍像素是否為同一紋理的要素，而且還隱含了某一像素是否為結(jié)構(gòu)像素的信息。然后將濾波尺度圖與原圖堆疊作為圖像平滑子網(wǎng)的輸入進(jìn)行紋理濾波。圖1為本文算法的流程圖。

圖1 本文算法流程圖Fig.1 The flowchart of our algorithm

1.1 紋理濾波數(shù)據(jù)集

本文在現(xiàn)有取自DUTS(Dalian University of Technology Saliancy)(Wang等，2017)、THUR(Tsinghua University region)(Cheng等，2014)和顯著目標(biāo)檢測(cè)數(shù)據(jù)集(salient object dataset，SOD)(Movahedi和Elder，2010)(圖2(a))的結(jié)構(gòu)圖像的連通區(qū)域中隨機(jī)填充1 089種紋理圖的一種(圖2(b))，紋理圖來(lái)自描述紋理數(shù)據(jù)集(describable texture dataset，DTD)(Cimpoi等，2014)，這些紋理圖有不同的梯度與形式，可以有效增強(qiáng)模型對(duì)于不同紋理的平滑能力。而對(duì)應(yīng)的標(biāo)簽圖(圖2(c))就是在相同連通區(qū)域填充對(duì)應(yīng)紋理圖的平均顏色。紋理圖以及平均后的純色圖見(jiàn)圖2(d)。本文共生成15 086幅訓(xùn)練圖以及對(duì)應(yīng)標(biāo)簽圖。

圖2 本文紋理濾波數(shù)據(jù)集的構(gòu)造Fig.2 Construction of our texture filtering datasets((a)structure map; (b)training image; (c)ground truth image; (d)texture images and corresponding pure color images)

在上述設(shè)置下，本文制作的面向深度學(xué)習(xí)的紋理濾波數(shù)據(jù)集不僅有利于增強(qiáng)算法對(duì)于強(qiáng)梯度紋理與結(jié)構(gòu)的區(qū)分能力，而且還減小了合成數(shù)據(jù)與真實(shí)數(shù)據(jù)的域差異。

1.2 尺度感知子網(wǎng)絡(luò)

由于目前深度學(xué)習(xí)方法的模型表示方式本身比較粗糙，所以本文采用一種更加細(xì)致有效的模型表示方式：即使用尺度感知子網(wǎng)絡(luò)來(lái)逐像素預(yù)測(cè)Dn幅濾波尺度圖。Dn幅濾波尺度圖代表Dn個(gè)方向的濾波尺度，在本文中，方向數(shù)量Dn設(shè)置為6。設(shè)置濾波尺度的最大值為p，當(dāng)濾波尺度大于最大濾波尺度p或者超出圖像邊界時(shí)，將其設(shè)置為p，設(shè)置p值為21，相對(duì)應(yīng)，本文網(wǎng)絡(luò)輸出值的范圍為[p,1]，在歸一化處理后為[1/p,1]。

紋理大多體現(xiàn)在低級(jí)特征上，而U-Net(Ronneberger等，2015)具有優(yōu)秀的利用低級(jí)特征的能力。因此，將U-Net作為本文網(wǎng)絡(luò)結(jié)構(gòu)。如圖3所示，U-Net的左側(cè)是壓縮路徑，右側(cè)是擴(kuò)展路徑。壓縮路徑由4個(gè)塊組成，每個(gè)塊都含有3個(gè)卷積層和1個(gè)最大池化層，每次池化后特征圖的長(zhǎng)和寬都會(huì)縮小為原特征圖的1/2，并且特征圖的數(shù)量也會(huì)增加為原特征圖的兩倍。擴(kuò)展路徑同樣由4個(gè)塊組成，每個(gè)塊包含1個(gè)反卷積層和3個(gè)卷積層，反卷積層將特征圖數(shù)量減少為原特征圖的1/2，長(zhǎng)和寬增加為原特征圖的兩倍，第1個(gè)卷積層的輸入特征為擴(kuò)展路徑的特征圖和壓縮路徑對(duì)應(yīng)尺寸的特征圖的堆疊。由于本文設(shè)置的方向數(shù)量為6，所以輸出一共有6個(gè)通道，代表6個(gè)方向的濾波尺度。擴(kuò)展路徑的最后一個(gè)塊的反卷積層被替換為1×1的卷積層，卷積后輸出6幅濾波尺度圖。因?yàn)榧y理在梯度中往往有更加直觀的反映，添加梯度信息有利于模型對(duì)于濾波尺度的預(yù)測(cè)，所以輸入一共有4個(gè)通道，分別是RGB圖像和它的單通道梯度圖。

圖3 尺度感知子網(wǎng)絡(luò)的結(jié)構(gòu)Fig.3 Structure of scale-aware sub-network

尺度感知網(wǎng)絡(luò)的尺度標(biāo)簽是根據(jù)訓(xùn)練圖的對(duì)應(yīng)標(biāo)簽圖制作的(圖2(c))。注意，本文方向順序是順時(shí)針的。在標(biāo)簽制作中，標(biāo)簽圖中一個(gè)像素點(diǎn)i在某方向時(shí)，若在最大邊長(zhǎng)為t、角度為360°/Dn的扇形中沒(méi)有其他顏色的像素值出現(xiàn)，則該像素點(diǎn)i在該方向的紋理尺度為t，當(dāng)t大于p或者達(dá)到圖像邊緣則直接設(shè)為p。注意，在紋理圖中，相鄰的連通區(qū)域不會(huì)用同一平均顏色的紋理填充，所以這個(gè)方法不會(huì)出現(xiàn)意料外的情況。以圖4為例，不規(guī)則線條連接而成的連通區(qū)域表示結(jié)構(gòu)，扇形的頂點(diǎn)代表選中的像素，圓形代表該點(diǎn)6個(gè)方向同時(shí)都是最大濾波尺度時(shí)的情況。在該像素點(diǎn)上各個(gè)方向的濾波尺度就是圖中各個(gè)方向扇形的邊長(zhǎng)?？梢院?jiǎn)單地把扇形區(qū)域理解為該方向?yàn)V波器的形狀。也就是說(shuō)，如果某像素值在方向0的尺度為5，則該像素在順時(shí)針?lè)较騕0,π/3]處邊長(zhǎng)為5的扇形區(qū)域內(nèi)不包含別的紋理像素。

圖4 6個(gè)方向的濾波尺度Fig.4 Filtering scales in six directions

通過(guò)觀察可以發(fā)現(xiàn)，尺度感知子網(wǎng)絡(luò)預(yù)測(cè)得到的濾波尺度圖比結(jié)構(gòu)圖更加細(xì)致，能夠在模型訓(xùn)練過(guò)程中起到較強(qiáng)的約束作用，從而有利于模型的快速收斂。

(1)

式中，Lsa就是尺度感知網(wǎng)絡(luò)的損失函數(shù)，N代表不同方向的尺度圖數(shù)量，Num代表圖像中像素的數(shù)量，S′代表尺度標(biāo)簽，S代表網(wǎng)絡(luò)輸出圖像。

圖2所示圖例的濾波尺度圖標(biāo)簽在歸一化后如圖5所示。

圖5 尺度感知子網(wǎng)絡(luò)的標(biāo)簽Fig.5 Ground truth of scale-aware sub-networks((a)direction 0; (b)direction 1; (c)direction 2; (d)direction 3; (e)direction 4; (f)direction 5)

1.3 圖像平滑子網(wǎng)絡(luò)

在獲得像素級(jí)的各方向的濾波尺度信息后，已經(jīng)可以根據(jù)其平滑圖像，如圖4中像素點(diǎn)的紋理濾波后的值就是圖中所有扇形內(nèi)的像素平均值。但這樣計(jì)算速度過(guò)慢，而且預(yù)測(cè)結(jié)果不可能絕對(duì)準(zhǔn)確，因此，本文將濾波尺度圖和原圖堆疊，通過(guò)額外的幾層卷積來(lái)進(jìn)行平滑，以加快計(jì)算速度，并對(duì)尺度感知網(wǎng)絡(luò)的結(jié)果進(jìn)行修正。采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，其中Conv代表卷積層，括號(hào)內(nèi)的數(shù)字分別代表卷積核的長(zhǎng)、寬、輸入層數(shù)和輸出層數(shù)，除了最后一層卷積層，每個(gè)卷積層后都有ReLU激活函數(shù)層和批處理層。

圖6 圖像平滑子網(wǎng)絡(luò)的結(jié)構(gòu)Fig.6 Structure of image smoothing sub-network

(2)

式中，Lis就是紋理濾波網(wǎng)絡(luò)的損失函數(shù)，D代表RGB圖像的3個(gè)通道，Num代表圖像中像素的數(shù)量，I′代表純色圖標(biāo)簽，I代表網(wǎng)絡(luò)輸出圖像，g(·)代表圖像梯度計(jì)算函數(shù)。紋理濾波網(wǎng)絡(luò)的損失函數(shù)是L1損失和梯度損失。使用L1損失的原因是其優(yōu)秀的顏色保持能力，能較好還原出濾波后的顏色；使用梯度損失是為了使模型更注重邊緣處的平滑表現(xiàn)。

2 實(shí)驗(yàn)結(jié)果與討論

本文算法基于Pytorch實(shí)現(xiàn)，訓(xùn)練以及測(cè)試都在單張NVIDIA RTX 2080顯卡上進(jìn)行。

2.1 數(shù)據(jù)集的使用

本文使用自建數(shù)據(jù)集，共15 086對(duì)訓(xùn)練圖像對(duì)，其中1 500對(duì)作為驗(yàn)證集，1 000對(duì)作為測(cè)試集，訓(xùn)練時(shí)將數(shù)據(jù)集統(tǒng)一裁剪為224×224像素。

2.2 訓(xùn)練設(shè)置

本文的尺度感知子網(wǎng)絡(luò)與圖像平滑子網(wǎng)絡(luò)都采用隨機(jī)梯度下降方法，其中批尺寸為10，初始學(xué)習(xí)率設(shè)置為0.01，動(dòng)量為0.9，權(quán)值衰減為0.000 2，學(xué)習(xí)率的下降策略為：每5個(gè)輪次(epoch)學(xué)習(xí)率下降一半，尺度感知子網(wǎng)絡(luò)訓(xùn)練50輪次(epoch)，圖像平滑子網(wǎng)絡(luò)訓(xùn)練100個(gè)輪次(epoch)。

2.3 訓(xùn)練曲線及分析

本文模型的訓(xùn)練曲線如圖7所示，圖7(a)為尺度感知子網(wǎng)絡(luò)的訓(xùn)練曲線，藍(lán)色實(shí)線為訓(xùn)練曲線，紅色虛線為驗(yàn)證曲線，loss為L(zhǎng)2損失(式(1))。通過(guò)兩個(gè)曲線的對(duì)比可以發(fā)現(xiàn)，驗(yàn)證損失僅略高于訓(xùn)練損失，因此模型在訓(xùn)練過(guò)程中沒(méi)有出現(xiàn)過(guò)擬合的現(xiàn)象。隨著輪次(epoch)的增多，訓(xùn)練集的平均損失值也在逐漸下降，在20個(gè)輪次(epoch)之后訓(xùn)練曲線下降得較為緩慢。圖7(b)為圖像平滑子網(wǎng)絡(luò)的訓(xùn)練曲線，loss為L(zhǎng)1損失和梯度損失的結(jié)合(式(2))。通過(guò)對(duì)比可以發(fā)現(xiàn)，模型在訓(xùn)練過(guò)程中沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象，訓(xùn)練集的平均損失值逐漸下降，在最后20個(gè)輪次(epoch)趨于平緩，驗(yàn)證集的平均損失值雖然也有波動(dòng)，但也在逐漸下降，沒(méi)有與訓(xùn)練集的平均損失值產(chǎn)生較大的偏差。

圖7 模型的訓(xùn)練曲線Fig.7 The training curves of our model((a) scale-aware sub-network; (b) image smoothing sub-network)

2.4 與現(xiàn)有模型的方法對(duì)比

將本文方法與7個(gè)經(jīng)典方法進(jìn)行對(duì)比，其中5個(gè)為圖像處理方法，分別是L0梯度最小化方法(Xu等，2011)、RTV(relative total vriation)(Xu等，2012)、GF(guided filtering)(He等，2010)、RGF(rolling guidance filter)(Zhang等，2014)和SDF(static dynamic filter)(Ham等，2018)；2個(gè)為深度學(xué)習(xí)方法，分別是DEAF(deep edge-aware filters)(Xu等，2015)和BEPS(benchmark for edge-preserving image smoothing)(Zhu等，2019)。對(duì)比的指標(biāo)為峰值信噪比(peak signal to noise ratio,PSNR)、結(jié)構(gòu)相似度(structural similarity,SSIM)、均方誤差(mean squared error,MSE)和運(yùn)行時(shí)間。對(duì)于圖像處理方法，本文使用開源代碼中的默認(rèn)參數(shù)進(jìn)行計(jì)算。對(duì)于深度學(xué)習(xí)方法，所有模型都會(huì)在本文生成的數(shù)據(jù)集上進(jìn)行重新訓(xùn)練。

如表1所示，在與其他方法的對(duì)比中，本文方向性紋理濾波尺度預(yù)測(cè)模型的峰值信噪比和結(jié)構(gòu)相似度都達(dá)到了最大值并且均方誤差與運(yùn)行時(shí)間都達(dá)到了最小值。在本文數(shù)據(jù)集中進(jìn)行視覺(jué)對(duì)比發(fā)現(xiàn)，許多圖像處理方法在面對(duì)一部分紋理時(shí)會(huì)有優(yōu)秀的濾波效果，但是面對(duì)另一部分紋理時(shí)，表現(xiàn)會(huì)較差，而本文方法不會(huì)有這種缺陷。觀察圖8的合成圖1與合成圖2，可以看出，SDF在面對(duì)大多數(shù)紋理時(shí)可以展現(xiàn)出相對(duì)較好的性能，但是有時(shí)會(huì)出現(xiàn)紋理濾波不徹底的情況，并且可能會(huì)產(chǎn)生嚴(yán)重的邊緣模糊。

表1 不同模型在本文紋理濾波數(shù)據(jù)集中的性能表現(xiàn)Table 1 The performance of different algorithms on our texture filtering dataset

圖8 本文方法與其他方法在本文自建數(shù)據(jù)集上的效果對(duì)比Fig.8 Comparison of different texture filtering methods on our dataset((a)input; (b)SDF (Ham et al., 2018); (c)L0 (Xu et al., 2011); (d)GF (He et al., 2010); (e)RTV (Xu et al., 2012); (f)RGF (Zhang et al., 2014); (g)DEAF (Xu et al., 2015); (h)BEPS (Zhu et al., 2019); (i)ours; (j)ground truth)

L0在兩組圖像上的表現(xiàn)較不理想，它對(duì)于梯度較弱的紋理有一定的抑制作用，但是對(duì)于較強(qiáng)梯度的紋理并不能有效濾波。RTV雖然在合成圖1上表現(xiàn)較好，極其接近標(biāo)簽，但是在合成圖2上，面對(duì)強(qiáng)梯度的紋理，RTV對(duì)紋理的濾波效果就會(huì)大打折扣?；谏疃葘W(xué)習(xí)的方法DEAF與BEPS雖然對(duì)所有形式的紋理都有不錯(cuò)的處理能力，但是紋理平滑和邊緣保持的能力都明顯不如本文方法。在運(yùn)行速度一列中，可以發(fā)現(xiàn)，由于GPU的加速效果，深度學(xué)習(xí)方法的運(yùn)行時(shí)間比大多數(shù)圖像處理方法少很多。而從深度學(xué)習(xí)方法之間的對(duì)比可以發(fā)現(xiàn)，本文模型在具有最好的紋理濾波能力的同時(shí)，還享有最快的速度。

本文挑選了SSIM評(píng)分最高的前4個(gè)算法，在現(xiàn)實(shí)世界圖像上與本文方法進(jìn)行比較。圖9中，實(shí)例1的紋理以細(xì)條紋等弱梯度紋理為主。通過(guò)觀察可以發(fā)現(xiàn)，雖然RTV在餐桌、墻壁和地面上的弱梯度紋理中展現(xiàn)了良好的濾波性能，但是其錯(cuò)誤地模糊了人物面部和書架左側(cè)書籍的結(jié)構(gòu)。RGF、DEAF和BEPS雖然不會(huì)像RTV在面部呈現(xiàn)較大的模糊，但是它們的結(jié)構(gòu)保持得并不平整，且紋理還有一定殘留。本文算法對(duì)于紋理過(guò)濾得較為干凈，對(duì)于人物面部和書架左側(cè)書籍的結(jié)構(gòu)也保持得較好。實(shí)例2展示的弱梯度紋理與實(shí)例1相似，并且有許多的細(xì)小結(jié)構(gòu)，RTV對(duì)于弱梯度紋理有很好的平滑能力，但是對(duì)于草坪間的分割線和飛機(jī)的機(jī)身等細(xì)小結(jié)構(gòu)并不能有效保留。RGF、DEAF和BEPS對(duì)于分割線等細(xì)小結(jié)構(gòu)有一定保持能力，但是保持得不平整，有毛刺感。本文算法很好地保持了草坪中的分割線，值得注意的是，飛機(jī)旁的黃線和陰影也保持得非常好，沒(méi)有出現(xiàn)模糊現(xiàn)象，證明了本文算法對(duì)于細(xì)小結(jié)構(gòu)優(yōu)異的保持能力。實(shí)例3反映了不同算法在強(qiáng)梯度紋理下的表現(xiàn)。可以看出，RTV對(duì)于強(qiáng)梯度紋理表現(xiàn)較好，但是其對(duì)于細(xì)小的結(jié)構(gòu)，即遠(yuǎn)處的樹和天空的云朵保持得并不理想。RGF對(duì)于強(qiáng)梯度紋理表現(xiàn)較差，不能有效進(jìn)行濾波。DEAF和BEPS雖然對(duì)強(qiáng)梯度紋理有一定的濾波作用，但是還是有較多殘留。本文模型可以有效平滑強(qiáng)梯度紋理濾波，同時(shí)保持云朵和樹的結(jié)構(gòu)，不會(huì)產(chǎn)生模糊。

圖9 本文方法與其他方法在真實(shí)圖像中的效果對(duì)比Fig.9 Comparison between our method and other methods on real images((a)input; (b)RTV; (c)RGF; (d)DEAF; (e)BEPS; (f)ours)

因?yàn)锽EPS利用了多種圖像處理方法的結(jié)果混合訓(xùn)練，最有代表性，將官方實(shí)現(xiàn)的開源模型與基于本文生成的數(shù)據(jù)集重新訓(xùn)練的模型進(jìn)行對(duì)比，如圖10所示，可以明顯發(fā)現(xiàn)重新訓(xùn)練的模型在馬賽克紋理、強(qiáng)梯度紋理等多種紋理上有較好的綜合表現(xiàn)。這證明了面向深度學(xué)習(xí)的紋理濾波數(shù)據(jù)集可以增強(qiáng)模型對(duì)于強(qiáng)梯度紋理與弱梯度或細(xì)小結(jié)構(gòu)的區(qū)分能力。

圖10 官方的BEPS與基于本文生成的數(shù)據(jù)集重新訓(xùn)練的BEPS的對(duì)比Fig.10 The official BEPS compared to BEPS retrained on our dataset((a)original images; (b)results of the official BEPS; (c)results of BEPS retrained on our dataset)

3 結(jié) 論

針對(duì)目前紋理濾波的深度學(xué)習(xí)方法缺少可使用的數(shù)據(jù)集以及圖像處理方法的強(qiáng)梯度紋理的平滑與弱梯度或細(xì)小結(jié)構(gòu)保持的平衡問(wèn)題，本文生成了面向深度學(xué)習(xí)的紋理濾波數(shù)據(jù)集，該數(shù)據(jù)集通過(guò)多種策略減小了與真實(shí)數(shù)據(jù)集間的域差異，并且含有多種類型的紋理與結(jié)構(gòu)，可以增強(qiáng)模型對(duì)強(qiáng)梯度紋理與弱梯度或細(xì)小結(jié)構(gòu)的區(qū)分能力。針對(duì)現(xiàn)有深度學(xué)習(xí)方法的模型表示方式不夠細(xì)致的問(wèn)題，本文提出了含有尺度感知子網(wǎng)絡(luò)和圖像平滑子網(wǎng)絡(luò)的兩段式的方向性紋理濾波尺度預(yù)測(cè)模型，它具有較好的性能和較快的運(yùn)行速度，并且泛化能力較強(qiáng)。

當(dāng)一幅圖像中存在尺度較大的紋理時(shí)，其中的紋理線條會(huì)被當(dāng)做圖像結(jié)構(gòu)保持下來(lái)，導(dǎo)致紋理平滑不徹底。目前暫時(shí)可以通過(guò)先將輸入圖像縮小再進(jìn)行紋理平滑，然后通過(guò)放大紋理平滑結(jié)果來(lái)解決這個(gè)問(wèn)題。如何根據(jù)圖像的紋理尺度動(dòng)態(tài)調(diào)節(jié)濾波尺度是下一步的研究方向。