基于真實(shí)場(chǎng)景圖像下的卷積神經(jīng)網(wǎng)絡(luò)去噪算法*

王 純， 郭春生

(杭州電子科技大學(xué) 通信工程學(xué)院，浙江 杭州 310018)

基于真實(shí)場(chǎng)景圖像下的卷積神經(jīng)網(wǎng)絡(luò)去噪算法*

王 純， 郭春生

(杭州電子科技大學(xué)通信工程學(xué)院，浙江杭州310018)

為了有效地去除實(shí)際圖像中的噪聲，提出了一種基于真實(shí)場(chǎng)景圖像下卷積神經(jīng)網(wǎng)絡(luò)去噪算法，通過(guò)構(gòu)建新的無(wú)噪圖像數(shù)據(jù)集，輸入至卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，并結(jié)合模擬退火算法提高訓(xùn)練率，建立去噪網(wǎng)絡(luò)模型，實(shí)現(xiàn)真實(shí)場(chǎng)景圖像去噪。實(shí)驗(yàn)結(jié)果表明：含噪的灰度圖像與相機(jī)拍攝圖像均取得明顯的平滑效果，算法信號(hào)—噪音功率比(PSNR)值較高，圖像邊緣和細(xì)節(jié)也得到了較好的保留。

卷積神經(jīng)網(wǎng)絡(luò)； 真實(shí)場(chǎng)景圖像； 圖像去噪； 模擬退火

0 引 言

圖像在采集或傳輸?shù)倪^(guò)程中常受到隨機(jī)噪聲的污染，在隨后的圖像分割，特征提取等處理中不可避免地引起圖像質(zhì)量的退化[1]。因此，為了更好地進(jìn)行圖像后處理，需要對(duì)噪聲圖像進(jìn)行去噪[2～5]。

近年來(lái)，越來(lái)越多地將深度學(xué)習(xí)技術(shù)應(yīng)用于圖像處理領(lǐng)域，其中，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)由于其強(qiáng)大的數(shù)據(jù)處理能力而得到了廣泛應(yīng)用。Dong C等人利用其實(shí)現(xiàn)圖像的超分辨率[6]，受此啟發(fā)，針對(duì)漫畫藝術(shù)圖形提出了一種基于CNN放大和降噪算法,利用CNN訓(xùn)練大量漫畫圖像，提取其特征進(jìn)行學(xué)習(xí)反饋，得到放大降噪模型，并取得了良好的效果。但對(duì)于真實(shí)場(chǎng)景圖像，由于其包含不同于漫畫圖像的紋理特征，該算法不能很好地分辨噪聲和自然紋理，去噪效果甚微。

針對(duì)這一問(wèn)題，本文將深度學(xué)習(xí)技術(shù)引入到圖像去噪中，通過(guò)構(gòu)建新的圖像數(shù)據(jù)集和訓(xùn)練算法，提出了一種基于真實(shí)場(chǎng)景圖像下的CNN去噪算法。該方法考慮人眼視覺系統(tǒng)(human visual system，HVS)的掩蓋效應(yīng)[7]，采用大量具有針對(duì)性的圖像數(shù)據(jù)作為模型訓(xùn)練的約束項(xiàng)，并結(jié)合模擬退火算法進(jìn)行訓(xùn)練，最小化誤差并提高訓(xùn)練效率，建立真實(shí)場(chǎng)景圖像的CNN去噪模型，實(shí)現(xiàn)了實(shí)際圖像的去噪。仿真結(jié)果表明：對(duì)含有噪聲的實(shí)際圖像進(jìn)行處理后，不僅可以較大程度地去除噪聲，還能有效地保留圖像細(xì)節(jié)，取得了良好的去噪效果。

1 基于真實(shí)場(chǎng)景圖像下的CNN去噪算法

設(shè)噪聲模型為

y=x+n

(1)

式中y為噪聲圖像；x為原始圖像；n為加性噪聲。

為了從y中恢復(fù)出理想圖像x，利用CNN建立去噪模型，實(shí)現(xiàn)含噪圖像到去噪圖像的映射以達(dá)到去噪的目的。本文對(duì)網(wǎng)絡(luò)模型的設(shè)計(jì)建立在加性噪聲干擾的真實(shí)場(chǎng)景圖像的基礎(chǔ)上。假定xi為圖像數(shù)據(jù)集Sn中隨機(jī)選取的一幅圖像，yi則是通過(guò)對(duì)xi進(jìn)行噪聲干擾后被觀測(cè)到的噪聲圖像，CNN實(shí)現(xiàn)去噪所應(yīng)學(xué)習(xí)的目標(biāo)公式為[8]

(2)

式中 函數(shù)g為卷積神經(jīng)網(wǎng)絡(luò)。

可以得出，研究設(shè)計(jì)去噪網(wǎng)絡(luò)模型的關(guān)鍵任務(wù)在于更新CNN的參數(shù)，使映射的去噪圖像g(yi)與理想圖像xi之間的誤差達(dá)到最小。因此，本文通過(guò)構(gòu)造新的圖像樣本數(shù)據(jù)集建立約束項(xiàng)，再利用CNN訓(xùn)練算法與模擬退火算法相結(jié)合對(duì)圖像樣本進(jìn)行學(xué)習(xí)訓(xùn)練，抽取出隱藏在樣本中圖像數(shù)據(jù)的輸入和輸出之間的映射關(guān)系，從而更新網(wǎng)絡(luò)參數(shù)，得到具有去噪功能的CNN模型。

1.1 算法流程

算法的整體流程如圖1所示，其過(guò)程表述為：

1)構(gòu)建新的圖像數(shù)據(jù)集：針對(duì)真實(shí)場(chǎng)景圖像去噪，其中需包含大量的無(wú)噪清晰的實(shí)際圖像數(shù)據(jù)。數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，數(shù)量比為9∶1。

2)圖像訓(xùn)練集經(jīng)加噪處理后輸入到卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)前向卷積運(yùn)算，并利用測(cè)試集中的圖像數(shù)據(jù)計(jì)算損失函數(shù)從而對(duì)網(wǎng)絡(luò)進(jìn)行反饋優(yōu)化訓(xùn)練，更新參數(shù)，得到CNN去噪網(wǎng)絡(luò)模型。

3)利用訓(xùn)練完成的模型對(duì)含噪圖像進(jìn)行仿真處理，模型輸出即為去噪后的圖像。

上述過(guò)程中，圖像數(shù)據(jù)集的選擇與構(gòu)建、訓(xùn)練去噪模型是本文算法的關(guān)鍵點(diǎn)。

圖1 基于真實(shí)場(chǎng)景圖像下的CNN去噪算法流程

1.2 CNN去噪模型

設(shè)G為CNN去噪模型，由式(1)可得，去噪過(guò)程表述為

(3)

模型G通過(guò)CNN的多層卷積運(yùn)算，不斷學(xué)習(xí)樣本圖像數(shù)據(jù)的特征從而改善自身性能獲得。對(duì)于CNN第k層卷積層，其特征圖輸出為

Fk=f(Wk*Fk-1+θk)

(4)

式中Wk為前一層與當(dāng)前層之間的卷積核；Fk-1為第k-1層的特征圖輸出;*為卷積操作，其實(shí)質(zhì)是令卷積核Wk在第k-1層關(guān)聯(lián)的特征圖上進(jìn)行卷積運(yùn)算;θk為第k層的偏置;f為激活函數(shù)。

設(shè)第k+1層為子采樣層，則該層特征圖為

Fk+1=f(βk+1down(Fk)+θk+1)

(5)

式中down(Fk)為對(duì)第k層的特征圖Fk進(jìn)行子采樣;βk+1為第k+1層的乘性偏置;θk+1為第k+1層的加性偏置。

卷積運(yùn)算過(guò)程中，產(chǎn)生的損失函數(shù)為

(6)

式中xi為圖像數(shù)據(jù)集Sn中的任一圖像；z(xi)為其前向運(yùn)算輸出。

因此，圖像數(shù)據(jù)集輸入至CNN網(wǎng)絡(luò)結(jié)構(gòu)中，經(jīng)過(guò)卷積層和子采樣層的交替運(yùn)算，不斷輸出特征圖，同時(shí)最小化損失函數(shù)EMSE進(jìn)行反饋，更新參數(shù)優(yōu)化自身，最終得到針對(duì)真實(shí)場(chǎng)景圖像的CNN去噪模型。

1.3 去噪模型訓(xùn)練

模型訓(xùn)練過(guò)程可以概括為以下2個(gè)階段：

1)正向傳播階段。圖像數(shù)據(jù)集Sn輸入卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)前向卷積運(yùn)算和圖像變換函數(shù)運(yùn)算得到實(shí)際輸出；

2)反向傳播階段。計(jì)算實(shí)際輸出與理想輸出間的誤差，通過(guò)反向傳播算法逐層傳遞誤差以減小誤差，同時(shí)更新各層權(quán)值和偏置。

在訓(xùn)練過(guò)程中，采用損失函數(shù)EMSE作為反向傳播階段的衡量參數(shù)，權(quán)值和偏置則通過(guò)其隨機(jī)梯度下降得到更新。同時(shí)，為了求得損失函數(shù)的最小值，并提高大量樣本數(shù)據(jù)集的訓(xùn)練效率，本文在網(wǎng)絡(luò)模型中結(jié)合模擬退火算法進(jìn)行訓(xùn)練[9]。xi，i=1,2,…,n，為圖像輸入，z(xi)為其前向輸出，損失函數(shù)E(xi,z)為目標(biāo)函數(shù)，則問(wèn)題描述為：要找出合適的圖像數(shù)據(jù)集輸入，令E(xi,z)得到最小值。步驟如下：

1)xi為圖像輸入，產(chǎn)生輸出z(xi)，設(shè)初始狀態(tài)i=0，同時(shí)設(shè)初始溫度Ti。

2)對(duì)i=1,2,…,n，執(zhí)行步驟(3)～步驟(6)。

3)產(chǎn)生新的輸入xi+1和對(duì)應(yīng)輸出z(xi+1)。

4)計(jì)算損失函數(shù)增量ΔE(xi+1,z(xi+1))-E(xi,z(xi))。

5)若ΔE<0，則接受xi+1和z(xi+1)作為新的輸入和輸出；否則，以概率exp(-ΔE/T)接受xi+1和z(xi+1)作為新的輸入和輸出。

6)按一定方式降溫，令Ti=Ti+1(Ti+1

7)若滿足終止條件，則當(dāng)前輸入xi為最佳輸入，結(jié)束運(yùn)算；不滿足,則轉(zhuǎn)至步驟(2)。

1.4 去噪實(shí)現(xiàn)

利用式(3)進(jìn)行圖像去噪。具體步驟如下：

1)輸入外加噪聲的灰度圖像或者相機(jī)拍攝的圖片，為防止拍攝圖片過(guò)大，可在原圖像上截取一個(gè)圖像塊，令其為y，讀入至訓(xùn)練好的去噪模型G中。

2)為保持與模型中的數(shù)據(jù)一致，輸入的圖像先進(jìn)行尺寸擴(kuò)充，增加偏移量等處理后，再進(jìn)行仿真去噪。

2 實(shí)驗(yàn)與分析

2.1 圖像數(shù)據(jù)集

針對(duì)真實(shí)場(chǎng)景下的圖像去噪問(wèn)題，同時(shí)考慮人類視覺系統(tǒng)(HVS)的掩蓋效應(yīng)進(jìn)行圖像數(shù)據(jù)的采集。進(jìn)行多次嘗試后發(fā)現(xiàn)，數(shù)據(jù)集中的圖像數(shù)據(jù)采用室內(nèi)照片效果優(yōu)于室外照片，同時(shí)，加入具有簡(jiǎn)單色塊、線條等紋理的模擬光滑圖像能令去噪效果更佳。其中，對(duì)于紋理較復(fù)雜的照片數(shù)據(jù)，人眼視覺敏感度相對(duì)較弱，而含有大量色塊的圖像，人眼更加敏感。因此，采集如下3種圖像數(shù)據(jù)：

1)相機(jī)拍攝的室內(nèi)照片504張。室內(nèi)照片相對(duì)于戶外照片復(fù)雜性低，紋理相對(duì)簡(jiǎn)單，雖然本身也含有少量噪點(diǎn)，但人眼對(duì)其敏感度較弱，常常因其自身的紋理而被人眼忽略。數(shù)據(jù)集中采用的室內(nèi)照片，均為同一設(shè)備拍攝并具有較高的清晰度。

2)網(wǎng)絡(luò)下載的且已經(jīng)處理過(guò)的光滑無(wú)噪圖片431張。這種圖片相對(duì)于手工拍攝的照片，由于經(jīng)過(guò)了后期處理，幾乎不含噪點(diǎn)，因此，在數(shù)據(jù)集中加入此種圖片，能提高圖像數(shù)據(jù)的整體清晰度。

3)包含不同尺寸、不同顏色色塊、線條等紋理的模擬圖像540張。由于人眼對(duì)于大面積色塊的圖像較敏感，因此，這些圖像中的色塊形狀均勻，紋理簡(jiǎn)單且光滑無(wú)噪。如圖2所示。

圖2 數(shù)據(jù)集中包含的各種色塊及線條的模擬圖像

2.2 實(shí)驗(yàn)結(jié)果與分析

去噪仿真中，對(duì)初始圖像加入泊松噪聲和標(biāo)準(zhǔn)差 為10的高斯噪聲，再進(jìn)行去噪處理，同時(shí)為了說(shuō)明本文算法的去噪效果，將其與BM3D算法、KSVD去噪算法進(jìn)行實(shí)驗(yàn)比較。本文算法基于Linux系統(tǒng)，利用Torch框架實(shí)現(xiàn)，BM3D算法，KSVD去噪算法利用Matlab軟件進(jìn)行實(shí)驗(yàn)仿真。

圖3給出了各種方法針對(duì)灰度圖像的去噪結(jié)果圖，可以看出，本文算法具有較好的視覺效果，去噪后的圖像更加清晰，且邊緣處能得到較好的保持。

圖3 灰度圖像去噪結(jié)果對(duì)比

為了客觀驗(yàn)證算法的有效性，表1給出了每種方法的PSNR和結(jié)構(gòu)相似度(structure similarity,SSIM)值。可以看出:對(duì)于Pepper圖像，本文算法的PSNR和SSIM均優(yōu)于BM3D算法和KSVD算法;對(duì)于House圖像，本文算法的PSNR最高，SSIM高于KSVD算法，且與BM3D算法相當(dāng)，而對(duì)于Flower圖像，本文算法的SSIM值最佳，PSNR值相對(duì)KSVD算法有提升，同時(shí)與BM3D算法相當(dāng)。

表1 不同算法去噪結(jié)果比較

圖4給出了利用本文算法對(duì)相機(jī)拍攝圖片的去噪處理結(jié)果及局部細(xì)節(jié)放大圖，可以看出:去噪后的圖像畫面清晰，平滑效果良好，圖4(c)中樓梯的輪廓、人物的衣服邊線及桌椅邊緣等細(xì)節(jié)處也得到了一定程度的保留，因此，對(duì)于實(shí)際拍攝的照片，本文算法也能取得較好的去噪效果。

3 結(jié)束語(yǔ)

提出了一種基于真實(shí)場(chǎng)景圖像下的CNN去噪算法，該算法通過(guò)構(gòu)建新的圖像數(shù)據(jù)集和訓(xùn)練算法，并結(jié)合模擬退火算法提高訓(xùn)練率，建立CNN去噪模型，實(shí)現(xiàn)了真實(shí)場(chǎng)景圖像去噪。仿真結(jié)果和客觀性能指標(biāo)表明:對(duì)于含噪的灰度圖像和相機(jī)拍攝圖片均能取得明顯的去噪效果，同時(shí),對(duì)圖像邊緣處，也能得到較好的保留。

[1] 黃一鶴.一種基于新的小波閾值函數(shù)的圖像去噪方法[J].傳感器與微系統(tǒng),2011,30(9):76-78,81.

[2] Chan T F,Shen J H,Vese L.Variational PDE models in image processing[J].Notice of the AMS,2003,50(1):14-26.

[3] 劉光宇，卞紅雨，沈鄭燕，等.PDE模型在聲納圖像去噪中的應(yīng)用研究[J].傳感器與微系統(tǒng),2012,31(2):42-44.

[4] Elad M,Aharon M.Image denoising via sparse and redundant representations over learned dictionaries[J].IEEE Transactions on Image Processing,2006,15(12):3736-3745.

[5] Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing,2007,16(8):2080-2095.

圖4 拍攝圖片去噪結(jié)果

[6] Dong C,Chen C L,He K,et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38(2):295-307.

[7] 胡許明，張登福，南 棟，等.基于人眼視覺特性的圖像視覺質(zhì)量評(píng)價(jià)方法[J].計(jì)算機(jī)應(yīng)用,2012,32(7):1882-1884,1889.

[8] Wang Xuejiao,Tao Queyan,Wang Lianghao,et al.Deep convolutional architecture for natural image denoising[C]∥International Conference on Wireless Communications & Signal Processing,2015:1-4.

[9] 崔小勇，林 寧.基于遺傳模擬退火算法的無(wú)線傳感器網(wǎng)路由協(xié)議[J].傳感器與微系統(tǒng),2016,35(7):32-34.

CNNdenoisingalgorithmbasedonactualsceneimage*

WANG Chun， GUO Chun-sheng

(SchoolofCommunicationEngineering，HangzhouDianziUniversity，Hangzhou310018，China)

An denoising algorithm of convolutional neural network(CNN)based on actual scene image is proposed.By building a new database of noiseless images,then by inputting it into CNN,and combining with simulated annealing algorithm to improve training rate,finally building a model which can realize actual scence image denoising.Experimental results show that both gray images with noise,and images by camera achieve effectively smoothing effect,power signal-to-noise ratio(PSNR)value is high and image edges and details are preserved well.

convolutional neural network(CNN); actual scene image; image denoising; simulated annealing

10.13873/J.1000—9787(2017)10—0147—03

2016—09—30

國(guó)家自然科學(xué)基金資助項(xiàng)目(61372157)

TN 911.73

A

1000—9787(2017)10—0147—03

王 純(1992-)，女，通訊作者，碩士研究生，主要研究方向?yàn)樾盘?hào)與信息處理，E—mail:wchun_ui@126.com。郭春生(1971-)，男，博士，副教授，主要從事圖像處理、模式識(shí)別和計(jì)算機(jī)視覺等研究工作。