腸道機(jī)器人獲取的腸道圖像降噪處理方法

薛蓉蓉， 王志武， 顏國正， 莊浩宇

(上海交通大學(xué) 醫(yī)療機(jī)器人研究院， 上海 200240)

無線供能式腸道機(jī)器人通過攝像頭對(duì)腸道內(nèi)部環(huán)境拍照，將圖像傳輸?shù)襟w外上位機(jī)中顯示，并供醫(yī)生診斷.由于硬件設(shè)備、磁場(chǎng)環(huán)境等，拍攝到的腸道圖像總是不可避免地受到噪聲影響，直接影響后續(xù)醫(yī)生的判讀.因此，減少無線供能式腸道機(jī)器人所采集的圖像中的噪聲，具有重要的臨床應(yīng)用價(jià)值.

針對(duì)無線供能式腸道機(jī)器人采集圖像質(zhì)量的降低，傳統(tǒng)的方法是空間域?yàn)V波和變換域?yàn)V波.Ning等[1]采用自適應(yīng)中值濾波和維納濾波的方法去除機(jī)器人采集圖像的高斯噪聲和椒鹽噪聲.彭宇[2]提出正交小波變換的方法來降低腸道圖像的橫條紋噪聲，取得了比增加圖像像素輸出增益更好的效果.Duda等[3]采用超分辨率的方法對(duì)腸道圖像進(jìn)行處理，但會(huì)使得圖像的邊緣模糊.近年來，深度學(xué)習(xí)成為圖像優(yōu)化的一種重要方式.Jain等[4]首次采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型進(jìn)行圖像降噪，取得比傳統(tǒng)方法更好的效果.Zhang等[5]提出更深層的前饋去噪卷積神經(jīng)網(wǎng)絡(luò)(DnCNN)模型，首次結(jié)合殘差學(xué)習(xí)和批量歸一化進(jìn)行圖像降噪.Zou等[6]使用基于CNN的盲降噪方法，并有效抑制了腸道圖像的噪聲.

基于以上分析，為了在降低腸道圖片噪聲的同時(shí)減小失真度并提升亮度，提出腸道圖片的頻率域降噪方法.首先，對(duì)無線供能式腸道機(jī)器人采集到的帶干擾的腸道圖片進(jìn)行直方圖均衡化預(yù)處理，提升其亮度和色彩對(duì)比度.其次，通過NSCT變換獲得腸道圖像的高低頻特征數(shù)據(jù)并對(duì)進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.最后，將高低頻濾波輸出結(jié)果進(jìn)行NSCT逆變換，得到降噪后的圖像.算法整體流程如圖1所示.

圖1 腸道圖像降噪算法整體流程圖Fig.1 Flow chart of intestinal image noise reduction algorithm

1 無線供能式腸道機(jī)器人圖像采集系統(tǒng)

無線供能式腸道機(jī)器人圖像采集系統(tǒng)由體內(nèi)發(fā)射端和體外接收端組成，采用基于NTSC制式的圖像采集方式[7]，工作原理是：互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器采集腸道內(nèi)壁的圖像，編碼為NTSC制式模擬視頻流，通過發(fā)射天線傳輸?shù)襟w外，體外接收端的無線圖像接收模塊接收?qǐng)D像數(shù)據(jù)，并編碼為數(shù)字式圖像進(jìn)行顯示.

在圖像采集系統(tǒng)的能量供應(yīng)方式上，采用基于電磁感應(yīng)原理的無線能量傳輸技術(shù).在能量發(fā)射電路中，直流電經(jīng)過逆變橋生成交變電流驅(qū)動(dòng)發(fā)射線圈，在其周圍產(chǎn)生交變電磁場(chǎng).體內(nèi)接收線圈通過電磁感應(yīng)獲得能量之后，經(jīng)過整流和穩(wěn)壓給圖像采集系統(tǒng)供應(yīng)能量，如圖2所示.

圖2 圖像采集系統(tǒng)整體設(shè)計(jì)框圖Fig.2 Block diagram of overall design of image acquisition system

2 腸道圖像噪聲來源

腸道圖像中噪聲存在的原因可列為以下3點(diǎn)：① 電磁場(chǎng)的干擾.由腸道機(jī)器人無線能量供應(yīng)的方式可知，其處在磁場(chǎng)環(huán)境中工作，因此信號(hào)傳遞的過程中會(huì)摻雜大量的電磁信號(hào)，在圖像上表現(xiàn)為噪點(diǎn)噪聲[8]，影響圖像的質(zhì)量；② 機(jī)器人運(yùn)動(dòng)不穩(wěn)定性的影響.機(jī)器人在腸道內(nèi)運(yùn)動(dòng)時(shí)，腸道和CMOS圖像傳感器之間產(chǎn)生的相對(duì)運(yùn)動(dòng)，即運(yùn)動(dòng)噪聲[9]，會(huì)導(dǎo)致圖像的模糊；③ 圖像采集系統(tǒng)自身因素的影響.CMOS圖像傳感器易受到固定模式噪聲的干擾，在圖像上表現(xiàn)為條紋噪聲和亮度的不均勻性[10].由于腸道圖像噪聲的復(fù)雜性，傳統(tǒng)針對(duì)某類噪聲的單一降噪處理方法對(duì)腸道噪聲圖像的降噪效果不好，因此，采用基于學(xué)習(xí)的CNN處理方法.

3 基于NSCT變換的腸道圖片降噪方法

3.1 腸道噪聲圖像直方圖均衡化預(yù)處理

由于圖像采集系統(tǒng)自身因素的影響，加之腸道機(jī)器人在人體腸道的黑暗環(huán)境中工作，僅依靠發(fā)光二極管(LED)照明，使得采集到的腸道圖像除了存在條紋噪聲之外，往往會(huì)整體上偏暗，對(duì)比度較小，對(duì)腸道圖像的視覺效果和后續(xù)的降噪性能產(chǎn)生較大的影響.針對(duì)此問題，通過直方圖均衡化對(duì)腸道圖片的紅，綠，藍(lán)(分別為R，G，B) 3個(gè)通道進(jìn)行預(yù)處理.

3.2 NSCT變換原理

NSCT變換是一種具有多尺度、多方向及平移不變性的頻域變換方法，由非下采樣金字塔分解(NSP)和非下采樣方向分解(NSDFB)兩部分構(gòu)成[11],其變換過程是：先采用NSP對(duì)圖像f(x,y)進(jìn)行多尺度分解，得不同頻率的高頻子帶圖像和一個(gè)低頻子帶圖像，再采用NSDFB對(duì)得到的高頻子帶圖像進(jìn)行多方向性分解，最終得到不同尺度、不同方向的子帶圖像.圖3為NSCT的二級(jí)分解結(jié)構(gòu)圖.圖中：H0(z)、H1(z)分別為低通、高通分解濾波器，滿足恒等式：

圖3 NSCT二級(jí)分解結(jié)構(gòu)圖Fig.3 Structure of secondary decomposition of NSCT

H0(z)+H1(z)=1
H0(z)G0(z)+H1(z)G1(z)=1

式中：G0(z)、G1(z)分別為對(duì)應(yīng)的低通、高通合成濾波器.

3.3 殘差CNN處理

CNN對(duì)圖像進(jìn)行特征提取并獲得圖像相應(yīng)的信息，常被用于圖像降噪.不同于文獻(xiàn)[12-13]提出的方法，將CNN直接用于提取圖像的像素信息，根據(jù)像素融合而成的特征進(jìn)行降噪處理.本文的創(chuàng)新之處在于，將CNN用于NSCT變換后的頻域圖而非原始圖，變換后的頻域圖本質(zhì)上和圖像一樣，由1個(gè)二維矩陣表征.因此，CNN不再針對(duì)像素學(xué)習(xí)特征，而是學(xué)習(xí)相應(yīng)的頻率域特征.在CNN訓(xùn)練過程中，主要存在梯度消失和網(wǎng)絡(luò)退化兩個(gè)問題.梯度消失主要由于反向傳播的求導(dǎo)鏈中各環(huán)節(jié)的導(dǎo)數(shù)逐漸變小，導(dǎo)致整個(gè)反向傳播的梯度趨近于0，網(wǎng)絡(luò)難以繼續(xù)調(diào)優(yōu).添加殘差可以使鏈?zhǔn)角髮?dǎo)中多個(gè)環(huán)節(jié)的導(dǎo)數(shù)接近1，讓反向傳播的梯度盡可能長(zhǎng)時(shí)間保持在為網(wǎng)絡(luò)調(diào)優(yōu)的范圍內(nèi).網(wǎng)絡(luò)退化指的是神經(jīng)網(wǎng)絡(luò)達(dá)到一定深度后，較深層次的網(wǎng)絡(luò)參數(shù)變換和訓(xùn)練任務(wù)的關(guān)聯(lián)度下降.使用跨層連接的方式將淺層特征和深層特征相連，學(xué)習(xí)其間的差值，即使用殘差網(wǎng)絡(luò)，可以有效地解決網(wǎng)絡(luò)退化的問題.因此，設(shè)計(jì)殘差網(wǎng)絡(luò)應(yīng)用于高低頻子帶圖像的降噪.該網(wǎng)絡(luò)由三部分組成：輸入輸出模塊、編碼-解碼模塊以及殘差單元模塊，如圖4所示.

圖4 編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Network structure of encoding-decoding

該網(wǎng)絡(luò)是由18層具有殘差結(jié)構(gòu)的級(jí)聯(lián)卷積-池化層組成，細(xì)節(jié)如下：編碼部分包含3層特征圖提取網(wǎng)絡(luò)，每層使用大小為3×3、步長(zhǎng)為1的卷積核對(duì)上一層的特征圖處理，且每一次卷積后用修正線性單元激活函數(shù)(ReLU)進(jìn)行激活，并進(jìn)行最大池化.解碼部分也包含3層網(wǎng)絡(luò)，使用與編碼類似的結(jié)構(gòu)，通過上采樣填充之前丟失的細(xì)節(jié)信息. 為了減少信息的丟失和損耗并防止網(wǎng)絡(luò)訓(xùn)練過程中梯度消失問題，在編碼階段和解碼階段之間加入由殘差模塊組成的鏈?zhǔn)浇Y(jié)構(gòu).每個(gè)殘差模塊均采用bottleneck結(jié)構(gòu)，即前后各有一個(gè)1×1的卷積層，分別用來減小和增加圖像的維度，使得3×3的卷積層(Conv)有較小的輸入維度和輸出維度，以減小計(jì)算量，如圖5所示.

圖5 單個(gè)殘差模塊結(jié)構(gòu)Fig.5 Structure of single residual module

4 降噪性能評(píng)價(jià)指標(biāo)

選用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為腸道圖像降噪性能的評(píng)價(jià)指標(biāo).PSNR是在均方誤差(MSE)的基礎(chǔ)上定義的指標(biāo)，反映算法的降噪性能.PSNR越高，表示算法的降噪性能越好.SSIM表示處理后圖像的失真程度，其值越大，失真越小.計(jì)算公式如下：

5 實(shí)驗(yàn)結(jié)果及對(duì)比分析

腸道噪聲圖像均衡化后的圖像及各分量的直方圖分別見圖6、7.圖7中：G′為灰度，K為像素點(diǎn)個(gè)數(shù).可以看出，原始圖像存在大量的噪聲，且有明顯的色度偏差，經(jīng)直方圖均衡化后，腸道圖像的灰度分布從原來的集中于某些灰度點(diǎn)調(diào)整到較為均勻的分布，亮度和對(duì)比度得到明顯的提升，視覺效果與真實(shí)場(chǎng)景的腸道環(huán)境更為接近，從而更加有利于后續(xù)噪聲的去除.

圖6 均衡化后的腸道圖像Fig.6 Intestinal image after equalization

圖7 原始R，G及B分量直方圖及均衡化后的直方圖Fig.7 Histogram of original R, G, and B components and histogram after equalization

采用無線供能式腸道機(jī)器人圖像采集系統(tǒng)采集的噪聲圖像作為測(cè)試集，采用自己搜集的和噪聲圖像相配對(duì)的數(shù)據(jù)集，實(shí)驗(yàn)仿真的計(jì)算機(jī)硬件配置CPU為Intel Core i9-9960X，GPU為NVIDIA GeForce RTX 2080 Ti，內(nèi)存為64 GB，軟件配置為MATLAB 2019a，神經(jīng)網(wǎng)絡(luò)的搭建采用MATLAB的深度學(xué)習(xí)框架 Deep Learning Toolbox.NSCT變換的分解層數(shù)為3層，所對(duì)應(yīng)的方向數(shù)分別為8、16、16.

為了驗(yàn)證NSCT-殘差CNN算法的有效性，選取不經(jīng)過NSCT變換，而直接對(duì)直方圖均衡化后的腸道圖像進(jìn)行CNN處理的方法對(duì)比，該CNN的網(wǎng)絡(luò)結(jié)構(gòu)與NSCT-CNN的網(wǎng)絡(luò)結(jié)構(gòu)相同.同時(shí)，選取不帶殘差模塊的NSCT-CNN算法對(duì)比.其中初始學(xué)習(xí)率均設(shè)置為0.001，迭代了300輪，損失函數(shù)隨迭代輪數(shù)的變化情況如圖8所示，圖中：N為迭代輪數(shù)；L為迭代損失.圖8(b)、8(c)分別為圖8(a)中相應(yīng)區(qū)域的放大圖.可以看出，NSCT-殘差CNN網(wǎng)絡(luò)的損失衰減最快，其次是CNN網(wǎng)絡(luò)和NSCT-CNN網(wǎng)絡(luò)，而最后NSCT-殘差CNN網(wǎng)絡(luò)的損失是最小的，因此NSCT-殘差CNN網(wǎng)絡(luò)在測(cè)試集上具有最小的均方誤差.

圖8 各模型訓(xùn)練迭代輪數(shù)和損失圖Fig.8 Training iteration rounds and loss of each model

給出3幅測(cè)試圖像A、B、C的結(jié)果.在圖9中，從主觀視覺的角度可以看出，在相同的CNN網(wǎng)絡(luò)結(jié)構(gòu)下，腸道圖像經(jīng)NSCT變換后再進(jìn)行CNN處理，會(huì)大大減少噪聲.在CNN網(wǎng)絡(luò)結(jié)構(gòu)中加入殘差模塊，腸道圖像的邊緣細(xì)節(jié)得到增強(qiáng).

圖9 不同算法降噪效果對(duì)比Fig.9 Comparison of noise reduction effects of different algorithms

表1、2為不同算法的PSNR及SSIM，可以看出，NSCT-殘差CNN方法得到的PSNR和SSIM指標(biāo)高于其他幾種算法，說明NSCT-殘差CNN的處理方法，相比于CNN或NSCT-CNN的處理方法，具有更好的降噪性能，且降噪后的圖片有更小的失真度.

表1 不同算法的PSNR對(duì)比Tab.1 Comparison of PSNR of different algorithms

表2 不同算法的SSIM對(duì)比Tab.2 Comparison of SSIM of different algorithms

6 結(jié)語

針對(duì)無線供能式腸道機(jī)器人采集的圖像質(zhì)量的降低，分析了腸道圖像噪聲的來源，結(jié)合NSCT變換理論，提出了含有多個(gè)殘差單元的編解碼網(wǎng)絡(luò)，將CNN應(yīng)用于腸道圖像的頻域圖.通過一系列對(duì)比實(shí)驗(yàn)，證明了相比于CNN算法和NSCT-CNN算法，NSCT-殘差CNN算法能夠顯著降低腸道圖片的噪聲，使得降噪后的腸道圖片有更好的視覺效果.PSNR、SSIM等客觀指標(biāo)也有所提高，具有一定的應(yīng)用價(jià)值.在未來的工作中，將針對(duì)已有算法的架構(gòu)做出調(diào)整，使其能夠適應(yīng)更多的噪聲場(chǎng)景，提高算法的泛化特性.