超分辨熒光顯微圖像去噪算法性能影響因素

程 濤,金 虎,賈東東

(廣西科技大學(xué)機(jī)械與汽車工程學(xué)院,廣西 柳州 545006)

0 引言

超衍射極限的超分辨顯微成像是進(jìn)行細(xì)胞內(nèi)部等微觀研究的重要工具[1-3]。隨機(jī)光學(xué)重構(gòu)顯微鏡(stochastic optical reconstruction microscopy,STORM)和(熒光)光激活定位顯微((fluorescence) photoactivated localization microscopy,(F)PALM)都可基于稀疏分布的熒光分子成像實(shí)現(xiàn)單分子定位(single-molecule localization,SML)。最終的超分辨圖像的構(gòu)建需要數(shù)千幀原始圖像[1,3-4]。

原始圖像的噪聲是影響超分辨重構(gòu)的重要因素。電子倍增電荷耦合器件(electron-multiplying charge-coupled device,EMCCD)采集的原始圖像的噪聲主要包括服從泊松分布的散粒噪聲、服從高斯分布的讀出噪聲和背景噪聲等[5-8]。由于EMCCD的讀出噪聲及其方差較小,原始圖像模擬大多僅考慮背景和泊松噪聲[5-6,9]。超分辨顯微的單張?jiān)紙D像去噪研究少見報(bào)道。使用三維塊匹配濾波(block-matching and 3D filtering,BM3D)和廣譜去噪(wide spectrum denoising,WSD)[10-14]對超分辨顯微的單張?jiān)紙D像作去噪處理,可取得較好效果。兩種算法在超分辨顯微領(lǐng)域的研究和應(yīng)用都處于起步階段,BM3D和WSD在各種情境的性能并不完全清楚。因此需要作大量的研究,以充分發(fā)掘兩種算法的潛力,明確兩種算法的性能。本文的目的是研究制約兩種去噪算法性能的因素,及其對兩種去噪算法性能的影響,研究結(jié)果表明,原始圖像的分塊大小和熒光分子密度都會影響去噪算法性能。

2 超分辨顯微中的壓縮感知

壓縮感知(CS)是不同于SML的超分辨顯微重構(gòu)方法。CS允許激活的熒光團(tuán)密度比SML能夠處理的高一個數(shù)量級。即使這些熒光團(tuán)的分布不再稀疏,各彌散斑高度重疊,依然可取得很好的重構(gòu)效果?；罴?xì)胞微管的超分辨成像的時間分辨率可達(dá)3 s[5-6]。

式(1)是表示原始圖像與超分辨圖像之間關(guān)系的CS數(shù)學(xué)模型。向量y和向量x分別由原始圖像和超分辨圖像(即像素化的超分辨圖像)逐行或逐列首尾相接而成;點(diǎn)擴(kuò)散函數(shù)(point spread function,PSF)是無限小點(diǎn)光源的光通過顯微鏡,在像平面上的光強(qiáng)分布函數(shù)[5-6],測量矩陣A由PSF確定。當(dāng)且僅當(dāng)x的第i個元素位置的熒光分子發(fā)射光子時,采集到的原始圖像對應(yīng)測量矩陣A的第i列。

min‖x‖0s.t.y=Ax,

(1)

式(1)中,x∈RN,y∈RM,A∈RM×N,M

信噪比(SNR)可以表征去噪后的原始圖像和重構(gòu)得到的超分辨圖像的整體質(zhì)量[6]。結(jié)構(gòu)相似度測度(structural similarity index measure,SSIM)可用于度量兩幅圖像之間的相似程度[14-15]。SSIM取值范圍為0～1。如果兩幅圖像相同,SSIM的值為1。本文以SNR和SSIM作為原始圖像和超分辨圖像的評價(jià)指標(biāo)。

3 兩種去噪算法的性能與分塊大小及熒光分子密度的關(guān)系

超分辨顯微采集的原始圖像通常很小,只有約上萬個像素[2,6,10],而且圖像非常單調(diào),都是各種大小的彌散斑。BM3D要求處理的原始圖像大小不能小于8×8像素,否則就無法正常運(yùn)行[10]。可見,BM3D的去噪性能與原始圖像大小有關(guān)。WSD能處理的原始圖像大小受測量矩陣行數(shù)制約[10]。當(dāng)處理像素?cái)?shù)量遠(yuǎn)大于測量矩陣行數(shù)的原始圖像時,必須把原始圖像分割成小塊,分別去噪,去噪后再將各分塊合并成大圖。因此,兩種去噪算法的性能都應(yīng)該與圖像的分塊大小有關(guān)。原始圖像的熒光分子密度,與原始圖像的噪聲直接相關(guān)：熒光分子密度越低,就意味著信號越弱,噪聲也相對越大,一般噪聲越大越容易去噪;如果噪聲很小,反而難以去噪[10]。因此,兩種去噪算法的性能都應(yīng)該與熒光分子密度有關(guān)。

為區(qū)別于原始圖像的像素,稱超分辨圖像的像素為網(wǎng)格。模擬生成20幀已知分子位置的超分辨圖像,并生成對應(yīng)的20幀原始圖像。模擬將863個分子隨機(jī)放置在1 024×1 024網(wǎng)格的區(qū)域。熒光分子密度為6.304 μm-2,原始圖像的有效像素大小為100 nm,有效網(wǎng)格大小為12.5 nm,超分辨圖像的網(wǎng)格是原始圖像像素大小的1/8,原始圖像的大小為128 × 128像素。PSF是高斯函數(shù),標(biāo)準(zhǔn)差是原始像素大小的1.127倍。熒光分子發(fā)射光子數(shù)為3 000,均勻背景的光子數(shù)為64。在原始圖像中添加泊松噪聲。圖1(a)和(b)是去噪前后20幀(高密度)模擬原始圖像基于不同分塊大小的SNR均值曲線,每一幀包含863個熒光分子。

模擬生成500幀已知分子位置的超分辨圖像和相應(yīng)的500幀原始圖像。模擬將34個分子隨機(jī)放置在1 024 × 1 024網(wǎng)格區(qū)域。熒光分子密度分別為0.248 μm-2。圖1(c)和(d)是去噪前后500幀(低密度)模擬原始圖像基于不同分塊大小的SNR均值曲線,每一幀包含34個熒光分子。圖1(a)和(c)中,通過BM3D去噪的SNR曲線中,虛線左側(cè)的實(shí)線表示逐塊去噪拼接后的原始圖像大小大于99×99,虛線表示逐塊去噪并拼接后的原始圖像大小小于99×99,虛線右端實(shí)線表示對每幀圖像直接去噪,不做分塊處理。虛線只是兩條實(shí)線相鄰兩端的連線。

在熒光分子高密度分布(即20幀)時,通過BM3D去噪后的SNR曲線反而低于去噪前,通過WSD去噪后的SNR曲線隨分塊大小的增大而上升。在分塊大小為37時SNR達(dá)到最大28.909 dB,相較于去噪前的27.553 dB,提高1.356 dB。

在熒光分子低密度分布(即500幀)時,通過BM3D去噪后的SNR曲線出現(xiàn)明顯的兩個大波峰和一個大波谷。波谷區(qū)域的SNR低于去噪前的19.645 dB。波峰最大值出現(xiàn)在分塊大小為41的位置,SNR達(dá)到21.667 dB,較去噪前提高2.022 dB。通過WSD去噪后的SNR曲線,除3個明顯的波谷外,總體隨分塊大小的增大而上升。在分塊大小為33時SNR達(dá)到最大22.406 dB,相較于去噪前的19.645 dB,提高2.761 dB。無論熒光分子高密度分布,還是低密度分布,WSD的去噪效果都好于BM3D。

圖1 500幀模擬原始圖像去噪前后的平均SNR對比Fig.1 Comparison of the mean SNRs based on 500 simulated raw images before and after denoising

總的來說,兩種去噪算法在低密度模擬原始圖像的分塊大小取37時都可獲得各自最優(yōu)的去噪效果,發(fā)揮最優(yōu)去噪性能,因此,37就是最優(yōu)分塊。為便于比較實(shí)驗(yàn)結(jié)果,并做進(jìn)一步的驗(yàn)證分析,以下的模擬實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)的去噪分塊大小都選37,原始圖像都選低密度的原始圖像。

4 基于最優(yōu)分塊和低密度的模擬原始圖像的去噪和超分辨重構(gòu)

圖2的上行是500幀模擬原始圖像中的一幀的局部放大圖。模擬原始圖像的去噪分塊大小選37。圖2(a)是采用BM3D去噪后的原始圖像,圖2(b)是采用WSD去噪后的原始圖像,圖2(c)是添加噪聲后的原始圖像,圖2(d)是沒有噪聲的原始圖像。在超分辨顯微中,對原始圖像去噪的最終目的是得到更好的超分辨圖像。圖2的下行是用CS重構(gòu)出的相對應(yīng)于上行的超分辨圖像和真實(shí)超分辨圖像。表1是模擬原始圖像去噪前后的SSIM和SNR?！?”的左邊是去噪前的SSIM或SNR的值,“/”的右邊是去噪后的增量。

圖2 模擬原始圖像去噪前后和相應(yīng)超分辨圖像的對比(標(biāo)尺：1 μm)Fig.2 Comparison of thesimulated raw images before and after denoising and the corresponding super-resolution images(scale bars：1 μm)

通過BM3D去噪后,SSIM從0.146增加到0.362,提高一倍多。SNR由19.813 dB提高到20.206 dB,提高約0.4 dB。通過WSD去噪后,SSIM從0.146增加到0.157,提高約0.011,SNR由19.813 dB提高到22.406 dB,提高約2.6 dB。BM3D和WSD都是有效的去噪算法,去噪效果明顯。

表1 去噪前后的模擬原始圖像和相應(yīng)的超分辨圖像的SSIM和SNRTab.1 SSIM and SNR of the simulated raw images before and after denoising and corresponding super-resolution images

通過BM3D去噪后,SSIM從0.833增加到0.873,提高0.04,SNR由-0.592 dB提高到0.293dB,提高0.885 dB。通過WSD去噪后,SSIM從0.833增加到0.889,提高0.056,SNR由-0.592 dB提高到0.68 dB,提高1.272 dB。BM3D和WSD對超分辨重構(gòu)都具有增強(qiáng)作用。

將下行圖中去噪前后的圓形區(qū)域與真實(shí)超分辨圖像的圓形部分對比,可以發(fā)現(xiàn)：WSD的三角結(jié)構(gòu)清晰可辨;而BM3D和Noisy的三角結(jié)構(gòu)都不甚清晰。

將上行圖中去噪前后的橢圓區(qū)域與真實(shí)圖像的橢圓部分對比,可以發(fā)現(xiàn)：BM3D去噪后的偽影現(xiàn)象非常嚴(yán)重,橢圓區(qū)域幾乎漆黑一片,看不到任何有效結(jié)構(gòu);WSD的背景比去噪前的原始圖像更平滑。盡管上行中原始圖像去噪后的SSIM值,BM3D的0.362高于WSD的0.157,但從下行的重構(gòu)效果看,相較于BM3D,WSD是更好的去噪算法。

5 基于最優(yōu)分塊的真實(shí)實(shí)驗(yàn)原始圖像的去噪和超分辨重構(gòu)

真實(shí)實(shí)驗(yàn)原始圖像的去噪分塊大小選最優(yōu)分塊37。圖3第一行是去噪前后的單幀真實(shí)原始圖像,圖3(a)是采用BM3D去噪后的真實(shí)原始圖像,圖3(b)是采用WSD去噪后的真實(shí)原始圖像,圖3(c)是去噪前的真實(shí)原始圖像[16]。盡管熒光分子的真實(shí)密度無從得知,但是由圖3(c)中彌散斑的分布可見,各彌散斑都稀疏分布,重疊的很少。因此熒光分子的密度較低。

圖3 去噪前后的原始圖像和超分辨圖像對比(標(biāo)尺：1 μm)Fig.3 Comparison of the raw image and the super-resolution image before and after denoising(scale bars：1 μm)

對比圖3第一行各圖的橢圓區(qū)域,可以發(fā)現(xiàn)：WSD和Noisy的橢圓區(qū)域的5個彌散斑都清晰可辨;由于BM3D的平滑作用,BM3D的偽影現(xiàn)象非常嚴(yán)重;BM3D橢圓區(qū)域中的5個彌散斑幾乎連成一片,無法分辨出5個彌散斑;WSD幾乎無偽影現(xiàn)象。

圖3第二行是用CS重構(gòu)出的對應(yīng)于第一行的超分辨圖像。BM3D的微管結(jié)構(gòu)模糊,沒有WSD和Noisy的清晰。第三行是對應(yīng)第二行紅色劃線處的光子計(jì)數(shù)曲線,最高波峰值為15 000。WSD的兩個波峰非常清楚;Noisy的兩個大波峰之間還存在一些很小的小波峰;BM3D只有一個大波峰比較清楚,其他各波峰很不清晰。BM3D盡管有一定去噪能力,但不適用于真實(shí)實(shí)驗(yàn)的原始圖像。WSD優(yōu)于BM3D。

6 結(jié)論

BM3D和WSD的去噪能力都與分塊大小和熒光分子密度高度相關(guān)。在熒光分子低密度分布時,BM3D和WSD在分塊大小約為37時都可取得各自最好的去噪效果。WSD的去噪效果優(yōu)于BM3D,而且?guī)缀醪划a(chǎn)生偽影。基于WSD的超分辨重構(gòu)效果優(yōu)于BM3D,BM3D不適用于熒光分子高密度分布的情景。在熒光分子高密度分布時,WSD在分塊大小為37時可取得最好的去噪效果。