病理輔助診斷系統(tǒng)中數(shù)字濾光片的實(shí)現(xiàn)方法

王紫旋，謝怡寧，何勇軍

摘要：病理輔助診斷系統(tǒng)采用在切片上放置濾光片的方法實(shí)現(xiàn)光源過(guò)濾，得到單色平行光，用于計(jì)算圖像的光密度參數(shù)來(lái)反映切片中某物質(zhì)含量。但濾光片的使用不僅會(huì)導(dǎo)致圖像的顏色對(duì)比度降低，從而干擾醫(yī)生后續(xù)診斷、增加誤診可能性，而且提高了支出成本。為了解決該問(wèn)題，訓(xùn)練CGAN模型實(shí)現(xiàn)無(wú)濾光圖到有濾光圖的轉(zhuǎn)換，取代硬件濾光片，并將訓(xùn)練好的模型稱作數(shù)字濾光片。為提高數(shù)字濾光片性能，在生成器中添加全尺度跳躍連接以提高生成圖像質(zhì)量，在損失函數(shù)中添加積分光密度的約束以利于準(zhǔn)確測(cè)量生成圖像的細(xì)胞核積分光密度。實(shí)驗(yàn)表明，數(shù)字濾光片可達(dá)到硬件濾光片的濾光效果，生成圖像在視覺(jué)效果上逼近真實(shí)濾光圖像。在計(jì)算細(xì)胞核積分光密度的任務(wù)上，生成圖像與均值為119的真實(shí)濾光圖像偏差5.3%，表現(xiàn)效果分別比CycleGAN、pix2pix、pix2pixHD方法提升10.9%、3.2%、6.1%。

關(guān)鍵詞：醫(yī)學(xué)研究;條件生成對(duì)抗網(wǎng)絡(luò);圖像翻譯;光密度;濾光片

DOI：10.15938/j.jhust.2022.01.006

中圖分類號(hào)： TP391.1? 文獻(xiàn)標(biāo)志碼： A? ?文章編號(hào)： 1007-2683（2022）01-0040-07

Realization Method of Digital Filter in Pathological

Assistant Diagnosis System

WANG Zixuan，XIE Yining，HE Yongjun

（School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China）

Abstract：The pathologyassisted diagnosis system adopts the method of placing a filter on the slice to filter the light source and obtain the monochromatic parallel light， which is used to calculate the optical density parameter of the image to reflect the content of a certain substance in the slice. But the use of filter not only reduces the color contrast of the image， which interferes with the doctors followup diagnosis and increases the possibility of misdiagnosis， but also increases expenditure costs. In order to solve this problem， the CGAN model is trained to realize the conversion from unfiltered image to a filtered image， which is used to replace the hardware filter， and the trained model is called a digital filter. In order to improve the performance of the digital filter， a fullscale jump connection is added to the generator to improve the quality of the generated image， and the integral optical density constraint is added to the loss function to facilitate accurate measurement of the integrated optical density of the nucleus in the generated image. Experiments show that the digital filter can achieve the filtering effect of a hardware filter， and the generated image is close to the real filtered image in terms of visual effects. In the task of calculating the integral optical density of the cell nucleus， the generated image deviates 5.3% from the real filtered image with a mean value of 119， the performance is improved by 10.9%， 3.2%， and 6.1% compared with CycleGAN， pix2pix， and pix2pixHD methods.

Keywords：medical research; conditional generative adversarial network （CGAN）; image translation; optical density; optical filter

0引言

在醫(yī)學(xué)研究中，經(jīng)常利用圖像的光密度參數(shù)來(lái)反映切片中某物質(zhì)的含量或反應(yīng)的強(qiáng)度[1-2]。該操作的理論基礎(chǔ)是朗伯比爾定律[3]：當(dāng)一束平行單色光垂直通過(guò)某一均勻非散射的吸光物質(zhì)時(shí)，其吸光度與吸光物質(zhì)的濃度及吸收層厚度成正比，與照射光強(qiáng)度無(wú)關(guān)。即要通過(guò)計(jì)算圖像的光密度參數(shù)來(lái)反映切片中某物質(zhì)的含量，則需要滿足切片被單色平行光透過(guò)的前提條件。醫(yī)學(xué)研究中廣泛采用在切片上放置濾光片的方法來(lái)滿足該條件[4]。病理輔助診斷系統(tǒng)[5-6]的實(shí)現(xiàn)中利用到該原理。該系統(tǒng)首先將病理切片和濾光片置于顯微鏡下，進(jìn)行掃描拍攝得到病理圖像[7]。然后計(jì)算病理圖像細(xì)胞核的積分光密度[8]（integral optical density，IOD）來(lái)得到細(xì)胞核DNA含量，并給出輔助診斷結(jié)果。最后由病理醫(yī)生觀察病理圖像，結(jié)合輔助診斷結(jié)果來(lái)給定最終的診斷結(jié)果。由上述過(guò)程可知，病理輔助診斷系統(tǒng)的使用中必須在切片上放置濾光片。但是濾光片的使用既會(huì)導(dǎo)致圖像的顏色對(duì)比度降低，從而干擾醫(yī)生后續(xù)診斷、增加誤診可能性，又提高了支出成本。為了解決以上問(wèn)題，提出訓(xùn)練深度學(xué)習(xí)模型實(shí)現(xiàn)濾光片的功能，并將訓(xùn)練好的模型稱作數(shù)字濾光片。在處理病理圖像時(shí)，先用數(shù)字濾光片將病理圖像轉(zhuǎn)化為其對(duì)應(yīng)添加濾光片后的圖像，然后再基于轉(zhuǎn)化后的圖像進(jìn)行IOD值的計(jì)算，用于準(zhǔn)確反映細(xì)胞核DNA含量。數(shù)字濾光片的應(yīng)用不會(huì)影響病理醫(yī)生后續(xù)診斷，同時(shí)降低硬件濾光片的使用成本。據(jù)調(diào)研，目前文獻(xiàn)上還沒(méi)有用軟件實(shí)現(xiàn)濾光片功能的相關(guān)方法報(bào)道。

數(shù)字濾光片的功能類似于圖像翻譯（imagetoimage translation），即將一幅圖像轉(zhuǎn)化為另一幅圖像。圖像翻譯旨在通過(guò)設(shè)計(jì)端到端的模型，將源域圖像轉(zhuǎn)換到目標(biāo)域圖像。通常由源域提供圖像內(nèi)容，目標(biāo)域提供圖像“風(fēng)格”（圖像屬性或圖像風(fēng)格）。在源域內(nèi)容下實(shí)現(xiàn)目標(biāo)域的“風(fēng)格”化，從而實(shí)現(xiàn)源域圖像到目標(biāo)域圖像的轉(zhuǎn)換。目前圖像翻譯研究在圖像的美化、風(fēng)格遷移等方面取得了一定的效果[9-10]。傳統(tǒng)圖像翻譯的方法主要是基于模型框架的構(gòu)造和詳細(xì)紋理的合成。Hertzmann等[11]進(jìn)行多圖像訓(xùn)練得到細(xì)節(jié)紋理生成模型，該模型僅利用到提取的底層特征合成新風(fēng)格圖像，應(yīng)用在具有復(fù)雜信息的圖像時(shí)效果不佳。近年來(lái)，許多基于深度學(xué)習(xí)的圖像翻譯方法取得了重大進(jìn)展，主要可以分為兩類：基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的方法和基于生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）[12]的方法。第一類方法主要是基于CNN網(wǎng)絡(luò)對(duì)圖像進(jìn)行內(nèi)容和風(fēng)格的特征提取，然后再將圖像的風(fēng)格和內(nèi)容進(jìn)行重塑，從而實(shí)現(xiàn)圖像的風(fēng)格翻譯。Gatys等[13]采用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取特征，并不斷地迭代優(yōu)化，從而生成新風(fēng)格圖像。第二類方法主要采用生成對(duì)抗網(wǎng)絡(luò)及其衍生模型，可以更好地控制圖像的風(fēng)格，生成更高質(zhì)量的圖像。Isola等[14]提出基于條件生成對(duì)抗網(wǎng)絡(luò)（conditional generative adversarial network，CGAN）[15]的網(wǎng)絡(luò)，實(shí)現(xiàn)了從源域到目標(biāo)域圖像的轉(zhuǎn)換，是一種適用于圖像翻譯的通用網(wǎng)絡(luò)。Wang等[16]在此基礎(chǔ)上，提出多級(jí)生成網(wǎng)絡(luò)和多級(jí)判別網(wǎng)絡(luò)，以提高生成圖像的分辨率。以上生成對(duì)抗網(wǎng)絡(luò)采用了監(jiān)督學(xué)習(xí)的方法，要求訓(xùn)練數(shù)據(jù)必須在源域空間和Y目標(biāo)域間嚴(yán)格成對(duì)。然而現(xiàn)實(shí)中獲得符合要求的成對(duì)樣本往往比較困難。CycleGAN[17]、DiscoGAN[18]、DualGAN[19]引入了循環(huán)不變性損失（cycle consistency loss），通過(guò)訓(xùn)練兩組生成器和判別器來(lái)分別學(xué)習(xí)兩類圖像間的來(lái)回映射，解決了在圖像翻譯任務(wù)中模型需要成對(duì)數(shù)據(jù)才能訓(xùn)練的問(wèn)題，實(shí)現(xiàn)了非成對(duì)數(shù)據(jù)的訓(xùn)練。上述方法只能實(shí)現(xiàn)兩個(gè)域間的變換。若涉及到多域變換問(wèn)題，則需要分別為每一對(duì)圖像域構(gòu)建合適的模型，不僅降低操作效率，而且影響生成圖像的質(zhì)量。基于以上原因，Yunjey Choi等[20]提出了StarGAN，將目標(biāo)域的信息作為標(biāo)簽，通過(guò)對(duì)域標(biāo)簽的控制來(lái)實(shí)現(xiàn)多域變換。

圖像翻譯方法可以將圖像轉(zhuǎn)化成對(duì)應(yīng)添加濾光效果的圖像，實(shí)現(xiàn)數(shù)字濾光片功能。但以上圖像翻譯方法生成的圖像主要追求人眼視覺(jué)效果。本文實(shí)現(xiàn)的數(shù)字濾光片用于病理輔助診斷系統(tǒng)，由數(shù)字濾光片生成的圖像不僅要滿足符合人眼視覺(jué)效果，還要有利于精準(zhǔn)測(cè)量圖像中細(xì)胞核IOD值。因此本文采用pix2pix[14]框架實(shí)現(xiàn)數(shù)字濾光片，并在pix2pix的生成器中添加全尺度跳躍連接以提高生成圖像質(zhì)量，在損失函數(shù)中添加IOD的約束以利于準(zhǔn)確測(cè)量生成圖像的細(xì)胞核IOD。實(shí)驗(yàn)結(jié)果表明，本文實(shí)現(xiàn)的數(shù)字濾光片生成圖在視覺(jué)效果上與真實(shí)濾光圖像逼近;在計(jì)算細(xì)胞核IOD任務(wù)上，生成圖像的細(xì)胞核IOD值與均值為119的真實(shí)濾光圖像偏差5.3%。因此本文實(shí)現(xiàn)的數(shù)字濾光片能夠有效實(shí)現(xiàn)數(shù)字濾光，可取代硬件濾光片。

本文創(chuàng)新點(diǎn)表現(xiàn)在：①提出并實(shí)現(xiàn)數(shù)字濾光片，數(shù)字濾光片可取代硬件濾光片;②為提高數(shù)字濾光片的濾光效果，在pix2pix的生成器中添加全尺度跳躍連接，并在損失函數(shù)中加入IOD的約束。

1數(shù)字濾光片的實(shí)現(xiàn)

1.1方法流程

數(shù)字濾光片的原理是利用pix2pix具有圖像翻譯的特性，實(shí)現(xiàn)由無(wú)濾光圖像到有濾光圖像的映射。具體實(shí)現(xiàn)方法如圖1所示。首先采集顯微鏡下病理切片圖像，得到病理圖像;然后對(duì)病理圖像進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng)，得到數(shù)據(jù)集;最后為提高濾光效果，對(duì)pix2pix進(jìn)行改進(jìn)，并用訓(xùn)練集對(duì)改進(jìn)后的模型進(jìn)行訓(xùn)練。訓(xùn)練完成的生成網(wǎng)絡(luò)即可用作數(shù)字濾光片。

1.2采集顯微鏡下病理切片圖像

采集圖像時(shí)所用的顯微鏡為OLYMPUS BX43型號(hào)，所用的高清數(shù)碼攝像機(jī)的分辨率為2048×2048，其中CMOS相機(jī)在20倍物鏡下的像素約0.11μm2，圖像位深度在8bit到24bit之間，灰度在256級(jí)以上，幀率為80幀/s。

準(zhǔn)備好宮頸細(xì)胞病理切片并對(duì)細(xì)胞核進(jìn)行染色，然后將病理切片置于顯微鏡下，分別在有濾光片和無(wú)濾光片的情況下對(duì)切片進(jìn)行掃描拍攝。因pix2pix需要成對(duì)數(shù)據(jù)，故兩種情況下拍攝時(shí)的光照和切片拍攝位置都盡量保持一致。采集得到對(duì)應(yīng)細(xì)胞位置大致相同的有濾光片和無(wú)濾光片兩組病理圖像，每組各含50張2048×2048的圖像。

為方便人眼觀看圖像，不加濾光片時(shí)使用彩色相機(jī)進(jìn)行拍攝采圖。因有濾光的病理圖像僅用于計(jì)算細(xì)胞核IOD值，而IOD值基于灰度圖進(jìn)行計(jì)算，所以添加濾光片時(shí)使用黑白相機(jī)進(jìn)行拍攝采圖。

1.3數(shù)據(jù)預(yù)處理與數(shù)據(jù)增強(qiáng)

pix2pix的訓(xùn)練需要對(duì)齊數(shù)據(jù)，本文在損失函數(shù)中添加的約束項(xiàng)也基于嚴(yán)格對(duì)齊的數(shù)據(jù)來(lái)進(jìn)行計(jì)算。上述步驟在拍攝成對(duì)的有濾光片和無(wú)濾光片圖像時(shí)，雖然盡量使兩種情況下切片的拍攝位置保持一致，但還是會(huì)使對(duì)應(yīng)圖像中的對(duì)應(yīng)細(xì)胞位置產(chǎn)生輕微錯(cuò)位。錯(cuò)位情況如圖2（a）所示，其中A為無(wú)濾光片彩色相機(jī)拍攝圖像，B為有濾光片黑白相機(jī)拍攝圖像。因此需要對(duì)采集到的兩組病理圖像進(jìn)行預(yù)處理，使其達(dá)到像素級(jí)別的精準(zhǔn)對(duì)齊，如圖2（b）所示。

數(shù)據(jù)預(yù)處理過(guò)程如圖3所示。首先，輸入圖像A和圖像B;其次，對(duì)A和B進(jìn)行圖像二值化操作;然后，遍歷A圖中的所有輪廓，對(duì)于當(dāng)前輪廓a，若在B圖中找到一個(gè)輪廓b，使兩個(gè)輪廓的最小外接矩形中的所有像素值都相等，則兩輪廓為完全對(duì)應(yīng)輪廓;接著判斷a和b的相對(duì)位置，并根據(jù)該相對(duì)位置來(lái)裁剪B圖，使得b在裁剪后B圖中坐標(biāo)與a在A圖中坐標(biāo)相同;最后以（1024，1024）像素點(diǎn)為中心，分別在A圖和裁剪后B圖上裁剪1792×1792大小的圖像，得到精準(zhǔn)對(duì)齊的圖像A和B。

經(jīng)數(shù)據(jù)預(yù)處理后，得到了50組1792×1792大小的精準(zhǔn)對(duì)齊的成對(duì)圖像。對(duì)所有圖像進(jìn)行十六等分切割，為提高數(shù)字濾光片魯棒性，對(duì)圖像進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、移位、添加高斯噪聲、轉(zhuǎn)置輸入、模糊等數(shù)據(jù)增強(qiáng)操作。成對(duì)圖像采取相同的操作，保證了操作后成對(duì)圖像仍精準(zhǔn)對(duì)齊。經(jīng)上述操作后，得到8000組448×448大小的成對(duì)圖像。

1.4數(shù)字濾光片的實(shí)現(xiàn)模型

本文使用基于CGAN的pix2pix框架實(shí)現(xiàn)數(shù)字濾光片。為提高數(shù)字濾光片性能，在pix2pix的生成器中添加全尺度跳躍連接以提高生成圖像質(zhì)量，并在損失函數(shù)中添加IOD的約束以利于準(zhǔn)確測(cè)量生成圖像的細(xì)胞核IOD。

1.4.1生成器

生成器以輸入的病理圖像為條件，生成滿足條件且與真實(shí)濾光圖像難以分辨的病理圖像。pix2pix框架的生成器G采用Encoderdecoder結(jié)構(gòu)，并在每一個(gè)i和n-i層之間添加跳躍連接，其中n是總層數(shù)。

為了獲取更多輸入圖像的信息，使生成圖像具有更多細(xì)節(jié)特征，使得數(shù)字濾光片取得更好的濾光效果，本文參照Huang等[21]提出的 UNet 3+結(jié)構(gòu)，在pix2pix的生成器中添加全尺度跳躍連接。但與UNet 3+不同的是，本任務(wù)經(jīng)實(shí)驗(yàn)對(duì)比，采用平均池化從較小規(guī)模的編碼器層獲取底層信息，采用雙立方插值從較大規(guī)模的解碼器層傳輸高級(jí)語(yǔ)義信息，會(huì)達(dá)到比原始UNet 3+中的跳躍連接更好的效果。經(jīng)本文改進(jìn)后的生成器結(jié)構(gòu)如圖4所示。輸入圖像首先經(jīng)過(guò)8層卷積層提取特征，然后經(jīng)由8層反卷積層還原放大至原圖大小。其中卷積核的大小均為4×4。

1.4.2判別器

判別器的作用是在輸入的病理圖像的條件下，對(duì)生成器生成的圖像判斷為假，對(duì)真實(shí)濾光圖像判斷為真。此處的判別器D采用了條件判別器 PatchGAN[14]，加快計(jì)算以及收斂。

1.4.3損失函數(shù)

原始CGAN的目標(biāo)函數(shù)為

LcGAN（G，D）=Ex，y[logD（x，y）]+

Ex，z[log（1-D（x，G（x，z）））]

其中：G代表生成器;D代表判別器;x代表輸入到生成器網(wǎng)絡(luò)中的不添加濾光片的圖像;y代表訓(xùn)練集中x對(duì)應(yīng)的真實(shí)濾光圖像;z代表輸入噪聲。

pix2pix在原始CGAN的基礎(chǔ)上添加了式（2）所示的L1 Loss，得到最終的目標(biāo)函數(shù)如式（3）所示：

LL1（G）=Ex，y，z[||y-G（x，z）||1]（2）

G*=argminGmaxDLcGAN（G，D）+λLL1（G）（3）

其中λ表示L1正則化約束所占據(jù)的比例參數(shù)。

本文實(shí)現(xiàn)的數(shù)字濾光片，具有硬件濾光片的濾光效果。真實(shí)濾光圖像是在添加濾光片后由黑白相機(jī)拍攝得到的灰度圖像，根據(jù)其計(jì)算出的細(xì)胞核IOD最能準(zhǔn)確反映細(xì)胞核IOD。因此，將生成圖像

與真實(shí)濾光圖像的細(xì)胞核IOD的平均絕對(duì)誤差作為MAE Loss，如式（4）所示：

LMAE（G）=Ex，y，z[1n∑ni=1|yi_IOD-G（x，z）i_IOD|]

其中：yi_IOD和G（x，z）i_IOD分別表示真實(shí)濾光圖像與生成圖像中第i個(gè)對(duì)應(yīng)細(xì)胞核的IOD值;n表示兩張圖像共同識(shí)別出的對(duì)應(yīng)細(xì)胞核的數(shù)目。

在光學(xué)領(lǐng)域，IOD的計(jì)算公式[8]如式（5）所示：

IOD=∑OD=∑log（Ia/Ib）（5）

其中：Ia為光線通過(guò)介質(zhì)前的入射光強(qiáng)度;Ib為通過(guò)介質(zhì)后的透射光強(qiáng)度。在圖像處理領(lǐng)域，圖像光照的變化可反映為圖像灰度值的變化。在實(shí)際計(jì)算時(shí)，使用圖像的背景灰度值表示Ia，用被測(cè)量物體的灰度值表示Ib。

將MAE Loss作為懲罰項(xiàng)加入到pix2pix的損失函數(shù)中，可以使本文的數(shù)字濾光片更好地實(shí)現(xiàn)硬件濾光片的功能。改進(jìn)后的pix2pix的目標(biāo)函數(shù)為

G*=argminGmaxDLcGAN（G，D）+λ1LL1（G）+λ2LMAE（G）（6）

其中：λ1和λ2分別表示L1正則化約束和LMAE（G）懲罰項(xiàng)所占據(jù)的比例參數(shù)，參數(shù)λ1延用pix2pix中設(shè)定的值，λ2的值設(shè)為1。

2實(shí)驗(yàn)分析

2.1數(shù)據(jù)集準(zhǔn)備

在數(shù)據(jù)預(yù)處理與數(shù)據(jù)增強(qiáng)步驟中，得到了8000組448×448大小的精準(zhǔn)對(duì)齊的成對(duì)圖像。隨機(jī)選取其中6400組圖像作為訓(xùn)練集，剩余1600組圖像作為測(cè)試集。

2.2評(píng)價(jià)指標(biāo)

本文將網(wǎng)絡(luò)生成圖與真實(shí)濾光圖的對(duì)應(yīng)細(xì)胞核IOD的平均絕對(duì)誤差（mean absolute error，MAE）作為評(píng)價(jià)指標(biāo)，來(lái)衡量本文方法的優(yōu)劣。具體公式如式（7）所示。

MAE=1n∑ni=1|yi_IOD-G（x，z）i_IOD|（7）

其中：n表示兩張圖像共同識(shí)別出的對(duì)應(yīng)細(xì)胞核的數(shù)目;yi_IOD和G（x，z）i_IOD分別表示真實(shí)濾光圖像與生成圖像中第i個(gè)對(duì)應(yīng)細(xì)胞核的IOD值。

2.3實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)采用Pytorch 1.4.0深度學(xué)習(xí)框架，在Linux Ubuntu 18.04.2操作系統(tǒng)下運(yùn)行，配有4個(gè)NVIDIA GeForce RTX 2080 Ti顯卡，CPU為12核的Intel（R） Xeon（R） CPU E5-2678 v3 @ 2.50GHz，內(nèi)存125G。為解決模型訓(xùn)練優(yōu)化過(guò)程中可能出現(xiàn)的學(xué)習(xí)率消失等問(wèn)題，使用Adam[22]函數(shù)作為優(yōu)化器，初始參數(shù)β1和β2設(shè)為0.9、0.999，∈設(shè)為1×10-8，初始學(xué)習(xí)率設(shè)為0.001。

在網(wǎng)絡(luò)訓(xùn)練階段，將無(wú)濾光圖輸入到網(wǎng)絡(luò)的生成器G中，得到假的有濾光圖。將假的有濾光圖和真實(shí)濾光圖輸入到網(wǎng)絡(luò)的判別器D中，Patch的大小設(shè)置為70×70。判別器D來(lái)判別當(dāng)前圖像是真實(shí)的有濾光圖還是假的有濾光圖。網(wǎng)絡(luò)的生成器和判別器聯(lián)合進(jìn)行訓(xùn)練，對(duì)一方參數(shù)進(jìn)行更新時(shí)，另一方的參數(shù)保持固定，然后交換參數(shù)固定方與更新方，雙方不斷進(jìn)行博弈、優(yōu)化。

在測(cè)試階段，將訓(xùn)練好的生成器用作數(shù)字濾光片，然后取測(cè)試集中的無(wú)濾光圖，輸入到數(shù)字濾光片中，得到生成的有濾光圖。

2.4實(shí)驗(yàn)結(jié)果展示與分析

將本文方法的濾光效果與無(wú)濾光效果、CycleGAN[17]濾光效果、pix2pix[14]濾光效果、pix2pixHD[16]濾光效果進(jìn)行對(duì)比。

2.4.1人眼視覺(jué)效果

以測(cè)試集中一張圖為例，各方法的濾光效果如圖5所示。

由圖5可以看出，與真實(shí)濾光圖相比，CycleGAN網(wǎng)絡(luò)生成圖的細(xì)節(jié)不清晰、細(xì)胞核顏色過(guò)深;pix2pixHD生成圖的清晰度要遠(yuǎn)大于真實(shí)濾光圖，導(dǎo)致部分細(xì)胞核的細(xì)節(jié)顏色較深;pix2pix生成圖雖然在整體視覺(jué)效果上逼近真實(shí)濾光圖，但個(gè)別

細(xì)胞核卻有較大差距（例如圖像底部中間位置的細(xì)胞核）;本文方法生成圖在整體視覺(jué)效果和具體細(xì)節(jié)上均表現(xiàn)較好，與真實(shí)濾光圖逼近。

2.4.2MAE定量評(píng)估

測(cè)試集中真實(shí)濾光圖像的細(xì)胞核IOD均值為119，記作M。針對(duì)測(cè)試集中圖像，計(jì)算各方法生成圖與真實(shí)濾光圖的對(duì)應(yīng)細(xì)胞核IOD的MAE，并計(jì)算各MAE值占M的比例。各方法對(duì)比結(jié)果如表1所示。

如表1所示，Ours的MAE/M值為5.3%，說(shuō)明本文方法生成圖的細(xì)胞核IOD與真實(shí)濾光圖的對(duì)應(yīng)細(xì)胞核IOD僅相差5.3%。同時(shí)，Ours的MAE/M值明顯小于不添加濾光片時(shí)的值，說(shuō)明本文方法生成的有濾光圖大大降低了與真實(shí)濾光圖的差距。以上兩點(diǎn)都說(shuō)明了本文實(shí)現(xiàn)的數(shù)字濾光片可以很好地將無(wú)濾光圖轉(zhuǎn)化為有濾光圖。此外，Ours的MAE/M值明顯小于其他方法，說(shuō)明相較于用其他方法實(shí)現(xiàn)的數(shù)字濾光片，本文實(shí)現(xiàn)的數(shù)字濾光片效果更好。

實(shí)驗(yàn)還選取了一些含較多團(tuán)狀細(xì)胞、細(xì)胞模糊的圖像進(jìn)行測(cè)試。測(cè)試結(jié)果分別如表2、表3所示。

如表2、表3所示，對(duì)于團(tuán)狀細(xì)胞較多、細(xì)胞模糊等復(fù)雜圖像，相較于其他方法，本文實(shí)現(xiàn)的數(shù)字濾光片也表現(xiàn)優(yōu)異。

3結(jié)論

針對(duì)病理輔助診斷系統(tǒng)中硬件濾光片技術(shù)會(huì)干擾醫(yī)生診斷、增加支出成本等問(wèn)題，本文訓(xùn)練CGAN模型實(shí)現(xiàn)濾光片的功能，并將訓(xùn)練好的模型稱作數(shù)字濾光片。為提高數(shù)字濾光片的濾光性能，在生成器中添加全尺度跳躍連接以提高生成圖像質(zhì)量，在損失函數(shù)中添加IOD的約束以利于生成圖像的細(xì)胞核IOD的準(zhǔn)確測(cè)量。實(shí)驗(yàn)表明，本文實(shí)現(xiàn)的數(shù)字濾光片生成圖在視覺(jué)效果上與真實(shí)濾光圖像逼近;在計(jì)算細(xì)胞核IOD任務(wù)上，生成圖與與均值為119的真實(shí)濾光圖偏差5.3%，分別比CycleGAN、pix2pix、pix2pixHD方法提升了10.9%、3.2%、6.1%。因此該技術(shù)的采用可以取代硬件濾光片，實(shí)現(xiàn)對(duì)圖像的有效濾光。

參 考 文 獻(xiàn)：

[1]汪薇， 王詩(shī)航. 光密度值測(cè)定在實(shí)驗(yàn)醫(yī)學(xué)研究中的應(yīng)用及意義[J]. 解剖科學(xué)進(jìn)展， 2006（3）：286.

WANG Wei，WANG Shihang. Application and Significance of Optical Density Value Measurement in Experimental Medical Research[J]. Progress of Anatomical Sciences， 2006（3）：286.

[2]李志華， 夏潮涌， 黃中新， 等. 乳腺癌細(xì)胞核DNA含量不同分析方法的比較[J]. 中國(guó)體視學(xué)與圖像分析， 2003（3）：154.

LI Zhihua， XIA Chaoyong， HUANG Zhongxin， et al. Compare the Difference on Measuring Methods of DNA Content of Breast Cancer[J]. Chinese Journal of Stereology and Image Analysis， 2003（3）：154.

[3]李朋軍， 夏潮涌. 腫瘤細(xì)胞DNA干系倍體分析及其臨床應(yīng)用[J]. 中國(guó)體視學(xué)與圖像分析， 2005（2）：72.

LI Pengjun， XIA Chaoyong. Analysis and Clinical Application of DNA Stemline Ploidy of Tumor Cells[J]. Chinese Journal of Stereology and Image Analysis，2005（2）：72.

[4]魏清柱， 夏潮涌， 劉江歡. 濾光片對(duì)細(xì)胞核DNA含量檢測(cè)的影響[J]. 中國(guó)體視學(xué)與圖像分析， 2009，14（3）：292.

WEI Qingzhu， XIA Chaoyong， LIU Jianghuan， et al. The Influence of Filter on Measurement of Nuclear DNA Content[J]. Chinese Journal of Stereology and Image Analysis，2009，14（3）：292.

[5]新型乳腺癌病理診斷輔助系統(tǒng)[J]. 上海生物醫(yī)學(xué)工程，1998（4）：36.

New Pathological Diagnostic Aid for Breast Cancer[J]. Shanghai Journal of Biomedical Engineering， 1998（4）：36.

[6]王繼偉， 樊偉， 陳崗， 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的數(shù)字病理輔助診斷系統(tǒng)設(shè)計(jì)[J]. 中國(guó)數(shù)字醫(yī)學(xué)， 2020，15（12）：48.

WANG Jiwei， FAN Wei， CHEN Gang， et al. Design of the Digital Pathologyassisted Diagnosis System Based on the Deep Convolutional Neural Network[J]. China Digital Medicine， 2020，15（12）：48.

[7]盧祎，張雪媛，何勇軍.基于焦平面估計(jì)的快速掃片方法[J].哈爾濱理工大學(xué)學(xué)報(bào)，2020，25（1）：51.

LU Yi， ZHANG Xueyuan， HE Yongjun. Fast Scanning Method Based on Multipoint Focusing[J]. Journal of Harbin University of Science and Technology， 2020，25（1）：51.

[8]李楓. 圖像分析中光密度參數(shù)物理意義的正確理解和使用[J]. 解剖學(xué)雜志， 2009，32（2）：271.

LI Feng. Proper Understanding and Use of the Physical Meaning of Optical Density Parameters in Image Analysis[J]. Chinese Journal of Anatomy， 2009，32（2）：271.

[9]陳淑環(huán)， 韋玉科， 徐樂(lè)， 等. 基于深度學(xué)習(xí)的圖像風(fēng)格遷移研究綜述[J]. 計(jì)算機(jī)應(yīng)用研究， 2019，36（8）：2250.

CHEN Shuhuan， WEI YuKe， XU Le， et al. Survey of Image Style Transfer Based on Deep Learning[J]. Application Research of Computers，2019，36（8）：2250.

[10]LEDIG C， THEIS L， HUSZR F， et al. Photorealistic Single Image Superresolution Using a Generative Adversarial Network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4681.

[11]HERTZMANN A， JACOBS C E， OLIVER N， et al. Image Analogies[C]//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques， 2001： 327.

[12]GOODFELLOW I， POUGET A J， MIRZA M， et al. Generative Adversarial Nets[J]. arXiv：1406.2661.2014..

[13]GATYS L A， ECKER A S， BETHGE M. A Neural Algorithm of Artistic Style[J]. arXiv Preprint arXiv：1508.06576， 2015.

[14]ISOLA P， ZHU J Y， ZHOU T， et al. Imagetoimage Translation with Conditional Adversarial Networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 1125.

[15]MIRZA M， OSINDERO S. Conditional Generative Adversarial Nets[J]. arXiv Preprint arXiv：1411.1784， 2014.

[16]WANG T C， LIU M Y， ZHU J Y， et al. Highresolution Image Synthesis and Semantic Manipulation with Conditional Gans[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8798.

[17]ZHU J Y， PARK T， ISOLA P， et al. Unpaired Imagetoimage Translation Using Cycleconsistent Adversarial Networks[C]//Proceedings of the IEEE International Conference on Computer Vision， 2017： 2223.

[18]KIM T， CHA M， KIM H， et al. Learning to Discover Crossdomain Relations with Generative Adversarial Networks[C]//International Conference on Machine Learning. PMLR， 2017： 1857.

[19]YI Z， ZHANG H， TAN P， et al. Dualgan： Unsupervised Dual Learning for Imagetoimage Translation[C]//Proceedings of the IEEE inTernational Conference on Computer Vision， 2017： 2849.

[20]CHOI Y， CHOI M， KIM M， et al. Stargan： Unified Generative Adversarial Networks for Multidomain Imagetoimage Translation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8789.

[21]HUANG H， LIN L， TONG R， et al. Unet 3+： A Fullscale Connected Unet for Medical Image Segmentation[C]//ICASSP 2020-2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. IEEE， 2020： 1055.

[22]KINGMA D P， BA J. Adam： A Method for Stochastic Optimization[J]. arXiv Preprint arXiv：1412.6980， 2014.

（編輯：溫澤宇）