基于深度學(xué)習(xí)的尋常型銀屑病智能診斷方法的研究*

陳宇翔，王磊，閆峻，周冬梅

(1. 北京中醫(yī)藥大學(xué)，北京 100029；2. 首都醫(yī)科大學(xué)附屬北京中醫(yī)醫(yī)院，北京 100010；3. 醫(yī)渡云(北京)技術(shù)有限公司，北京 100083)

1 引 言

尋常型銀屑病是一種紅斑鱗屑性皮膚病，該病病程長，易復(fù)發(fā)，是常見的慢性皮膚病，對(duì)其進(jìn)行早期的診斷與長期的疾病管理非常重要。銀屑病的診斷主要通過肉眼觀察，在無法確定病因時(shí)，需要進(jìn)行皮膚鏡分析或活檢。在肉眼觀察下，其皮損與其他疾病(如濕疹等)具有較高的相似性，有一定的診斷難度。在我國，尋常型銀屑病患者數(shù)量大、病程長，為了更好地對(duì)銀屑病患者進(jìn)行長期的治療管理，需要尋找一種易于在基層推廣且準(zhǔn)確率高的診斷方法。深度學(xué)習(xí)在二維臨床圖像識(shí)別和疾病分類方面，展示出了巨大的潛力[1]，在皮膚科領(lǐng)域，深度學(xué)習(xí)算法在黑色素瘤、色素痣、基底細(xì)胞癌、甲真菌病等疾病識(shí)別的應(yīng)用中能夠與皮膚科醫(yī)師相媲美[2-8]。由于深度學(xué)習(xí)技術(shù)，特別是卷積神經(jīng)網(wǎng)絡(luò)在分類任務(wù)方面取得的顯著成績，利用機(jī)器學(xué)習(xí)方法對(duì)基層診療賦能成為了可能。

在皮膚病的識(shí)別中，對(duì)皮損區(qū)域進(jìn)行分割與提取是一個(gè)重要的步驟[9-12]。通過對(duì)皮膚影像中皮損區(qū)域進(jìn)行分割與提取，模型對(duì)皮損的病變程度與趨勢(shì)具有相對(duì)客觀的評(píng)估，且對(duì)智能輔助診斷的準(zhǔn)確率有一定的提升。但其在實(shí)際應(yīng)用過程中仍存在一些問題，由于皮損圖片邊緣相對(duì)模糊、皮損的顏色與形狀分布不規(guī)律、皮損與背景的對(duì)比度較低等，會(huì)影響皮損分割的準(zhǔn)確性，因此，對(duì)皮損分割的技術(shù)提出了更高的要求。由于各類皮膚病的特點(diǎn)不同，針對(duì)不同類型皮膚病需要不同的算法設(shè)計(jì)，這給皮膚科疾病識(shí)別模型的構(gòu)建帶來較大難度。

本研究將皮損分割與否作為條件，對(duì)尋常型銀屑病進(jìn)行皮損識(shí)別，并對(duì)皮損分割在可肉眼識(shí)別的皮膚病中的必要性進(jìn)行探討，以期降低皮膚科智能診斷模型的開發(fā)成本。

2 材料與方法

2.1 數(shù)據(jù)集

本研究資料來源于首都醫(yī)科大學(xué)附屬北京中醫(yī)醫(yī)院皮膚科，包含了2017年9月至2018年6月期間皮膚科門診或住院部就診的各類皮膚病患者830例，共計(jì)13 409張皮損圖片。其中尋常型銀屑病344例6 571張，其它各類型的皮膚病數(shù)據(jù)詳情見表1。

表1 數(shù)據(jù)集中各類型皮膚病的情況

2.2 診斷標(biāo)準(zhǔn)

西醫(yī)診斷標(biāo)準(zhǔn):根據(jù)《中華醫(yī)學(xué)會(huì).臨床診療指南—皮膚病與性病分冊(cè)》(北京:人民衛(wèi)生出版社:2006.1)、《中國臨床皮膚病學(xué)》(南京:江蘇科學(xué)技術(shù)出版社:2001.4)制定。

2.3 拍攝設(shè)備

尼康D7100數(shù)碼相機(jī)、索尼DSC - WX500、LG LTE2手機(jī)、小米6手機(jī)、IPhone7手機(jī)等各類便攜式攝像設(shè)備，見表2。

表2 設(shè)備與像素

2.4 拍攝方法

選取安靜、私密性好的室內(nèi)，要求患者采取坐位或站位，取患者軀干、四肢、頭面部、頸部、頭皮、黏膜、掌趾部等處皮損行一般觀察，并使用各類攝像設(shè)備對(duì)皮損在不同距離、不同角度進(jìn)行拍攝。

2.5 皮損圖片的分割標(biāo)注

收集圖片后，由至少2位主治醫(yī)師對(duì)圖片進(jìn)行檢查，同時(shí)使用LabelImg為圖片框選出皮損區(qū)域并標(biāo)注疾病名，生成XML文件以備模型訓(xùn)練。

3 模型架構(gòu)

自2012年AlexNet在ImageNet比賽中取得了優(yōu)異成績后，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)在圖像識(shí)別任務(wù)中得到了廣泛的應(yīng)用和深入的發(fā)展。相關(guān)研究人員先后提出了ResNet[13]，DenseNet[14]等新的網(wǎng)絡(luò)結(jié)構(gòu)來提升圖像識(shí)別的性能。其中Huang等[14]在2017年提出的DenseNet因良好的性能和泛化能力，在多項(xiàng)圖像分類任務(wù)中均獲得了最優(yōu)結(jié)果。DenseNet繼承了ResNet跳躍連接的思路，使得訓(xùn)練深層網(wǎng)絡(luò)更加容易。此外，DenseNet采用了密集連接機(jī)制，使得任意兩層網(wǎng)絡(luò)都可以直接相連，這樣既可以充分發(fā)揮跳躍連接的優(yōu)勢(shì)，又可以實(shí)現(xiàn)特征復(fù)用，減少網(wǎng)絡(luò)的參數(shù)量，防止過擬合。本研究的尋常銀屑病識(shí)別系統(tǒng)是基于169層的DenseNet，將原始ImageNet 最后一層的1 000分類全連接層替換成二分類的全連接層，并重新訓(xùn)練網(wǎng)絡(luò)的權(quán)重以適應(yīng)本研究的尋常銀屑病分類任務(wù)。

DenseNet主要由Dense Block，Transition層和分類層組成，見圖1。

圖1 尋常型銀屑病的DenseNet示意圖

其中每個(gè)Dense Block由多層密集連接的卷積層組成，見圖2。

圖2 5層的密集連接的Dense Block模塊

傳統(tǒng)的前向卷積層直接將前一層(第i層)的輸出Xi作為下一層(第i+1層)的輸入，則下一層的輸出Xi+1=Hi+1(Xi)。而DenseNet的密集連接結(jié)構(gòu)是將前邊所有層(第0-i層)的輸出拼接起來作為下一層(第i+1層)的輸入，此時(shí)下一層的輸出變?yōu)閄i+1=Hi+1([X0,X1,…,Xi+1,Xi])。該密集連接結(jié)構(gòu)有以下優(yōu)點(diǎn)：(1)將前邊層的信息直接傳遞到后邊層，減少了信息損失；(2)復(fù)用前邊層的特征，減少了模型參數(shù)；(3)能夠?qū)⑷我鈱优c最終的損失層直接相連，實(shí)現(xiàn)深度監(jiān)督；(4)能夠?qū)崿F(xiàn)正則化的效果，提升模型的泛化能力。在任意兩個(gè)Dense Block之間是Transition層，它由的卷積層和的池化層組成。Transition層在連接兩個(gè)Dense Block的同時(shí)，還可以減小圖片尺寸和模型參數(shù)，降低網(wǎng)絡(luò)的計(jì)算量。最終的分類層使用二分類的Softmax來預(yù)測圖像是否為尋常型銀屑病。

本研究基于Pytorch實(shí)現(xiàn)尋常銀屑病識(shí)別的DenseNet網(wǎng)絡(luò)。首先使用ImageNet預(yù)訓(xùn)練的權(quán)重初始化網(wǎng)絡(luò)參數(shù)，然后在銀屑病訓(xùn)練集上微調(diào)各層的網(wǎng)絡(luò)權(quán)重。實(shí)驗(yàn)中網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為0.0001，每個(gè)batch的大小為64，使用Adam優(yōu)化器，momentum為0.9，權(quán)重衰減系數(shù)0.0001。

4 實(shí)驗(yàn)結(jié)果

本研究將830例患者的13 409張圖片按患者維度隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集，比例為8∶1∶1。本研究輸入的圖片為相機(jī)直接拍攝的照片，而非人工裁剪出的病灶區(qū)域圖像，省略了復(fù)雜的人工裁剪步驟，實(shí)現(xiàn)全自動(dòng)的銀屑病識(shí)別系統(tǒng)。但該情況下，照片會(huì)包含更多的背景噪聲，甚至某些照片的病變區(qū)域只占整幅圖像的很小一部分，這對(duì)模型的識(shí)別能力提出了巨大挑戰(zhàn)。同時(shí)按患者維度切分訓(xùn)練集、驗(yàn)證集和測試集，即同一個(gè)患者的不同圖片不會(huì)同時(shí)作為訓(xùn)練圖片和測試圖片。以上是本研究與以往研究的兩點(diǎn)不同。

實(shí)驗(yàn)中，將原始照片統(tǒng)一縮放為大小輸入到DenseNet網(wǎng)絡(luò)中訓(xùn)練，并根據(jù)驗(yàn)證集的識(shí)別準(zhǔn)確率，挑選最優(yōu)的模型參數(shù)。實(shí)驗(yàn)中采取隨機(jī)水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)，圖像灰度歸一到0～1，并減去均值除以方差等數(shù)據(jù)增強(qiáng)方法。最優(yōu)模型最終在測試集合上的準(zhǔn)確率為84.098%，AUC值0.91。

為了對(duì)比自動(dòng)識(shí)別全圖與人工裁剪出病變區(qū)域后再識(shí)別的方法的差別，本研究將圖像中的病變區(qū)域裁剪出來，統(tǒng)一縮放為大小，構(gòu)建出裁剪圖像的訓(xùn)練集，驗(yàn)證集和測試集，使用與前述相同的方式訓(xùn)練出一個(gè)針對(duì)裁剪圖像的DenseNet識(shí)別網(wǎng)絡(luò)。該情況下模型的準(zhǔn)確率為87.812%，AUC值0.94。圖像與預(yù)測結(jié)果示例見圖3。

圖3 圖像示例與預(yù)測結(jié)果

通過對(duì)比發(fā)現(xiàn)，直接識(shí)別原圖比識(shí)別裁剪圖難度更大，但考慮該方式可以節(jié)省大量的人工標(biāo)注，且3%左右的精確損失可以被接受。兩種方法的ROC曲線見圖4。

圖4 兩種訓(xùn)練方法下的ROC值對(duì)比

5 討論

基層醫(yī)療機(jī)構(gòu)的醫(yī)師，尤其是非皮膚科醫(yī)師對(duì)皮膚病的診斷準(zhǔn)確率具有較大的提升空間。使用客觀的智能診斷手段，可減少主觀因素對(duì)診斷結(jié)果的影響。因此，建立一個(gè)易于使用并具有較強(qiáng)魯棒性的模型，能夠提升基層醫(yī)療機(jī)構(gòu)與非皮膚科醫(yī)師對(duì)皮膚病的診斷準(zhǔn)確率。

通過構(gòu)建具有較大背景噪音的數(shù)據(jù)集，使模型的訓(xùn)練圖像與真實(shí)應(yīng)用場景下拍攝的圖像能夠具有較高的一致性，從而使模型具有更強(qiáng)的應(yīng)用性，更利于其推廣。

由于本研究僅使用了數(shù)據(jù)集中的80%來訓(xùn)練算法，在較多的背景噪音的前提下，已經(jīng)取得了較滿意的結(jié)果，此結(jié)果能夠通過增加數(shù)據(jù)集的大小而得到進(jìn)一步的提升[15]。此外，使用皮損分割數(shù)據(jù)后的模型與全圖識(shí)別模型有些微識(shí)別準(zhǔn)確率的差別，其原因可能為模型對(duì)圖片的關(guān)注區(qū)域仍存在偏差。例如，對(duì)于帶有較強(qiáng)干擾因素的圖像，皮膚科醫(yī)師能夠輕易的忽略干擾因素，將注意力集中在皮損上，而模型可能會(huì)將這些不相關(guān)的因素作為訓(xùn)練特征的一部分。該錯(cuò)誤可通過圖像預(yù)處理進(jìn)行消除，但是預(yù)處理后的圖像偏離了真實(shí)的分布情況，在自動(dòng)分類過程中會(huì)造成更大的問題。因此，增加數(shù)據(jù)集大小，讓模型通過訓(xùn)練能夠忽略該部分干擾因素，是一個(gè)較好的處理方式。

6 結(jié)論

本研究應(yīng)用深度神經(jīng)網(wǎng)絡(luò)算法對(duì)銀屑病進(jìn)行識(shí)別。使用皮損分割數(shù)據(jù)的圖像識(shí)別準(zhǔn)確率為87.812%，AUC值0.94；全圖識(shí)別準(zhǔn)確率為84.098%，AUC值0.91。具有較好的應(yīng)用價(jià)值，能夠在一定程度上提升對(duì)尋常型銀屑病的診斷準(zhǔn)確率。數(shù)據(jù)表明，不使用皮損分割與使用皮損分割僅有3%的識(shí)別準(zhǔn)確率差距，而該差距可通過進(jìn)一步擴(kuò)大數(shù)據(jù)集來解決。不進(jìn)行皮損分割而對(duì)銀屑病進(jìn)行識(shí)別，取得了良好的效果，而該方式節(jié)省大量的標(biāo)注、算法適配時(shí)間，能夠進(jìn)一步提升皮膚病智能診斷系統(tǒng)的效率。

在后續(xù)研究中，我們將在保證貼近真實(shí)數(shù)據(jù)分布的前提下，進(jìn)一步加大數(shù)據(jù)集的大小，使模型能夠正確地忽略干擾因素。同時(shí)將模型由二分類升級(jí)為多分類，進(jìn)一步擴(kuò)大覆蓋病種數(shù)量，使模型能夠?qū)Ω嗟钠つw病進(jìn)行診斷。此外，還將在現(xiàn)有基礎(chǔ)上對(duì)皮膚病的中醫(yī)證型嘗試進(jìn)行分類，為中醫(yī)證型的標(biāo)準(zhǔn)化診斷提供證據(jù)。