基于動(dòng)態(tài)卷積的胸部X光片疾病分類算法

李 鏘，趙啟蒙，關(guān) 欣

基于動(dòng)態(tài)卷積的胸部X光片疾病分類算法

李 鏘，趙啟蒙，關(guān) 欣

(天津大學(xué)微電子學(xué)院，天津 300072)

胸部疾病嚴(yán)重威脅人類健康，及時(shí)并精準(zhǔn)地檢測(cè)胸部疾病對(duì)患者的治療與康復(fù)具有重要意義．胸部疾病經(jīng)常通過胸部X光片進(jìn)行診斷，但由于胸部疾病的多樣性以及病理特征的復(fù)雜性，現(xiàn)有的胸部X光片疾病分類算法存在分類準(zhǔn)確度較低、模型復(fù)雜度較高等問題．針對(duì)以上問題，提出一種基于動(dòng)態(tài)卷積的胸部X光片疾病分類算法．將動(dòng)態(tài)卷積模塊加入密集連接網(wǎng)絡(luò)，在不顯著增加網(wǎng)絡(luò)模型尺寸的前提下，增強(qiáng)網(wǎng)絡(luò)對(duì)多尺度信息的特征提取能力，在提升分類準(zhǔn)確度的同時(shí)保持高效推理；使用Meta-ACON改進(jìn)ReLU(rectified linear units)激活函數(shù)，通過線性-非線性切換因子自適應(yīng)地選擇是否激活以及使用何種激活函數(shù)，從而增強(qiáng)網(wǎng)絡(luò)的泛化能力；提出加權(quán)焦點(diǎn)損失函數(shù)，在焦點(diǎn)損失函數(shù)的基礎(chǔ)上加入權(quán)重調(diào)整因子，使網(wǎng)絡(luò)依據(jù)分類的難易程度為每種疾病合理分配權(quán)重，增大較難分類疾病的損失占比以提高其分類準(zhǔn)確度，進(jìn)而優(yōu)化整體性能；對(duì)數(shù)據(jù)加載方式進(jìn)行優(yōu)化，增大批數(shù)據(jù)處理量以提升批歸一化效果；在測(cè)試階段使用測(cè)試時(shí)數(shù)據(jù)增強(qiáng)策略，綜合分析多個(gè)維度的分類結(jié)果，提高分類的準(zhǔn)確性與魯棒性．在chest X-ray14數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，在密集連接網(wǎng)絡(luò)中加入動(dòng)態(tài)卷積模塊、Meta-ACON激活函數(shù)、加權(quán)焦點(diǎn)損失函數(shù)并在實(shí)驗(yàn)時(shí)優(yōu)化數(shù)據(jù)加載方式、使用測(cè)試時(shí)數(shù)據(jù)增強(qiáng)策略的算法對(duì)14種胸部疾病分類的平均受試者工作特征曲線下面積(area under receiver operating characteristic curve，AUC)值達(dá)到0.8361，針對(duì)單個(gè)疾病標(biāo)簽的AUC值最高可達(dá)0.9534，高于目前6種先進(jìn)算法．實(shí)驗(yàn)結(jié)果表明，基于動(dòng)態(tài)卷積的胸部X光片疾病分類算法具有分類準(zhǔn)確度高、模型魯棒性強(qiáng)等優(yōu)勢(shì)，可良好地適用于胸部X光片疾病分類任務(wù)．

胸部X光片；疾病分類；密集連接網(wǎng)絡(luò)；動(dòng)態(tài)卷積；ACON激活函數(shù)；加權(quán)焦點(diǎn)損失函數(shù)

胸部疾病是威脅人類健康的關(guān)鍵因素之一，及時(shí)并精準(zhǔn)地檢測(cè)胸部疾病，對(duì)患者的治療與康復(fù)具有重要意義．胸部X光片(chest X-ray，CXR)是醫(yī)生用來診斷胸部疾病的重要手段，但依靠專業(yè)醫(yī)生對(duì)胸部X光片的逐一手動(dòng)標(biāo)注是一項(xiàng)耗時(shí)耗力的工作[1]．隨著深度學(xué)習(xí)(deep learning)的興起與快速發(fā)展，計(jì)算機(jī)輔助診斷(computer aided diagnosis，CAD)逐漸成為臨床常用的診斷方法，如糖尿病、眼病診斷[2-3]、肺結(jié)節(jié)檢測(cè)[4-5]和癌轉(zhuǎn)移檢測(cè)定位等[6-7]．利用CAD技術(shù)輔助診斷胸部疾病，即通過智能算法對(duì)胸部X光片中的病灶特征進(jìn)行提取、分割、分析，并給出診斷結(jié)果，可以大大減少醫(yī)生的工作量，降低人工診斷的誤差.

Lakhani等[8]評(píng)估了AlexNet[9]和GoogLeNet[10]兩種卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型在CXR圖像上檢測(cè)肺結(jié)核的性能，單項(xiàng)疾病分類的平均受試者曲線下面積(area under receiver operating characteristic curve，AUC)值最高可達(dá)0.99，遠(yuǎn)超傳統(tǒng)的分類器分類方法．Li等[11]基于多實(shí)例弱監(jiān)督的深度學(xué)習(xí)模型，通過去除殘差網(wǎng)絡(luò)(residual network，ResNet)[12]的最終分類層和全局池化層，實(shí)現(xiàn)了CXR圖像病灶區(qū)域定位與疾病分類的同步．然而，深度學(xué)習(xí)算法往往需要海量數(shù)據(jù)集才能夠取得較好的訓(xùn)練效果，而胸部疾病的數(shù)據(jù)集樣本較少，為更好地將深度學(xué)習(xí)應(yīng)用于胸部疾病分類，2017年，美國國立衛(wèi)生研究院首次公開了chest X-ray14數(shù)據(jù)集[13]，Wang等[13]基于此數(shù)據(jù)集，通過保留CNN的結(jié)構(gòu)與卷積層大部分權(quán)重參數(shù)，移除全連接層，加入過渡層、全局池化層的方式，設(shè)計(jì)了一種適用于胸部疾病分類的深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network，DCNN)架構(gòu)．Guendel等[14]在密集連接網(wǎng)絡(luò)(densely connected convolutional networks，DenseNet)[15]結(jié)構(gòu)基礎(chǔ)上增加兩個(gè)卷積層，使網(wǎng)絡(luò)模型在對(duì)數(shù)據(jù)集預(yù)處理時(shí)不需要進(jìn)行圖像壓縮等操作，可保留CXR圖像的原始分辨率，從而更加精確地獲取病灶區(qū)域特征，并結(jié)合病灶區(qū)域位置信息對(duì)胸部疾病進(jìn)行可視化分類．張智睿等[16]在DenseNet的結(jié)構(gòu)基礎(chǔ)上加入密集擠壓激勵(lì)模塊與非對(duì)稱卷積塊以增強(qiáng)特征通道的信息表達(dá)能力，并使用焦點(diǎn)損失函數(shù)平衡網(wǎng)絡(luò)對(duì)不同疾病識(shí)別能力的差異，實(shí)現(xiàn)了分類準(zhǔn)確度的提升．Teixeira等[17]使用ResNet與DenseNet分別對(duì)同一張CXR圖像進(jìn)行互補(bǔ)特征學(xué)習(xí)，并將兩個(gè)網(wǎng)絡(luò)的全連接層相連進(jìn)行融合分類，以關(guān)注病灶區(qū)域最顯著的特征，從而實(shí)現(xiàn)分類準(zhǔn)確度的提升．Chen等[18]提出分別對(duì)CXR圖像的肺部區(qū)域與全局區(qū)域進(jìn)行互補(bǔ)特征學(xué)習(xí)與自適應(yīng)加權(quán)融合，并不斷調(diào)整融合流，獲得分類結(jié)果的方法，該方法降低了胸部X光片中無關(guān)區(qū)域的噪聲干擾，實(shí)現(xiàn)了分類準(zhǔn)確度的提升．Ho等[19]建立從CXR圖像到疾病類別標(biāo)簽的顯著性映射以提取病灶區(qū)域特征信息，并使用知識(shí)蒸餾(knowledge distillation，KD)[20]訓(xùn)練策略在ResNet、DenseNet的基準(zhǔn)模型上取得了較好的胸部疾病可視化分類效果．

綜上所述，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)方法可高效并廣泛地應(yīng)用于胸部X光片疾病分類，適合解決復(fù)雜的分類問題，并具有學(xué)習(xí)能力強(qiáng)、運(yùn)算速度快、可移植性好等優(yōu)勢(shì)．然而，基于深度學(xué)習(xí)方法對(duì)胸部X光片分類在準(zhǔn)確度提升的任務(wù)上仍面臨如下挑戰(zhàn)：①CXR圖像病灶區(qū)域的紋理、位置等特征表現(xiàn)多種多樣且較為復(fù)雜，部分網(wǎng)絡(luò)對(duì)于這種復(fù)雜信息的學(xué)習(xí)能力不足，從而影響分類準(zhǔn)確度的提升；②在數(shù)據(jù)集中，各類型疾病的樣本數(shù)目存在較為嚴(yán)重的類不均衡現(xiàn)象，網(wǎng)絡(luò)在訓(xùn)練過程中易出現(xiàn)過擬合等問題，影響網(wǎng)絡(luò)性能；③更高性能深度網(wǎng)絡(luò)模型的訓(xùn)練需要高昂的計(jì)算與存儲(chǔ)成本，這在一定程度上限制了網(wǎng)絡(luò)對(duì)CXR圖像進(jìn)行更高效的學(xué)習(xí)與更準(zhǔn)確的分類．針對(duì)以上問題，本文提出基于動(dòng)態(tài)卷積(dynamic convolution)[21-22]的胸部X光片疾病分類算法，命名為DC-DenseNet(densely connected network based on dynamic convolution)，具體內(nèi)容如下．

(1) 使用DenseNet作為基本構(gòu)建模塊，去除該網(wǎng)絡(luò)中的全部3×3卷積并加入動(dòng)態(tài)卷積構(gòu)成動(dòng)態(tài)卷積模塊(dynamic convolution block，DC-Block)，從而獲得更好的特征提取能力，且不會(huì)顯著增加網(wǎng)絡(luò)模型尺寸，有效提升網(wǎng)絡(luò)性能．

(2) 使用Meta-ACON激活函數(shù)[23]替換網(wǎng)絡(luò)中的ReLU激活函數(shù)，Meta-ACON激活函數(shù)可以自適應(yīng)選擇是否激活，并依據(jù)不同情況選擇不同的激活函數(shù)，可以增強(qiáng)網(wǎng)絡(luò)的泛化性能，從而提升網(wǎng)絡(luò)的分類準(zhǔn)確度．

(3) 提出加權(quán)焦點(diǎn)損失函數(shù)的方法，根據(jù)每種疾病分類的難易程度為每種疾病賦予不同的損失權(quán)重，增加較難分類疾病的權(quán)重使網(wǎng)絡(luò)的計(jì)算資源向其傾斜，從而提高較難分類疾病的分類準(zhǔn)確度，進(jìn)而提升整體分類準(zhǔn)確度．

(4) 對(duì)顯卡的數(shù)據(jù)加載方式進(jìn)行優(yōu)化，以提高顯卡的利用率，增大批處理數(shù)據(jù)容量，進(jìn)而提升網(wǎng)絡(luò)的訓(xùn)練效果；在測(cè)試階段使用測(cè)試時(shí)數(shù)據(jù)增強(qiáng)策略，擴(kuò)展測(cè)試數(shù)據(jù)集，并綜合分析多個(gè)維度的分類結(jié)果，提升分類準(zhǔn)確度．

本文提出的DC-DenseNet算法在Chest X-ray14數(shù)據(jù)集上進(jìn)行有效性評(píng)估實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該算法對(duì)胸部X光片疾病具有較高的分類準(zhǔn)確度．

1 算法框架

本文算法框架如圖1所示，其具體網(wǎng)絡(luò)結(jié)構(gòu)配置如表1所示．本文算法在DenseNet模型的基礎(chǔ)上進(jìn)行改進(jìn)，構(gòu)建DC-DenseNet模型，其中包含4個(gè)動(dòng)態(tài)卷積模塊，每個(gè)動(dòng)態(tài)卷積模塊由過渡層進(jìn)行連接．首先，CXR圖像在經(jīng)過預(yù)處理、卷積與池化操作后被輸入到第1個(gè)動(dòng)態(tài)卷積模塊(DC-Block1)．動(dòng)態(tài)卷積模塊包含ReLU激活函數(shù)、1×1卷積層和3×3動(dòng)態(tài)卷積層，1×1卷積操作的目的是對(duì)輸入特征圖進(jìn)行降維，并融合各個(gè)通道的特征，3×3動(dòng)態(tài)卷積是DC-Block的核心結(jié)構(gòu)，其目的是充分提取特征圖的多尺度信息，DC-Block結(jié)合了密集連接與動(dòng)態(tài)卷積的優(yōu)勢(shì)，既可以緩解梯度消失問題，又可以在不增大卷積核尺寸的前提下提升網(wǎng)絡(luò)模型的容量．然后，將所得到的特征圖輸入過渡層．過渡層中包含Meta-ACON激活函數(shù)、1×1卷積層和2×2平均池化層，1×1卷積層對(duì)上一個(gè)DC-Block的輸出進(jìn)行降維處理以避免信息冗余，2×2平均池化層是特征圖進(jìn)入下一個(gè)DC-Block的預(yù)處理．過渡層輸出的特征圖進(jìn)入DC-Block2，并進(jìn)行多輪循環(huán)．特征圖在經(jīng)過最后一個(gè)動(dòng)態(tài)卷積模塊(DC-Block4)后進(jìn)入全連接分類層．最終，全連接分類層通過對(duì)特征圖進(jìn)行7×7全局平均池化操作，建立14維特征向量的全連接，從而輸出圖像分類識(shí)別結(jié)果，實(shí)現(xiàn)一個(gè)完整的訓(xùn)練過程．

圖1 算法整體框架

表1 DC-DenseNet的具體結(jié)構(gòu)配置

本節(jié)將詳細(xì)介紹算法整體結(jié)構(gòu)與動(dòng)態(tài)卷積、Meta-ACON激活函數(shù)、加權(quán)焦點(diǎn)損失函數(shù)的實(shí)現(xiàn)．

1.1 密集連接網(wǎng)絡(luò)

2017年，Huang等[15]在深度殘差網(wǎng)絡(luò)的基礎(chǔ)上提出了密集連接網(wǎng)絡(luò)．ResNet通過殘差學(xué)習(xí)有效緩解了深度網(wǎng)絡(luò)的退化問題[24]．與ResNet層級(jí)間直接加和的連接方式不同的是，DenseNet通過級(jí)聯(lián)組合前面所有層的特征值，以確保層級(jí)之間的最大信息流，有效緩解梯度消失問題，鼓勵(lì)特征復(fù)用，增強(qiáng)特征傳播，因而更適用于多標(biāo)簽分類問題．

DenseNet主要由密集連接模塊與過渡層構(gòu)成.圖2展示了一種包含3個(gè)密集連接模塊的DenseNet結(jié)構(gòu)模型．在DenseNet結(jié)構(gòu)中，上一級(jí)密集連接模塊輸出的特征圖在經(jīng)過卷積與池化處理后，進(jìn)入下一級(jí)密集連接模塊．密集連接模塊中每個(gè)卷積層的輸入均包括先前所有層的輸出，并將每一層的輸出作為所有后續(xù)層的輸入，在一個(gè)層的密集連接模塊中便有(＋1)/2個(gè)連接．

胸部疾病分類問題的CXR圖像中包含有關(guān)14種疾病的特征信息，因此需要神經(jīng)網(wǎng)絡(luò)對(duì)圖像有很強(qiáng)的特征提取能力，而DenseNet通過卷積層之間的密集連接，鼓勵(lì)特征信息多次復(fù)用，適合應(yīng)用于多種疾病的分類任務(wù)．因此，本文采用DenseNet作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行算法結(jié)構(gòu)設(shè)計(jì)．

1.2 動(dòng)態(tài)卷積模塊

動(dòng)態(tài)卷積原理與條件參數(shù)化卷積(conditionally parameterized convolutions，CondConv)[22]的原理相同，均等同于多分支卷積層，即每個(gè)卷積層中設(shè)置有多個(gè)卷積核，根據(jù)卷積層的輸入決定各個(gè)卷積核的權(quán)重，再對(duì)這些卷積核加權(quán)求和得到一個(gè)適合該輸入的動(dòng)態(tài)卷積核，最后只需對(duì)輸入執(zhí)行一次卷積操作便可達(dá)到與多個(gè)卷積核相當(dāng)?shù)挠?xùn)練效果．這種方法可以提高卷積層對(duì)多尺度信息的特征提取能力，在有效提升模型容量的同時(shí)保持高效推理．

圖2 DenseNet基本網(wǎng)絡(luò)結(jié)構(gòu)

CNN在許多計(jì)算機(jī)任務(wù)中取得了最先進(jìn)的性能．因?yàn)椴煌叽绲木矸e核能夠提取到不同尺度的特征信息，所以多個(gè)尺寸卷積核的集合總是能獲得更好的特征提取效果．但多個(gè)卷積核的使用會(huì)造成模型尺寸的急劇增加，增加網(wǎng)絡(luò)部署難度．而動(dòng)態(tài)卷積可以在達(dá)到多卷積核集成效果的同時(shí)，不會(huì)造成計(jì)算量的急劇增加，因此可以在不增加模型尺寸的前提下，有效提升模型的訓(xùn)練與推理速度．

動(dòng)態(tài)卷積模塊的構(gòu)成如圖3所示．圖3(a)虛線框內(nèi)的部分表示含有個(gè)動(dòng)態(tài)卷積塊的DC-Block工作流程，的取值表示該模塊含有的動(dòng)態(tài)卷積塊數(shù)量，分別對(duì)應(yīng)表1中4個(gè)DC-Block包含的動(dòng)態(tài)卷積塊數(shù)量，DC-Block的輸出經(jīng)過批歸一化與ReLU激活進(jìn)入由圖中1×1卷積、Meta-ACON激活函數(shù)和 2×2平均池化組成的過渡層．圖3(b)表示動(dòng)態(tài)卷積的工作流程，本文使用含有3個(gè)卷積核的動(dòng)態(tài)卷積，即＝3．圖3(c)表示動(dòng)態(tài)卷積注意力模塊的工作 流程．

圖3 動(dòng)態(tài)卷積模塊

動(dòng)態(tài)卷積輸出為

每個(gè)普通卷積核的權(quán)重系數(shù)α通過注意力模塊得到，注意力模塊如圖3(c)所示，其包含3個(gè)步驟：全局平均池化(golbal average pooling，GAP)、全連接(fully connection，F(xiàn)C)和Sigmoid激活．

該過程可按式(2)表示，即

DenseNet-121模型的Dense Block由大量1×1卷積與3×3卷積構(gòu)成．一方面，在Dense Block的卷積層結(jié)構(gòu)中，主要通過3×3卷積提取輸入數(shù)據(jù)的特征信息，1×1卷積的作用則是通過對(duì)數(shù)據(jù)進(jìn)行降維，輔助數(shù)據(jù)訓(xùn)練與特征提取更加直觀有效地進(jìn)行；另一方面，將普通卷積替換為動(dòng)態(tài)卷積雖然能夠增強(qiáng)網(wǎng)絡(luò)的性能，但也會(huì)帶來網(wǎng)絡(luò)參數(shù)量的增加．由于3×3動(dòng)態(tài)卷積比同尺寸的3×3卷積具有更高的計(jì)算效率與更強(qiáng)的特征表示能力，因此，為盡可能地增強(qiáng)卷積層對(duì)多尺度特征信息的提取能力，同時(shí)保證網(wǎng)絡(luò)性能與負(fù)載的均衡，本文將DenseNet模型中所有的3×3卷積替換為3×3動(dòng)態(tài)卷積，構(gòu)成動(dòng)態(tài)卷積模塊．

1.3 Meta-ACON激活函數(shù)

Meta-ACON激活函數(shù)是對(duì)ReLU激活函數(shù)的光滑近似．作為ReLU激活函數(shù)的改進(jìn)形式，Meta-ACON激活函數(shù)通過在ReLU激活函數(shù)的基礎(chǔ)上設(shè)置切換因子，可以自適應(yīng)地選擇是否激活，以及使用何種激活函數(shù)，這種自定義的激活操作有助于提升網(wǎng)絡(luò)的泛化能力和信息傳輸性能，取得了比ReLU激活函數(shù)更好的效果．如圖4所示，圖4(a)、(b)分別表示ReLU激活、Meta-ACON激活在不同輸入下的激活狀態(tài)，其中不同深淺的藍(lán)色色塊表示Meta-ACON激活函數(shù)的不同激活狀態(tài)，白色色塊表示未激活，色塊內(nèi)為經(jīng)過自適應(yīng)選擇后的Meta-ACON激活函數(shù)．

Meta-ACON激活函數(shù)的推導(dǎo)過程如下．

ReLU激活函數(shù)本質(zhì)是一個(gè)max函數(shù)，即

ReLU激活函數(shù)是最常用的激活函數(shù)，只需判斷ReLU函數(shù)的輸入是否大于0即可，具有非常快的計(jì)算速度，但當(dāng)?shù)娜≈德淙雲(yún)^(qū)間(－∞，0)時(shí)，函數(shù)的梯度為0，導(dǎo)致相應(yīng)的參數(shù)一直無法更新，ReLU激活函數(shù)會(huì)因梯度消失而永久關(guān)閉[25]．

max函數(shù)的平滑近似稱為光滑最大值(smooth maximum)函數(shù)，其公式為

圖4 ReLU激活函數(shù)與Meta-ACON激活函數(shù)

DenseNet模型中存在大量的ReLU激活函數(shù)，主要目的是在線性的網(wǎng)絡(luò)模型中引入非線性元素，并增強(qiáng)網(wǎng)絡(luò)稀疏性以緩解網(wǎng)絡(luò)過擬合．一方面，DenseNet模型的過渡層需要處理不同Dense Block的輸出，輸入情況較為復(fù)雜，因此過渡層需要具有更強(qiáng)自適應(yīng)能力的激活函數(shù)；另一方面，對(duì)比式(3)與式(6)可知，Meta-ACON激活函數(shù)的公式更加繁雜，需要更多的計(jì)算量與參數(shù)量．因此，為增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)的泛化性能，同時(shí)盡量減少M(fèi)eta-ACON激活函數(shù)對(duì)網(wǎng)絡(luò)復(fù)雜度的影響，本文只將所有過渡層的ReLU激活函數(shù)替換為Meta-ACON激活函數(shù)．

1.4 加權(quán)焦點(diǎn)損失函數(shù)

本文使用Chest X-ray14數(shù)據(jù)集，該數(shù)據(jù)集每張胸片的標(biāo)簽可以表示為一個(gè)14維向量，即

多次實(shí)驗(yàn)結(jié)果表明，不同疾病的分類準(zhǔn)確度有很大差異，如肺結(jié)節(jié)分類準(zhǔn)確度較高，而肺實(shí)變分類準(zhǔn)確度較低．在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，為提高較難分類疾病的分類準(zhǔn)確度，從而實(shí)現(xiàn)整體分類性能的提升，最直接的方法就是提升較難分類疾病的權(quán)重，并降低較易分類疾病的權(quán)重．此外，較難分類疾病準(zhǔn)確度與平均準(zhǔn)確度相差越大，該疾病相應(yīng)的權(quán)重變化值就應(yīng)當(dāng)越大，則其相關(guān)損失函數(shù)的變化幅度就越大，從而使得網(wǎng)絡(luò)計(jì)算資源向較難分類的疾病傾斜．因此，為使網(wǎng)絡(luò)更有效地依據(jù)疾病分類的難易程度調(diào)節(jié)對(duì)應(yīng)的權(quán)重，本文在焦點(diǎn)損失函數(shù)的基礎(chǔ)上添加權(quán)重系數(shù)，作為本文每種疾病對(duì)應(yīng)的損失函數(shù)，并稱其為加權(quán)焦點(diǎn)損失(weighted focal loss，WFL)函數(shù)，定 義為

由式(10)可知，損失權(quán)重與疾病分類準(zhǔn)確度倒數(shù)呈線性相關(guān)，因此可以增加較難分類疾病的損失占比，使網(wǎng)絡(luò)對(duì)其施加更多的關(guān)注，從而達(dá)到提高較難分類疾病準(zhǔn)確度，進(jìn)而提升整體分類準(zhǔn)確度的效果．

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)平臺(tái)與實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)使用PyTorch深度學(xué)習(xí)框架，硬件平臺(tái)為Nvidia RTX2080Ti(11GB)GPU×4、Intel Core i7-9900X 3.5GHz CPU，操作系統(tǒng)為Ubuntu16.04．

本文實(shí)驗(yàn)在Chest X-ray14數(shù)據(jù)集上測(cè)試DC-DenseNet的性能，并驗(yàn)證該算法的優(yōu)化方案與各個(gè)模塊的有效性．Chest X-ray14數(shù)據(jù)集由30805名不同患者的112120張胸部X光片組成，每幅圖像大小為1024×1024，具有8位灰度值，均使用一個(gè)或多個(gè)標(biāo)簽進(jìn)行標(biāo)記，其中14個(gè)病理學(xué)標(biāo)簽分別表示 14種疾病，標(biāo)記為未檢出(no finding)的CXR圖像不含疾病標(biāo)簽．為保證實(shí)驗(yàn)結(jié)果真實(shí)性，隨機(jī)將數(shù)據(jù)集以7∶1∶2的比例分割成訓(xùn)練集、驗(yàn)證集、測(cè)試集，分別應(yīng)用于網(wǎng)絡(luò)訓(xùn)練、訓(xùn)練完成后驗(yàn)證、測(cè)試訓(xùn)練效果3個(gè)步驟．實(shí)驗(yàn)預(yù)處理流程如下．

(1)為適配網(wǎng)絡(luò)模型、減少網(wǎng)絡(luò)計(jì)算量并提高網(wǎng)絡(luò)學(xué)習(xí)效率，將原始圖像縮放至256×256，然后隨機(jī)裁剪為224×224的低分辨率圖像．

(2)為增加數(shù)據(jù)的多樣性以增強(qiáng)模型的魯棒 性[27]，并避免過擬合現(xiàn)象的發(fā)生[28]，將圖像進(jìn)行3個(gè)維度的隨機(jī)數(shù)據(jù)增強(qiáng)處理：①依概率＝0.5的水平翻轉(zhuǎn)；②在區(qū)間[-5°，5°]之間隨機(jī)旋轉(zhuǎn)；③對(duì)比度與飽和度分別隨機(jī)增強(qiáng)90%～110%，并使色相偏移幅度在區(qū)間[-0.1，0.1]內(nèi)隨機(jī)取值．

(3)將數(shù)據(jù)進(jìn)行批歸一化處理，為接下來的訓(xùn)練做準(zhǔn)備．本實(shí)驗(yàn)在訓(xùn)練過程中將每批處理數(shù)據(jù)量(batch size)大小設(shè)置為150．

2.2 數(shù)據(jù)加載方式及后處理優(yōu)化

本文對(duì)多顯卡的數(shù)據(jù)加載方式進(jìn)行了優(yōu)化，并使用測(cè)試時(shí)數(shù)據(jù)增強(qiáng)策略對(duì)測(cè)試數(shù)據(jù)集進(jìn)行后處理 操作．

在多GPU并行計(jì)算中，默認(rèn)為4張卡分配相同的批處理數(shù)據(jù)量．然而，由于主卡通常需要承擔(dān)數(shù)據(jù)信息的整合計(jì)算任務(wù)，而副卡僅執(zhí)行數(shù)據(jù)處理操作，當(dāng)為4張卡設(shè)置相同的批處理數(shù)據(jù)量時(shí)，相較于主卡而言，副卡仍有剩余空間可以承擔(dān)更多的數(shù)據(jù)處理工作，即副卡的批處理數(shù)據(jù)量可以設(shè)置為更高．因此，為充分利用副卡的顯存資源，從而充分發(fā)揮每張顯卡的算力，本文在實(shí)驗(yàn)過程中通過優(yōu)化數(shù)據(jù)加載方式，分別將每張顯卡的批處理數(shù)據(jù)量設(shè)置為30(主卡)、40(副卡1)、40(副卡2)、40(副卡3)，相較于默認(rèn)情況下每張卡的batch size只能設(shè)置為30，總和為120，該優(yōu)化方式下的總batch size最高可設(shè)置為150，比默認(rèn)方式提升25%，從而減少單輪訓(xùn)練迭代次數(shù)，減緩訓(xùn)練振蕩，提高批歸一化效果．

此外，為了在測(cè)試時(shí)獲得更穩(wěn)健的預(yù)測(cè)效果，本文使用了測(cè)試時(shí)數(shù)據(jù)增強(qiáng)(test time augmentation，TTA)策略，將測(cè)試數(shù)據(jù)進(jìn)行多個(gè)維度的翻轉(zhuǎn)并分別預(yù)測(cè)，然后對(duì)多個(gè)預(yù)測(cè)結(jié)果綜合分析得到最終輸 出[29]，該策略可以有效提升分類準(zhǔn)確度并降低測(cè)試時(shí)的泛化誤差．實(shí)驗(yàn)中發(fā)現(xiàn)，水平翻轉(zhuǎn)可以有效提高分類準(zhǔn)確度，而垂直翻轉(zhuǎn)后的預(yù)測(cè)結(jié)果并不理想．這是由于Chest X-ray14數(shù)據(jù)集中僅存在正、反面兩種有效樣本類型的胸部X光片，因此在測(cè)試過程中，水平翻轉(zhuǎn)可擴(kuò)大測(cè)試數(shù)據(jù)集中有效樣本的數(shù)量，使識(shí)別結(jié)果更加準(zhǔn)確．而本文在網(wǎng)絡(luò)的訓(xùn)練過程中，出于對(duì)人體空間結(jié)構(gòu)特征與實(shí)際應(yīng)用場(chǎng)景的考慮，并未對(duì)樣本進(jìn)行垂直翻轉(zhuǎn)的預(yù)處理，因此網(wǎng)絡(luò)未對(duì)垂直翻轉(zhuǎn)后的CXR圖像病灶區(qū)域特征進(jìn)行學(xué)習(xí)，因此，在測(cè)試過程中若將樣本進(jìn)行垂直翻轉(zhuǎn)的增強(qiáng)處理，將導(dǎo)致網(wǎng)絡(luò)無法對(duì)處理后的CXR圖像病灶區(qū)域進(jìn)行正確識(shí)別并分類．

2.3 評(píng)價(jià)標(biāo)準(zhǔn)

本文使用受試者工作特征曲線(receiver operating characteristic，ROC)與該曲線下面積(area under ROC curve，AUC)的數(shù)值作為算法性能的評(píng)價(jià)指標(biāo)，并以此為依據(jù)與其他算法進(jìn)行比較．

ROC曲線用于分析二元分類模型的分類效果，二元分類模型輸出正類和負(fù)類．在ROC曲線中，橫軸為假正類率(false positive rate，F(xiàn)PR)特異度，定義為被錯(cuò)誤判斷為正類的負(fù)類在所有負(fù)類中所占的比例；縱軸為真正類率(true positive rate，TPR)敏感度，定義為被正確判斷的正類在所有原始正類中所占的比例，即

2.4 實(shí)驗(yàn)結(jié)果

根據(jù)本文算法在Chest X-ray14數(shù)據(jù)集上的分類結(jié)果繪制ROC曲線如圖5所示，其中，不同顏色的實(shí)線分別代表14種疾病，虛線表示該14種疾病的平均水平，可見曲線大部分位于左上角，表明該算法具有良好的分類性能．

圖5 ROC曲線

表2總結(jié)實(shí)驗(yàn)結(jié)果，并將本文算法對(duì)各項(xiàng)疾病分類的AUC值及其平均值與其他算法[13-14,16-19]進(jìn)行比較．結(jié)果顯示，本文提出的算法對(duì)于14種胸部疾病分類的AUC平均值達(dá)到了0.8361，優(yōu)于Wang 等[13]、Guendel等[14]、Zhang等[16]、Teixeira等[17]、Chen等[18]、Ho等[19]的研究．具體表現(xiàn)為：對(duì)肺不張、心臟擴(kuò)大、滲透、腫塊、肺結(jié)節(jié)、肺炎、氣胸7種疾病的分類效果均顯著優(yōu)于以上幾種算法；其中，本文提出的算法對(duì)氣胸疾病的分類準(zhǔn)確度最高，其AUC值達(dá)到0.9534，相較Chen等[18]的研究提升了約7.24%．實(shí)驗(yàn)表明，本文提出的基于動(dòng)態(tài)卷積的胸部X光片分類算法具有較高的準(zhǔn)確度．

表2 各算法的比較

2.5 加權(quán)焦點(diǎn)損失函數(shù)有效性研究

為驗(yàn)證加權(quán)損失函數(shù)對(duì)算法性能提升的有效性，分別在本文提出的DC-DenseNet算法上應(yīng)用焦點(diǎn)損失函數(shù)與加權(quán)焦點(diǎn)損失函數(shù)進(jìn)行對(duì)比實(shí)驗(yàn)．分別記錄兩次實(shí)驗(yàn)中的總損失值以及每種疾病的損失值，并以訓(xùn)練輪次為橫坐標(biāo)，損失值為縱坐標(biāo)，在同一坐標(biāo)系上繪制曲線．圖6(a)～(o)分別展示了兩次實(shí)驗(yàn)過程中14種疾病損失與總損失的變化情況．其中綠色曲線表示使用焦點(diǎn)損失(FL)函數(shù)的網(wǎng)絡(luò)模型，紅色曲線表示使用加權(quán)焦點(diǎn)損失(WFL)函數(shù)的網(wǎng)絡(luò)模型.

根據(jù)圖6中損失值的變化狀況，結(jié)合表2分析可得以下結(jié)論．

圖6 損失函數(shù)優(yōu)化前后對(duì)比

(1) 在圖6(b)心臟擴(kuò)大、(d)滲透、(e)腫塊、(f)肺結(jié)節(jié)、(h)氣胸、(j)水腫、(n)疝氣7種疾病的損失值變化曲線中，應(yīng)用加權(quán)損失函數(shù)時(shí)，網(wǎng)絡(luò)模型的損失值始終低于應(yīng)用焦點(diǎn)損失函數(shù)時(shí)的損失值，對(duì)應(yīng)表2中這7種疾病的AUC值均高于AUC平均值，表明應(yīng)用加權(quán)損失函數(shù)時(shí)，算法將這7種疾病識(shí)別為較易分類疾病，故降低其權(quán)重，表現(xiàn)為其損失值小于應(yīng)用焦點(diǎn)損失函數(shù)時(shí)的損失值．

(2) 在圖6(a)肺不張、(c)積液、(g)肺炎、(i)肺實(shí)變、(k)肺氣腫、(l)纖維、(m)胸膜增厚7種疾病的損失值變化曲線中，應(yīng)用加權(quán)損失函數(shù)時(shí)，網(wǎng)絡(luò)模型的損失值始終高于應(yīng)用焦點(diǎn)損失函數(shù)時(shí)的損失值，對(duì)應(yīng)表2中這7種疾病的AUC值均低于AUC平均值，表明應(yīng)用加權(quán)損失函數(shù)時(shí)，算法將這7種疾病識(shí)別為較難分類疾病，故降低其權(quán)重，表現(xiàn)為其損失值大于應(yīng)用焦點(diǎn)損失函數(shù)時(shí)的損失值．

(3) 每種疾病的AUC值與AUC平均值相差越大，應(yīng)用焦點(diǎn)損失函數(shù)時(shí)的損失變化曲線與應(yīng)用加權(quán)焦點(diǎn)損失函數(shù)時(shí)的損失變化曲線相差幅度就越大，表明網(wǎng)絡(luò)模型在訓(xùn)練過程中可根據(jù)不同疾病的分類準(zhǔn)確度調(diào)整其損失值的權(quán)重．對(duì)于圖6中AUC值與AUC平均值差距較大的較難分類疾病，如圖6(i)肺實(shí)變、(k)肺氣腫的AUC值分別只有0.7031、0.7454，算法對(duì)其權(quán)重的增加幅度較大，其損失值有較為明顯的提升；對(duì)于AUC值與AUC平均值差距較小的較難分類疾病，如圖6(a)肺不張、圖6(c)積液的AUC值分別為0.8084、0.8072，算法對(duì)其權(quán)重的增加幅度較小，因此其損失值的提升幅度較?。?/p>

(4) 圖6(o)展示了分別應(yīng)用兩種損失函數(shù)時(shí)網(wǎng)絡(luò)模型的總體損失變化．應(yīng)用加權(quán)損失函數(shù)時(shí)網(wǎng)絡(luò)模型的損失值始終高于應(yīng)用焦點(diǎn)損失函數(shù)時(shí)的損失值，說明加權(quán)焦點(diǎn)損失函數(shù)對(duì)算法學(xué)習(xí)能力的提升效果優(yōu)于焦點(diǎn)損失函數(shù)．

2.6 對(duì)比實(shí)驗(yàn)

本文在保持基本算法結(jié)構(gòu)完整的前提下，分別移除各個(gè)創(chuàng)新模塊以驗(yàn)證其有效性，實(shí)驗(yàn)結(jié)果如表3所示．具體操作分別為：用普通3×3卷積替代網(wǎng)絡(luò)中所有的3×3動(dòng)態(tài)分卷積，用ReLU激活函數(shù)代替所有的Meta-ACON激活函數(shù)，用焦點(diǎn)損失函數(shù)代替加權(quán)焦點(diǎn)損失函數(shù)，移除TTA(測(cè)試時(shí)數(shù)據(jù)增強(qiáng))模塊．

表3 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果顯示，4個(gè)創(chuàng)新模塊對(duì)算法的分類性能均有提升，且4個(gè)模塊組合應(yīng)用時(shí)，對(duì)于算法分類準(zhǔn)確度的提升最為顯著．替換動(dòng)態(tài)卷積以移除動(dòng)態(tài)卷積模塊后，算法的AUC值下降了約0.015，表明動(dòng)態(tài)卷積的應(yīng)用可以增強(qiáng)網(wǎng)絡(luò)的特征提取能力，從而有效提升分類準(zhǔn)確度；替換激活函數(shù)以移除Meta-ACON激活函數(shù)后，AUC值下降約0.007，表明Meta-ACON激活函數(shù)有效地提高了激活函數(shù)的自適應(yīng)能力，從而增強(qiáng)網(wǎng)絡(luò)性能；替換損失函數(shù)以去除加權(quán)焦點(diǎn)損失函數(shù)后，AUC值下降了約0.011，表明加權(quán)損失函數(shù)可以有效地提升網(wǎng)絡(luò)學(xué)習(xí)效果；移除TTA模塊后，AUC值下降約0.004，幅度較小，但也可以說明TTA模塊的處理有助于網(wǎng)絡(luò)在測(cè)試階段對(duì)疾病進(jìn)行更加準(zhǔn)確的識(shí)別與分類．對(duì)比各項(xiàng)實(shí)驗(yàn)結(jié)果表明，本文提出的DC-DenseNet算法中的各個(gè)創(chuàng)新模塊確實(shí)有助于提升網(wǎng)絡(luò)對(duì)于胸部X光片疾病的分類準(zhǔn)確度．

3 結(jié) 論

針對(duì)現(xiàn)有的深度學(xué)習(xí)方法在胸部X光片分類領(lǐng)域存在的分類準(zhǔn)確度較低、網(wǎng)絡(luò)模型復(fù)雜度較高等問題，本文提出基于動(dòng)態(tài)卷積的胸部X光片疾病分類算法，創(chuàng)新之處體現(xiàn)在5個(gè)方面：

(1)加入動(dòng)態(tài)卷積模塊，增強(qiáng)網(wǎng)絡(luò)對(duì)樣本的特征提取能力，有效地提高分類準(zhǔn)確度，且不顯著增加網(wǎng)絡(luò)模型的寬度與深度，實(shí)現(xiàn)網(wǎng)絡(luò)分類性能與計(jì)算速度的均衡；

(2)使用魯棒高效的Meta-ACON激活函數(shù)替換過渡層中原始的ReLU函數(shù)，改善激活函數(shù)在梯度消失時(shí)永久失活的特性，并使網(wǎng)絡(luò)能自適應(yīng)地選擇是否激活以及使用何種激活函數(shù)，從而使網(wǎng)絡(luò)的泛化能力得到增強(qiáng)；

(3)提出加權(quán)焦點(diǎn)損失函數(shù)，使網(wǎng)絡(luò)可以有針對(duì)性地增加較難分類疾病的損失權(quán)重，提高網(wǎng)絡(luò)對(duì)較難分類疾病的關(guān)注度，從而提升較難分類疾病的分類準(zhǔn)確度，最終使整體的分類準(zhǔn)確度得到提升；

(4)優(yōu)化數(shù)據(jù)加載方式，增大批處理量，提高批歸一化效果，以使訓(xùn)練速度和訓(xùn)練效果得到提升；

(5)使用測(cè)試時(shí)數(shù)據(jù)增強(qiáng)策略對(duì)測(cè)試集進(jìn)行處理，綜合分析多個(gè)維度的預(yù)測(cè)結(jié)果，提高模型對(duì)CXR圖像的疾病分類性能．

實(shí)驗(yàn)結(jié)果表明，本文提出的DC-DenseNet算法對(duì)胸部X光片疾病分類具有較高的AUC平均值，表明該算法具有較高的分類準(zhǔn)確度，且各創(chuàng)新模塊的加入均可有效提升算法整體的分類準(zhǔn)確度．

［1］ 李 鏘，武昱忻，關(guān) 欣. 基于SRD感受野自調(diào)節(jié)的肺炎病灶檢測(cè)[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2021，54(5)：508-516.

Li Qiang，Wu Yuxin，Guan Xin. The pneumonia focus detection based on SRD with receptive field self-regulation[J]. Journal of Tianjin University (Science and Technology)，2021，54(5)：508-516(in Chinese).

［2］ Gulshan V，Peng L，Coram M，et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs[J]. JAMA Cardiology，2016，316(22)：2402-2410.

［3］ Zhao Z Y，Chopra K，Zeng Z，et al. Sea-Net：Squeeze-and-excitation attention net for diabetic retinopathy grading[C]//2020 IEEE International Conference on Image Processing(ICIP). Abu Dhabi，The United Arab Emirates，2020：2496-2500.

［4］ Wang Z，Xu H，Sun M. Deep learning-based nodule detection from pulmonary CT images[C]//IEEE 2017 10th International Symposium on Computational Intelligence and Design(ISCID). Hangzhou，China，2017：370-373.

［5］ Setio A A A，Traverso A，de Bel T，et al. Validation，comparison，and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images：The luna16 challenge[J]. Medical Image Analysis，2017，42：1-13.

［6］ Chen C，Kavuri V C，Wang X，et al. Multi-frequency diffuse optical tomography for cancer detection[C]//2015 IEEE 12th International Symposium on Biomedical Imaging(ISBI). New York，USA，2015：67-70.

［7］ Li R Y，Huang J Z. Fast regions-of-interest detection in whole slide histopathology images[C]//International Workshop on Patch-Based Techniquesin Medical Imaging. Munich，Germany，2015：120-127.

［8］ Lakhani P，Sundaram B. Deep learning at chest radiography：Automated classification of pulmonary tuberculosis by using convolutional neural networks[J]. Radiology，2017，284(2)：574-582.

［9］ Iandola F N，Han S，Moskewicz M W，et al. SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and ＜0.5MB model size[EB/OL]. https:// arXiv.org/ads/1602.07360，2016-02-24.

［10］ Szegedy C，Liu Wei，Jia Yangqing，et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Boston，USA，2015：1-9.

［11］ Li Z，Wang C，Han M，et al. Thoracic disease identification and localization with limited supervision [C]//2018 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City，USA，2018：139-161.

［12］ He K M，Zang X，Ren S，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Las Vegas，USA，2016：770-778.

［13］ Wang X，Peng Y，Lu L，et al. Chest X-ray8：Hospital-scale chest X-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Honolulu，USA，2017：2097-2106.

［14］ Guendel S，Grbic S，Georgescu B，et al. Learning to recognize abnormalities in chest X-rays with location-aware dense networks[C]//2018 Progress in Pattern Recognition，Image Analysis，Computer Vision，and Applications. Madrid，Spain，2018：757-765.

［15］ Huang G，Liu Z，Weinberger，et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Honolulu，USA，2017：2261-2269.

［16］ 張智睿，李 鏘，關(guān) 欣. 密集擠壓激勵(lì)網(wǎng)絡(luò)的多標(biāo)簽胸部X光片疾病分類[J]. 中國圖象圖形學(xué)報(bào)，2020，25(10)：2238-2248.

Zhang Zhirui，Li Qiang，Guan Xin. Multi-label chest X-ray disease classification based on dense squeeze excitation network[J]. Journal of Image and Graphics，2020，25(10)：2238-2248(in Chinese).

［17］ Teixeira V，Braz L，Pedrini H，et al. DuaLAnet：Dual lesion attention network for thoracic disease classification in chest X-rays[C]//2020 International Conference on Systems，Signals and Image Processing(IWSSIP). Niteroi，Brazil，2020：69-74.

［18］ Chen B Z，Zhang Z，Lin J Y，et al. Two-stream collaborative network for multi-label chest X-ray image classification with lung segmentation[J]. Pattern Recognition Letters，2020，135：221-227.

［19］ Ho T K K，Gwak J. Utilizing knowledge distillation in deep learning for classification of chest X-Ray abnormalities[J]. IEEE Access，2020，8：1-14.

［20］ Hinton G，Vinyals O，Dean J. Distilling the knowledge in a neural network[J]. Computer Science，2015，14(7)：38-39.

［21］ Chen Y P，Dai X Y，Liu M C，et al. Dynamic Convolution：Attention over convolution kernels[C]//2020 IEEE Conference on Computer Vision and Pattern Rec-ognition(CVPR). Seattle，USA，2020：11027-11036.

［22］ Yang B，Bender G，Le Q V，et al. CondConv：Conditionally parameterized convolutions for efficient inference[C]//33rd Conference on Neural Information Processing Systems (NeurIPS 2019). Vancouver，Canada，2019：1305-1316.

［23］ Ma N N，Zhang X Y，Liu M，et al. Activate or not: Learning customized activation[EB/OL]. https://arxiv. org/pdf/2009.04759.pdf，2021-04-16.

［24］ 李 鏘，姚麟倩，關(guān) 欣. 基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的服飾關(guān)鍵點(diǎn)定位算法[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2020，53(3)：229-236.

Li Qiang，Yao Linqian，Guan Xin. Clothing key points detection algorithm based on cascade convolutional neural network[J]. Journal of Tianjin University(Science and Technology)，2020，53(3)：229-236(in Chinese).

［25］ Haldar M，Abdool M，Ramanathan P，et al. Applying deep learning to airbnbsearch[EB/OL]. https://arxiv.org/ pdf/1810.09591.pdf，2018-10-24.

［26］ Lin T Y，Goyal P，Girshick R，et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42(2)：318-327.

［27］ 黃志清，賈 翔，郭一帆，等. 基于深度學(xué)習(xí)的端到端樂譜音符識(shí)別[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2020，53(6)：653-660.

Huang Zhiqing，Jia Xiang，Guo Yifan，et al. End-to-end music note recognition based on deep learning[J]. Journal of Tianjin University(Science and Technol-ogy)，2020，53(6)：653-660(in Chinese).

［28］ 梁 煜，張金銘，張 為. 一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的室內(nèi)深度估計(jì)方法[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2020，53(8)：840-846.

Liang Yu，Zhang Jinming，Zhang Wei. An improved indoor depth estimation method using convolutional neural networks[J]. Journal of Tianjin University(Science and Technology)，2020，53(8)：840-846(in Chinese).

［29］ Miko?ajczyk A，Grochowski M. Data augmentation for improving deep learning in image classification problem[C]//2018 International Interdisciplinary PhD Workshop(IIPhDW). ?winou?cie，Poland，2018：117-122.

Classification Algorithm for Chest X-Ray Diseases Based on Dynamic Convolution

Li Qiang，Zhao Qimeng，Guan Xin

(School of Microelectronics，Tianjin University，Tianjin 300072，China)

Chest diseases are a severe threat to human health. The timely and accurate detection of chest diseases has great significance on patients’ treatment and rehabilitation. Chest X-rays are usually used to diagnose chest diseases. However，the existing classification algorithms for chest X-ray diseases are inaccurate due to the diverse chest diseases and their complex pathological characteristics，including low classification accuracy and high model complexity. In response to the above problems，a new classification algorithm for chest X-ray diseases was proposed based on dynamic convolution. The dynamic convolution blocks were added to the densely connected network. The feature extraction capability of the network for multiscale information was enhanced under the premise of not significantly increasing the size of the network model and reducing efficient inference while improving the classification accuracy. The ReLU(rectified linear units)activation function was improved using Meta-ACON，and the generalization ability of the network was enhanced by adaptively selecting the linear-nonlinear switching factor to activate and which activation function to use. The weighted focal loss function was proposed based on a weight adjustment factor added into the focus loss function so that the network reasonably allocated the weight for each disease according to the classification difficulty. To improve their classification accuracy，the overall performance was optimized by increasing the percentage loss of difficult-to-classify diseases. To improve the batch normalization，the data loading method was optimized and batch size increased. In the testing phase，a test-time data augmentation was used to analyze the multiple dimensions classification results and increase the accuracy and robustness of the classification. We found that the average value of the area under the receiver operating characteristic curve(AUC)of the proposed algorithm for the 14 chest diseases was 0.8361 after adding dynamic convolution blocks，Meta-ACON activation function，and weighted focus loss function into the densely connected network，optimizing the data loading method and using test-time data enhancement strategy. Furthermore，the AUC value of a single disease label was up to 0.9534，which is higher than that of the existing six state-of-the-art algorithms. Our results are higher than those of the six recent existing advanced algorithms. The experimental results show that the classification algorithms for chest X-ray diseases based on dynamic convolution have a higher classification accuracy and stronger model robustness. Hence，the algorithm could be well applied to the chest X-ray diseases classification task.

chest X-ray；disease classification；dense connection network；dynamic convolution；ACON activation function；weighted focal loss function

TP391.4

A

0493-2137(2022)09-0953-12

10.11784/tdxbz202105005

2021-05-03；

2021-08-30.

李 鏘（1974— ），男，博士，教授.

李 鏘，liqiang@tju.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(61471263)；天津市自然科學(xué)基金資助項(xiàng)目(16JCZDJC31100)；天津大學(xué)自主創(chuàng)新基金資助項(xiàng)目(2021XZC-0024).

the National Natural Science Foundation of China(No.61471263)，the Natural Science Foundation of Tianjin，China (No.16JCZDJC31100)，the Seed Foundation of Tianjin University(No.2021XZC-0024).

(責(zé)任編輯：王曉燕)