基于數(shù)據(jù)融合的智能醫(yī)療輔助診斷方法

張?zhí)壹t，范素麗，郭徐徐，李倩倩

1) 北京科技大學(xué)計(jì)算機(jī)通信與工程學(xué)院，北京 100083 2) 材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083

為了對(duì)圖像分類，研究人員提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN). CNN通常用于分析視覺圖像，它將圖像的每個(gè)像素作為特征，是一種類似于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型或多層感知器. 第一代CNN是由LeCun于1998年提出的LeNet[1]. LeNet是為了解決手寫數(shù)字的識(shí)別任務(wù)而提出的，是早期CNN中最具代表性的結(jié)構(gòu)之一. 此后，CNN最基本的體系結(jié)構(gòu)被確定為卷積層、池化層和全連接層. 在 2012年，Krizhevsky提出了 AlexNet[2]卷積神經(jīng)網(wǎng)絡(luò)，并提出新的激活函數(shù)(ReLU)、局部響應(yīng)歸一化(LRN)、DropOut和數(shù)據(jù)增強(qiáng)方法以提高網(wǎng)絡(luò)的泛化能力. AlexNet贏得了ILSVRC2012[3]的第一名，從此，CNN受到了研究界的廣泛關(guān)注.在AlexNet之后，出現(xiàn)了許多優(yōu)秀的CNN模型，這些CNN主要有三個(gè)發(fā)展方向：（a）更深：網(wǎng)絡(luò)層更深，代表網(wǎng)絡(luò)是 VggNet[4]、ResNet[5]；（b）模塊化：模塊化網(wǎng)絡(luò)結(jié)構(gòu)，代表網(wǎng)絡(luò)是GoogleNet[6]、Inceptionv2[7]、Inceptionv3[8]和 Inceptionv4[9]；（c）更快：適用于移動(dòng)設(shè)備的輕量級(jí)網(wǎng)絡(luò)模型，代表網(wǎng)絡(luò)是 SqueezeNet[10]、MobileNet[11]、ShuffleNet[12]、MobileNetv2[13]、ShuffleNetv2[14]和 MobileNetv3[15].

在醫(yī)學(xué)領(lǐng)域，為了更高效、更方便地診斷患者的病情，圖像分類已經(jīng)得到了廣泛關(guān)注. Li等提出了一種基于注意的卷積神經(jīng)網(wǎng)絡(luò)(AG?CNN)用于青光眼檢測(cè)[16]. Yang等提出了一種用于乳腺癌組織病理學(xué)圖像分類的注意力引導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)[17].Xu等提出了一種用于檢測(cè)肺結(jié)節(jié)性惡性腫瘤的卷積神經(jīng)網(wǎng)絡(luò)（MSCS?DeepLN）[18]. Mobiny等提出了一種有效的膠囊網(wǎng)絡(luò)變體(Caps net)作為CNN的替代[19]. Zhou等基于先驗(yàn)知識(shí)，提取相應(yīng)的特征對(duì)白內(nèi)障進(jìn)行分類[20]. Wang等提供一種創(chuàng)新的3D卷積網(wǎng)絡(luò)，用于自動(dòng)乳腺超聲檢測(cè)癌癥，以加快檢查速度，同時(shí)獲得較高的檢測(cè)準(zhǔn)確率[21].在Liu等的研究中，提出了一種新的基于深度學(xué)習(xí)的CAD系統(tǒng)，以特定任務(wù)的先驗(yàn)知識(shí)為指導(dǎo)，用于超聲圖像中結(jié)節(jié)的自動(dòng)檢測(cè)和分類[22]. Yao等使用深度學(xué)習(xí)方法對(duì)宮頸細(xì)胞進(jìn)行異常檢測(cè)[23].眾所周知，當(dāng)醫(yī)生診斷患者的病情時(shí)，不僅觀察患者的圖像信息（如CT圖像），而且會(huì)結(jié)合患者的臨床診斷信息做出最終決定. 但是，目前醫(yī)學(xué)領(lǐng)域的圖像分類問題僅將圖像放入卷積神經(jīng)網(wǎng)絡(luò)中來獲得診斷結(jié)果，并沒有使用到臨床診斷信息. 為了提高醫(yī)學(xué)圖像分類準(zhǔn)確率，一些研究引進(jìn)特征融合技術(shù). Zeng等基于空間特征融合，實(shí)現(xiàn)了顱內(nèi)動(dòng)脈瘤的自動(dòng)診斷[24]. Wang等提出了一種基于注意的特征聚合網(wǎng)絡(luò)，在一次檢查中自動(dòng)整合從多個(gè)圖像中提取的特征，利用結(jié)節(jié)的不同視圖來提高超聲圖像中對(duì)惡性結(jié)節(jié)的識(shí)別性能[25]. 為了提高多模態(tài)PET?CT中互補(bǔ)信息的融合，Kumar等提出了一種新的監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)融合互補(bǔ)信息，用于多模態(tài)醫(yī)學(xué)圖像分析[26]，它通過融合兩幅圖像以實(shí)現(xiàn)更好的檢測(cè)和分割. Joyseeree等提出了一種基于Riesz和深度學(xué)習(xí)特征融合的新方法，對(duì)肺部CT圖像的病變類型進(jìn)行識(shí)別[27]. 雖然，這些基于特征融合的方法顯示出了在醫(yī)學(xué)圖像分類、檢測(cè)和分割任務(wù)上的優(yōu)越性，但是，這些方法仍然沒有利用到除醫(yī)療圖像外的其他信息，例如Wang等[25]只是融合多張圖像特征，Joyseeree等[27]是將卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征與基于圖像設(shè)計(jì)的特征融合.

而智能輔助診斷中經(jīng)常需要結(jié)合臨床癥狀與其他影像檢查數(shù)據(jù)來進(jìn)行綜合診斷，為此，本文提出了一種醫(yī)療輔助診斷方法，將圖像特征與數(shù)值特征（如臨床診斷信息）相結(jié)合，利用融合的特征來確定患者的病情. 本文提出的方法不僅可以充分利用患者的病例信息，從而能夠?qū)崿F(xiàn)更準(zhǔn)確的分類；還可以同時(shí)處理不同類型的數(shù)據(jù)，從而達(dá)到同時(shí)判斷多種疾病的效果，在一定程度上節(jié)省了醫(yī)學(xué)分析的時(shí)間，提高醫(yī)學(xué)診斷的效率. 該方法為基于深度學(xué)習(xí)的自動(dòng)醫(yī)療輔助診斷方法提出了新的研究思路.

1 方法

為了降低醫(yī)學(xué)領(lǐng)域中自動(dòng)醫(yī)學(xué)輔助診斷系統(tǒng)的誤判概率，本文提出了一種新的診斷方法. 該方法將從圖像中提取的特征與無法從圖像中獲取的其他特征相結(jié)合，利用融合的數(shù)據(jù)來確定患者是否患有某種疾病. 實(shí)驗(yàn)表明，提出的方法可以減少醫(yī)學(xué)分析的時(shí)間，提高診斷準(zhǔn)確率. 基于提出的方法，本文設(shè)計(jì)了一個(gè)數(shù)據(jù)融合深度學(xué)習(xí)模型，該模型由數(shù)據(jù)融合層和分類層兩部分組成，模型的結(jié)構(gòu)如圖1所示.

圖1 基于提出的方法構(gòu)建的模型結(jié)構(gòu)Fig.1 Diagram of the model structure based on the proposed method

1.1 數(shù)據(jù)融合層

數(shù)據(jù)融合層由特征提取模塊和特征融合模塊兩部分組成. 特征提取模塊的作用是利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，將輸入的圖像轉(zhuǎn)換為特征向量. 特征提取模型可以基于任何CNN網(wǎng)絡(luò)（如ResNet，VGG，ShuffleNet等），由于 ShuffleNetv2屬于輕量化網(wǎng)絡(luò)，能夠達(dá)到速度和準(zhǔn)確度的均衡，因此本文把ShuffleNetv2作為特征提取模塊的骨干網(wǎng)絡(luò)，使用了ShuffleNetv2從輸入層到平均池化層的網(wǎng)絡(luò)層，包括輸入層、卷積層（conv1）、最大池化層（MaxPool）、stage2、stage3、stage4、卷積層（conv5），下面對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行具體解釋.conv1和conv5使用的卷積核()的大小和數(shù)目()分 別 是stage2、stage3和stage4都是由下采樣單元（Down sampling unit）和基本單元（Basic unit）連接而成，Down sampling unit和 Basic unit的結(jié)構(gòu)如圖 2所示. 在圖 2中，通道劃分（Channel divide）的作用是將輸入的特征圖的通道數(shù)平均劃分，輸出兩個(gè)通道數(shù)相等的特征圖；PWConv是指使用的卷積核進(jìn)行卷積；DWConv是指按通道對(duì)輸入特征圖進(jìn)行分組，每組包含一個(gè)通道，卷積操作在每組內(nèi)獨(dú)立執(zhí)行；通道混洗（Channel shuffle）操作將個(gè)通道分成組 ，形成大小為的矩陣，接下來將矩陣轉(zhuǎn)置、平鋪，這樣可以在通道之間對(duì)信息進(jìn)行置亂和混合. Channel divide、PWConv 和 DWConv的作用都是減少模型參數(shù)，降低模型計(jì)算量.Channel shuffle的作用是在不增加計(jì)算量的情況下，使通道充分融合，進(jìn)行不同分組的特征之間的信息流動(dòng), 以提高性能. 如果輸入特征圖的大小是w×h×c ，Basic unit輸出 的大小是 w ×h×c，Down sampling unit輸出的大小是 (w /2)×(h/2)×(2c). 經(jīng)過特征提取模塊后，每個(gè)輸入圖像都被轉(zhuǎn)化一個(gè)為1024維的特征向量.

圖2 基本單元和下采樣單元的結(jié)構(gòu). （a）基本單元的結(jié)構(gòu)；（b）下采樣單元的結(jié)構(gòu)Fig.2 Structure of the basic unit and down sampling unit：(a) structure of the basic unit; (b) structure of the down sampling unit

1.2 分類層

2 實(shí)驗(yàn)

本文分別在兩個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)：第一個(gè)實(shí)驗(yàn)預(yù)測(cè)肺炎和心臟病，第二個(gè)實(shí)驗(yàn)預(yù)測(cè)新冠肺炎（COVID?19）. 在訓(xùn)練過程中，模型參數(shù)通過批量迭代更新，批量大小設(shè)置為32，初始學(xué)習(xí)率為0.001，使用的優(yōu)化器是Adam[28]. 實(shí)驗(yàn)細(xì)節(jié)分別在下面的實(shí)驗(yàn)I和實(shí)驗(yàn)II中展示.

2.1 實(shí)驗(yàn) I

2.1.1 數(shù)據(jù)集

實(shí)驗(yàn)I中使用的數(shù)據(jù)包括一個(gè)肺部CT圖像的數(shù)據(jù)集和一個(gè)心臟病的數(shù)值數(shù)據(jù)集，它們都是從Kaggle[29]收集的. 我們將這兩個(gè)公開數(shù)據(jù)集組合在一起，生成一個(gè)同時(shí)包含圖像和數(shù)值數(shù)據(jù)的數(shù)據(jù)集. 肺部CT圖像用于判斷病人是否患有肺炎，每張圖像都被標(biāo)注為是否有肺炎. 數(shù)值數(shù)據(jù)用于判斷病人是否患有心臟病，每條數(shù)據(jù)包括13個(gè)屬性：年齡（Age）、性別（Sex）、胸痛類型 (CPT)、靜息血壓(RBP)、血清膽固醇含量(SC)、空腹血糖含量(FBS)、靜息心電圖(RER)、最大心率(MHR)、運(yùn)動(dòng)性心絞痛(EIA)、運(yùn)動(dòng)引起的ST段下降(ST)、ST段峰值斜率(SP)、透視檢查看到的血管數(shù)(NV)、地中海貧血(Thal). 年齡分布在20歲到80歲之間；性別包括男性（0）和女性（1）；CPT分為 4級(jí)，分別是 0（無疼痛），1（輕微疼痛），2（中級(jí)疼痛）和3（重級(jí)疼痛）；RER有3個(gè)狀態(tài)，0表示正常，1表示輕微異常，2表示嚴(yán)重異常；EIA的類型為0（沒有）和1（有）；心電圖ST段是指心電圖上QRS波終點(diǎn)，至T波開始前的一段水平線，ST段改變往往提示有心肌缺血的可能. ST段峰值斜率表示ST段抬高峰值處的斜率，斜率為0時(shí)用0表示，斜率位于0～0.5之間時(shí)用1表示，斜率位于0.5～1之間時(shí)用 2表示；Thal的狀態(tài)包括 1（正常），2（固定缺陷）和3（可逆缺陷）. 本文將這兩個(gè)數(shù)據(jù)集組合成了一個(gè)新的數(shù)據(jù)集，它同時(shí)包含圖像和數(shù)值數(shù)據(jù)，命名為肺炎心臟病數(shù)據(jù)集(PHD). PHD包含606個(gè)樣本，其中424個(gè)訓(xùn)練樣本，182個(gè)測(cè)試樣本. PHD共包含4種類型：同時(shí)患有肺炎和心臟病(PH)，患有肺炎但未患心臟病(PNH)，未患肺炎但患有心臟病(NPH)，既沒有患肺炎又沒有患心臟病(NPNH). 每一個(gè)樣本包含一張圖像和13個(gè)數(shù)值屬性，表1展示了數(shù)據(jù)集中的4種樣本.

表1 PHD中四種類型的樣本Table 1 Four types of samples in PHD

2.1.2 結(jié)果和討論

如第1部分所述，使用輕量化卷積神經(jīng)網(wǎng)絡(luò)ShuffleNetv2提取圖像特征，分類層使用兩個(gè)全連接層和一個(gè)輸出層，兩個(gè)全連接層分別包含512和256個(gè)神經(jīng)元，輸出層包含4個(gè)神經(jīng)元（PHD包含4種類型的疾?。? 為了驗(yàn)證提出的融合方法的可行性，進(jìn)行了3組實(shí)驗(yàn)進(jìn)行對(duì)比：第一組實(shí)驗(yàn)（ShuffleNetv2）利用圖1中的特征提取模塊和分類層對(duì)肺部CT圖像進(jìn)行分類，預(yù)測(cè)病人是否患有肺炎；第二組實(shí)驗(yàn)（DNN）利用分類層對(duì)心臟病數(shù)值數(shù)據(jù)進(jìn)行分類，預(yù)測(cè)病人是否患有心臟??；第三組實(shí)驗(yàn)（Fusion）利用提出的方法對(duì)肺部CT圖像和心臟病數(shù)值數(shù)據(jù)進(jìn)行分類，預(yù)測(cè)病人是否患有肺炎和心臟病. 3組實(shí)驗(yàn)的預(yù)測(cè)結(jié)果分別展示在表2、表3和表4，各項(xiàng)評(píng)價(jià)指標(biāo)展示在表5. 在表2～4中，橫向表頭表示樣本的真實(shí)類別，縱向表頭表示樣本的預(yù)測(cè)類別，例表2中第2行第4列的90表示測(cè)試時(shí)有90個(gè)樣本被預(yù)測(cè)為No pneumonia；第4行第2列的91表示，測(cè)試集中共有91個(gè)樣本的類型是No pneumonia. 在表 5中，TP表示正樣本被預(yù)測(cè)為正樣本的數(shù)量，F(xiàn)P表示負(fù)樣本被預(yù)測(cè)為正樣本的數(shù)量，F(xiàn)N表示負(fù)樣本被預(yù)測(cè)為正樣本的數(shù)量，Precision表示預(yù)測(cè)為正的樣本中有多少是真正的正樣本，Recall表示樣本中的正例有多少被預(yù)測(cè)正確了. F1-score是對(duì)Precision和Recall的綜合考慮，F(xiàn)1-score=2 * Precision * Recall / (Precision+Recall).圖3展示了第三組實(shí)驗(yàn)結(jié)果（使用提出的方法）隨著迭代次數(shù)的變動(dòng)，在訓(xùn)練集和驗(yàn)證集上的預(yù)測(cè)準(zhǔn)確率和損失的變動(dòng). 從圖中可以看出，迭代600次之后，模型開始趨于穩(wěn)定.

圖3 訓(xùn)練過程中的預(yù)測(cè)準(zhǔn)確率和損失的變動(dòng). （a）準(zhǔn)確率的變動(dòng)；（b）損失的變動(dòng)Fig.3 Changes in predictive accuracy and loss during training: (a) changes in accuracy; (b) changes in the loss

表2 在PHD數(shù)據(jù)集上僅通過圖像數(shù)據(jù)學(xué)習(xí)的預(yù)測(cè)結(jié)果Table 2 Prediction results learned only from image data in PHD dataset

表3 在PHD數(shù)據(jù)集上僅通過結(jié)構(gòu)化的數(shù)值數(shù)據(jù)學(xué)習(xí)的預(yù)測(cè)結(jié)果Table 3 Prediction results learned only through structured numerical data

表4 本文方法在 PHD 數(shù)據(jù)集上的預(yù)測(cè)結(jié)果Table 4 Predictive results of proposed method in PHD dataset

從表5可以看出，僅使用肺炎圖像的預(yù)測(cè)患者是否患有肺炎的平均準(zhǔn)確率是87.4%，僅使用心臟病數(shù)值數(shù)據(jù)來預(yù)測(cè)患者是否患有心臟病的平均準(zhǔn)確率是85.2%. 將肺炎圖像與心臟病數(shù)值數(shù)據(jù)相結(jié)合后，可同時(shí)預(yù)測(cè)患者是否患有肺炎與心臟病. 根據(jù)實(shí)驗(yàn)結(jié)果可以看出，組合后分類變成了一個(gè)四分類問題，它獲得了68.7%的較低的平均分類準(zhǔn)確率. 根據(jù)表4的預(yù)測(cè)結(jié)果可知，使用提出的方法，預(yù)測(cè)肺炎的準(zhǔn)確率（33+29+12+8+24+10+9+39)/182×100%=90.1%，預(yù)測(cè)心臟病的準(zhǔn)確率等于(33+24+5+2+29+39+2+3）/182×100%=75.3%. 比較結(jié)果表明，提出的方法沒有增加預(yù)測(cè)的準(zhǔn)確率，這與肺炎和心臟病數(shù)據(jù)之間的關(guān)系是我們?nèi)藶闃?gòu)造的有關(guān)，因?yàn)榉窝缀托呐K病這兩種疾病沒有內(nèi)在聯(lián)系，即患有肺炎的患者并不會(huì)更容易患心臟病，同理患有心臟病的患者也不會(huì)更容易患肺炎. 因此，即使使用提出的方法，也不會(huì)提高整體的分類準(zhǔn)確率，這與我們的設(shè)計(jì)初衷是一致的，即只有圖像數(shù)據(jù)和數(shù)值數(shù)據(jù)具有相輔相成、相互促進(jìn)的關(guān)系時(shí)，才有利于模型的分類. 雖然沒有提高分類準(zhǔn)確率，但是提出的方法能夠一次性處理多種類型的數(shù)據(jù)，同時(shí)預(yù)測(cè)多種疾病，在一定程度上減少了診斷時(shí)間. 因此，實(shí)驗(yàn)I證明了，如果將沒有聯(lián)系的數(shù)據(jù)進(jìn)行融合用于分類時(shí)，并不能增強(qiáng)模型分類的能力. 但是提出的方法具有同時(shí)預(yù)測(cè)多種疾病的能力，因此該方法可以用于具有相互聯(lián)系的兩種疾病的預(yù)測(cè)，如肥胖和高血壓.

表5 在PHD數(shù)據(jù)集上三組實(shí)驗(yàn)的準(zhǔn)確率和其他評(píng)價(jià)指標(biāo)Table 5 Accuracy and other evaluation indicators of three groups of experiments in PHD dataset

2.2 實(shí)驗(yàn) II

實(shí)驗(yàn)II用以判定一個(gè)人是否患有COVID?19，即本實(shí)驗(yàn)是一個(gè)二分類的任務(wù). 我們知道，僅根據(jù)臨床癥狀或者僅利用CT圖像無法確定一個(gè)人是否患有COVID?19. 在沒有進(jìn)行核酸檢測(cè)的情況下，醫(yī)生通常需要將病人的臨床癥狀與CT圖像結(jié)合起來，以確定病人是否患有COVID?19. 因此，利用本文提出的新的醫(yī)療輔助診斷方法與僅使用CT圖像數(shù)據(jù)和僅使用結(jié)構(gòu)化數(shù)值數(shù)據(jù)預(yù)測(cè)COVID?19的方法進(jìn)行比較，以證明提出的新方法的有效性.

2.2.1 數(shù)據(jù)集

實(shí)驗(yàn)II使用的數(shù)據(jù)集是從幾家醫(yī)院的公共網(wǎng)站[30]收集的. 該數(shù)據(jù)集(命名為COVID)由460個(gè)樣本組成，其中訓(xùn)練集中包含161個(gè)沒有患COVID?19的樣本和161個(gè)患有COVID?19的樣本，測(cè)試集中包含69個(gè)沒有患COVID?19的樣本和69個(gè)患有COVID?19的樣本. 數(shù)據(jù)集中的每個(gè)樣本包含患者的肺部CT圖像和10個(gè)數(shù)值屬性：性別（Sex）、年齡（Age）、發(fā)熱程度 (F)、呼吸困難程度(D)、咳嗽程度(C)、血氧飽和度(OS)、既往病史(PMH)、是否與陽性患者接觸過(CP)、正常白細(xì)胞 (WBC)和其他癥狀（Other）. 性別包括男性（1）和女性（2）；年齡從1歲到100歲不等；F由3個(gè)值表示，1代表不發(fā)熱（<37.3 ℃)，2代表輕度發(fā)熱（37.3～39 ℃），3代表高度發(fā)熱（>39 ℃）；D由 4個(gè)值表示，1表示正常，2表示輕度困難，3表示中度困難，4表示重度困難；C由3個(gè)值表示，1表示沒有咳嗽，2表示輕度咳嗽，3表示劇烈咳嗽；PMH包含2種情況：1表示沒有，2表示有；CP有3種情況：1表示沒有接觸過，2表示接觸過，3表示來自疫情區(qū)；WBC有3種狀態(tài)：1表示下降，2表示正常，3表示上升；其他癥狀包括腹瀉，吞咽困難，胸悶等，用1表示沒有其癥狀，2表示有其癥狀. 由于數(shù)值數(shù)據(jù)的某些屬性值是缺失的，因此本文將缺失值用0代表. 沒有患COVID?19的患者的數(shù)值數(shù)據(jù)是在專業(yè)指導(dǎo)[31]下構(gòu)建的，構(gòu)建的數(shù)據(jù)集共包含兩類：沒有患 COVID?19（NonCOVID)和患COVID?19（COVID). 圖 4展示了數(shù)據(jù)集中的兩種樣本.

圖4 COVID 數(shù)據(jù)集中兩種類型的樣本. （a）未患 COVID?19的樣本；（b）患有 COVID?19的樣本Fig.4 Two types of samples in COVID: (a) samples without COVID?19; (b) samples with COVID?19

2.2.2 結(jié)果和討論

實(shí)驗(yàn)II同實(shí)驗(yàn)I一樣，使用如圖1所示的模型結(jié)構(gòu). 與實(shí)驗(yàn)I相似，設(shè)計(jì)了三組實(shí)驗(yàn)預(yù)測(cè)患者是否患有 COVID?19. 第一組實(shí)驗(yàn)（ShuffleNetv2）利用圖1中的特征提取模塊和分類層對(duì)肺部CT圖像進(jìn)行分類；第二組實(shí)驗(yàn)（DNN）利用分類層對(duì)數(shù)值數(shù)據(jù)進(jìn)行分類；第三組實(shí)驗(yàn)（Fusion）利用提出的方法對(duì)肺部CT圖像和數(shù)值數(shù)據(jù)進(jìn)行分類. 三組實(shí)驗(yàn)的預(yù)測(cè)結(jié)果分別展示在表6、表7和表8，各項(xiàng)評(píng)價(jià)指標(biāo)展示在表9. 圖5展示了第三組實(shí)驗(yàn)隨著迭代次數(shù)變動(dòng)的訓(xùn)練集和驗(yàn)證集的預(yù)測(cè)準(zhǔn)確率和損失的變動(dòng). 在對(duì)138個(gè)樣本進(jìn)行分類時(shí)，還分別計(jì)算了單獨(dú)使用圖像進(jìn)行分類和使用Fusion method的分類方法進(jìn)行分類的時(shí)間. 如表10所示，F(xiàn)usion method的分類時(shí)間只比僅使用圖像進(jìn)行分類的時(shí)間增加了0.02 s. 如表9所示，僅使用圖像數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率是75.4%，僅使用數(shù)值數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率是88.4%，使用兩種數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率是94.2%，可見Fusion method能夠提高患病的預(yù)測(cè)準(zhǔn)確率. 相比于僅使用圖像分類，F(xiàn)usion method的準(zhǔn)確率提高了18.8%，但是花費(fèi)的時(shí)間僅增加0.02 s. 再觀察指標(biāo)F1-score，僅使用圖像分類時(shí)，NonCOVID的F1-score是0.764，COVID 的F1-score是0.742；僅使用數(shù)值數(shù)據(jù)分類時(shí)，NonCOVID的F1-score是 0.869，COVID的 F1-score是 0.896；使用提出的融合方法分類時(shí)，NonCOVID和COVID的F1-score都是0.942. 總體上來看，相比于前兩組實(shí)驗(yàn)，提出的方法不僅顯著提高了每一類的F1-score，而且顯著提高了整體的分類準(zhǔn)確率. 之所以能夠顯著提高分類結(jié)果，是因?yàn)樘岢龅姆椒▽D像和數(shù)值數(shù)據(jù)融合，兩類數(shù)據(jù)的特征相輔相成，互相增強(qiáng)，從而達(dá)到更好的分類結(jié)果. 此外，為了證明本文提出的方法（Fusion method）對(duì)醫(yī)療輔助診斷的有效性，將本文提出的方法和現(xiàn)有的圖像分類方法（ResNet50，VGG16，ShuffleNetv2，AlexNet）進(jìn)行了對(duì)比. 在實(shí)驗(yàn)環(huán)境相同的情況下，對(duì)測(cè)試集上138個(gè)樣本進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果如表11所示.可以從表中看出，對(duì)138個(gè)樣本進(jìn)行分類時(shí)，F(xiàn)usion method達(dá)到了94.2%的準(zhǔn)確率，超過了準(zhǔn)確率為79.7%的ResNet50、準(zhǔn)確率為77.5%的VGG16、準(zhǔn)確率為75.4%的ShuffleNetv2和準(zhǔn)確率為73.2%的AlexNet. 由實(shí)驗(yàn)結(jié)果可知，本文提出的將圖像和數(shù)值數(shù)據(jù)進(jìn)行融合的方法超越了單獨(dú)用圖像進(jìn)行分類的方法（ResNet50、VGG16等），再一次證明了Fusion method更有益于醫(yī)療輔助診斷任務(wù).

表6 在COVID數(shù)據(jù)集上僅通過圖像數(shù)據(jù)學(xué)習(xí)的預(yù)測(cè)結(jié)果Table 6 Prediction results learned only from image data in COVID dataset

表7 在COVID數(shù)據(jù)集上僅通過結(jié)構(gòu)化的數(shù)值數(shù)據(jù)學(xué)習(xí)的預(yù)測(cè)結(jié)果Table 7 Prediction results learned only by structured numerical data in COVID dataset

表8 本文方法在 COVID 數(shù)據(jù)集上的預(yù)測(cè)結(jié)果Table 8 Predictive results of proposed method in COVID dataset

表9 在COVID數(shù)據(jù)集上三組實(shí)驗(yàn)的準(zhǔn)確度和其他評(píng)價(jià)指標(biāo)Table 9 Accuracy and other evaluation indicators of three groups of experiments in COVID dataset

表10 本文方法和僅通過圖像學(xué)習(xí)對(duì)138個(gè)樣本進(jìn)行分類的時(shí)間Table 10 Time required to classify 138 samples using proposed method and using only image data

表11 Fusion method、ResNet50、VGG16、ShuffleNetv2和 AlexNet的準(zhǔn)確度和其他評(píng)價(jià)指標(biāo)Table 11 Accuracy and other evaluation indicators of Fusion method, ResNet50, VGG16, ShuffleNetv2 and AlexNet

圖5 訓(xùn)練過程中的預(yù)測(cè)準(zhǔn)確率和損失的變動(dòng). （a）準(zhǔn)確率的變動(dòng)；（b）損失的變動(dòng)Fig.5 Changes in predictive accuracy and loss during training: (a) changes in accuracy; (b) changes in the loss

3 結(jié)論

本文為醫(yī)療領(lǐng)域提供了一種基于數(shù)據(jù)融合的醫(yī)療輔助診斷方法，在一定程度上提高了醫(yī)療診斷的準(zhǔn)確率和效率. 在兩個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)I將肺炎CT圖像和心臟病數(shù)值數(shù)據(jù)結(jié)合，使用結(jié)合的數(shù)據(jù)進(jìn)行分類，實(shí)現(xiàn)了同時(shí)預(yù)測(cè)多種疾病的效果，節(jié)省了醫(yī)學(xué)分析的時(shí)間. 實(shí)驗(yàn)II為了判斷患者是否患有新冠肺炎，以肺部CT圖像和臨床診斷信息作為診斷依據(jù)，與僅使用肺部CT圖像相比，兩種方法的預(yù)測(cè)時(shí)間相差極小，但是提出的方法的預(yù)測(cè)結(jié)果準(zhǔn)確地多. 綜合來看，本文提出的方法為提高醫(yī)學(xué)診斷的準(zhǔn)確性、節(jié)省醫(yī)學(xué)診斷時(shí)間提供了一個(gè)很好的思路.