阿爾茨海默癥診斷與病理區(qū)域檢測的反事實推理模型

葛威，劉汝璇，鄭菲，劉海華，2，唐奇伶*

1.中南民族大學生物醫(yī)學工程學院，武漢 430074；2.醫(yī)學信息分析及腫瘤診療重點實驗室，武漢 430074

0 引言

阿爾茨海默癥（Alzheimer’s disease，AD）是一種常見的神經(jīng)退行性疾病，以認知功能進行性損害為特征，最終將導致不可逆轉的神經(jīng)元損失。同時它也是老年癡呆癥最常見的形式，占據(jù)了60%～80%的癡呆癥病例（Alzheimer’s Association，2019）。全世界有超過5 500 萬人患有癡呆癥，預計到2030 年，癡呆癥患者人數(shù)將達到7 800 萬（Wu 等，2022）。從認知正常（cognitively normal，CN）發(fā)展成AD 會經(jīng)歷輕度認知障礙（mild cognitive impairment，MCI）的中間階段，此階段認知功能會逐漸下降并出現(xiàn)反復記憶喪失。因此，準確和及時地診斷阿爾茨海默癥（AD）及其早期形式的輕度認知障礙（MCI）對于優(yōu)化治療和改善患者生活狀態(tài)至關重要（Ben等，2015）。

臨床上，結構磁共振成像（structural magnetic resonance imaging，sMRI）廣泛應用于AD 診斷，因為sMRI 提供了大腦解剖結構中神經(jīng)元丟失的成像生物標記物（Yadav 和Sutar，2021）。即sMRI 圖像有助于檢測和測量大腦的形態(tài)變化，如腦室擴大和局部萎縮，以及受試者間的解剖差異。近年來，針對AD診斷的研究（Yadav 和Sutar，2021；Lian 等，2022；Liu等，2020；Liu 等，2021a；Jin 等，2020）集中在基于sMRI 影像的3D 卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）計算機輔助診斷系統(tǒng)上。Yadav 和Sutar（2021）、Lian 等人（2022）和Liu 等人（2021a）基于體素形態(tài)及先驗知識提取塊級和區(qū)域級特征，用于檢測結構變化和識別AD相關體素結構。Liu等人（2020）提出一種避免前期空間下采樣的網(wǎng)絡結構，以設計能夠學習隨AD 進展產(chǎn)生的局部和細微腦部變化。Jin等人（2020）將注意力機制引入CNN模型，以自動生成更具區(qū)別性的腦圖像特征。然而，基于區(qū)域的特征聚焦于特定的大腦感興趣區(qū)域（region of interest，ROI）（例如，皮質(zhì)厚度和海馬體形狀）可能會忽略大腦中其他的病理位置，無法獲得用于準確診斷AD 的全局結構信息。此外，由于巨大的參數(shù)空間和非線性相互作用，深度學習模型難以追溯分類決策而限制了其在醫(yī)療領域的實際應用。故而越來越需要模型內(nèi)部結構和輸出的可解釋性（Singh等，2020；Dong 等，2022）。從最終用戶（醫(yī)生、患者等）的角度來看，能夠在人類認知水平上解釋（如疾病病理區(qū)域信息），以及深度學習模型輸出的可解釋性至關重要。

權衡模型性能和可解釋性一直是可解釋人工智能（explainable artificial intelligence，XAI）領域的一個長期目標（Gunning 等，2019）。在XAI 早期，研究人員提出了各種方法來發(fā)現(xiàn)或識別對分類器結果影響最大的區(qū)域，如使用類激活圖（class activation map，CAM）可視化模型的預測結果，但這些方法的主要目的是回答這樣一個問題：“對于輸入的X，哪個部分影響了分類器將其分類為Y的決定？”。類激活圖方法通?；谔荻刃畔⒒蚓W(wǎng)絡中間層的特征圖，其結果受限于模型內(nèi)部信息的可解釋性。這意味著它們可能無法提供關于決策的全面解釋，特別是當模型基于復雜的非線性組合來做出決策時。此外，類激活圖提供了關于哪些區(qū)域對于模型的決策起重要作用的信息，但它們并不能提供關于這些區(qū)域具體表示的因果關系，這使得理解模型對于決策的關鍵依賴性變得困難。最近的XAI方法在因果關系的意義上提供了更根本的解釋：“如果輸入X是，結果會是Z而不是Y嗎？”（Pfohl 等，2019；Lu 等，2020）。這種解釋被定義為反事實推理。反事實推理能夠推斷因果關系，即如果某個條件發(fā)生改變，則會導致不同的結果。通過考慮與已知事實相反的情況，可以推測出原因與結果之間的關系，從而更好地理解事件的原因和結果。反事實推理能夠在人類認知水平上提供解釋，因為它進一步解釋了模型在假設場景中的決定。

因此，為了構建假設場景下的輸出，本文首先訓練了AD 分類模型作為假設場景中的分類器并獲取AD 的病理特征。進一步，利用生成對抗網(wǎng)絡（generative adversarial network，GAN）構建假設場景以學習圖像從源域到目標域的映射。但受限于全腦sMRI圖像的復雜性及三維空間龐大的信息量，直接生成從圖像到圖像的轉換很難取得良好的效果。受CycleGAN（Zhu 等，2017）和AttentionGAN（Tang 等，2023）的啟發(fā)，通過改變原始圖像中影響類別判斷的區(qū)域，使圖像能從源域映射到目標域中，并利用前景背景注意力引導模型專注于動態(tài)變化區(qū)域，降低模型的復雜度，使模型更容易擬合。故本文提出了一種注意力引導的循環(huán)生成對抗網(wǎng)絡（attentionguided cycle generative adversarial network，ACGAN），構建阿爾茨海默癥反事實映射模型，使輸出相應的病理區(qū)域。如生成一個以目標標簽（即假設場景）為條件的反事實圖，將此反事實圖添加到輸入圖像，使其轉換后的圖像被診斷為目標類型。例如，當反事實圖添加到患有AD 的受試者sMRI 圖像時，改變相應的區(qū)域導致輸入sMRI圖像改變，從而被分類器診斷為正常受試者。并利用反事實圖所表示的病理區(qū)域作為特權信息，即利用反事實圖影響類別判定的位置信息，進一步優(yōu)化診斷模型，使診斷模型專注于學習和發(fā)現(xiàn)與疾病相關的判別區(qū)域，并將病理區(qū)域生成模型與AD診斷模型相結合。

本文利用ACGAN 生成阿爾茨海默癥病理區(qū)域知識并指導診斷模型進一步改進，提出了創(chuàng)新：1）構建了一種基于循環(huán)生成對抗網(wǎng)絡（cycle GAN，CGAN）框架的反事實推理方法，可有效地捕捉疾病的全局特征。通過sMRI 圖像在源域和目標域之間的轉換，清晰地劃分出細微的病理區(qū)域，并利用生成病理區(qū)域知識作為指導，進一步優(yōu)化診斷模型。2）設計了一種前景背景注意力引導的反事實圖生成器。將目標標簽t與編碼器εn相結合，生成與期望標簽t相對應的反事實圖。在這個過程中引入了一種注意力掩碼來引導反事實圖的生成方案，以更好地突出和生成最具區(qū)分性的病理區(qū)域，同時很好地保留了其他靜態(tài)區(qū)域及背景。3）在增強診斷模型中，本文改進坐標注意力使其適用于三維sMRI影像數(shù)據(jù)的網(wǎng)絡訓練，并將三維坐標注意力與全局局部注意力（global-and-local attention，GALA）機制相結合，進一步獲取三維圖像區(qū)域間的依賴關系，并保留三維空間精確的位置信息，使模型更容易獲取感興趣區(qū)域，擴大感受野對全腦結構進行分析。

1 方法

1.1 整體框架

阿爾茨海默癥診斷與病理區(qū)域檢測的反事實推理模型的總體解決方案如圖1 所示，共分為4 個步驟。

圖1 整體框架結構Fig.1 Overall framework structure

1）使用3D-ResNet（residual network）網(wǎng)絡，構造sMRI圖像的AD/MCI/CN 三分類診斷模型，獲取診斷模型中每層的分類特征；

2）基于注意力引導的循環(huán)生成對抗網(wǎng)絡（ACGAN）設計AD 病理區(qū)域生成模型，設計注意力掩碼用于引導反事實圖生成器，以更好地感知和生成最具區(qū)分性的病理區(qū)域；

3）將反事實圖生成器（counterfactual map generator，CMG）輸出的反事實圖作為病理區(qū)域位置信息指導，并結合三維坐標注意力與全局局部注意力，增強改進AD分類診斷模型；

4）將改進后的分類診斷模型與病理區(qū)域生成模型進行迭代，迭代后計算診斷模型分類的準確率，并保留到截至當前迭代準確率最高的模型。

1.2 分類診斷模型

本文使用3D-ResNet（Ebrahimi 等，2020）網(wǎng)絡構建AD/MCI/CN 三分類診斷模型R，ResNet 是二維圖像分類領域中常用的網(wǎng)絡模型，擴展為3D后在醫(yī)學圖像識別領域中得到了廣泛應用（Qayyum 等，2020；Qin 等，2022）。使用3D 網(wǎng)絡模型架構能夠更好地保留sMRI 影像中的空間信息，并更好地識別AD 解剖標志和病理特征。分類診斷模型的框架結構如圖2 所示，首先通過一個7×7×7 卷積層，然后經(jīng)過一系列對應不同特征通道數(shù)（64，128，256，512）的3D 殘差模塊，最后經(jīng)過全局平均池化和全連接層將卷積得到的特征映射輸出，并通過softmax 層輸出3 個類別的預測概率。

圖2 阿爾茨海默癥診斷模型的網(wǎng)絡結構Fig.2 Network structure of the Alzheimer’s disease diagnostic model

1.3 病理區(qū)域生成模型

本文首先基于循環(huán)生成對抗網(wǎng)絡（CycleGAN）構建反事實映射結構，并在此基礎上引入前景背景注意力引導生成方案。如圖3 所示，采用注意力引導的循環(huán)生成對抗網(wǎng)絡（ACGAN）作為病理區(qū)域生成模型的整體網(wǎng)絡結構。為了更清晰地解釋ACGAN 的網(wǎng)絡結構，首先介紹了GAN 的相關原理，進一步解釋了病理區(qū)域生成模型中的反事實映射結構，最后介紹前景背景注意力引導方法的設計思路。

圖3 基于ACGAN病理區(qū)域生成模型的整體結構Fig.3 Overall structure of ACGAN-based pathological region generation model

1.3.1 生成對抗網(wǎng)絡

生成對抗網(wǎng)絡（GAN）由相互競爭的生成器G和判別器D兩個模塊組成，兩個模塊交替訓練、彼此對抗，直到判別器D無法判斷生成器G生成圖像的真假。GAN 廣泛應用于各種計算機視覺任務中，如圖像生成（劉洋 等，2022）、圖像分割（Liu 等，2021b）及圖像轉換（吳柳瑋 等，2020）等。目前，對于大多數(shù)圖像轉換模型，例如CycleGAN 和DualGAN，都包括兩個生成器GX及GY，以及對應的兩個對抗性判別器DX和DY。生成器GX將原始圖像I從源域X映射到目標域Y中，試圖使生成轉換后的圖像能夠“欺騙”判別器DY，而DY專注于改進自身以能夠辨別樣本是生成樣本還是真實數(shù)據(jù)樣本。生成器GY和判別器DX的關系類似。

1.3.2 反事實映射

反事實推理能夠針對轉換情景分析模型的輸出，在AD 診斷中，生成相應的反事實圖可以突出腦部的病理區(qū)域，這些區(qū)域可能導致正常受試者在轉換相應區(qū)域后，使輸入圖像被診斷為患有AD。病理區(qū)域生成模型的目標是從診斷模型推斷出目標標簽的分類特征，生成從源域到目標域的反事實映射，從而準確生成AD 病理區(qū)域。CycleGAN 模型可以學習到兩個圖像域彼此間的映射關系，以幫助生成器學習細微的病理特征。故本文先基于CycleGAN 設計一種多對多反事實映射結構，使反事實圖生成器能夠將圖像數(shù)據(jù)經(jīng)過反事實映射轉化為任意目標類型的數(shù)據(jù)。

為了使反事實圖生成器聚焦于生成病理區(qū)域，而不需要呈現(xiàn)其他靜態(tài)區(qū)域（如背景），從而生成更清晰的圖像和更精確的病理區(qū)域。以生成器GX（從源域X生成目標域Y圖像）為例，在反事實圖生成器中設計一種注意力掩碼生成器GX，A，將輸入圖像I與其生成的目標域背景注意力掩碼融合獲取圖像中的靜態(tài)區(qū)域，并將反事實圖CMI，t和前景注意力掩碼相融合，使其更專注于動態(tài)的病理區(qū)域，最終將靜態(tài)區(qū)域與病理區(qū)域疊加得到目標圖像GX(I)。通過這種方法，將最具區(qū)別性的語義對象和圖像中不需要的部分分開，只關注于生成圖像中負責病理變化的區(qū)域，并保持圖像的其余部分不變，以更好地感知和生成最具區(qū)分性的病理區(qū)域。如圖3 所示，病理區(qū)域生成模型主要包含3 個模塊：反事實圖生成器（CMG）、分類器及判別器。其中兩個反事實圖生成器GX和GY分別用于源域轉換到目標域（X→Y）和目標域轉換到源域（Y→X）的反事實圖生成，反事實圖生成器詳細介紹參照1.3.3 節(jié)；判別器分別用于判斷反事實圖加入到原始圖像后是否屬于源域和目標域的真實分布；分類器使用經(jīng)過預訓練的分類診斷模型，用于評估輸入圖像I通過CMG的反事實映射，得到對應的圖像GX(I)是否能被診斷為目標標簽t。

1.3.3 反事實圖生成器

反事實圖生成器（CMG）用于輸出以目標標簽t為條件的反事實映射CMI，t，即影響AD 分類的病理區(qū)域。如圖4 所示，它由編碼器εn、病理區(qū)域生成器Gθ、注意力掩碼生成器GA組成。受遷移學習啟發(fā)（Han 等，2022b），編碼器εn特征提取層和相應的參數(shù)取自預訓練診斷模型R，編碼器εn能夠從輸入I中提取與疾病相關的特征，從而使得CMG 僅需調(diào)節(jié)除了編碼器εn以外的層和參數(shù)，從而達到相對容易和穩(wěn)健地訓練。

圖4 反事實圖生成器結構圖Fig.4 Structure of counterfactual image generator

編碼器εn和病理區(qū)域生成器Gθ的網(wǎng)絡設計是基于U-Net（Siddique 等，2021）的一種變體，將目標標簽t經(jīng)過平鋪操作與編碼器εn每一層提取的數(shù)據(jù)特征相連接，并通過跳躍連接傳遞到病理區(qū)域生成器Gθ中。其中，t=[0，1]||N表示類別概率分布向量，|N|為類空間的大小。記表示編碼器εn中第l個卷積層的輸出特征圖，給定目標標簽t進行平鋪操作（Tile），使其形狀能夠與特征圖相匹配。即標簽t經(jīng)過平鋪后大小為wl×hl×dl×c，其中，wl、hl和dl分別表示從第l層卷積塊開始的特征圖的寬度、高度和深度。并通過通道連接將平鋪后的標簽t與第l層卷積層的輸出特征圖連接到一起。為了更好地提取目標標簽的相關信息采用3D卷積，其具有可學習的3×3×3 卷積核、各個維度中的步長設置為1 并采用零填充，然后通過非線性LReLU 激活函數(shù)，得出以下結果，具體為

式中，T (I，t)=。在目標標簽t（如AD）與輸入圖像I真實標簽h（如CN）不同的情況下，合成的反事實圖CMI，t能直觀地解釋為什么輸入的I被分類為t，而不是h，因為CMI，t突出了有助于將CN圖像轉化為AD的病理區(qū)域。

本文設計注意力掩碼生成器GA生成相應前景背景注意力掩碼來引導反事實圖CMI，t的動態(tài)病理區(qū)域生成。如圖4 所示，注意力掩碼生成器GA獲取編碼器εn中間層的特征信息，并利用捕獲的病理特征及空間信息進行轉置卷積。通過多個轉置卷積層和1 個3D 卷積層將特征圖映射成與輸入圖像相同大小的前景或背景注意力掩碼。具體而言，前景背景注意力掩碼生成器GA旨在生成強調(diào)前景、背景區(qū)域的注意力掩碼。將從編碼器εn提取的特征映射m輸入到一組轉置卷積中，通過轉置卷積進行上采樣生成與輸入圖像I尺寸一致的特征掩碼。然后，通過1×1×1 的3D 卷積層將特征掩碼映射為通道數(shù)為n的注意力掩碼，具體為

式中，fsoftmax(·)表示作用于通道上的歸一化softmax函數(shù)，k為轉置卷積層對應的通道數(shù)。然后，將沿通道維度分成前景注意掩碼Af和背景注意掩碼Ab。注意力掩碼能使一些特定的區(qū)域發(fā)生改變，以獲得更多的關注，利用分類損失和對抗性損失引導注意力掩碼關注相應靜態(tài)和動態(tài)區(qū)域，生成的前景注意力掩碼應用于反事實圖CMI，t，使生成的圖像更關注于動態(tài)的病理區(qū)域，將背景注意力掩碼作用于原始圖像，使靜態(tài)區(qū)域與原始圖像保持相似，從而使模型具有更靈活的學習和定位病理區(qū)域的能力。最終，將前景注意力掩碼乘以反事實圖CMI，t，為輸入圖像生成相應的轉換區(qū)域，即CMI，t×。背景注意力掩碼與輸入的sMRI 圖像I相乘，保留輸入圖像的靜態(tài)區(qū)域，即I×。將兩個部分相加得到最終的結果，即變換后的圖像GX(I)，具體為

GX(I)被送入到判別器和分類器中進行真實性判別與類別診斷，判別器被訓練來判斷GX(I)是否屬于源域和目標域的真實分布；分類器則用于評估輸入圖像I通過CMG 生成的反事實映射，得到對應的圖像GX(I)是否能被診斷為目標標簽t。通過ACGAN 框架進行生成對抗訓練，使注意力掩碼生成器GA逐漸提高其生成的注意力掩碼的質(zhì)量，以使其更好地區(qū)分前景和背景。通過ACGAN 分類器的分類損失學習生成目標的靜態(tài)與動態(tài)特征區(qū)域，并利用判別器與目標域圖像Y引導注意力掩碼GA生成前景注意力掩碼Af和背景注意力掩碼Ab。使注意力掩碼生成器GA被迫生成更真實、更準確的前景和背景注意力掩碼，以欺騙判別器，并通過分類器分類診斷。這種對抗性訓練使得生成的前景和背景注意力掩碼能夠捕捉輸入圖像中前景和背景的顯著特征，從而實現(xiàn)了前景和背景的有效分離。最終利用注意力掩碼使模型聚焦于病理區(qū)域生成的同時保持輸入圖像的靜態(tài)區(qū)域。

1.4 增強分類診斷模型

采用數(shù)據(jù)驅動的方式，將病理區(qū)域生成器生成的反事實圖作為AD 相關的解剖或病理區(qū)域知識的信息來源，利用反事實圖生成病理區(qū)域的位置信息作為指導，增強診斷模型的效果。具體地，利用病理區(qū)域生成模型中反事實圖生成器（CMG）獲取輸入圖像目標標簽為TCN=[1，0，0]和TAD=[0，0，1]的反事實映射，即在增強分類診斷模型中將輸入樣本通過預先訓練的病理區(qū)域生成模型，經(jīng)過反事實圖生成器（CMG）分別對輸入圖像進行CN 和AD 的反事實映射以生成最正常和最類似AD 的腦圖像。并通過這兩個反事實圖組合來構建指導圖MGuide，表示AD病理區(qū)域敏感的大腦區(qū)域，具體為

式中，MinMax(·)以體素方式進行的最小最大歸一化。因此，指導圖MGuide中的絕對值指在最正常的腦影像和最類似AD 腦影像的極端情況下使用的注意力數(shù)值（因為的負值突出大腦最正常的區(qū)域，而的正值突出大腦最類似AD 的區(qū)域）。將此指導圖MGuide與下面注意力機制相結合，用于加強分類診斷模型中各層輸出的表征能力。

CNN 能夠從輸入的圖像中提取相應特征，并以特征圖的形式進行輸出，最終通過特征圖中的激活值作用于目標區(qū)域識別判定。注意力機制能對特征圖內(nèi)的激活值進行加權，自適應地調(diào)節(jié)診斷模型中特征圖的輸出，從而提升輸出特征圖中區(qū)別性特征的敏感程度，提高網(wǎng)絡對目標區(qū)域的判別能力。同時為了更好地將指導圖MGuide中解剖和病理區(qū)域知識用于AD 診斷，本文設計了一種多路注意力模塊（multiway attention），在訓練過程中將兩個反事實圖構建的指導圖MGuide作為模型驅動的特權信息。將指導圖MGuide作用于多路注意力模塊生成的注意力特征圖Tl(I)，通過指導圖MGuide中病理區(qū)域知識自適應地調(diào)節(jié)注意力特征圖Tl(I)的輸出。具體來說，首先對指導圖MGuide進行預處理，使用三線性插值將指導圖MGuide的大小調(diào)整為與輸入樣本相同的高度和寬度，并將通道壓縮為相同的范圍。然后，將預處理后的指導圖MGuide作用于多路注意力模塊。以促使模型經(jīng)過多路注意力模塊生成的注意力特征圖Tl(I)能對指導圖MGuide中病理區(qū)域敏感的區(qū)域產(chǎn)生較大的激勵值，并對其他區(qū)域產(chǎn)生較低的抑制值。這樣，多路注意力模塊能夠使根據(jù)輸入樣本生成注意力特征值圖Tl(I)集中于指導圖MGuide中病理區(qū)域敏感的部分，并對不同維度中的注意力特征信息進行匯聚和加權。具體參數(shù)細節(jié)詳見1.5 節(jié)增強分類診斷模型的分類損失。在病理區(qū)域知識的指導下，使AD 敏感區(qū)域區(qū)別性表征突出，而其他區(qū)域被抑制，從而加強診斷模型中的特征表示。

多路注意力模塊基于全局和局部注意（GALA）模塊（Linsley 等，2019）進行設計，并使用3D 坐標注意力對其進行改進。輸入的樣本經(jīng)過分類模型各個卷積層時進行相應映射，將輸出特征分別通過GALA 注意力模塊、三維坐標注意力模塊。GALA注意力模塊包含全局注意力和局部注意力，能夠將局部顯著特征與全局上下文信息相結合，將注意力引導到對類別識別具有判決作用的圖像區(qū)域。

此外，本文改進坐標注意力（Hou 等，2021）使其適用于3D網(wǎng)絡訓練，沿三維空間方向的注意力同時應用于輸入張量，3 個注意力特征圖中的特征值反映感興趣的對象是否存在于相應的三維空間中。這種編碼過程使坐標注意力能夠更準確地定位感興趣對象的確切位置并進一步獲取三維圖像區(qū)域的依賴關系，從而幫助整個模型更好地識別判決區(qū)域，擴大圖像感受野對全腦空間結構進行分析。三維坐標注意力結構如圖5 所示，三維坐標注意力分別對空間的3 個維度進行全局平均池化，對池化后的張量進行維度轉置后拼接在一起，隨后經(jīng)過1×1×1 的卷積、批量歸一化及激活函數(shù)。然后沿著空間維度將其拆分成3 個單獨的張量，并分別通過1×1×1 的卷積和sigmoid 函數(shù)后彼此相乘。將GALA 注意力模塊輸出的特征圖與三維坐標注意力輸出的具有空間位置信息的特征圖相乘，并經(jīng)過sigmoid 函數(shù)與最初映射的數(shù)據(jù)相乘后相加，最后經(jīng)過ReLU 激活函數(shù)得到帶注意力的特征圖。實現(xiàn)具有全局、局部及空間坐標信息的特征融合，使AD 診斷模型能夠提升特征利用效率，提高阿爾茨海默癥分類模型的識別預測能力。

圖5 注意力模塊及3D坐標注意力模塊結構圖Fig.5 Structure diagram of attention module and 3D coordinate attention module

1.5 損失函數(shù)

ACGAN 使用具有l(wèi)1范數(shù)的循環(huán)一致性損失函數(shù)進行訓練，其循環(huán)一致性損失函數(shù)為

式中，PX表示sMRI 樣本的分布，|N| 表示類的數(shù)量，H(·)表示離散均勻分布的one-hot編碼形式，GX(I)=和GY(GX(I))=。使用具有l(wèi)1范數(shù)的循環(huán)一致性損失可以有效防止ACGAN生成器模式坍塌。

本文的反事實圖生成器CMG 目的是學習輸入樣本從源域X到目標域Y的反事實映射，使生成圖像GX(I)能夠接近真實的目標域Y類型的圖像，使判別器難辨真假；判別器DY將生成的圖像GX(I)與目標域Y中的圖像作為輸入并試圖區(qū)分它們，利用目標類型的圖像引導注意力掩碼關注于正確的前景與背景區(qū)域，該對抗性損失可以表示為

式中，生成器GX試圖最小化對抗損失LGAN(GX，DY)，而判別器DY試圖最大化對抗損失。類似地，生成器GY及其判別器DX的對抗性損失定義為

為了使CMG 生成的反事實圖、注意力掩碼及其輸入樣本能夠更自然地融合，本文利用總變異損失對結合后的圖像GX(I)作正則化，具體為

從模型的可解釋性和病理區(qū)域定位需求出發(fā)，需要將密集的反事實圖正則化以僅突出全腦結構中所必需的病理區(qū)域。為此，本文對合成的反事實圖施加了彈性正則化，具體為

式中，λ1和λ2是超參數(shù)。為了確保變換后的圖像能被分類器正確地識別為目標標簽t，使前景注意掩碼Af和背景注意掩碼Ab準確捕捉相應特征，本文設計了分類損失函數(shù)，具體為

式中，LC表示交叉熵損失函數(shù)，U=R(GX(I))是指經(jīng)過分類器softmax 層激活的概率。診斷模型在病理區(qū)域生成模型中作用類似于判別器的作用，但它們彼此的目標并不同。判別器學習區(qū)分真樣本和假樣本，使用預訓練診斷模型作為分類器用于正確地分類輸入樣本。因此，診斷模型作為分類器能為生成器提供確定性指導以產(chǎn)生目標標簽為導向的反事實圖，而判別器與生成器進行最小最大博弈，以產(chǎn)生更真實的樣本。

病理區(qū)域生成模型（ACGAN）總體的損失函數(shù)為

式中，λi值指模型的超參數(shù)。

在增強分類診斷模型中引入由注意力引導的懲罰項來調(diào)整交叉熵損失函數(shù)，假設表示輸入圖像I的增強診斷模型和類別標簽t之間的交叉熵損失。將交叉熵損失函數(shù)與l∈L層注意力模塊生成的注意力特征圖Tl(I)和指導圖的懲罰項結合在一起，具體為

式中，Rre表示增強后分類診斷模型，Tl(I)∈RW×H×D×1指注意力模塊生成的注意力特征圖經(jīng)過l2范式通道壓縮為1的特征值，指MGuide指導圖使用三線性插值將大小調(diào)整為與Tl(I)相同的高度和寬度，并經(jīng)過l2范式將通道壓縮轉換到Tl(I)相同的范圍，λ7指模型的超參數(shù)。在訓練多路注意力模塊時，引入注意力引導的懲罰項，期望由輸入樣本I的注意力特征圖Tl(I)能對MGuide指導圖敏感區(qū)域輸出較大的激勵值，而其他區(qū)域則輸出較低的抑制值。

將改進后的分類診斷模型與病理區(qū)域生成模型進行迭代訓練，在該迭代訓練方案中，順序地重復病理區(qū)域生成模型訓練minLACGAN和分類診斷模型訓練minLre。

2 數(shù)據(jù)準備

2.1 阿爾茨海默癥影像數(shù)據(jù)集

本文使用的阿爾茨海默癥影像數(shù)據(jù)來自ADNI（Alzheimer’s disease neuroimaging initiative）中兩個公開數(shù)據(jù)集（ADNI-1 和ADNI-2）（Jack 等，2008）。首先，從數(shù)據(jù)集中收集了基線sMRI 圖像數(shù)據(jù)和診斷信息。然后，從ADNI-2 中刪除了同時出現(xiàn)在ADNI-1 和ADNI-2 中的受試者影像數(shù)據(jù)，確保實驗所采用的每幅sMRI 影像都來自不同受試者?？傮w而言，收集的影像數(shù)據(jù)根據(jù)疾病狀態(tài)分為3 類：CN、MCI 和AD，在ADNI-1 和ADNI-2 中，共使用了433名CN、412 名MCI 和359 名AD 受試者的影像數(shù)據(jù)。所使用的影像數(shù)據(jù)的基本信息如表1 所示。

表1 ADNI數(shù)據(jù)集的基本信息Table 1 Basic information of ADNI dataset

2.2 數(shù)據(jù)預處理

所有sMRI 數(shù)據(jù)都按照標準流程進行處理，包括：1）前連合（anterior commissure，AC）—后連合（posterior commissure，PC）矯正；2）使用HD-BET 工具（Isensee 等，2019）剝離腦顱骨及頸部組織；3）使用FSL 軟件（Woolrich 等，2009）的FLIRT（FMRIB’s linear image registration tool）仿射配準將sMRI 圖像與MNI152 模板線性對齊，以消除全局線性差異（包括全局平移、比例和旋轉差異），并進行重采樣以具有相同的空間分辨率1 mm × 1 mm × 1 mm，得到圖像尺寸為193 mm × 229 mm × 193 mm 的影像數(shù)據(jù)；4）將配準后的圖像數(shù)據(jù)使用ANTs 軟件（Avants 等，2009）的N4BiasFieldCorrection 函數(shù)進行偏置場校正；5）將sMRI 圖像數(shù)據(jù)進行零均值單位方差歸一化、分位數(shù)歸一化，并進行下采樣。最終，經(jīng)過預處理得到的圖像數(shù)據(jù)尺寸為96 mm × 114 mm × 96 mm。

3 實驗結果與分析

3.1 實驗環(huán)境

本文實驗硬件設備為CPU：Intel Xeon Gold 6240 @2.60 GHz × 72；GPU 為NVIDIA TITAN RTX 24 GB ×2；內(nèi)存為64 GB。軟件配置為操作系統(tǒng)為64 位Ubuntu18.04.6 LTS；Python 3.7；Tensorflow 2.2.0。

3.2 實驗設置

為了驗證所提模型，對所有實驗進行了五折交叉驗證。將經(jīng)過預處理的樣本按疾病類別隨機分為5 組。其中1 組作為測試樣本，1 組作為驗證樣本用于選擇最優(yōu)模型，其余3 組作為訓練樣本。訓練、驗證和測試數(shù)據(jù)集的大小分別為總大小的60%、20%和20%。交叉驗證過程重復5次，5組中的每一組都恰好使用了一次作為驗證和測試數(shù)據(jù)。本文使用Adam 優(yōu)化器（β1=0.9，β2=0.999），訓練ACGAN 及分類模型。分類模型初始學習率設為0.000 1，迭代次數(shù)設置為300，批次數(shù)設置為6。

病理區(qū)域生成模型使用在分類模型上預訓練的3D-ResNet 網(wǎng)絡參數(shù)作為ACGAN 模型的編碼器εn及分類器。故訓練ACGAN 網(wǎng)絡時，將編碼器εn及分類器權重固定，從而僅需調(diào)節(jié)除了編碼器εn和分類器以外的層和參數(shù)。ACGAN 初始學習率設為0.01，迭代次數(shù)設置為200，批次數(shù)設置為3。

3.3 診斷模型結果和分析

本文將引入多路注意力改進后的診斷模型與最先進的AD 診斷方法進行了比較，接著證明ACGAN生成的指導圖在加強診斷模型方面的有效性。此外，通過對比實驗證明使用改進3D坐標注意力對診斷模型的性能提升。本文采用了分類準確率（accuracy，ACC）、F1 值（F1-Score）和ROC（receiver operating characteristic）曲線下面積（area under curve，AUC）3種指標評估模型診斷性能。

表2 展示了AD（CN vs.MCI vs.AD）三分類診斷任務的分類性能，表中將本文方法與傳統(tǒng)的CNN模型和目前先進的AD 診斷模型進行比較。與傳統(tǒng)的CNN 模型（平均ACC 提升14.13%）及先進的CNN模型（平均ACC 提升8.03%）相比，本文使用病理區(qū)域知識指導增強診斷模型顯示出優(yōu)越的診斷效果。與先進的CNN 相比，Li 等人（2019）由注意力引導的診斷模型和Lian 等人（2022）、Mulyadi 等人（2022）由臨床知識引導的診斷模型，在AD 診斷方面表現(xiàn)出色。但是，這些模型往往需要醫(yī)生先驗知識作為指導，并使用傳統(tǒng)的視覺解釋方法（如CAM）尋找類別分類特征，只能提供粗略病理區(qū)域信息。Han 等人（2022a）使用MTMFAN（multi-task multi-level feature adversarial network）多任務多級別特征對抗網(wǎng)絡構能夠同時學習特征提取、分類和腦部萎縮區(qū)域定位功能，進一步提高了準確率，但基于骨架化的圖像分割方法很難學習AD 的全局病理特征而更多聚焦于局部突出的特征區(qū)域。本文ACGAN 利用反事實生成器生成病理區(qū)域知識，通過注意力掩碼生成器使生成的圖像聚焦于全局病理特征，能提供給分類模型細粒度的指導，在準確率、F1 值和AUC 中都超過了所有AD診斷方法。

表2 ADNI數(shù)據(jù)集多分類（CN vs.MCI vs.AD）的性能比較Table 2 Performance comparison of multiple classifications（CN vs.MCI vs.AD）for the ADNI dataset

本文還針對診斷模型兩種改進方式進行了對比實驗，由3D-ResNet18 網(wǎng)絡訓練的AD 診斷模型作為基準。表3 中展示了基準方法、引入注意力及利用指導信息方法之間的比較。首先引入GALA 注意力模塊進行測試，然后加入3D坐標注意力對本文多路注意力模塊改進效果進行驗證。只加入GALA 注意力模塊，對網(wǎng)絡訓練效率有一定影響，收斂速度較改進前的網(wǎng)絡結構有一定提升，較基準方法的分類準確率提高了2.1%，表明GALA 模塊能增加網(wǎng)絡對局部顯著特征與全局信息的感知。接著，在GALA 模塊的基礎上加入3D 坐標注意力的多路注意力網(wǎng)絡結構，比基準方法的分類準確率提高了5.9%，這表明加入三維坐標注意力能捕捉感興趣對象的位置信息，提高模型對判別區(qū)域的敏感程度。此外，在引入注意力機制的基礎上使用ACGAN 生成的病理區(qū)域知識作為診斷模型的指導信息，利用生成對應病理區(qū)域的反事實圖對診斷模型注意力特征圖進行調(diào)整。使用病理區(qū)域知識作為指導比基線方法的分類準確率提高了11.1%，這表明病理區(qū)域指導圖確實可以捕捉到類別區(qū)分信息，也表明病理區(qū)域知識可以指導和加強診斷模型。

表3 基準、改進注意力和病理區(qū)域知識指導診斷模型之間的性能比較（ACC）Table 3 Performance comparison between baseline，improved attention and pathological regional knowledge-guided diagnostic models（ACC）

3.4 病理區(qū)域生成模型結果和分析

本文使用了ADNI-1/2 中12 名受試者的縱向sMRI 樣本，為反事實圖制作了用于對照的標準圖（ground-truth maps）（Oh 等，2020）。首先，收集了12 名受試者從CN（基線）轉為MCI 和AD 的磁共振圖像。然后，將收集的數(shù)據(jù)進行預處理，以消除數(shù)據(jù)之間的線性差異及強度差異。最后，從基線（CN）圖像中減去目標（AD）圖像生成標準圖。此標準圖能確切地顯示出疾病病理區(qū)域，因為它表明哪些區(qū)域隨著病情狀態(tài)的轉換而改變。應當指出，制作標準圖的縱向圖像都未在任何模型訓練過程中使用。

為了展現(xiàn)病理區(qū)域生成模型生成AD 病理區(qū)域的有效性及準確性，將本文生成的病理區(qū)域與其他方法進行比較，圖6 顯示了對應方法生成的結果，以說明哪些區(qū)域影響輸入圖像被診斷為AD，而不是CN。通過比較，本文提出的ACGAN 網(wǎng)絡能夠檢測和捕捉到腦室顳角增大和皮層萎縮，顯示了與ground-truth maps 最匹配的結果。這些直觀的解釋與現(xiàn)有的臨床神經(jīng)科學研究（Fan 等，2008；Zhang等，2011）是一致的。

圖6 各種方法在矢狀面、冠狀面和軸位面中預測的病理區(qū)域Fig.6 Pathological regions predicted by various methods in the sagittal，coronal and axial planes

本文與Guided Backpropagation（Springenberg等，2015）、Integrated Gradients（Sundararajan 等，2017）、Grad-CAM（Selvaraju 等，2017）和CGAN（Jung等，2020）等4 種方法進行了比較。Guided Backpropagation 和Integrated Gradients 僅傾向于關注大腦的邊緣或形態(tài)邊界中部分病理區(qū)域，可能因為這些部分的體素特征比病理區(qū)域的其他體素特征更突出，同時也證明了基于分類的特征可視化方法只關注最具鑒別力的特征，而忽略了其他的特征區(qū)域。Grad-CAM 方法能生成可解釋性的類激活圖，能幫助定位和突出與預測目標相關的大腦區(qū)域，但這一方法只集中在左側腦室和某些皮層區(qū)域，僅能捕捉到粗略的病理區(qū)域。

與其他視覺解釋方法相比，基于GAN 的模型（如CGAN 和本文ACGAN）獲得了更好的結果。然而，CGAN 僅能成功捕捉部分海馬區(qū)的肥大及大腦外圍皮層的萎縮區(qū)域。相比之下，本文方法能夠捕捉到大腦皮層萎縮的細微區(qū)域，同時成功捕捉到腦室縮小和海馬體肥大等特征。因此，本文的ACGAN模型能夠直觀地展現(xiàn)病理區(qū)域的全局特征和細粒度的判別區(qū)域。

為了定量評估本文生成病理區(qū)域的準確性及質(zhì)量，分別計算了5 種方法生成病理區(qū)域和groundtruth map 之間的歸一化互相關（normalized crosscorrelation，NCC）分數(shù)和峰值信噪比（peak signal-tonoise ratio，PSNR）。其中NCC 分數(shù)越高表示相似性越高，PSNR 越高表示ground-truth map 與預測的病理區(qū)域圖像之間越接近。

圖7 所示的NCC 結果與圖6 所示的定性結果基本一致。所提出的ACGAN 反事實映射方法比其他4 種現(xiàn)有方法取得了更高的NCC 分數(shù)。這表明ACGAN 生成的病理區(qū)域圖像的分布最接近groundtruth maps。3種基于分類的方法（Guided Backpropagation、Integrated Gradients和Grad-CAM）由于只關注局部特征而獲得了較低的NCC 得分。GAN 的表現(xiàn)優(yōu)于3 種基于分類的特征可視化方法，這意味著該結構能夠捕獲全局特征，從而緩解了基于分類的特征可視化方法的局限性。

圖7 不同方法在ADNI數(shù)據(jù)集上的NCC箱形圖Fig.7 NCC box plots of different methods on the ADNI dataset

從圖8 可以看出，與其他4 種已有的方法相比，所提出的ACGAN 獲得了最好的PSNR 分數(shù)。這也與圖7 中的NCC 結果和圖6 所示的定性結果一致。ACGAN 可視化病理區(qū)域的反事實圖更接近groundtruth map，這是因為ACGAN 受益于注意力掩碼和混合損失函數(shù)，ACGAN 通過注意力掩碼可以聚焦于疾病病理區(qū)域，并只需一個模型就可以對所有類別的sMRI 圖像進行訓練。通過這種方式，與疾病相關的共同特征可以重復使用，從而可以在不同阿爾茨海默癥階段的反事實圖中捕獲所有顯著的全局特征。

圖8 不同方法在ADNI數(shù)據(jù)集上的PSNR箱形圖Fig.8 PSNR box plots of different methods on the ADNI dataset

3.5 模型迭代結果和分析

將改進后的診斷模型和病理區(qū)域生成模型進行相互迭代，進一步提高診斷模型的診斷性能和病理區(qū)域生成模型生成病理區(qū)域圖像的質(zhì)量。將ACGAN 和診斷模型進行了3 次迭代，結果如表4 所示。與基準模型相比，本文的AD 診斷模型每次迭代的準確率分別提高了4.90%、11.03%和11.08%。

表4 診斷模型迭代的性能比較（ACC）Table 4 Performance comparison of diagnostic model iterations（ACC）

為了直觀檢查與AD 相關的病理區(qū)域的變化，在圖9 中，本文展示了AD 縱向樣本（subject ID123_S_0123）在3 次迭代中的ACGAN 生成對應病理區(qū)域的變化。在第1 次迭代生成的病理區(qū)域中，捕捉到了形態(tài)邊界、難以識別的病變區(qū)域，識別出丘腦、殼核、蒼白球、尾狀核、杏仁核和海馬體等區(qū)域的病理特征，但所生成的強度較弱并受到一定噪聲干擾。在第2 次和第3 次迭代生成的病理區(qū)域中大腦皮質(zhì)區(qū)域的病理特征更加清晰，腦室及海馬體等病理區(qū)域更加突出并且噪聲也逐漸削弱。故本文ACGAN病理區(qū)域生成模型與診斷模型可以相互促進、迭代訓練，ACGAN 生成的病理區(qū)域可以給診斷模型提供相應病理區(qū)域知識的引導增強診斷模型的診斷性能，診斷模型性能的提高可以更精確地提取AD 相關特征，使病理區(qū)域生成模型更容易獲取全局特征并使生成的病理區(qū)域更接近ground-truth map。

圖9 迭代后ACGAN生成對應的病理區(qū)域Fig.9 Corresponding pathological regions generated by ACGAN after iteration

4 討論

雖然經(jīng)過實驗證明了本文方法的優(yōu)越性，然而，ACGAN 網(wǎng)絡仍然受限于GAN 中的一些弊端：1）GAN 存在幾種常見的失敗情況，如訓練不穩(wěn)定和模式崩潰。本文使用預先訓練的分類模型作為ACGAN 網(wǎng)絡中的分類器及反事實圖生成器中的編碼器，確保了分類性能及特征提取的有效性。進一步在ACGAN模型中使用混合損失，可以使模型訓練過程更加穩(wěn)定。雖然ACGAN 能表現(xiàn)出穩(wěn)定的訓練性能，并使用循環(huán)一致?lián)p失一定程度能避免模式崩潰的發(fā)生，但隨著實驗環(huán)境變化，仍有可能發(fā)生模式崩潰。在未來的工作中，如何解決發(fā)生模式崩潰的情況，是進一步提高所提出ACGAN網(wǎng)絡穩(wěn)健性的方向。2）本文中涉及的超參數(shù)依據(jù)實驗經(jīng)驗進行調(diào)整，以獲得最優(yōu)性能。超參數(shù)的最優(yōu)值取決于實驗環(huán)境及網(wǎng)絡結構設計。沒有直接的方法可以在實驗之前確定最優(yōu)的超參數(shù)。

本文使用相同受試者的縱向數(shù)據(jù)從基線（CN）圖像中減去目標（AD）圖像生成標準圖，能夠顯示隨AD病情發(fā)展病理區(qū)域發(fā)生的變化，但是不可避免年齡老化帶來的影響。在未來的工作中，如何消除年齡增長帶來的腦部變化，或使用多模態(tài)研究方法（Shi等，2018）將年齡因素帶來的變化考慮到病理區(qū)域定位的模型中，是下一步提高模型的準確性和有效性的方向。

5 結論

本文構建ACGAN 網(wǎng)絡以生成阿爾茨海默癥病理區(qū)域知識，并利用病理區(qū)域知識作為指導優(yōu)化診斷模型。通過在ACGAN 模型的生成器中設計注意力掩碼來引導生成方案，使模型可以更好地聚焦于疾病的病理區(qū)域，有效地捕捉突出的全局特征，并通過ACGAN 模型中病理區(qū)域生成器實現(xiàn)sMRI圖像在源域和目標域之間的轉換，清楚地劃分出細微的病理區(qū)域。利用生成的病理區(qū)域知識作為指導，并將三維坐標注意力與全局局部注意力相結合，獲取三維圖像之間的依賴關系及三維空間的位置信息，優(yōu)化診斷模型。在ADNI 數(shù)據(jù)集上的實驗結果表明，ACGAN可以準確地捕獲受AD進展影響的全局特征及病理區(qū)域。與現(xiàn)有的方法相比，所提出的方法在改進后AD 診斷模型中顯示出最佳的分類性能，證明了所提出方法的有效性及良好的泛化能力。