多域染色風格轉換及其在腎小球檢測中的應用

摘要：臨床實踐中由于組織學染色耗時費力且具有不可逆性，導致腎臟病理學圖像的數(shù)量相對較少，從而限制了醫(yī)療診斷和深度學習方法的應用。為此，提出了一種基于生成對抗網(wǎng)絡的深度學習模型，通過對模型進行單次訓練，實現(xiàn)了不同染色之間的風格轉換。隨后，將多域染色風格轉換模型引入腎小球檢測流程。實驗通過染色轉換模型進行染色轉換，利用不同風格染色特征之間的相互補充，提高腎小球檢測模型的準確性和泛化性。實驗結果表明，多域染色風格轉換模型生成的圖像具備可靠性，并且可以有效提高腎小球檢測的性能。

關鍵詞：腎臟病理學；深度學習；生產(chǎn)對抗網(wǎng)絡；染色轉換

中圖分類號：F 830 文獻標志碼：A

腎臟病理學主要依賴對載玻片上腎組織的觀察來評估疾病。作為病理診斷過程中最重要的一環(huán)，組織化學染色可以使組織中不同組分之間能夠互相區(qū)分，更詳細和準確地診斷信息[1]。然而，組織學染色是一個漫長的勞動密集型過程，且染色過程會對組織切片造成不可逆的影響。同時，不同染色之間的差異會極大地影響深度學習圖像分析性能[2]。一旦將某種深度學習算法應用于其他染色方案，算法的性能表現(xiàn)將會退化，而唯一的解決辦法是重新訓練算法。因此，對于醫(yī)療診斷和醫(yī)療輔助系統(tǒng)的開發(fā)而言，克服組織染色過程的局限性具有重要意義。

近年來，基于生成對抗網(wǎng)絡（generative adversarialnetworks， GAN）的風格遷移方法在醫(yī)療圖像處理領域得到了廣泛應用[3-5]。該類方法可以通過GAN 將某一風格類型的醫(yī)學影像數(shù)據(jù)轉換為另一風格類型并進行進一步處理。然而，現(xiàn)有的基于對抗網(wǎng)絡的方法仍存在一些不足。其中一些方法依賴于監(jiān)督學習，只能在給定一組成對的圖像的情況下才能學習兩個域之間的映射。對于數(shù)字病理而言，成對的醫(yī)學影像圖像數(shù)據(jù)通常難于獲取，特別是對于全視野切片（whole slide image， WSI）數(shù)據(jù)集。而基于無監(jiān)督學習的算法無需成對的圖像即可實現(xiàn)不同圖像域間的轉換[6-7]，其中一些方法可以使用單個生成器學習到所有域的映射[8]。雖然這些方法在多個領域中能夠有效地實現(xiàn)染色的轉換，但它們在保持數(shù)字病理切片中組織成分結構方面仍存在一些不足之處。

為了避免這些問題，本文引入了一個多域染色風格轉換模型，通過單個模型實現(xiàn)不同染色之間的轉換。為了提高模型生成圖片的細節(jié)質(zhì)量，使用自注意力機制捕捉局部特征之間的聯(lián)系，并添加了一個額外的重構損失來穩(wěn)定性能。此外，將多域染色風格轉換模型引入到腎小球檢測流程中，通過對腎小球檢測網(wǎng)絡進行訓練和測試，比較了使用和不使用染色變換在測試數(shù)據(jù)集上的性能。實驗的多項指標表明，多域染色風格轉換模型生成的組織染色圖像具有較高的質(zhì)量，將其引入到腎小球檢測流程中可以有效提高檢測模型的泛化性能。這一方面證明了風格轉換模型生成數(shù)據(jù)的可靠性，同時也表明該方法可以進一步應用于更加貼近實際應用的診斷場景，為實現(xiàn)醫(yī)療診斷智能化分析提供保障。

1 相關工作

隨著深度學習技術的快速發(fā)展，基于深度學習的風格遷移方法發(fā)展迅速，并被廣泛應用于醫(yī)療輔助算法的開發(fā)中。Mercan 等[9] 提出了一種基于生成對抗網(wǎng)絡的虛擬染色方法，該方法可以將乳腺癌組織的病理學圖像從Hamp;E（Hematoxylin andEosin）染色轉換為PHH3。他們將轉換后的圖像應用于有絲分裂的自動檢測，實驗結果證明該模型在性能上與使用真實圖像訓練的基準模型相比更為出色。Bel 等10] 采用循環(huán)一致生成對抗網(wǎng)絡進行非配對圖像到圖像的轉換，他們將該方法應用于來自不同來源的高碘酸–希夫染色（ periodic acid-Schiff staining， PAS）腎組織切片的兩個數(shù)據(jù)集，通過實驗證明了染色變換有利于提升不同來源染色時數(shù)據(jù)集上的分割性能。Liu 等[11] 完成了從蘇木精–伊紅染色 Hamp;E圖像到Ki67 染色圖像的虛擬染色。此外，Lo 等[12] 完成了從Hamp;E 圖像到PAS 圖像的虛擬染色，并將其擴展到MAS、過碘酸六胺銀染色（periodic acid-silver metheramine， PASM）等。

2 方法

2.1 多域染色轉換模型

本方法的目標是訓練單個生成器G，使其可以學習多個染色域間的映射關系。為了增強生成器的靈活性，在訓練過程中目標域標簽將會被隨機給定。實驗中首先需要對生成器G 進行訓練，以目標域編碼為條件，將輸入圖像x 轉換為輸出圖像y。為了使生成圖像與輸入圖像在結構上保持一致，還需要將生成圖像和源域編碼c 重新輸入到生成器G 中，并通過計算重建圖像與輸入圖像的相似度來約束生成器的生成方向。其次，為了能夠?qū)斎雸D像所屬染色域進行判別，實驗中為判別器D 添加分類器[13] 作為分支結構。通過上述步驟，得到了一個性能良好的生成模型，它能夠在多個染色域之間互相轉換。方法流程如圖1所示。