基于深度學(xué)習(xí)的人工智能在數(shù)字病理學(xué)中的進(jìn)展

復(fù)旦大學(xué)附屬腫瘤醫(yī)院放射治療中心，復(fù)旦大學(xué)上海醫(yī)學(xué)院腫瘤學(xué)系，上海200032

病理學(xué)的發(fā)展從根本上來(lái)說(shuō)是病理學(xué)切片技術(shù)與數(shù)據(jù)分析的結(jié)合［1］。過(guò)去20年圖像掃描技術(shù)、存儲(chǔ)技術(shù)和計(jì)算機(jī)技術(shù)的革新帶動(dòng)了病理學(xué)的發(fā)展與演變［2］。1999年全切片數(shù)字化圖像掃描技術(shù)的提出實(shí)現(xiàn)了病理學(xué)切片的數(shù)字成像和存儲(chǔ)，簡(jiǎn)化了病理學(xué)實(shí)驗(yàn)室的工作流程［3-4］。

19世紀(jì)50年代人工智能的概念被提出，旨在用計(jì)算機(jī)模擬預(yù)測(cè)在相同情況下人類的行為［5］。機(jī)器學(xué)習(xí)是在機(jī)器中“學(xué)習(xí)”輸入數(shù)據(jù)后通過(guò)自我調(diào)整和改進(jìn)以預(yù)測(cè)的一種實(shí)現(xiàn)人工智能方法。19世紀(jì)80年代隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，含有多層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)被推廣［6］。2006年Hinton等［7］攻克了深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練上的難度，同時(shí)計(jì)算機(jī)處理能力提升，使得神經(jīng)網(wǎng)絡(luò)重新在人工智能領(lǐng)域掀起深度學(xué)習(xí)的熱潮。

近年來(lái)，深度學(xué)習(xí)在解決圖像分類任務(wù)中取得了巨大的成功與進(jìn)步［8］。深度學(xué)習(xí)與病理學(xué)分析的碰撞，促進(jìn)了現(xiàn)代數(shù)字病理學(xué)的發(fā)展。數(shù)字病理學(xué)原指病理學(xué)切片實(shí)現(xiàn)數(shù)字化圖像的過(guò)程，現(xiàn)指用人工智能實(shí)現(xiàn)病理學(xué)圖像的檢測(cè)、分割、診斷和分析［1］。人工智能使病理學(xué)分析從定性分析轉(zhuǎn)為定量分析，并能減少病理學(xué)醫(yī)師的技術(shù)差異導(dǎo)致的診斷誤判，節(jié)省診斷時(shí)間［9］。但傳統(tǒng)的人工智能方法依賴于精準(zhǔn)的人工標(biāo)注，為使復(fù)雜的病理學(xué)診斷變得更加快捷準(zhǔn)確、更適用于臨床數(shù)據(jù)，深度學(xué)習(xí)在大數(shù)據(jù)量的全病理學(xué)組織切片（whole-slide image，WSI）數(shù)據(jù)集上已發(fā)揮其優(yōu)勢(shì)。目前科學(xué)家們正不斷探索深度學(xué)習(xí)在病理學(xué)診斷、癌癥患者預(yù)后判斷等方面的應(yīng)用場(chǎng)景。

1 深度學(xué)習(xí)在病理學(xué)分析中的主要方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

目前卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）是在病理學(xué)分析中使用最廣泛的深度學(xué)習(xí)算法［10］。CNN是一個(gè)深層的前饋網(wǎng)絡(luò)，因?yàn)樵谳斎雽雍洼敵鰧又g存在多個(gè)卷積層而得此名稱。CNN中的各層間未完全連接，下一層中的神經(jīng)元僅與上一層的固定區(qū)域相互作用，而不與所有神經(jīng)元相互作用。此外，CNN還包含了池化層，池化層的主要功能是縮小或減小特征的維數(shù)?；贑NN的深度學(xué)習(xí)方法已經(jīng)廣泛應(yīng)用于圖像的檢測(cè)和分割任務(wù)中來(lái)識(shí)別和量化細(xì)胞分類［11-13］（如中性粒細(xì)胞、淋巴細(xì)胞和胚細(xì)胞），組織學(xué)特性［14-16］（如細(xì)胞核、有絲分裂、腺體），感興趣區(qū)域［17］（如腫瘤或腫瘤周圍區(qū)域），以及癌癥分類與分級(jí)［18］（如腫瘤的分級(jí)和細(xì)胞的分類）。

1.2 全卷積網(wǎng)絡(luò)

全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）也是一種流行于病理學(xué)分析中的深度學(xué)習(xí)方法。FCN是沒(méi)有全連接層的CNN。FCN可從每個(gè)像素學(xué)習(xí)表示，因此有可能檢測(cè)到在整個(gè)病理學(xué)圖像中稀疏出現(xiàn)的元素或特征。此屬性使FCN可以進(jìn)行像素級(jí)預(yù)測(cè)，并可能優(yōu)于CNN。在頭頸部腫瘤WSI中，F(xiàn)CN已實(shí)現(xiàn)了分離癌變區(qū)域和非陽(yáng)性上皮區(qū)域［19］。在乳腺癌的WSI上，F(xiàn)CN被用于檢測(cè)浸潤(rùn)性乳腺癌的區(qū)域［20］。

1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）可以存儲(chǔ)不同時(shí)間點(diǎn)的數(shù)據(jù)并以時(shí)序信息的形式處理數(shù)據(jù)。RNN考慮了被研究對(duì)象在不同時(shí)間的輸入狀態(tài)，并展現(xiàn)出數(shù)據(jù)的動(dòng)態(tài)性［21］。Campanella等［22］運(yùn)用CNN的方法對(duì)所有的病理學(xué)切片進(jìn)行陽(yáng)性級(jí)別預(yù)測(cè)排序后，輸入到RNN匯總生成患者的腫瘤陰性或陽(yáng)性預(yù)測(cè)。RNN的另一個(gè)潛在用途是可用于分析不同時(shí)間點(diǎn)的組織圖像，如連續(xù)隨訪病理學(xué)圖像的分析［2］。

1.4 對(duì)抗生成網(wǎng)絡(luò)

對(duì)抗生成網(wǎng)絡(luò)（generative adversarial networks，GAN）的方法在數(shù)字病理學(xué)中的應(yīng)用程度也逐漸增高，如特征分割和污漬轉(zhuǎn)移（改變顏色使得染色歸一化）［23-24］。GAN是通過(guò)實(shí)現(xiàn)兩個(gè)相互競(jìng)爭(zhēng)的同步神經(jīng)網(wǎng)絡(luò)來(lái)運(yùn)行的，包含一個(gè)從饋入網(wǎng)絡(luò)的訓(xùn)練樣本中生成數(shù)據(jù)的生成器和一個(gè)評(píng)估生成數(shù)據(jù)與原始數(shù)據(jù)一致性的辨別器。GAN的目的是減少第二個(gè)網(wǎng)絡(luò)的分類誤差程度，使得生成的圖像更類似于原始圖像?；贕AN的深度學(xué)習(xí)方法已經(jīng)被應(yīng)用于H-E染色的WSI圖像轉(zhuǎn)為虛擬的免疫組織化學(xué)染色，這有效地解決了基于破壞性免疫組織化學(xué)的組織測(cè)試的需求［25］。

2 深度學(xué)習(xí)在病理學(xué)分析中各領(lǐng)域的應(yīng)用

由于WSI涵蓋的信息龐大，攬括許多冗余的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)挖掘必須對(duì)WSI數(shù)據(jù)進(jìn)行特征提取［26］。特征提取的方法被分為人工標(biāo)注與自動(dòng)學(xué)習(xí)特征兩種。傳統(tǒng)的人工智能方法離不開(kāi)高標(biāo)注量的人工標(biāo)注特征，而深度學(xué)習(xí)強(qiáng)大的自學(xué)習(xí)與適應(yīng)能力顯著減少了對(duì)人工標(biāo)注的依賴。

在數(shù)字病理學(xué)中，深度學(xué)習(xí)的方法已應(yīng)用于各種病理學(xué)圖像的處理和分類中，神經(jīng)網(wǎng)絡(luò)被訓(xùn)練完成特定的圖像分割、診斷或者預(yù)后情況判斷。一些研究專注于自動(dòng)診斷的耗時(shí)，這使得病理學(xué)醫(yī)師能夠?qū)r(shí)間更多地花費(fèi)于更高級(jí)別的決策中，如辨別與患者疾病相關(guān)的更復(fù)雜特征［10］。同時(shí)，深度學(xué)習(xí)被廣泛應(yīng)用于解決腫瘤學(xué)面臨的問(wèn)題，如通過(guò)預(yù)后分析評(píng)估疾病的嚴(yán)重程度、治療反應(yīng)的預(yù)測(cè)及預(yù)后。

2.1 深度學(xué)習(xí)在病理學(xué)分析中的應(yīng)用

Cire?an等［27］在2013年第一次成功地運(yùn)用深度學(xué)習(xí)算法實(shí)現(xiàn)有絲分裂檢測(cè)，開(kāi)啟了深度學(xué)習(xí)在WSI中的應(yīng)用。深度學(xué)習(xí)的方法被應(yīng)用在乳腺腫瘤、皮膚腫瘤等組織病理學(xué)切片的檢測(cè)、分割、分類、分級(jí)及預(yù)后判斷中。

2.1.1 乳腺癌領(lǐng)域

在所有病理學(xué)診斷中，深度學(xué)習(xí)在乳腺癌中的研究應(yīng)用是最廣泛的。2016年，國(guó)際生物醫(yī)學(xué)影像研討會(huì)舉行了關(guān)于乳腺癌前哨淋巴結(jié)轉(zhuǎn)移的診斷大賽，給出了高標(biāo)注高質(zhì)量的數(shù)據(jù)集——Camelyon16，包含了400張WSI切片圖像，促進(jìn)了深度學(xué)習(xí)在乳腺癌診斷中的發(fā)展［28］，隨后，又給出了1000張的乳腺癌前哨淋巴結(jié)轉(zhuǎn)移的Camelyon17 WSI公開(kāi)數(shù)據(jù)集［29］。Wang等［28］運(yùn)用GoogLeNet網(wǎng)絡(luò)構(gòu)建有監(jiān)督的分類模型，在分類任務(wù)中曲線下面積（area under curve，AUC）達(dá)到了0.925，并獲得了Camelyon16比賽的冠軍。此后，Google醫(yī)療打造了名為淋巴結(jié)助手（LYmph Node Assistant，LYNA）的工具，希望在Camelyon16數(shù)據(jù)分類的基礎(chǔ)上得到提高。2018年，Google團(tuán)隊(duì)加入了美國(guó)圣地亞哥海軍醫(yī)療中心的數(shù)據(jù)集后，LYNA 實(shí)現(xiàn)了AUC達(dá)到0.99的結(jié)果，且模型不受常見(jiàn)的組織學(xué)偽影（例如過(guò)度固定、染色不良和氣泡）的影響［30］。Google也證實(shí)病理學(xué)醫(yī)師們采用深度學(xué)習(xí)輔助診斷工具后診斷效率和準(zhǔn)確度得到了提高［31］。2019年，Campanella等［22］提出了應(yīng)用弱監(jiān)督學(xué)習(xí)對(duì)大數(shù)據(jù)量的前列腺癌（24859個(gè)WSI）、皮膚癌（9962個(gè)WSI）、乳腺癌（9894個(gè)WSI）的數(shù)據(jù)集進(jìn)行分類檢測(cè)，實(shí)現(xiàn)了所有癌癥診斷的AUC達(dá)到0.98。該研究?jī)H采用報(bào)告診斷作為標(biāo)簽，而非大量的手動(dòng)注釋，證實(shí)運(yùn)用基于大數(shù)據(jù)、低標(biāo)注數(shù)據(jù)集的弱監(jiān)督模型在臨床數(shù)據(jù)中的應(yīng)用效果優(yōu)于基于高標(biāo)注數(shù)據(jù)集的監(jiān)督學(xué)習(xí)模型。

2.1.2 肺癌領(lǐng)域

近幾年，人們也開(kāi)始運(yùn)用深度學(xué)習(xí)的方法分析肺癌的病理學(xué)分類和預(yù)后。2018年，Coudray等［32］利用深度卷積神經(jīng)網(wǎng)絡(luò)的方法實(shí)現(xiàn)了對(duì)非小細(xì)胞肺癌病理學(xué)切片的分類與突變基因的預(yù)測(cè)。該研究可以準(zhǔn)確和自動(dòng)地實(shí)現(xiàn)腺癌、鱗狀細(xì)胞癌、正常肺組織的三分類，并且AUC達(dá)到了0.97；研究還對(duì)細(xì)胞中與肺癌相關(guān)的6種基因的突變情況進(jìn)行預(yù)測(cè)，AUC達(dá)到了0.733～0.856。2019年，Wang等［33］提出了一種基于弱監(jiān)督學(xué)習(xí)的肺癌圖像快速分類方法，以AUC達(dá)0.973而超過(guò)了目前最新的方法，實(shí)現(xiàn)了非小細(xì)胞肺癌、小細(xì)胞肺癌的兩個(gè)亞型和正常類型的四分類。該團(tuán)隊(duì)指出少量的粗略注釋有助于進(jìn)一步提高準(zhǔn)確性，進(jìn)一步肯定了弱監(jiān)督學(xué)習(xí)的優(yōu)勢(shì)。Wang等［34］開(kāi)發(fā)了一種自動(dòng)的細(xì)胞類型分類管道ConvPath，它實(shí)現(xiàn)了腫瘤、基質(zhì)和淋巴細(xì)胞分類，并提取了與肺癌病理學(xué)圖像相關(guān)的腫瘤微環(huán)境特征，并開(kāi)發(fā)了基于圖像特征的預(yù)后模型［34］。

2.1.3 胃腸癌領(lǐng)域

在胃腸癌的病理學(xué)分析中，深度學(xué)習(xí)在診斷、預(yù)后、識(shí)別微衛(wèi)星不穩(wěn)定性中也逐漸得到了應(yīng)用。2019年，Kather等［35］對(duì)結(jié)直腸癌病理學(xué)圖像進(jìn)行處理，用CNN識(shí)別在結(jié)直腸癌病理學(xué)圖像上的不同組織類型，尤其是非腫瘤（“基質(zhì)”）類型，并發(fā)現(xiàn)了部分組織的豐度可以評(píng)估腫瘤的微環(huán)境并預(yù)測(cè)預(yù)后［35］。同年7月，Kather等［36］基于胃腸腫瘤的切片圖像運(yùn)用深度學(xué)習(xí)殘差網(wǎng)絡(luò)Resnet18預(yù)測(cè)微衛(wèi)星不穩(wěn)定性（microsatellite instability，MSI）。該研究有助于識(shí)別可從免疫治療中受益的胃腸道腫瘤患者，使得患者不需要經(jīng)過(guò)基因檢測(cè)和免疫組織化學(xué)檢測(cè)，直接從H-E圖像中預(yù)測(cè)MSI。但這種算法模型可能受癌種、樣本類型、患者人種的影響，今后如想拓展使用，可能需要更大的數(shù)據(jù)集來(lái)訓(xùn)練。

2.1.4 前列腺癌領(lǐng)域

前列腺癌一直因?yàn)椴±韺W(xué)圖像的病灶小而使得病理學(xué)醫(yī)師們?cè)谠\斷過(guò)程中耗費(fèi)大量的時(shí)間和精力，因此深度學(xué)習(xí)在前列腺癌病理學(xué)診斷上的應(yīng)用一直被科學(xué)家們熱切關(guān)注。2019年8月，Campanella等［22］提出了基于24859張前列腺WSI構(gòu)建的弱監(jiān)督學(xué)習(xí)模型，準(zhǔn)確率達(dá)到了98%。而該研究的樣本數(shù)據(jù)量也是目前前列腺癌病理學(xué)分析中最多的。同年6月，基于1226張前列腺癌WSI，Google提出了Gleason評(píng)分的深度學(xué)習(xí)系統(tǒng)。Gleason評(píng)分是對(duì)前列腺癌患者復(fù)發(fā)的預(yù)測(cè)，該模型診斷準(zhǔn)確率達(dá)70%［37］?；?3188張前列腺WSI，Yamamoto等［38］同樣用Gleason評(píng)分構(gòu)造了無(wú)監(jiān)督學(xué)習(xí)模型，實(shí)現(xiàn)了1年內(nèi)的Gleason評(píng)分準(zhǔn)確率為74.4%，5年內(nèi)的Gleason評(píng)分準(zhǔn)確率為69.5%的結(jié)果。

3 深度學(xué)習(xí)在病理學(xué)分析中面臨的挑戰(zhàn)與機(jī)遇

由于無(wú)法解釋做出決策的過(guò)程，目前臨床上應(yīng)用深度學(xué)習(xí)方法在病理學(xué)圖像分析過(guò)程中最大的困難在于監(jiān)管機(jī)構(gòu)的批準(zhǔn)［39］。盡管這些算法在病理學(xué)分析上帶來(lái)益處，但由于對(duì)醫(yī)療器械極為嚴(yán)格的要求，臨床、法規(guī)和法律問(wèn)題仍有待解決。令人鼓舞的是，目前相關(guān)的產(chǎn)品也逐漸獲得了相關(guān)部門(mén)的許可［2］。

其次，深度學(xué)習(xí)的效果取決于數(shù)據(jù)的數(shù)量和質(zhì)量。用于訓(xùn)練的數(shù)據(jù)應(yīng)該是精心整理后的高標(biāo)注數(shù)據(jù)，具有最大的信噪比，并要盡可能實(shí)現(xiàn)標(biāo)注準(zhǔn)確、全面［40］。但高標(biāo)注的數(shù)據(jù)需要耗費(fèi)病理學(xué)醫(yī)師太多的時(shí)間和精力去完成，并且標(biāo)注的質(zhì)量高低可能會(huì)影響訓(xùn)練結(jié)果的準(zhǔn)確度。于是弱監(jiān)督甚至無(wú)監(jiān)督學(xué)習(xí)開(kāi)始被應(yīng)用于病理學(xué)分析中，并已證實(shí)相較于監(jiān)督學(xué)習(xí)模型而言，在臨床的低標(biāo)注數(shù)據(jù)上弱監(jiān)督學(xué)習(xí)的適用性更佳。但弱監(jiān)督學(xué)習(xí)依賴于大樣本量的數(shù)據(jù)，WSI的數(shù)目需要高于10000［22］。并且在低分辨率的數(shù)據(jù)上應(yīng)用高分辨率訓(xùn)練出來(lái)的模型可能會(huì)產(chǎn)生數(shù)據(jù)保真度的損失。

目前深度學(xué)習(xí)在病理學(xué)分析方面取得的突破只是晨曦初露，深度學(xué)習(xí)在病理學(xué)領(lǐng)域還未實(shí)現(xiàn)廣泛的應(yīng)用，尤其在預(yù)后方向。癌癥分級(jí)與預(yù)后分析密切相關(guān)，但深度學(xué)習(xí)在該方向研究的準(zhǔn)確度依舊不夠高，目前仍處于處于初級(jí)階段［35］。因此預(yù)后診斷方向可成為深度學(xué)習(xí)在病理學(xué)分析問(wèn)題中的機(jī)遇。同時(shí)，在病理學(xué)基礎(chǔ)上結(jié)合基因、免疫學(xué)等分析方法，也是深度學(xué)習(xí)可以被開(kāi)拓應(yīng)用的領(lǐng)域。雖然深度學(xué)習(xí)能否取代病理學(xué)醫(yī)師只是一種推測(cè)，但不可否認(rèn)的是在準(zhǔn)確率和一致性上，病理學(xué)醫(yī)師與深度學(xué)習(xí)結(jié)合分析的結(jié)果將比病理學(xué)醫(yī)師單獨(dú)完成的結(jié)果更優(yōu)。盡管深度學(xué)習(xí)只能在某個(gè)狹窄的領(lǐng)域里作出初步?jīng)Q策，但病理學(xué)醫(yī)師可以通過(guò)一個(gè)初步的決策結(jié)果綜合其他信息作出最終決策，從而提高診斷效率和準(zhǔn)確率。