基于人工智能算法和數(shù)字病理切片對非酒精性脂肪性肝病病理特征的識別效果

孫丹輝，榮義輝，廖心怡，潘雅婷，王 玨，黃 萍，朱思越，柳蘇桐，王亞妮，杜 帆，于觀貞,*

1. 北京大學國際醫(yī)院感染性疾病科，北京 102206

2. 上海中醫(yī)藥大學附屬龍華醫(yī)院腫瘤科，上海 200032

3. 上海中醫(yī)藥大學附屬龍華醫(yī)院脾胃病研究所，上海 200032

4. 浙江數(shù)字內容研究院數(shù)字醫(yī)療與人工智能實驗室，紹興 312366

肝臟作為人體最重要的器官之一，承擔著人體大部分的新陳代謝功能。肝臟病變通常有2 種臨床類別，一是彌漫性肝臟病變，包括肝硬化、酒精性脂肪肝、非酒精性脂肪性肝?。╪on-alcoholic fatty liver disease，NAFLD）等；二是肝占位性病變，分為良性病變和惡性病變，其中良性病變包括肝細胞腺瘤、肝海綿狀血管瘤、肝臟局灶性結節(jié)增生和肝囊腫等，惡性病變包括肝細胞癌、肝內膽管細胞癌、肝轉移癌、肝血管肉瘤和肝母細胞瘤等［1］。在NAFLD 病變過程中通常會出現(xiàn)3 種特征：脂肪變性、炎癥和纖維化［2］。病理組織學檢查是衡量炎癥活動度、脂肪變性和纖維化程度的重要手段［3］。對肝穿刺標本采用H-E 染色、嗜銀染色和Masson 染色三色染色技術，能夠準確判斷肝組織炎癥活動度、脂肪變性及纖維化程度，還可根據(jù)實際需要增加天狼猩紅染色或免疫組織化學染色等以進一步進行臨床研究［4］。

近年來，許多基于CT、MRI 等醫(yī)學影像學技術的研究探索了NAFLD 的定量分析特征，這些研究通過傳統(tǒng)圖像算法或機器學習算法識別醫(yī)學影像中的病變特征并進行分析［5-8］，而病理切片同樣能用于NAFLD 病理特征的分析研究，但多數(shù)研究存在單一、片面等不足。利用數(shù)字病理切片開發(fā)出一種全面的、準確的自動化NAFLD 分析系統(tǒng)，能夠為該病的分期和評估提供參考。本研究通過人工智能算法和數(shù)字病理切片對NAFLD 的3 種病理特征（脂肪變性細胞、炎癥細胞和纖維化）進行識別，提出基于人工智能算法的NAFLD 病理特征識別模型，以幫助病理醫(yī)師提高識別NAFLD 病理特征的效率與準確率。

1 材料和方法

1.1 材料 65 只NAFLD 小鼠的肝組織病理切片由上海中醫(yī)藥大學附屬龍華醫(yī)院宋海燕教授惠贈。所有病理切片均使用匈牙利3D HIETECH 公司Pannoramic 250 數(shù)字化掃描儀進行掃描，獲得數(shù)字病理切片。數(shù)字病理切片納入標準：（1）病理切片具有脂肪變性細胞或炎癥細胞等NAFLD 的病理特征；（2）病理切片的評估數(shù)據(jù)完整、明確；（3）病理切片染色均勻、清晰完整。選擇符合納入標準的H-E 染色和天狼猩紅染色數(shù)字病理切片各65 張。

1.2 數(shù)據(jù)集制作 取H-E 染色數(shù)字病理切片，使用CaseViewer 2.3 軟件在放大200、300、400 倍后截取病變部位圖像各2 張，每張切片共截取包含脂肪變性細胞的圖像6 張、包含炎癥細胞的圖像6 張，分辨率均為1 920 像素×1 000 像素。獲得的390 張脂肪變性細胞病理圖像和390 張炎癥細胞病理圖像構成數(shù)據(jù)集，用于脂肪變性細胞和炎癥細胞的識別研究。

取天狼猩紅染色數(shù)字病理切片，使用CaseViewer 2.3軟件在放大50 倍后進行全視野截取，每張切片可截取4～6 張有組織纖維化的圖像，最終共獲得370 張纖維化圖像用于肝纖維化的識別研究。

1.3 圖像標注 將數(shù)據(jù)集中的脂肪變性細胞圖像和炎癥細胞圖像上傳至Horizope 標注平臺，由多名住院醫(yī)師進行手動標注，標注完成后由1 名富有經驗的主治醫(yī)師進行糾錯及補充。纖維化的識別采用顏色閾值分割圖像算法，無須標注。將Horizope標注平臺生成的標注文件（帶有標注坐標點信息的JSON 文件）通過Python 代碼轉化為可用于深度學習訓練的標簽圖像，格式為PNG。原始圖像、Horizope 標注平臺標注圖像及標簽圖像示例見圖1。

1.4 數(shù)據(jù)增強 在深度學習訓練中，390 張圖像的數(shù)據(jù)量用于深度學習模型訓練遠遠不夠，容易造成模型欠擬合，因此采用翻轉（水平翻轉和垂直翻轉）、旋轉（90°、180°和270°旋轉）和高斯噪聲等處理方法對原始圖像及對應的標簽圖像進行增強，共得到2 340 張脂肪變性細胞病理圖像和對應的標簽圖像，以及2 340 張炎癥細胞病理圖像和對應的標簽圖像。傳統(tǒng)的顏色特征提取算法不需要很大的數(shù)據(jù)量，因此未對纖維化圖像進行增強。

1.5 訓練集、驗證集與測試集的劃分 將脂肪變性細胞圖像和炎癥細胞圖像數(shù)據(jù)集分別按照4 ∶1 ∶1 劃分為訓練集、驗證集和測試集。訓練集包括1 560 張脂肪變性細胞圖像和1 560 張炎癥細胞圖像，驗證集包括390 張脂肪變性細胞圖像和390 張炎癥細胞圖像，訓練集和驗證集用于深度學習模型的訓練和參數(shù)迭代。測試集包括390 張脂肪變性細胞圖像和390 張炎癥細胞圖像，用于對訓練好的深度學習模型進行測試，得到識別結果，并計算模型性能指標。纖維化圖像不需要劃分為訓練集、驗證集和測試集。

1.6 人工智能算法 對于脂肪變性細胞圖像和炎癥細胞圖像的識別，使用U-Net 深度學習模型對訓練集和驗證集中人工標注的圖像進行訓練學習和參數(shù)迭代。U-Net 采用編碼-解碼結構，是一種全卷積神經網絡［9］，示意圖見圖2。編碼器為特征提取網絡，由下采樣卷積層和池化層組成，每次下采樣都會使通道數(shù)翻倍；解碼器為特征融合網絡，由上采樣卷積層和下采樣卷積層構成。將上采樣生成的特征圖與編碼器中下采樣生成的特征圖進行融合操作，最后經過2 次卷積操作生成特征圖。U-Net特殊的結構保證了模型最終得到的特征圖融合了更多的低級特征，也使得不同尺度的特征得到了融合，從而可以進行多尺度識別和預測。多次的上采樣也使模型能夠更加精細、準確地提取分割圖像的邊緣特征和細節(jié)信息［10］。所用的U-Net 深度學習模型使用交叉熵作為損失函數(shù)，初始學習率設置為0.000 1，最大迭代步長為100，批量大小設置為16，下采樣率為0.5，使用Adam 優(yōu)化器更新模型參數(shù)。使用Pytorch 1.6 框架和Python 3.6 環(huán)境訓練深度學習模型，圖形處理器為NVIDIA Gtx 2080ti。

肝纖維化作為NAFLD 的一種病理特征，其形態(tài)學特征與炎癥細胞和脂肪變性細胞差異顯著［11］，且通過對小鼠肝組織進行天狼猩紅染色發(fā)現(xiàn)，經天狼猩紅染色后肝纖維化特征尤為明顯。因此，為了節(jié)約計算機資源，對纖維化特征的識別并未采用深度學習算法，而是采用顏色特征提取這一傳統(tǒng)人工智能圖像算法。

1.7 基于人工智能算法的NAFLD 病理特征識別模型的性能評估 為了驗證人工智能算法在NAFLD病理特征識別中的有效性，以Horizope 標注平臺人工標注圖像為標準，在測試集脂肪變性細胞圖像和炎癥細胞圖像上，采用4 個常用于評價醫(yī)學圖像分割算法精準度的指標對模型性能進行評估，分別是Dice相似系數(shù)（Dice’s similarity coefficient，DSC）［12］、平均交互比（mean intersection over union，MIoU）［13］、平均準確度（mean accuracy，MA）和靈敏度：DSC＝2TP/（2TP+FP+FN），MIoU＝TP/（TP+FP+FN），MA＝（TP+TN）/（TP+TN+FP+FN），靈敏度＝TP/（TP+FN），其中TP 為真陽性樣本數(shù)，F(xiàn)P 為假陽性樣本數(shù)，TN 為真陰性樣本數(shù)，F(xiàn)N 為假陰性樣本數(shù)。由于纖維化識別采用的是傳統(tǒng)圖像算法，沒有相應的標注圖像，因此未進行性能評估。

1.8 病理特征參數(shù)的計算 通過人工智能算法對130 張數(shù)字病理切片進行病理特征的識別和參數(shù)計算。（1）脂肪變性細胞面積占比（proportion of fatty degeneration cell area，PFA）： 對65 張H-E染色切片放大400 倍后進行分析，每張H-E 染色切片隨機選取10 個視野進行脂肪變性細胞識別，并計算脂肪變性細胞面積占視野面積的百分比，取平均值得到局部PFA；再根據(jù)視野面積與整張切片面積的比例關系計算得到全局PFA［14］。（2）炎癥細胞密度（density of inflammatory cell，DIC）：對65 張H-E 染色切片放大400 倍后進行分析，隨機選取20 個視野進行炎癥細胞識別，計算炎癥細胞個數(shù)與視野面積的比值，取平均值得到局部DIC；再根據(jù)視野面積與整張切片面積的比例關系，計算得到全局DIC［14］。（3）纖維化面積占比（ratio of fibrotic area，RFA）：對65 張?zhí)炖切杉t染色切片放大50 倍后進行全視野截取及纖維化識別，計算纖維化面積占全視野面積的百分比，即為RFA。

由多名住院醫(yī)師根據(jù)NAFLD 活動度積分（NAFLD activity score，NAS）半定量評分系統(tǒng)的標準［15］對65 張H-E 染色數(shù)字病理切片進行人工脂肪變性細胞和炎癥細胞評分，以及對65 張?zhí)炖切杉t染色數(shù)字病理切片進行人工纖維化評分?；贜AS 半定量評分系統(tǒng)制定一套適用于人工智能算法識別的評分規(guī)則，即機器評分：對65 張H-E 染色切片根據(jù)PFA 和DIC 分別進行脂肪變性細胞、炎癥細胞的評分，PFA＜0.06 計0 分，0.06～0.33計1 分，＞0.33～0.66 計2 分，＞0.66 計3 分；DIC＜100/mm2計0 分，100～400/mm2計1 分，＞400～700/mm2計2 分，＞700/mm2計3 分?；?于NAS 半定量評分系統(tǒng)，根據(jù)RFA 對65 張?zhí)炖切杉t染色切片進行纖維化機器評分，RFA＜0.01 計0 分，0.01～0.07 計1 分（細分為1A、1B、1C 級），＞0.07～0.10 計2 分，＞0.10 計3 分。

1.9 統(tǒng)計學處理 應用SPSS 26.0 軟件進行統(tǒng)計學分析。通過計算偏度和峰度的Z評分對計量資料進行正態(tài)性檢驗，若為正態(tài)分布以±s表示，若為偏態(tài)分布以中位數(shù)（范圍）表示。相關性分析采用Spearman 秩相關分析。檢驗水準（α）為0.05。

2 結 果

2.1 基于人工智能算法的NAFLD 病理特征識別模型的識別效果 在測試集圖像上對脂肪變性細胞和炎癥細胞進行識別，通過對比標簽圖像與人工智能算法識別圖像可見，人工智能算法對脂肪變性細胞和炎癥細胞的識別結果與住院醫(yī)師手動標注的結果高度一致（圖3）。人工智能算法識別病理特征的性能評估結果顯示，在測試集脂肪變性細胞圖像上DSC 為0.87，MIoU 為0.80，MA 為0.88，靈敏度為0.84；在測試集炎癥細胞圖像上DSC 為0.84，MIoU 為0.78，MA 為0.85，靈敏度為0.80。在纖維化病理圖像上進行肝纖維化識別，人工智能算法對于肝纖維化的識別準確性較高（圖4）。

2.2 病理特征參數(shù)分析結果 65 張H-E 染色數(shù)字病理切片中55 張切片的脂肪變性細胞機器評分與人工NAS 評分相同，吻合率為84.6%。其中機器評分為0 分的切片7 張，PFA 為0.019 4±0.005 6；機器評分為1 分的切片22 張，PFA 為0.181 3±0.085 0；機 器 評 分 為2 分 的 切 片23 張，PFA 為0.466 7±0.088 6；機器評分為3 分的切片13 張，PFA 為0.704 5±0.022 2。65 張病理切片的PFA 為0.371（0.013～0.743）。Spearman 秩相關分析顯示，PFA 與脂肪變性細胞機器評分和人工NAS 評分均存在正相關關系（rs＝0.953、0.928，P均＜0.001）。

65 張H-E 染色數(shù)字病理切片中49 張切片的炎癥細胞機器評分與人工NAS 評分相同，吻合率為75.4%。其中機器評分為0 分的切片12 張，DIC 為（30.25±8.65）/mm2；機器評分為1 分的切片32 張，DIC 為（261.81±80.66）/mm2；機器評分為2 分的切片19 張，DIC 為（519.42±154.67）/mm2；機器評分為3 分的切片2 張，平均DIC 為870.00/mm2。65 張 病 理 切 片 的DIC 為288（19～894）/mm2。Spearman 秩相關分析顯示，DIC 與炎癥細胞機器評分和人工NAS 評分均存在正相關關系（rs＝0.883、0.869，P均＜0.001）。

65 張?zhí)炖切杉t染色數(shù)字病理切片中52 張切片的纖維化機器評分與人工NAS 評分相同，吻合率為80.0%。其中機器評分為0 分的切片5 張，RFA為0.002 4±0.000 9；機器評分為1A 的切片9 張，RFA 為0.018 6±0.005 4；機器評分為1B 的切片17 張，RFA 為0.040 7±0.004 7；機器評分為1C 的切片26 張，RFA 為0.059 6±0.005 8；機器評分為2 分的切片6 張，RFA 為0.083 2±0.004 6；機器評分為3 分的切片2 張，平均RFA 為0.118 0。65 張病理切片的RFA 為0.048 5±0.025 4。Spearman 秩相關分析顯示，RFA 與纖維化機器評分和人工NAS評分均呈正相關（rs＝0.887、0.749，P均＜0.001）。

3 討 論

病理組織學檢查是明確診斷、衡量炎癥活動度、脂肪變性和纖維化程度，以及判定藥物療效的重要依據(jù)［3］。病理醫(yī)師對病理圖像分析與結果判斷是否準確，在很大程度上取決于自身的臨床經驗，這不僅是一個費時、費力的過程，而且易出現(xiàn)漏診，甚至對于同一張病理圖像，不同的醫(yī)師由于經驗、精神狀態(tài)等主、客觀因素的影響可能會做出不同的診斷結論。因此，急需深度學習等新技術使高水平醫(yī)療資源惠及大眾，在減輕醫(yī)師負擔的同時輔助診斷，提高醫(yī)療服務水平。

NAFLD 的病理診斷是其分期、分型的關鍵環(huán)節(jié)之一，診斷結果影響著臨床診療方案的制定。近年來，人工智能被越來越多地應用于NAFLD的研究［16］，隨著全玻片數(shù)字化掃描儀的使用，基于全視野數(shù)字切片（whole slide image，WSI）的NAFLD 病理特征分析的研究逐漸增多。2019 年，荷蘭拉德堡德大學的研究人員在肝臟組織WSI 上開發(fā)了脂肪變性的數(shù)字化自動定量方法，進一步驗證發(fā)現(xiàn)該方法能夠自動計算PFA［17］。2021 年，Taylor-Weiner 等［18］提出了一種基于機器學習的肝臟組織學評估方法，該方法通過機器學習算法測量脂肪變性、炎癥、氣球樣變和纖維化程度，以準確評估NAFLD 的嚴重程度和異質性。但是，當前的病理人工智能算法系統(tǒng)面臨著臨床應用困難的問題。本研究亦探索了深度學習模型能否對NAFLD的病理圖像進行分析，并可視化和定量其病理特征，結果顯示深度學習模型能夠準確評估NAFLD的嚴重程度和異質性，這將為NAFLD 的藥物研發(fā)、生物標志物識別及基礎醫(yī)學機制研究提供思路和幫助。

利用人工智能算法識別NAFLD 能夠減輕醫(yī)師的工作量、提高診斷精準度和杜絕造假的可能性。此外，定量和可視化病理特征也會對NAFLD 的評估產生積極影響。根據(jù)肉眼觀察到的特征進行評分極具主觀性，因此利用人工智能算法定量數(shù)據(jù)進行分級是未來研究的重點。值得一提的是，在基于人工智能算法識別脂肪變性細胞、炎癥細胞和纖維化，并根據(jù)得到的PFA、DIC、RFA 對所有病理切片參照NAS 評分系統(tǒng)進行機器評分后發(fā)現(xiàn)，PFA、DIC、RFA 與通過人工智能算法得到的機器評分和人工NAS 評分之間均呈正相關，驗證了相關算法的有效性，然而3 個病理特征的機器評分與人工NAS 評分之間存在不一致的現(xiàn)象，吻合率均在80%左右，原因可能是傳統(tǒng)的人工NAS 評分不夠精準和本研究納入數(shù)據(jù)量較小，具體原因有待進一步研究。

模擬人類NAFLD 的小鼠模型不僅為研究NAFLD 的發(fā)病機制提供了有力的研究工具，也為相關藥物的開發(fā)提供了良好的實驗模型。然而任何動物模型的應用都無法很好地對人類疾病進行表征，本研究僅使用了模型小鼠病理切片，研究結果還有待進一步驗證，并且只有在動物模型上實現(xiàn)有效性和安全性并獲得足夠的數(shù)據(jù)支持后才能進一步申請開展臨床試驗。

基于人工智能算法的NAFLD 病理特征識別模型在NAFLD 病理檢查中可準確識別病理特征，能夠幫助病理醫(yī)師提高識別NAFLD 病理特征的效率與準確率，準確評估疾病嚴重程度和異質性，以及進行正確的疾病分級與分期和療效評估，從而提高診斷準確性和客觀性。