可信病理人工智能：從理論到實踐

周燕燕，鄧 楊，包 驥，步 宏,2

四川大學華西醫(yī)院 1臨床病理研究所 2病理科，成都 610041

人工智能(artificial intelligence，AI)被認為是推動科學發(fā)展的重要驅動力，正在融入社會生活的各個方面[1-2]。在與現(xiàn)實結合應用過程中，由于存在數(shù)據隱私泄露、不可解釋、決策失誤以及責任無法界定等情況，AI面臨不被信任的危機，阻礙了其在實踐中的進一步發(fā)展。為促進AI的實踐應用，華東師范大學軟件學院院長何積豐院士于2017年 11月首次提出了可信人工智能(trusted artificial intelligence，TAI)的概念。2020年，歐盟發(fā)布了《人工智能白皮書》，提出AI“可信生態(tài)系統(tǒng)”，旨在落實AI應用的管理框架，促進AI的使用[3]。中國信息通信研究院聯(lián)合京東探索研究院于2021年7月發(fā)布了國內首本《可信人工智能白皮書》，提出TAI是從技術和工程實踐的角度，落實倫理治理，實現(xiàn)創(chuàng)新發(fā)展和風險治理的有效平衡，其具備如下五要素：數(shù)據保護、透明可釋、多元包容、可控可靠和明確責任[4]。

隨著AI的發(fā)展以及全視野數(shù)字圖像(whole slide image,WSI)的出現(xiàn)，使用計算機輔助病理診斷逐漸成為現(xiàn)實。病理AI經過近幾年的發(fā)展，已能夠有效識別病理切片上的組織生物學特征，在腫瘤區(qū)域識別、組織學分級、預測分子分型等任務中均取得了一定成效[5]。但病理AI廣泛應用于臨床診斷尚未實現(xiàn)，TAI的提出為解決數(shù)據安全共享、AI可解釋性以及多模態(tài)信息融合問題提供了可行技術方案，將進一步促進AI在臨床醫(yī)療及病理中的推廣應用。

1 數(shù)據安全共享

目前，AI已展示出在圖像識別和大數(shù)據處理方面的優(yōu)勢，但AI技術尤其是深度學習技術對數(shù)據具有很強的依賴性，需要大量數(shù)據用于模型訓練以得到高性能的系統(tǒng)。單一醫(yī)療機構的病理數(shù)據常常無法達到訓練模型的數(shù)據要求，成立中心數(shù)據庫、擴大數(shù)據量用于模型訓練是理想的解決方案[6]。然而，由于隱私數(shù)據保護法規(guī)的頒布(如歐盟《通用數(shù)據保護條例》[7]及中國香港《人類數(shù)據隱私條例》[8]等)以及人們數(shù)據保護意識的提高，隱私保護逐漸受到重視，將不同機構間數(shù)據集合并成立數(shù)據中心的難度較大，“數(shù)據孤島”現(xiàn)象不斷浮現(xiàn)，導致AI在病理領域的應用受阻[9-10]。

為了在保護數(shù)據隱私安全的條件下解決“數(shù)據孤島”問題，技術人員建議引入聯(lián)邦學習(federated learning，F(xiàn)L)技術。FL是一種多分布式聯(lián)合學習技術，在數(shù)據有限共享的前提下，通過中心數(shù)據庫傳遞系統(tǒng)參數(shù)，在多個數(shù)據庫間開展學習，力求獲得高精度的系統(tǒng)[11]。FL并非全新的算法，其已廣泛應用于放射學圖像分析領域，解決影像數(shù)據分散的問題，并取得了不俗成效[12]。FL在病理領域起步較放射領域晚，但也在逐步開展應用，Lu等[13]使用FL算法成功訓練了一套基于WSI預測生存周期的系統(tǒng)，與單一數(shù)據集訓練系統(tǒng)相比，該系統(tǒng)具有更高的性能。

然而在實際應用中，由于各數(shù)據中心病理切片的試劑和制作工藝不同、數(shù)據標準不統(tǒng)一，導致切片質量存在較大差異，直接使用此類數(shù)據進行FL訓練將會影響整個系統(tǒng)的性能，因此需采用標準化數(shù)據集進行訓練。為獲得標準化數(shù)據，在病理制片方面，建議通過醫(yī)聯(lián)體及醫(yī)共體制訂標準制片流程，以減小切片受試劑和染色步驟的影響；同時以機器自動化染色代替手工操作，從而減少手工染色誤差。在計算機技術方面，可對數(shù)據集進行預處理，使數(shù)據在FL訓練前達到較高的均一化，以進一步提高數(shù)據標準化率?？傊?，F(xiàn)L在病理AI領域的應用仍有較大空間，未來將對病理AI的發(fā)展提供極大幫助。

2 AI模型可解釋性

機器學習是常用的AI技術之一，但由于機器學習尤其是深度學習算法內部架構過于復雜，技術人員難以檢測到模型內部的偏差，且系統(tǒng)決策難以追溯到輸入特征，醫(yī)生與AI缺乏有效交互，導致醫(yī)生對AI并不信任，影響了其在醫(yī)療領域的應用，因此需增強AI模型的可解釋性。深度學習解釋的方法種類很多，可簡單分為系統(tǒng)自帶解釋屬性的事前解釋和在系統(tǒng)決策后加入事后解釋模型的事后解釋2種方式[14]。

目前病理領域大多采用標注的數(shù)據直接訓練算法模型，得到數(shù)字病理系統(tǒng)，然后置入可解釋模型，解釋決策的原因，屬于事后解釋。事后解釋能夠可視化輸入數(shù)據特征與決策之間的關系，常用于標記AI決策依據的特征，幫助人類理解AI系統(tǒng)。通用的解釋模型有反卷積網絡(deconvolution)、積分梯度(integrated gradients)、梯度加權類激活映射(gradient-weighted class activation mapping，Grad-CAM)以及模型無關的局部可解析性算法(local interpretable model agnostic explanation，LIME)等，已在研究中廣泛應用[15]。例如，Yu等[16]使用卷積神經網絡(convolutional neural network，CNN)訓練系統(tǒng)識別肺鱗癌和腺癌，并使用Grad-CAM模型解釋決策，根據顯示區(qū)域重要性的熱力圖來看，AI的決策特征來源于正確的鱗癌和腺癌組織區(qū)域。Sousa等[17]使用LIME解釋CNN模型如何從淋巴結圖像中判斷腫瘤細胞，發(fā)現(xiàn)CNN判斷依據的圖像特征與專家診斷依據的圖像特征基本一致。

但事后解釋模型多基于輸入及輸出關系得出類似解析，雖可對AI系統(tǒng)的解釋提供參考，但解釋結果未必真實[18-19]，因此還需從技術上對模型進行完善。Li等[20]設計了一種基于Shapley Value的特征重要性估算解釋模型，在腦CT圖像中用于確定自閉癥分類模型中不同腦區(qū)的重要性。由于對于解釋結果存疑，該團隊繼而基于DeepSHAP設計了一種Dist DeepSHAP解釋方法，在生成重要性圖像的同時生成對應的不確定圖像，通過重要性圖像確定模型決策的特征，再通過不確定圖像排除不確定性高的區(qū)域，從而獲得模型決策與圖像特征的關聯(lián)性[21]。

由于病理醫(yī)生關注圖像特征與決策之間的關系，根據圖像特征構建具有可解釋能力的系統(tǒng)亦是可靠的辦法。研究者根據病理AI實際情況提出，可通過改善傳統(tǒng)訓練模式、開發(fā)AI與病理結合的新模式以及使用新的算法達到提升可解釋性的目標。Sarder[22]在模型數(shù)據標注和訓練中，從分割特征完整的信息單元提取定量特征以區(qū)分信息單元，再對整體進行信息聚合，得到了便于解釋的模型。Hegde等[23]開發(fā)了一種基于深度學習的組織病理學圖像反向圖像搜索工具SMILY，對于輸入的圖像，模型輸出相似的圖像及信息，從而回答了何種圖像特征決定模型決策的問題。

圖神經網絡(graph neural network，GNN)是一種用于處理圖數(shù)據的神經網絡結構，其特點是可以捕獲實例之間的相互依賴關系并進行分析，故模型本身具有可解釋性。對于醫(yī)學圖像而言，可將圖像拆分成特征進行結構學習，通過面關聯(lián)特征之間的關系，對模型作出解釋。因其學習和建模過程類似于病理醫(yī)生學習病理圖像診斷的過程，是一種有潛力的可解釋性算法，GNN的預測過程如圖1所示。GNN能關聯(lián)決策與圖像特征之間的關系，與傳統(tǒng)神經網絡相比，具有更高的可解釋性[24-25]。GNN在病理領域的應用目前仍較少，本研究團隊正在開展GNN方面的研究，提出以甲狀腺細胞病理為基礎，采用GNN技術進行特征提取。利用GNN能夠可視化地提取局部節(jié)點和節(jié)點間的空間關系特征，解決當前CNN缺乏空間關系以及可解釋性的問題。

圖1 圖神經網絡預測過程

3 多模態(tài)信息融合

病理診斷需基于臨床資料、診斷意見等文本數(shù)據，病理、影像、超聲等圖像數(shù)據，分子檢測等組學數(shù)據多種信息，而目前AI的預測往往僅基于病理圖像，AI模型對多模態(tài)數(shù)據利用不足，導致其預測效能難以進一步提升。結合多種整合信息設計的AI模型，單一特征失誤對決策的影響更小，決策結果更加可靠，有利于AI在病理中的應用。

如何整合來自不同維度的信息呢？知識圖譜(knowledge graph，KG)的提出成為解決這一難題的突破口。KG本質上是一種語義網絡，由節(jié)點(實體)和邊(實體之間的關系)組成，在KG中，可以很好地處理各種維度的信息如圖像、文本、診斷數(shù)據、描述信息等，并作出決策。若在病理AI中引入KG，能有效整合病理診斷中不同來源的數(shù)據，結合多種信息作出決策，提升病理AI的效能[26]。近年來，研究者利用已有的臨床知識(如醫(yī)學教材、診療指南等)進行結構化表示構建KG系統(tǒng)，開發(fā)醫(yī)療語義搜索引擎、醫(yī)療問答系統(tǒng)、醫(yī)療決策支持系統(tǒng)等，從而在臨床環(huán)節(jié)有效進行輔助決策，例如國內百度的“靈醫(yī)”、阿里巴巴的“Doctor You”、騰訊的“覓影”、國外的“沃森醫(yī)生”等。在病理學領域，KG系統(tǒng)也正在構建中，如對早期乳腺癌進行預后評估的“Adjuvant Online”系統(tǒng)等[27]。但目前此類系統(tǒng)主要基于文本信息構建，還需克服圖像數(shù)據處理等困難，相信隨著病理AI與KG的共同發(fā)展，多模態(tài)信息融合病理AI的輔助病理診斷將很快能夠實現(xiàn)。

4 小結與展望

隨著病理切片全數(shù)字化的實現(xiàn)、更多機器學習方法的出現(xiàn)以及計算機算力的提升，使用計算機輔助病理診斷將逐漸成為現(xiàn)實。但目前病理AI仍處于研究階段，廣泛應用于臨床診斷尚未實現(xiàn)，未來可通過TAI等新技術手段提升病理AI的系統(tǒng)性能，促進其臨床應用。現(xiàn)階段，建議通過制訂病理制片標準和規(guī)范以提高切片質量，并通過FL技術解決“數(shù)據孤島”問題；使用各種解釋方法以及GNN提升AI模型的可解釋性；使用KG研發(fā)功能全面的AI系統(tǒng)，從技術上達到TAI，配合診斷過程的可視化與交互性，使病理診斷結果更加可靠可控；使用KG以及機器學習模型搭建知識庫，助力缺乏經驗的病理醫(yī)生快速成長。此外，在AI實踐應用的過程中，仍需完善相關規(guī)范，從國家層面推進AI在病理中的應用。相信在不久的未來，TAI將極大促進AI在病理領域的落地實踐和技術推廣。

作者貢獻：周燕燕負責查閱文獻、撰寫論文；鄧楊負責整理文獻和論文修訂；包驥、步宏負責論文構思及終稿審校。

利益沖突：所有作者均聲明不存在利益沖突