智能圖像分析在IgA腎病免疫熒光病理診斷中的應用

馬禎一　　錢萍　　俞芳　趙俊　　陳建清

[摘要] 目的 依靠深度學習的智能圖像分析對IgA腎病精確檢測及診斷，使臨床采取有效的防治手段，是減少終末期腎病的發(fā)病率及病死率的關鍵。 方法 選取2016年1月至2019年6月我院腎病科收治的腎病病例共452例，排除因腎穿刺送檢標本數量少，無法出具病理診斷;排除腎穿刺病理診斷疑似診斷者，排除未行免疫熒光檢查患者后，確診IgA腎病患者共135例進行圖像分析，采用國際通用5級半定量法評價，選擇傳統(tǒng)圖像處理方法分割提取熒光沉積區(qū)域。將輸入圖像進行顏色空間轉換，在顏色和亮度兩個特征維度，采用自適應閾值方法產生二值化圖像。然后使用區(qū)域分離與合并，獲得獨立的沉積區(qū)域，再計算各個沉積區(qū)域的輪廓、面積和平均亮度，得出計算機自動識別熒光沉積強度和形狀的過程。 結果 基于深度學習的人工智能圖像分析能實現對IgA腎病免疫熒光結果的判讀，與病理診斷醫(yī)生結果相比符合率較高，IgA達88.9%，IgG達85.8%，IgM達83.8%，C3達88.6%，因此其可以協(xié)助病理診斷醫(yī)生對IgA腎病免疫熒光的判讀。 結論 充分利用計算機技術及網絡技術改變病理工作流程，提高病理診斷醫(yī)生的工作效率，減少因疲勞閱片發(fā)生的誤診率，使病理診斷更加精準及客觀。

[關鍵詞] IgA腎病;免疫熒光;智能圖像分析;深度學習

[中圖分類號] R737.9? ? ? ? ? [文獻標識碼] B? ? ? ? ? [文章編號] 1673-9701（2021）09-0147-05

Application of intelligent image analysis in immunofluorescence pathological diagnosis of IgA nephropathy

MA Zhenyi1? ?QIAN Ping1? ?YU Fang1? ?ZHAO Jun1? ?CHEN Jianqing2

1.Department of Pathology，Jiaxing Hospital of Traditional Chinese Medicine Affiliated to Zhejiang Chinese Medical University，Jiaxing? ?314001，China;2.Department of Information，Jiaxing Hospital of Traditional Chinese Medicine Affiliated to Zhejiang Chinese Medical University，Jiaxing? ?314001，China

[Abstract] Objective It is the key to reduce the incidence and mortality of end-stage renal disease to accurately detect and diagnose IgA nephropathy by relying on intelligent image analysis of deep learning，and to adopt effective prevention and treatment measures in clinic. Methods In this research，a total of 452 nephrotic cases admitted to the department of nephropathy in our hospital from January 2016 to June 2019 were selected. After excluding those because the number of specimens sent for renal puncture was small and pathological diagnosis could not be issued， those with suspected diagnosis of renal puncture pathology and those without immunofluorescence examination， a total of 135 patients with IgA nephropathy were diagnosed for image analysis. Meanwhile，they were evaluated by international five-level semi-quantitative method，and the fluorescence precipitation area was extracted by traditional image processing method. The input image was transformed into color space，and the binary image was generated by adaptive threshold method in the two feature dimensions of color and brightness. Then，independent deposition areas were obtained by region separation and combination，and then the contour， area and average brightness of each deposition area were calculated， and the process of automatic recognition of fluorescence deposition intensity and shape by computer was obtained. Results On the basis of deep learning，artificial intelligence image analysis can realize the interpretation of immunofluorescence results of IgA nephropathy. Compared with the results of pathological diagnosis doctors，the coincidence rate was higher， IgA reached 88.9%，IgG reached 85.8%，IgM reached 83.8% and C3 reached 88.6%. Therefore，it could assist pathological diagnosis doctors in the interpretation of IgA nephropathy immunofluorescence. Conclusion It is time to make full use of computer technology and network technology to change the pathological workflow，improve the work efficiency of pathological diagnosis doctors，reduce the misdiagnosis rate due to fatigue，and make pathological diagnosis more accurate and objective.

[Key words] IgA nephropathy; Immunofluorescence; Intelligent image analysis; Deep learning

IgA腎病（IgA nephropathy，IgAN）是以IgA為主的免疫復合物沉積，伴系膜細胞及基質增生為主和補體C3等膜攻擊復合物（Membrane attack complex，MAC）沉積于腎小球系膜區(qū)的腎小球疾病。在全世界范圍內，IgA腎病認為是世界上最常見的原發(fā)性腎小球腎炎，20%～40%的患者在20年內進展為終末期腎病[1]。所以盡早明確診斷IgA腎病，能夠采取有效的防治手段，是減少終末期腎病的發(fā)病率及病死率的關鍵之一。現階段腎活檢組織病理檢查包括光學檢查、免疫病理檢查及電鏡檢查。而IgA腎病的確診首先依賴于免疫熒光或免疫組化檢查。IgA腎病的免疫學表現為以IgA為主的腎小球系膜區(qū)或伴有毛細血管壁的高強度、粗大顆粒狀或團塊狀沉積。其是IgA腎病診斷的金標準，并可在一定程度上判斷疾病的預后，在病理診斷中具有重要價值。隨著醫(yī)療電子化、云計算平臺的快速發(fā)展[2]及人工智能影像識別、輔助診斷[3]等方面也開始大量應用，本研究也將在此基礎上對135例IgA腎病免疫熒光切片圖像進行分析，采用國際通用5級半定量法評價，選擇傳統(tǒng)圖像處理方法分割提取熒光沉淀區(qū)域。將輸入圖像進行色彩空間轉換，在顏色和亮度兩個特征維度，采用自適應閾值方法產生二值化圖像。然后使用區(qū)域分離與合并，獲得獨立的沉積區(qū)域，再計算各個沉積區(qū)域的輪廓、面積和平均亮度，得出計算機自動識別熒光沉積強度和形狀的過程。本研究旨在評估深度學習的人工智能（Artificial intelligence，AI）圖像分析在IgA腎病免疫熒光病理診斷中協(xié)助病理醫(yī)生診斷的應用價值，現報道如下。

1 資料與方法

1.1 一般資料

1.1.1 實驗數據收集? 本研究收集2016年1月至2019年6月在我院腎病科收治的腎病病例共452例，以上數據作為患者的隱私，在進入大數據庫前已征得患者的同意，排除因腎穿刺送檢標本數量少，無法出具病理診斷;排除腎穿刺病理診斷疑似診斷者，排除未行免疫熒光檢查患者后，確診IgA腎病患者共135例，獲取免疫熒光圖片1350張作為研究對象，其中IgA、IgG、IgM、C3、C1q每項均攝熒光涂片2張（×200一張，×400一張），包括各項的陽性及陰性圖片。

1.1.2? 病理資料采集? 腎組織免疫熒光檢查包括冰凍切片和石蠟切片。冰凍切片相對石蠟切片而言稍偏厚，細胞結構重疊或不清[4]，但石蠟雖然能避免冰凍切片較厚的缺點，但染色背景高，特異性差，因此為了減少特異性熒光的減弱，目前仍使用冰凍切片制片。應用冰凍切片進行直接免疫熒光檢查是腎活檢免疫病理檢查的重要方法[5]。因此，所有腎活檢標本恒溫冷凍切片，厚5 μm，采用DAKOU公司直接免疫熒光檢測試劑盒對IgA、IgG、IgM、C3、C1q進行檢測，緩沖甘油封片。由于熒光減弱的速度較快，為了不影響對沉積強度、形態(tài)、部位、分布形式的判讀，及時進行攝圖及掃描，以保證智能診斷的準確性。使用德國萊卡（Leica）DM2500免疫熒光顯微鏡進行攝圖存檔及熒光掃描模式下多層掃描獲得清晰圖片。

1.1.3 IgA腎病免疫熒光病理診斷標準? IgA為主在腎小球系膜區(qū)或伴有毛細血管壁的高強度、團塊狀或粗大顆粒狀IgA沉積為IgA腎病。

1.1.4 評價方式? 沉積強度根據國際上通用的5級半定量法評價：即低倍鏡下不顯示熒光、高倍鏡下似乎可見為“-”;低倍鏡下似乎可見、高倍鏡下可見為“+”;低倍鏡下可見、高倍鏡下清晰可見“++”;低倍鏡下可見，高倍鏡下耀眼“+++”;高倍鏡下刺眼“++++”。沉積形態(tài)：連續(xù)線型、不連續(xù)顆粒狀、團塊狀、不規(guī)則等。沉積部位：腎小球毛細血管區(qū)、系膜區(qū)、腎小管基底膜等。熒光的分布方式為局灶、彌漫和節(jié)段。

1.2 方法

1.2.1 人工診斷信息采集? 臨床診斷組由三位高年資腎臟病理醫(yī)師對1350張圖像進行判讀，彼此間為互盲，分別給出免疫熒光從沉積強度、形態(tài)、部位、分布形式的診斷結果，并將2次以上相同診斷結果作為最終診斷結果，為臨床診斷組。

1.2.2 觀察指標? IgAN臨床診斷組與智能診斷組診斷免疫熒光陽性符合率=智能診斷組陽性符合數/臨床診斷組陽性符合數×100%。

1.2.3智能診斷信息采集? 智能診斷[6]組對所有免疫熒光圖像進行標準化處理，再經數據增廣和增強后，將樣本分成訓練集、驗證集和測試集，確保三個樣本之間相互獨立。事先使用訓練集和驗證集完成人工智能診斷系統(tǒng)的開發(fā)和調教，然后將測試集樣本輸入人工智能（AI）診斷系統(tǒng)，獲取智能診斷報告。①人工智能（AI）診斷系統(tǒng)。采用人工圖像特征設計和深度神經網絡特征提取相互集成的方法，其開發(fā)和調教的過程，即為圖像特征設計、人工神經網絡結構的開發(fā)以及人工神經網絡數據調整的過程。采用Opencv跨平臺計算機視覺和機器學習軟件開發(fā)，在小樣本階段，采用人工圖像特征設計方法，主要依據熒光沉積區(qū)域亮度的色彩差異，采用圖像顏色空間轉換，區(qū)域自適應閾值算法，分割熒光沉積區(qū)域，然后再采用圖像形態(tài)學處理，最后提取區(qū)域輪廓（圖1）。②軟件設計。智能圖像分析軟件學習模型技術，按密度、反差、形狀等條件對圖像進行識別、修正及歸類，還可以對圖像進行邊緣提取、色彩識別等，在基于人工圖像特征提取熒光沉積區(qū)域的基礎上，設計了具有一定自動化的沉積區(qū)域標注軟件。該軟件可以高效率對大量IgA熒光圖片進行標注，即標注工具事先生成好可能的熒光沉積區(qū)域的邊界，然后人工修正區(qū)域，刪除多余區(qū)域，增加遺漏區(qū)域。在進行人工標注的同時，可以同步完成熒光病理分析，提供關于圖像的分析結果及數據。③深度神經網絡學習。在完成大量人工標注的IgA熒光圖片后，可以進一步開展基于深度神經網絡的熒光沉積區(qū)域提取和分析算法。本研究采用U-Net醫(yī)學細胞分割工具作為分割的主要網絡，并在U-Net主干網絡的基礎上，增加一個分支網絡用于對區(qū)域邊緣建模，邊緣建模方式參考CASENet語義邊緣檢測算法。訓練過程采用遷移學習法，在COCO等公開數據集上完成神經網絡預訓練，然后使用標注的IgA數據集，采用數據增強方式擴展集，訓練最終的分隔和邊緣提取網絡。通過提取相關特征進行訓練好的神經網絡可以有效識別輸入的圖像，并按照設置的圖像進行訓練、學習、分類，使機器實現“思考、學習和決策” [7]。

2 結果

2.1 智能標準化

本研究利用深度學習模型[8]，通過以深度神經網絡為主的人工智能技術建立人工智能診斷系統(tǒng)，對IgA腎病病理診斷的免疫熒光染色標本進行診斷并描述，統(tǒng)計出其準確性、敏感性及特異性，并與臨床診斷組進行比較，進一步將智能分析系統(tǒng)標準化。采用人工圖像特征設計方法，主要依據熒光沉積區(qū)域亮度的色彩差異，采用圖像顏色空間轉換，區(qū)域自適應閾值算法，分割熒光沉積區(qū)域，然后再采用圖像形態(tài)學處理，最后提取區(qū)域輪廓。通過自動化的沉積區(qū)域標注軟件，標注事先生成好可能的熒光沉積區(qū)域的邊界，然后人工修正區(qū)域，刪除多余區(qū)域，增加遺漏區(qū)域，最終得出診斷。

2.2 智能診斷組與臨床診斷組診斷符合數

由表1～5可知，IgA腎病免疫病理學表現主要為腎小球系膜區(qū)或伴有毛細血管壁的高強度、粗大顆粒狀或團塊狀IgA沉積;約75.5%見IgG沉積;50.3%見IgM沉積，但強度較IgA弱;81.5%見C3沉積，沉積的部位和形狀與IgA相似，無C1q沉積。并且智能神經網絡診斷系統(tǒng)[9]通過不斷的深度學習，對圖像進行分析，與臨床診斷的符合率相比，能夠提供關于圖像的科學數據較高，IgA達88.9%，IgG達85.8%，IgM達83.8%，C3達88.6%。由此可見，隨著對深度學習和圖像診斷深入研究，在醫(yī)學圖像處理領域，借助計算機進行圖像處理與分析診斷是該領域的前沿研究[10]。

3 討論

采用一系列的熒光圖像訓練一個神經網絡，這個網絡可以通過提取相關特征進行訓練識別，并按照設置對熒光圖像進行分類。通過人工智能診斷系統(tǒng)對IgA腎病病理免疫熒光染色標本進行診斷研究，對于圖像識別在臨床的應用具有一定的意義。在研究過程中發(fā)現多個因素會影響診斷的準確率：①免疫熒光劑衰減速度快的特性，需要在完成標本制作后快速掃描成圖，1 h內攝圖可以提高診斷準確性;②制片質量也會影響診斷的準確性，特別是切片厚度、熒光沉淀區(qū)覆蓋均勻度均會影響診斷;③系統(tǒng)需對圖像進行邊緣提取，色彩識別、亮度等因素一定程度上影響了圖像提取的準確性，因此需有效控制圖像區(qū)域自適應閾值。因此，圖像分析需要根據病理學專家的意見調整算法及參數，同時減少干擾因素，這樣才能輔助病理診斷醫(yī)生對IgA腎病免疫熒光的判讀。隨著標記數據的增多及質量的提高，以及智能圖像分析系統(tǒng)的不斷升級優(yōu)化，檢測結果符合率也將會不斷提高。

目前，人工智能在國內外均處于發(fā)展階段[11]，隨著互聯(lián)網、大數據[12]、云計算的快速發(fā)展，從最初的神經網絡和模糊邏輯，到現在的深度學習、圖像探索。由于算法、算力、大數據及圖像處理各方面的進步，人工智能在醫(yī)學領域中的應用也十分廣泛。從最初的功能模仿到針對性的深度學習，從皮膚鏡圖像黑色素瘤[13]的識別到胸部CT肺結節(jié)檢測的效能評估[14]，利用計算機圖像處理模式識別技術對醫(yī)學圖像進行分析處理已引起研究人員的廣泛關注，并取得很大的研究進展，在圖像識別領域獲得成功的大量基礎卷積神經網絡結構（Convolutional neural network，CNN），其算法特別是圖像識別領域獲得大家公認，也均應用于醫(yī)學影像的分割與檢測任務中。深度學習算法的提出，給病理切片圖像的研究帶來了新的思路，為該領域注入了新活力[15]。

隨著大數據、云計算等技術的發(fā)展，人工智能發(fā)展也突飛猛進，醫(yī)療輔助診斷領域逐漸開始慢慢興起。深度學習由于其易學性、通用性及高效性而適用于計算機輔助醫(yī)療[16]。因此充分利用計算機技術及網絡技術改變病理工作流程，提高病理診斷醫(yī)生的工作效率，減少因疲勞閱片發(fā)生的誤診率，使病理診斷更加精準及客觀[17]，也可以減少診斷結果因不同觀察人員的主觀感覺不同而產生診斷的誤差[18]。智能分析為病理診斷提供了一系列的定量化指標使醫(yī)生的主觀經驗的影響因素降低，提高了病理診斷的準確性。智能圖像分析系統(tǒng)最大的優(yōu)點就是智能化，可以對圖像進行分析后提供出計算機對于圖像的科學數據及分析結果。其還能發(fā)現人眼不易察覺的細節(jié)，學習到更高層面上的特征，從而不斷完善數字病理診斷知識體系[19]。

雖然人工智能在不斷進步、不斷發(fā)展，目前人工智能還是在模仿、實驗和學習階段，并未超越或達到人類的認知能力和水平，而且學習的分割及特征展示能力有限，因此需要不斷地進行學習及改進。本研究對于數據采集限于回顧性病例，因此也存在一定的選擇偏倚，并對于AI診斷的相關人文倫理、隱私問題、責任事故劃分等依然沒有定論[20]。病理人工智能是一項極富挑戰(zhàn)性的技術，涵蓋了廣泛的科學及技術，包含了醫(yī)學診斷、圖像處理、機器學習、復雜計算等很多學科的不同領域。所以需要搭建反應快速、操作簡單和能夠智能診斷的信息化系統(tǒng)以滿足病理科在人工智能方面的需求，促進人工智能技術的發(fā)展。

[參考文獻]

[1] 董雪，解汝娟.IgA腎病機制的研究進展[J].醫(yī)學綜述，2018，24（11）：2187-2190，2195.

[2] 辛玉晶，周翔.人工智能在乳腺癌圖像分析中的研究進展[J].癌癥進展，2020，18（5）：433-435，447.

[3] 劉念，陳宏翔.人工智能在皮膚科領域的應用與發(fā)展[J].中華皮膚科雜志，2019，52（1）：63-66.

[4] 羅教秀，儲兵，曹曉珊，等.免疫熒光和幾種特殊染色在腎活檢病理診斷中的應用[J].河北醫(yī)學，2017，23（6）：898-901.

[5] 陳余朋，張聲，鄭珂，等.腎臟穿刺活檢標本免疫熒光制作體會[J].中國現代醫(yī)生，2009，47（33）：154-155.

[6] 梁書彤，郭茂祖，趙玲玲.基于機器學習的醫(yī)療決策支持系統(tǒng)綜述[J].計算機工程與應用，2019，55（19）：1-11.

[7] 王雯秋，孫曉東.人工智能輔助眼底影像——機遇與挑戰(zhàn)并存[J].中華眼視光學與視覺科學雜志，2019，21（3）：166-169.

[8] 劉勘，陳露.面向醫(yī)療分診的深度神經網絡學習[J].數據分析與知識發(fā)現，2019，3（6）：99-108.

[9] 張世豪，冼麗英，高敏，等.基于深度學習的神經網絡智能圖像識別技術應用于宮頸鱗狀上皮內病變細胞學篩查的可行性研究[J].中國臨床新醫(yī)學，2019，12（3）：282-285.

[10] 夏靖媛，紀小龍.計算機深度學習與智能圖像診斷對胃高分化腺癌病理診斷的價值[J].世界華人消化雜志，2017，25（12）：1043-1049.

[11] 劉紅英.“互聯(lián)網+”背景下人工智能發(fā)展現狀分析[J].電腦知識與技術，2018，14（16）：172-173.

[12] 陳素瓊，王惠來，向天雨.醫(yī)療大數據應用現狀研究[J].中國數字醫(yī)學，2017，12（9）：30-31，55.

[13] 張杰，趙惠軍，李賢威，等.基于深度學習方法檢測皮膚鏡圖像中黑色素瘤的研究進展與展望[J].醫(yī)療衛(wèi)生裝備，2018，39（11）：90-95.

[14] 李欣菱，郭芳芳，周振，等.基于深度學習的人工智能胸部CT肺結節(jié)檢測效能評估[J].中國肺癌雜志，2019，22（6）：336-340.

[15] Litjens G，Sanchez CI，Timofeeva N，et al.Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis[J].Scientific Reports，2016，6（1）：26 286.

[16] 張鵬，徐欣楠，王洪偉，等.基于深度學習的計算機輔助肺癌診斷方法[J].計算機輔助設計與圖形學學報，2018， 30（1）：90-99.

[17] 閆雯，湯燁，張益肇，等.深度學習在數字病理中的應用[J].中國生物醫(yī)學工程學報，2018，37（1）：95-105.

[18] 鄭眾喜.擁抱數字病理時代[J].實用醫(yī)院臨床雜志，2017，14（5）：6-9.

[19] 許燕，湯燁，閆雯，等.病理人工智能的現狀和展望[J].中華病理學雜志，2017，46（9）：593-595.

[20] 劉志鵬，侯瑞剛，李雯，等.AI醫(yī)學影像學診斷新模式前景的調查研究[J].山東醫(yī)學高等?？茖W校學報，2020， 42（3）：224-226.

（收稿日期：2020-10-26）