融合空間和多尺度特征的乳腺癌免疫組化Ki-67指數(shù)定量分析

熊學春，吳煥文，任 菲，崔 莉，梁智勇，趙 澤

1中國科學院計算技術研究所，北京 100190 2中國科學院大學計算機科學與技術學院，北京 101408 3中國醫(yī)學科學院北京協(xié)和醫(yī)院病理科，北京 100730

國際癌癥研究機構發(fā)布的2020年全球癌癥統(tǒng)計數(shù)據(jù)顯示，乳腺癌已成為女性最高發(fā)的惡性腫瘤(新增病例在所有腫瘤中占比11.7%)，每年可導致68.5萬病例死亡[1]。準確診斷是精準治療的前提。Ki-67是乳腺癌診斷過程中常用的免疫組化標志物，是評估腫瘤細胞增殖活性的關鍵指標，Ki-67指數(shù)可作為乳腺腫瘤良惡性及其惡性程度的輔助診斷指標。一般情況下，乳腺癌的Ki-67指數(shù)高于10%，隨Ki-67指數(shù)升高，腫瘤生長加快、組織分化能力降低，患者預后較差[2]。

目前臨床工作中，Ki-67指數(shù)大多需病理醫(yī)生通過顯微鏡對腫瘤細胞進行人工計數(shù)獲得[3]；部分研究通過瀏覽整張免疫組化染色的全視野數(shù)字圖像(whole slide image,WSI)，采用視覺評估法計算Ki-67指數(shù)[2]。上述方法工作量大、效率低、準確率差且具有主觀性。2019年10月，國際乳腺癌Ki-67工作組(International Ki-67 in Breast Cancer Working Group，IKWG)召開會議,討論了Ki-67免疫組化檢測在乳腺癌診斷與治療中的應用現(xiàn)狀[4]，指出基于機器學習的自動化評估可能有助于解決當前Ki-67免疫組化判讀中的難題[2,4-5]。當前，深度學習在病理圖像處理領域已取得了顯著成效[6-8]，自動化評估Ki-67指數(shù)亦取得重要進展。根據(jù)病理圖像的處理方式，大致可分為兩類：一類是基于圖像處理技術，一類是基于機器學習和神經(jīng)網(wǎng)絡。Xing等[9]提出了一種基于全卷積網(wǎng)絡的KiNet模型，對Ki-67細胞核進行檢測和識別，并在胰腺神經(jīng)內(nèi)分泌腫瘤數(shù)據(jù)集中得到了良好的分類效果驗證，曲線下面積(area under the curve,AUC)為0.724。Negahbani等[10]利用點標注的方式制作了SHIDC-B-Ki-67數(shù)據(jù)集，并提出一種用于Ki-67細胞檢測和分類的模型，對免疫陽性細胞、免疫陰性細胞和淋巴細胞檢測和分類的精確度為77.66%。Shete等[11]將基于染色強度的閾值化和分水嶺分割方法相結(jié)合，依據(jù)細胞染色區(qū)域面積、細胞形態(tài)學特征、紋理特征等實現(xiàn)了對乳腺腫瘤細胞惡性程度自動化檢測。Ko等[12]對圖像進行染色歸一化，分離染色區(qū)域后實現(xiàn)重疊細胞核分離，改善了不同實驗室或環(huán)境中由染色變化引起的圖像處理問題。但上述研究均是在單個圖塊上對Ki-67指數(shù)進行定量分析，并將部分區(qū)域定量分析的結(jié)果代替整張WSI的Ki-67指數(shù)。本研究提出一種智能化定量分析Ki-67指數(shù)的方法，可識別整張WSI中的Ki-67指數(shù)，提高Ki-67指數(shù)評估的準確性和客觀性。

1 材料與方法

1.1 研究材料與數(shù)據(jù)集分組

回顧性納入2020年1— 12月北京協(xié)和醫(yī)院乳腺癌患者的病理切片。納入標準：根據(jù)組織病理和免疫組化結(jié)果，確診為乳腺浸潤性癌；排除標準：切片質(zhì)量不合格。

采用德國Leica公司Aperio AT2高通量切片掃描儀將病理切片以40倍率掃描為WSI圖像。由2名病理科醫(yī)生根據(jù)2019年IKWG制定的指南[4]對所有WSI中的Ki-67指數(shù)進行人工判讀后，按5∶8的比例隨機將WSI圖像分為A、B兩個數(shù)據(jù)集。2名病理科醫(yī)生選取WSI中Ki-67陽性腫瘤細胞最集中且分布均勻的區(qū)域(熱點區(qū)域，圖1)對A數(shù)據(jù)集進行標注，用于WSI熱點區(qū)域識別模型訓練與測試；B數(shù)據(jù)集用于評估模型對Ki-67指數(shù)計算結(jié)果的準確性，并采用Bland-Altman法[13]對人工判讀與智能定量分析結(jié)果進行一致性評價。

圖1 乳腺癌Ki-67指數(shù)免疫組化病理圖像標注示例A.熱點區(qū)域；B、C.正常組織區(qū)域

本研究已通過北京協(xié)和醫(yī)院倫理審查委員會審批(審批號：S-K311)，并豁免患者知情同意。

1.2 方法

1.2.1 整體研究框架

本研究提出的Ki-67指數(shù)智能化定量分析方法主要包括2個部分(圖2)：(1)提出一種融合空間和多尺度特征的高精度乳腺癌WSI熱點區(qū)域識別模型；(2)在識別出的熱點區(qū)域內(nèi)，40倍視野下隨機選取每張WSI的10個視野進行自動細胞識別、分類、計數(shù)，計算10個視野下的Ki-67指數(shù)均值，為整張WSI的Ki-67指數(shù)。

圖2 Ki-67指數(shù)智能化定量分析方法整體框架

1.2.2 圖像預處理

由于WSI制作、掃描過程中可因抖動、電子脈沖干擾等因素的影響，導致圖像失真、模糊，在分析前需進行預處理。結(jié)合實際情況和預試驗比較結(jié)果，借助Opencv-Python庫并采用高斯濾波對圖像進行去噪、平滑圖像、去除空白背景等處理[14]。由于在HSV(Hue,Saturation,Value)顏色空間中分析更方便，首先根據(jù)公式(1)將原始圖像從RGB顏色空間轉(zhuǎn)換至HSV顏色空間，然后基于Otsu算法[15]獲取二值化的組織掩碼，并進行形態(tài)學開閉運算，提取組織區(qū)域圖像。

(1)

其中，R、G、B分別表示紅色、綠色、藍色，取值范圍均為[0,255]；H為色調(diào)，取值范圍為[0,1];V為明度，取值范圍為[0,255]。

1.2.3 提取熱點區(qū)域掩碼與圖塊

按7∶1∶2的比例將A數(shù)據(jù)集隨機分為訓練集、驗證集和測試集。采用ASAP(Automated Slide Analysis Platform)軟件對熱點區(qū)域進行標注，然后提取熱點區(qū)域掩碼圖像。用組織區(qū)域圖像減去熱點區(qū)域即可獲取正常區(qū)域掩碼圖像。在2種圖像內(nèi)部，將原始WSI圖像于40倍視野下隨機裁剪為2000個 512×512像素的圖塊(patch)。在上述圖塊中隨機選取50個，對其中的Ki-67陽性腫瘤細胞、陰性腫瘤細胞和非腫瘤細胞進行標注(Ki-67指數(shù)的計算僅包括腫瘤細胞，若不排除非腫瘤細胞，Ki-67指數(shù)將偏低)，見圖3。標注后，計算Ki-67指數(shù)[16]。

圖3 熱點區(qū)域內(nèi)圖塊標注示例A.熱點區(qū)域內(nèi)隨機選取的圖塊；B.標注結(jié)果，其中實心圓為Ki-67陽性腫瘤細胞，實心矩形為Ki-67陰性腫瘤細胞，“X”為非腫瘤細胞

1.2.4 熱點區(qū)域識別

WSI可完全保留病理切片上的原始組織特征信息，對于數(shù)據(jù)量巨大且缺乏像素級的標注，病理醫(yī)生可通過縮放、拖拽、平移圖像的方式瀏覽整張WSI圖像。在作出診斷決策時，需同時考慮單個區(qū)域相鄰的信息和不同區(qū)域之間的相關性信息，最后確定整張WSI圖像的Ki-67指數(shù)[8]。常用的病理圖像分類深度學習方法，一般是將一張數(shù)萬×數(shù)萬像素的WSI切分為數(shù)萬張圖塊，通過病理醫(yī)生對熱點區(qū)域的粗標注引入醫(yī)學先驗知識[17]，此時數(shù)萬張圖塊對應一個標簽，然后采用VGG[18]、ResNet[19]、MobileNet[20]等卷積神經(jīng)網(wǎng)絡模型對圖塊進行分類[21]。此種分類方法會導致圖塊在整張WSI圖像中的空間位置信息丟失，無法融合相鄰圖塊的信息和空間位置信息。

針對該問題，本研究采用一種融合空間和多尺度特征的乳腺癌WSI熱點區(qū)域識別方法，即條件隨機場模型[22](圖4A)。條件隨機場模型是Lafferty等[23]于2001年提出的將最大熵模型和隱馬可夫模型相結(jié)合的一種概率無向圖模型。該模型在自然語言處理中的命名實體識別任務以及計算機視覺中的圖像分割任務等領域均有廣泛應用。

在概率無向圖模型中，隨機變量之間的關系較直觀，易于理解。在實際應用時，目的是計算聯(lián)合概率分布。為簡化計算，假設將WSI中的圖塊設置為X1、X2、X3…Xn，若一個圖塊為熱點區(qū)域，則其相鄰圖塊為熱點區(qū)域的概率很大(圖4B)。進一步對圖塊的關系簡化(圖4C)，并根據(jù)公式(2)計算模型的聯(lián)合概率分布。

圖4 圖塊之間的概率無向圖模型示意圖

×ψ2(X1,X4)]

(2)

1.2.5 模型構建與相關參數(shù)設置

經(jīng)圖像預處理獲取熱點區(qū)域和正常組織區(qū)域的圖塊后，將訓練集和驗證集圖塊輸入至ResNet34預訓練模型[19]進行特征提取。每個圖塊被編碼為固定長度的Embedding，作為概率無向圖模型中的節(jié)點進行空間特征維度建模。模型可輸出每個圖塊的位置分布概率，用以判定特定圖塊是否位于熱點區(qū)域。高精度乳腺癌WSI熱點區(qū)域識別模型框架見圖5。

圖5 乳腺癌WSI熱點區(qū)域識別模型整體框架圖

硬件參數(shù)：Linux版本為CentOS 3.10.0～693.el7.x86_64，CPU版本為Intel(R)Xeon(R)Silver 4114 @ 2.20 GHz，顯卡為NVIDIA GeForce RTX 2080 Ti(顯存容量11 GB，顯存位寬352 b，顯存頻率14 000 MHz)，內(nèi)存為 32GB 2666 MHz DDR4。軟件環(huán)境：編程語言為 Python 3.6.5，相關的深度學習框架為Torch，CUDA及cuDNN環(huán)境分別為10.0和7.4，CPU環(huán)境運行下的編譯器為GCC 4.8。Python計算包：Torchvision 0.4.2，Opencv-Python 4.5.1.48，Openpyxl 3.0.9，Openslide-Python1.1.2。模型訓練時的參數(shù)：Batch Size 為32，優(yōu)化器為Adam，學習率為0.001，損失函數(shù)為Cross Entropy，Epoch為30。

1.2.6 熱點區(qū)域識別與腫瘤細胞自動計數(shù)

WSI輸入經(jīng)過訓練的ResNet34熱點區(qū)域識別模型，獲取熱點區(qū)域概率熱力圖，其中概率高于0.5的區(qū)域認定為熱點區(qū)域。在熱點區(qū)域內(nèi)，40倍視野下隨機選取10個視野進行Ki-67指數(shù)計算。首先對輸入的RGB圖像進行預處理，然后按照公式(3)將RGB值轉(zhuǎn)換成光密度(optical density,OD)空間：

(3)

圖6 腫瘤細胞計數(shù)方法

1.3 統(tǒng)計學處理

采用SPSS 23.0軟件進行統(tǒng)計學分析。以病理科醫(yī)生人工判讀結(jié)果為金標準，計算模型對熱點區(qū)域識別的準確率以及識別的Ki-67指數(shù)誤差，誤差在±0.2之間視為模型計算結(jié)果正確。采用Bland-Altman法評價人工判讀和模型計算Ki-67指數(shù)的一致性。

2 結(jié)果

2.1 數(shù)據(jù)集

共入選符合納入和排除標準的乳腺癌患者病理切片132張。其中A數(shù)據(jù)集 50張(訓練集、驗證集和測試集WSI圖像分別35張、5張、10張，分別包含圖塊70 000個、10 000個、20 000個)，B數(shù)據(jù)集82張。

2.2 熱點區(qū)域智能化識別結(jié)果

訓練后的ResNet34模型對測試集熱點區(qū)域識別的平均準確率為81.5%。熱點區(qū)域可視化結(jié)果見圖7。

圖7 熱點區(qū)域可視化識別結(jié)果

2.3 Ki- 67指數(shù)定量結(jié)果

在熱點區(qū)域識別的基礎上，模型可根據(jù)選取的視野，自動對細胞進行分類、計數(shù)(圖8)，最終計算整張WSI中的Ki-67指數(shù)。以病理科醫(yī)生人工判讀結(jié)果為金標準，本研究該模型對B數(shù)據(jù)集82張切片Ki-67指數(shù)計算準確率為90.2%(74/82)。

圖8 模型對細胞分類計數(shù)結(jié)果

2.4 Ki- 67指數(shù)一致性評價

圖9 Ki-67指數(shù)一致性評價結(jié)果的Bland-Altman圖

3 討論

乳腺癌免疫組化Ki-67指數(shù)在治療方案制訂和預后風險評估中占據(jù)重要地位，臨床意義顯著。目前在臨床工作中，人工判讀Ki-67指數(shù)工作量大，結(jié)果具有主觀性，亟需探尋一種高效、易操作且準確率高的Ki-67指數(shù)評估方法。本研究基于ResNet34算法，首次構建針對乳腺癌WSI圖像可自動識別并輸出Ki-67指數(shù)的智能化判讀系統(tǒng)，結(jié)果顯示該方法對Ki-67指數(shù)計算結(jié)果的準確率為90.2%，與人工判讀結(jié)果一致性較好，有望應用于臨床，輔助臨床決策。

組織病理是腫瘤確診的金標準，病理科醫(yī)生通過對病理切片進行觀察，可為腫瘤診斷提供最重要的依據(jù)。免疫組化是組織病理學與細胞病理學的關鍵組成部分，在腫瘤診斷、分子分型、精準治療等方面均具有極大的影響力，但實際應用過程中，受判讀區(qū)域選擇、計數(shù)細胞總和、計數(shù)方法等因素的影響，其結(jié)果準確性、可重復性方面仍存在諸多挑戰(zhàn)。近年來，人工智能技術快速崛起，其在醫(yī)學中的應用越來越廣泛，醫(yī)工結(jié)合、醫(yī)工交叉已成為研究的新趨勢[26]。但既往主要針對病理圖像的圖塊進行研究，尚缺乏直接可識別整張WSI圖像中Ki-67指數(shù)的方法[9-12]。本研究基于深度學習技術建立的整張WSI圖像中Ki-67指數(shù)智能定量方法，在判讀區(qū)域選擇、計數(shù)細胞總和、計數(shù)方法3個方面均有明顯改進，在保障了Ki-67指數(shù)判讀結(jié)果的高準確率和可重復性的同時，可快速(識別一張WSI圖像平均耗時60 s)輸出結(jié)果，優(yōu)勢明顯。

3.1 判讀區(qū)域選擇

由于腫瘤細胞具有較高的異質(zhì)性，在乳腺癌免疫組化WSI圖像中，Ki-67陽性腫瘤細胞多呈不均勻分布，存在明顯的熱點區(qū)域、冷點區(qū)域和邊緣區(qū)域，不同區(qū)域內(nèi)的Ki-67指數(shù)存在較大差異，其中以熱點區(qū)域最高，邊緣區(qū)域次之，冷點區(qū)域最低。因此，判讀區(qū)域選取不同，必然導致Ki-67指數(shù)判讀結(jié)果不一致，影響結(jié)果的準確性。IKWG建議，乳腺癌Ki-67指數(shù)免疫組化WSI中，若存在熱點區(qū)域，則判讀區(qū)域應選擇在熱點區(qū)域內(nèi)[26]。本研究建立的融合空間和多尺度特征的高精度乳腺腫瘤WSI熱點區(qū)域識別模型，對熱點區(qū)域具有較高的識別能力(平均準確率為81.5%)且速度較快，結(jié)果重復性好，是Ki-67指數(shù)計算結(jié)果具有高準確率的前提和重要保障。

3.2 計數(shù)細胞總和

判讀區(qū)域選定后，需對區(qū)域內(nèi)細胞進行識別與分類，以計算Ki-67指數(shù)。對于細胞較少的區(qū)域，Ki-67指數(shù)判讀結(jié)果穩(wěn)定性差。部分國家的指南指出，應在熱點區(qū)域計數(shù)200個腫瘤細胞進行Ki-67指數(shù)判讀[27]。IKWG建議，免疫組化Ki-67指數(shù)定量分析中，每個區(qū)域內(nèi)以計數(shù)1000個腫瘤細胞為宜，至少不應低于500個腫瘤細胞。本研究Ki-67指數(shù)智能化量系統(tǒng)在計算Ki-67指數(shù)前，首先對區(qū)域內(nèi)腫瘤細胞進行計數(shù)，若Ki-67陽性腫瘤細胞數(shù)量不足500個，則需重新選擇判讀區(qū)域，因此保障了結(jié)果的準確性、穩(wěn)定性和客觀性。

3.3 計數(shù)方法

顯微鏡下人工閱片對腫瘤細胞進行分類，易發(fā)生“誤數(shù)”或“漏數(shù)”的現(xiàn)象，導致計算結(jié)果不準確。本研究構建的模型可程序化自動分類與計數(shù)，不僅結(jié)果準確(準確率為90.2%)、省時高效，且避免主觀因素的影響。Bland-Altman法一致性評價結(jié)果顯示，人工判讀與模型計算Ki-67指數(shù)的一致性良好，提示該智能定量方法對Ki-67指數(shù)判讀結(jié)果的誤差較小，可達到人工閱片水平，再次驗證了其具有準確性高和可重復性好的優(yōu)勢。

本研究局限性：(1)受限于樣本量，雖然模型對Ki-67指數(shù)的評估具有較高的準確性，但模型仍可能存在過擬合現(xiàn)象；(2)缺乏多中心數(shù)據(jù)對模型的性能進行外部驗證。

綜上，本研究提出的融合空間和多尺度特征的乳腺癌免疫組化Ki-67指數(shù)智能定量分析方法，可快速、準確、客觀對Ki-67指數(shù)進行判讀，輔助病理科醫(yī)生完成乳腺癌診斷，提升了工作效率，為乳腺癌患者進行精準分子分型和個體化治療提供科學可信的理論依據(jù)和技術支持。

作者貢獻：熊學春負責對人工智能分析計算方法流程的實現(xiàn)及論文撰寫；吳煥文負責病理圖像收集、標注及論文撰寫；任菲負責選題構思、論文修訂；崔莉負責分析方法技術指導；梁智勇負責病理診斷流程制定、結(jié)果評測；趙澤負責智能分析方法指導、深度學習相關方案設計、論文修訂與審核。

利益沖突：所有作者均聲明不存在利益沖突