深度學習在染色體分割中的應用綜述

陳少潔，趙淦森，林成創(chuàng)，彭 璟，黃凱信，李壯偉，黃潤樺，杜嘉華，樊小毛

1.華南師范大學 計算機學院，廣州510631 2.廣東技術師范大學 電子與信息學院，廣州510660 3.廣州市云計算安全與測評技術重點實驗室，廣州510631 4.華南師范大學 唯鏈區(qū)塊鏈技術與應用聯合實驗室，廣州510631

根據世界衛(wèi)生組織在《出生缺陷報告》中發(fā)布的統(tǒng)計：先天性疾病是導致嬰幼兒死亡的一項極為顯著的原因，占所有新生兒死亡總數的7%左右[1]。在經濟發(fā)達的歐洲區(qū)域，這個比例更是高達25%。我國不僅是人口大國，也是出生缺陷和先天性疾病高發(fā)的國家。根據《中國出生缺陷防治報告（2012）》統(tǒng)計[2]，我國每年新增缺陷出生人數在90萬例左右，約占新生兒總數的5.6%。出生缺陷是導致妊娠早期流產、嬰幼兒死亡和先天性殘疾的主要原因，不僅嚴重影響新生兒的生長發(fā)育和生活質量，造成嚴重的家庭經濟負擔，而且會造成巨大的社會經濟損失，給原本日趨老齡化的社會帶來巨大的潛在壽命損失。當前出生缺陷已成為影響我國人口素質和群體健康水平的公共衛(wèi)生問題。導致出生缺陷和先天性疾病的原因很多，其中染色體異常、單基因缺陷、多因子遺傳等遺傳因素是較為常見的原因。

染色體是攜帶人類遺傳信息的重要物質，其數目和形態(tài)結構與人類的健康緊密相關。每一個健康的人都具有23對染色體，分別為22對常染色體和一對性染色體，共46條染色體[3]。染色體分析對于臨床醫(yī)學診斷和生物醫(yī)學研究都至關重要。由于細胞分裂中期的染色體均排列在赤道板上，且具有增厚拉長的特點，十分適合于視覺分析[4]，因此目前幾乎所有染色體研究都采用中期染色體進行分析。

完整的染色體分析包括染色體圖片的選擇、將染色體和染色體簇從圖片背景中提取出來、對接觸或粘連的染色體簇進行分割以及對分割后的染色體進行分類四個大致階段[5]。許多研究工作已經探索了自動化或部分自動化的核型分析技術，包括染色體分割[6-8]和分類[8-11]。接觸或重疊染色體的精細分割對于后續(xù)的染色體分類、臨床預測、診斷、治療等步驟都至關重要。

在深度學習技術興起之前，對染色體分割主要采用傳統(tǒng)的圖像分割技術，包括基于閾值、基于區(qū)域和基于邊緣等分割方法[12]。但基于規(guī)則的傳統(tǒng)分割方法不能較好地適應于復雜多變的重疊或接觸的染色體情況。隨著深度學習技術的快速發(fā)展，并在計算機視覺領域取得了矚目的成果。越來越多的深度學習技術被應用于染色體分割中。這些研究可劃分為基于語義分割網絡的染色體分割[13-17]和基于實例分割網絡的染色體分割[18-20]兩大類。相比于基于規(guī)則的傳統(tǒng)圖像分割方法，具有自學習能力和較強泛化能力的深度學習技術在染色體分割中取得了更好的分割效果。

由于染色體呈線狀非剛性結構且中期染色體圖像往往存在強度不均勻的情況，導致許多染色體實例交叉、重疊在一起，使得用傳統(tǒng)的分割方法進行染色體分割非常具有挑戰(zhàn)性。同樣，基于深度學習技術背景下的染色體實例分割研究也面臨著許多挑戰(zhàn)。首先，當前公開可用的染色體數據集屈指可數，大多數研究使用各自收集處理的數據集，使得不同的工作之間不具有可比性，無法推動染色體分割技術在準確率和精確率上取得大的突破。其次，染色體分割的最終目的是便于臨床醫(yī)學診斷和相關研究，但目前還沒有報告顯示具有魯棒性的染色體分割算法被大規(guī)模地應用于臨床醫(yī)學中，也沒有研究系統(tǒng)性地對比現有算法和模型在實際臨床應用中的效果。

基于深度學習技術的染色體實例分割研究無論是對于算法的比較、改進和突破，還是對于臨床應用的指導都具備非常大的參考價值。然而，當前尚無體系化的綜述研究對基于深度學習的染色體分割技術進行總結?；谏疃葘W習的染色體分割，能極大地簡化數據預處理，通過端到端的分割方法，能實現精準高效的染色體分割。本文旨在調研現有的深度學習技術在染色體分割中的應用情況，歸納總結現有研究使用的方法及其優(yōu)缺點。發(fā)現并揭示深度學習技術在染色體分割研究中存在的問題，展望基于深度學習技術的染色體分割領域未來的研究方向。

1 染色體分割領域的熱點問題與挑戰(zhàn)

染色體分割是醫(yī)學影像分割技術的一種具體應用，類似于其他器官組織的分割。染色體的非剛性特質導致細胞圖像中的染色體實例極其容易發(fā)生彎曲、相互黏連和重疊，為染色體實例分割帶來了巨大的挑戰(zhàn)[8-9]。染色體形態(tài)結構的易變性和接觸重疊情況的多樣性，使得應用傳統(tǒng)的分割方法均取得較為普通的分割精度和準確率。隨著具有自適應性的深度學習技術的發(fā)展，將深度學習技術應用于染色體分割成為了研究熱點，但也伴隨著巨大挑戰(zhàn)。

1.1 染色體分割的任務與難點

染色體分割的目標是將兩條或多條重疊或接觸的染色體進行分割，使其各自成為完整且獨立的染色體實例。對于一個給定的圖像I，若其中包含的染色體實例總數為n，則圖像樣本I中的染色體實例集合可表示為UI={S1,S2,…,Sn}，其中Si表示第i條染色體實例。染色體分割任務的目標就是將每個染色體實例從UI中分離開來。

目前幾乎所有基于深度學習的染色體分割研究均使用具有增厚和拉長等特點的中期染色體作為研究對象，但是顯微鏡下的染色體不僅存在接觸或粘連、易折疊和扭曲的情況，還具有目標區(qū)域相似度和均勻性較差等特點。若選用原生細胞圖像進行染色體分割，還會受到來自細胞核等其他物質的干擾，使得染色體的精細分割面臨巨大挑戰(zhàn)。再者，缺乏大規(guī)模的標注訓練數據集，使得眾多研究無法在統(tǒng)一基準上進行比較，推動基于深度學習技術的染色體分割研究取得更進一步突破。目前，基于深度學習技術的染色體分割研究主要采用應用于其他領域的實例分割模型，通過端到端的方式進行分割。由于不同類型的染色體均是由黑白條帶構成，使用現有的模型進行染色體分割，沒有考慮到染色體的圖像特征，染色體實例分割結果還有較大的提升空間。

1.2 評價指標

為了評價各種染色體分割方法的優(yōu)劣，需要一定的評價指標來評估不同方法的分割性能。但由于大多數染色體分割研究并沒有在同一基準的數據集上進行研究，因此，目前不能僅僅以常見的評價指標的好壞對比來評價不同的染色體分割方法。這里介紹在眾多染色體分割研究中較為常用的分割評價指標。分別有IoU（Intersection over Union）、Dice系數（Dice coefficient）、準確率（Accuracy）。

IoU，又稱為Jaccard指數JAC。等于兩個區(qū)域的交集與兩個區(qū)域的并集之比，衡量的是預測結果與實際結果的重疊程度，其數值大小能夠較好地評價分割算法的性能。用A表示染色體的真實標注，B表示分割算法的分割結果，其公式為：

其形象化表示如圖1所示。

圖1 IoU公式

Dice系數是常見的集合相似度度量指標，用于計算兩個樣本的相似性，其值的范圍在0到1之間。分割結果最好時，其值為1，分割結果最差時，其值為0。其公式為：

其中，P1表示實際的染色體實例，P2表示算法分割出的染色體實例。 ||P1為P1區(qū)域的像素個數， ||P2為P2區(qū)域的像素個數。|P1?P2|求出P1、P2相同區(qū)域的像素個數。

Dice系數與IoU（又稱JAC）的關系，為：

準確率（Accuracy）指準確分割的結果占總樣本的百分比，是染色體分割中最為常見的評價指標。給定一個數據集，分割準確率可表示為：

其中，N表示數據集中的所有染色體實例的總數，N′表示算法或模型正確分割的染色體實例總數。

1.3 數據集現狀

1.3.1 現有公開數據集

目前公開的染色體數據集屈指可數。最早公開數據集的是Grisan等人[7]，于2007年使用Q帶顯帶技術[21]，從實驗室獲取了分辨率為768×576像素的162幅染色體圖像，總共包含6 683條染色體。具體數據集可以從http：//bioimlab.dei.unipd.it下載。但是該數據集只有原始的Q帶圖像數據，沒有對應的染色體實例的標注數據，使用該數據集的研究人員需要自行進行數據的標注工作。

Hu等人[13]于2017年使用了數千條半綜合生成的重疊染色體人工合成了一個語義分割數據集。數據集總共包含13 434張94×93像素的染色體灰度圖像，每個樣本均包含兩個隨機重疊的染色體實例。每一幅圖像均有一個大小相同的ground truth標注，ground truth標注中用類標簽進行區(qū)分，如圖2所示，黑色為類標簽0，代表背景區(qū)域。紅色為類標簽1，代表第一條染色體的非重疊部分。綠色為類標簽2，代表第二條染色體的非重疊部分。藍色為類標簽3，代表兩條染色體的重疊部分。具體數據集可從https：//www.kaggle.com/jeanpat/generating-overlapping-chromosomes獲得。

圖2 Hu等人公開的數據集樣本

一直以來，不乏染色體分割研究，但研究所用的數據集幾乎沒有公開。這是因為涉及到患者隱私的染色體數據，不僅在收集方面存在困難，而且手工標注染色體數據也是一個費時費力的過程[22]。手工標注通常需要由經驗專家來完成，他們憑借著豐富的臨床經驗和學科知識來確保染色體數據的高質量標注。實現一定量的高質量標注的染色體數據集具有一定的挑戰(zhàn)。

1.3.2 當前研究中使用的數據集

當前染色體實例分割數據集主要依賴研究人員自行收集和標注。例如Altinsoy等人[23]使用的是仁濟醫(yī)院的染色體圖像創(chuàng)建數據集，數據集由40幅1 200×1 600像素的原始g帶染色體圖像組成；Sharma等人[24]使用的是來自醫(yī)院真實的完整的染色體數據；Saleh等人[14]使用的是Pommier的數據集[25]；Sun等人[15]使用的是FISH數據集[26]；Chen等人[16]使用公開的核型圖進行自標注作為數據集；馮濤等人[18]使用自收集的數據集進行研究；Xie等人[19]使用原始圖像和合成標注的染色體圖像；Lerner等人[27]、Shunren等人[28]實驗使用的是只接觸不重疊的染色體；Agam等人[29]、Garcla等人[30]使用的是重疊但不接觸的染色體。

各種染色體分割研究中使用的數據集，不僅數據集包含樣本數量不同，而且很多人工合成樣本中染色體接觸或重疊的數目和情況也不盡相同。這使得不同的方法之前無法基于同一基準上進行性能比較，為了推動染色體實例分割取得更進一步的突破，迫切需要大規(guī)模、高質量標注的公開染色體數據集。

1.4 關鍵技術問題和挑戰(zhàn)

染色體精細分割的最終目標是能夠成熟地應用于臨床診斷中，便于疾病的分析診斷。由于染色體分割結果對后續(xù)染色體分類、臨床診斷等一系列環(huán)節(jié)起著至關重要的作用，對染色體分割的精度要求會嚴格于對普通圖像分割的精度要求。然而，當前染色體分割研究中還存在著以下幾個方面的技術問題和挑戰(zhàn)。

1.4.1 缺少可用的染色體標注數據集

在醫(yī)療數據緊缺的當下，開源的染色體數據集更是少之又少。目前基于深度學習的染色體分割研究大多都各自使用自己處理的數據集進行實驗。有的研究采用真實世界中完整的染色體圖片數據，如Sharma等人[24]、Madian等人[31]的研究。有的研究則是對重疊或接觸的染色體進行分割，如Hu等人[13]的研究。這使得不同的研究實驗背景和基準不同，實驗結果失去了可比性。無法僅根據實驗結果來評判某種分割方法性能的好壞，更無法明確不斷出現的各種方法是否真的是在推動染色體分割朝著更為精確的方向發(fā)展?；鶞蕯祿南∪保粌H使不同的分割方法無法進行橫向比較，更使得染色體分割技術應用于臨床診斷遙遙無期。

1.4.2 模型的設計和優(yōu)化

由于染色體圖像中接觸或重疊的染色體簇形態(tài)各異，且細胞核等細胞雜質、傳感噪聲等的影響，染色體圖像中目標物體常常存在不清晰和強度不均勻的問題。這使得染色體分割不同于其他圖像分割，對染色體進行分割更具有挑戰(zhàn)性。類似于染色體這樣的，容易出現接觸、重疊和扭曲且邊界模糊等情況的軟組織，將普通的分割模型應用于染色體分割需要進行模型改進，才能更好地滿足染色體精細分割的需求。目前大多數基于深度學習模型的染色體分割研究均采用現有的分割模型加以改進調整。隨著醫(yī)療大數據與人工智能的結合，在未來有望設計出符合類似于染色體等軟組織特點的分割新模型，這對于提高分割精度，推動軟組織分割在臨床醫(yī)學的應用有著重大的意義。

2 基于深度學習技術的染色體實例分割

在深度學習技術日益盛行的當下，越來越多的研究采用神經網絡進行染色體分割。通過端到端的方式簡化了染色體的分割過程，使得染色體得到精確的分割。大體上可分為基于語義分割網絡的染色體實例分割和基于實例分割網絡的染色體實例分割。本章從這兩條研究主線對現有研究進行歸納總結，指出不同分割方法的創(chuàng)新之處，并橫向分析對比不同方法的優(yōu)缺點。

2.1 基于語義分割網絡的染色體實例分割

語義分割是對圖像進行像素級別的劃分，為圖像中的每一個像素分配類標簽[32]。語義分割的方法包括傳統(tǒng)的圖像分割方法[33]和基于深度學習卷積神經網絡[34]的方法。最初，染色體分割研究是采用傳統(tǒng)的圖像分割方法。如Ji[35]、Andrade等人[36]使用基于閾值的分割方法；Manohar等人[37]、Karvelis等人[38]采用基于分水嶺的分割方法；Dougherty等人[39]采用模糊聚類分割方法。

不同于傳統(tǒng)的圖像分割方法，基于卷積神經網絡的圖像分割技術不僅可以簡化圖像的預處理，而且還具備自學習的能力，能通過端到端的特征學習，較大幅度地提高圖像分割的準確率和精確度。2015年，Long等人[40]提出了全卷積網絡（FCN）。FCN[40]沒有全連接層，允許任何尺寸的圖像輸入，能實現高效快速的圖像分割。在此之后大多數的語義分割網絡架構均采用這種方式。但池化層操作雖然融合了上下文信息且增大了感受視野，卻會丟棄部分位置信息。為了保留位置信息，實現精準的語義分割，編碼器-解碼器的網絡架構應運而生。通過編碼器獲取低分辨率信息并縮小圖像維度，再通過解碼器恢復空間維度、獲取能提供精準定位的高分辨率信息。U-Net網絡就是一種典型的編解碼架構[41]。

U-Net由Ronneberger等人[41]于2015年提出。是一種基于FCN[40]的分割網絡。由于U-Net網絡是對像素塊進行特征提取的，因此十分適用于數據量較少的醫(yī)學影像分割。由U-Net網絡架構延伸出來的多種分割網絡也被廣泛地應用于各種圖像分割中。如加入了密集連接和深度監(jiān)督[42]的UNet++[43]、UNet3+[44]；加入了殘差連接的ResNet[45]；加入了殘差連接和循環(huán)連接的R2UNet[46]；引入了注意力機制的Attention U-Net[47]等網絡架構，目前廣泛地應用于前列腺[48]、肝臟[49]、胰腺[50]等多種病理組織的分割中。目前大多數采用基于深度學習技術的染色體語義分割研究都是采用基于U-Net網絡架構的分割方法。

Hu等人[13]于2017提出了基于U-Net[41]、針對染色體分割定制的卷積神經網絡——Resulting neural network。網絡架構如圖3所示。設計了重疊染色體模型，使輸出的分割圖與輸入圖像具有相同的尺寸。因為染色體圖像輸入的特征尺寸較小，不適合經過過多的池化層處理，該模型通過減少了三分之一的模型層和塊來匹配輸入，簡化了模型，使得能較好地進行分割，并減少了計算時間和存儲空間。在半合成的染色體數據集上進行實驗，IoU高達94.7%。該模型是染色體分割技術上的一個重要突破。首次引入深度學習方法來解決染色體分割問題，克服了以往基于像素強度的閾值分割和基于邊界特性的幾何分割等簡單算法性能較差的弱點。但該分割網絡僅能處理兩個部分重疊的染色體簇的問題，對于超過兩條以上重疊的染色體簇場景，該方法無法進行處理。此外，該分割方法僅在合成的數據集上進行測試，沒有在臨床中進行驗證，其性能還有待考核。實驗的IoU分割閾值距離臨床應用標準還有很大差距。

圖3 Resulting Net網絡架構

Saleh等人[14]使用了改進的U-Net[41]架構來分割染色體。針對U-Net網絡架構在進行訓練時，結果可能出現過擬合的現象[51]，提出了使用測試時增強（Test Time Augmentation，TTA）策略[52]來解決這一問題。由于CNN在處理多維計算機視覺問題或面對上千張人臉等復雜模式時，可以分解處理任務，因此該方法還在U-Net的基礎上增加了CNN層，對輸入數據提取了更多的特征。如圖4所示[14]，該網絡架構的通道數和層數多于Hu等人[13]提出的架構，少于原始的U-Net架構[41]。具體的改進方法為用上采樣操作取代池化操作，以提高輸出的分辨率；并在收縮路徑中使用了重復的3×3未填充卷積，每個卷積后進行一個整流單元和一個2×2的最大池化操作，以捕獲輸入特征映射。該研究的數據集是使用Cy3熒光端粒探針收集的染色體重疊數據集，數據集圖像可于Github[25]中查看。對比了加入TTA的方法及新提出的改進U-Net方法，得到了使用Hu等人[13]提出的分割方法，重疊染色體訓練和測試分割的初始輸出分別為99.57%和99.22%。在Hu等人[13]的方法之上使用TTA后，得分分別為99.63%和99.27%。采用改進的新方法，訓練準確率為99.79%，測試準確率為99.68%。表明了在測試時加入增強技術，能夠增加模型捕獲各種對象的機會，使模型學到更多不同尺寸、不同角度的情況，能有效地提高分割精度。

圖4 改進的U-Net架構

圖5 加入擴張卷積的U-Net架構

鑒于擴張卷積[14]在多個語義分割任務中表現良好。Sun等人[15]將現有的SS擴張卷積和GI擴張卷積[53]與典型架構U-Net[41]結合，并提出了三種改進的擴張卷積，即GS、FI和FIGI。改進的擴張卷積算法性能提高穩(wěn)定，易于推廣到多個重疊染色體分割場景，適用于任何網絡中替代標準卷積的一般神經網絡操作。此外，與標準卷積的固定感受野相比，擴張卷積有一個額外的超參數，稱為擴張率。通過調整擴張率，可以調整感受野的大小，但與此同時不增加分辨率或覆蓋率，具有較好的靈活性。改進的分割架構如圖5所示[15]。該研究在Q-FISH數據集[26]（該數據集包含90 667個樣本，圖像為12位灰度的TIF文件，像素大小為1 536×1 024）、Overlaps-13434及Overlaps-90667數據集[25]上進行實驗，對比了U-Net基礎模型與使用了各種擴張卷積的U-Net模型的性能，發(fā)現提出的結合了擴張卷積的模型均能成功地在兩個公開的重疊染色體數據集（Overlaps-13434及Overlaps-90667）中分割重疊染色體。所有提出的具有改進擴張卷積的模型都取得了比U-Net基本模型更好的分割結果，更是優(yōu)于現有的基于U-Net的重疊染色體分割方法。對比U-Net-GS、U-Net-SS、U-Net-GI、U-Net-FI、UNet-FIGI模型的分割結果，得出U-Net-FIGI模型為最佳模型。這是因為它融合了FI運算和GI運算的優(yōu)點，平均IoU可高達0.931 2±0.016 9～0.999 7±0.000 1，具有較好的分割效果。

Chen等人[16]的分割思路是受數據預處理啟發(fā)，在現有模型不變的基礎上，通過調整數據來最大化模型的效果。該研究最大的亮點是將數據模擬和形態(tài)學方法[54]結合引入到染色體分割中。使用了U-Net[41]和PSPNet[55]兩個模型，使得實驗無需進行復雜的數據預處理。為了克服將深度學習應用于染色體分割缺少大量重疊染色體數據集的困難，Chen等人[16]在公共的核型圖上進行自標注，基于真實單一的染色體來生成重疊染色體簇，通過模擬策略生成了大規(guī)模標注數據。由于重疊區(qū)域的強度分布與真實的重疊圖像有所不同，為了減少這種影響，該研究提出以不同比例的真實圖像和模擬圖像組成訓練集，以最大限度地提高性能增益。方法流程具體可描述為將重疊的染色體輸入到語義分割網絡，得到非重疊和重疊的區(qū)域，再使用形態(tài)學方法拼接分割的區(qū)域結構，得到兩個染色體分割的結果。該研究使用的訓練集、驗證集、測試集分別包含112個、15個、29個重疊染色體簇。該方法在26個重疊染色體簇中能成功分割出25條，分割準確率為96.2%。但該研究測試集中所含數據量過少，得出的結果意義不大。

Bai等人[17]提出了結合U-Net[41]和YOLO模型[56]的染色體分割方法?；谥苯訌募毎麍D像中識別出染色體簇，再對染色體簇進行語義分割的目標，該方法先使用U-Net網絡對原始染色體顯微圖像進行分割，去除背景噪聲，然后使用YOLO模型檢測圖像中的染色體簇，再用U-Net模型對識別出來的染色體簇進行實例分割。染色體分割提取的流程如圖6所示[17]。該研究在50張隨機原始顯微照片，共1 662個非簇染色體實例和638個染色體簇進行實驗。為了增強該方法的泛化能力，在訓練前對數據進行了旋轉、翻轉和平移等操作[57]。該方法能夠正確分割出2 283條染色體，分割準確率高達99.3%。該方法充分利用了U-Net在處理少量樣本中的優(yōu)勢及其在染色體顯微圖像去噪中的優(yōu)異性能和YOLOv3適合快速準確地識別大小目標，能有效地避免漏檢的特點，充分汲取了不同模型的優(yōu)點來進行染色體分割。該方法能夠直面細胞圖像，直接獲得染色體實例，并獲得不錯的分割準確率。但需要同時運行UNet模型和YOLO模型，運算代價較大，并且在基于UNet染色體實例分割中，僅能處理兩個染色體形成的簇，無法處理超過兩條染色體實例形成的簇。

圖6 分割流程

綜上，大多數的基于語義分割網絡的染色體分割的研究都是在U-Net基礎上進行改進的。通過各種數據預處理、引入擴張卷積、調整模型結構、多個模型結合等多種方法來增強算法的魯棒性和泛化能力。幾乎所有語義分割網絡在染色體分割中均能適應染色體簇復雜多樣的形態(tài)結構，取得較為良好的染色體分割效果。但目前所取得的報告結果尚未應用于具體臨床實踐中，如Hu等人[13]提出的分割方法距離臨床應用的標準還有很大的差距。此外，目前對染色體圖像進行語義分割的研究尚未能大膽突破，大多數是在原始的U-Net架構之上進行改進，未來有待突破。最后，受限于語義分割的像素分類特性，每一個像素只能屬于一個類別，決定了基于語義分割網絡的染色體實例分割方法僅能處理簡單的重疊影像，無法應對多條染色實例相互交叉的情況。

2.2 基于實例分割網絡的染色體實例分割

實例分割是計算機視覺領域的重要任務之一，它具備語義分割的特點，不僅能進行像素層面的分割，還可以區(qū)分出不同的實例對象。對于屬于同一類的多個對象，實例分割網絡也能將他們分為不同的實例對象。常見的語義分割網絡，如FCN[40]和U-Net[41]，他們不能直接區(qū)分同一類別的不同對象，均只能進行像素層面的分割，這在實際應用中往往不能較好地實現接觸或重疊染色體的分割，而實例分割可能是更好的方法。隨著深度學習網絡架構在計算機視覺領域的發(fā)展，越來越多的實例分割網絡用于染色體分割的研究中。

馮濤等人[18]基于Mask R-CNN實例分割模型[58]提出Mask Oriented R-CNN染色體實例分割框架。分割架構如圖7所示[18]。鑒于方向信息對于染色體的精確分割至關重要，該研究基于Mask R-CNN[58]網絡架構設計了有向包圍框、AwIoU度量和有向卷積通路結構等有效組件來獲取和應用方向信息，有效地提升了染色體分割性能。實驗數據為自收集的181張，尺寸大小為1 017×896的分割標注的染色體分裂中期照片。包含背景、染色體和雜質3個對象類別，作為測試集進行網絡訓練，并合成了15 728張分裂中期原始照片，利用這15 728張原始風格合成分裂中期照片作為訓練集。該研究使用不同IoU閾值下的平均精度均值（mean Average Precision，mAP）來評估和報告結果，這里簡記為AP。采取COCO數據集（Dataset of Common Objects in Context Visual Recognition Challenge）[59]定義的計算方法，且算法中的IoU采用掩膜IoU。以原始的Mask Oriented R-CNN作為基準，實驗結果是AP為22.49%，AP50為41.32%，AP60為38.13%，AP70為30.15%，AP80為12.63%，AP90為0.81%。使用改進的Mask Oriented R-CNN實例分割框架可得到AP為27.4%，AP50為51.54%，AP60為47.41%，AP70為37.42%，AP80為13.93%，AP90為0.36%的分割精確度顯著提升的結果。該研究提出了結合方向信息的分割框架，能進行端到端的染色體實例分割，能直接從細胞圖像中提取所有的染色體實例。但該實驗的數據集標注難度和工作量非常大，盡管現有的技術能夠輔助生成大量的虛擬樣本，工作量還是巨大的。此外，細胞圖像的尺寸較大，對模型的運算效率和硬件資源要求較高，且報告的性能指標是在作者自收集的數據集上獲得，而該數據集中僅僅包括181張真實樣本（含訓練、驗證和測試），無法驗證和判斷該方法在臨床上的實際效果。

圖7 改進的Mask R-CNN架構

通過綜合對比Mask R-CNN[58]、FCIS（Fully Convolutional Instance-aware Semantic Segmentation）[60]和Shape Mask[61]三個網絡的實例分割效果，Xie等人[19]直接將現有的Mask RNN模型（ResNet-101[45]作為骨干）應用于染色體實例分割。充分利用了Mask R-CNN[58]識別物體速度快、精度高且能快速實現預測物體類別、包圍框和生成掩模任務的特點，實現染色體精細分割。實驗的數據集包括原始圖像和合成圖像。模型經過對343張真實圖像訓練，在100張真實圖像上測試，獲得了AP為52.059%，AP50為90.590%。當將訓練數據集中的真實數據和合成數據以1∶4的比例相結合時，測試AP和AP50分別提高了8個點和5個點。當IoU設置為0.5時，對100幅真實圖像測試的分割準確率為95.644%。當實驗數據為200幅組合圖像時，分割精度為91.673%。該研究直接使用現有的Mask RNN模型，同行方便復現。能直接從細胞圖像分割出染色體實例，具有直接應用于臨床實踐的可能。但該實驗的現有指標是在少量數據上獲得的，沒有在臨床上進行驗證。再者，現有的實驗結果是使用ResNet101作為骨干網絡獲得，作者沒有給出ResNet50[45]骨干的實驗結果。在實際應用中ResNet50骨干的Mask R-CNN使用更為廣泛，同時相比ResNet101骨干的Mask R-CNN對運行環(huán)境的實用性更強。

圖8 AS-PANet模型架構

林成創(chuàng)等人[20]提出了基于路徑增強網絡PANet[62]改進的AS-PathNet染色體實例分割模型。如圖8所示[20]，即在PANet[62]的基礎上結合數量統(tǒng)計分割（Amount Segementation，AS）。模型能夠融合圖像分類、目標檢測、實例分割、染色體計數4個子任務共享特征層的特征聯合訓練，從而提高實例分割的精度。實驗數據集為廣東省婦女兒童醫(yī)學遺傳中心獲取的臨床染色體顯微圖像數據，標注了882個染色體簇樣本，其中802個用于訓練，80個用于測試。該實驗在臨床染色體數據中平均分割精度（mean Average Precision，mAP）為90.63%，比PANet提升了1.18%，比基線模型Mask R-CNN提升2.85%。分割準確率為85%，比PANet提升了2%，比基線模型Mask R-CNN提升3.75%。該研究是采用多階段的非端到端的技術路線，先使用形態(tài)學對細胞圖像分成若干個圖像，再對圖像中的染色體簇進行實例分割，圖像的尺寸相對于細胞圖像而言小了許多，帶來的優(yōu)勢是數據標注的效率更加高了。但相比較端到端的方法而言，處理起來更加復雜。

實例分割不僅可以做到像語義分割那樣的像素級別的分類，還具備目標檢測的能力，能夠將所屬為一類的目標對象區(qū)分開來，能更好地實現染色體實例分割。但目前基于實例分割網絡的染色體分割研究成果都是基于小的自我標注數據集得到的，未能在大規(guī)模真實的數據集中檢驗，性能還有待考核。

3 總結和展望

本文闡述了基于深度學習技術的染色體分割的任務及其難點，介紹了染色體分割的研究現狀、相關評價指標和數據集。對基于語義分割網絡的染色體實例分割和基于實例分割網絡的染色體實例分割研究進行了綜述，并總結不同方法的優(yōu)缺點、相關實驗使用的數據集及實驗結果，如表1所示。指出當前染色體分割研究中存在的問題，展望未來基于深度學習技術的染色體分割研究的發(fā)展方向，為相關研究提供參考。

表1 深度學習技術在染色體分割中的應用總結

總的來說，基于深度學習技術的染色體分割取得了優(yōu)于傳統(tǒng)分割方法的準確率和分割精度，是染色體分割研究領域的大突破。但在當前基于深度學習的染色體分割研究中存在著以下的問題。

（1）缺少具備測試基準（Benchmark）的公開數據集。當前研究中缺乏高質量的臨床染色體分割數據，以支撐不同的算法在該數據集上進行公平比較，促進新算法的設計。

（2）缺乏統(tǒng)一的評價指標。當前，不同染色體分割研究采用的評價指標各有不同，若能統(tǒng)一評價指標，可以更方便于不同研究之間的橫向比較，推動染色體分割技術取得更大的進步。

（3）缺乏臨床的實際效果評估，臨床有效性難以判斷。染色體分割的最終目的是應用于臨床診斷，造福于人類社會。但是當前的研究成果幾乎都是基于小型的私有數據集進行測試和驗證，鮮有算法在大規(guī)模的臨床上進行測試。因此，現有的研究成果在臨床上的有效性有待考證。

在未來，為了促進染色體分割技術的發(fā)展，需要突破數據集稀缺、評價指標不統(tǒng)一、現有研究未應用于實際場景中等問題。需建立大規(guī)模的染色體分割的基準，包括大規(guī)模的分割數據集和性能基線，讓各種研究在同一個數據集上進行公平比較。統(tǒng)一染色體實例分割的評估指標，使得不同的工作可以在同樣的指標下進行對比。鼓勵開展人機對抗，檢驗算法在實際臨床應用中的效果，體現染色體分割研究的應用價值。