一種基于全卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)測量校準方法研究

楊 靜，湯福南，張 暉*

（1.南京醫(yī)科大學附屬兒童醫(yī)院放射科，南京 210008；2.南京醫(yī)科大學第一附屬醫(yī)院臨床醫(yī)學工程處，南京 210029）

0 引言

根據(jù)2016年公布的數(shù)據(jù)，在各種類型的癌癥中，肺癌的發(fā)病率和死亡率均居于前列[1]。通常，CT檢查被認為是檢查肺部病變最精確的成像模態(tài)[2]，隨著CT技術(shù)的進步，早期無法發(fā)現(xiàn)和診斷的肺部影像，如極小的肺結(jié)節(jié)、密度變化不明顯的磨玻璃結(jié)節(jié)、肺門附近易被掩蓋的肺結(jié)節(jié)影像也可以被清晰地觀察到，文獻報道≤10 mm的純磨玻璃密度結(jié)節(jié)的檢出率也越來越高[3]。結(jié)節(jié)處理是以體積和倍增時間為基礎(chǔ)[4]，但肺結(jié)節(jié)每次檢查均為屏氣掃描，屏氣的深淺程度不會完全一致，不同的屏氣深度會影響同一肺結(jié)節(jié)體積倍增情況的測量結(jié)果，進而影響肺部病變良惡性的臨床診斷。為了使每次的測量結(jié)果具有一致性和可比性，就需要將屏氣的程度進行量化并校準每次測量的肺結(jié)節(jié)體積?，F(xiàn)有的肺結(jié)節(jié)體積倍增測量要求受檢者在檢查中盡可能保持相同的呼吸深度，必要時還需要進行呼吸訓練以規(guī)范呼吸[5]，在此基礎(chǔ)上認定前后2次屏氣深度完全相同，且測量過程中不會進行任何誤差校準，但每次受檢者的呼吸并不可能完全相同，所以臨床診斷結(jié)果存在較大誤差[6]。目前人工智能在肺結(jié)節(jié)篩查方面已比較成熟，但在肺結(jié)節(jié)定性和肺結(jié)節(jié)測量方面仍存在一定盲區(qū)，如評估呼吸運動對肺結(jié)節(jié)測量結(jié)果的影響還停留在規(guī)范受檢者呼吸等方面[7]。本研究的目的是構(gòu)建一種用于肺輪廓語義分割的全卷積神經(jīng)網(wǎng)絡(luò)，并以此為基礎(chǔ)準確勾畫出肺部輪廓，以肺輪廓的改變量來修正由于呼吸運動而造成的對肺結(jié)節(jié)測量結(jié)果的偏差。

1 資料與方法

1.1 一般資料

網(wǎng)絡(luò)訓練與測試數(shù)據(jù)來自美國國立衛(wèi)生研究院（National Institutes of Health，NIH）的CT圖像數(shù)據(jù)集中的263幅胸部圖像，其中軟組織窗75幅、肺窗188幅。實驗結(jié)果驗證數(shù)據(jù)來自25例PET/CT腫瘤篩查的患者，每例患者的PET/CT檢查圖像包括用于衰減校準的自由呼吸胸部CT檢查圖像和屏氣胸部CT檢查圖像。NIH的數(shù)據(jù)一般是將同一三維體積中的數(shù)據(jù)按順序排放在一起，為了避免訓練數(shù)據(jù)出現(xiàn)在一個三維體積中提取多幅圖像的情況，在選取訓練數(shù)據(jù)時會根據(jù)圖像在每個三維體積中的特征，在同一個三維體積中，肺尖取1幅圖像，肺中部取2～3幅圖像（病灶有代表性的會適當多取1～2幅圖像），肺底取1幅圖像，以達到取樣合理的目的。

1.2 實驗方法

本研究的依據(jù)是肺結(jié)節(jié)的大小應該與單次屏氣深度呈比例，以肺實質(zhì)容積表征每次屏氣深度，屏氣深則肺部擴張大，肺容積加大，屏氣淺則肺部擴張小，肺容積偏小，而肺結(jié)節(jié)一般會隨肺部的擴張而拉伸，其拉伸程度和肺部的擴張程度呈比例。以肺輪廓的改變量來校準由于呼吸運動而造成的對肺結(jié)節(jié)測量結(jié)果的偏差，校準原理：首先分別根據(jù)屏氣和自由呼吸時CT圖像中肺部輪廓所包含的像素總數(shù)和單個像素的大小分別計算出屏氣和自由呼吸2種CT圖像的肺實質(zhì)的容積，其次求出屏氣和自由呼吸時肺實質(zhì)容積的差異，然后根據(jù)肺部容積的差異求出校準因子，最后用校準因子對實測的肺結(jié)節(jié)長度進行校準從而得到準確的肺結(jié)節(jié)尺寸。計算公式如下：

式中，V為肺實質(zhì)容積；C為圖像中肺部像素總數(shù)；P為單個圖像像素大小；V自由呼吸為自由呼吸相肺實質(zhì)容積；V屏氣為屏氣相肺實質(zhì)容積；ΔV為自由呼吸與屏氣之間肺容積差；fad為校準因子；L自由呼吸為實測的肺結(jié)節(jié)長度；L′自由呼吸為校準后的肺結(jié)節(jié)長度。

本研究的難點在于準確地勾畫出受檢者的肺部輪廓并進行測量，以得到每次屏氣的肺實質(zhì)容積，通過比較2次肺實質(zhì)容積的變化得到肺結(jié)節(jié)測量校準因子，進而對每次肺結(jié)節(jié)體積的測量結(jié)果進行校準。傳統(tǒng)的肺部輪廓的分割方法一般是基于閾值的方法如分水嶺分割、二維三維區(qū)域生長分割等[8]，本研究構(gòu)建了一個基于語義分割的全卷積神經(jīng)網(wǎng)絡(luò)，通過訓練該網(wǎng)絡(luò)實現(xiàn)對肺部輪廓的準確勾畫，將該網(wǎng)絡(luò)部署于校準軟件中以實現(xiàn)對不同屏氣相的肺結(jié)節(jié)大小的校準。

2 實驗流程

本研究的實驗流程如圖1所示。具體步驟包括圖像預處理、構(gòu)建網(wǎng)絡(luò)、網(wǎng)絡(luò)訓練和測試、保存與部署網(wǎng)絡(luò)、新增數(shù)據(jù)的再訓練。

圖1 肺結(jié)節(jié)測量校準方法流程圖

2.1 圖像預處理

本研究首先采用標記軟件對263幅胸部圖像進行標記，標記圖像應為用3種偽彩標注的包含肺實質(zhì)、人體輪廓、圖像背景的圖像，如圖2所示。同時將用于測試的原始DICOM圖像轉(zhuǎn)換為三通道色圖，將原始圖像和標記圖像分別保存在不同文件夾下用于訓練。

2.2 構(gòu)建網(wǎng)絡(luò)

構(gòu)建網(wǎng)絡(luò)的過程包括修改網(wǎng)絡(luò)屬性、搭建網(wǎng)絡(luò)結(jié)構(gòu)、為網(wǎng)絡(luò)賦予初始權(quán)重3個步驟。

第一步，修改網(wǎng)絡(luò)屬性。由于VGG16是一種1 000個分類的分類網(wǎng)絡(luò)，而本研究所要實現(xiàn)的是將一幅圖像按照肺實質(zhì)、人體輪廓、圖像背景進行像素三分類，所以需要對原VGG16的全連接層進行修改，將1 000個分類修改為3類，代碼如下：

pxLayer

圖2 用于訓練的部分原始圖像數(shù)據(jù)集與標記圖像數(shù)據(jù)集

pixelClassificationLayer('Name','labels','Classes',tbl.

Name,'ClassWeights',classWeights);

lgraph=removeLayers(lgraph,'pixelLabels');

lgraph=addLayers(lgraph,pxLayer);

lgraph=connectLayers(lgraph,'softmax','labels');

第二步，搭建網(wǎng)絡(luò)結(jié)構(gòu)。以修改的VGG16網(wǎng)絡(luò)為核心，將VGG16全連接層和softmax層替換成反卷積層，如圖3所示，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，最終構(gòu)成一個91層的全卷積語義分割網(wǎng)絡(luò)，其第2～32層是以VGG16的卷積層為核心的編碼器，第34～89層為反卷積層的解碼器。由于VGG16是一個經(jīng)過預訓練的成熟的分類卷積神經(jīng)網(wǎng)絡(luò)，使用該網(wǎng)絡(luò)構(gòu)成的全卷積語義分割網(wǎng)絡(luò)可以充分利用預訓練網(wǎng)絡(luò)的訓練結(jié)果，從而使用較少的數(shù)據(jù)進行訓練就可以得到理想的結(jié)果。

第三步，為網(wǎng)絡(luò)賦予初始權(quán)重。構(gòu)建完成的網(wǎng)絡(luò)需給其賦予初始權(quán)重，本研究是將數(shù)據(jù)集中各個特征組織如肺實質(zhì)、人體輪廓、背景在整體圖像中的出現(xiàn)頻率作為初始權(quán)重因子。肺實質(zhì)、人體輪廓、背景初始權(quán)重值詳見表1，其中初始權(quán)重取的是出現(xiàn)頻率的中值與各個頻率的比值。

圖3 全卷積語義分割網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 基于VGG16的用于肺部輪廓勾畫的語義分割網(wǎng)絡(luò)結(jié)構(gòu)圖

表1 特征組織的初始權(quán)重值

2.3 網(wǎng)絡(luò)訓練和測試

首先，將標記過的圖像按照80%為訓練集、20%為測試集進行配置，即210幅為訓練圖像，53幅為測試圖像。同時為了增強訓練效果、擴大標本量，還需要將原有的圖像數(shù)據(jù)進行一定的擴增，包括圖像的平移、圖像的鏡像、圖像的翻轉(zhuǎn)等。其次，對網(wǎng)絡(luò)訓練過程中的參數(shù)進行配置，包括設(shè)置學習率、優(yōu)化函數(shù)、迭代次數(shù)、訓練輪數(shù)等。最后，對網(wǎng)絡(luò)進行訓練。訓練過程中，網(wǎng)絡(luò)會動態(tài)調(diào)節(jié)各個卷積層的權(quán)重因子，訓練完成后需使用測試集對網(wǎng)絡(luò)進行測試，測試結(jié)果可以用于評判網(wǎng)絡(luò)的性能和效果，如達到效果則完成訓練，如未達到要求則應調(diào)節(jié)訓練參數(shù)、優(yōu)化數(shù)據(jù)集。

2.4 保存與部署網(wǎng)絡(luò)

完成訓練的網(wǎng)絡(luò)保存為一個新的網(wǎng)絡(luò)，該網(wǎng)絡(luò)的每個卷積層的權(quán)重因子都是訓練后的最新值，本研究是將生成的網(wǎng)絡(luò)嵌入到肺實質(zhì)測量的腳本中使用。將肺實質(zhì)測量的腳本通過編譯器生成可執(zhí)行文件，從而脫離編譯環(huán)境單獨運行，最終完成部署。

2.5 新增數(shù)據(jù)的再訓練

訓練完成的網(wǎng)絡(luò)可以直接用于臨床，也可以作為預訓練網(wǎng)絡(luò)對新增的數(shù)據(jù)進行迭代訓練，從而進一步優(yōu)化網(wǎng)絡(luò)。隨著臨床數(shù)據(jù)的增加，可以通過多次迭代訓練進一步提高網(wǎng)絡(luò)訓練的效果。

3 結(jié)果

3.1 語義分割網(wǎng)絡(luò)對肺輪廓分割的訓練效果

本研究通過多次試驗選擇自適應動量（adaptive momentum，ADAM）算法作為優(yōu)化算法，學習率為0.001，網(wǎng)絡(luò)訓練迭代210次，訓練50輪，網(wǎng)絡(luò)訓練過程如圖5所示。

圖5 網(wǎng)絡(luò)訓練過程

采用測試數(shù)據(jù)集對訓練完成的網(wǎng)絡(luò)進行測試，訓練完成的網(wǎng)絡(luò)進行語義分割的結(jié)果如圖6所示。訓練好的網(wǎng)絡(luò)會對測試集中的圖像進行語義分割，分割為肺實質(zhì)、人體輪廓、背景。通過分割完成后的圖像可以對語義分割區(qū)域和人工勾畫區(qū)域的重疊性進行測量，在測試集中隨機對抽取的圖像進行語義分割，分割區(qū)域和人工勾畫區(qū)域的重疊性測量結(jié)果如圖7所示。用準確率、交并比（intersection over union，IoU）和平均邊界得分等指標衡量語義分割網(wǎng)絡(luò)的最終目標分割效果。一般IoU大于0.5是可以接受的結(jié)果，本研究所用的模型IoU結(jié)果見表2，顯示肺實質(zhì)的平均準確率為0.924 7，IoU為0.836 2，訓練成績比較理想。由于所選訓練圖像為NIH提供的開源數(shù)據(jù)集，選取的訓練集中有1/3是肺尖和肺底圖像，而肺部占整體圖像體積偏小，且NIH數(shù)據(jù)集中的圖像基本都是有肺結(jié)節(jié)灶的圖像，該類圖像結(jié)節(jié)區(qū)域和正常肺部圖像相比結(jié)構(gòu)更復雜，標記與訓練難度更大，所以導致IoU未能達到0.9以上。本研究設(shè)計的基于肺實質(zhì)語義分割的全卷積神經(jīng)網(wǎng)絡(luò)以修正呼吸運動對肺結(jié)節(jié)測量結(jié)果偏差的校準軟件可以將訓練結(jié)果保存為新的網(wǎng)絡(luò)，新網(wǎng)絡(luò)作為預訓練網(wǎng)絡(luò)能增加數(shù)據(jù)迭代訓練，所以隨著訓練圖像增加和多次迭代訓練，訓練結(jié)果的準確性還能進一步提高。

由此，本研究搭建了一個新型的全卷積神經(jīng)網(wǎng)絡(luò)進行肺部輪廓的準確分割，并全部采用肺部CT圖像進行訓練，從而構(gòu)建了一種新的肺結(jié)節(jié)測量結(jié)果校準算法。

圖6 訓練完成的網(wǎng)絡(luò)進行語義分割的結(jié)果

圖7 分割區(qū)域和人工勾畫區(qū)域的重疊性測量結(jié)果

表2 全卷積神經(jīng)網(wǎng)絡(luò)語義分割訓練結(jié)果

3.2 校準因子對肺結(jié)節(jié)測量值的影響

對25例受檢者在屏氣和自由呼吸2種呼吸模式同一斷層的同一肺結(jié)節(jié)長軸進行測量，測量結(jié)果差ΔL如公式（5）所示。25例中有16例2種呼吸模式的測量結(jié)果差異較大（ΔL＞1 mm），9例測量結(jié)果差異很?。é≤1 mm），測量結(jié)果有較大差異的占比64%。使用本研究中的算法對16例有較大差異的測量結(jié)果進行校準，校準后誤差有較大變化（Δ＞1 mm）的例數(shù)為9例，其中最大縮小約1.5 mm，最小縮小約1 mm，校準后誤差無明顯變化（Δ≤0.5 mm）的例數(shù)為7例，校準后有較大變化的占比56.25%。

式中，L自由呼吸為校準前自由呼吸相肺結(jié)節(jié)長軸長度；L′自由呼吸為校準后自由呼吸相肺結(jié)節(jié)長軸長度；L屏氣為屏氣相肺結(jié)節(jié)長軸測量長度；ΔL為校準前2種呼吸模式肺結(jié)節(jié)測量差；ΔL′為校準后2種呼吸模式肺結(jié)節(jié)測量差；Δ為校準前與校準后2種測量差值之間的誤差。

圖8為誤差最大的1例的測量圖像。其中圖8（a）中標注的測量值為自由呼吸圖像測量結(jié)果，實測肺結(jié)節(jié)長軸長度為32 mm；圖8（b）中標注的測量值為屏氣測量結(jié)果，實測肺結(jié)節(jié)長軸長度為34 mm。由本研究中的算法得到的校準因子為1.045 4，校準后自由呼吸肺結(jié)節(jié)長軸長度為33.45 mm，校準前2種呼吸模式肺結(jié)節(jié)測量誤差為2 mm，校準后2種呼吸模式肺結(jié)節(jié)測量誤差為0.55 mm，減小了1.45 mm。

4 討論

圖8 誤差最大的1例測量圖像

隨著螺旋CT在肺部疾病診斷中的廣泛應用[9]，肺結(jié)節(jié)的檢出率逐年提高[10]，但對于肺結(jié)節(jié)的定性仍然需要依靠診斷醫(yī)生根據(jù)肺結(jié)節(jié)的各種測量結(jié)果進行判斷。其中，肺結(jié)節(jié)倍增量是一個重要指標，不規(guī)則結(jié)節(jié)及三角結(jié)節(jié)通常多為良性，隨訪大小常常無變化[11]，而有些肺結(jié)節(jié)的幾何尺寸正好在符合外科手術(shù)的臨界線上，此時結(jié)節(jié)體積測量的可重復性及準確性就尤為重要[12]。以往的診斷一般都是直接在前后2次的CT檢查圖像上進行測量，這種測量沒有考慮到受檢者的呼吸對測量結(jié)果的影響。要得到正確的肺結(jié)節(jié)倍增值，就需要全方位考慮各種因素對測量結(jié)果的影響。本研究將呼吸所導致的肺容積變化引起的肺結(jié)節(jié)幾何尺寸測量結(jié)果的偏差進行了修正。研究的難點是對肺部輪廓的準確勾畫，一般對肺部輪廓的勾畫采用計算機輔助的人機交互方式、基于閾值分割（如分水嶺分割、區(qū)域增長分割）等方法[13]。臨床上多采用計算機輔助的人機交互方式進行勾畫，但效率很低[14]?；陂撝档姆指罘椒ㄊ窃缙诜尾坑嬎銠C輔助處理的常規(guī)方法，如傳統(tǒng)的分水嶺分割一般會把肺部分為多種不同的組織區(qū)域，無法準確分割肺部輪廓[15]；區(qū)域增長分割的精度取決于種子點的選取、區(qū)域增長的條件和終止算法執(zhí)行的條件這3個要素[16]。由于傳統(tǒng)的計算機輔助設(shè)計自身存在缺陷，計算機輔助功能并不能有效提高臨床的工作效率。近年來，深度學習方法在機器學習的很多領(lǐng)域都取得了顯著的成效[17]。隨著計算機算力的提高，人工智能的計算機輔助功能得到了加強，在圖像分割中使用深度學習的全卷積神經(jīng)網(wǎng)絡(luò)是一種很好的選擇。

本研究采用基于全卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法對肺部輪廓進行勾畫，相對于基于閾值分割的方法，神經(jīng)網(wǎng)絡(luò)具有部署后運算量小、能快速得到結(jié)果、對只有部分二維斷層圖像的肺結(jié)節(jié)診斷也能進行修正、通過多次迭代訓練可以不斷提高準確性等優(yōu)點。

本研究用于驗證的25例肺結(jié)節(jié)測量中，有16例在自由呼吸和屏氣2種成像方法的肺結(jié)節(jié)測量中結(jié)果有差異，通過校準，其中9例縮小了測量差異，有效性達到了56.25%，其他7例對差異也有校準作用，但是校準的效果不明顯（Δ≤0.5 mm），分析原因應該是用于訓練的例數(shù)太少，造成對肺輪廓的區(qū)分準確性不足。隨著神經(jīng)網(wǎng)絡(luò)對加入新的臨床數(shù)據(jù)進行多次迭代訓練，其校準的有效性應該能進一步提高。

本研究的不足之處在于：首先，用于訓練和測試的數(shù)據(jù)集太少，其中訓練的僅210幅圖像，導致最終結(jié)果的有效性不太高；其次，沒有進行多輪迭代訓練，對神經(jīng)網(wǎng)絡(luò)迭代訓練的結(jié)果僅有理論推導，尚無實驗結(jié)果。下一步的研究需要進一步擴大樣本數(shù)據(jù)量，對該全卷積神經(jīng)網(wǎng)絡(luò)要用新增數(shù)據(jù)進行多次迭代訓練，以進一步提高校準軟件的準確性和可靠性，同時也可以通過改變該全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中編解碼器的類型，如以網(wǎng)絡(luò)結(jié)構(gòu)更深的VGG19代替VGG16組成新的網(wǎng)絡(luò)用于訓練等。

綜上所述，本研究基于全卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)體積倍增校準方法實現(xiàn)了對肺結(jié)節(jié)物理尺寸測量結(jié)果的校準，與傳統(tǒng)的閾值法相比，其準確性、可持續(xù)優(yōu)化性均有較大改進，能提高臨床對肺結(jié)節(jié)診斷的準確性和效率，是一種有效的輔助診斷手段。