基于深度學(xué)習(xí)的蝶鞍自動分割研究

馮琦 劉曙 顏颋 馮紅超

摘? 要： 研究蝶鞍的形態(tài)變化及生長規(guī)律對于口腔醫(yī)生獲取額外診斷信息具有重要意義。本文開發(fā)并評估了一個基于深度學(xué)習(xí)的蝶鞍自動分割模型。實驗將包含400張頭顱側(cè)位片的數(shù)據(jù)集隨機劃分成兩個子集，其中360張圖像作為訓(xùn)練集來訓(xùn)練蝶鞍的自動分割網(wǎng)絡(luò)U-net，40張圖像作為測試集來測試模型的分割性能。Dice系數(shù)用于評估模型的分割性能，訓(xùn)練好的蝶鞍自動分割網(wǎng)絡(luò)的Dice系數(shù)為0.9074。所提方法能夠快速準(zhǔn)確地在頭顱側(cè)位片上自動分割出蝶鞍區(qū)域。

關(guān)鍵詞： 蝶鞍； 頭顱側(cè)位片； 深度學(xué)習(xí)； 圖像分割； U-net

中圖分類號：TP399? ? ? ? ? 文獻標(biāo)識碼：A? ? 文章編號：1006-8228（2023）06-134-05

Sella turcica automatic segmentation based on deep learning

Feng Qi1， Liu Shu2， Yan Ting2， Feng Hongchao1，2

（1. College of Medicine， Guizhou University， Guiyang， Guizhou 550025， China; 2. Guiyang Hospital of Stomatology）

Abstract： It is significance to study the morphological changes and growth rules of sella turcica for stomatologist to obtain additional diagnostic information. This paper aims to develop and evaluate a deep learning-based model for automatic segmentation of sella turcica. The experimental dataset containing 400 cephalometric radiographs is randomly divided into two subsets， in which 360 images are used as training dataset to train sella turcica automatic segmentation network， and 40 images are used as test dataset to test the segmentation performance of the model. Dice coefficient is used to evaluate the segmentation performance of the model， and the Dice coefficient of the trained sella turcica automatic segmentation network is 0.9074. The proposed method can quickly and accurately segment the sella turcica on cephalometric radiographs.

Key words： sella turcica; cephalometric radiographs; deep learning; image segmentation; U-net

0 引言

蝶鞍是垂體窩和鞍背的合稱，位于顱中窩正中部、蝶骨體上部，形似馬鞍狀。蝶鞍的前緣為鞍結(jié)節(jié)，后緣為鞍背，其骨組織包圍形成垂體窩，容納腦垂體。位于蝶鞍中心的蝶鞍點，是頭影測量學(xué)中常用的標(biāo)記點之一[1]。在胚胎發(fā)育過程中，神經(jīng)嵴細胞由蝶鞍區(qū)向鼻部、額部和上頜等區(qū)域遷移，共同參與了蝶鞍、垂體前葉和牙齒的形成和發(fā)育[2]。蝶鞍在幫助臨床醫(yī)生預(yù)測患者的生長發(fā)育、評估顱面形態(tài)特征以及發(fā)現(xiàn)垂體異常或病理改變上有重要提示作用，研究蝶鞍的形態(tài)變化及生長規(guī)律具有重要意義[3]。

目前對蝶鞍形態(tài)的分析主要依賴于人工，而人工測量分析耗時費力且受主觀因素影響較大。隨著計算機視覺的快速發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于醫(yī)學(xué)圖像處理領(lǐng)域。Shakya等人于2022年提出一個使用卷積神經(jīng)網(wǎng)絡(luò)在頭顱側(cè)位片上自動分割蝶鞍的新方法[4]。Ahn Y等人于2020 年開發(fā)并驗證了一種肝脾自動分割與體積測量的深度學(xué)習(xí)算法[5]。Park等人于2020年提出基于U-net實現(xiàn)血管壁的自動分割[6]。這些研究基于深度學(xué)習(xí)算法實現(xiàn)了目標(biāo)區(qū)域的自動分割，并在此基礎(chǔ)上完成了對目標(biāo)區(qū)域的形態(tài)分析。本文開發(fā)并評估一個能夠在頭顱側(cè)位片上自動分割出蝶鞍的深度學(xué)習(xí)模型，為進一步實現(xiàn)蝶鞍形態(tài)的自動測量提供可能，幫助口腔醫(yī)生評估蝶鞍區(qū)域的形態(tài)變化。

1 材料與方法

1.1 數(shù)據(jù)集的構(gòu)建和標(biāo)注

1.1.1 數(shù)據(jù)集的構(gòu)建

本研究使用的圖像為2015 ISBI挑戰(zhàn)賽公共數(shù)據(jù)集中的回顧性影像數(shù)據(jù)。該數(shù)據(jù)集中共包含400張X射線頭顱側(cè)位片，圖像的分辨率為1935*2400，圖像的原始格式為bmp，實驗中將其轉(zhuǎn)換為jpg格式的圖像。這400張圖像被隨機劃分成兩部分：360張圖像作為訓(xùn)練集來訓(xùn)練自動分割網(wǎng)絡(luò)，實現(xiàn)蝶鞍的自動分割，40張圖像作為測試集。蝶鞍在X線頭顱側(cè)位片上，呈現(xiàn)為致密白線所分界的圓弧形的窩狀結(jié)構(gòu)，可以容易地在圖像上觀察到[7]，如圖1所示。

1.1.2 數(shù)據(jù)的標(biāo)注

由主要研究人員使用標(biāo)注工具Labelme（version 5.0.1）對蝶鞍進行手動分割，生成相應(yīng)的分割掩膜。蝶鞍在頭顱側(cè)位片中顯示為一條致密白線所分界的圓弧形窩狀結(jié)構(gòu)，沿著這條白線分割出蝶鞍區(qū)域。具體的標(biāo)注規(guī)則為：以鞍結(jié)節(jié)頂點（TS）為起點，鞍背頂點（DS）為終點，沿著骨白線勾畫蝶鞍輪廓，然后連接DS點和TS點，所形成的閉合區(qū)域即為蝶鞍分割的ground-truth。如圖2所示，標(biāo)注完成之后每張圖像會生成一張對應(yīng)的掩膜圖像。所有圖像的標(biāo)注由同一名觀察人員來完成，并請一名經(jīng)驗豐富的正畸科醫(yī)生對標(biāo)注結(jié)果進行復(fù)核，對存在爭議的圖像進行討論并重新標(biāo)注，確保ground-truth的可靠性。

1.2 蝶鞍自動分割模型的建立

1.2.1 實驗環(huán)境

實驗環(huán)境配置如表1所示。

1.2.2 數(shù)據(jù)預(yù)處理

在訓(xùn)練蝶鞍的自動分割網(wǎng)絡(luò)之前，先要對所有的圖像做預(yù)處理，主要包括三個預(yù)處理操作。①ROI提取，目的是剔除圖像中的無關(guān)背景。由于原始圖像分辨率為1935*2400，而待分割目標(biāo)蝶鞍在原始圖像中只占一小塊區(qū)域，若將原始圖像整個輸入到分割網(wǎng)絡(luò)中進行訓(xùn)練，會極大的浪費計算機的顯存資源，且不利于蝶鞍的特征提取。目前醫(yī)學(xué)圖像ROI粗提取方法主要有基于先驗知識[8]、模板匹配和基于目標(biāo)檢測的邊框回歸等。在Song等人的研究中運用模板匹配的方法完成ROI的自動提取，將一副測試圖像與所有訓(xùn)練圖像配準(zhǔn)需要大約20分鐘[9]，比較耗時。而基于目標(biāo)檢測的邊框回歸需要增加大量的模型參數(shù)[10]?？紤]到數(shù)據(jù)集中圖像的尺寸相同，同時，雖然不同人的蝶鞍形態(tài)不同，但蝶鞍在不同頭顱側(cè)位片上的位置變化范圍不大。因此，我們考慮基于先驗知識，通過設(shè)定坐標(biāo)參數(shù)并調(diào)用OpenCV中的函數(shù)，完成ROI提取。坐標(biāo)參數(shù)為image[y1：y2，x1：x2]，其中，（x1，y1）為ROI的左上角坐標(biāo)，（x2，y2）為ROI的右下角坐標(biāo)。就本實驗而言，我們隨機觀察10張圖像的蝶鞍位置，將坐標(biāo)參數(shù)設(shè)置為[800：1200，600：1000]。然后調(diào)用OpenCV中的相關(guān)函數(shù)，基于坐標(biāo)參數(shù)遍歷并剪裁數(shù)據(jù)集中的所有圖像，即可快速準(zhǔn)確的完成ROI的提取。②直方圖均衡化，目的是增強圖像的對比度。通過直方圖均衡化處理，可以使蝶鞍的形態(tài)結(jié)構(gòu)在圖像中更加清晰。③中值濾波，目的是去除圖像中孤立的噪聲點。中值濾波既能去除一些孤立的噪聲點，又能保持圖像的細節(jié)。經(jīng)過預(yù)處理操作后，所有圖像變?yōu)?00*400大小的單通道圖像。圖像的預(yù)處理過程如圖3所示。

1.2.3 訓(xùn)練U-net實現(xiàn)蝶鞍的自動分割

U-net是一個基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割網(wǎng)絡(luò)，常用于醫(yī)學(xué)圖像的分割[11]。U-net的網(wǎng)絡(luò)結(jié)構(gòu)主要由卷積層、最大池化層、反卷積層、跳躍連接以及非線性激活函數(shù)Relu組成。本研究將訓(xùn)練數(shù)據(jù)集中的360張預(yù)處理之后的圖像及其對應(yīng)的掩膜圖像輸入到U-net中進行訓(xùn)練，訓(xùn)練好的自動分割網(wǎng)絡(luò)模型能夠自動分割出測試圖像中的蝶鞍。在本研究中，U-net網(wǎng)絡(luò)模型的超參數(shù)設(shè)置如表2所示。

Dice系數(shù)是一種集合相似度度量函數(shù)，常用于驗證圖像分割模型的分割精度。本研究使用Dice系數(shù)來評估蝶鞍自動分割網(wǎng)絡(luò)模型的分割性能，Dice系數(shù)的定義如下：

[Dice=2A∩BA+B]

其中，A表示ground-truth的集合，B表示利用模型預(yù)測的分割結(jié)果[12]。待模型訓(xùn)練完成之后，保存分割表現(xiàn)最好的模型作為最佳模型，運用最佳模型自動分割測試集中所有圖像的蝶鞍區(qū)域，分割結(jié)果保存為二值圖像。蝶鞍的自動分割過程如圖4所示。

1.2.4 分割結(jié)果的后處理

部分自動分割結(jié)果中可能存在一些小的噪聲斑點，因此需要做進一步處理，去除自動分割結(jié)果中的噪聲斑點。后處理操作首先使用OpenCV庫中的“findCountours”函數(shù)，來檢測二值分割結(jié)果中所有獨立對象的邊界，然后僅保留內(nèi)部具有最大數(shù)量像素的單個邊界，即可實現(xiàn)噪聲斑點的去除。完成后處理操作后，所有二值圖像中惟一的白色聯(lián)通區(qū)域即為對應(yīng)的蝶鞍分割結(jié)果。圖5所示為圖像執(zhí)行后處理操作的一個示例，其中5a為測試集中的一張待分割圖像，5b為基于自動分割網(wǎng)絡(luò)的分割結(jié)果，圓圈中的白色斑點為自動分割結(jié)果中的噪聲點，5c為執(zhí)行后處理操作后的分割結(jié)果?？梢钥闯觯筇幚聿僮骺梢杂行У娜コ指罱Y(jié)果中的噪聲點。

2 實驗結(jié)果

在本研究中，使用訓(xùn)練數(shù)據(jù)集中的360張圖像對U-net進行訓(xùn)練，直到loss收斂、Dice系數(shù)沒有更多改善時訓(xùn)練停止。U-net模型訓(xùn)練過程中的loss變化曲線和Dice系數(shù)變化曲線如圖6所示。從圖6中可以看出，經(jīng)過1-6個epoch，loss快速收斂，Dice系數(shù)已經(jīng)接近0.9。隨著epoch的增加，Dice系數(shù)略有改善。

經(jīng)過50個epoch的訓(xùn)練，分割網(wǎng)絡(luò)的Dice系數(shù)達到0.9074，使用表現(xiàn)最好的模型分割測試數(shù)據(jù)集中的圖像，可以在半秒內(nèi)完成蝶鞍的自動分割。圖7展示了測試數(shù)據(jù)集中多個圖像的蝶鞍分割結(jié)果。

3 結(jié)束語

蝶鞍對臨床醫(yī)生預(yù)測患者顱面發(fā)育、評估顱面形態(tài)特征、發(fā)現(xiàn)腦垂體異?；虿±砀淖兙哂兄匾奶崾咀饔谩Ｎ覀兂醪教岢霾⒃u估了一個基于深度學(xué)習(xí)實現(xiàn)蝶鞍的自動分割新方法，能夠快速、準(zhǔn)確的在頭顱側(cè)位片上分割出蝶鞍區(qū)域，為蝶鞍形態(tài)的自動分析測量提供了可能。目前關(guān)于蝶鞍自動分割的研究較少，Shakya等人于2022年提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)在頭顱側(cè)位片上自動分割蝶鞍的新技術(shù)，他們的研究比較了VGG19、ResNet34、InceptionV3和ResNext50實現(xiàn)蝶鞍自動分割的分割性能，得到的Dice系數(shù)分別為0.7794，0.7487，0.4714，0.4363[4]，與該研究相比，我們達到的Dice系數(shù)為0.9074，自動分割精度有明顯提升。對比兩項研究，我們的方法主要在圖像的預(yù)處理上做了一些改進，通過ROI提取、直方圖均衡化和中值濾波提高圖像質(zhì)量，使分割網(wǎng)絡(luò)能夠更容易完成對圖像的特征提取。此外，我們的研究增加了后處理操作去除分割結(jié)果中的斑點噪聲，進一步提高了自動分割結(jié)果的準(zhǔn)確率。

雖然我們的方法有效地實現(xiàn)了蝶鞍的自動分割，但是研究中仍有幾點有待完善。第一，實驗使用的圖像數(shù)量較少。對于深度學(xué)習(xí)算法，訓(xùn)練樣本量的增加理論上可以提高模型的分割性能。第二，使用的分割模型較為單一。如果能夠?qū)λ惴ㄟM行一些改進，如在模型架構(gòu)中加入注意力機制或殘差結(jié)構(gòu)等，可能會獲得更好的分割性能。第三，因為蝶鞍形態(tài)的研究大多是在二維圖像上進行的，所以本研究以二維圖像為研究對象。但隨著CBCT技術(shù)的臨床應(yīng)用，一些研究者開始關(guān)注三維圖像上的蝶鞍形態(tài)[13]。因此，后續(xù)工作中我們可以嘗試實現(xiàn)三維圖像上的蝶鞍分割。我們主要有兩點設(shè)想。①通過增加樣本量、改進算法進一步優(yōu)化蝶鞍的自動分割性能。②在蝶鞍的自動分割結(jié)果上，利用蝶鞍輪廓上的特征點和OpenCV中的相關(guān)技術(shù)，進一步實現(xiàn)蝶鞍形態(tài)的自動測量，為蝶鞍的形態(tài)研究提供一套完整的自動測量分析工具。

參考文獻（References）：

[1] MUHAMMED F K， ABDULLAH A O， LIU Y. A

morphometric study of the sella turcica： race， age， and gender effect [J]. Folia Morphol （Warsz）， 2020，79（2）：318-26

[2] KJAER I. Sella turcica morphology and the pituitary gland-

a new contribution to craniofacial diagnostics based on histology and neuroradiology [J]. Eur J Orthod，2015，37（1）：28-36

[3] ANDREDAKI M， KOUMANTANOU A， DOROTHEOU D，

et al. A cephalometric morphometric study of the sella turcica[J]. Eur J Orthod，2007，29（5）：449-56

[4] SHAKYA K S， LADDI A， JAISWAL M. Automated

methods for sella turcica segmentation on cephalometric radiographic data using deep learning （CNN） techniques [J]. Oral Radiol，2022

[5] AHN Y， YOON J S， LEE S S， et al. Deep Learning

Algorithm for Automated Segmentation and Volume Measurement of the Liver and Spleen Using Portal Venous Phase Computed Tomography Images [J]. Korean J Radiol，2020，21（8）：987-97

[6] PARK J H， LEE S J. Ultrasound Deep Learning for Wall

Segmentation and Near-Wall Blood Flow Measurement[J]. IEEE Trans Ultrason Ferroelectr Freq Control，2020，67（10）：2022-32

[7] 鄭博文，邊慧慧，劉奕，等.蝶鞍的類型和鞍橋的發(fā)生率[J].

口腔醫(yī)學(xué)，2016，36（8）：756-60

[8] 方宏文.基于多先驗知識的乳腺病灶顯著性檢測算法研究[D].

碩士，廣東工業(yè)大學(xué)，2021

[9] SONG Y， QIAO X， IWAMOTO Y， et al. Automatic

Cephalometric Landmark Detection on X-ray Images Using a Deep-Learning Method[J]. Applied Sciences，2020，10（7）

[10] WANG G， LI W， OURSELIN S， et al. Automatic Brain

Tumor Segmentation Using Cascaded Anisotropic Convolutional Neural Networks[M].Brainlesion： Glioma， Multiple Sclerosis，Stroke and Traumatic Brain Injuries，2018：178-90

[11] YIN X X， SUN L， FU Y， et al. U-Net-Based Medical

Image Segmentation[J]. J Healthc Eng，2022：4189781

[12] SHAMIR R R， DUCHIN Y， KIM J， et al. Continuous Dice

Coefficient： a Method for Evaluating Probabilistic Segmentations[J]. bioRxiv，2018：306977

[13] AKAY G， EREN I， KARADAG O， et al. Three-

dimensional assessment of the sella turcica： comparison between cleft lip and palate patients and skeletal malocclusion classes[J]. Surg Radiol Anat，2020，42（9）：977-83