羅 娜,李 璟,周成禮,鄭介志,倪 東
1) 醫(yī)學超聲關鍵技術國家地方聯(lián)合工程實驗室,廣東省生物醫(yī)學信息監(jiān)測與超聲成像重點實驗室,深圳大學生物醫(yī)學工程學院,廣東深圳 518060;2)深圳市婦幼保健院超聲科,廣東深圳 518000
【電子與信息科學 / Electronic and Information Science】
超聲圖像中胎兒股骨的自動測量
羅 娜1,李 璟1,周成禮2,鄭介志1,倪 東1
1) 醫(yī)學超聲關鍵技術國家地方聯(lián)合工程實驗室,廣東省生物醫(yī)學信息監(jiān)測與超聲成像重點實驗室,深圳大學生物醫(yī)學工程學院,廣東深圳 518060;2)深圳市婦幼保健院超聲科,廣東深圳 518000
提出一種全自動測量胎兒股骨長的方法,利用Frangi濾波器結合灰度信息分割出超聲圖像中股骨的候選區(qū)域,根據候選區(qū)域位置、形狀信息定位出股骨區(qū)域,利用股骨區(qū)域的邊緣和擬合出的骨架化曲線定位到股骨的端點,并計算得到股骨長.與醫(yī)生手動測量結果對比,70幅股骨圖像的平均測量誤差為1.18 mm,表明該方法可準確測量股骨長.
生物醫(yī)學工程學;超聲圖像;圖像處理;股骨長測量;Frangi濾波器;產前診斷
醫(yī)學超聲成像因具有實時[1]、廉價、無輻射等優(yōu)點,已成為產前超聲檢查診斷的常用方法.從超聲圖像中測量胎兒的股骨長、頭圍和腹圍等生物參數[2],對評估胎兒的發(fā)育狀況有重要參考[3-4].在臨床中,胎兒的生物參數通常由醫(yī)生手動測量完成,其準確性高度依賴醫(yī)生的臨床經驗,且不同醫(yī)生的手動測量結果存在差異[5].此外,超聲醫(yī)生頻繁、重復的操作易引起重復性壓力損傷[6].因此,實現(xiàn)超聲圖像中胎兒生物參數的自動測量具有重要臨床意義.近年來已有學者進行了胎兒生物參數自動測量的相關研究.Zhang等[7]提取胎兒解剖學結構的紋理特征,根據紋理和亮度信息檢測邊緣對圖像進行分割,再根據最遠兩端點距離計算股骨長,平均耗時較長,達到163 s.Wang等[8]利用最大熵分割法(entropy-based segmentation)和股骨形態(tài)學特征確定股骨區(qū)域,計算股骨區(qū)域中最大矩形的對角線長度作為股骨長.余錦華等[9]提出基于二次迭代霍夫變換(two iterative Hough transform, TIRHT)的方法,使用結合空間鄰域信息的二維模糊C均值聚類方法(two-dimentional fuzzy C-means,2D FCM)抑制斑點噪聲,再用直線Hough變換對骨骼細化圖像進行處理,采用二次曲線對股骨進行擬合得到股骨長.但該方法需要手動標記感興趣區(qū)域(region of interest, ROI),僅實現(xiàn)半自動測量.
超聲圖像中胎兒股骨測量的主要難點在于:① 超聲圖像中通常存在信噪比低、邊緣缺失、模糊、偽影和斑點噪聲等問題,股骨精確分割難度大;② 醫(yī)學上對股骨端點的定位為,股骨兩端“U”形的中點,不包括骨骺端[10],如圖1.目前大多數股骨自動測量算法僅以股骨分割圖像最遠的兩個端點為測量端點,不符合醫(yī)學上對股骨端點的定位.本研究提出基于Frangi濾波器的股骨自動測量方法,能自動檢測股骨區(qū)域,并對股骨端點進行定位.
圖1 股骨長標準測量圖Fig.1 Standard measurement image of fetal femur
本研究方法流程為:首先去掉原始圖像中的干擾區(qū)域,確定框選區(qū)域4個頂點,批量自動框選出股骨所在的圖像區(qū)域,見圖2(a)和(b);使用Frangi濾波器對框選區(qū)域進行去噪,并檢測股骨候選區(qū)域,如圖2(c);利用股骨外接矩形的長寬比率以及股骨位置信息確定股骨區(qū)域,見圖2(d)和(e);接下來,對股骨細化得到股骨中心線,并對其進行直線擬合,見圖2(f);最后,通過所擬合的直線和股骨輪廓的交點求得股骨端點位置,從而求得股骨長,見圖2(g),并將測量結果顯示在原始圖像上,圖2(h).
圖2 算法流程圖Fig.2 The framework of the proposed method
1.1 股骨檢測
Frangi等[11]提出基于多尺度的血管增強方法.該方法將血管增強看作一種尋找管狀幾何結構的濾波過程,稱為Frangi濾波.考慮到股骨與血管均呈管狀結構,本研究使用Frangi濾波器分割出股骨候選區(qū)域,運用形態(tài)學方法進行邊緣檢測.
Frangi濾波器是基于Hessian矩陣[12]特征向量的管狀濾波器,利用高階微分提取圖像體素的特征方向.輸入圖像I在點a0(x0,y0)鄰域的泰勒展開式為
ΔaT0H0,SΔa0
(1)
(2)
其中,γ是引入的用于定義一個歸一化的導數族[11],對多尺度微分算子間的公平性反饋具有重要作用.
若無優(yōu)選尺度,設γ=1. 二維高斯函數GS(a)定義為
(3)
其中,Hessian矩陣可用二階方向導數構造
(4)
其中,微分定義見式(2).
通過分析Hessian矩陣特征向量,可獲得向量的主要方向,使這些方向上輸入圖像I的局部二階結構能夠被分解.
令λS,k為尺度S下得到的Hessian矩陣H0,S的第k個特征值,與之對應的特征向量為uS,k, 則由特征值和特征向量的定義可得
H0,SuS,k=λS,kuS,k?uTS,kH0,SuS,k=λS,k
(5)
因此,圖像I在點a0的二階導數的大小和方向可由Hessian矩陣H0,S計算的特征值與特征向量描述.通過特征值分解可得到3個正交方向的特征向量λS,1,λS,2和λS,3, 見圖3[11].
圖3 二階橢球體描述的局部曲率方向[11]Fig.3 The local curvature directions which is described by the second order ellipsoid[11]
本研究將股骨看作一個二維管狀結構,故僅考慮λS,1和λS,2. 幅值最大的特征值對應的特征向量代表圖像中某點曲率最大方向.
由于股骨圖像的灰度值比背景高,且面積僅占整幅圖像的小部分,為避免隨機噪聲波動可能引起的不可預知的濾波響應,該先驗信息也需要被采用.由于背景像素的導數值非常小,為更好的區(qū)分,F(xiàn)rangi引入另一測度
(6)
因為背景區(qū)域的對比度低且特征值小,S的值在非待測管狀結構的背景區(qū)域將變得很??;在股骨等對比度高的區(qū)域則較大[13].基于以上假設,F(xiàn)rangi提出了下述管狀物體增強濾波器:
(7)
其中,RB=λS,1/λS,2, 為二階橢圓的離心率;β和c為歸一化常量.當檢測到股骨等管狀結構時,超聲圖像的Frangi濾波響應最大.Frangi濾波結果見圖4.
圖4 Frangi濾波處理后股骨圖像Fig.4 The processed femur results by Frangi filter
采用Frangi濾波器濾波后,需對圖像進行二值化處理.本研究對所有高亮區(qū)域求其外接矩形,并將外接矩形的長按遞減排序,則最長的幾個高亮區(qū)域被判定為股骨候選區(qū)域.在超聲圖像中,同時存在一些類似股骨形狀的細長高亮噪聲區(qū)域,因此不能判定最長的高亮區(qū)域為股骨區(qū)域.為此,加入候選區(qū)域距離圖像中心的位置信息.由于胎兒超聲標準切面中通常將目標物體置于圖像中心附近位置,因此判定最長的幾個候選區(qū)域中距離中心最近的細長高亮區(qū)域為股骨,見圖5.由此,可得到最終的股骨圖像.
圖5 股骨候選區(qū)域及篩選結果Fig.5 Regions of femur candidates and final result
1.2 股骨測量
股骨測量中,很重要的一步就是要準確地找到股骨的端點.因為股骨的端點需要定位到兩端“U”形的中點,因此,確定股骨的中軸線就十分必要. 一旦得到了股骨分割結果的二值圖像,從而很容易得到股骨的邊緣輪廓及骨架化結果.
本研究用最大圓盤概念來定義骨架.設C為輸入圖像R的一個內切圓,則C至少有兩點與R相切.若C不是R內任何內切圓的子集,則稱C為圖像R內的最大圓盤,此時骨架B可定義為圖像R內所有最大圓盤圓心的集合[14].由圖6(a)可知,每個骨架點都與一個最大圓盤的圓心相對應,每個最大圓盤與目標圖像有且只有兩個交點,且交點到骨架點的距離相同.因此,骨架的中軸特性得到了很好的保證[15].將骨架化后曲線與輪廓的交點距離最遠的兩點標記為股骨的端點,如圖7.一旦確認了股骨的端點后,即可通過計算簡單的兩點間距離得到股骨長度.
圖6 最大圓盤及其骨架示意Fig.6 Diagrams of maximum disk and femur skeleton
圖7 股骨輪廓與股骨圖像骨架化擬合直線的交點,紅線為股骨輪廓線,藍線為擬合骨架Fig.7 Endpoints location. The red line is the boundary of femur and the blue line is fitting femur skeleton.
本研究對70幅18~27孕周的胎兒股骨超聲圖像進行實驗,所有圖像均由深圳華僑城醫(yī)院醫(yī)學影像科使用威爾德超聲儀FDC6100采集獲得.為驗證算法的可行性和準確性,分別從股骨分割結果和測量結果兩方面進行對比.分割結果采用基于面積[16]和基于距離[17]指標,并與Wang等[8]提出的最大熵方法的分割結果比較. 采用Bland-Altman指標[18]對測量結果的一致性進行分析.
2.1 股骨分割結果對比
基于面積的評價指標用于比較自動分割區(qū)域和手動分割區(qū)域之間的差異.基于面積的評價指標包括精確度(θprecision)、 特異性(θspecificity)、 敏感性(θsensitivity)和一致性(θdice)[19], 計算公式依次為
(8)
(9)
(10)
(11)
需要注意的是,本研究的評價結果是各個指標的平均值.其中,RAM是自動分割得到的股骨區(qū)域;RGT是醫(yī)生手動分割得到的股骨區(qū)域.
基于距離的評價指標是比較自動分割結果和手動分割結果的輪廓差異.評價指標包括最大對稱輪廓距離(maximumsymmetriccontourdistance,MSD)、平均對稱輪廓距離(averagesymmetriccontourdistance,ASD)和均方根對稱輪廓距離(rootmeansquaresymmetriccontourdistance,RMSD),如式(13)至式(15).其中,C(RAM)和C(RGT)分別是RAM和RGT的輪廓,cRAM和cRGT分別是C(RAM)和C(RGT)上的元素,圖像中某點p到輪廓的最短距離定義為
(12)
基于兩種指標的實驗結果見表1.需要注意的是,當自動分割結果與醫(yī)生手動分割結果無交集時,結果不計入評價指標中[19].由于本研究所提方法與Wang等[8]的方法均使用圖像處理方法,故與Wang等的方法進行對比.從表1可見,本研究方法的結果在基于面積和基于距離的兩種指標上,均略優(yōu)于Wang等的方法.其原因在于該方法使用最大熵的方法分割股骨區(qū)域,容易造成灰度缺失,造成檢測結果偏小.
MSD=max{maxdM[cRGT,C(RAM)], maxdM[cRAM,C(RGT)]}
(13)
{∑cRGT∈C(RAM)dM[cRGT,C(RAM)]+∑cRAM∈C(RGT)dM[cRAM,C(RGT)]}
(14)
(15)
表1 胎兒股骨長定量結果對比
2.2 股骨測量結果對比
圖8為自動測量結果和醫(yī)生手動測量結果定性對比結果. 其中,綠色虛線為醫(yī)生手動測量結果,紅色虛線為自動測量結果.結果表明,自動測量的股骨端點及其連線與醫(yī)生手動測量結果基本重合.
圖8 自動測量結果與醫(yī)生手動測量結果對比Fig.8 Comparison between the results of automatic method and those of manual measurement by doctors
圖9 Bland-Altman圖Fig.9 Bland-Altman figure
2.3 運算效率對比
在Matlab環(huán)境下,每幅圖的自動測量平均耗時為0.31s,Wang算法平均耗時0.37s,而醫(yī)生手動標定股骨兩端點并得到股骨長的時間約為3.05s,本研究算法耗時較手動標定方法約快10倍.
2.4 錯誤結果分析
在70幅圖的檢測中,有2幅為錯誤結果,見圖10.圖10(a)的錯誤是由于Frangi濾波器未將股骨區(qū)域和右側高亮區(qū)域分離.圖10(b)由于其他類似股骨的細長結構(皮膚層或偽影)的干擾,導致不能正確檢測到股骨.
圖10 測量錯誤結果Fig.10 Failure results
提出一種全自動測量股骨長的方法,用先驗知識定位股骨大致區(qū)域,采用Frangi濾波器對圖像進行濾波和增強,再根據圖像信息確定股骨位置,對目標區(qū)域進行骨架化處理,通過計算骨架化后的曲線與股骨外圍輪廓的交點測量出股骨長.對70幅超聲股骨圖像的實驗結果表明,所提股骨自動測量方法與醫(yī)生手動測量方法得到的股骨長無顯著性差異,算法可行.同時,自動方法比手動方法快約10倍,達到臨床實時性的需求.后續(xù)我們將會把該方法用于超聲中胎兒其他解剖部位的自動測量(如肱骨測量),以期形成一個完整的生物參數自動測量系統(tǒng)并應用于臨床.
/ References:
[1] 倪 東,陳思平,汪天富.基于曲光線跟蹤算法的超聲成像實時模擬研究[J].深圳大學學報理工版,2012,29(4):322-327. Ni Dong, Chen Siping, Wang Tianfu. A beam width aware curvilinear ray tracing method for real-time ultrasound simulation[J]. Journal of Shenzhen University Science and Engineering, 2012, 29(4): 322- 327.(in Chinese)
[2] 萬儀芳,沈國芳,朱家安.超聲測量評估胎兒主要生長參數的研究[J].上海醫(yī)學,2010,33(12):1132-1134. Wan Yifang, Shen Guofang, Zhu Jiaan. Ultrasonography determination in evaluation of major growth parameters of fetuses[J]. Shanghai Medical Journal, 2010, 33(12): 1132-1134.(in Chinese)
[3] 詹 林,文桂瓊,林 毅,等.產前超聲篩查診斷胎兒肢體畸形的價值[J].中國醫(yī)學影像學雜志,2010,18(3):213-216. Zhan Lin, Wen Guiqiong, Lin Yi. et al. The effectiveness of ultrasound screening in the prenatal diagnosis of fetal malformation[J]. Chinese Journal of Medical Imaging, 2010, 18(3): 213-216.(in Chinese)
[4] 李 威,賈淑文,呂 祥.產前超聲檢查對胎兒畸形的診斷價值[J].中國婦幼保健,2013,28(8):1290-1292. Li Wei, Jia Shuwen, Lv Xiang. The effectiveness of ultrasound screening in the prenatal diagnosis of fetal malformation[J]. Maternal and Child Health Care of China, 2013, 28(8): 1290-1292.(in Chinese)
[5] 李 璟,倪 東,李勝利,等.超聲圖像中胎兒頭圍的自動測量[J].深圳大學學報理工版,2014,31(5):455-463. Li Jing, Ni Dong, Li Shengli, et al. The automatic ultrasound measurement of fetal head circumference[J]. Journal of Shenzhen University Science and Engineering, 2014, 31(5): 455-463.(in Chinese)
[6] Maurits V T, Antti M, Bart K. Repetitive strain injury[J]. Lancet, 2007, 369(9575): 1815-1822.
[7] Zhang Lei, Ye Xujiong, Lambrou T, et al. A supervised texton based approach for automatic segmentation and measurement of the fetal head and femur in 2D ultrasound images[J]. Physics in Medicine and Biology, 2016, 61(3): 1095-1115.
[8] Wang C W. Automatic entropy-based femur segmentation and fast length measurement for fetal ultrasound images[C]// International Conference on Advanced Robotics and Intelligent Systems.[S.l.]: IEEE, 2014: 1-5.
[9] 余錦華,汪源源,陳 萍,等.胎兒超聲圖像分割及自動徑線測量[J].中國生物醫(yī)學工程學報,2007,26(6):867-873. Yu Jinhua, Wang Yuanyuan, Chen Ping, et al. Fetal ultrasound image segmentation and automatic diameter and length measurement[J]. Chinese Journal of Biomedical Engineering, 2007, 26(6): 867-873.(in Chinese)
[10] Salomon L J, Alfirevic Z, Berghella V, et al. Practice guidelines for performance of the routine mid-trimester fetal ultrasound scan[J]. Ultrasound in Obstetrics & Gynecology: the Official Journal of the International Society of Ultrasound in Obstetrics and Gynecology, 2011, 37(1): 116-126.
[11] Frangi A F, Niessen W J, Vincken K L, et al. Multiscale vessel enhancement filtering[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer Berlin Heidelberg, 2000: 130-137.
[12] Jimenez-Carretero D, Santos A, Kerkstra S, et al. 3D Frangi-based lung vessel enhancement filter penalizing airways[C]// IEEE the 10th International Symposium on Biomedical Imaging.[S. l.]: IEEE, 2013: 926-929.
[13] Shashank, Bhattacharya M, Sharma G K. Optimized coronary artery segmentation using Frangi filter and Anisotropic diffusion filtering[C]// International Symposium on Computational and Business Intelligence. New Delhi, India: IEEE, 2013: 261-264.
[14] 呂 哲,王福利,常玉清,等.改進的形態(tài)學骨架提取算法[J].計算機工程,2009,35(19):23-25. Lv Zhe, Wang Fuli, Chang Yuqing, et al. Improved morphological skeleton extraction algorithm[J]. Computer Engineering, 2009, 35(19): 23-25.(in Chinese)
[15] Liu Hongzhi, Wu Zhonghai, Zhang Xing, et al. A skeleton pruning algorithm based on information fusion[J]. Pattern Recognition Letters, 2013, 34(10): 1138-1145.
[16] Udupa J K, Leblanc V R, Ying Zhuge, et al. A framework for evaluating image segmentation algorithms[J]. Computerized Medical Imaging and Graphics, 2006, 30(2): 75-87.
[17] Heimann T, Van Ginneken B, Styner M A, et al. Comparison and evaluation of methods for liver segmentation from CT datasets[J]. IEEE Transactions on Medical Imaging, 2009, 28(8):1251-1265.
[18] Myles P S, Cui J. Using the Bland-Altman method to measure agreement with repeated measure[J]. British Journal of Anaesthesia, 2007, 99(3): 309-311.
[19] Rueda S, Fathima S, Knight C L, et al. Evaluation and comparison of current fetal ultrasound image segmentation methods for biometric measurements: a grand challenge[J]. IEEE Transactions on Medical Imaging,?2014, 33(4): 797-813.
[20] Székely G J, Rizzo M L. The distance correlation t-test of independence in high dimension[J]. Journal of Multivariate Analysis, 2013, 117(3): 193-213.
【中文責編:英 子;英文責編:子 蘭】
2017-02-14;Accepted:2017-03-11
Associate professor Ni Dong.E-mail: nidong@szu.edu.cn
Automatic measurement of fetal femur length in ultrasound image
Luo Na1, Li Jing1, Zhou Chengli2, Zheng Jiezhi1, and Ni Dong1
1) National-Regional Key Technology Engineering Laboratory for Medical Ultrasound, Guangdong Key Laboratory for Biomedical Measurements and Ultrasound Imaging, School of Biomedical Engineering, Shenzhen University, Shenzhen 518060, Guangdong Province, P.R.China 2) Department of Ultrasound, Shenzhen Maternity & Child Healthcare Hospital, Shenzhen 518000, Guangdong Province, P.R.China
We propose a novel automatic method to measure the fetal femur length. First, the candidate regions containing the femur are detected in the ultrasound image using Frangi filter and gray information. Then, the femur region is localized based on both the shape and position of the candidate regions. Finally, the femur end points are determined by detecting the edges of the femur region and fitting the femur skeleton. The femur length is measured. Comparing with the results measured by doctors, the average measurement error of 70 ultrasound femur images is 1.18 mm, which indicates that our method can accurately measure the femur length.
biomedical engineering; ultrasound images; image processing; femur length measurement; Frangi filter; prenatal diagnosis
:Luo Na, Li Jing, Zhou Chengli, et al. Automatic measurement of fetal femur length in ultrasound image[J]. Journal of Shenzhen University Science and Engineering, 2017, 34(4): 421-427.(in Chinese)
R 318; TP 751
A
10.3724/SP.J.1249.2017.04421
國家自然科學基金資助項目(6157010571)
羅 娜(1992—),女,深圳大學碩士研究生.研究方向:醫(yī)學圖像處理.E-mail: 412393206@qq.com
Foundation:National Natural Science Foundation of China (6157010571)
引 文:羅 娜,李 璟,周成禮,等.超聲圖像中胎兒股骨的自動測量[J]. 深圳大學學報理工版,2017,34(4):421-427.