基于眼球生理結(jié)構(gòu)和眼模型的眼底三維重建方法

肖志濤，李 敏，吳 駿，耿 磊，張 芳，溫 佳，蘇 龍

（1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津 300387；2.天津醫(yī)科大學(xué)第二醫(yī)院，天津 300211）

基于眼球生理結(jié)構(gòu)和眼模型的眼底三維重建方法

肖志濤1，李 敏1，吳 駿1，耿 磊1，張 芳1，溫 佳1，蘇 龍2

（1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津 300387；2.天津醫(yī)科大學(xué)第二醫(yī)院，天津 300211）

為將眼底的各項生理結(jié)構(gòu)和病灶信息在三維空間中顯示出來，更好地輔助醫(yī)生診斷，提出一種基于眼球生理結(jié)構(gòu)和眼模型的眼底三維重建方法.首先通過分析眼底的生理結(jié)構(gòu)和眼模型，將眼球后極部近似為局部球面；然后根據(jù)眼底相機(jī)參數(shù)以及視軸長度構(gòu)建局部球面模型，把眼底圖像恢復(fù)為三維結(jié)構(gòu)；分割眼底圖像中的血管和病灶部位，利用眼底三維模型，將血管和病灶部位顯示在三維空間中.實驗表明，平均每幅圖像處理用時1.410 1 s，重建速度快、準(zhǔn)確度高、可重復(fù)性高.

眼底圖像；眼底三維重建；眼球生理結(jié)構(gòu)；眼模型；局部球面模型；病灶信息

眼底是人體唯一可直接進(jìn)行無創(chuàng)觀察的內(nèi)部生理結(jié)構(gòu)，具有透明性和可接近性，通過眼底圖像能夠?qū)εc眼底相關(guān)的全身疾病做早期診斷，如糖尿病、高血壓、動脈硬化、心血管疾病和中風(fēng)等[1].眼底的三維重建可通過傳統(tǒng)的三維醫(yī)學(xué)成像技術(shù)實現(xiàn)，如計算機(jī)斷層掃描（CT）、核磁共振成像（MRI）、超聲成像、光學(xué)相干斷層掃描（OCT）等.其中，CT、MRI以及超聲成像采用斷層面進(jìn)行三維重建，只有眼底斷層上的輪廓，不能清晰地展現(xiàn)眼底曲面上的圖像.而OCT只能提供眼底視網(wǎng)膜的局部斷層圖像，觀察的眼底范圍有限，在眼科中主要用于青光眼以及黃斑水腫等局部視網(wǎng)膜疾病的診斷，其成像清晰度受屈光介質(zhì)影響較大.

眼底相機(jī)可快速獲取清晰的二維彩色眼底圖像，具有無損健康、拍攝范圍全面、清晰度高的特點.但是拍攝的二維圖像無法真實展示三維眼底的直觀信息.本文將拍攝到的二維眼底圖像進(jìn)行三維重建，能夠?qū)⒀鄣椎母黜椛斫Y(jié)構(gòu)和病灶信息在三維空間中進(jìn)行可視化，更好地輔助醫(yī)生進(jìn)行診斷.

對于眼底圖像的三維重建，國內(nèi)外已有文獻(xiàn)對此進(jìn)行了初步研究.Enrique等[2]對眼底的局部區(qū)域視盤進(jìn)行三維重建，重建范圍過小.Deguchi等[3]研究多幅眼底圖像的三維重建和顯示，但主要討論了多幅眼底圖像的配準(zhǔn)方法，在討論三維重建時，只是簡單地把眼底圖像反投影到球面上，沒有考慮圖像拼接后視場角的大小.李超等[4]提出了中心擴(kuò)散逆投影方法，要求黃斑位于眼底圖像中心，將黃斑區(qū)的中心定位于三維曲面的中心位置，然后把黃斑中心周圍的點定位于曲面上相應(yīng)位置.由于在使用眼底相機(jī)拍攝眼底圖像時，無法保證每幅眼底圖像的黃斑都位于眼底圖像的中心，因此該方法具有一定局限性.陳驥等[5]將正常眼球與屈光異常眼球分別假設(shè)為球體和橢球體，采用投影逆變換方法重建三維曲面.由于不同人的眼球半徑是有差異的，而文獻(xiàn)[5]直接采用眼球半徑經(jīng)驗值會帶來誤差.由于人眼為近似球形結(jié)構(gòu)，但是與球體有差別.因此，文獻(xiàn)[4]和[5]直接將整個眼球假設(shè)為球體或者橢球體，降低了眼球三維模型的準(zhǔn)確度.文獻(xiàn)[4]和[5]的眼球模型參數(shù)均采用眼科超聲檢查獲得，精度低，可重復(fù)性低[6].文獻(xiàn)等[7-9]提出使用改進(jìn)的相機(jī)-眼球的自校準(zhǔn)方法獲得眼底三維坐標(biāo)，在拍攝過程中，通過旋轉(zhuǎn)眼底相機(jī)獲得患者眼底不同部位的圖像，采用2組各10幅圖恢復(fù)眼底三維模型.結(jié)果表明，由于其要求眼底相機(jī)每釆一幅圖轉(zhuǎn)動的角度不能超過相機(jī)視場角的1/4，使得實際操作的難度以及復(fù)雜度提升.

為了克服現(xiàn)有方法中存在的上述問題，本文提出一種基于眼球生理結(jié)構(gòu)和眼模型的眼底三維重建方法.采用眼底相機(jī)拍攝單幅圖像恢復(fù)眼底三維模型，可恢復(fù)任意角度拍攝的眼底圖像，不需要特定的黃斑位于眼底圖像中心的圖像.通過分析眼球的生理結(jié)構(gòu)和眼模型，只對眼球后極部作假設(shè)，假設(shè)其為局部球面，通過已知的眼底相機(jī)參數(shù)和光學(xué)儀器測量的眼球視軸作為參數(shù)計算局部球面，得到眼底三維模型.與現(xiàn)有方法比較，本文所提的方法提升了眼底三維模型重建方法在模型準(zhǔn)確度、圖像采集、參數(shù)采集等方面的綜合效果.

1 眼底的三維模型

1.1 眼底的生理結(jié)構(gòu)及眼模型介紹

眼球生理結(jié)構(gòu)主要由屈光調(diào)節(jié)系統(tǒng)和視覺感受系統(tǒng)組成[10]，如圖1所示.其中，由角膜、瞳孔、房水、晶狀體和玻璃體等組成的屈光系統(tǒng)起聚焦成像的作用，視覺感受系統(tǒng)包括視網(wǎng)膜和大腦的視覺皮質(zhì)中樞，能夠接收外界光信號并成像.

圖1 眼球生理結(jié)構(gòu)（側(cè)視橫截面）Fig.1 Anatomical structure of eyeball（side cross section）

眼底就是眼球內(nèi)后部的組織，即視網(wǎng)膜、視盤、黃斑和視網(wǎng)膜中央動靜脈，如圖2所示.視盤是視神經(jīng)穿過眼球壁的部分，由神經(jīng)纖維構(gòu)成，呈橢圓形.黃斑區(qū)位于眼球后極部中央，富含感光色素上皮細(xì)胞，呈近似圓形.視網(wǎng)膜血管系統(tǒng)包括視網(wǎng)膜中央動、靜脈和睫狀視網(wǎng)膜動、靜脈，分別發(fā)出多級分支供應(yīng)視網(wǎng)膜的營養(yǎng).恢復(fù)眼底的三維模型需要分析眼底在眼球整體結(jié)構(gòu)中的位置關(guān)系.

圖2 眼底生理結(jié)構(gòu)Fig.2 Anatomical structure of fundus

人眼模型是將人眼光學(xué)系統(tǒng)簡略為僅有一個折射面而又保持其基本屈光特性的光學(xué)結(jié)構(gòu).Gullstrand提出了將視網(wǎng)膜的面型模擬為球面的眼模型，后來Le Grand改進(jìn)其成為廣泛使用的Gullstrand-Le Grand眼模型[11]，如圖3所示.

圖3 Gullstrand-Le Grand眼模型Fig.3 Gullstrand-Le Grand eye model

在對Gullstrand提出的眼模型進(jìn)行改進(jìn)的Navarro眼模型、Liou-Brennan眼模型和Isabe眼模型中，眼球視網(wǎng)膜的面型一直都為球面.由于視網(wǎng)膜位于眼球后極部且與后極部保持同樣的形狀，因此，本文利用眼球后極部面型為球面的特點，假設(shè)眼球后極部（即眼底）為局部球面.

1.2 眼底三維模型的建立

根據(jù)眼球的實際光學(xué)特性，采用與眼球在折光效果上相同、但更為簡單的等效光學(xué)系統(tǒng)模型，稱為簡化眼球，如圖4所示.簡化眼球的光學(xué)參數(shù)和其它特性與實際眼球相同.根據(jù)簡化眼球的定義，拍攝不同角度的眼底圖像都只是眼球后極部表面視網(wǎng)膜的局部圖像.

圖4 眼底的三維模型示意圖Fig.4 Diagram of 3D fundus model

本文方法只假設(shè)眼底為局部球面，由于球面在各個方向上的投影模型相同，因此不需要定位黃斑作為眼底三維模型的中心.現(xiàn)有的眼底模型三維重建方法均通過眼科超聲檢查儀測量眼球模型的參數(shù)，本文方法不需要對眼部做超聲檢查，只通過眼底相機(jī)的參數(shù)和視軸的長度即可計算得到局部球面的參數(shù).

首先，將眼底相機(jī)拍攝的眼底圖像簡化為圖4（a）所示的簡化結(jié)構(gòu)，為眼球的側(cè)視圖，作為圖1的簡化示意圖，點A表示眼底相機(jī)中心，點B表示眼球瞳孔中心，點C表示拍攝得到的眼底圖像的中心，點D表示眼底后極部的中心，點E和F表示眼底相機(jī)視場角范圍內(nèi)所能拍攝到的眼底的上下邊界（正視圖中的眼底邊界在圖4（a）中的側(cè)視圖上對應(yīng)為一個點），距離AB表示眼底相機(jī)的工作距離，距離BD表示眼球的視軸長度，距離EF表示眼底圖像的高度，角α表示眼底相機(jī)的視場角.對于單幅眼底圖像，所拍攝到的眼底范圍只有EDF對應(yīng)的區(qū)域，則對應(yīng)的眼底區(qū)域可以看作局部球面，如圖4（b）所示.

圖4（b）中局部球面的曲面方程可以由球心O的x、y、z坐標(biāo)以及球的半徑確定，球心O的x、y坐標(biāo)由二維眼底圖像的中心坐標(biāo)（a，b）決定，假設(shè)球心O的z坐標(biāo)為0，即O的坐標(biāo)為（a，b，0）.設(shè)圓球的半徑為R，由于角θ為90°，可知

式中：ED可以由勾股定理得到，即

式中：EC表示眼底圖像高度的1/2；CD可以由工作距離AB、視軸長度BD和眼底相機(jī)視場角α得到

由式（1）、（2）和（3）可以得到角度β：

得到眼底的三維模型為

由前述可知，眼底圖像近似于眼底曲面的投影成像，要進(jìn)行眼底圖像的三維重建，需要把平面圖像f（x，y）映射成實際的三維曲面f（x，y，z），映射關(guān)系為

式中：z由式（6）計算為

據(jù)此進(jìn)行三維映射，即可重建出三維眼底模型.

1.3 眼底結(jié)構(gòu)以及病灶信息的三維重建

眼底的各項結(jié)構(gòu)和病灶信息包括眼底血管、出血點、滲出物和微動脈瘤等.本文利用作者所在研究團(tuán)隊已有研究成果[12-15]，采用結(jié)合自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)和最大類間方差準(zhǔn)則的方法分割得到眼底圖像中的血管，并采用數(shù)學(xué)形態(tài)學(xué)方法處理得到血管骨架，記血管骨架的點集為S（x，y）.采用基于k均值聚類和自適應(yīng)模板匹配的方法分割眼底圖像中的出血點，記出血點的點集為H（x，y）.采用基于相位一致性模型的方法分割眼底圖像中的微動脈瘤，記微動脈瘤的點集為M（x，y）.采用基于背景估計和SVM分類器的方法分割眼底圖像中的硬性滲出物，記硬性滲出物的點集為E（x，y）.

將S（x，y）、H（x，y）、M（x，y）和E（x，y）點集按照式（7）和式（8）展示的映射關(guān)系映射至三維空間，分別為S（x，y，z）、H（x，y，z）、M（x，y，z）和E（x，y，z），即可以將眼底圖像中的血管以及其他病灶信息在三維空間進(jìn)行顯示.

2 實例驗證

2.1 實驗對象

本文實驗所用眼底圖像采集自天津醫(yī)科大學(xué)眼科醫(yī)院，共包含593幅眼底圖像，圖像尺寸均為2 180× 2 000.眼底相機(jī)為日本TOPCON公司的TRC-50DX眼底相機(jī)，視場角α為50°，工作距離AB為39 mm.視軸通過天津醫(yī)科大學(xué)眼科醫(yī)院一種新型的非接觸式光學(xué)生物測量儀Lenstar LS900測量，相比較于超聲檢查，由于Lenstar LS900采用光學(xué)技術(shù)而非聲學(xué)特性進(jìn)行測量，具有非接觸、準(zhǔn)確度高、可重復(fù)性高等優(yōu)點[9].本文在CPU為酷睿i3、內(nèi)存為2 G、顯存為512 MB的計算機(jī)上，使用Matlab2009a進(jìn)行二維眼底圖像的三維曲面重建.實驗表明本文方法將二維眼底圖像恢復(fù)重建為三維眼底曲面所需的時間為平均每幅圖像1.410 1 s.

2.2 眼底三維重建實例

根據(jù)式（7）將眼底圖像（表示為f（x，y））映射為實際的眼底曲面f（x，y，z），圖5給出了4個不同角度的三維眼底曲面實驗結(jié)果，分別對應(yīng)不同的方位角和仰角.其中，方位角指的是與x=0平面的夾角，仰角指的是與z=0平面的夾角.

圖5 重建的三維眼底曲面Fig.5 Reconstruction result of 3D fundus surface

由于一幅眼底圖像所呈現(xiàn)的只是眼底的局部，通過觀察可以發(fā)現(xiàn)，圖5展示的眼底曲面的弧度與圖1展示的眼球生理結(jié)構(gòu)中眼底的弧度基本吻合.圖6所示為血管及病灶的三維重建結(jié)果.

圖6 血管及病灶三維重建結(jié)果Fig.6 3D reconstruction results of vascular centerlineand lesions

本文分割得到眼底圖像中的血管以及其他病灶信息，并在三維空間進(jìn)行顯示，創(chuàng)建的三維模型可以根據(jù)需要進(jìn)行旋轉(zhuǎn)和縮放.圖6（a）為彩色眼底原圖，其中，病灶信息包含滲出物和出血點，分別將分割得到的血管中心線、出血點和滲出物描繪在彩色眼底圖中.圖6（b）和（c）分別為從不同視角觀察的三維重建結(jié)果，能夠很好地將眼底血管及病灶信息的位置關(guān)系展現(xiàn)出來，圖中的圓圈代表視野范圍的中心.圖6（d）、圖6（e）和圖6（f）分別展示了眼底血管中心線、出血點和滲出物在三維空間中的可視化模型.

本文方法與其它重建方法的比較結(jié)果如表1所示.

表1 本文方法與其它方法的比較Tab.1 Comparison of proposed method and other methods

由于眼底幾乎是平面的形狀，曲面角非常小，不同型號眼底相機(jī)的視場角范圍在30°～50°之間，能夠拍攝的眼底范圍都非常有限，球面角一般可選20°、30°和50°[5].由表1可以看出，文獻(xiàn)[4]直接假設(shè)眼底模型為半橢球面，球面角設(shè)為180°，與實際的眼底模型差別大，重建效果準(zhǔn)確度低.由表1還可以看出，文獻(xiàn)[16]采用文獻(xiàn)[4]的方法進(jìn)行三維模型的重建，但是重建效果顯示其球面角為360°，更加不符合眼底實際占眼球范圍的比例.由于眼底相機(jī)一次成像能拍攝到的眼底范圍有限，也沒有固定的球面角度數(shù)，本文方法根據(jù)眼底生理結(jié)構(gòu)自動計算球面角，實現(xiàn)的重建效果更逼真.

采集眼底圖像時，文獻(xiàn)[4]需要定位黃斑位于眼底圖像的中心，較難操作，文獻(xiàn)[8]需要操作者轉(zhuǎn)動相機(jī)拍攝10幅不同的圖像，并且要求圖像之間有較大的重合區(qū)域.采集眼球參數(shù)時，文獻(xiàn)[4]、文獻(xiàn)[5]和文獻(xiàn)[16]都需要通過超聲檢查獲得眼球參數(shù)，超聲檢查本身具有重復(fù)性較低的特點，且非常繁瑣.本文采用光學(xué)儀器測得參數(shù)，相比較于超聲檢查，由于采用光學(xué)技術(shù)而非聲學(xué)特性，具有非接觸、準(zhǔn)確度高、可重復(fù)性高等優(yōu)點.

3 結(jié)束語

本文提出了一種基于眼球生理結(jié)構(gòu)和眼模型的眼底三維重建方法，通過解析眼底的生理結(jié)構(gòu)和眼模型，分析眼底相機(jī)成像過程，將眼球后極部近似為局部球面，提高了眼底三維模型的準(zhǔn)確度.根據(jù)眼底相機(jī)參數(shù)和視軸長度構(gòu)建局部球面模型，利用眼底三維模型將血管和病灶部位在三維空間中進(jìn)行顯示.該方法通過準(zhǔn)確度和重復(fù)性較高的光學(xué)儀器測量視軸長度即可實現(xiàn)眼底三維模型的重建，無需對眼球做超聲檢查來獲取眼球參數(shù)，而且本文方法可以重建任意角度拍攝的眼底圖像的三維模型，在眼病診斷中具有較高的應(yīng)用價值.

[1]WONG T Y，MCINTOSH R.Hypertensive retinopathy signs as risk indicators of cardiovascular morbidity and mortality[J]. British Medical Bulletin，2005，73（1）：57-70.

[2]ENRIQUE C，SUNANDA M，MARK W，et al.Digital stereo image analyzer for generating automated 3-D measures of optic disc deformation in glaucoma[J].IEEE Transactions on Medical Imaging，2002，21（10）：1244-1253.

[3]DEGUCHI K，KAWAMATA D，MIZUTANI K，et al.3D fundus shape reconstruction and display from stereo fundus images[J]. IEICE Transactions on Information and Systems，2000，83（7）：1408-1414.

[4]李超，梁斌，陳武凡，等.由二維眼底正投影圖像向三維曲面逆投影成像的重建算法 [J].中國生物醫(yī)學(xué)工程學(xué)報，2002，21（4）：346-350. LI C，LIANG B，CHEN W F，et al.Reconstruction algorithm from two dimentional orthographic projection image to three dimentional surface by back-projection[J].Chinease Journal of Biomedical Engineering，2002，21（4）：346-350（in Chinese）.

[5]陳驥，彭承琳.眼底圖像的三維重建[J].生物醫(yī)學(xué)工程學(xué)雜志，2008，25（1）：177-181. CHEN J，PENG C L.Three-dimension reconstruction of ocular fundus image[J].Journal of Biomedical Engineering，2008，25（1）：177-181（in Chinese）.

[6]張鴻瑫，蔣華.Lenstar LS900與A超測量高度近視眼瞳孔中央角膜厚度對比[J].實用醫(yī)藥雜志，2012，29（11）：974-975. ZHANG H T，JIANG H.Comparison of central corneal thickness measured in patients with high mypopia by Lenstar LS900 and A ultrasonic pachymeter[J].Practical Journal of Medicine &Pharmacy，2012，29（11）：974-975（in Chinese）.

[7]ARTURO E R，ELENA M P.Optical 3D reconstruction of retinal blood vessels from a sequence of views[C]//8th Interna－tional Symposium on Laser Metrology.Merida：SPIE，2005：605-612.

[8]JAVIER A I，ELENA M，ARTURO E，et al.Minimizing camera-eye optical aberrations during the 3D reconstruction of retinal structures[C]//SPIE Photonics Europe.Brussels：SPIE，2010：77231F-77231F-10.

[9]ELENA M P，ARTURO E R.Three-dimensional reconstruction of blood vessels extracted from retinal fundus images[J]. Optic Express，2012，20（10）：11451-11465.

[10]LAKSHMINARAYANAN V.The human eye：A model system for teaching optics[C]//Education and Training in Optics and Photonics.Asaph：SPIE，2009：40-50.

[11]BLAKER J W.Toward an adaptive model of the human eye[J]. Journal of the Optical Society of America，1980，70（2）：220-223.

[12]吳駿，肖志濤，張芳，等.結(jié)合自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)和最大類間方差準(zhǔn)則的眼底圖像血管自動檢測方法[J].電子與信息學(xué)報，2013，35（10）：2411-2417. WU J，XIAO Z T，ZHANG F，et al.Combing adaptive pulse coupled neural network and maximal categories variance criterion for blood vessels automatic detection in fundus image[J]. Journal of Electronics and Information Technology，2013，35（10）：2411-2417（in Chinese）.

[13]肖志濤，趙北方，張芳，等.基于k均值聚類和自適應(yīng)模板匹配的眼底出血點檢測方法 [J].中國生物醫(yī)學(xué)工程學(xué)報，2015，34（3）：264-271. XIAO Z T，ZHAO B F，ZHANG F，et al.Hemorrhages detection in fundus image based on k-means clustering and adaptive template matching[J].Chinese Journal of Biomedical Engineering，2015，34（3）：264-271（in Chinese）.

[14]肖志濤，劉璐，耿磊，等.基于相位一致性模型的眼底微動脈瘤檢測方法 [J].中國生物醫(yī)學(xué)工程學(xué)報，2014，31（1）：8-15. XIAO Z T，LIU L，GENG L，et al.Microaneurysms detection infundusimagebasedonphasecongruency[J].ChineseJournal of Biomedical Engineering，2014，31（1）：8-15（in Chinese）.

[15]肖志濤，王雯，耿磊，等.基于背景估計和SVM分類器的眼底圖像硬性滲出物檢測方法 [J].中國生物醫(yī)學(xué)工程學(xué)報，2015，34（6）：720-728. XIAO Z T，WANG W，GENG L，et al.Hard exudates detection method based on background-estimation and SVM classifier[J].Chinese Journal of Biomedical Engineering，2015，34（6）：720-728（in Chinese）.

[16]戴培山，王博亮，鞠穎.視網(wǎng)膜血管圖像分割及眼底血管三維重建[J].自動化學(xué)報，2009，35（9）：1168-1176. DAI P S，WANG B L，JU Y.Retinal vessel image segmentation and three-dimentional reconstruction of retinal vessel[J]. ActaAutomaticaSinica，2009，35（9）：1168-1176（inChinese）.

3D reconstruction of fundus based on anatomical structure of eyeball and eye model

XIAO Zhi-tao1，LI Min1，WU Jun1，GENG Lei1，ZHANG Fang1，WEN Jia1，SU Long2
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.The Second Hospital，Tianjin Medical University，Tianjin 300211，China）

In order to show the physiological structure and lesion information of fundus in 3D space to assist diagnose，a kind of new 3D reconstruction method of fundus based on the anatomical structure of eyeball and the eye model is proposed.Firstly，the posterior pole of eyeball is approximated as the partial sphere by analyzing the anatomical structure of eyeball and the eye model.Secondly，the partial sphere is calculated according to the fundus camera parameters and the axial length of eyeball，and the 3D model of fundus is reconstructed from the fundus image.Finally，vessel and lesions of the fundus image is segmented and showed in the 3D space using the 3D model of fundus.The experimental results show that the average processing time of each image is 1.410 1 s，the proposed method has high reconstruction speed，high accuracy and high reproducibility.

fundus image；3D reconstruction of fundus；anatomical structure of eyeball；eye model；partial sphere model；lesion information

TP391.4

A

1671-024X（2016）06-0067-06

10.3969/j.issn.1671-024x.2016.06.012

2016-02-26

天津市科技支撐計劃重點項目（13ZCZDGX02100）；天津市自然科學(xué)基金項目（15JCYBJC16600）

肖志濤（1971—），男，博士，教授.

吳 駿（1978—），男，博士，副教授，主要研究方向為圖像處理與模式識別、智能信號處理，E-mail：zhenkongwujun@163.com