B/S模式下三維可視化醫(yī)學(xué)影像系統(tǒng)的設(shè)計(jì)

萬兵，汪利琴，劉沛武

1. 荊州市中心醫(yī)院 長(zhǎng)江大學(xué)第二臨床醫(yī)學(xué)院 放射科，湖北 荊州 434020；2. 長(zhǎng)江大學(xué) 工程技術(shù)學(xué)院，湖北 荊州 434020

引言

現(xiàn)代醫(yī)療信息化、智能化和數(shù)字化發(fā)展，促進(jìn)了醫(yī)院信息系統(tǒng)（Hospital Information System，HIS）、圖像存檔與傳輸系統(tǒng)（Image Archiving and Transmission System，PACS）與放射學(xué)信息系統(tǒng)（Radiological Information System，RIS）等的產(chǎn)生[1]。醫(yī)學(xué)影像學(xué)是臨床診斷體系的重要組成部分，包括超聲、X 線、CT 和MRI 等設(shè)備，成像過程中產(chǎn)生了大量圖像，而數(shù)字化儲(chǔ)存較好地實(shí)現(xiàn)了病人資料簡(jiǎn)單永久保存。構(gòu)建醫(yī)學(xué)影像存儲(chǔ)、傳輸與管理系統(tǒng)，除了能較大的降低醫(yī)院固有成本，提高運(yùn)行效率，更能方便影像圖像共享，提高臨床信息資源處理能力[2]。

目前，大多數(shù)醫(yī)學(xué)影像可視化系統(tǒng)采用C/S（Client/Serve，客戶端/服務(wù)器）架構(gòu)，須在客戶端運(yùn)行相應(yīng)軟件調(diào)取圖像和進(jìn)行圖像處理，具有擴(kuò)展性差，需要專人部署和設(shè)備維護(hù)困難等缺點(diǎn)[3]。同時(shí)，近年來遠(yuǎn)程醫(yī)療會(huì)診和移動(dòng)醫(yī)療快速發(fā)展，基于C/S 架構(gòu)的醫(yī)學(xué)影像可視化系統(tǒng)已不能滿足現(xiàn)代醫(yī)療發(fā)展。

本系統(tǒng)在充分研究B/S（Browser/Server，瀏覽器/服務(wù)器模式）架構(gòu)基礎(chǔ)上，使用國(guó)際通行的DICOM 3.0 標(biāo)準(zhǔn)[4]，采用HTML5/JavaScript/CSS3 技術(shù)[5]，設(shè)計(jì)和實(shí)現(xiàn)了基于B/S 的三維可視化醫(yī)學(xué)影像系統(tǒng)。該系統(tǒng)可以運(yùn)行在不同終端的瀏覽器上，在滿足醫(yī)生診斷要求外，提供了一個(gè)分布式、跨平臺(tái)、高移植的影像圖像共享平臺(tái)，起到了促進(jìn)數(shù)字化醫(yī)療發(fā)展的作用[6-7]。

1 系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)總體架構(gòu)

本系統(tǒng)包括PACS 服務(wù)器、DCMTK 影像解析模塊和三維影像處理模塊，與WEB 服務(wù)器連接，通過HTTP 瀏覽器進(jìn)行病人信息查詢和圖像處理。PACS 系統(tǒng)歸檔存儲(chǔ)病人資料，DCMTK 影像解析模塊解析DICOM 數(shù)據(jù)。三維影像處理模塊利用WebGL 提供圖像渲染服務(wù)，包括多平面重建（Multiplanar Reconstruction，MPR）和容積成像（Volume Rendering，VR）等。WEB 服務(wù)器端通過CSS 設(shè)計(jì)整個(gè)用戶交互界面，使用HTML5 和JavaScript 編寫WEB 頁(yè)面功能模塊，其總體架構(gòu)如圖1 所示。

圖1 系統(tǒng)總結(jié)架構(gòu)圖

1.2 醫(yī)學(xué)影像信息查詢與傳輸系統(tǒng)

醫(yī)學(xué)影像信息查詢與傳輸系統(tǒng)是本系統(tǒng)的基礎(chǔ)和關(guān)鍵功能，它直接影響后續(xù)信息匹配和影像圖像的顯示。新的DICOM 3.0 標(biāo)準(zhǔn)加入并采用http/https 的WADO（Web Access to DICOM Persistent Object）協(xié)議，實(shí)現(xiàn)了多點(diǎn)之間的通信傳輸，使瀏覽器模式下的影像可視化系統(tǒng)成為可能。本系統(tǒng)采用WADO 的影像傳輸模式[8]。當(dāng)B/S 模式下的瀏覽器端發(fā)出請(qǐng)求時(shí)，WEB 服務(wù)器響應(yīng)請(qǐng)求，通過DCMTK影像解析模塊解析請(qǐng)求，并查詢PACS 服務(wù)器中數(shù)據(jù)對(duì)象唯一UID（User Identification，用戶身份證明）標(biāo)識(shí)，最后返回相應(yīng)的患者信息和圖像信息給瀏覽器端。查詢與傳輸框架如圖2 所示。

圖2 查詢與傳輸框架圖

查詢模式下，按照DICOM 文件中存儲(chǔ)文件的格式，檢索文件頭和數(shù)據(jù)集中的圖像信息和非圖像信息。每一個(gè)子集里面有很多不同的層級(jí)，包含不同的信息，用戶可以自行選擇關(guān)鍵詞進(jìn)行不同層面的搜索，檢索到的數(shù)據(jù)通過DICOM 文件返回給后臺(tái)，解析模塊最終將解析的信息和圖像數(shù)據(jù)顯示在瀏覽器上。

1.3 二維及三維可視化圖像

二維圖像指通過各種影像設(shè)備獲得的斷面圖像，醫(yī)生只能單幅圖像觀察，而三維可視化圖像可以從二維圖像重建出三維的結(jié)構(gòu)信息，為醫(yī)生提供一個(gè)更立體的三維結(jié)構(gòu)，并能通過各種定量分析工具輔助診斷，更有利于提高診斷的準(zhǔn)確性和診斷效率。

由于圖像二維和三維可視化運(yùn)算量差異很大，本系統(tǒng)采用二種不同的方法進(jìn)行設(shè)計(jì)。二維可視化運(yùn)算量不大，占用資源較少，基于響應(yīng)速度和并發(fā)處理的需要，采用前端實(shí)時(shí)處理用戶的交互，前端實(shí)時(shí)顯示圖像的設(shè)計(jì)。三維可視化顯示需要重建二維數(shù)據(jù)，要經(jīng)過大量的運(yùn)算并占用大量資源，采用二維處理模式無法滿足要求。因此本部分采用前端實(shí)時(shí)響應(yīng)，先繪制減少數(shù)據(jù)量后的模糊結(jié)果，再通過專門的三維處理服務(wù)器模塊進(jìn)行精確繪制，達(dá)到前后端結(jié)果的異步顯示，提升用戶體驗(yàn)度。

1.3.1 二維可視化圖像

在前端即瀏覽器端，用戶發(fā)出交互請(qǐng)求后，PACS 服務(wù)器返回查詢到的DICOM 圖像。前端接收到影像圖像后，利用HTML5 的canvas 繪圖，直接在瀏覽器上繪制二維影像圖像[9]。由于前端javascript 是單線程運(yùn)行，對(duì)于高并發(fā)情況的處理能力不夠，可以使用HTML5 的Web Workers[10]幫助處理。用戶交互界面主要參考一些公司設(shè)計(jì)的客戶端軟件，利用一些快捷工具欄和導(dǎo)航區(qū)實(shí)現(xiàn)常用的二維圖像處理功能，主要包括窗寬窗位的調(diào)整，圖像放大、縮小、平移和旋轉(zhuǎn)，測(cè)量工具，以及圖像偽彩。

（1）窗寬窗位的調(diào)整。觀察某一組織和病變時(shí)，需要調(diào)整窗寬窗位以更好的顯示正常解剖結(jié)構(gòu)和分辨病變組織。本系統(tǒng)通過鼠標(biāo)動(dòng)作響應(yīng)來調(diào)節(jié)窗寬窗位。通過HTML5中的canvas 創(chuàng)建DICOM 文件中PixelData 行列值，窗寬窗位的大小映射為0～255，根據(jù)相應(yīng)值的結(jié)果復(fù)制為圖像灰度值。

（2） 圖像放大、縮小、平移和旋轉(zhuǎn)。進(jìn)行圖像放大、縮小、平移和旋轉(zhuǎn)時(shí)，渲染后圖像的Canvas 坐標(biāo)和圖像的坐標(biāo)通過變換矩陣進(jìn)行轉(zhuǎn)換，保證了圖像操作過程中，圖像和圖元的相對(duì)位置保持不變。

（3）測(cè)量工具。用戶可以對(duì)長(zhǎng)度、角度、面積和CT值進(jìn)行測(cè)量。長(zhǎng)度測(cè)量需要計(jì)算線條本身與真實(shí)人體相對(duì)應(yīng)的對(duì)比值，得到最終長(zhǎng)度值。面積測(cè)量可以選擇不同的形狀，包括圓形、橢圓形、方形以及自定義形狀。CT 值測(cè)量計(jì)算感興趣區(qū)灰質(zhì)值，并與正常參照物進(jìn)行比值。

（4）圖像偽彩。圖像偽彩處理能豐富圖像層次，使人眼更容易分辨不同結(jié)構(gòu)組織。本系統(tǒng)采用灰度值-彩色轉(zhuǎn)換法，設(shè)計(jì)不同的彩色轉(zhuǎn)換表，定義了多種不同的偽彩色顯示方式。

1.3.2 三維可視化圖像

三維可視化總體框架，見圖3。目前應(yīng)用較多的三維可視化重建算法主要有體繪制和面繪制，面繪制常用的是Marching cube 算法，而體繪制則是光線投射法。Marching cube 算法的實(shí)質(zhì)是通過處理三維的數(shù)據(jù)場(chǎng)中的立方體，抽取出與等值面相交的立方體，原理相對(duì)比較簡(jiǎn)單，也比較容易實(shí)現(xiàn)，但分割方法會(huì)丟失許多三維數(shù)據(jù)信息，引起最后結(jié)果的失真。體繪制利用光學(xué)原理，可以將原始的三維離散數(shù)據(jù)直接轉(zhuǎn)換為最終的立體圖像，而不需要對(duì)三維數(shù)據(jù)作太多的處理，與面繪制相比，能更多呈現(xiàn)影像的細(xì)微結(jié)構(gòu)，圖像保真大大提高。本系統(tǒng)采用體繪制算法中最先進(jìn)的光投射法進(jìn)行三維可視化處理，由于客戶端和各種移動(dòng)終端系統(tǒng)配置水平不一，三維可視化渲染通過專門的三維影像處理服務(wù)器，前端只呈現(xiàn)最終的圖像[11-13]。

具體實(shí)現(xiàn)時(shí)先對(duì)DICOM 格式的原始影像數(shù)據(jù)進(jìn)行預(yù)處理，將不同影像設(shè)備中的圖像信息轉(zhuǎn)換為相應(yīng)的灰度值，不同體素還需要增加不同的透明度以增加三維影像的真實(shí)感。利用三線性插值計(jì)算三維影像各點(diǎn)的透明度和灰質(zhì)值，完成所有體數(shù)據(jù)的重采樣后，再混合各種采樣數(shù)據(jù)，最后重建出具有立體感、真實(shí)度高的三維影像。PACS 系統(tǒng)的DICOM 影像數(shù)據(jù)會(huì)加載到三維影像處理服務(wù)器進(jìn)行預(yù)處理，PACS 服務(wù)器最終會(huì)保留病人的二維和三維數(shù)據(jù)。用戶在瀏覽器客戶端發(fā)出交互請(qǐng)求后，Web 服務(wù)器接收請(qǐng)求后，使用多線程模式進(jìn)行網(wǎng)絡(luò)通信的監(jiān)聽和消息分發(fā)，利用命令通道和數(shù)據(jù)通道與三維影像處理服務(wù)器通信。三維影像處理服務(wù)器接收到請(qǐng)求后將預(yù)先處理好的數(shù)據(jù)加載到內(nèi)存中運(yùn)行，并返回到Web 服務(wù)器，最終顯示在瀏覽器客戶端[14-16]。

圖3 三維可視化總體框架

（1）MPR 重建。醫(yī)學(xué)上最常用的三維重建方法，可以利用原始二維圖像重建出橫斷面、冠狀面、矢狀面以及任意切面的圖像，對(duì)全方位觀察病灶以及與周圍組織結(jié)構(gòu)關(guān)系幫助很大。MPR 的交互功能主要包括平移和旋轉(zhuǎn)，主要是通過對(duì)十字線的操作來實(shí)現(xiàn)。

（2）VR 重建。VR 是目前最高形式的三維重建技術(shù)，具有更豐富的三維表現(xiàn)能力和臨床應(yīng)用空間。VR 的交互操作包據(jù)縮放、旋轉(zhuǎn)和切換閾值，采用代表三維物體的立方體進(jìn)行二維空間數(shù)據(jù)和三維的轉(zhuǎn)換。

2 原型測(cè)試

測(cè)試機(jī)型為筆記本電腦，配置為CPU：酷睿i5-6200U 處理器，內(nèi)存：8 GB DDR3 低電壓，顯卡：NVIDA Geforce 940 M 獨(dú)立顯示芯片。使用WIN10 系統(tǒng)的搜狗瀏覽器和系統(tǒng)自帶Explore 瀏覽器進(jìn)行測(cè)試。運(yùn)行結(jié)果表明兩種瀏覽器都能很好地顯示圖像和進(jìn)行相應(yīng)的交互操作，系統(tǒng)運(yùn)行速度也能滿足實(shí)際需要。具體運(yùn)行結(jié)果以搜狗瀏覽器為例說明。

圖4 瀏覽器左側(cè)提供一系列的交互按鈕，右側(cè)顯示圖像。圖4a 是原始的肺組織影像顯示；圖4b 進(jìn)行窗寬窗位的調(diào)整，顯示肝臟組織結(jié)構(gòu)，并進(jìn)行了肝臟病灶大小測(cè)量以及肝組織CT 值測(cè)量；圖4c 是運(yùn)行MPR 重建的圖像，可以從橫斷面、矢狀面和冠狀面等多方位觀察病灶，并通過移動(dòng)十字線定位感興趣點(diǎn)；圖4d 是運(yùn)行VR 后處理的圖像，能清晰顯示肋骨及部分胸腰椎結(jié)構(gòu)。整體交互處理均比較流暢，二維和三維圖像顯示清晰。

圖4 Web瀏覽器交互界面

3 結(jié)論

本系統(tǒng)針對(duì)目前C/S 架構(gòu)醫(yī)學(xué)影像可視化系統(tǒng)的不足，設(shè)計(jì)了瀏覽器端的二維圖像顯示、處理以及三維可視化醫(yī)學(xué)影像系統(tǒng)。測(cè)試結(jié)果表明，不同瀏覽器端可很好實(shí)現(xiàn)二維醫(yī)學(xué)影像圖像同步顯示，并能完成基本圖像處理功能，同時(shí)三維處理運(yùn)行速度、圖像清晰度及準(zhǔn)確性均能滿足診斷需求，設(shè)計(jì)方案達(dá)到預(yù)期目的，其在遠(yuǎn)程會(huì)診、區(qū)域醫(yī)療一體化以及降低醫(yī)院運(yùn)行成本方面具有很高的實(shí)用價(jià)值。