基于傳輸協(xié)議的虛擬人切片提取算法研究

徐洪飚

（溫州醫(yī)學(xué)院 信息與工程學(xué)院，浙江 溫州 325000）

基于傳輸協(xié)議的虛擬人切片提取算法研究

徐洪飚

（溫州醫(yī)學(xué)院 信息與工程學(xué)院，浙江 溫州 325000）

本文在針對(duì)虛擬人的三維數(shù)據(jù)集的研究中，建立了一種模擬TCP協(xié)議的切片提取與傳輸方法，提出基于Client-Server的切片數(shù)據(jù)存儲(chǔ)服務(wù)器總體設(shè)計(jì)方案，并描述了數(shù)據(jù)集切片的定位，提取，傳輸?shù)冗^程；最后給出切片圖像與網(wǎng)絡(luò)傳輸?shù)刃阅艿脑u(píng)價(jià)體系。

虛擬人數(shù)據(jù)集；切片服務(wù)器；切片提取

1 引言

當(dāng)前，人們利用計(jì)算技術(shù)和網(wǎng)絡(luò)技術(shù)研究醫(yī)學(xué)領(lǐng)域的眾多問題，構(gòu)建一個(gè)完整的人體三維數(shù)據(jù)信息已成為醫(yī)學(xué)領(lǐng)域與計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)。利用信息技術(shù)實(shí)現(xiàn)人體從微觀到宏觀的結(jié)構(gòu)和機(jī)能的數(shù)字化、可視化，最終實(shí)現(xiàn)人體的整體精確模擬，這將對(duì)醫(yī)學(xué)、生物學(xué)及其他人體相關(guān)學(xué)科的發(fā)展起到難以估量的影響。利用虛擬人人體數(shù)據(jù)集可以進(jìn)行眾多的實(shí)驗(yàn)，如人機(jī)工程中一些實(shí)驗(yàn)[1]。世界各國都在進(jìn)行著虛擬人技術(shù)的研究。同時(shí)，鐘世鎮(zhèn)等[2-3]和孫守遷等[4]以“中國數(shù)字化虛擬人”為主題進(jìn)行了眾多的研究。

隨著醫(yī)學(xué)技術(shù)的發(fā)展，特別是人體切片技術(shù)的出現(xiàn)，使得在計(jì)算機(jī)上模擬人體或者是部分器官的精細(xì)結(jié)構(gòu)已經(jīng)成為可能。在醫(yī)學(xué)上，人體的解剖結(jié)構(gòu)通常要求形成一個(gè)器官多截面的地圖集[5]。美國國家醫(yī)學(xué)圖書館可視人計(jì)劃[6]提供了一個(gè)優(yōu)秀的人體數(shù)字截面圖，它由橫斷CT、MRI和人體部分圖片組成。 這種數(shù)據(jù)集提供了全彩色，高精度的人體截面圖，男性集為13 GB，女性集為40 GB；男性可視人的數(shù)據(jù)集是由2048×1212×1871個(gè)體素組成， 每個(gè)體素大小為0.33 mm×0.33 mm× 1.00 mm。女性比男性更為精細(xì)，每個(gè)體素為0.33 mm×0.33 mm×0.33 mm。

可視人數(shù)據(jù)集被很多學(xué)術(shù)與教學(xué)機(jī)構(gòu)用來進(jìn)行科學(xué)研究[7]。 然而使用全部數(shù)據(jù)集在工作站上進(jìn)行工作需要較高的編程水平，其計(jì)算也是極其繁瑣的。通過基于WEB的可視人數(shù)據(jù)訪問系統(tǒng)，則可以使眾多的學(xué)生、教師和研究人員從這種解剖數(shù)據(jù)共享體系中獲益。

許多的可視人切片與表面服務(wù)器[8]提供了一個(gè)任意方向與位置的切片與表面提取系統(tǒng)，能產(chǎn)生連續(xù)切片序列的動(dòng)畫。但是，這些應(yīng)用都要求用戶事先確定切片的位置與方向，而不能進(jìn)行切片的實(shí)時(shí)提取。

為了提供實(shí)時(shí)能力，我們創(chuàng)建了基于TCP sockets的客戶-服務(wù)器協(xié)議，在WEB中開發(fā)了一個(gè)實(shí)時(shí)切片提取系統(tǒng)。這種Java程序能以恒定速率（X張/s）連續(xù)的從數(shù)據(jù)集中提取切片，并且可以預(yù)先設(shè)定提取時(shí)間安排與圖像質(zhì)量管理策略；能根據(jù)網(wǎng)絡(luò)數(shù)據(jù)傳輸率與期望的顯示速率調(diào)整從服務(wù)器向客戶機(jī)發(fā)送的可視信息量。可視信息傳輸?shù)恼{(diào)整通過壓縮減少數(shù)據(jù)量來適應(yīng)目標(biāo)尺寸的大小，通過以某種精度采樣來盡可能地滿足期望的顯示速率。根據(jù)本研究的實(shí)驗(yàn)測(cè)試結(jié)果表明：如果客戶機(jī)本地緩存存有已下載的數(shù)據(jù)集，則瀏覽速度將會(huì)更快。

2 算法基礎(chǔ)

2.1 采用的技術(shù)手段 我們采用基于TCP socket客戶協(xié)議，創(chuàng)建了客戶-服務(wù)器協(xié)議。①TCP（transmission control protocol）是網(wǎng)絡(luò)體系結(jié)構(gòu)中的傳輸控制協(xié)議。它是整個(gè)協(xié)議層次的核心所在。它的任務(wù)是在源機(jī)器和目標(biāo)機(jī)器之間提供可靠的、性價(jià)比合理的數(shù)據(jù)傳輸功能，并且與當(dāng)前所使用的物理網(wǎng)絡(luò)完全獨(dú)立。②為了讓用戶訪問傳輸服務(wù)，傳輸層必須為應(yīng)用程序提供一些操作，也就是說，提供一個(gè)傳輸服務(wù)接口，這個(gè)接口就是稱為套接字（socket）的接口。每個(gè)傳輸服務(wù)都有它自己的接口。③客戶機(jī)-服務(wù)器（client-server，即C/S）結(jié)構(gòu)是一種網(wǎng)絡(luò)體系。它以網(wǎng)絡(luò)環(huán)境為基礎(chǔ)，將計(jì)算任務(wù)分布在網(wǎng)絡(luò)的多個(gè)節(jié)點(diǎn)中。其中作為后臺(tái)的服務(wù)器集共享資源和各種應(yīng)用服務(wù)及功能于一體，專門負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)管理，提供進(jìn)程、文件和通信服務(wù)，作為前臺(tái)的客戶機(jī)則實(shí)現(xiàn)數(shù)據(jù)訪問、瀏覽等功能，負(fù)責(zé)處理用戶提出的請(qǐng)求服務(wù)，并傳送給服務(wù)器，由服務(wù)器把處理結(jié)果傳回給客戶機(jī)。

2.2 數(shù)據(jù)集的存儲(chǔ) 對(duì)數(shù)據(jù)的存儲(chǔ)可借助可視人數(shù)據(jù)集的存儲(chǔ)方式。我們知道可視人器官數(shù)據(jù)是以體素集（功能器官的基本組成單位）的形式存儲(chǔ)的。之所以分成如此細(xì)小的部分是為了能保證小數(shù)據(jù)集能以固有的速度被下載；體素集的尺寸與壓縮必須適應(yīng)存儲(chǔ)應(yīng)用的需求。 為了形成一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)集，必須存儲(chǔ)縮減因子（F）分別為2、4、8、16和32的多種版本的可視人數(shù)據(jù)集（見圖1）；并且每個(gè)體素集的字節(jié)數(shù)是恒定的。 因此低密度存儲(chǔ)率的體素集能存儲(chǔ)更大的數(shù)據(jù)。

圖1 一個(gè)體素集的不同密度存儲(chǔ)

3 算法設(shè)計(jì)

3.1 切片服務(wù)器模式 首先考慮這樣的做法：服務(wù)器提取并壓縮切片并以數(shù)據(jù)流形式傳入客戶機(jī)，因?yàn)榭蛻魴C(jī)只要解壓縮和顯示到達(dá)的切片，所以主要的工作在服務(wù)器上完成。其次考慮服務(wù)器完全壓縮各種段數(shù)據(jù)并傳給客戶機(jī)，客戶機(jī)解壓縮并在緩存中存儲(chǔ)，然后進(jìn)行切片提取。因?yàn)榭蛻魴C(jī)需要切片提取所需的全部計(jì)算，所以主要工作由客戶機(jī)完成，但服務(wù)器必須傳輸所有的體素集給客戶機(jī)。關(guān)于壓縮方法，這里我們考慮的壓縮標(biāo)準(zhǔn)為標(biāo)準(zhǔn)的JPEG壓縮。雖然基于小波的JPEG 2000在同樣壓縮率下有更高質(zhì)量[9]，但是它的處理要求也相對(duì)較高，而標(biāo)準(zhǔn)的JPEG壓縮更容易使用，并容易寫出基于Java的解壓縮程序。在JPEG頭部的574字節(jié)集中含有Huffman表，并只被網(wǎng)絡(luò)傳輸一次，在余下的程序中， 所有的圖像數(shù)據(jù)是以16×16像素的塊傳輸?shù)?。這些“JPEG塊”能平均從768 b被壓縮到37 b，而JPEG Group能壓到20 b[10]。采用有效的壓縮率與源數(shù)據(jù)有密切關(guān)系，保證恒定圖片質(zhì)量的壓縮要優(yōu)于恒定壓縮率的壓縮方法。我們?cè)诳蛻魴C(jī)上寫了一個(gè)基于JPEG塊傳輸流的JAVA解壓縮程序。 測(cè)試表明在我們的數(shù)據(jù)集切片實(shí)時(shí)瀏覽系統(tǒng)中質(zhì)量損失并不主要取決于壓縮。

3.2 基本的客戶-服務(wù)器交互步驟 客戶-服務(wù)器交互程序必須針對(duì)客戶需要的切片位置盡可能快速地進(jìn)行切片顯示（根據(jù)一個(gè)恒定的顯示速率）。為保證網(wǎng)絡(luò)帶寬的最佳使用和避免超時(shí)信息，服務(wù)器必須在一個(gè)切片顯示間隔內(nèi)精確傳輸大量的數(shù)據(jù)。 圖2中顯示了這種以管線方式傳輸?shù)倪^程。以下四點(diǎn)，解釋了切片傳輸?shù)牧鞒蹋?/p>

①客戶機(jī)將發(fā)出周期性的請(qǐng)求。

②相應(yīng)期望幀的請(qǐng)求間隔。這些請(qǐng)求包含用戶當(dāng)前請(qǐng)求的切片參數(shù)，如切片的位置與三個(gè)方向矢量以及標(biāo)識(shí)、視口參數(shù)等。如果請(qǐng)求與上一次相同，則會(huì)以一個(gè)只包含請(qǐng)求標(biāo)識(shí)的短請(qǐng)求回復(fù)給服務(wù)器，當(dāng)然這種回復(fù)請(qǐng)求包含最大回復(fù)尺寸。客戶機(jī)依據(jù)服務(wù)器給出的最大回復(fù)尺寸進(jìn)行調(diào)整，以達(dá)到最佳的回復(fù)時(shí)間與圖像質(zhì)量的平衡。服務(wù)器從客戶機(jī)接收請(qǐng)求并進(jìn)行處理，盡可能快的發(fā)送數(shù)據(jù)。

③回復(fù)不能含有超過客戶的最大回復(fù)尺寸要求的任何字節(jié)，任何超出的數(shù)據(jù)，在客戶機(jī)發(fā)出下一次請(qǐng)求到達(dá)之前，將存儲(chǔ)在客戶機(jī)的緩沖區(qū)中；這樣將產(chǎn)生一個(gè)在切片請(qǐng)求與相應(yīng)的切片顯示之間的延遲。為避免這種情況發(fā)生，必須阻止這種數(shù)據(jù)的發(fā)送。在同一個(gè)周期中存在兩個(gè)沒有得到服務(wù)器答復(fù)的請(qǐng)求時(shí)， 客戶機(jī)被要求停止發(fā)送請(qǐng)求。

④客戶機(jī)開始解壓縮接收到的數(shù)據(jù)并顯示。

圖2 客戶機(jī)與服務(wù)器之間的切片傳輸過程

3.3 切片提取算法 在切片提取算法中，切片被要求能以任意方向與位置從數(shù)據(jù)集中提取，可由三個(gè)矢量來表達(dá)（見圖3）。

圖3 切片請(qǐng)求的表達(dá)

切片采樣用incremental fixed-point算法：從切片的左上角開始， 計(jì)算數(shù)據(jù)集中相應(yīng)點(diǎn)的3維空間坐標(biāo)，獲取最近的體素（nearest neighbor interpolation算法）或者周圍體素（trilinear interpolation算法）。使用當(dāng)前切片的右上方向向量的可視化參數(shù)逐步增加當(dāng)前的坐標(biāo)以達(dá)到遍歷所需的切片。為能達(dá)到一個(gè)可以接受的速度，體素集必須存儲(chǔ)在客戶機(jī)的緩存中。在實(shí)時(shí)瀏覽中，切片的位置與方向會(huì)做較少的變動(dòng)，所以，體素集的緩存存儲(chǔ)方式是有積極意義的。

3.4 基于C/S的切片傳輸 在客戶機(jī)與服務(wù)器之間傳輸被壓縮的切片比較簡(jiǎn)單， 因?yàn)樗械奶幚聿襟E在服務(wù)器已經(jīng)進(jìn)行。當(dāng)服務(wù)器收到一個(gè)請(qǐng)求，它從數(shù)據(jù)集中提取切片，進(jìn)行壓縮，并回復(fù)給客戶機(jī)；客戶機(jī)解壓縮并顯示切片。在服務(wù)器上，數(shù)據(jù)集是以段存儲(chǔ)的，每段由32×32×16的體素集構(gòu)成，若采用縮減因子為32的方法，則段變?yōu)?×1×4的體素集，體素大小變?yōu)?0.56 mm×10.56 mm×16.00 mm。如果所請(qǐng)求切片的體素集不在緩存中，則進(jìn)行加載，按照trilinear interpolation算法對(duì)切片進(jìn)行提取，精度由客戶決定。如果是一個(gè)新的請(qǐng)求，則按照最大回復(fù)尺寸的要求，用適當(dāng)?shù)目s減因子（F）調(diào)入新體素集。如果是一個(gè)連續(xù)的請(qǐng)求（即不存在與用戶的交互過程），則不同精度的切片均被提取，連續(xù)的發(fā)回?？蛻魴C(jī)總會(huì)顯示接收到的任何已經(jīng)解壓縮的數(shù)據(jù)，最后的高精度切片會(huì)越來越多。如果在傳輸還沒有完全完成之前就產(chǎn)生了對(duì)新切片的請(qǐng)求，則先前的所有不同精度的切片傳輸會(huì)被暫時(shí)中斷，產(chǎn)生一個(gè)新的低精度切片的傳輸。我們讓切片以JPEG塊形式發(fā)送，如果以14:1的單張壓縮率，則可產(chǎn)生一個(gè)55 b JPEG塊。

4 性能評(píng)價(jià)

4.1 切片圖像評(píng)價(jià)矩陣 為了評(píng)價(jià)從可視人體素集提取的切片圖像的質(zhì)量，可定義如下一個(gè)簡(jiǎn)單的矩陣：

影響fps的因子有：網(wǎng)絡(luò)帶寬，單幀壓縮時(shí)間和期望幀顯示速率；并且還要考慮交互響應(yīng)時(shí)間，由以下幾種延時(shí)構(gòu)成：①網(wǎng)絡(luò)延遲：局域網(wǎng)不到1 ms，最慢100 ms，典型為70～80 ms；②網(wǎng)絡(luò)吞吐能力：如請(qǐng)求尺寸為48 b，要求2～3 ms；③請(qǐng)求的處理（切片提取與壓縮），典型為5～15 ms（Pentium 4 1.7 GHz）；④發(fā)送回復(fù)的網(wǎng)絡(luò)延遲；⑤回復(fù)發(fā)送時(shí)間（依賴于網(wǎng)絡(luò)吞吐率），回復(fù)尺寸應(yīng)該與切片顯示時(shí)間大致相同。

客戶機(jī)在第一塊數(shù)據(jù)到達(dá)時(shí)便要開始?jí)嚎s，而不會(huì)等待全部的塊傳輸完畢。解壓縮取決于客戶機(jī)的處理能力：若配置為Pentium 41.7 GHz，大約在1000 JPEG 塊/s， 即大約40 kb/s（依賴于壓縮率）。實(shí)驗(yàn)表明在250 ms的延遲時(shí)，仍然有著較好的瀏覽速度。表1列出了各種指標(biāo)的一些測(cè)試結(jié)果。

表1 各網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)實(shí)驗(yàn)結(jié)果

5 結(jié)論

建立虛擬人切片的Client-Server模式，經(jīng)研究與測(cè)試表明這是一種比較高效的方法，充分實(shí)現(xiàn)了數(shù)據(jù)的共享，方便解剖學(xué)的教學(xué)與研究者的需求。接下來利用切片建立基于WEB的3D人體導(dǎo)航系統(tǒng)，將是迫在眉睫的工作，這項(xiàng)工作要求配置強(qiáng)大計(jì)算能力的專業(yè)圖形工作站與高效的專業(yè)存儲(chǔ)器；同時(shí)我們將尋求更好的方法來對(duì)已有的3D重建技術(shù)進(jìn)行改進(jìn)。

[1] 羅仕鑒,孫守遷,唐明晰,等.計(jì)算機(jī)輔助人機(jī)工程設(shè)計(jì)研究[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2005,39(6): 805-809,829.

[2] 鐘世鎮(zhèn).顯微外科應(yīng)用解剖與數(shù)字虛擬人的回顧與展望[J].中華顯微外科雜志,2007,30(1):2-3.

[3] 鐘世鎮(zhèn),原林,唐雷,等.數(shù)字化虛擬人國內(nèi)關(guān)鍵技術(shù)和進(jìn)展[J].中國基礎(chǔ)科學(xué),2002,(6):19-21.

[4] 孫守遷,黃琦,潘云鶴,等.數(shù)字化藝術(shù)與設(shè)計(jì)研究進(jìn)展[J].中國機(jī)械工程,2004,15(12):83-88.

[5]Netter FH. Atlas of human anatomy [M]. Salt Lake City:Saunders, 2007:13-275.

[6]Ackerman MJ. The visible human project [J]. Proceedings of the IEEE,1998,86(3):504-511.

[7]Patrias K. Visible human project [EB/OL]. [2010-07-10].http://www.nlm.nih.gov/archive//20061214/pubs/cbm/visible_human.html.

[8]Hersch RD, Gennart B, Figueiredo O, et al. The visible human slice web server: a first assessment [C]. San Jose:Proceedings IS&T/SPIE Conference on Internet Imaging,2000:253-258.

[9]Charrier M, Cruz DS, Larsson M. JPEG2000, the next millennium compression standard for still images [C]. Florence:Froceeding of the IEEE international Conference on Multimedia Computing and Systems,1999:131-132.

[10]Independent JPEG Group. Libjpeg [EB/OL]. [2010-07-10].http://www.ijg.org.

Q819

B

1000-2138（2011）01-0056-04

2010-07-19

徐洪飚（1978-），男，浙江溫州人，助教，在職研究生。

吳健敏）

·論 著·