基于Spark的CT并行圖像處理技術(shù)研究

王恒 鄭筆耕

摘要：為解決圖像的高效處理問(wèn)題，將適用于CT圖像重建的SPIHT算法與大數(shù)據(jù)Spark框架相結(jié)合，以提高醫(yī)學(xué)圖像重建批量處理的效率，降低重建所需時(shí)間成本。該方法考慮到了醫(yī)學(xué)CT圖像的實(shí)際需求，對(duì)于SPIHT算法進(jìn)行了改進(jìn)，通過(guò)圖像處理接口接入Spark平臺(tái)，靈活性高，可靠性強(qiáng)。實(shí)驗(yàn)表明，該方法在不同處理環(huán)境下，能夠有效地提升圖像處理的加速比和效率。

關(guān)鍵詞：大數(shù)據(jù);醫(yī)學(xué)圖像處理;CT;圖像重建

中圖分類(lèi)號(hào)：TP391.41?文獻(xiàn)標(biāo)志碼：A?文章編號(hào)：1008-4657（2019）05-0005-04

0?引言

電子計(jì)算機(jī)斷層掃描（Computed Tomography，CT）是運(yùn)用精準(zhǔn)的X射線(xiàn)、超聲波等射線(xiàn)，協(xié)同高靈敏度的探測(cè)器對(duì)人體某一部位一定厚度的層面進(jìn)行一系列斷層掃描的技術(shù)[1]，當(dāng)探測(cè)器收到透過(guò)該層面的X射線(xiàn)，轉(zhuǎn)變成可見(jiàn)光之后，光信號(hào)經(jīng)過(guò)光電轉(zhuǎn)換變成了電信號(hào)，在經(jīng)過(guò)過(guò)模數(shù)轉(zhuǎn)換，變成數(shù)字信號(hào)交由計(jì)算機(jī)處理。CT技術(shù)在醫(yī)學(xué)診斷上得到了廣泛的應(yīng)用，在現(xiàn)今大數(shù)據(jù)背景下，醫(yī)院診療過(guò)程中所需的醫(yī)學(xué)圖像在數(shù)量、大小上呈規(guī)模式增長(zhǎng)，提高圖像重構(gòu)的效率已經(jīng)成為急需解決的重要問(wèn)題。

面對(duì)超大規(guī)模圖像重建的現(xiàn)狀，前人提出了基于消息傳遞接口[2]、圖形處理器[3-5]等圖像的并行處理算法。利用基于統(tǒng)一計(jì)算設(shè)備架構(gòu)（Compute Unified Device Architecture，CUDA）的圖形處理器完成了CT圖像的重建，有效的縮短了圖像重建耗時(shí)，提高了重建的效率，但是圖形處理器架構(gòu)所需的較高的構(gòu)造成本阻礙了其進(jìn)一步發(fā)展。文獻(xiàn)[6-7]提出了基于信息傳遞接口的并行CT圖像重建方法，該方法相比于串行方法，工作效率得到極大提升，但是信息傳遞接口的編程過(guò)程比較復(fù)雜，增加了其應(yīng)用的難度。

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，各類(lèi)大數(shù)據(jù)處理技術(shù)已經(jīng)應(yīng)用于網(wǎng)絡(luò)流量分析、用戶(hù)行為分析等方面，其中又以Spark和Hadoop兩種架構(gòu)最為活躍。因此，將當(dāng)下比較成熟的大數(shù)據(jù)技術(shù)與醫(yī)學(xué)圖像處理、醫(yī)學(xué)數(shù)據(jù)存儲(chǔ)等應(yīng)用相結(jié)合，成為了眾多學(xué)者的研究方向：文獻(xiàn)[8]運(yùn)用MapReduce模型，基于Hadoop架構(gòu)實(shí)現(xiàn)了對(duì)大規(guī)模醫(yī)學(xué)圖像的并行處理;文獻(xiàn)[9]利用Spark并行實(shí)現(xiàn)了較大規(guī)模的肺葉DR圖像分割。在與Hadoop架構(gòu)的比較中，Spark架構(gòu)具有低延時(shí)、編程工具豐富、數(shù)據(jù)重用機(jī)制優(yōu)異、多種API實(shí)現(xiàn)整合以及圖像處理效率高等一系列特點(diǎn)。

本文提出將Spark與改進(jìn)的多級(jí)樹(shù)集合分裂（Set Partitioning In Hierarchical Tree，SPIHT）算法相結(jié)合，將CT圖像處理算法設(shè)計(jì)成并行模式。利用圖像接口對(duì)于CT圖像進(jìn)行預(yù)處理，經(jīng)過(guò)Spark集群后存入HDFS。在圖像處理接口處，可以隨意添加圖像處理所需要的傳遞函數(shù)，以達(dá)到用戶(hù)對(duì)于圖像的各類(lèi)需求。

1?方法

1.1?運(yùn)行環(huán)境

硬件環(huán)境是內(nèi)置Intel Core i5四核處理器的PC，軟件環(huán)境是Windows7的操作系統(tǒng)，采用信息傳遞接口并行編程。

1.2?改進(jìn)的SPIHT算法

SPIHT算法是通過(guò)在算法執(zhí)行過(guò)程中，計(jì)入對(duì)有效系數(shù)位置大的傳輸，以此來(lái)提高算法運(yùn)行的速度[10]。

SPIHT算法的編碼過(guò)程可以分成排序、量化兩個(gè)部分：

（1）把方向樹(shù)分解為頭節(jié)點(diǎn)C（i，j）和其他集合D（i，j）。

（2）對(duì)兩種集合進(jìn)行判斷。若頭節(jié)點(diǎn)為重要，則將C（i，j）轉(zhuǎn)入LSP鏈表;若其他集合為重要，則D（i，j）繼續(xù)分解為集合L（i，j）和O（i，j）。

（3）對(duì)集合L（i，j）和O（i，j）進(jìn)行重要性判斷;若O（i，j）重要，將O（i，j）重要元素轉(zhuǎn)入LSP;若L（i，j）重要，則將L（i，j）分裂成4個(gè)集合。

（4）重復(fù)以上判斷步驟，對(duì)所有集合進(jìn)行重要性判斷，直至所有重要元素被轉(zhuǎn)入LSP鏈表。

在掃描過(guò)程中，SPIHT算法極大的提高了其壓縮效率。但是，在編碼時(shí)算法需要占據(jù)大量的內(nèi)存，同時(shí)將圖像中所有頻域部分采用同重要度的統(tǒng)一編碼，算法存在可提升的空間。改進(jìn)的SPIHT算法流程如圖1所示。

（1）采用N層快速小波變換。

（2）為了介于存儲(chǔ)空間，提出最小輸出位、最小閾值，在每一次掃描之后輸出被判斷為重要的系數(shù)的二進(jìn)制位，閾值減小到時(shí)停止壓縮編碼。

（3）加入最大值表。在逐一的元素比較式，建立最大值表，將被判斷為不重要的元素的子節(jié)點(diǎn)的系數(shù)最大值存入其中。

1.3?基于Spark的CT并行圖像處理架構(gòu)

基于Spark的CT并行圖像處理架構(gòu)如圖2所示。

其中，圖像處理接口主要用于對(duì)輸入的醫(yī)學(xué)圖像進(jìn)行預(yù)處理，將Spark驅(qū)動(dòng)程序和改進(jìn)的SPIHT算法相結(jié)合;Spark集群管理節(jié)點(diǎn)主要作用是負(fù)責(zé)業(yè)務(wù)調(diào)度和資源分配，對(duì)圖像進(jìn)行并行處理;分布式文件系統(tǒng)[11]主要作用是對(duì)處理之后的圖像資料及其他數(shù)據(jù)進(jìn)行及時(shí)的存儲(chǔ)，保證系統(tǒng)的存儲(chǔ)和讀取速度。實(shí)驗(yàn)的并行環(huán)境主要采用片間并行的方式對(duì)圖像進(jìn)行重建。

Spark應(yīng)用程序的運(yùn)行機(jī)制簡(jiǎn)述如下：Master負(fù)責(zé)接收開(kāi)發(fā)者編寫(xiě)的應(yīng)用程序和資源請(qǐng)求，根據(jù)應(yīng)用程序的大小和請(qǐng)求劃分部分資源（CPU和內(nèi)存）用于啟動(dòng)應(yīng)用程序的管理進(jìn)程Driver，同時(shí)Driver向Master申請(qǐng)?jiān)赪oker中用于計(jì)算的資源Executor，Driver將細(xì)化后的應(yīng)用程序任務(wù)分派給Executor，Executor執(zhí)行完畢后將結(jié)果返回給Driver，最終結(jié)果返回給開(kāi)發(fā)者。

2?設(shè)計(jì)

基于Spark的CT并行圖像處理流程如圖3所示。

首先，由于Spark無(wú)法直接識(shí)別JPG等日常生活中常用的圖片格式，我們需要將圖像進(jìn)行預(yù)處理。將患者的病灶圖像進(jìn)行隊(duì)列化，通過(guò)Spark Streaming[12]在圖像處理接口處對(duì)圖像隊(duì)列進(jìn)行轉(zhuǎn)換操作，將圖像轉(zhuǎn)化為對(duì)應(yīng)的二進(jìn)制文件之后進(jìn)行存儲(chǔ)。

Spark對(duì)該二級(jí)制文件提供文本接口，將其讀入成一個(gè)分布式數(shù)據(jù)集（Resiliennt Distributed Datasets，RDD），即每一個(gè)圖像恰好對(duì)應(yīng)一個(gè)RDD，對(duì)于圖像的處理就簡(jiǎn)單的變?yōu)镽DD的轉(zhuǎn)化工作。將改進(jìn)的SPIHT算法導(dǎo)入Spark的圖像處理接口，實(shí)現(xiàn)對(duì)于RDD實(shí)例的轉(zhuǎn)化，為每一幅圖像生成新的RDD，實(shí)現(xiàn)了不同醫(yī)學(xué)圖像算法在大數(shù)據(jù)平臺(tái)上的應(yīng)用。

3?實(shí)驗(yàn)分析

將3幅圖像置于四核的處理器下進(jìn)行處理，得到了處理時(shí)間、加速比和效率等參數(shù)。所處理的圖像分別為Fig1（128×128）、Fig2（256×256）和Fig3（512×512）。

其中對(duì)于算法的評(píng)價(jià)標(biāo)準(zhǔn)主要為加速比和效率。其中，加速比的定義為

效率的定義為

公式表示p臺(tái)計(jì)算機(jī)同時(shí)進(jìn)行處理。

不同環(huán)境下圖像處理指標(biāo)如表1所示。

4?結(jié)論

本文基于分布式計(jì)算框架的Spark平臺(tái)，通過(guò)加入圖像處理接口，實(shí)現(xiàn)了改進(jìn)的SPIHT算法在醫(yī)學(xué)圖像上的并行處理應(yīng)用，其中考慮到了醫(yī)學(xué)CT圖像的實(shí)際需求，提高了醫(yī)學(xué)圖像重建批量處理的效率，降低了重建所需時(shí)間成本。實(shí)驗(yàn)表明，該方法在不同處理環(huán)境下，能夠有效地提升圖像處理的加速比和效率。

參考文獻(xiàn)：

[1]袁翠云，齊宏亮，陳梓嘉，等.基于投影域校正的CT圖像環(huán)形偽影去除方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017（3）：735-738.

[2]Forum M P.MPI：A Message-passing Interface Standard[S].University of Tennessee，1994.

[3]Saxena N，Baheti G L，Tripathi D K，et al.CUDA-based GPU Computing for Fast Tomography Visualisations[J].Insight-non-destructive Testing and Condition Monitoring，2010，52（5）：262-264.

[4]石本義.基于GPU的計(jì)算機(jī)斷層成像技術(shù)研究[D].武漢：華中科技大學(xué)，2010.

[5]張偉.基于GPU加速的錐束CT重建算法研究[D].重慶：重慶大學(xué)，2016.

[6]曾有靈，陳耿鐸，熊威，等.基于Spark的CT圖像FBP重建算法程序并行設(shè)計(jì)[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（10）：223-229.

[7]Yang J，Guo X，Kong Q，et al.Parallel Implementation of Katsevich's FBP Algorithm[J].International Journal of Biomedical Imaging，2006（3）：1-8.

[8]張育瑛.基于流形的彩色醫(yī)學(xué)圖像增強(qiáng)算法實(shí)現(xiàn)[J].信息與電腦（理論版），2018，408（14）：53-55.

[9]蘭云旭，王俊峰，唐鵬.基于Spark的并行醫(yī)學(xué)圖像處理研究[J].四川大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，54（1）：65-70.

[10]吳銀芳.基于模糊變換耦合最大熵的醫(yī)學(xué)圖像融合算法[J].西南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，43（11）：55-62.

[11]Shvachko K，Kuang H，Radia S，et al.The Hadoop Distributed File System[C]//Piscataway：IEEE，2010：1-10.

[12]黃文輝，馮瑞.基于Spark Streaming的視頻/圖像流處理與新的性能評(píng)估方法[J].計(jì)算機(jī)工程與科學(xué)，2015，37（11）：71-76.

[責(zé)任編輯：許立群]