基于改進(jìn)的Zernike矩的局部描述符與圖割離散優(yōu)化的非剛性多模態(tài)腦部圖像配準(zhǔn)

王麗芳 王雁麗 藺素珍 秦品樂(lè) 高媛

摘 要：針對(duì)腦部圖像中存在噪聲和強(qiáng)度失真時(shí)，基于結(jié)構(gòu)信息的方法不能同時(shí)準(zhǔn)確提取圖像強(qiáng)度信息和邊緣、紋理特征，并且連續(xù)優(yōu)化計(jì)算復(fù)雜度相對(duì)較高的問(wèn)題，根據(jù)圖像的結(jié)構(gòu)信息，提出了基于改進(jìn)Zernike距的局部描述符（IZMLD）和圖割（GC）離散優(yōu)化的非剛性多模態(tài)腦部圖像配準(zhǔn)方法。首先，將圖像配準(zhǔn)問(wèn)題看成是馬爾可夫隨機(jī)場(chǎng)（MRF）的離散標(biāo)簽問(wèn)題，并且構(gòu)造能量函數(shù)，兩個(gè)能量項(xiàng)分別由位移矢量場(chǎng)的像素相似性和平滑性組成。其次，采用變形矢量場(chǎng)的一階導(dǎo)數(shù)作為平滑項(xiàng)，用來(lái)懲罰相鄰像素間有較大變化的位移標(biāo)簽;用基于IZMLD計(jì)算的相似性測(cè)度作為數(shù)據(jù)項(xiàng)，用來(lái)表示像素相似性。然后，在局部鄰域中用圖像塊的Zernike矩來(lái)分別計(jì)算參考圖像和浮動(dòng)圖像的自相似性并構(gòu)造有效的局部描述符，把描述符之間的絕對(duì)誤差和（SAD）作為相似性測(cè)度。最后，將整個(gè)能量函數(shù)離散化，并且使用GC的擴(kuò)展優(yōu)化算法求最小值。實(shí)驗(yàn)結(jié)果表明，與基于結(jié)構(gòu)表示的熵圖像的誤差平方和（ESSD）、模態(tài)獨(dú)立鄰域描述符（MIND）和隨機(jī)二階熵圖像（SSOEI）的配準(zhǔn)方法相比，所提算法目標(biāo)配準(zhǔn)誤差的均值分別下降了1878%、10.26%和8.89%，并且比連續(xù)優(yōu)化算法縮短了約20s的配準(zhǔn)時(shí)間。所提算法實(shí)現(xiàn)了在圖像存在噪聲和強(qiáng)度失真時(shí)的高效精確配準(zhǔn)。

關(guān)鍵詞：多模態(tài);圖像配準(zhǔn);自相似性;Zernike矩;圖割

中圖分類(lèi)號(hào)： TP391.41

文獻(xiàn)標(biāo)志碼：A

Abstract： When noise and intensity distortion exist in brain images， the method based on structural information cannot accurately extract image intensity information， edge and texture features at the same time. In addition， the computational complexity of continuous optimization is relatively high. To solve these problems， according to the structural information of the image， a non-rigid multi-modal brain image registration method based on Improved Zernike Moment based Local Descriptor （IZMLD） and Graph Cuts （GC） discrete optimization was proposed. Firstly， the image registration problem was regarded as the discrete label problem of Markov Random Field （MRF）， and the energy function was constructed. The two energy terms were composed of the pixel similarity and smoothness of the displacement vector field. Secondly， a smoothness constraint based on the first derivative of the deformation vector field was used to penalize displacement labels with sharp changes between adjacent pixels. The similarity metric based on IZMLD was used as a data item to represent pixel similarity. Thirdly， the Zernike moments of the image patches were used to calculate the self-similarity of the reference image and the floating image in the local neighborhood and construct an effective local descriptor. The Sum of Absolute Difference （SAD） between the descriptors was taken as the similarity metric. Finally， the whole energy function was discretized and its minimum value was obtained by using an extended optimization algorithm of GC. The experimental results show that compared with the registration method based on the Sum of Squared Differences on Entropy images （ESSD）， the Modality Independent Neighborhood Descriptor （MIND） and the Stochastic Second-Order Entropy Image （SSOEI）， the mean of the target registration error of the proposed method was decreased by 18.78%， 10.26% and 8.89% respectively; and the registration time of the proposed method was shortened by about 20s compared to the continuous optimization algorithm. The proposed method achieves efficient and accurate registration for images with noise and intensity distortion.

Key words： multi-modal; image registration; self-similarity; Zernike moments; Graph Cuts （GC）

0 引言

在臨床醫(yī)學(xué)中，不同的成像模式可以提供不同的生理信息。單模態(tài)醫(yī)學(xué)圖像提供的信息往往是有限的，而多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)則有利于將不同模態(tài)圖像之間的信息互補(bǔ)，信息互補(bǔ)的圖像能提供病變組織或器官的多種信息，為醫(yī)生作出準(zhǔn)確診斷提供有力的理論依據(jù)[1]。

非剛性多模態(tài)腦部醫(yī)學(xué)圖像配準(zhǔn)是將參考和浮動(dòng)圖像的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致，主要有三個(gè)主要組成部分：轉(zhuǎn)換模型、相似性測(cè)度和優(yōu)化方法。目前針對(duì)多模態(tài)腦部醫(yī)學(xué)圖像配準(zhǔn)中的相似性測(cè)度計(jì)算方法主要分為兩類(lèi)：一類(lèi)是使用信息論度量作為相似性測(cè)度?；バ畔ⅲ∕utual Information，MI）[2]是目前廣泛使用的信息論度量，它利用圖像的灰度信息來(lái)計(jì)算兩幅圖像的相似度;但是MI忽略了圖像的局部特征和結(jié)構(gòu)信息，導(dǎo)致多模態(tài)圖像配準(zhǔn)精度降低。

另一類(lèi)是使用結(jié)構(gòu)信息作為相似性測(cè)度。該方法是用局部描述符提取不同模態(tài)的結(jié)構(gòu)信息，從而把多模態(tài)配準(zhǔn)轉(zhuǎn)化為單模態(tài)配準(zhǔn)，使用簡(jiǎn)單相似性測(cè)度進(jìn)行配準(zhǔn)。在基于結(jié)構(gòu)信息的相似性測(cè)度中，Wachinger等[3]提出了兩種用于多模態(tài)圖像配準(zhǔn)的結(jié)構(gòu)表示方法：一種方法是在圖像中取每個(gè)像素的鄰域塊，計(jì)算鄰域塊的熵（即該點(diǎn)的鄰域結(jié)構(gòu)信息），將不同模態(tài)的圖像轉(zhuǎn)化為相同模態(tài)的熵圖，并使用基于熵圖像的誤差平方和（Sum of Squared Differences on Entropy images，ESSD）作為相似性測(cè)度。該方法計(jì)算速度快但是熵圖像較模糊。另一種方法使用拉普拉斯特征映射，高階流形通過(guò)構(gòu)建鄰域圖進(jìn)行降維，然后計(jì)算拉普拉斯圖的L2距離。該方法配準(zhǔn)精度高但是計(jì)算成本非常高，并且特征降維也損失了圖像信息。Heinrich等[4]提出模態(tài)獨(dú)立鄰域描述符（Modality Independent Neighborhood Descriptor，MIND）用于多模態(tài)圖像配準(zhǔn)，根據(jù)相鄰圖像塊之間的相似性計(jì)算MIND，對(duì)非功能強(qiáng)度關(guān)系和圖像噪聲具有較好的魯棒性。但MIND不具有旋轉(zhuǎn)不變性，在圖像邊緣和復(fù)雜紋理區(qū)域圖像特征存在旋轉(zhuǎn)時(shí)，MIND會(huì)出現(xiàn)配準(zhǔn)誤差。Cun等[5]將隨機(jī)二階熵圖像（Stochastic Second-Order Entropy Image，SSOEI）用于多模態(tài)圖像配準(zhǔn)。SSOEI對(duì)局部強(qiáng)度變化具有魯棒性，但二階熵圖像仍較模糊。圖像矩是描述圖像全局特征的方法， 圖像正交矩更有數(shù)值穩(wěn)定和方便重構(gòu)等優(yōu)點(diǎn)。Zernike矩作為一種連續(xù)正交矩，能提供豐富的圖像幾何信息[6]，已被應(yīng)用于圖像處理、計(jì)算機(jī)視覺(jué)和模式識(shí)別等領(lǐng)域[7-9];但是傳統(tǒng)的Zernike矩不能同時(shí)提取圖像的特征和強(qiáng)度信息，且抗噪性較差。

圖像配準(zhǔn)的優(yōu)化算法可看成是能量函數(shù)的極值求解問(wèn)題。通過(guò)構(gòu)造能量函數(shù)，采用優(yōu)化方法求解最小值，則最小值對(duì)應(yīng)最優(yōu)的配準(zhǔn)效果。優(yōu)化方法分為兩類(lèi)：連續(xù)優(yōu)化和離散優(yōu)化[10]。連續(xù)優(yōu)化常用算法有梯度下降法、共軛梯度下降法、擬牛頓方法等。此類(lèi)算法大部分依賴(lài)于目標(biāo)函數(shù)梯度的計(jì)算，導(dǎo)數(shù)的計(jì)算量較大，并且易陷入局部最小值?；隈R爾可夫隨機(jī)場(chǎng)（Markov Random Field，MRF）的離散優(yōu)化策略用來(lái)克服連續(xù)優(yōu)化的缺點(diǎn)[11]，該策略是無(wú)梯度的，計(jì)算復(fù)雜度相對(duì)較低，并且可通過(guò)較大的鄰域搜索空間進(jìn)行優(yōu)化，能有效避免陷入局部最小值。在離散優(yōu)化中，Sarkis等[12]使用置信傳播法（Belief Propagation，BP）來(lái)解決立體匹配問(wèn)題。BP是一種高效的算法，但是計(jì)算復(fù)雜度較高。Kolmogorov等[13]提出樹(shù)重加權(quán)消息傳遞法（Tree-ReWeighted message passing，TRW）用于能量最小化。與BP相比，TRW可用于更多的能量函數(shù)，但TRW不能保證其完全收斂。Glocker等[14]使用MRF和線(xiàn)性規(guī)劃（Linear Programming，LP）的優(yōu)化算法，把圖像配準(zhǔn)問(wèn)題看作離散標(biāo)簽問(wèn)題，可有效控制能量函數(shù)收斂;但是LP算法需要較大空間容量，這將限制LP對(duì)復(fù)雜變形的圖像進(jìn)行精確配準(zhǔn)。Boykov等[15]提出了一種交互式的圖割 （Graph Cuts，GC） 法。GC是一種基于圖論的組合優(yōu)化方法，采用最大流/最小割理論來(lái)求MRF能量的全局最優(yōu)解，且GC所需的空間容量更小。Kolmogorov等[16]比較了常用的離散優(yōu)化算法，得出了GC法優(yōu)于其他優(yōu)化算法的結(jié)論。

針對(duì)非剛性圖像存在噪聲和強(qiáng)度失真時(shí)，基于結(jié)構(gòu)信息的方法無(wú)法同時(shí)準(zhǔn)確提取圖像混合信息，連續(xù)優(yōu)化計(jì)算復(fù)雜度相對(duì)較高且易陷入局部最小值的問(wèn)題，本文根據(jù)圖像的結(jié)構(gòu)信息，提出了基于改進(jìn)Zernike矩的局部描述符（Improved Zernike Moment based Local Descriptor， IZMLD）和GC離散優(yōu)化相結(jié)合的非剛性多模態(tài)腦部圖像配準(zhǔn)方法。IZMLD基于圖像的自相似性，構(gòu)造有效的局部描述符來(lái)提取圖像的結(jié)構(gòu)信息。結(jié)合不同階數(shù)和重?cái)?shù)的Zernike矩可同時(shí)提取圖像的強(qiáng)度和特征信息，從而提高配準(zhǔn)的精度。由于自相似性計(jì)算對(duì)圖像噪聲具有良好的魯棒性，以及Zernike矩的旋轉(zhuǎn)不變性，所提出的基于IZMLD的方法在有圖像噪聲和強(qiáng)度失真的情況下，仍可以有效提取混合圖像特征，包括圖像強(qiáng)度以及邊緣、紋理特征。本文方法分別計(jì)算參考圖像和浮動(dòng)圖像的IZMLD，將多模態(tài)配準(zhǔn)問(wèn)題轉(zhuǎn)化為單模態(tài)配準(zhǔn)問(wèn)題，使用描述符之間的絕對(duì)誤差和（Sum of Absolute Differences，SAD）來(lái)計(jì)算相似性測(cè)度。該方法采用MRF作為配準(zhǔn)模型，用描述符之間的SAD作為數(shù)據(jù)項(xiàng)，變形矢量場(chǎng)的一階導(dǎo)數(shù)作為平滑項(xiàng)來(lái)構(gòu)造能量函數(shù)，然后把能量函數(shù)離散化，使用GC的α擴(kuò)展算法來(lái)求最優(yōu)解。實(shí)驗(yàn)對(duì)比結(jié)果表明，使用IZMLD可提高配準(zhǔn)的精度，而采用GC優(yōu)化算法可有效縮短配準(zhǔn)時(shí)間，本文將兩者結(jié)合可同時(shí)提高非剛性多模態(tài)腦部圖像配準(zhǔn)的精度和效率。

1 相關(guān)工作

1.1 Zernike矩原理

4 結(jié)語(yǔ)

根據(jù)圖像的結(jié)構(gòu)信息，本文提出了基于改進(jìn)的Zernike矩的局部描述符（IZMLD）和GC離散優(yōu)化相結(jié)合的非剛性多模態(tài)腦部圖像配準(zhǔn)方法，解決了非剛性圖像存在噪聲和強(qiáng)度失真時(shí)，基于結(jié)構(gòu)信息的方法無(wú)法同時(shí)準(zhǔn)確提取圖像強(qiáng)度和邊緣、紋理特征，連續(xù)優(yōu)化計(jì)算復(fù)雜度相對(duì)較高且易陷入局部最小值的問(wèn)題。通過(guò)多模態(tài)腦部圖像數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，本文方法提高了非剛性多模態(tài)腦部圖像配準(zhǔn)的精度和效率。本文主要針對(duì)二維多模態(tài)圖像，如何在三維圖像中實(shí)現(xiàn)高效、準(zhǔn)確的多模態(tài)配準(zhǔn)是下一步研究的重點(diǎn)。

參考文獻(xiàn)：

[1] OLIVEIRA F P M， TAVARES J M R S. Medical image registration： a review [J]. Computer Methods in Biomechanics & Biomedical Engineering， 2014， 17（2）： 73-93.

[2] FERRANTE E， PARAGIOS N. Slice-to-volume medical image registration： a survey [J]. Medical Image Analysis， 2017， 39： 101-123.

[3] WACHINGER C， NAVAB N. Entropy and Laplacian images： structural representations for multi-modal registration [J]. Medical Image Analysis， 2012， 16（1）： 1-17.

[4] HEINRICH M P， JENKINSON M， BHUSHAN M， et al. MIND： Modality independent neighbourhood descriptor for multi-modal deformable registration [J]. Medical Image Analysis， 2012， 16（7）： 1423-1435.

[5] CUN X， PUN C-M， GAO H. Applying stochastic second-order entropy images to multi-modal image registration [J]. Signal Processing： Image Communication， 2018， 65： 201-209.

[6] 楊建偉，金德君，盧政大.分?jǐn)?shù)階的Zernike矩[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（3）：479-484.（YANG J W，JIN D J，LU Z D. Fractional order Zernike moment [J]. Journal of Computer-Aided Design & Computer Graphics， 2017， 29（3）：479-484.）

[7] CHEN Z， SUN S-K. A Zernike moment phase-based descriptor for local image representation and matching [J]. IEEE Transactions on Image Processing， 2010， 19（1）： 205-219.

[8] 汪榮貴，張新彤，張璇，等.基于Zernike矩的新型Retinex圖像增強(qiáng)方法研究[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（3）：310-315. （WANG R G， ZHANG X T， ZHANG X， et al. Anovel retinex algorithm for image enhancement based on Zernike momen [J]. Journal of Image and Graphics， 2011， 16（3）：310-315. ）

[9] 鄭寇全，楊文靜，張繼周，等.基于ZM相特征描述符的圖像配準(zhǔn)方法[J].計(jì)算機(jī)應(yīng)用研究，2017，34（1）：279-282. （ZHENG K Q， YANG W J， ZHANG J Z， et al. Method of image registration based on ZM phase featured description [J].Application Research of Computers， 2017， 34（1）：279-282.）

[10] ZHAO F， XIE X. Energy minimization in medical image analysis： methodologies & applications [J]. International Journal for Numerical Methods in Biomedical Engineering， 2016， 32（2）： e02733.

[11] HEINRICH M P， JENKINSON M， BRADY M， et al. MRF-based deformable registration and ventilation estimation of lung CT [J]. IEEE Transactions on Medical Imaging， 2013， 32（7）： 1239-1248.

[12] SARKIS M， DIEPOLD K. Sparse stereo matching using belief propagation [C]// Proceedings of the 2008 15th IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2008： 1780-1783.

[13] KOLMOGOROV V. Convergent tree-reweighted message passing for energy minimization [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2006， 28（10）： 1568-1583.

[14] GLOCKER B， KOMODAKIS N， TZIRITAS G， et al. Dense image registration through MRFs and efficient linear programming [J]. Medical Image Analysis， 2008， 12（6）： 731-741.

[15] BOYKOV Y， VEKSLER O， ZABIH R. Fast approximate energy minimization via graph cuts [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002， 23（11）： 1222-1239.

[16] KOLMOGOROV V， ROTHER C. Comparison of energy minimization algorithms for highly connected graphs [C]// ECCV 2006：Proceedings of the 2006 European Conference on Computer Vision， LNCS 3952. Berlin： Springer， 2006： 1-15.

[17] SO R W K， TANG T W H， CHUNG A C S. Non-rigid image registration of brain magnetic resonance images using graph-cuts [J]. Pattern Recognition， 2011， 44（10/11）： 2450-2467.

[18] BUADES A， COLL B， MOREL J-M. Nonlocal image and movie denoising [J]. International Journal of Computer Vision， 2008， 76（2）： 123-139.

[19] ZHU F， DING M， ZHANG X. Self-similarity inspired local descriptor for non-rigid multi-modal image registration [J]. Information Sciences， 2016， 372： 16-31.

[20] SO R W K， CHUNG A C S. A novel learning-based dissimilarity metric for rigid and non-rigid medical image registration by using Bhattacharyya distances [J]. Pattern Recognition， 2017， 62（C）： 161-174.

[21] KITWARE， Inc.Retrospective image registration evaluation project [EB/OL]. [2018-07-05] http：//insight-journal.org/rire/.

[22] JOHNSON K A， BECKER J A. The whole brain atlas [EB/OL]. [2018-07-05]. http：//www.med.harvard.edu/aanlib/home.html.

[23] MAURER M C， Jr.， FITZPATRICK J M， WANG M Y， et al. Registration of head volume images using implantable fiducial markers [J]. IEEE Transactions on Medical Imaging， 1997， 16（4）： 447-462.