基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)

劉兆輝，李銘浩，肖延麗，彭磊

（1.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）醫(yī)學(xué)信息工程學(xué)院，山東泰安，271016；2.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）研究生部，山東泰安，271016）

0 引言

圖像配準(zhǔn)是將兩個或多個圖像對齊的過程。它是一種常用的醫(yī)學(xué)圖像分析技術(shù)。近年來，有監(jiān)督和無監(jiān)督的深度學(xué)習(xí)技術(shù)已經(jīng)成功應(yīng)用于圖像配準(zhǔn)[1-4]。深度學(xué)習(xí)技術(shù)自動收集和學(xué)習(xí)與任務(wù)相關(guān)的圖像中各種復(fù)雜的信息，因此非常適合于醫(yī)學(xué)圖像配準(zhǔn)工作。同時深度學(xué)習(xí)技術(shù)不容易受局部極值的影響，從而具有較強(qiáng)的魯棒性。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是常用的深度學(xué)習(xí)技術(shù)，具有高度的并行性，能夠滿足大部分實(shí)時配準(zhǔn)過程的需要。de Vos 等人[5]提出的深度學(xué)習(xí)圖像配準(zhǔn)（Deep Learning Image Registration，DLIR）框架是一種利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的無監(jiān)督的醫(yī)學(xué)圖像配準(zhǔn)技術(shù)。在DLIR 框架下，利用固定圖像和浮動圖像之間的相似性對CNN 進(jìn)行圖像配準(zhǔn)訓(xùn)練。與傳統(tǒng)的圖像配準(zhǔn)技術(shù)相比，DLIR 框架中的變換參數(shù)不是直接優(yōu)化得到的，而是通過優(yōu)化CNN 間接得到的。CNN 的任務(wù)是通過分析固定圖像和浮動圖像來預(yù)測變換參數(shù)。利用預(yù)測的變換參數(shù)，得到一個稠密的位移矢量場（Displacement Vector Field，DVF）。DVF 用于對浮動圖像進(jìn)行重采樣，使其盡量變換到與固定圖像對齊的狀態(tài)。在訓(xùn)練過程中，CNN 通過優(yōu)化固定圖像和浮動圖像之間的相似性來學(xué)習(xí)圖像配準(zhǔn)的基本模式。一旦訓(xùn)練完成，CNN 就學(xué)會了圖像配準(zhǔn)任務(wù)，并且能夠通過非迭代的方式完成固定圖像和浮動圖像之間的配準(zhǔn)任務(wù)。本文下面章節(jié)對DLIR 框架[5]進(jìn)行簡單的介紹。

1 醫(yī)學(xué)圖像配準(zhǔn)

醫(yī)學(xué)圖像配準(zhǔn)是指將兩幅或多幅醫(yī)學(xué)圖像通過空間幾何變換，使得其中一幅圖像圖像與另一幅或其他圖像達(dá)到空間位置上的對齊，從而滿足臨床醫(yī)學(xué)應(yīng)用的需要。配準(zhǔn)過程中固定不動的圖像稱為固定圖像（Fixed image），變換的圖像稱為浮動圖像（Moving image）。醫(yī)學(xué)圖像配準(zhǔn)的主要目標(biāo)是根據(jù)相似性測度準(zhǔn)則，尋找一種空間變換形式，使變換后的浮動圖像與固定圖像的相似性達(dá)到最大。

常規(guī)的醫(yī)學(xué)圖像配準(zhǔn)過程主要包括五個步驟：特征空間提取、空間變換、圖像插值、相似性測度和迭代優(yōu)化。配準(zhǔn)過程以固定圖像和浮動圖像為輸入，進(jìn)行特征空間的提取，常見的擁有圖像配準(zhǔn)的特征主要包括基于灰度和基于結(jié)構(gòu)兩種。然后在優(yōu)化過程中迭代的進(jìn)行如下操作：首先，對于浮動圖像需要選取一種空間變換模型，使其通過空間變換盡量與固定圖像對齊；其次，對于空間變換后的浮動圖像，還需要進(jìn)行重采用，即利用圖像插值求得變換后的圖像；再次，根據(jù)相似性測度準(zhǔn)則，判斷變換后的浮動圖像與固定圖像是否對齊，即相似性是否達(dá)到最大值，如果沒有達(dá)到最大值，則更新參數(shù)，循環(huán)的迭代上述步驟。最后達(dá)到迭代優(yōu)化結(jié)束條件時，輸出空間變換公式和變換后的浮動圖像，即配準(zhǔn)好的圖像。至此配準(zhǔn)過程完成，由此可見，醫(yī)學(xué)圖像配準(zhǔn)是一個迭代優(yōu)化求解變換參數(shù)的過程。

2 深度學(xué)習(xí)圖像配準(zhǔn)框架

在文獻(xiàn)[5]中提出的深度學(xué)習(xí)圖像配準(zhǔn)框架中，CNN的任務(wù)是以固定圖像和浮動圖像未輸入，來預(yù)測空間變換的參數(shù)。CNN 通過固定圖像和浮動圖像對之間的相似度來預(yù)測參數(shù)并進(jìn)行訓(xùn)練，即待配準(zhǔn)圖像之間相似度的計(jì)算作為CNN 訓(xùn)練的損失函數(shù)。DLIR 框架提供了仿射和可變性圖像配準(zhǔn)，同時可以實(shí)現(xiàn)多尺度、多分辨率的圖像配準(zhǔn)。

2.1 仿射圖像配準(zhǔn)

通常在進(jìn)行可變性圖像配準(zhǔn)之前，需要進(jìn)行仿射變換，使圖像基本對齊，可以簡化后續(xù)復(fù)雜的優(yōu)化步驟。由于仿射變換是全局的，因此，設(shè)計(jì)的CNN 對輸入的待配準(zhǔn)圖像進(jìn)行全局分析。同時為了解決輸入圖像不同尺度的問題，CNN 為固定圖像和浮動圖像提供了各自的分析管道。管道獨(dú)立分析輸入圖像，消除了對輸入圖像裁剪、填充等尺寸調(diào)整的操作。在每個管道中，最終獲得的特征的尺度是不同的。因此，采用平均值作為輸出的特征。對于3 維圖像來說，CNN 將產(chǎn)生12 個仿射變換參數(shù)：3 個平移、3 個旋轉(zhuǎn)、3 個縮放和3 個剪切參數(shù)。圖1 為用于仿射圖像配準(zhǔn)的CNN。兩條獨(dú)立的管道分別處理固定圖像和浮動圖像，每個管道由5 個交替的卷積層和下采樣層組成。這些層的數(shù)量可以根據(jù)任務(wù)的復(fù)雜度和輸入圖像大小而不同。

圖1 仿射圖像配準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)

圖2 可變性圖像配準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)

2.2 可變性圖像配準(zhǔn)

可變形變換模型可以表示醫(yī)學(xué)圖像中出現(xiàn)的局部形變?？勺冃螆D像配準(zhǔn)可以采用多種變換模型來實(shí)現(xiàn)。這里選擇B樣條變換模型。B 樣條曲線每個控制點(diǎn)只影響圖像中的特定區(qū)域，即某一控制點(diǎn)位置的變動只影響其鄰近幾個點(diǎn)的變動。CNN 從輸入的固定圖像和浮動圖像中提取各個局部窗口，并預(yù)測局部窗口內(nèi)B 樣條控制點(diǎn)的位移。圖2 為用于可變性圖像配準(zhǔn)的CNN。以通過仿射配準(zhǔn)的固定圖像和浮動圖像作為輸入，連接后卷積層和下采樣層交替出現(xiàn)。B 樣條的網(wǎng)格間隔，即控制點(diǎn)的多少，決定了層數(shù)的多少。較大的網(wǎng)格間距意味著較少的控制點(diǎn)，需要更多的下采樣層和卷積層。在最后一個下采樣層之后，還需要額外的兩個卷積層。然后通過卷積輸出層預(yù)測變換后的B 樣條控制點(diǎn)。最后用于圖像重采樣的DVF可以通過B樣條插值從估計(jì)的控制點(diǎn)生成。

2.3 多尺度圖像配準(zhǔn)

傳統(tǒng)的圖像配準(zhǔn)通常采用多階段配準(zhǔn)，首先從仿射配準(zhǔn)開始的，然后是使用B 樣條曲線進(jìn)行由粗到精的可變形圖像配準(zhǔn)。這種分層多階段配準(zhǔn)策略的迭代過程能夠避免優(yōu)化陷入局部最優(yōu)。DLIR 框架通過多個階段的CNN 實(shí)現(xiàn)了這種策略，每個階段都有自己的配準(zhǔn)任務(wù)。例如，首先是用于仿射配準(zhǔn)的CNN。之后是多個用于由粗到精的基于B 樣條的可變性配準(zhǔn)，每個CNN 都采用不同的B 樣條網(wǎng)格間距和不同分辨率的圖像作為輸入。

3 結(jié)束語

本文介紹了de Vos 等人提出的深度學(xué)習(xí)圖像配準(zhǔn)框架。該配準(zhǔn)框架采用無監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，可以實(shí)現(xiàn)仿射和可變性圖像配準(zhǔn)。同時還采用了由粗到精多分辨率的配準(zhǔn)過程。使用經(jīng)過訓(xùn)練后的DLIR框架進(jìn)行圖像配準(zhǔn)，無需進(jìn)行迭代優(yōu)化，直接產(chǎn)生配準(zhǔn)結(jié)果，大大加快了配準(zhǔn)速度，適用于實(shí)時性要求較高的應(yīng)用場合。