基于多任務(wù)網(wǎng)絡(luò)的多模態(tài)肝臟MRI配準(zhǔn)方法研究

于 航 鄭忍成 李若坤 王成彥 王 鶴,

肝細(xì)胞癌（hepatocellular carcinoma， HCC）是一種發(fā)病率高且死亡率高的癌癥，嚴(yán)重威脅著人類的健康［1］。磁共振成像（magnetic resonance imaging，MRI）憑借其良好的軟組織對比度，對人體無輻射的特性，是目前臨床中首選的肝臟成像方案。在HCC的診斷中，許多成像技術(shù)都可以鑒別出較大的腫瘤區(qū)域，但這些對于晚期HCC 的檢測結(jié)果通常錯過了最佳治療時期，因此在早期階段準(zhǔn)確地檢測出尺寸較小， 影像學(xué)征象不明顯的小肝癌 （small hepatocellular carcinoma， sHCC）至關(guān)重要。在臨床上， 聯(lián)合動態(tài)對比增強(qiáng)（dynamic contrast -enhanced， DCE）MRI 和彌散加權(quán)成像（diffusionweighted imaging， DWI），可以大幅提升對HCC 的診斷率［2-3］。但由于DCE和DWI兩種模態(tài)的影像采集時間不同，患者會由于呼吸、心跳和腹腸蠕動等因素出現(xiàn)不可避免的運(yùn)動，從而造成圖像錯位現(xiàn)象。這些錯位情況將會對DWI 與DCE 的聯(lián)合分析，尤其是小肝癌的檢出造成嚴(yán)重干擾，因此需要對多模態(tài)影像進(jìn)行配準(zhǔn)以減輕這種錯位現(xiàn)象。除了錯位問題，DWI與DCE 之間較大的對比度差異，使得精確配準(zhǔn)存在較大難度，因此配準(zhǔn)算法的精確度直接影響了小肝癌的識別與診斷。

在臨床診斷中，針對DWI 和DCE 的配準(zhǔn)問題通常會使用現(xiàn)成的基于傳統(tǒng)方法的配準(zhǔn)工具包進(jìn)行，例如ANTs（Advanced Normalization Tools），這種傳統(tǒng)的醫(yī)學(xué)圖像配準(zhǔn)方法通常都有一定程度的局限性，普遍存在耗時過長，泛化性差，計算較為復(fù)雜等缺點(diǎn)。而近十年來，深度學(xué)習(xí)技術(shù)憑借其高效的特征提取能力，較快的推理速度和廣泛的應(yīng)用范圍等優(yōu)點(diǎn)，廣泛應(yīng)用于配準(zhǔn)，分割，檢測，分級，重建等領(lǐng)域，較大程度上減輕了醫(yī)生的診斷負(fù)擔(dān)。在醫(yī)學(xué)圖像配準(zhǔn)領(lǐng)域，基于深度學(xué)習(xí)的方法可以通過直接預(yù)測待配準(zhǔn)圖像和目標(biāo)圖像間的變形場，較為穩(wěn)定地實現(xiàn)特定部位特定模態(tài)間配準(zhǔn)，例如基于U-Net 的VoxelMorph［4］和CycleMorph［5］，基于注意力機(jī)制的TransMorph［6］，基于遞歸機(jī)制的遞歸級聯(lián)網(wǎng)絡(luò)［7］等。然而由于這類基于深度學(xué)習(xí)的配準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)中，沒有解決多模態(tài)對比度差異的模塊，因此其在對比度差異較大的多模態(tài)圖像配準(zhǔn)任務(wù)上均表現(xiàn)欠佳，這使得DWI 和DCE 圖像之間的配準(zhǔn)仍是一個有挑戰(zhàn)性的任務(wù)。

在本研究中，我們設(shè)計了合成配準(zhǔn)多任務(wù)網(wǎng)絡(luò)（Synthesis-registration Network， SynReg），將圖像合成網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)相結(jié)合，前者基于DWI 合成風(fēng)格類似DCE 的合成DCE 影像（synthesized DCE，sDCE），以解決多模態(tài)配準(zhǔn)中的對比度差異問題，降低配準(zhǔn)難度；后者對sDCE 與DCE 影像進(jìn)行配準(zhǔn)，將得到的變形場應(yīng)用到DWI 上，解決錯位問題，完成配準(zhǔn)流程。在多任務(wù)架構(gòu)中，配準(zhǔn)任務(wù)和合成任務(wù)共同訓(xùn)練，互相促進(jìn)，配準(zhǔn)網(wǎng)絡(luò)的加入提升了圖像合成的質(zhì)量，而合成網(wǎng)絡(luò)更穩(wěn)定地解決了多模態(tài)間的對比度差異，從而提升了最終的配準(zhǔn)效果。

方法

1. 數(shù)據(jù)收集

本回顧性研究經(jīng)上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院倫理委員會 （Institutional Review Board，IRB）批準(zhǔn)，在2013年1月至2021年2月間，在上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院3.0-T Ingenia （Philips Medical Systems， Best， the Netherlands）磁共振設(shè)備上掃描數(shù)據(jù)。共掃描兩種序列：（1）高b 值DWI。掃描參數(shù)：b 值800 s/mm2，圖像尺寸448×448×32，重建分辨率0.85 mm×0.85 mm×6.0 mm，層厚5 mm，重復(fù)時間1 385 ms，回波時間56.4 ms ，翻轉(zhuǎn)角90°。（2）四期DCE 影像（平掃期，動脈期，門靜脈期和延遲期）。釓噴酸二甲葡胺（Magnevist；拜耳醫(yī)療，德國，0.1 mmol/kg）以2 mL/s 的速率注射，然后用最大體積為20 mL的生理鹽水沖洗，分別在注射造影劑后25～30 s、60～90 s和180 s采集動脈期、門靜脈期和延遲期圖像。掃描參數(shù)：圖像尺寸1 024×1 024×110，重建分辨率0.39 mm×0.39 mm×2.0 mm，層厚2 mm，重復(fù)時間3.64 ms，回波時間0 ms，翻轉(zhuǎn)角10°。

入組標(biāo)準(zhǔn)：①存在肝硬化；②病理檢測和磁共振掃描時間的間隔小于1 個月；③病灶最大直徑≤2.5 cm。排除標(biāo)準(zhǔn)：①檢查未使用荷蘭Philips Ingenia 設(shè)備（n=5）；②DCE-MRI 和DWI 影像之間存在嚴(yán)重的運(yùn)動偽影（>5 層錯位）（n=10）；③DCE 期相不全或DWI 的b 值不符（n=12）。經(jīng)過排除標(biāo)準(zhǔn)后共有264例患者納入研究，其基本信息統(tǒng)計表如表1 所示。本研究將與DWI 對比度差異更大、肝臟和腫瘤特征更為明顯的DCE 延遲期影像作為配準(zhǔn)的目標(biāo)圖像，DWI 作為待配準(zhǔn)圖像。目標(biāo)HCC 病灶和肝臟輪廓由2 名經(jīng)驗豐富的放射科醫(yī)生（具有5年以上腹部影像學(xué)診斷經(jīng)驗），分別在DWI和DCE延遲期影像上進(jìn)行標(biāo)注，如果病例未患HCC 則不進(jìn)行腫瘤標(biāo)注。數(shù)據(jù)集的劃分情況如下：訓(xùn)練集171例，驗證集35例，測試集58例（包含所有的HCC病例）。

表1 受試者（N=264）基本信息統(tǒng)計表

2. 合成配準(zhǔn)多任務(wù)理論

多模態(tài)影像之間的差異主要體現(xiàn)在兩個層面，首先是兩個模態(tài)間由于掃描序列和參數(shù)的不同，造成的對比度差異，這種差異使得相同的器官或組織在不同的影像中表現(xiàn)出不同的信號強(qiáng)度；其次是在兩次掃描時，由于呼吸等不可抑制因素導(dǎo)致的器官形態(tài)上的差異，這種形態(tài)上的差異會導(dǎo)致重要標(biāo)志點(diǎn)在多模態(tài)影像上的錯位，從而影響診斷。如圖1 所示，由于這兩種層面的差異互不影響，所以可以將這兩種差異建模為二維坐標(biāo)系，橫軸表示圖像間的對比度差異，縱軸表示圖像之間的錯位程度，藍(lán)色和綠色在本研究中分別代表DWI圖像域和DCE 圖像域，其中x和y為待配準(zhǔn)圖像和目標(biāo)圖像，ys為理想狀態(tài)下與y同一對比度，與x解剖信息完全一致的隱藏圖像，即在合成任務(wù)中的理想輸出結(jié)果，xR同理，為在配準(zhǔn)任務(wù)中的理想輸出結(jié)果。

圖1 合成配準(zhǔn)多任務(wù)網(wǎng)絡(luò)原理圖

在傳統(tǒng)配準(zhǔn)方法和基于深度學(xué)習(xí)的配準(zhǔn)方法中，通常直接對對比度差異較大的x和y圖像進(jìn)行配準(zhǔn)，然而由于難以找到合適的相似性測度來衡量圖像間的差異，配準(zhǔn)效果往往不準(zhǔn)確。因此若能先利用圖像合成網(wǎng)絡(luò)得到x對應(yīng)的ys，將ys配準(zhǔn)到y(tǒng)上并得到相應(yīng)的變形場，再將該變形場作用在x圖像上，即可得到最終配準(zhǔn)后的xR圖像。在這種流程中ys與y之間的單模態(tài)配準(zhǔn)更易實現(xiàn)，更容易得到準(zhǔn)確的變形場。

在合成加配準(zhǔn)的多任務(wù)網(wǎng)絡(luò)訓(xùn)練過程中，合成網(wǎng)絡(luò)的輸出G（x）與目標(biāo)圖像y之間的錯位差異由配準(zhǔn)網(wǎng)絡(luò)R完成，合成網(wǎng)絡(luò)G便能更對應(yīng)地學(xué)習(xí)兩個圖像域之間的差異，其輸出也可以更容易地逼近理想狀態(tài)ys。在多任務(wù)網(wǎng)絡(luò)推理階段，由于合成網(wǎng)絡(luò)的輸出G（x）更加接近ys，配準(zhǔn)網(wǎng)絡(luò)R 輸出的變形場［將G（x）變形為y］也更加準(zhǔn)確，因此將該變形場施加到待配準(zhǔn)圖像x時，便能得到更接近于理想配準(zhǔn)結(jié)果xR的圖像。

3. 模型構(gòu)建

基于上述的合成配準(zhǔn)多任務(wù)原理，本研究設(shè)計了SynReg 多任務(wù)網(wǎng)絡(luò)，實現(xiàn)提升配準(zhǔn)準(zhǔn)確度的同時，提高圖像合成質(zhì)量。如圖2 所示，在訓(xùn)練階段，本研究采用了基于pix2pix［8］框架的2D 對抗生成網(wǎng)絡(luò)（Generative Adversarial Network， GAN），通過將3D DWI 圖像切片為2D 圖像喂入生成器，將輸出的2D sDCE 重組得到3D sDCE，完成圖像合成任務(wù)。接著，3D 配準(zhǔn)網(wǎng)絡(luò)以sDCE 和目標(biāo)DCE 作為網(wǎng)絡(luò)輸入，輸出對應(yīng)變形場，通過空間變換網(wǎng)絡(luò)［9］完成變形場和sDCE 的空間變形，得到最終的配準(zhǔn)后sDCE。

圖2 SynReg流程圖

其中藍(lán)色的連線表示SynReg 網(wǎng)絡(luò)損失函數(shù)的組成部分，總損失函數(shù)的具體計算公式如下：

其中為配準(zhǔn)后sDCE 和目標(biāo)DCE 影像之間的L1 損失，為變形場光滑度損失，用來限制變形場出現(xiàn)局部折疊的情況，為生成網(wǎng)絡(luò)的鑒別器D 的損失，分別對sDCE 圖像和目標(biāo)DCE 進(jìn)行鑒別。這3 個損失的具體公式如下：

在網(wǎng)絡(luò)推理階段，首先使用仿射配準(zhǔn)方法對圖像進(jìn)行配準(zhǔn)，再使用訓(xùn)練好的GAN 生成器完成DWI 到sDCE 的圖像合成，接著用訓(xùn)練好的配準(zhǔn)網(wǎng)絡(luò)輸出sDCE 到目標(biāo)DCE 的變形場。與訓(xùn)練階段不同，在推理階段通過空間變換網(wǎng)絡(luò)直接將此變形場作用于浮動DWI，得到配準(zhǔn)后的DWI，完成配準(zhǔn)過程。

本研究使用的GAN 和配準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。GAN 生成器與配準(zhǔn)網(wǎng)絡(luò)均為類似U-Net 的對稱結(jié)構(gòu)，編碼器部分經(jīng)過數(shù)次下采樣逐層提取圖像的高維特征信息，解碼器部分通過對高維特征信息解碼，得到像素級別的預(yù)測結(jié)果，使用跳躍鏈接來融合編碼和解碼過程中對應(yīng)位置上的特征信息，使得解碼器在解碼過程中能夠獲取更多的低維特征信息，其中配準(zhǔn)網(wǎng)絡(luò)最終的輸出為原圖像尺寸下每個像素點(diǎn)在x、y、z三個方向上位移場，即通道數(shù)為3 的變形場；而GAN 生成器輸出為sDCE 圖像。鑒別器以目標(biāo)DCE 圖像和sDCE 圖像為輸入，判斷sDCE 是否屬于DCE 圖像域。

圖3 SynReg合成與配準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)圖，

值得注意的是不同于傳統(tǒng)的U-Net，配準(zhǔn)網(wǎng)絡(luò)中使用的所有卷積層均為3D 卷積層，如果使用傳統(tǒng)的2D 卷積層，最終只能得到x，y 平面的二維變形場，即只能完成層內(nèi)配準(zhǔn)而無法實現(xiàn)層間配準(zhǔn)，將大大降低配準(zhǔn)效果。

4. 實驗參數(shù)

數(shù)據(jù)預(yù)處理過程為：將圖像雙線性插值至256×256×32，空間分辨率1.0×1.0×1.0 mm3，信號強(qiáng)度歸一化至-1~1。在圖像合成任務(wù)的實驗中，對比方法為同樣參數(shù)的GAN 網(wǎng)絡(luò)；在配準(zhǔn)任務(wù)的實驗中，對比方法包括經(jīng)典配準(zhǔn)方法SyN［10］和兩種基于深度學(xué)習(xí)的可用于多模態(tài)配準(zhǔn)的網(wǎng)絡(luò)CycleMorph［5］和TransMorph［6］。三種對比方法均在進(jìn)行了仿射配準(zhǔn)的數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試。

5. 數(shù)據(jù)分析與統(tǒng)計

在合成任務(wù)中，本研究采用峰值信噪比（Peak Signal to Noise Ratio， PSNR） 和結(jié)構(gòu)相似性（Structural Similarity， SSIM）來評價合成圖像與目標(biāo)圖像的相似度。具體方法為計算DWI、sDCE 分別與目標(biāo)DCE 之間的PSNR 和SSIM 指標(biāo)。在配準(zhǔn)任務(wù)中，本研究采用Dice 相似性指標(biāo)來評估兩個二值化標(biāo)簽之間的重合程度，用于評價肝臟區(qū)域的配準(zhǔn)精度；采用目標(biāo)配準(zhǔn)偏差（Target Registration Error，TRE）從距離層面評估標(biāo)簽的質(zhì)心之間的三維距離，用于評價腫瘤區(qū)域的配準(zhǔn)精度。具體方法為將配準(zhǔn)得到的變形場施加在DWI 的肝臟/腫瘤標(biāo)簽上，用最近鄰插值法進(jìn)行插值，得到配準(zhǔn)后的肝臟/腫瘤標(biāo)簽，將其與人工標(biāo)注的DCE 肝臟/腫瘤標(biāo)簽對比計算評價指標(biāo)。

本研究使用配對t檢驗證明PSNR、SSIM、TRE和Dice 結(jié)果的顯著性，P<0.001 被認(rèn)為是統(tǒng)計意義上顯著， 所有的統(tǒng)計分析基于MATLAB 軟件（R2020b； MathWorks， Natick， MA， USA）。

結(jié)果

1. 圖像合成結(jié)果

如圖4 所示，為GAN 和SynReg 的圖像合成效果對比，SynReg 網(wǎng)絡(luò)的圖像合成結(jié)果與原始DWI 圖像的血管、肝輪廓對應(yīng)關(guān)系清晰，整體對比度與DCE更加接近，這些明顯的特征都使得后續(xù)的配準(zhǔn)網(wǎng)絡(luò)可以更好地獲得圖像特征進(jìn)行配準(zhǔn)。在Case 1中，展現(xiàn)了在肝臟血管層面，SynReg 輸出的sDCE 和DWI 的高度對應(yīng)。在紅圈標(biāo)識內(nèi)的肝臟血管中，不論是特征明顯的大血管，還是尺寸較小、特征不明顯的小血管，SynReg 相較于GAN 都有著更優(yōu)秀的圖像合成質(zhì)量和對應(yīng)程度；在Case 2 中，展現(xiàn)了SynReg 輸出的sDCE 不論是在肝臟整體輪廓上，還是紅圈標(biāo)識內(nèi)的細(xì)微結(jié)構(gòu)上，都能做到與DWI 高度的對應(yīng)；Case 3體現(xiàn)出在肝臟亮度較低，肝臟特征不明顯的DWI 中，SynReg 的輸出依然在血管層面和肝輪廓層面合成效果優(yōu)秀，體現(xiàn)了圖像合成效果的穩(wěn)定性。

圖4 SynReg合成效果實例

指標(biāo)結(jié)果如表2 所示，SynReg 的合成結(jié)果與GAN 相比，在圖像質(zhì)量方面（PSNR 指標(biāo)）和結(jié)構(gòu)相似性方面（SSIM 指標(biāo)）均有顯著提升，這是由于多任務(wù)框架下的配準(zhǔn)網(wǎng)絡(luò)解決了數(shù)據(jù)集的錯位問題，輔助提升了合成網(wǎng)絡(luò)的性能。其中每組指標(biāo)之間的差異均有統(tǒng)計學(xué)意義（P<0.001）。

表2 SynReg合成結(jié)果PSNR和SSIM指標(biāo)統(tǒng)計

2. 圖像配準(zhǔn)結(jié)果

如圖5 所示，為兩個典型病例的配準(zhǔn)結(jié)果，紅色和綠色輪廓分別代表在DCE 上人工標(biāo)注的腫瘤和肝臟輪廓，該圖中所有圖像均為同一層級。Case 1展現(xiàn)的是一例廓清效應(yīng)明顯的HCC，其腫瘤位置在DWI中與DCE 大致對應(yīng)，但整體肝輪廓錯位較為嚴(yán)重，尤其在肝裂部位，經(jīng)過SynReg 配準(zhǔn)后的DWI 可以在保持腫瘤對應(yīng)的情況下，肝臟輪廓的高精度配準(zhǔn)，對肝外器官例如腎臟的配準(zhǔn)也較為準(zhǔn)確。在配準(zhǔn)后圖像質(zhì)量方面，SynReg 配準(zhǔn)后圖像自然，并沒有出現(xiàn)CycleMorph 和TransMorph 結(jié)果中肝臟和脾臟之間部分圖像折疊的現(xiàn)象。Case 2展現(xiàn)的是一例包膜效應(yīng)明顯的HCC，但由于其廓清效應(yīng)不明顯，因此在DCE上的只能看到腫瘤包膜，腫瘤內(nèi)部體素值較肝實質(zhì)并無明顯差異。且圖像間存在錯層問題，DWI 上該層并沒有出現(xiàn)腫瘤，這種情況下腫瘤配準(zhǔn)的難度較高，因此三種對比方法難以實現(xiàn)精確配準(zhǔn)。但SynReg 通過圖像合成，將DWI 上的腫瘤特征帶到了sDCE 中，因此對sDCE 和DCE 進(jìn)行的配準(zhǔn)便能得到更為準(zhǔn)確的變形場，解決錯層問題，同時也實現(xiàn)了肝臟輪廓、肝靜脈和腫瘤的精確配準(zhǔn)。除此之外，肝臟以外的器官，例如脾臟和膽囊部位，也均呈現(xiàn)出較好的配準(zhǔn)結(jié)果。

圖5 SynReg配準(zhǔn)效果及對比實例

指標(biāo)結(jié)果如表3 所示，SynReg 同時在肝臟區(qū)域Dice 指標(biāo)和腫瘤TRE 指標(biāo)上都優(yōu)于對比方法，且相較于配準(zhǔn)前有較大提升。其中除了肝臟Dice 組SyN與Unregistered、腫瘤TRE 組SyN、CycleMorph 和TransMorph 兩兩之間，其余每組指標(biāo)之間的差異均有統(tǒng)計學(xué)意義（P<0.001）。

表3 SynReg配準(zhǔn)結(jié)果Dice和TRE指標(biāo)統(tǒng)計

討論

在臨床上對于小肝癌的診斷非常依賴精確的DWI 與DCE 配準(zhǔn)，然而由于多模態(tài)間較大的對比度差異以及肝臟易形變的特性，目前常用的傳統(tǒng)配準(zhǔn)方法難以做到快速，精確的配準(zhǔn)，這大大影響了小肝癌的檢出率。而基于深度學(xué)習(xí)的配準(zhǔn)方法［4-6］，由于其網(wǎng)絡(luò)結(jié)構(gòu)中沒有針對多模態(tài)影像對比度差異的相關(guān)設(shè)計，因此在肝臟DWI 和DCE 的配準(zhǔn)任務(wù)中也表現(xiàn)欠佳。

隨著深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)的發(fā)展，在計算機(jī)輔助診斷領(lǐng)域的研究逐漸不局限于單獨(dú)的配準(zhǔn)、分割、檢測等任務(wù)，越來越趨向于多任務(wù)間的引導(dǎo)、協(xié)同訓(xùn)練、對抗訓(xùn)練等。近年來，有許多關(guān)于多任務(wù)網(wǎng)絡(luò)的相關(guān)研究［11-13］，通過將配準(zhǔn)任務(wù)與合成、分割、檢測等任務(wù)的相互融合，使多任務(wù)相互促進(jìn)以提高彼此的性能，并實現(xiàn)一站式診斷流程。本研究采用多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)，以配準(zhǔn)任務(wù)為主，合成網(wǎng)絡(luò)為輔，通過合成網(wǎng)絡(luò)消除了多模態(tài)配準(zhǔn)任務(wù)中對比度差異過大的問題，從而實現(xiàn)DWI與DCE的精確配準(zhǔn)。

在圖像合成任務(wù)中，SynReg輸出的sDCE 在整體對比度上與DCE 高度相似，在解剖信息層面，例如肝臟輪廓和肝內(nèi)血管等方面均能做到與DWI 嚴(yán)格對應(yīng)，這使得后續(xù)將配準(zhǔn)sDCE 和DCE 得到的變形場應(yīng)用在DWI 上時，能得到準(zhǔn)確的配準(zhǔn)結(jié)果。而僅進(jìn)行圖像合成的對比方法GAN，雖然對比度上能做到與DCE 大致相似，但解剖信息無法做到與DWI 對應(yīng)，且整體圖像質(zhì)量和分辨率都與SynReg 差距較大，這種差距也證明了多任務(wù)框架中的配準(zhǔn)網(wǎng)絡(luò)對合成網(wǎng)絡(luò)有正向提升。在配準(zhǔn)任務(wù)中，SynReg 對于肝臟區(qū)域和腫瘤區(qū)域有著高精度的配準(zhǔn)結(jié)果，能有效解決層內(nèi)和層間兩種維度下的配準(zhǔn)問題。對于一些在DCE 上腫瘤特征不明顯（僅有包膜信息）的病例，SynReg仍能輸出較好的配準(zhǔn)結(jié)果，且配準(zhǔn)后圖像自然光滑，沒有出現(xiàn)對比方法中的圖像局部折疊現(xiàn)象。綜上，在SynReg 多任務(wù)架構(gòu)中，合成網(wǎng)絡(luò)生成與DCE 對比度相似，且具有DWI 解剖信息的sDCE，而配準(zhǔn)網(wǎng)絡(luò)對sDCE 與目標(biāo)DCE 進(jìn)行配準(zhǔn)得到變形場。通過這種方式得到的變形場由于消除了多模態(tài)間的對比度差異，比直接進(jìn)行多模態(tài)配準(zhǔn)得到的變形場更為準(zhǔn)確，因此配準(zhǔn)后的DWI 與DCE 更為匹配。因此有效提升如小肝癌檢測等一系列臨床任務(wù)人工診斷及計算機(jī)輔助診斷的準(zhǔn)確性，降低了人工和時間成本。

本研究也有一定的局限性，首先本研究訓(xùn)練與驗證的數(shù)據(jù)集為單中心數(shù)據(jù)集，而深度學(xué)習(xí)模型的魯棒性也是非常重要的，因此未來還可以探究該模型在多中心，多設(shè)備數(shù)據(jù)集上的泛化性能；其次，在目前的損失函數(shù)的設(shè)計上，沒有增加對sDCE 和DWI圖像的結(jié)構(gòu)相似性的直接限制，這樣可以使網(wǎng)絡(luò)更容易訓(xùn)練，但同時也會損失一定程度的結(jié)構(gòu)對應(yīng)性，之后可以嘗試更多的損失函數(shù)，以進(jìn)一步提升圖像合成質(zhì)量。

總之，本研究將圖像合成網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)相結(jié)合，提出了合成配準(zhǔn)多任務(wù)網(wǎng)絡(luò)SynReg，并在264例肝硬化（部分HCC）患者數(shù)據(jù)集上進(jìn)行了訓(xùn)練與測試，結(jié)果表明，SynReg 能提供較好的圖像合成結(jié)果，進(jìn)而提升了肝臟區(qū)域和腫瘤區(qū)域的配準(zhǔn)準(zhǔn)確率，這對于臨床上HCC 的準(zhǔn)確識別和診斷有著重要的實用價值。