基于多模態(tài)MRI腦影像的超分辨率重建

通常，腦疾病的分析與診斷依賴于組織結(jié)構(gòu)顯像較好的高分辨率MR圖像，但是由于其掃描耗時(shí)過(guò)長(zhǎng)，一般只用于特殊腦疾病的診療與腦科學(xué)研究，不用于常規(guī)疾病的篩查。臨床常規(guī)的影像平掃序列主要包括T1、T2和T2 FLAIR，雖然層內(nèi)分辨率比較高（≤1 mm），但是由于層厚或者層間距過(guò)大（4～7 mm），極大的限制了大腦子結(jié)構(gòu)的定量評(píng)估，無(wú)法及時(shí)檢測(cè)到一些腦疾病相關(guān)的微小結(jié)構(gòu)變化。

基于深度學(xué)習(xí)的圖像超分辨率重建算法，通過(guò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布特征，建立從低分辨率圖像到高分辨率圖像的映射關(guān)系，進(jìn)而為低分辨率圖像補(bǔ)充更多的高頻信息，可以有效提升圖像的分辨率，已經(jīng)被廣泛的用于圖像信息增強(qiáng)方向。Dong等使用幾個(gè)堆疊的卷積層實(shí)現(xiàn)了低分辨率圖像到超分辨率圖像的端到端映射；Li等提出在不過(guò)多增加網(wǎng)絡(luò)參數(shù)的情況下，使用反饋機(jī)制可以有效提升神經(jīng)網(wǎng)絡(luò)在圖像超分任務(wù)上的性能。Lan等提出增強(qiáng)的深度殘差網(wǎng)絡(luò)，極大的提升了圖像的重建性能。但目前性能較好的算法均是基于二維自然圖像特征進(jìn)行設(shè)計(jì)的，由于自然圖像與醫(yī)學(xué)圖像之間的差異，算法直接遷移到醫(yī)學(xué)圖像領(lǐng)域會(huì)導(dǎo)致性能大幅度下降的問(wèn)題；同時(shí)，目前圖像超分辨率領(lǐng)域獲取的低分辨率數(shù)據(jù)一般是經(jīng)由高分辨率圖像下采樣得到，與真實(shí)場(chǎng)景下的低分辨率數(shù)據(jù)存在著較大的差異，為算法實(shí)際使用帶來(lái)了巨大的問(wèn)題。而無(wú)需嚴(yán)格成對(duì)數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)方法雖然在整體圖像的重建上有著不俗的效果，但是對(duì)于某些細(xì)節(jié)部分缺乏有效約束手段，使得圖像更加趨于平滑，導(dǎo)致一些微小結(jié)構(gòu)更容易被忽略。

在這篇文章中，我們提出了一種基于結(jié)構(gòu)約束的多模態(tài)醫(yī)學(xué)圖像超分方法（MSCSR），使用真實(shí)成對(duì)的多模態(tài)低-高分辨MRI數(shù)據(jù)，解決了模擬數(shù)據(jù)與真實(shí)數(shù)據(jù)之間存在的差異，不能很好的反應(yīng)真實(shí)低分辨率圖像重建性能的問(wèn)題；同時(shí)，利用大腦的不同組織結(jié)構(gòu)信息和不同方向采集的不同模態(tài)數(shù)據(jù)的縱向信息來(lái)提升網(wǎng)絡(luò)對(duì)于醫(yī)學(xué)圖像的超分辨率重建性能，避免圖像過(guò)于平滑帶來(lái)的信息丟失問(wèn)題。MSCSR模型首先利用圖像超分辨率網(wǎng)絡(luò)對(duì)輸入的多模態(tài)低分辨率數(shù)據(jù)提取重要特征進(jìn)行重建得到超分圖像，然后對(duì)其進(jìn)行腦組織分割，與高分辨率圖像的分割結(jié)果作對(duì)比，約束超分網(wǎng)絡(luò)向著二者一致的方向優(yōu)化參數(shù)，從而使得重建結(jié)果保持醫(yī)學(xué)圖像特有的解剖結(jié)構(gòu)特征。

1 材料和方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

本文的實(shí)驗(yàn)數(shù)據(jù)來(lái)自南京金陵醫(yī)院，包含379例同時(shí)采集的成對(duì)的低-高分辨率MRI數(shù)據(jù)（由高年資的放射科醫(yī)生閱片選擇，排除了包含局部性病灶以及嚴(yán)重異常的數(shù)據(jù)）。其中，低分辨率數(shù)據(jù)包括臨床常規(guī)掃描的各向異性的T1，T2 FLAIR兩個(gè)模態(tài)：T1空間分辨率為0.75×0.75×4.4 mm，軸狀位分辨率較高，掃描層厚為4.4 mm，共30 層；T2 FLAIR 空間分辨率為0.86×4×0.86 mm，冠狀位分辨率較高，掃描層厚為4 mm，共28層；高分辨率數(shù)據(jù)為T1模態(tài)，空間分辨率為0.5×0.5×1 mm的MPRAGE序列，掃描層厚為1 mm，共176層。所有被試隨機(jī)分為兩個(gè)數(shù)據(jù)集：60%作為訓(xùn)練集—230例用于模型訓(xùn)練，40%作為測(cè)試集—149例用于模型性能測(cè)試。

瀝青混凝土的油石比主要是指在混凝土中加入的瀝青、砂石以及一些其他填料的質(zhì)量比。造成瀝青油石比不穩(wěn)定的主要因素包括以下兩個(gè)方面：第一，混凝土配料中含有的泥土、灰塵的質(zhì)量超標(biāo)。泥土、灰塵如果超出規(guī)定的范圍，即使經(jīng)過(guò)除塵工序也不能完全將混合物料中的塵土清理干凈，會(huì)導(dǎo)致當(dāng)砂石與瀝青混合的時(shí)候接觸瀝青的數(shù)量減少，即使經(jīng)過(guò)碾壓之后也很難成形；第二，系統(tǒng)計(jì)量秤產(chǎn)生誤差，在物料稱重過(guò)程中計(jì)量瀝青的計(jì)量秤和計(jì)量其他礦粉的計(jì)量秤指針沒(méi)有對(duì)準(zhǔn)零點(diǎn)而產(chǎn)生偏移，一旦對(duì)物料的計(jì)量不準(zhǔn)確就會(huì)對(duì)瀝青的油石比影響很大。

1.2 數(shù)據(jù)預(yù)處理

圖像預(yù)處理的步驟如圖1所示。由于MRI圖像的值僅代表了各個(gè)組織在成像過(guò)程中的相對(duì)值，我們將所有圖像的灰度值都?xì)w一化到了[0,1]來(lái)減少同一組織在不同機(jī)器中具有不同的灰度值造成的誤差。考慮到T1與T2 FLAIR圖像的表現(xiàn)形式存在較大的差異，本文只選取了T2 FLAIR圖像上的關(guān)鍵區(qū)域（ROI）即與大腦退行性疾病較為相關(guān)的皮層下核團(tuán)（海馬及周圍的海馬旁回和內(nèi)嗅皮質(zhì)）作為第二模態(tài)進(jìn)行信息增強(qiáng)。通過(guò)分割工具獲得了皮層下核團(tuán)的掩膜，然后處理得到T2 FLAIR的皮層下核團(tuán)圖像。

1.3 模型

本研究提出一種MSCSR模型（圖2），基于軸狀位高分辨率的厚層T1加權(quán)圖像，從冠狀位高清的厚層T2 FLAIR模態(tài)獲取關(guān)鍵區(qū)域的補(bǔ)充信息，來(lái)重建各向同性的高分辨率T1圖像，并引入了解剖學(xué)結(jié)構(gòu)信息作為約束，提升圖像超分辨率重建性能。

圖像超分辨率映射網(wǎng)絡(luò)：作為圖像超分辨率任務(wù)的主體結(jié)構(gòu)，其作用是將低分辨率的厚層MRI映射為高分辨率薄層T1圖像。我們的超分辨率網(wǎng)絡(luò)架構(gòu)基于增強(qiáng)的深度殘差網(wǎng)絡(luò)（EDSR），主要由32個(gè)殘差模塊和一個(gè)上采樣模塊構(gòu)成。由于EDSR是針對(duì)于二維自然圖像超分辨率任務(wù)提出的，并不是完全適用于醫(yī)學(xué)圖像領(lǐng)域的任務(wù)，我們針對(duì)本文的研究?jī)?nèi)容做了一定的改進(jìn)。首先，在預(yù)處理階段，我們通過(guò)插值的方法將低分辨率圖像和高分辨率圖像都變換都到了體素為1×1×1的標(biāo)準(zhǔn)高分辨率空間，在將低分辨率圖像通過(guò)網(wǎng)絡(luò)進(jìn)行像素級(jí)別的信息增強(qiáng)之后，輸出圖像即為我們的目標(biāo)高分辨率圖像，無(wú)需再對(duì)輸出結(jié)果進(jìn)行尺寸擴(kuò)充，所以對(duì)原EDSR網(wǎng)絡(luò)中的上采樣模塊做了移除。其次，醫(yī)學(xué)圖像本身具有三維信息，整幅圖作為輸入，對(duì)計(jì)算機(jī)硬件的要求比較高，考慮到算力問(wèn)題，我們將預(yù)處理之后的圖像切塊到[32,32,32]的大小作為圖像超分辨率網(wǎng)絡(luò)的輸入。除此之外，為了更好的適應(yīng)三維圖像，我們將網(wǎng)絡(luò)的卷積核修改為3D形式，同時(shí)提取關(guān)于(,,)三個(gè)方向的信息；由于原始低分辨率圖像的分辨率均為層內(nèi)高、層間低，為了更好的利用原始的圖像信息，我們采取了各向異性卷積策略，即在高分辨率方向與低分辨率方向使用不同尺度的卷積核，盡可能多的保留原始高清信息，提高整體圖像的超分重建質(zhì)量。最后，在特征提取的殘差塊內(nèi)，我們使用兩個(gè)連續(xù)的1×3×3和3×1×1的卷積核替換了傳統(tǒng)的3×3×3的卷積核來(lái)減少訓(xùn)練過(guò)程中使用的計(jì)算資源，提高網(wǎng)絡(luò)的計(jì)算速度。在本文中，使用的超分辨率網(wǎng)絡(luò)，主要由1個(gè)下采樣模塊，32個(gè)殘差塊，以及1個(gè)重建模塊組成。下采樣模塊和殘差塊用來(lái)提取圖像特征。其中下采樣模塊主要包含一個(gè)1×3×3大小的卷積層；每個(gè)特征提取的殘差塊都依次包含一個(gè)3×1×1卷積，一個(gè)1×3×3卷積，一個(gè)線性整流單元（ReLU），一個(gè)3×1×1卷積，一個(gè)1×3×3卷積和一個(gè)殘差縮放因子為0.1的恒定縮放層（Scale），每個(gè)殘差塊的輸入輸出特征圖都以跳層方式連接避免由于網(wǎng)絡(luò)層數(shù)過(guò)大導(dǎo)致的梯度消失，增強(qiáng)網(wǎng)絡(luò)的層間特征交流；重建模塊包括兩個(gè)3×3×3大小的卷積，第二個(gè)卷積輸入為第一個(gè)卷積的輸出和整個(gè)網(wǎng)絡(luò)第一次下采樣之后的特征圖之和，促進(jìn)圖像低維度和高維度特征之間的交流融合（圖3）。

“2017年，小崗村共接待游客25萬(wàn)人次，實(shí)現(xiàn)旅游直接收入213.5萬(wàn)元。小崗村作為中國(guó)農(nóng)村改革的主要發(fā)源地，孕育了大包干精神和沈浩精神，不缺旅游資源?！睏钣缽?qiáng)說(shuō)，可長(zhǎng)期以來(lái)小崗村旅游“有人氣無(wú)財(cái)氣，有品牌無(wú)產(chǎn)品”。為此，楊永強(qiáng)和團(tuán)隊(duì)一起實(shí)施了“當(dāng)年農(nóng)家”擴(kuò)建工程。

根據(jù)上面系統(tǒng)需求分析，筆者確定該系統(tǒng)的實(shí)現(xiàn)軟件為客戶機(jī)/服務(wù)器模型，又稱為Client/Server體系結(jié)構(gòu)。服務(wù)器Server通常采用高性能的工作站或PC小型機(jī)，并采用Client/Server架構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)，如Sybase Oracle或SQL Server，負(fù)責(zé)供多個(gè)用戶共享其信息和功能?？蛻舳薈lient部分通常負(fù)責(zé)執(zhí)行前臺(tái)功能，如與用戶交互，數(shù)據(jù)處理等。這種架構(gòu)由多臺(tái)計(jì)算機(jī)構(gòu)成，它們有機(jī)地組合在一起，協(xié)同完成整個(gè)應(yīng)用，并達(dá)到使系統(tǒng)中的軟件、硬件資源得到最大限度的利用。

1.4 損失函數(shù)

為了提升圖像的重建質(zhì)量，我們提出在有監(jiān)督的學(xué)習(xí)過(guò)程中，使用灰度值相似性，以及腦組織分割相似性來(lái)約束超分辨率網(wǎng)絡(luò)的重建學(xué)習(xí)方向。

（四）注重輸出實(shí)踐。這里所指的語(yǔ)言輸出是指在運(yùn)用語(yǔ)言時(shí)，將重點(diǎn)放在話語(yǔ)的內(nèi)容上而非形式上，以意義表達(dá)為核心。筆者認(rèn)為，英語(yǔ)口語(yǔ)教學(xué)的研究重心應(yīng)是輸出練習(xí)的設(shè)計(jì)。英語(yǔ)口語(yǔ)練習(xí)原則上應(yīng)遵循先易后難，先簡(jiǎn)后繁循序漸進(jìn)的次序，語(yǔ)言形式先于語(yǔ)言內(nèi)容；語(yǔ)言形式和語(yǔ)言內(nèi)容先于交際規(guī)則；語(yǔ)言形式的流利性先于準(zhǔn)確性和多樣性；言之有物先于言之有理；交際規(guī)則中通用交際規(guī)則先于跨文化交際規(guī)則。

在上式中，表示一個(gè)圖像塊中像素點(diǎn)的總數(shù)，表示第個(gè)像素點(diǎn)?？紤]到醫(yī)學(xué)圖像首先是屬于圖像范疇，所以我們加入了評(píng)估圖像的結(jié)構(gòu)相似性損失來(lái)約束超分圖像和高分辨率圖像之間在亮度、對(duì)比度和結(jié)構(gòu)趨于一致。但是當(dāng)圖像信號(hào)的采集密度、用戶的觀看距離和人眼視覺(jué)系統(tǒng)的感知能力中的任何一項(xiàng)發(fā)生變化，對(duì)給定圖像的主觀評(píng)估也會(huì)隨之發(fā)生改變，所以我們使用了多尺度的結(jié)構(gòu)相似性（MS-SSIM）損失來(lái)增強(qiáng)網(wǎng)絡(luò)對(duì)于圖像的重建性能。MS-SSIM損失函數(shù)如下：

圖像灰度值方面，我們?cè)谙袼丶?jí)別上使用重建的超分辨率圖像（SR）和對(duì)應(yīng)高分辨率圖像（HR）之間的均方誤差（MSE）損失作為監(jiān)督。MSE損失函數(shù)如下：

4.論著中的圖表（包括圖表題和圖表注）全部使用英文，要求圖表自明。圖表注內(nèi)容包括分組設(shè)計(jì)、藥物濃度、給藥順序、作用時(shí)間、指標(biāo)測(cè)試時(shí)間、各種縮寫的解釋說(shuō)明、對(duì)觀察內(nèi)容必要的描述和統(tǒng)計(jì)方法等。

此外，為了驗(yàn)證T2 FLAIR模態(tài)對(duì)于T1圖像重建的有效性，本研究也使用單模態(tài)T1圖像作為網(wǎng)絡(luò)輸入來(lái)進(jìn)行超分辨率重建（SCSR），使用圖像評(píng)價(jià)指標(biāo)來(lái)評(píng)估重建質(zhì)量。

MSCSR與4種對(duì)比方法和單模態(tài)T1圖像作為輸入的SCSR的重建結(jié)果以及真實(shí)采集的高分辨率3DT1的可視化結(jié)果，在腦溝、腦回和皮層下區(qū)域，插值的方法丟失了很較多細(xì)節(jié)；FSRCNN的重建結(jié)果有較為清晰的腦溝和腦回，但是皮層下核團(tuán)粘連的現(xiàn)象比較嚴(yán)重；U-net有清晰的腦溝、腦回和皮層下結(jié)構(gòu)，但是與HR相比，還存在較大的差異；SRFBN在前面幾種方法的基礎(chǔ)上有所改善，但一些細(xì)節(jié)部分與HR還是存在肉眼可見的差異；本文所提出的方法，在視覺(jué)效果上與HR圖像最為接近（圖4）。

除此之外，考慮到醫(yī)學(xué)圖像本身具有的解剖學(xué)意義，我們引入腦組織分割來(lái)提升網(wǎng)絡(luò)對(duì)于大腦組織結(jié)構(gòu)之間相關(guān)性的重建性能。我們使用現(xiàn)有的腦組織分割工具對(duì)網(wǎng)絡(luò)重建出的SR圖像與其對(duì)應(yīng)的HR圖像進(jìn)行實(shí)時(shí)分割，獲取包含背景、灰質(zhì)、白質(zhì)和腦脊液的組織分割圖()tissue,tissue，并算分別兩個(gè)圖像中三個(gè)組織還有背景之間的分割系數(shù)（Dice）損失。Dice損失函數(shù)如下：

其中=4 為分割圖的組織類別數(shù)，為[背景，灰質(zhì)，白質(zhì)，腦脊液]各個(gè)組織的權(quán)重系數(shù)矩陣，表示屬于第類組織的像素點(diǎn)。實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，分割圖顯示在圖像超分辨率過(guò)程中各個(gè)組織的邊界非常容易混淆在一起。為此，我們根據(jù)組織分割結(jié)果，得到每個(gè)HR圖像上每個(gè)像素點(diǎn)距離最近的組織邊界的距離，取這個(gè)距離的反比，作為組織邊界的權(quán)重矩陣，在重建時(shí)通過(guò)加權(quán)的MSE損失為處于組織邊界的像素點(diǎn)賦予更大的懲罰。

東營(yíng)凹陷位于山東省東北部，勘探面積約5 850km2，是濟(jì)陽(yáng)坳陷油氣資源最豐富的凹陷［1］?！熬盼濉币詠?lái)，東營(yíng)凹陷進(jìn)入以巖性油藏為主的隱蔽油氣藏勘探階段，至今上報(bào)巖性油藏探明儲(chǔ)量近億噸［2］。經(jīng)過(guò)10余年的勘探開發(fā)，以東營(yíng)凹陷中帶為代表的巖性油藏發(fā)育區(qū)已進(jìn)入較高勘探階段，勘探對(duì)象向個(gè)體規(guī)模較小、埋深大、更復(fù)雜的巖性體轉(zhuǎn)變。但是，少數(shù)探井難以探明和動(dòng)用區(qū)塊儲(chǔ)量，勘探成果點(diǎn)多面少，難以實(shí)現(xiàn)規(guī)模效益，區(qū)塊勘探周期過(guò)長(zhǎng)，難以迅速轉(zhuǎn)化為開發(fā)效益。為進(jìn)一步提高巖性油藏勘探效益，降低開發(fā)風(fēng)險(xiǎn)，實(shí)現(xiàn)規(guī)模效益新突破，筆者提出巖性油藏精細(xì)勘探的設(shè)想。

所以，本文最終使用的損失函數(shù)為：

1.5 實(shí)驗(yàn)設(shè)置

本研究使用230例成對(duì)的T1、T2 FLAIR厚層圖像與MPRAGE序列的T1圖像進(jìn)行模型訓(xùn)練，149例數(shù)據(jù)來(lái)評(píng)估模型性能。在整個(gè)過(guò)程中，網(wǎng)絡(luò)的輸入均為經(jīng)過(guò)分辨率標(biāo)準(zhǔn)化、去顱骨、灰度值歸一化、T2 FLAIR關(guān)鍵區(qū)域獲取一系列預(yù)處理之后的圖像。

訓(xùn)練中，模型采取自適應(yīng)矩估計(jì)方法（Adam）進(jìn)行優(yōu)化；使用本文中提出的混合作為損失函數(shù)，進(jìn)行監(jiān)督學(xué)習(xí)；學(xué)習(xí)率設(shè)為5×10。整個(gè)模型基于PyTorch 深度學(xué)習(xí)框架，模型訓(xùn)練和測(cè)試均在安裝了NVIDIATITAN Xp 12G的GPU顯卡的計(jì)算機(jī)上進(jìn)行。

實(shí)驗(yàn)過(guò)程中，我們?yōu)?span id="j5i0abt0b" class="emphasis_italic">Loss選取的圖像尺度=3，對(duì)應(yīng)=[0.2,0.5,0.3]；Loss的各個(gè)組織的權(quán)重系數(shù)矩陣設(shè)置為=[0.01,1,1,1]；混合損失函數(shù)的超參數(shù)設(shè)置為=1，=0.5，=0.1。

對(duì)于超分辨率圖像重建結(jié)果，我們使用兩個(gè)客觀的圖像質(zhì)量評(píng)價(jià)指標(biāo)來(lái)評(píng)估超分辨率網(wǎng)絡(luò)的重建性能，包括峰值信噪比（PSNR）和圖像結(jié)構(gòu)相似性（SSIM）。PSNR基于像素點(diǎn)間的誤差，是使用范圍最廣泛的圖像客觀評(píng)價(jià)指標(biāo)，但是沒(méi)有考慮到人眼的視覺(jué)特性。所以我們還加入了SSIM這個(gè)指標(biāo)來(lái)從圖像的亮度、對(duì)比度和結(jié)構(gòu)三個(gè)方面來(lái)對(duì)圖像質(zhì)量進(jìn)行整體評(píng)價(jià)。此外，考慮到醫(yī)學(xué)圖像的臨床使用價(jià)值，我們還對(duì)重建圖像進(jìn)行了腦組織體積測(cè)量精度的評(píng)估。

為了比較本文提出的方法在醫(yī)學(xué)圖像超分辨率任務(wù)上的有效性，我們?cè)跍y(cè)試集上使用兩個(gè)客觀的圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)比了MSCSR模型與4種現(xiàn)有單一圖像超分辨率方法的重建性能。對(duì)比方法分別為：基于傳統(tǒng)方法的三線性插值，基于加速的淺層網(wǎng)絡(luò)的超分辨率卷積神經(jīng)網(wǎng)絡(luò)（FSRCNN）,基于反饋機(jī)制的圖像超分辨率反饋網(wǎng)絡(luò)（SRFBN）以及基于U-net框架的圖像超分辨率網(wǎng)絡(luò)。在本文中除插值之外涉及到的3種神經(jīng)網(wǎng)絡(luò)對(duì)比方法，都將其使用的2D卷積替換為3D卷積以適應(yīng)本文中的醫(yī)學(xué)圖像數(shù)據(jù)集，且均以單模態(tài)的厚層T1圖像作為輸入。

1.報(bào)社問(wèn)題頻發(fā)，競(jìng)爭(zhēng)激烈?！拔r(shí)代”環(huán)境下有的傳統(tǒng)媒體的生存狀況不容樂(lè)觀，同時(shí)，傳統(tǒng)媒體之間的競(jìng)爭(zhēng)更加激烈，形成“適者生存，不適者被淘汰”的局面。據(jù)2014年4月23日《人民日?qǐng)?bào)》報(bào)道，因虛假新聞問(wèn)題，200余家報(bào)刊被查處，這種嚴(yán)峻情況反映了傳統(tǒng)媒體已經(jīng)出現(xiàn)了生存危機(jī)，紙質(zhì)媒體的銷路受阻，人們對(duì)紙媒態(tài)度的淡漠等問(wèn)題凸現(xiàn)出來(lái)，一些新聞?dòng)浾呋蚓庉嫛颁b而走險(xiǎn)”，結(jié)果導(dǎo)致報(bào)社受到嚴(yán)重懲罰。

2 結(jié)果

其中，α為圖像不同尺度下的參數(shù)，為圖像最大的尺度，∈[1,]；(),，(,)，(,)分別表示兩幅圖像的亮度對(duì)比函數(shù)，對(duì)比度對(duì)比函數(shù)，結(jié)構(gòu)對(duì)比函數(shù)，其定義如下：

同時(shí)，我們對(duì)幾種方法在測(cè)試集上的超分辨率重建結(jié)果進(jìn)行了圖像量化分析，無(wú)論是PSNR還是SSIM，我們的方法都取得了最好的結(jié)果（表1）。

我們統(tǒng)計(jì)發(fā)現(xiàn)，按照體素為1 mm×1 mm×1 mm計(jì)算，成年人的腦組織總體積平均約為1 410 000個(gè)體素，其中灰質(zhì)（GM）約占46%，白質(zhì)（WM）約占34%，腦脊液（CSF）約占20%。在腦組織體積測(cè)量方面（高分辨率圖像作為金標(biāo)準(zhǔn)），使用我們提出的方法與低分辨率圖像（超分辨率重建網(wǎng)絡(luò)的輸入）相比，灰質(zhì)體積的測(cè)量平均誤差從3%降到了1%，白質(zhì)體積平均誤差從18%降到了2%，腦脊液從35%降到了8%。

3 討論

近年來(lái)，由于真實(shí)成對(duì)的低-高分辨率醫(yī)學(xué)圖像數(shù)據(jù)的缺乏，在圖像域上的超分辨重建方法，大部分都沿用自然圖像領(lǐng)域的思想，即對(duì)采集的高分辨率據(jù)進(jìn)行下采樣來(lái)獲得對(duì)應(yīng)的低分辨率數(shù)據(jù)，使用模擬的低分辨率數(shù)據(jù)和真實(shí)高分辨率數(shù)據(jù)來(lái)設(shè)計(jì)超分辨率重建的方法。通常，在進(jìn)行圖像超分辨率重建時(shí)，很多方法都只考慮整體的圖像質(zhì)量，試圖一個(gè)算法可以適用于一個(gè)模態(tài)的所有圖像，而沒(méi)有針對(duì)醫(yī)學(xué)圖像本身不同部位結(jié)構(gòu)也會(huì)有所不同的特性。Shi等使用殘差向量學(xué)習(xí)的方式對(duì)下采樣之后的低分辨率腦部MRI圖像進(jìn)行空間分辨率的恢復(fù)，與使用FSRCNN網(wǎng)絡(luò)的效果相比，在無(wú)腦腫瘤的圖像上平均PSNR 增長(zhǎng)了3.57 dB，SSIM增長(zhǎng)了0.026，而在有腦腫瘤的圖像上，增長(zhǎng)分別僅為0.98和0.0126。

一些研究人員意識(shí)到，通過(guò)下采樣得到的低分辨率數(shù)據(jù)與真實(shí)臨床采集的低分辨率圖像存在著極大的差異，僅使用一般下采樣方式得到的低分辨率數(shù)據(jù)來(lái)設(shè)計(jì)醫(yī)學(xué)圖像的超分辨重建方法，不能很好的利用真實(shí)數(shù)據(jù)特征，會(huì)極大的限制這些方法的實(shí)際應(yīng)用。Iglesias等分析了真實(shí)場(chǎng)景的低分辨率圖像和高分辨率圖像之間的差異，設(shè)計(jì)了一個(gè)數(shù)據(jù)生成器來(lái)生成更多的接近真實(shí)低分辨率數(shù)據(jù)的圖像，來(lái)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以期望可以更好的適用于臨床數(shù)據(jù)分析，但由于仍然是使用模擬的數(shù)據(jù)進(jìn)行學(xué)習(xí)，在真實(shí)數(shù)據(jù)上進(jìn)行測(cè)試時(shí)，依然有較大的性能損失；Liu等使用大量成對(duì)的真實(shí)數(shù)據(jù)來(lái)對(duì)臨床常規(guī)的MRI 腦圖進(jìn)行超分辨率重建，各項(xiàng)分析指標(biāo)結(jié)果表明重建出的圖像有較好的臨床應(yīng)用價(jià)值。

在本文中，我們使用了實(shí)際場(chǎng)景中采集的真實(shí)成對(duì)低-高分辨率數(shù)據(jù)，分別作為網(wǎng)絡(luò)的輸入與重建目標(biāo)。測(cè)試集上的重建結(jié)果可視化顯示，對(duì)于醫(yī)學(xué)圖像，如果只是按照一般圖像超分辨率重建的方法，只從灰度值，以及圖像整體的亮度、對(duì)比度和結(jié)構(gòu)方面考慮（插值、FSRCNN、U-net、SRFBN），對(duì)于大腦這一類具有非常復(fù)雜的解剖結(jié)構(gòu)的圖像，就會(huì)損失掉非常多的可供參考的細(xì)節(jié)信息，比如灰質(zhì)白質(zhì)之間的界限，腦溝腦回的走向，甚至皮層下核團(tuán)的體積，這樣的超分辨率圖像將是缺少臨床使用價(jià)值的。所以考慮到醫(yī)學(xué)圖像本身的特性，在實(shí)驗(yàn)中引入了第二模態(tài)圖像的關(guān)鍵區(qū)域作為信息補(bǔ)充，從不同角度獲得重要區(qū)域的更多信息，同時(shí)將人體解剖結(jié)構(gòu)的信息通過(guò)損失函數(shù)利用起來(lái)，使得重建出的超分辨率圖像更為接近MRI設(shè)備直接采集出的高分辨率圖像。

票據(jù)管理關(guān)。作為會(huì)計(jì)管理活動(dòng)的重要依據(jù)，加強(qiáng)票據(jù)管理有利于保障會(huì)計(jì)資料的真實(shí)性。加強(qiáng)農(nóng)村財(cái)務(wù)會(huì)計(jì)票據(jù)管理工作：一是對(duì)農(nóng)村集體經(jīng)濟(jì)中產(chǎn)生的收入、支出等進(jìn)行必要審計(jì)。二是各村購(gòu)買物品及辦公用品必須以票兌錢，沒(méi)有稅務(wù)部門得票據(jù)不得報(bào)銷。三是對(duì)農(nóng)村收費(fèi)款項(xiàng)，則應(yīng)該根據(jù)財(cái)務(wù)部門提供的各類憑證作為依據(jù)，開展相應(yīng)的審計(jì)工作。四是對(duì)于“一事一議”過(guò)程之中產(chǎn)生的費(fèi)用，必須使用相關(guān)部門監(jiān)制的統(tǒng)一收費(fèi)專票。對(duì)一切不合理的票據(jù)予以否決。

目前，非常多的醫(yī)院臨床常規(guī)掃描的影像均為厚層數(shù)據(jù)，而好的醫(yī)學(xué)圖像超分辨率方法將直接有利于常規(guī)診療流程對(duì)一些特殊疾病的及早篩查；除此之外，經(jīng)過(guò)長(zhǎng)時(shí)間的積累，每個(gè)醫(yī)院都擁有數(shù)量可觀的厚層影像數(shù)據(jù)，如果可以將這些歷史數(shù)據(jù)通過(guò)超分辨率方法重建出更高分辨率的圖像，那顯然會(huì)對(duì)科研有較大的推動(dòng)作用。

為了為未來(lái)計(jì)算機(jī)輔助診斷提供更好的選擇，本文提出的方法仍然需要進(jìn)一步的臨床驗(yàn)證。