MSV-Net：面向科學(xué)模擬面體混合數(shù)據(jù)的超分重建方法

曹斯銘，王曉華，王弘堃，曹 軼+

1.中物院高性能數(shù)值模擬軟件中心，北京100088

2.北京應(yīng)用物理與計算數(shù)學(xué)研究所，北京100088

科學(xué)數(shù)據(jù)可視化是領(lǐng)域?qū)＜野l(fā)現(xiàn)和理解復(fù)雜現(xiàn)象的有效工具。高保真度的可視分析通常依賴于大規(guī)?？茖W(xué)模擬產(chǎn)生的耦合幾何模型的高分辨率網(wǎng)格數(shù)據(jù)集，其時變數(shù)據(jù)量通?？蛇_TB量級甚至更大規(guī)模。然而，隨著超級計算機的峰值性能的快速提升，I/O存儲設(shè)備的速度和容量卻無法跟上計算能力的增長。當前，超級計算機的計算速度與存儲速度、存儲容量之間的差距越來越大[1]。由于這些超算系統(tǒng)沒有足夠的輸入輸出能力，大規(guī)模科學(xué)模擬應(yīng)用保存所有高分辨率計算結(jié)果，再進行事后可視分析變得越來越不可行。如何克服大規(guī)模數(shù)據(jù)的數(shù)據(jù)存儲瓶頸，實現(xiàn)高分辨率數(shù)據(jù)的流暢和高保真可視分析是近幾年科學(xué)數(shù)據(jù)可視化領(lǐng)域重要的研究方向之一。

圖像分辨率是關(guān)于圖像中存儲信息量的一種度量。圖像的超分辨率重建是圖像處理領(lǐng)域一個重要的研究課題，它在醫(yī)學(xué)成像、衛(wèi)星遙感、刑偵安防等領(lǐng)域都具有廣泛的應(yīng)用。例如，在醫(yī)學(xué)成像領(lǐng)域，通過醫(yī)學(xué)影像設(shè)備掃描得到的圖像往往分辨率較低，超分辨率重建后的圖像可以幫助醫(yī)生更準確地進行病體定位、診斷病情；在衛(wèi)星遙感領(lǐng)域，受衛(wèi)星轉(zhuǎn)運、通訊傳輸成本的限制，很難獲得高分辨率的圖像，超分辨率重建后的圖像可以更好地進行地形地貌的繪制和勘探，幫助地質(zhì)災(zāi)害監(jiān)測、軍事偵察；在刑偵安防領(lǐng)域，監(jiān)控獲取的運動圖像往往是模糊的，檢測到異常后通過對車牌、人臉等信息進行超分辨率重建，可以幫助快速定位嫌疑人、輔助治安管理。目前，圖像超分辨率重建技術(shù)已經(jīng)成為深度學(xué)習的研究熱點之一。

在科學(xué)模擬時如果能夠采用低分辨率網(wǎng)格，不僅有利于加速計算過程，而且可以極大降低輸出的科學(xué)模擬數(shù)據(jù)量。如果能夠在此基礎(chǔ)上，采用超分辨率方法高效地重建高分辨率網(wǎng)格數(shù)據(jù)的可視分析結(jié)果，則極有希望解決由于超算存儲瓶頸造成的高置信度可視分析問題。但截至目前，超分辨率重建在科學(xué)可視分析中的應(yīng)用仍不多見。適應(yīng)復(fù)雜科學(xué)模擬數(shù)據(jù)集合的超分辨率方法仍然有待開展研究。

為此，本文提出了一種面向大規(guī)模科學(xué)模擬面體混合數(shù)據(jù)的超分辨率重建方法。本研究的創(chuàng)新點如下：

（1）提出了一種面向面體混合數(shù)據(jù)超分辨率重建的端到端的深度神經(jīng)網(wǎng)絡(luò)（network for mixed surface-volume，MSV-Net），通過一系列非線性變換，實現(xiàn)從低分辨數(shù)據(jù)到高分辨數(shù)據(jù)的混合繪制映射的聯(lián)合學(xué)習；該網(wǎng)絡(luò)舍棄了全連接層，不僅可以減少網(wǎng)絡(luò)參數(shù)，而且能夠提升網(wǎng)絡(luò)可復(fù)用性。

（2）構(gòu)建了一個面向大規(guī)模電磁模擬應(yīng)用的面體混合數(shù)據(jù)集（dataset for mixed surface-volume，MSVDataset）。該數(shù)據(jù)集由采用不透明幾何模型繪制耦合半透明體繪制的混合繪制圖像構(gòu)成。該數(shù)據(jù)集可適用于多類可視化任務(wù)，如超分辨率重建、參數(shù)生成和集合模擬。

1 相關(guān)工作

（1）大規(guī)?？茖W(xué)數(shù)據(jù)可視化。1987年，原位可視化概念在超大規(guī)模計算的背景下被提出[2]。原位可視化將數(shù)值模擬與可視化處理緊密地結(jié)合起來，可以避免超級計算機的存儲瓶頸問題?；趫D像的可視分析方法，可被視為原位可視化的一種實際應(yīng)用，它可以在沒有原始科學(xué)數(shù)據(jù)的情況下實現(xiàn)交互可視分析。Ahrens 等[3]提出了一個基于圖像的可視交互框架，該框架基于預(yù)先生成的圖像數(shù)據(jù)集對科學(xué)數(shù)據(jù)進行交互可視分析。然而，原始的高分辨率模擬數(shù)據(jù)沒有被存儲，這限制了事后勘探的靈活性。體數(shù)據(jù)上采樣是指依托低分辨率體數(shù)據(jù)生成高分辨率體數(shù)據(jù)。Zhou 等[4]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的體數(shù)據(jù)上采樣方法。該方法學(xué)習從低分辨率數(shù)據(jù)塊到高分辨率數(shù)據(jù)塊的端到端映射。但是，體數(shù)據(jù)上采樣不適用于大規(guī)模數(shù)據(jù)可視分析，因為它給計算機存儲帶來了巨大的壓力。當前，大規(guī)?？茖W(xué)數(shù)據(jù)的高保真可視分析，通常依賴大規(guī)?？茖W(xué)模擬產(chǎn)生的耦合幾何模型的高分辨率網(wǎng)格數(shù)據(jù)。為此，本文針對大規(guī)?？茖W(xué)模擬面體混合數(shù)據(jù)的超分辨率重建問題展開研究，通過深度學(xué)習來解決數(shù)據(jù)存儲和流暢交互的挑戰(zhàn)問題。

（2）圖像超分辨率重建。通常，分辨率越高的圖像可以顯示越詳細的信息，這意味著具有更高的保真度。傳統(tǒng)的超分辨率重建方法（最近鄰插值、雙線性插值[5]和雙三次插值[6]）主要利用點周圍的已知像素值來計算缺失的像素值。隨著深度學(xué)習的快速發(fā)展，相關(guān)的方法被應(yīng)用到圖像超分辨率重建中。2015 年，Dong 等[7]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法模型。首先采用雙三次插值將低分辨率圖像放大到目標尺寸，然后采用三層卷積網(wǎng)絡(luò)對非線性映射進行擬合，最后輸出高分辨率圖像。Dong等[8]改進了他們之前的方法，使得原始低分辨率圖像可以直接輸入到網(wǎng)絡(luò)中。Shi等[9]提出了一種新的超分辨率圖像重建方法，使用亞像素卷積對特征圖進行上采樣。這種上采樣策略可以獲得更好的數(shù)據(jù)重建效果。本文采用與Shi類似的方法，設(shè)計了基于深度學(xué)習技術(shù)的MSV-Net，用于大規(guī)模科學(xué)數(shù)據(jù)混合可視分析結(jié)果的超分辨率重建。

（3）科學(xué)數(shù)據(jù)可視化與深度學(xué)習。近年來，一些研究將深度學(xué)習技術(shù)用于科學(xué)數(shù)據(jù)可視化。體繪制和面繪制是科學(xué)可視化的兩類主要方法。針對體繪制，Berger等[10]提出了一種利用生成模型合成和分析體繪制圖像的技術(shù)，改進了現(xiàn)有基于光線投射或基于紋理的體繪制方法。針對面繪制，Weiss 等[11]采用卷積神經(jīng)網(wǎng)絡(luò)來減少等值面射線投射的樣本數(shù)量。無論是重建表面的幾何形狀還是環(huán)境光遮擋，與全分辨率下的優(yōu)化光線投射相比，他們的方法性能更高。針對半透明體繪制和不透明等值面繪制，Han等提出被用于空間和時間尺度時變數(shù)據(jù)的上采樣方法[12-13]，目標是生成更高時空分辨率和細節(jié)的序列數(shù)據(jù)，實現(xiàn)時空超分辨率。但從已有文獻可知，目前尚沒有超分辨率可視分析研究能夠同時考慮半透明體繪制結(jié)果和不透明面繪制結(jié)果。

2 MSV-Net &MSV-Dataset

本章將介紹面向面體混合數(shù)據(jù)超分辨率重建的端到端的深度神經(jīng)網(wǎng)絡(luò)與面向大規(guī)模電磁模擬應(yīng)用的面體混合數(shù)據(jù)集。

2.1 MSV-Net

MSV-Net的結(jié)構(gòu)示意圖如圖1所示，其中主要包含兩部分，分別是數(shù)據(jù)預(yù)處理和超分辨率重建網(wǎng)絡(luò)。首先，數(shù)據(jù)預(yù)處理階段主要包括隨機裁剪、圖片篩選和下采樣，輸出一一對應(yīng)的高、低分辨率圖像對，用于下一步的神經(jīng)網(wǎng)絡(luò)訓(xùn)練、驗證和測試。其次，訓(xùn)練階段負責在每個訓(xùn)練圖像中隨機剪切n×n子塊，保留背景占比80%以下的圖片，將其視為目標高分辨率圖像，然后采用雙三次樣條插值方法，基于下采樣系數(shù)（重建系數(shù)）α對高分辨率圖像進行下采樣，得到對應(yīng)的低分辨率圖像，圖像尺寸為nα×nα。隨機裁剪策略不僅增加了訓(xùn)練樣本的數(shù)量，而且加快了神經(jīng)網(wǎng)絡(luò)的收斂速度。最后，在驗證和測試階段，選擇可被下采樣系數(shù)整除的最大尺寸，隨機提取圖像子塊作為目標高分辨率圖像，同樣采用雙三次樣條插值方法進行下采樣得到對應(yīng)的低分辨率圖像，然后輸入到訓(xùn)練好的模型中進行超分辨率重建，輸出重建得到的超分辨率圖像。

圖1 MSV-Net的結(jié)構(gòu)示意圖Fig. 1 Overview of MSV-Net

MSV-Net 主要包含12 個殘差單元和2 個亞像素卷積層。整個網(wǎng)絡(luò)拋棄了全連接層，為全卷積網(wǎng)絡(luò)。這些策略在減少網(wǎng)絡(luò)參數(shù)和提升性能的同時增加了網(wǎng)絡(luò)的可復(fù)用性。

MSV-Net 的超分辨率重建網(wǎng)絡(luò)的主要組成部分為殘差單元[14]，殘差單元在淺層輸出和深層輸出之間創(chuàng)建了捷徑連接，其表示特征的恒等映射。x是淺層輸出，H(x)表示對x映射后的擬合結(jié)果，為深層輸出。F(x)為夾在二者中間的網(wǎng)絡(luò)結(jié)構(gòu)所代表的變換，在MSV-Net中，F(xiàn)(x)由兩個連續(xù)的3×3卷積層、批標準化和PReLU激活函數(shù)構(gòu)成。當淺層輸出x所代表的特征已經(jīng)足夠優(yōu)秀，x的任何改變都會讓損失變大的話，F(xiàn)(x)則會自動地趨向于學(xué)習變?yōu)?，x則從捷徑連接的路徑繼續(xù)傳遞下去。這樣就實現(xiàn)了當淺層輸出已經(jīng)足夠優(yōu)秀時，深層網(wǎng)絡(luò)后面的層能夠?qū)崿F(xiàn)恒等映射作用的目的。這緩解了深度神經(jīng)網(wǎng)絡(luò)消失梯度和模型退化的問題。數(shù)學(xué)表示如下所示：

MSV-Net 中上采樣部分采用了亞像素卷積。亞像素卷積是一種圖像上采樣的新方法，也稱為像素重組。該結(jié)構(gòu)減少了圖像上采樣過程中的人為干擾，并將圖像上采樣過程集成到網(wǎng)絡(luò)學(xué)習中。與傳統(tǒng)上采樣方法相比，該方法能夠更好地擬合像素之間的關(guān)系，得到全局最優(yōu)解。假設(shè)希望將原始圖像放大n倍，則需要生成n2相同大小的特征圖。換言之，特征圖通道的數(shù)量必須擴展n2倍。然后，將n2具有相同大小的特征圖拼接在一起，形成一個放大n2倍的特征圖。特征圖通道的擴展可以通過普通的卷積運算來實現(xiàn)。亞像素卷積層的數(shù)量ns與重建系數(shù)α有關(guān)。數(shù)學(xué)表示如下所示：

此外，MSV-Net 舍棄了全連接層，為全卷積神經(jīng)網(wǎng)絡(luò)，因此在模型的訓(xùn)練、驗證和測試階段都非常靈活，不受圖像大小的限制，可以接受任何圖像大小作為輸入。即使重建系數(shù)α發(fā)生變化，它仍然可以適應(yīng)現(xiàn)有的模型，只需少量的訓(xùn)練進行微調(diào)。該策略不僅可以減少網(wǎng)絡(luò)參數(shù)，而且能夠提升網(wǎng)絡(luò)的靈活性與可復(fù)用性。

2.2 MSV-Dataset

本文采用的原始數(shù)據(jù)源是基于并行應(yīng)用框架[15]的電磁模擬應(yīng)用程序產(chǎn)生的耦合幾何模型的高分辨率網(wǎng)格數(shù)據(jù)，并且基于大規(guī)?？梢暦治銎脚_[16]生成的可視分析數(shù)據(jù)集MSV-Dataset。該數(shù)據(jù)集由采用不透明幾何模型繪制耦合半透明體繪制的混合繪制圖像構(gòu)成，如圖2 所示。在電磁仿真應(yīng)用中，領(lǐng)域?qū)＜彝ǔｊP(guān)注電磁波擊中無人機時的波前效應(yīng)，這對應(yīng)于圖像中的一系列同心圓。

圖2 MSV-Dataset可視化結(jié)果示例Fig. 2 Example of visualization results for MSV-Dataset

圖3 顯示了面向大規(guī)模電磁模擬應(yīng)用的面體混合數(shù)據(jù)集構(gòu)建過程的流程圖。已有研究表明，標記數(shù)據(jù)的數(shù)量與質(zhì)量直接影響深度學(xué)習模型的性能。與計算機視覺領(lǐng)域中易于采集的自然圖像或視頻不同，物理效應(yīng)高保真的可視化結(jié)果必須由領(lǐng)域?qū)＜疑珊万炞C，想要大規(guī)模生成非常困難。

圖3 MSV-Dataset構(gòu)建過程的流程圖Fig. 3 Flow chart of MSV-Dataset building process

視點和傳輸函數(shù)的選擇都是基于以前的研究工作[17-18]。視點大致均勻分布在模擬數(shù)據(jù)周圍的球體上，換句話說，均勻分布在經(jīng)度和緯度柵格上。在科學(xué)模擬數(shù)據(jù)的探索和分析中，顏色映射是傳遞數(shù)據(jù)信息的重要方法。色彩映射的載體是傳輸函數(shù)。圖4 顯示了無人機輻射屏蔽分析應(yīng)用程序的線性映射和優(yōu)化方法之間的顏色映射結(jié)果比較。從圖2、圖4可以看出本文構(gòu)建的面體混合數(shù)據(jù)集具有高保真性，可以高質(zhì)量地表現(xiàn)出更多物理效應(yīng)場層次細節(jié)，波前效應(yīng)顯著。

圖4 不同顏色傳輸函數(shù)對比Fig. 4 Comparison of different color transfer functions

表1 給出了MSV-Dataset 的相關(guān)信息，包括可視化結(jié)果及其對應(yīng)的可視化參數(shù)。該數(shù)據(jù)集可適用于多類可視化任務(wù)，如超分辨率重建、參數(shù)生成和集合模擬。目前，該數(shù)據(jù)集仍在建設(shè)中。

表1 MSV-Dataset的相關(guān)信息Table 1 Information about MSV-Dataset

3 實驗結(jié)果與分析

本文的實驗平臺為CentOS 7 系統(tǒng)，運用Python語言在Pytorch[19]深度學(xué)習框架下進行編寫，該實驗在24核Intel Xeon e5-2680v4 2.40 GHz浪潮服務(wù)器節(jié)點上進行，該節(jié)點CPU內(nèi)存為16 GB，GPU為NVIDIA Tesla V100。MSV-Net 訓(xùn)練200 次需要27 h，當重建系數(shù)α發(fā)生變化，它也只需少量的訓(xùn)練進行微調(diào)，長期來看，本文方法比直接使用TeraVAP生成高分辨率的圖像性價比高。

本文采用平均意見評分測試（mean opinion score，MOS）對不同的超分辨率重建方法進行量化評估。邀請了25 名觀察者對這些圖像進行主觀定性評估。表2、表3列出了評估標準。表2是絕對評估，即觀察者以真實圖像作為參考，將每組待評估圖像與真實圖像進行比較，按相似度給出相應(yīng)的評估值。表3是相對評估，即不告訴觀察者哪一組為真實值。觀察者對參與評估的多組圖像相互進行比較，按評估標準給出相應(yīng)的評估值。

表2 評價標準（絕對評價）Table 2 Evaluation criteria(absolute evaluation)

表3 評價標準（相對評價）Table 3 Evaluation criteria(relative evaluation)

每個觀察者對819 個以隨機順序呈現(xiàn)的圖像進行評分。表4、表5和圖5展示了MOS測試的實驗結(jié)果，表4、表5中，在MSV-Dataset的測試集上，將本文方法與多種傳統(tǒng)方法和深度學(xué)習方法的性能進行了比較。這些方法包括傳統(tǒng)方法（最近鄰插值（nearest）、雙線性插值（bilinear）、雙三次插值（bicubic））和深度學(xué)習方法（加速超分辨率卷積神經(jīng)網(wǎng)絡(luò)（fast super resolution，F(xiàn)SR）、超分辨率殘差網(wǎng)絡(luò)（residual super resolution,RESR））。圖5是對比實驗結(jié)果的箱線圖（綠色的小三角形表示評價的平均值）。對于相同的圖像，發(fā)現(xiàn)評價結(jié)果沒有顯著差異。在絕對評估中，大多數(shù)觀察者一致認為FSR 重建的圖像質(zhì)量最差，真實值（ground truth，GT）的圖像質(zhì)量最好；在相對評估中，大多數(shù)觀察者一致認為FSR重建的圖像質(zhì)量最差，MSV-Net重建的圖像質(zhì)量最好。

表4 MSV-Dataset測試集上MSV-Net與其他方法的比較（絕對評價）Table 4 Comparison of MSV-Net with other methods on MSV-Dataset(absolute evaluation)

表5 MSV-Dataset測試集上MSV-Net與其他方法的比較（相對評價）Table 5 Comparison of MSV-Net with other methods on MSV-Dataset(relative evaluation)

圖5 實驗結(jié)果比較箱線圖Fig. 5 Boxplot for comparison of experimental results

從表4、表5和圖5可以看出，在真實圖像未知的情況下，觀察者認為MSV-Net 重建的圖像質(zhì)量優(yōu)于其他方法重建的圖像，甚至優(yōu)于真實圖像，這表明MSV-Net的準確性和有效性。為了評估MSV-Net的效率，表6列出了MSV-Net與直接使用TeraVAP生成高分辨率可視化結(jié)果的時間成本對比，從中可以看出，TeraVAP 繪制生成1 500×1 500 分辨率的圖像需要66.28 s。但是，如果首先使用TeraVAP 繪制生成375×375 分辨率的圖像，然后使用MSV-Net 進行超分辨率重建，只需要4.14 s。交互性能提升了約15倍。

表6 MSV-Net與直接使用TeraVAP的時間成本對比Table 6 Comparison of time cost between MSV-Net and using TeraVAP directly

圖6～圖9 展示了一些實驗結(jié)果示例?？梢钥闯?，使用MSV-Net 重建的圖像最接近真實圖像，有時甚至比真實圖像更清晰。其他重建方法存在不同程度的混疊、模糊和顏色變化問題。

圖6 實驗結(jié)果示例1Fig. 6 Example 1 of experimental results

圖7 實驗結(jié)果示例2Fig. 7 Example 2 of experimental results

圖8 實驗結(jié)果示例3Fig. 8 Example 3 of experimental results

圖9 實驗結(jié)果示例4Fig. 9 Example 4 of experimental results

4 結(jié)束語

本文提出了一個面向大規(guī)?？茖W(xué)模擬面體混合數(shù)據(jù)的超分辨率重建方法MSV-Net。采用該方法可以避免大規(guī)模數(shù)值模擬的數(shù)據(jù)存儲瓶頸問題，實現(xiàn)高分辨率數(shù)據(jù)的流暢和高保真可視分析。實驗結(jié)果驗證了本文方法的有效性和高效性。此外，本文還構(gòu)建了面向大規(guī)模電磁模擬應(yīng)用的面體混合數(shù)據(jù)集MSV-Dataset，用于模型訓(xùn)練和驗證。該數(shù)據(jù)集由不透明幾何模型繪制耦合半透明體繪制的混合繪制圖像構(gòu)成，可適用于大規(guī)模科學(xué)模擬的多類可視化任務(wù)。未來將針對深度學(xué)習和科學(xué)可視化的融合進行更深入的研究，例如對序列數(shù)據(jù)的時空超分辨率重建、參數(shù)空間重建可視空間等。