虛擬數(shù)字腦中文版軟件平臺的構建

劉喆，牛天渭，孫奧，何樂民，程運福，張瑱，徐龍春，張崗，張敏鳳，鄒越，趙海辰，呂睿，張光玉

1.山東第一醫(yī)科大學（山東省醫(yī)學科學院）放射學院，山東泰安 271016；2.山東第一醫(yī)科大學（山東省醫(yī)學科學院）第二附屬醫(yī)院放射科，山東泰安 271000；3山東第一醫(yī)科大學（山東省醫(yī)學科學院）第二附屬醫(yī)院耳鼻喉科，山東泰安 271000

前言

腦科學研究對于人類不斷認識自身與世界有著重要意義，是科技發(fā)展的前沿領域。近年來各國紛紛制訂腦科學研究規(guī)劃，加大對腦科學研究的投入，力圖占領這一領域的研究制高點，并推動相關產(chǎn)業(yè)的進步［1］。針對腦科學和類腦研究，歐洲、美國、日本和中國都制定了相應的腦計劃，并取得了突破性的成果［2-5］。2016年，我國“十三五”規(guī)劃將“腦科學與類腦研究”列為“科技創(chuàng)新2030—重大項目”，預示著“中國腦計劃”也已正式啟動；“十四五”規(guī)劃綱也將“腦科學與類腦研究”列為重點發(fā)展領域。

雖然中國擁有豐富的臨床資源可供腦科學研究，但目前用于這方面研究的軟件大多運行速度較慢或操作繁瑣，還不能完全滿足腦科學研究的需要。因此，設計一款操作簡單、運行速度較快且可用于腦科學研究的軟件，對于腦科學發(fā)展計劃的實施具有重要意義。

筆者先前的研究“虛擬數(shù)字腦軟件平臺的研究與開發(fā)”介紹了英文版虛擬數(shù)字腦軟件平臺［6］。該平臺是針對歐洲虛擬大腦軟件平臺［7-10］存在的問題，借鑒腦科學研究的成果，在VC++12.0 的開發(fā)環(huán)境下，利用C/C++編程語言開發(fā)的一款能夠用于腦科學和類腦研究的軟件包［11］。雖然相對于歐洲虛擬大腦軟件平臺，英文版虛擬數(shù)字腦軟件平臺安裝環(huán)境簡單、操作相對便捷、功能更加完善，但其還存在著一些問題，如操作步驟與功能還需進一步優(yōu)化完善，程序代碼還存在一些問題等。虛擬數(shù)字腦中文版軟件平臺是對英文版虛擬數(shù)字腦軟件平臺的改進，它將英文版軟件中文化，并在軟件原有的基礎上優(yōu)化虛擬數(shù)字腦功能操作步驟，增加腦區(qū)信息處理速度、腦區(qū)神經(jīng)活動強度以及相關輔助功能，優(yōu)化代碼，修復程序中的漏洞，使軟件操作更加便捷，功能更加完善，能更好地適用于腦科學研究，并為類腦人工智能的研究提供一定的啟示。

1 材料與方法

1.1 材料

1.1.1 測試圖像山東第一醫(yī)科大學第二附屬醫(yī)院影像科提供的NIFTI格式磁共振醫(yī)學圖像。

1.1.2 腦區(qū)模板61×73×61 或91×109×91 大小的NIFTI格式Brodmann或AAL標準腦區(qū)模板。

1.1.3 刺激信號由自編軟件生成的單任務刺激信號與多任務刺激信號。

1.2 方法

1.2.1 軟件設計改進后的虛擬數(shù)字腦中文版軟件平臺總體框架如圖1所示。此軟件包括3 條主要功能路線，由“節(jié)點與因果連接”、“構建虛擬數(shù)字腦”、“獲得虛擬激活腦區(qū)”、“統(tǒng)計學分析”以及“統(tǒng)計學分析結果顯示”5個對話框完成（圖2）。

圖1 虛擬數(shù)字腦中文版軟件總體框架Figure 1 General framework of the Chinese version of virtual digital brain software

圖2 虛擬數(shù)字腦軟件中文版功能路線一Figure 2 Functional route one of the Chinese version of virtual digital brain software

（1）功能路線一：構建因果連接網(wǎng)→（因果連接網(wǎng)統(tǒng)計學分析及顯示）→構建虛擬數(shù)字腦→激活虛擬數(shù)字腦→統(tǒng)計學分析→統(tǒng)計學分析結果顯示

英文版本中，該路線由兩部分完成，詳細信息可參考文獻［6］，而中文版本將其分5部分，并添加了操作說明及步驟解釋等功能，更方便使用者對軟件的理解與操作。

①構建因果連接網(wǎng)：使用預處理后的磁共振數(shù)據(jù)與腦區(qū)模板（Brodmann 腦區(qū)模板或AAL 腦區(qū)模板）通過熵連接方法［12］構建因果連接網(wǎng)，因果連接網(wǎng)包括同步因果連接網(wǎng)與異步因果連接網(wǎng)。

②構建虛擬數(shù)字腦：利用構建的同步與異步因果連接網(wǎng)、預處理的磁共振數(shù)據(jù)和多變量回歸模型構建虛擬數(shù)字腦。

③激活虛擬數(shù)字腦：構建虛擬數(shù)字腦后，可根據(jù)實際需求，將特定刺激信號輸入到虛擬數(shù)字腦的某個或某些腦區(qū)，通過腦區(qū)神經(jīng)活動預測模型和迭代算法獲得各腦區(qū)神經(jīng)活動信號的強度。

④統(tǒng)計學分析：對上述步驟得到的結果進行統(tǒng)計學分析，從而得到腦區(qū)間的因果連接、單對象腦區(qū)激活結果、單組對象腦區(qū)激活結果、兩組對象激活結果比較等。

⑤統(tǒng)計學分析結果顯示：分析后的結果可通過多平面重建和可視化或Excel顯示來進行觀察分析。

（2）功能路線二：獲得腦區(qū)信息處理速度→統(tǒng)計學分析→分析結果的顯示

此功能為新添加功能。使用預處理后的磁共振數(shù)據(jù)與腦區(qū)模板（Brodmann 腦區(qū)模板或AAL 腦區(qū)模板）獲得腦區(qū)信息處理速度，經(jīng)過統(tǒng)計學分析可通過多平面重建和可視化或Excel顯示來觀察結果。

（3）功能路線三：獲得腦區(qū)神經(jīng)活動強度→統(tǒng)計學分析→分析結果的顯示

此功能為新添加功能。使用預處理后的磁共振數(shù)據(jù)與腦區(qū)模板（Brodmann 腦區(qū)模板或AAL 腦區(qū)模板）獲得腦區(qū)神經(jīng)活動強度，經(jīng)過統(tǒng)計學分析可通過多平面重建和可視化或Excel顯示來觀察結果。

除3條主要功能路線外，此軟件還添加了任務執(zhí)行時間顯示、操作錯誤提示以及操作步驟解釋等功能，并解決了軟件閃退等不正常現(xiàn)象。對任務執(zhí)行時間進行運算顯示；為方便操作者使用，在軟件的每個對話框中都添加了步驟說明，將光標放在一些較為難理解的步驟上可顯示此步驟的解釋；軟件可自動以執(zhí)行任務的名稱對已設置的保存路徑中的文件名進行擴展，數(shù)據(jù)運行完成后系統(tǒng)會彈出提示框提示計算完成的數(shù)據(jù)所保存的位置以及為了解決英文版操作錯誤時軟件閃退現(xiàn)象而修改了源代碼，使操作錯誤后出現(xiàn)提示框提示錯誤信息。

1.2.2 軟件的編程實現(xiàn)虛擬數(shù)字腦軟件中文版與英文版都是在VC++12.0 的開發(fā)環(huán)境下，利用C/C++編程語言開發(fā)。軟件開發(fā)步驟如下：

（1）建立界面

首先將軟件英文版本菜單項中文化，將原菜單項“VDB”改為“虛擬數(shù)字腦”。在“虛擬數(shù)字腦”菜單項中添加子項“節(jié)點和因果連接”、“構建虛擬數(shù)字腦”，“獲得虛擬激活腦區(qū)”、“統(tǒng)計學分析”以及“統(tǒng)計學分析結果顯示”。隨后，為該菜單中的每一個子項添加消息映射函數(shù)。

在程序資源里添加與菜單子項相對應的對話框，并在菜單子項的消息映射中添加創(chuàng)建和顯示該對話框的函數(shù)。如在程序資源里添加“構建虛擬數(shù)字腦”對話框，并在菜單子項“構建虛擬數(shù)字腦”的消息映射中添加創(chuàng)建和顯示該對話框的函數(shù)。

（2）計算功能

利用MFC DLL 向導創(chuàng)建動態(tài)鏈接庫“fMRIDLL”，并在該動態(tài)鏈接庫中添加成員函數(shù)，分別實現(xiàn)計算腦區(qū)間因果連接，獲得腦區(qū)信息處理速度、腦區(qū)神經(jīng)活動強度、回歸系數(shù)、單對象腦區(qū)激活結果、單組對象腦區(qū)激活結果、兩組對象相比較的腦區(qū)激活結果等功能。并在各對話框相應控件的消息映射函數(shù)中分別調用這些成員函數(shù)，完成相關功能。

（3）結果顯示功能

利用MFC DLL 向導創(chuàng)建動態(tài)鏈接庫“3DDLL”，在該動態(tài)鏈接庫中添加成員函數(shù)實現(xiàn)三維重建可視化、多平面重建可視化以及Excel 顯示的功能，并在“統(tǒng)計學分析結果顯示”對話框相應控件的消息映射函數(shù)中調用，完成腦區(qū)間的因果連接、腦區(qū)信息處理速度、腦區(qū)神經(jīng)活動強度、虛擬激活腦區(qū)等計算結果顯示功能。

（4）輔助功能

利用系統(tǒng)time 函數(shù)對任務執(zhí)行時間進行運算并顯示；在各對話框中添加步驟說明及對各步驟的解釋；修改代碼，增加操作錯誤提示等。

2 結果

虛擬數(shù)字腦軟件中文版開發(fā)完成后對其進行性能與功能測試。在Windows 10 系統(tǒng)下，點擊虛擬數(shù)字腦軟件的可執(zhí)行應用程序并運行。

優(yōu)化前，虛擬數(shù)字腦軟件英文版操作對話框可查看文獻［6］，圖3～圖7為優(yōu)化后的虛擬數(shù)字腦軟件中文版實現(xiàn)主要功能的5個對話框。在“節(jié)點與因果連接”對話框中使可用預處理數(shù)據(jù)與腦區(qū)模板獲得因果連接、腦區(qū)神經(jīng)活動強度以及腦區(qū)信息處理速度；在“構建虛擬數(shù)字腦”對話框中可利用構建的因果連接網(wǎng)等構建虛擬數(shù)字腦；在“獲得虛擬腦區(qū)激活”對話框中可根據(jù)需要使用不同模擬刺激信號對所構建的虛擬數(shù)字腦的不同腦區(qū)進行刺激，并獲得刺激結果；在“統(tǒng)計學分析”對話框中可用多種統(tǒng)計學檢驗與多重比較校正方法對數(shù)據(jù)進行分析，獲得腦區(qū)間因果連接、單對象腦區(qū)激活結果、單組對象腦區(qū)激活結果、兩組對象激活結果比較等分析結果；在“統(tǒng)計學分析結果顯示”對話框中可完成上述分析結果的顯示，包括多平面重建及可視化、三維重建及可視化和Excel 顯示。根據(jù)對話框中的步驟提示完成相應設置，即可完成軟件的3個主要功能。

圖3 節(jié)點與因果連接對話框Figure 3 Dialog box of obtaining nodal topological properties and causal connectivity

圖4 構建虛擬數(shù)字腦對話框Figure 4 Dialog box of constructing the virtual digital brain

圖5 虛擬數(shù)字腦激活對話框Figure 5 Dialog box of virtual digital brain activation

圖6 統(tǒng)計學分析對話框Figure 6 Dialog box of statistical analysis

圖7 統(tǒng)計學分析結果顯示對話框Figure 7 Dialog box of statistical analysis results display

（1）按照功能路線一（構建因果連接網(wǎng)→構建虛擬數(shù)字腦→激活虛擬數(shù)字腦→統(tǒng)計學分析→統(tǒng)計學分析結果顯示）可獲得因果連接網(wǎng)與腦區(qū)激活結果。本研究利用30例受試者（16例雙耳聾患者，14例正常聽力的志愿者）的功能磁共振數(shù)據(jù)對功能路線一進行測試。圖8和圖9為AAL13（左側額下回三角部）同步輸出因果連接增強和減弱的3D左視和俯視結果（雙樣本t檢驗，P＜0.05，PRT corrected，重復率：0.85，重復檢測次數(shù)：5 000，每組中隨機選取的人數(shù)：10），其中箭頭的方向表示因果連接的方向，紅色表示腦區(qū)間因果連接的增強，藍色表示腦區(qū)間因果連接的減弱。

圖8 AAL 13增強的同步輸出因果連接三維可視化結果Figure 8 3D visualization results of the enhanced synchronous output causal connectivity in AAL 13

圖9 AAL 13減弱的同步輸出因果連接三維可視化結果Figure 9 3D visualization results of the weakened synchronous output causal connectivity in AAL 13

圖10 是將單任務刺激信號輸入到左、右側顳橫回時單任務單對象腦區(qū)激活的多平面重建和可視化結果。圖11 是將多任務刺激信號輸入到左、右側顳橫回和左、右側顳上回時多任務多對象腦區(qū)激活的多平面重建和可視化結果。其中，藍色部分對應的腦區(qū)呈現(xiàn)負激活，黃色部分對應的腦區(qū)呈現(xiàn)正激活，彩色尺度條顏色變化對應腦區(qū)激活強度變化，由淺藍色漸變到黃色表示激活程度逐漸增強。

圖10 單任務單對象腦區(qū)激活的多平面重建的可視化結果Figure 10 Visualization results of multi-plane reconstruction for a single object brain region activation elicited by a single task

圖11 多任務多對象腦區(qū)激活的多平面重建的可視化結果Figure 11 Visualization results of multi-plane reconstruction for multi-object brain region activation elicited by multi-task

（2）按照功能路線二（獲得腦區(qū)信息處理速度→統(tǒng)計學分析→分析結果的顯示）可獲得腦區(qū)信息處理速度。本研究利用30例受試者（16例雙耳聾患者，14 例正常聽力的志愿者）的功能磁共振數(shù)據(jù)對功能路線二進行測試。圖12 是腦區(qū)信息處理速度的Excel 結果部分展示（雙樣本t檢驗，P＜0.05, PRT corrected, 重復率：0.5，重復檢測次數(shù)：5 000，每組中隨機選取的人數(shù)：10）。其中，負值表示耳聾組腦區(qū)信息處理速度小于正常聽力組的腦區(qū)信息處理速度，反之則相反。數(shù)值為0則表示兩組在該腦區(qū)的信息處理速度沒有明顯差別。

圖12 部分腦區(qū)信息處理速度的Excel結果Figure 12 Excel results of the information processing speed of some brain regions

（3）按照功能路線三（獲得腦區(qū)神經(jīng)活動強度→統(tǒng)計學分析→分析結果的顯示）可獲得腦區(qū)神經(jīng)活動強度。本研究利用30個受試者（16個雙耳聾患者，14個正常聽力的志愿者）的功能磁共振數(shù)據(jù)對功能路線三進行測試。圖13是腦區(qū)神經(jīng)活動強度的Excel結果部分展示（雙樣本t檢驗，P＜0.05,PRT corrected,重復率：0.5，重復檢測次數(shù)：5000，每組中隨機選取的人數(shù)：10），其中，負值表示耳聾組腦區(qū)神經(jīng)活動強度小于正常聽力組的腦區(qū)神經(jīng)活動強度，反之則相反。數(shù)值為0則表示兩組在該腦區(qū)的神經(jīng)活動強度沒有明顯差別。

圖13 部分腦區(qū)神經(jīng)活動強度的Excel結果Figure 13 Excel results of neural activity intensity of some brain regions

（4）時間顯示功能。

圖14、15 為構建因果連接與構建虛擬數(shù)字腦時所需計算時間的顯示。此外，若操作錯誤，軟件不會出現(xiàn)閃退等不正?，F(xiàn)象，而是會出現(xiàn)錯誤提示，關閉后可繼續(xù)操作。

圖14 構建因果連接所需時間Figure 14 Time taken to obtain causal connectivity

圖15 構建虛擬數(shù)字腦所需時間Figure 15 Time taken to construct the virtual digital brain

3 討論

本研究介紹了基于對英文版虛擬數(shù)字腦軟件平臺的改進與完善所開發(fā)的虛擬數(shù)字腦中文版軟件平臺。中文版軟件平臺是在英文版的基礎上首先將虛擬數(shù)字腦軟件的英文操作環(huán)境改為中文操作環(huán)境，其次將軟件原有功能操作步驟按照使用過程中的體驗進行重新排列，添加時間顯示、步驟解釋等輔助功能，減小了使用的復雜性與使用過程中錯誤操作的可能性，并在原有功能的基礎上增加了獲得腦區(qū)神經(jīng)活動強度和腦區(qū)信息處理速度的功能，最后優(yōu)化代碼，修復原有程序中的漏洞，完成虛擬數(shù)字腦軟件中文版的開發(fā)。

經(jīng)測試驗證，虛擬數(shù)字腦軟件每項功能都能成功實現(xiàn)，得到預期結果；且軟件在長時間運行過程中穩(wěn)定無誤，呈現(xiàn)的結果準確。本研究僅展示了虛擬數(shù)字腦軟件中文版的部分主要功能，其他輔助功能如十字定位線、腦區(qū)索引提示等并未展示。優(yōu)化后的軟件操作更加便捷，功能更加全面，能用于觀察腦區(qū)間的因果連接、腦區(qū)神經(jīng)活動強度、腦區(qū)信息處理速度以及在虛擬信號刺激下，各腦區(qū)激活狀態(tài)，揭示人腦工作機理，為類腦人工智能的研究提供一定的啟示，且該軟件操作簡單、運行速度較快，不需要其他軟件支持，可為腦科學研究提供一個便捷的軟件輔助研究平臺?；谟⑽陌嫣摂M數(shù)字腦已發(fā)表耳聾患者功能成像研究論文3 篇［13-15］。先前的文獻報道了利用靜息態(tài)功磁共振和多參數(shù)磁共振方法對耳聾患者的腦功能研究的結果［16-20］。然而，到目前為止，還沒有文獻報道關于耳聾患者腦區(qū)神經(jīng)活動變化和信息處理速度變化的研究。因此，本軟件提供了可以進行此項研究的工具。

本研究開發(fā)的虛擬數(shù)字腦中文版軟件包與歐洲開發(fā)的虛擬大腦軟件平臺［7-10］、英文版虛擬數(shù)字腦軟件平臺相比，步驟清晰，操作簡單，功能更加豐富，不需要任何軟件作支撐，運行環(huán)境簡單。但目前此軟件包還存在許多問題，如系統(tǒng)通過當前任務中前面圖像運行時間對后面所剩余圖像的運行時間進行預測，由于執(zhí)行任務時所用圖像的個體差異，所以預測存在誤差；虛擬數(shù)字腦軟件程序還需優(yōu)化完善，以得到更精確的運算結果與更廣泛的適用范圍等。且此軟件與英文版虛擬數(shù)字腦軟件平臺一樣，還沒有利用真實的基于任務的人腦功能磁共振數(shù)據(jù)進行驗證，需要在實際應用中不斷進行改進和完善。如何設計功能磁共振任務范例對構建的虛擬數(shù)字腦的有效性進行驗證，并通過模擬人腦的神經(jīng)活動來完善虛擬數(shù)字腦是今后需要研究的課題。

4 結論

本研究在VC++12.0 的開發(fā)環(huán)境下，利用C/C++編程語言針對英文版虛擬數(shù)字腦軟件平臺在使用過程中存在的問題進行優(yōu)化完善，開發(fā)了虛擬數(shù)字腦中文版軟件，使軟件操作更便捷，功能更全面，能更好地適用于腦科學研究，并為類腦人工智能的研究提供一些啟示，符合當下科技發(fā)展需求。