趙 霞
(解放軍南部戰(zhàn)區(qū)總醫(yī)院信息中心 廣州 510010)
曹曉均
(廣州市婦女兒童醫(yī)療中心數(shù)據(jù)中心 廣州 510623)
李小華
(解放軍南部戰(zhàn)區(qū)總醫(yī)院信息中心 廣州 510010)
數(shù)字孿生(digital twin,DT)作為新一代信息技術(shù)集成融合和創(chuàng)新應(yīng)用,在國(guó)家科技、經(jīng)濟(jì)、社會(huì)持續(xù)發(fā)展和數(shù)字化轉(zhuǎn)型中將發(fā)揮重大作用。當(dāng)前全球積極布局?jǐn)?shù)字孿生研究和應(yīng)用,美國(guó)、日本以及西歐部分國(guó)家先后成立數(shù)字孿生聯(lián)盟、協(xié)會(huì)等組織,加快構(gòu)建數(shù)字孿生產(chǎn)業(yè)協(xié)同和創(chuàng)新生態(tài)。2021年12月中央網(wǎng)絡(luò)安全與信息化委員會(huì)發(fā)布《國(guó)家“十四五”信息化規(guī)劃》,將數(shù)字孿生列為國(guó)家戰(zhàn)略性、前沿性和顛覆性技術(shù),要求加強(qiáng)戰(zhàn)略研究布局和技術(shù)融通創(chuàng)新。
數(shù)字孿生是指在數(shù)字空間(虛擬空間)中構(gòu)建一個(gè)可以映射現(xiàn)實(shí)世界(現(xiàn)實(shí)空間)物理實(shí)體的虛擬實(shí)體(數(shù)字孿生體)。通過(guò)物理實(shí)體的數(shù)據(jù)采集和分析,抽象出物理實(shí)體的屬性、關(guān)系和過(guò)程,建立數(shù)據(jù)模型,在虛擬空間構(gòu)建一個(gè)與物理實(shí)體完全對(duì)應(yīng)的虛擬實(shí)體。物理實(shí)體與數(shù)字孿生體之間具備雙向和動(dòng)態(tài)的實(shí)時(shí)關(guān)聯(lián),在整個(gè)實(shí)體的生命周期中相互聯(lián)系在一起,實(shí)現(xiàn)物理世界與數(shù)字世界的交互與融合。通過(guò)數(shù)字孿生體可以實(shí)現(xiàn)對(duì)物理系統(tǒng)的模擬、驗(yàn)證、預(yù)測(cè)、洞察、執(zhí)行和控制[1]。
當(dāng)前,智能制造、信息物理系統(tǒng)、人工智能、數(shù)智融合和智慧管網(wǎng)是數(shù)字孿生領(lǐng)域的熱點(diǎn),形成以航空航天、未來(lái)教育、智能制造為代表的研究聚類,數(shù)字孿生模型、虛擬車間、系統(tǒng)仿真等成為我國(guó)數(shù)字孿生研究的前沿主題[2]。
與航空航天、智能制造等領(lǐng)域數(shù)字孿生研究相比,醫(yī)學(xué)領(lǐng)域的數(shù)字孿生還處于初級(jí)探索階段,但已呈現(xiàn)出蓬勃發(fā)展勢(shì)態(tài)。2020年高德納(Gartner)公司對(duì)1 700多種科學(xué)技術(shù)進(jìn)行分析比較,發(fā)布了新興技術(shù)周期曲線,人體數(shù)字孿生技術(shù)被列為5個(gè)獨(dú)特趨勢(shì)之一,預(yù)計(jì)在未來(lái)5~10年達(dá)到峰值[3]。
數(shù)字孿生與醫(yī)學(xué)領(lǐng)域的融合應(yīng)用為醫(yī)學(xué)科學(xué)的深度發(fā)展提供創(chuàng)新技術(shù)支持。醫(yī)學(xué)數(shù)字孿生研究領(lǐng)域可以分為兩類:醫(yī)療數(shù)字孿生和人體數(shù)字孿生。醫(yī)療數(shù)字孿生指數(shù)字孿生技術(shù)在以患者為中心的醫(yī)療過(guò)程、醫(yī)學(xué)儀器、醫(yī)療空間(院區(qū)、病房、手術(shù)室)等醫(yī)療實(shí)體場(chǎng)景應(yīng)用的研究。通過(guò)采集醫(yī)療實(shí)體的相關(guān)數(shù)據(jù)建立數(shù)學(xué)模型,構(gòu)建一個(gè)與實(shí)際醫(yī)療實(shí)體完全對(duì)應(yīng)的虛擬醫(yī)療場(chǎng)景實(shí)體。醫(yī)療數(shù)字孿生通過(guò)人機(jī)接口等技術(shù),對(duì)實(shí)際醫(yī)療過(guò)程進(jìn)行仿真、預(yù)測(cè)、觀察和控制,實(shí)現(xiàn)精準(zhǔn)化醫(yī)療。人體數(shù)字孿生是對(duì)人或人體器官的數(shù)字孿生研究,通過(guò)融合人或人體器官的生物機(jī)理、生理模型、基因組學(xué)和臨床數(shù)據(jù)等,構(gòu)建具備患者個(gè)體特征的數(shù)字孿生體,用于醫(yī)學(xué)研究和疾病診治,實(shí)現(xiàn)個(gè)性化醫(yī)療。人體數(shù)字孿生與早期的數(shù)字化人體相比,早期的數(shù)字化人體是利用人體成像數(shù)據(jù)重建人體數(shù)字化解剖模型,這個(gè)模型是整體(如男性/女性或成人/兒童)、靜態(tài)、無(wú)生命體征的;而人體數(shù)字孿生是個(gè)體的實(shí)時(shí)鏡像,是真實(shí)世界實(shí)體人在虛擬世界的數(shù)據(jù)映射,人體數(shù)字孿生體可以實(shí)時(shí)反映真實(shí)人體的生命狀態(tài),從而為個(gè)體的疾病預(yù)防、診斷、治療和預(yù)后帶來(lái)全新解決思路。人體數(shù)字孿生除了實(shí)體的物理屬性,還包括生理、心理和倫理等更多元屬性,實(shí)現(xiàn)數(shù)字建模是數(shù)字孿生的關(guān)鍵環(huán)節(jié),具有更高的復(fù)雜性。
2.2.1 癌癥患者數(shù)字孿生 美國(guó)斯坦福大學(xué)醫(yī)學(xué)部和美國(guó)國(guó)家癌癥研究所等提出癌癥患者數(shù)字孿生(cancer patient digital twin,CPDT)框架[4]。該研究利用新興計(jì)算和生物技術(shù)創(chuàng)建數(shù)字化個(gè)體表征,動(dòng)態(tài)反映不同治療和時(shí)間下個(gè)體患者的分子、生理和生活方式狀態(tài),用于癌癥患者的治療調(diào)整、反應(yīng)檢測(cè)和生活方式跟蹤,見(jiàn)圖1。
圖1 CPDT的生命周期
CPDT的創(chuàng)建與探索被設(shè)想為具有實(shí)時(shí)、動(dòng)態(tài)的生命周期,涵蓋癌癥患者治療和康復(fù)全過(guò)程。CPDT通過(guò)對(duì)多尺度、多模態(tài)數(shù)據(jù)的采集和協(xié)調(diào),在高級(jí)計(jì)算加持下完成模型訓(xùn)練和推理,創(chuàng)建CPDT的數(shù)學(xué)、統(tǒng)計(jì)、機(jī)理和人工智能等相關(guān)模型,從而實(shí)現(xiàn)癌癥患者的個(gè)性化治療預(yù)測(cè)和決策。同時(shí)將預(yù)測(cè)和決策結(jié)果作為臨床試驗(yàn)數(shù)據(jù)加入到人群研究知識(shí)庫(kù)中,與人群研究、基礎(chǔ)醫(yī)學(xué)科學(xué)知識(shí)等其他因素相結(jié)合,構(gòu)建患者群體的數(shù)字孿生,從而實(shí)現(xiàn)CPDT的持續(xù)學(xué)習(xí)過(guò)程。CPDT無(wú)縫集成到醫(yī)療工作流中,以實(shí)現(xiàn)臨床效用,使醫(yī)生和患者能夠通過(guò)直觀的可視化探索治療選項(xiàng)。
2.2.2 設(shè)備數(shù)字孿生 飛利浦公司將數(shù)字孿生技術(shù)用于磁共振成像(magnetic resonance imaging,MRI)、電子計(jì)算機(jī)斷層掃描(computed tomography,CT)和介入X射線系統(tǒng)等大型醫(yī)療設(shè)備,通過(guò)安裝在設(shè)備上的傳感器,收集和分析設(shè)備數(shù)據(jù),實(shí)現(xiàn)對(duì)設(shè)備的預(yù)防維護(hù)和性能改善[5]。設(shè)備數(shù)字孿生由設(shè)備數(shù)據(jù)、人工智能數(shù)據(jù)分析、設(shè)備知識(shí)和設(shè)備物理建模4個(gè)組件組成,見(jiàn)圖2。
圖2 設(shè)備數(shù)字孿生組成
一臺(tái)MRI設(shè)備每天平均可產(chǎn)生數(shù)10萬(wàn)條日志數(shù)據(jù)(設(shè)備的技術(shù)參數(shù),而非患者檢查數(shù)據(jù)),設(shè)備數(shù)據(jù)組件負(fù)責(zé)獲取這些設(shè)備數(shù)據(jù)。人工智能(artificial intelligence,AI)和數(shù)據(jù)分析組件采用機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)技術(shù),對(duì)獲取的數(shù)據(jù)進(jìn)行分析和識(shí)別。設(shè)備知識(shí)組件利用已掌握的設(shè)備知識(shí)(如設(shè)備原理、物理定律、已知模型等)對(duì)設(shè)備數(shù)據(jù)做進(jìn)一步確認(rèn)。設(shè)備物理建模組件應(yīng)用來(lái)自AI、數(shù)據(jù)分析組件和設(shè)備知識(shí)組件的數(shù)據(jù),進(jìn)行設(shè)備數(shù)字孿生建模,為醫(yī)療設(shè)備維護(hù)和改善提供幫助。
2.3.1 心臟數(shù)字孿生模型1 2020年《歐洲心臟雜志》刊登倫敦皇家學(xué)院個(gè)性化數(shù)字心臟病學(xué)聯(lián)盟心臟數(shù)字孿生研究論文[6]。該研究在心臟數(shù)字孿生建模中,通過(guò)演繹推理方式,應(yīng)用物理和數(shù)學(xué)定律建立模擬心臟行為的機(jī)理模型,見(jiàn)圖3。機(jī)理模型經(jīng)過(guò)校準(zhǔn)、優(yōu)化和驗(yàn)證循環(huán)迭代,能夠提供適宜的臨床解釋和預(yù)測(cè);應(yīng)用歸納推理方式,通過(guò)分析患者既往臨床數(shù)據(jù),構(gòu)建反映心臟在類似條件下的行為、預(yù)測(cè)隨著時(shí)間推移表現(xiàn)的統(tǒng)計(jì)模型,統(tǒng)計(jì)模型經(jīng)過(guò)訓(xùn)練、測(cè)試和修正循環(huán)迭代,能夠?qū)崿F(xiàn)已知參數(shù)的自動(dòng)提取以及發(fā)現(xiàn)隱藏在數(shù)據(jù)中的新指標(biāo)。
圖3 心臟數(shù)字孿生模型
通過(guò)增強(qiáng)獲得患者多模態(tài)數(shù)據(jù)的能力和計(jì)算機(jī)算法的學(xué)習(xí)、推理能力,不斷優(yōu)化數(shù)字孿生模型,使診斷決策不僅能夠根據(jù)當(dāng)前患者健康狀況進(jìn)行調(diào)整,還能夠?qū)ξ磥?lái)治療康復(fù)進(jìn)行精準(zhǔn)預(yù)測(cè)。
2.3.2 心臟數(shù)字孿生模型2 奧地利格拉茨醫(yī)科大學(xué)生物物理學(xué)研究中心采用臨床12導(dǎo)聯(lián)心電圖數(shù)據(jù)構(gòu)建患者心臟數(shù)字孿生(cardiac digitaltwin,CDT)[7],用于為患者提供心臟電生理的臨床觀察。CDT生成框架工作流程包括臨床數(shù)據(jù)采集、解剖孿生建模和功能孿生建模3部分,見(jiàn)圖4。
臨床數(shù)據(jù)采集包括患者的磁共振影像數(shù)據(jù)和12導(dǎo)聯(lián)心電圖數(shù)據(jù)采集。磁共振影像數(shù)據(jù)用于解剖孿生建模,心電圖數(shù)據(jù)用于功能孿生建模。解剖孿生建模時(shí)磁共振圖像數(shù)據(jù)被分割轉(zhuǎn)換為離散的多標(biāo)簽解剖網(wǎng)格。該過(guò)程需要大量計(jì)算資源以及訓(xùn)練有素的專家進(jìn)行人工操作干預(yù),才能準(zhǔn)確表示所有感興趣的解剖結(jié)構(gòu)。功能孿生建模首先建立參考框架,用于編碼CDT內(nèi)位置、大小、長(zhǎng)度和方向的描述?;趨⒖伎蚣軜?gòu)建特征向量,并通過(guò)隨機(jī)采樣方法實(shí)現(xiàn)模型降維,以提高計(jì)算效率。正向心電圖模型使用Saltelli采樣實(shí)現(xiàn)個(gè)體患者的最佳參數(shù)功能配對(duì),功能配對(duì)過(guò)程完全自動(dòng)化。在參數(shù)優(yōu)化環(huán)節(jié),正向心電圖模型的孿生(模型)心電圖與臨床心電圖進(jìn)行比較,通過(guò)參數(shù)優(yōu)化迭代更新模型參數(shù),以獲得更好的孿生(仿真)精度。
通過(guò)以上實(shí)例可知,不論是醫(yī)療數(shù)字孿生還是人體數(shù)字孿生,都離不開(kāi)信息模型基礎(chǔ)。作為數(shù)字孿生的關(guān)鍵技術(shù),建模是將物理世界對(duì)象數(shù)字化和模型化的過(guò)程[8],也是實(shí)現(xiàn)數(shù)字孿生的源頭和核心。通過(guò)建模,將物理對(duì)象表達(dá)為計(jì)算機(jī)和網(wǎng)絡(luò)所能識(shí)別的信息模型,對(duì)物理世界或問(wèn)題的理解進(jìn)行簡(jiǎn)化和模型化。數(shù)字孿生建模需要完成多領(lǐng)域、多學(xué)科模型融合以實(shí)現(xiàn)物理對(duì)象各領(lǐng)域特征的全面刻畫,建模后的虛擬對(duì)象會(huì)表征實(shí)體對(duì)象的狀態(tài)、模擬實(shí)體對(duì)象在現(xiàn)實(shí)環(huán)境中的行為、分析物理對(duì)象的未來(lái)發(fā)展趨勢(shì)。
數(shù)字孿生建模采用面向?qū)ο蠼7椒?,用?duì)象屬性表示事物靜態(tài)特征,用對(duì)象方法表示事物動(dòng)態(tài)特征。對(duì)象的屬性與方法結(jié)合為一體,成為一個(gè)獨(dú)立的、不可分的實(shí)體。醫(yī)學(xué)數(shù)字孿生建模需要基于已知知識(shí)(概念、機(jī)理、方程、模型),融合患者醫(yī)學(xué)影像、電生理信號(hào)以及相關(guān)臨床記錄等多模態(tài)數(shù)據(jù),運(yùn)用機(jī)器學(xué)習(xí)和虛擬現(xiàn)實(shí)等新一代信息技術(shù),才能構(gòu)造出準(zhǔn)確的醫(yī)學(xué)數(shù)據(jù)孿生體。由于人體與一般的物理實(shí)體不同,除了具有溫度(體溫)、壓力(血壓)和搏動(dòng)(脈搏)等物理特性外,還具有生理、心理、情緒等生物特性,其綜合特征和層次關(guān)系復(fù)雜,建模難度比單純的物理實(shí)體高。
3.2.1 演繹推理 數(shù)字孿生建模需要分析和判斷具有各種屬性的對(duì)象之間的各種關(guān)系,這種分析和判斷過(guò)程稱為推理,醫(yī)學(xué)數(shù)字孿生建模通常聯(lián)合使用演繹推理和歸納推理方法。演繹推理是由一般到特殊的推理方法,即從一般性的前提出發(fā),通過(guò)推導(dǎo)即“演繹”,得出具體陳述或個(gè)別結(jié)論的過(guò)程。推論前提與結(jié)論之間的聯(lián)系是必然的,是一種確實(shí)性推理。演繹推理的邏輯形式對(duì)于理性的重要意義在于,它對(duì)人的思維保持嚴(yán)密性、一貫性有著不可替代的校正作用。演繹推理保證推理有效的根據(jù)并不在于內(nèi)容,而在于形式。醫(yī)學(xué)科學(xué)經(jīng)歷長(zhǎng)期發(fā)展,積累了大量科學(xué)知識(shí)和科研成果,包括各種公式、函數(shù)、規(guī)則、模型、關(guān)系、圖譜等,這些已知知識(shí)是醫(yī)學(xué)數(shù)字孿生建模演繹推理的基礎(chǔ)。
3.2.2 歸納推理 歸納推理是一種由個(gè)別到一般的推理。由一定程度的關(guān)于個(gè)別事物的觀點(diǎn)過(guò)渡到范圍較大的觀點(diǎn),由特殊具體的事例推導(dǎo)出一般原理、原則的解釋方法。醫(yī)學(xué)研究中的歸納推理通常采用概率推理方法,即通過(guò)計(jì)算概率值來(lái)判斷事件發(fā)生的可能性?;谠朴?jì)算、大數(shù)據(jù)和人工智能等新一代信息技術(shù),可以對(duì)醫(yī)療過(guò)程產(chǎn)生的海量數(shù)據(jù)進(jìn)行挖掘分析,發(fā)現(xiàn)其蘊(yùn)含的知識(shí)和規(guī)律。在醫(yī)學(xué)數(shù)據(jù)孿生建模推理中,可以運(yùn)用機(jī)器學(xué)習(xí)的支持向量機(jī)、決策樹(shù)、人工神經(jīng)網(wǎng)絡(luò)等算法,對(duì)數(shù)據(jù)進(jìn)行分類、預(yù)測(cè)等歸納推理。
3.2.3 兩種推理方法對(duì)比 在上述應(yīng)用研究實(shí)例中,建模過(guò)程都采用演繹推理和歸納推理方法。例如前文圖4的CDT解剖孿生建模需要訓(xùn)練有素的專家參與確定解剖結(jié)構(gòu),屬于演繹推理方法;而CDT功能孿生建模主要采用隨機(jī)采樣處理,屬于歸納推理方法。在通過(guò)演繹推理和歸納推理獲取到知識(shí)后,還需要通過(guò)模型、符號(hào)、規(guī)則、程序等方式將知識(shí)表示出來(lái),并實(shí)現(xiàn)知識(shí)在數(shù)字孿生建模中的進(jìn)一步應(yīng)用。從推理結(jié)果的預(yù)測(cè)性和解釋性來(lái)講,演繹推理的結(jié)果是可預(yù)測(cè)和可解釋的,但歸納推理在這方面是缺乏的。例如,采用卷積、循環(huán)等神經(jīng)網(wǎng)絡(luò)進(jìn)行的醫(yī)學(xué)輔助診斷,其結(jié)果的可解釋性還是當(dāng)前學(xué)術(shù)界的熱點(diǎn)問(wèn)題。
醫(yī)學(xué)數(shù)字孿生建模是不可能一次完成的,需要經(jīng)歷由淺入深、由易到難、由簡(jiǎn)到繁的研究和實(shí)踐過(guò)程,先經(jīng)由各種感知方法對(duì)特征獲得感性認(rèn)識(shí),而后經(jīng)各種認(rèn)知過(guò)程進(jìn)一步形成理性認(rèn)識(shí),再通過(guò)反復(fù)迭代,逐步優(yōu)化,獲取不斷完善精準(zhǔn)的數(shù)字孿生體[9]。例如,前文圖3的心臟數(shù)字孿生模型中,機(jī)理模型經(jīng)過(guò)校準(zhǔn)、優(yōu)化和驗(yàn)證循環(huán)迭代,提供良好的臨床解釋性和預(yù)測(cè)性。統(tǒng)計(jì)模型經(jīng)過(guò)訓(xùn)練、測(cè)試和修正循環(huán)迭代,實(shí)現(xiàn)已知參數(shù)的自動(dòng)提取,發(fā)現(xiàn)隱藏在數(shù)據(jù)中的新指標(biāo)。前文圖4的CDT在參數(shù)優(yōu)化環(huán)節(jié)中,通過(guò)正向心電圖模型的孿生心電圖與臨床心電圖進(jìn)行比較,實(shí)現(xiàn)參數(shù)優(yōu)化迭代更新模型參數(shù),以獲得更好的孿生精度。
盡管數(shù)字孿生是物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能和虛擬現(xiàn)實(shí)等新一代信息技術(shù)的綜合應(yīng)用,但在數(shù)字孿生的語(yǔ)境中,模型是本體,物理實(shí)體是參照對(duì)象,數(shù)據(jù)是反映對(duì)象特征的信息,仿真是在模型基礎(chǔ)上探索物理實(shí)體的方法,因此信息建模是數(shù)字孿生的核心任務(wù)[9]。醫(yī)學(xué)數(shù)字孿生建模除了采用通用方法外,還需要結(jié)合醫(yī)學(xué)特征,才能構(gòu)建準(zhǔn)確映射醫(yī)學(xué)物理實(shí)體的醫(yī)學(xué)數(shù)據(jù)孿生體。
目前醫(yī)療數(shù)字孿生展現(xiàn)較多應(yīng)用場(chǎng)景,其為醫(yī)療機(jī)構(gòu)臨床溝通、危急警報(bào)、應(yīng)急處理、患者參與、醫(yī)患互動(dòng)以及行政管理和成本計(jì)算提供創(chuàng)新技術(shù),進(jìn)而促進(jìn)醫(yī)療機(jī)構(gòu)能夠在不中斷服務(wù)和確?;颊甙踩逻M(jìn)行調(diào)整和動(dòng)態(tài)模擬,實(shí)現(xiàn)快速改進(jìn)和優(yōu)化,還能在正確的時(shí)間和地點(diǎn)將正確的信息提供給正確的人,從而在整個(gè)醫(yī)療機(jī)構(gòu)中實(shí)現(xiàn)高度感知并進(jìn)行決策。
而人體數(shù)字孿生尚處于研究階段。其建模難點(diǎn)在于人體的復(fù)雜性,人的行為受到情緒、情感等各種心理因素影響,其建模不僅涉及計(jì)算機(jī)科學(xué)領(lǐng)域,還包括心理學(xué)和神經(jīng)科學(xué)在內(nèi)的其他領(lǐng)域,目前尚缺乏可以準(zhǔn)確描述相關(guān)機(jī)制的模型。對(duì)于人的主觀情緒,盡管目前已有一些技術(shù)可以根據(jù)人的面部表情、大腦活動(dòng)、血壓心率和外部刺激等因素進(jìn)行測(cè)量,但其準(zhǔn)確性還難以評(píng)估。對(duì)于表示個(gè)體的人體數(shù)字孿生,使用來(lái)自不同人群大數(shù)據(jù)構(gòu)建的情緒、情感模型,也還需要根據(jù)個(gè)體信息進(jìn)行調(diào)整[10-11]。當(dāng)前人體數(shù)字孿生應(yīng)用研究主要還是集中在人體的組織器官層次,例如心臟數(shù)字孿生等。突破人體數(shù)字孿生建模的難點(diǎn)和技術(shù)限制,需要計(jì)算機(jī)科學(xué)與醫(yī)學(xué)科學(xué)相關(guān)領(lǐng)域深度融合,在現(xiàn)有醫(yī)學(xué)知識(shí)體系下,充分利用人工智能、大數(shù)據(jù)等新興信息技術(shù),構(gòu)建人體的物理、生理和心理模型體系,并實(shí)現(xiàn)模型的深度融合與互操作,經(jīng)過(guò)反復(fù)迭代優(yōu)化,從而產(chǎn)生能真實(shí)映射的人體數(shù)字孿生體。