呂樂, 吳山東
深度學習在不少領(lǐng)域取得了巨大成功,顯現(xiàn)出改變游戲規(guī)則的潛力。而和醫(yī)學影像的結(jié)合可以促進目前工作流程的改進和改變。本文簡要分享深度學習和醫(yī)學影像在預(yù)防醫(yī)學方面的機會。我們嘗試概述現(xiàn)狀,指出一些現(xiàn)有的成就,有意義的方向,局限性,以及短期內(nèi)的機遇及挑戰(zhàn)。為了充實我們的觀點,我們引用了一些我們最近的關(guān)于放射影像研究的例子,也評論了一些最新的基于人工智能的研究成果和工業(yè)產(chǎn)品。
醫(yī)學影像是疾病預(yù)防的檢查手段之一,是指早期發(fā)現(xiàn)疾病,例如肺結(jié)節(jié),腫瘤性疾病,肝/骨病變,目的是進行及時的干預(yù)和治療,提高患者的健康管理。疾病的篩查是一種典型的預(yù)防醫(yī)學模式。比如在美國和歐洲一些國家都有國家層面制定的乳腺癌篩查流程和相關(guān)指南,有大量的婦女接受定期的影像學檢查,比如乳腺鉬靶X線(digital mammography),乳腺斷層(digital breast tomosynthesis),以期早期發(fā)現(xiàn)乳腺病變。對于一部分婦女,屬于臨床定義的高風險發(fā)病群體,她們還可以參加額外的基于磁共振的更敏感的篩查。影像學檢查加強發(fā)病風險的預(yù)測和管理,進而支持臨床決策,并最終提高疾病治愈率,降低疾病死亡率。傳統(tǒng)疾病早期檢測的方法是通過非侵入性成像設(shè)備的檢查來完成,但是最近計算機輔助手段在影像檢查和病變解讀過程中的作用越來越突出。
深度學習,特別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNNs),這一革命性的新技術(shù)已經(jīng)在各個領(lǐng)域取得重大進展,是目前人工智能技術(shù)的基本代表[1]。在醫(yī)學影像分析層面,深度學習更是取得了令人印象深刻的效果[2]。在目前的臨床工作流程中,醫(yī)學影像具有巨大體量的數(shù)據(jù),遠遠超出了其它模態(tài)(例如文本)的醫(yī)學數(shù)據(jù),因此非常有利于深度學習技術(shù)的使用。深度學習可以分析各種多模態(tài)醫(yī)學影像,包括X線、磁共振、CT、超聲、病理和細胞圖像等,能夠在大量數(shù)據(jù)中檢測到異常表現(xiàn)或者病變。例如,CT掃描數(shù)據(jù)對較大的淋巴結(jié)和結(jié)腸息肉進行分類取得了積極的結(jié)果[3]。在乳腺癌的篩查過程中,用基于深度學習的方法對乳腺密度進行自動分類,可以幫助醫(yī)生進行發(fā)病風險的基本預(yù)測和指導進行何種補充性篩查[4]。另外,用深度學習技術(shù)還可以為降低目前較高的復(fù)查率提供診斷支持[5]。甚至在尋找新的定量乳腺癌發(fā)病風險標記物研究中,深度學習都取得了顯著的效果。
傳統(tǒng)的醫(yī)學圖像分析大多是基于臨床經(jīng)驗,而傳統(tǒng)的計算機醫(yī)學圖像分析大多是基于手動特征,是根據(jù)一些預(yù)先定義好的計算公式來提取某一類特征,但是手動特征對于描述醫(yī)學影像是非常困難的,因為臨床上很多真正有意義的影像特征都是定性的,基于經(jīng)驗的。而利用基于深度學習的數(shù)據(jù)驅(qū)動的方法,則可以改善其難度,比如CNN模型可以根據(jù)大規(guī)模的醫(yī)學圖像分析和標記,自動、自主地提取和組織有效的影像特征。基于CNN的各種研究還建立了大量的經(jīng)驗和證據(jù),表明低級別的影像特征可以在不同成像設(shè)備所訓練的神經(jīng)網(wǎng)絡(luò)模型之間進行共享和微調(diào)(也就是通過所謂的遷移學習的方法)。基于這一機制,醫(yī)學影像建模甚至可以從用大量的自然圖像訓練的網(wǎng)絡(luò)中受益。例如,很多研究工作都是利用ImageNet (一個有超過百萬張有標記的自然圖像數(shù)據(jù)集)來預(yù)先訓練深度學習模型,并取得了可觀的效果。
深度學習也重新點燃并加強了工業(yè)界對醫(yī)學成像和臨床應(yīng)用的興趣。目前,有一群健康產(chǎn)業(yè)的初創(chuàng)公司專注于醫(yī)學影像的智能分析和信息學開發(fā),主要的推動力還是深度學習。這些公司包括Heart-Flow、Enlitic、Arterys、Viz.ai、Zebra-Me和Butterfly Network等等。這些新創(chuàng)公司的努力和在細分領(lǐng)域的深度探索很好的補充了大型企業(yè)(如GE、西門子、飛利浦、Google、IBM和騰訊等)的研發(fā)領(lǐng)地。目前工業(yè)界和風險投資覆蓋了醫(yī)學影像分析的各個方面,也積極推動深度學習向臨床轉(zhuǎn)化。盡管目前還存在很多技術(shù)、業(yè)務(wù)和臨床方面的挑戰(zhàn),有效且可擴展的深度學習產(chǎn)品將在未來幾年內(nèi)繼續(xù)進步,大力推動高性能和可部署的醫(yī)學成像分析、決策支持以及臨床信息學方面的應(yīng)用。
深度學習的出現(xiàn)對于疾病早期篩查的發(fā)展將是一個極大的推動。對大量的篩查影像數(shù)據(jù)的深度挖掘,對生物標志物的研究將會產(chǎn)生巨大的機會。深度學習也會提高對大規(guī)模數(shù)據(jù)的分析和解讀能力。在深度學習廣泛應(yīng)用之前,對影像的解讀研究主要集中在計算機輔助檢測/診斷上(computer-aided detection/diagnosis,CAD)上,如通過乳腺X線檢測乳腺病變/腫塊,在CT檢測結(jié)腸息肉、肺結(jié)節(jié)或CT血管造影發(fā)現(xiàn)血管病變和肺栓塞等。來自幾個供應(yīng)商的此類商業(yè)軟件產(chǎn)品被開發(fā)并已經(jīng)部署到臨床工作流程中,但廣泛的成功和讀片效果并沒有達到預(yù)期值。根據(jù)美國FDA批準的協(xié)議,CAD產(chǎn)品通常以第二讀片人的方式工作,這意味著放射科醫(yī)師首先在沒有CAD的情況下進行獨立圖像診斷,然后結(jié)合CAD的分析發(fā)現(xiàn)再做最終診斷。該方法旨在借助CAD軟件提高病變檢測的靈敏度,但過多的假陽性造成了醫(yī)生工作量的增加。事實上很多診斷工作對于有經(jīng)驗的放射科醫(yī)師來說并不太困難,而CAD所增加的靈敏度并不能補償工作量的增加,這是一個很現(xiàn)實的問題。美國在CAD方面的研究已經(jīng)進行了幾十年,但是臨床實踐效果卻很難讓人滿意。CAD的概念和想法讓人充滿憧憬,但是臨床工作的效果卻取決于多個因素。首先,具體的CAD實現(xiàn)在計算機算法層面是有相當挑戰(zhàn)性的,特別是考慮到醫(yī)學影像的差異性和多樣性。傳統(tǒng)的機器學習方法有其局限性。其次,要改變放射科醫(yī)生的思維模式也是相當困難的。因此,利用計算工具進行輔助診斷決策是一個涉及多方面因素的研究課題,其效果評價也應(yīng)以真正的臨床成效為唯一事實標準。
為了使CAD在預(yù)防性系統(tǒng)和臨床應(yīng)用真正起飛,需要解決真正的臨床痛點,即傳統(tǒng)的第二讀片人方法或額外的工作負擔。在這些方面,深度學習都可以帶來積極的效果。同時, AI技術(shù)應(yīng)該更好地被應(yīng)用于提高對患者的臨床護理能力。以下我們簡單介紹幾個有前景的AI應(yīng)用場景和例子。
美國食品和藥品管理局(food and drug administration,FDA)最近通過了一款作為第一讀片人的軟件(來自Viz.ai的工作),該軟件的本意是對中風患者提高檢測大血管閉塞(large vessel occlusion,LVO)的機率并早期治療。目前手動LVO檢測的工作流程效率低下,并延遲了對患者的治療,而通過計算機進行輔助分診,實現(xiàn)基于AI軟件的通知,節(jié)省卒中專家的時間,縮短了診斷時間窗。另一項類似的工作是低劑量全身CT掃描動脈粥樣硬化血管鈣化檢測和分割,這是一項非常耗時的任務(wù),很容易被人工診斷遺漏。人工診斷的缺點和深度學習的高性能創(chuàng)新方案意味著這些任務(wù)適合CAD方法。其關(guān)鍵還是需要識別和抓住第一讀片軟件的機會,以進一步提高CAD解決方案的成效。
胸部X線是最常見的醫(yī)學成像檢查手段,用于社區(qū)診所和醫(yī)院篩選健康和不健康人群(如年度健康體檢時)。一個性能可靠、價格合適的自動化胸部X線檢查和轉(zhuǎn)診工具,將是一個革新性的應(yīng)用程序。這種軟件程序可以部署在大量人群聚集或者居住的區(qū)域,特別是那些離大醫(yī)院較遠的地區(qū)。當然這樣的任務(wù)也面臨很多挑戰(zhàn)(這些挑戰(zhàn)也并不局限于胸部X線成像):①無論是對于放射科醫(yī)生還是計算機輔助診斷系統(tǒng),胸部X線檢測與其它成像方式相比,比如用胸部CT檢查肺結(jié)節(jié),存在更高程度的診斷不確定性;②預(yù)防性篩查需要降低假陽性率;③疾病知識圖譜的建模和整合對于提高圖像分類器的的診斷結(jié)果和推理至關(guān)重要;④打造臨床上高性能的CAD系統(tǒng)需要人類醫(yī)生可解釋、可重復(fù)以及可驗證的結(jié)果??朔@些挑戰(zhàn)仍然需要很多努力,但最近的研究使該領(lǐng)域的發(fā)展更進一步,例如疾病部位的弱監(jiān)督分析等工作[6]。
全身預(yù)防性癌癥篩查是正?;蛘邿o癥狀人群篩查的重要任務(wù)。理想的初始篩查手段是使用更經(jīng)濟和非侵入性的技術(shù),例如“CancerSeek”血液測試[7],篩查所有參加年度健康體檢。接下來,使用高性能、高精度的自動醫(yī)學成像手段和病理學分析工具來定位和驗證初始發(fā)現(xiàn)。最后,結(jié)合所有非成像和成像測試結(jié)果的臨床決策融合模塊可以向?qū)<页鼍咭环輬蟾?,并將已識別的“高風險”患者與絕大多數(shù)的“平均風險”患者區(qū)分。雖然最近檢測和分割復(fù)雜器官及異常解剖的工作初步取得了很好的進展[8],對于一般人群的預(yù)防性篩查,基于大規(guī)模數(shù)據(jù)集進行深度學習模型訓練的方法仍需要進一步研究。
從歷史上看,由于機器學習技術(shù)的不足、缺少臨床合作伙伴以及臨床試驗和/或數(shù)據(jù)上的不開放,開展表征和定量生物標記研究所需的數(shù)據(jù)檔案缺乏有力的支持,定量和精準成像面臨障礙。 然而,隨著深度學習能力的提高和精準醫(yī)學政策方面的推動,我們看到了巨大的機遇。我們應(yīng)該努力聚焦醫(yī)院層面上的數(shù)據(jù)共享,用先進的計算技術(shù)探索精準醫(yī)學生物標記,解決醫(yī)生希望做到但是靠人類自身能力無法實現(xiàn)的問題。這些研究應(yīng)該集中在有較高發(fā)病率的疾病,特別是癌癥上。目前需要進一步開發(fā)的關(guān)鍵是如何在現(xiàn)有數(shù)據(jù)源(如醫(yī)院檔案)上訓練深度學習系統(tǒng),這些數(shù)據(jù)源的規(guī)模往往非常大,但也非?;靵y和非結(jié)構(gòu)化。
在基于醫(yī)學影像的臨床研究中,特別是大規(guī)模的定量分析和有標記的深度學習,先決條件之一是從醫(yī)學掃描中精確且穩(wěn)健地分割解剖結(jié)構(gòu),即將每個像素或體素分類為語義?;贑NN的深度分割方法展現(xiàn)出優(yōu)越的性能,現(xiàn)在占主導地位。使用影像分割技術(shù)的價值在于可以將原始圖像掃描轉(zhuǎn)換為語義和人類可解釋的特征,例如左心室的體積或患者胰腺的形狀等。這些基于器官/解剖學的形狀、體積和外觀的特征可以從2D/3D/4D圖像計算獲得,以輔助個性化診斷/治療以及大數(shù)據(jù)分析。其重要的挑戰(zhàn)是搜集足夠多的具有標定的數(shù)據(jù)用于深度學習模型訓練,并確保任何分割解決方案都具有更高的適應(yīng)性和強壯性。
最后還有很重要的一點,精準醫(yī)學的關(guān)鍵目標之一是對臨床數(shù)據(jù)進行回顧性分析,以探索和發(fā)現(xiàn)與發(fā)病相關(guān)的影像標志物。需利用一個醫(yī)院或多家醫(yī)院的數(shù)據(jù),對患者的圖像和非圖像數(shù)據(jù)進行標記、挖掘和分析。比如,可以在圖論基礎(chǔ)上對多模態(tài)成像和非圖像的患者數(shù)據(jù)進行建模和可視化,構(gòu)建患者相似性,自動發(fā)現(xiàn)腫瘤類型簇等[9]。這種建模和高階表示可以提供可索引的患者數(shù)據(jù)視圖,超越普通分類的分析。重要的是鑒于許多疾病的長尾分布,如果沒有強大的計算機化技術(shù)(如深度學習)有效利用大數(shù)據(jù),這種分析即使不是不可能,也很難實施。
總之,最近深度學習的發(fā)展對于醫(yī)學影像的分析正在產(chǎn)生巨大的影響,甚至可以使一些通過非深度學習方法不可能完成的重要任務(wù)(例如,通過第一讀片進行數(shù)據(jù)分流)達到臨床可以接受的水平。篩查影像大數(shù)據(jù)結(jié)合深度學習將是一個充滿希望但具有挑戰(zhàn)性。我們預(yù)期在不遠的將來,這方面的研究和臨床轉(zhuǎn)化工作將會蓬勃發(fā)展。