謝賢聚 白玉興
100050, 首都醫(yī)科大學(xué)附屬北京口腔醫(yī)院
近年來,人工智能技術(shù)(AI)已經(jīng)逐步從科研階段轉(zhuǎn)向應(yīng)用階段,醫(yī)療領(lǐng)域是人工智能應(yīng)用集中的場(chǎng)景之一。醫(yī)學(xué)人工智能涉及醫(yī)療行業(yè)各個(gè)環(huán)節(jié),借助于大數(shù)據(jù)、云計(jì)算、深度學(xué)習(xí)技術(shù),在圖像識(shí)別、智能診療、遺傳學(xué)和基因組分析、藥物研究等方面提供輔助。醫(yī)療AI的應(yīng)用一定程度緩解我國(guó)醫(yī)療資源供需失衡、醫(yī)療質(zhì)量分配不均、優(yōu)質(zhì)醫(yī)療條件需求大等問題,對(duì)于重復(fù)性高的影像和病理檢查方面,大大節(jié)約人力資源及操作時(shí)間。醫(yī)療行為本身具有高度的復(fù)雜性、不確定性和風(fēng)險(xiǎn)性。醫(yī)療AI在為醫(yī)療機(jī)構(gòu)帶來效率的同時(shí),也蘊(yùn)藏著潛在風(fēng)險(xiǎn)。目前我國(guó)將醫(yī)療AI作為醫(yī)療器械進(jìn)行監(jiān)管,根據(jù)用途的不同分為非輔助決策和輔助決策軟件。前者僅提供醫(yī)療參考信息,歸為第二類醫(yī)療器械;后者提供醫(yī)療決策建議,按照第三類醫(yī)療器械管理,對(duì)二者均設(shè)置了較為嚴(yán)格的管控機(jī)制與程序。
醫(yī)學(xué)領(lǐng)域?yàn)楦唢L(fēng)險(xiǎn)決策領(lǐng)域,每個(gè)決策關(guān)乎患者健康。因而在醫(yī)學(xué)AI的研發(fā)、應(yīng)用中須重視與安全性相關(guān)的特點(diǎn),積極采取措施控制、防范風(fēng)險(xiǎn)。
“黑箱”屬性是指AI模型輸入和輸出是可見的,但從輸入到輸出的過程則缺乏透明度。即AI的計(jì)算過程是無法解釋和理解[1]。這是由于AI是通過給定的數(shù)據(jù),自行尋找規(guī)律,隨著數(shù)據(jù)的累積和訓(xùn)練的增加,算法自動(dòng)改進(jìn)優(yōu)化[2],其“黑箱”屬性在很大程度上限制醫(yī)療AI臨床推廣應(yīng)用。對(duì)醫(yī)生來說,其決策過程難以與現(xiàn)有醫(yī)學(xué)知識(shí)建立有效關(guān)聯(lián),無從知曉其邏輯,便無法判斷該決策是否可靠;直接應(yīng)用于病人中,可能承擔(dān)很大的安全風(fēng)險(xiǎn)。對(duì)患者來說更無法信任及接納。對(duì)開發(fā)者而言,算法邏輯無法審核和修正。破解“黑箱”難題具有重要意義,可解釋性為模型決策結(jié)果以可理解的方式向人類呈現(xiàn),增加算法可解釋性成為目前重要研究方向。模型的可解釋性有利于醫(yī)生更好地理解AI的決策過程,確定是否信任其決策結(jié)果;有利于開發(fā)者優(yōu)化和改進(jìn)系統(tǒng),避免歧視和偏見,并加強(qiáng)管理和監(jiān)控。但目前對(duì)AI可解釋性的研究尚處于起步階段??山忉屝匝芯靠梢苑譃閮煞矫嫜芯縖3]:(1)直接構(gòu)建本身具有可解釋性的模型;(2)調(diào)整模型內(nèi)部參數(shù),判斷內(nèi)部參數(shù)對(duì)于結(jié)果的影響;通過對(duì)輸入指標(biāo)添加擾動(dòng),評(píng)估不同指標(biāo)的重要性,與現(xiàn)有醫(yī)學(xué)知識(shí)建立關(guān)聯(lián),推測(cè)AI作出決策的依據(jù)。在AI輔助正畸方案決策研究中,Xie等[4]納入包含頭影測(cè)量、模型分析、主訴在內(nèi)的23 個(gè)輸入指標(biāo)判斷是否拔牙。計(jì)算各輸入指標(biāo)對(duì)輸出的貢獻(xiàn),結(jié)果顯示在AI邏輯下,開唇露齒和 IMPA指標(biāo)對(duì)于是否拔牙的貢獻(xiàn)值最大,這與臨床決策考量有相通之處。另外通過對(duì)做出貢獻(xiàn)的指標(biāo)進(jìn)行可視化,判斷其是否符合醫(yī)學(xué)知識(shí),可達(dá)到可解釋的目的。在正畸圖像分類模型中,雖然無法直接解釋模型如何驗(yàn)算出結(jié)果,但可通過類激活熱力圖(圖1)來進(jìn)行直觀的判斷。算法觀察的位置與人類思維下觀察的位置基本相同,從另一角度解釋了算法。Kim等[5]直接通過頭顱側(cè)位片進(jìn)行矢狀骨面型分類,類激活熱力圖顯示分類成功的圖像,感興趣區(qū)域(ROI)集中于上下齒槽座點(diǎn)與上下唇區(qū)域;而分類失敗的圖像,ROI是模糊或集中在不相關(guān)區(qū)域。
圖 1 正畸圖像分類模型類激活熱力圖
短期內(nèi)可能很難從技術(shù)上徹底破解“黑箱”難題,但在開發(fā)、應(yīng)用中,保證算法透明和可追溯,一定程度降低了風(fēng)險(xiǎn)。算法透明是指開發(fā)者應(yīng)披露包括源代碼、輸入數(shù)據(jù)和輸出結(jié)果等在內(nèi)的算法要素。算法可追溯是指醫(yī)療AI的決策過程應(yīng)當(dāng)被完整記錄,以留待未來核查。二者為算法可解釋提供了可能,并形成有效監(jiān)管。
AI技術(shù)本身具有易受干擾性,輸入變化或數(shù)據(jù)分布變化都可能產(chǎn)生無法控制或預(yù)測(cè)的風(fēng)險(xiǎn)。在圖像處理領(lǐng)域,對(duì)圖像的像素進(jìn)行人眼不可察覺的改變,就可能導(dǎo)致AI模型出現(xiàn)誤判[6]。面對(duì)復(fù)雜的臨床情況,AI模型魯棒性尤為重要,即指模型能夠盡可能不受輸入數(shù)據(jù)擾動(dòng)或者統(tǒng)計(jì)分布影響,同時(shí)抵御惡意攻擊繼續(xù)正常運(yùn)行的能力。當(dāng)模型的輸入產(chǎn)生微小的變化時(shí), 不會(huì)導(dǎo)致模型的輸出產(chǎn)生巨大變化,保證了模型在預(yù)測(cè)時(shí)的穩(wěn)定性。
在AI開發(fā)過程中,須重視模型的魯棒性優(yōu)化,提升模型抗干擾能力。對(duì)數(shù)據(jù)人為添加噪聲、變化,模擬實(shí)際應(yīng)用中的可能發(fā)生的情況。在自動(dòng)頭影測(cè)量定點(diǎn)任務(wù)中,對(duì)訓(xùn)練集頭顱側(cè)位片進(jìn)行縮放、旋轉(zhuǎn)、色調(diào)明度改變,隨機(jī)添加噪聲操作,模擬不同拍攝儀器及不同參數(shù)對(duì)頭顱側(cè)位片的影響[7]。在實(shí)際應(yīng)用中,醫(yī)生須在適用范圍內(nèi)合理運(yùn)用AI產(chǎn)品,避免應(yīng)用于分布不同數(shù)據(jù)而帶來的風(fēng)險(xiǎn)。
隨著醫(yī)學(xué)AI產(chǎn)品投入臨床應(yīng)用,對(duì)現(xiàn)有醫(yī)學(xué)模式產(chǎn)生了一定的沖擊,其背后存在倫理問題亟待解決,醫(yī)療AI的責(zé)任風(fēng)險(xiǎn)問題更加不能忽視。
1.3.1 診療模式轉(zhuǎn)變 AI可以直接根據(jù)患者病史、病歷、醫(yī)學(xué)影像等信息分析患者的病情并為患者提供診斷和治療建議,“醫(yī)生-機(jī)器-患者”的診療模式無形中使醫(yī)生與患者直接溝通的時(shí)間減少。醫(yī)生在與患者面對(duì)面的交流溝通中可以進(jìn)一步獲得信息與反饋,全面掌握患者的情況。而AI難以獲取個(gè)體生活習(xí)慣、環(huán)境、心理因素,有可能會(huì)產(chǎn)生誤診或誤判。臨床治療中的醫(yī)生情緒感知、言語撫慰、傾聽眼神等,都會(huì)影響治療的效果。在臨床診療中,須明確AI為輔助技術(shù)手段,醫(yī)生需要通過醫(yī)患的溝通,從生物、心理、社會(huì)各個(gè)水平采取診療與人文關(guān)懷[8]。
1.3.2 醫(yī)療責(zé)任 患者個(gè)體差異性、醫(yī)療行為復(fù)雜性以及AI的黑箱屬性,造成AI輔助醫(yī)療決策存在風(fēng)險(xiǎn)。當(dāng)AI結(jié)果與醫(yī)生的主觀判斷結(jié)果不一致,出現(xiàn)醫(yī)療事故時(shí)的責(zé)任如何劃分?
開發(fā)者和使用者需詳細(xì)記錄從而實(shí)現(xiàn)責(zé)任可追溯。開發(fā)者須對(duì)AI程序正確負(fù)責(zé),研發(fā)過程須是客觀、公正、基于無偏倚臨床數(shù)據(jù)進(jìn)行構(gòu)建。開發(fā)者須提供完整的原始數(shù)據(jù),證明自己的開發(fā)、生產(chǎn)過程不存在紕漏。使用者則須對(duì)結(jié)果正確負(fù)責(zé),醫(yī)療AI的最終結(jié)果需要人工校驗(yàn)審核,其結(jié)論和建議需要臨床醫(yī)生結(jié)合特定情境做綜合分析。醫(yī)生須明確醫(yī)師主體地位,發(fā)揮專業(yè)自主性,嚴(yán)格把關(guān),對(duì)此決策的風(fēng)險(xiǎn)進(jìn)行理性并專業(yè)的判斷和控制。另外,在制度層面應(yīng)盡快建立AI醫(yī)學(xué)應(yīng)用的倫理管理規(guī)范和法律問責(zé)機(jī)制,進(jìn)一步明確責(zé)任機(jī)制、劃分醫(yī)療事故責(zé)任承擔(dān)方式,保障患者健康權(quán)益。
AI為數(shù)據(jù)所驅(qū)動(dòng),數(shù)據(jù)的品質(zhì)直接決定醫(yī)療AI算法的精準(zhǔn)性。一旦數(shù)據(jù)采集出現(xiàn)偏差,算法模型和結(jié)果可能出現(xiàn)偏誤。醫(yī)療數(shù)據(jù)相較于其他數(shù)據(jù)更為敏感更為隱私,對(duì)醫(yī)療數(shù)據(jù)的挖掘收集、利用和共享應(yīng)更加謹(jǐn)慎周全。
數(shù)據(jù)集如若不能反映復(fù)雜的臨床環(huán)境會(huì)影響AI的準(zhǔn)確性和適應(yīng)性。數(shù)據(jù)集影響模型性能的因素包括:數(shù)據(jù)集的數(shù)量、質(zhì)量、多樣性。由于收集數(shù)據(jù)的難度及倫理限制,很多自動(dòng)頭影測(cè)量研究[9-10]基于2014、2015 年公開牙科X線圖像分析挑戰(zhàn)數(shù)據(jù)集,訓(xùn)練集僅由150 張頭側(cè)片構(gòu)成。這些數(shù)據(jù)集很難全面反映標(biāo)志點(diǎn)的影像特征。AI自動(dòng)點(diǎn)識(shí)別的準(zhǔn)確度隨訓(xùn)練數(shù)據(jù)量增加而增加[11]。除了數(shù)據(jù)量的要求,數(shù)據(jù)分布也需結(jié)合疾病的流行病學(xué)特征。
采集多地域、多級(jí)別的臨床機(jī)構(gòu),不同參數(shù)設(shè)備的數(shù)據(jù)集,可明顯提高數(shù)據(jù)代表性和多樣性。目前,醫(yī)療機(jī)構(gòu)缺乏有效數(shù)據(jù)共享流通機(jī)制,各研究采用各自獨(dú)立數(shù)據(jù)庫。Kim等[12]與Tanikawa等[13]研究中AI頭側(cè)片點(diǎn)識(shí)別模型應(yīng)用于與訓(xùn)練數(shù)據(jù)不同設(shè)備的頭顱側(cè)位片時(shí),性能明顯下降,數(shù)據(jù)壁壘造成的單中心數(shù)據(jù)集訓(xùn)練限制AI的推廣應(yīng)用。最近研究[14]使用來自15 個(gè)不同中心的4 215 例患者的CBCT數(shù)據(jù)集進(jìn)行牙齒及牙槽骨自動(dòng)分割。這種大規(guī)模、多中心的數(shù)據(jù)集涵蓋不同圖像質(zhì)量及口內(nèi)情況的CBCT,明顯提升AI模型的分割精度和臨床適用性。建立多中心、規(guī)范化口腔AI數(shù)據(jù)庫,需要臨床專家積極推動(dòng),將不同區(qū)域、不同醫(yī)療機(jī)構(gòu)的具有代表性、結(jié)構(gòu)化、高質(zhì)量的數(shù)據(jù)用于AI研究。
醫(yī)療AI需要對(duì)數(shù)據(jù)進(jìn)行人工標(biāo)注,標(biāo)注將直接影響訓(xùn)練數(shù)據(jù)的質(zhì)量。即使數(shù)據(jù)本身真實(shí)且有代表性,但若數(shù)據(jù)標(biāo)注環(huán)節(jié)出現(xiàn)偏差,導(dǎo)致系統(tǒng)性的偏倚。須在標(biāo)注規(guī)范、標(biāo)注流程、人員責(zé)任管理以及質(zhì)量審核等方面制定規(guī)范化操作規(guī)則[15]。
醫(yī)療數(shù)據(jù)在AI研發(fā)中發(fā)揮價(jià)值的同時(shí),不能忽視其背后的風(fēng)險(xiǎn)。醫(yī)療數(shù)據(jù)包括患者基本信息,健康疾病狀況,治療情況甚至基因信息,不僅涉及患者隱私,還具有特殊的敏感性和價(jià)值。數(shù)據(jù)收集、分析處理、云端儲(chǔ)存和信息共享加大了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。AI醫(yī)學(xué)開發(fā)中要實(shí)現(xiàn)數(shù)據(jù)開放與隱私風(fēng)險(xiǎn)之間的平衡。在充分保護(hù)個(gè)人信息安全的前提下,能發(fā)揮數(shù)據(jù)的潛在價(jià)值,實(shí)現(xiàn)數(shù)據(jù)使用效益最大化。
數(shù)據(jù)隱私安全包括采集、儲(chǔ)存、挖掘、利用、運(yùn)營(yíng)、傳輸多個(gè)環(huán)節(jié)。必須制定周詳?shù)臏?zhǔn)則,最大程度保護(hù)患者隱私。通過患者提供、自動(dòng)采集、間接獲取方式采集數(shù)據(jù)須征得患者的知情同意。數(shù)據(jù)采集后進(jìn)行脫敏、匿名化處理,并加密儲(chǔ)存。研究中及研究后數(shù)據(jù)保存應(yīng)由專人負(fù)責(zé),規(guī)范不同等級(jí)人員數(shù)據(jù)訪問及使用權(quán)限。
隨著醫(yī)療AI技術(shù)的不斷進(jìn)步,其適用醫(yī)療應(yīng)用場(chǎng)景將會(huì)越來越多,基于以上安全風(fēng)險(xiǎn)相關(guān)特點(diǎn),更需要有一個(gè)標(biāo)準(zhǔn)來嚴(yán)格管理AI科研到產(chǎn)品開發(fā)全流程。規(guī)范化開發(fā)有助于推動(dòng)醫(yī)療AI持續(xù)健康發(fā)展。AI應(yīng)用開發(fā)流程可分為開發(fā)態(tài)流程和運(yùn)行態(tài)流程,其中開發(fā)態(tài)流程分為數(shù)據(jù)準(zhǔn)備、算法選擇和開發(fā),模型訓(xùn)練,模型評(píng)估和調(diào)優(yōu)子流程;運(yùn)行態(tài)流程可分為應(yīng)用生成、評(píng)估和發(fā)布子流程,應(yīng)用維護(hù)子流程。在AI軟件開發(fā)過程中,數(shù)據(jù)準(zhǔn)備工作占用時(shí)間最多,影響開發(fā)效率,且需要醫(yī)師和開發(fā)人員共同參與,因此建立完善的數(shù)據(jù)集是AI開發(fā)基礎(chǔ)(圖 2)。
圖 2 AI軟件開發(fā)工作量
下面以數(shù)字化模型數(shù)據(jù)為例,介紹數(shù)據(jù)準(zhǔn)備子流程,可分為4 個(gè)階段。
首先進(jìn)行倫理審批、確保數(shù)據(jù)收集的來源和目的的合法、正當(dāng)以及充分尊重患者的知情同意。需確定數(shù)據(jù)集的數(shù)據(jù)規(guī)模、來源、入排標(biāo)準(zhǔn)、分布構(gòu)成情況[8],按標(biāo)準(zhǔn)納入數(shù)據(jù)。
通過統(tǒng)一的命名規(guī)則對(duì)文件命名,使數(shù)據(jù)文件可自動(dòng)歸檔,接入平臺(tái)并入庫核查。數(shù)據(jù)采集、接入、存儲(chǔ)全流程局域網(wǎng)內(nèi)閉環(huán),保護(hù)患者資料安全。數(shù)據(jù)局域網(wǎng)云存儲(chǔ),實(shí)現(xiàn)院內(nèi)信息共享。
包括數(shù)據(jù)校驗(yàn)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)脫敏、數(shù)據(jù)切分。首先數(shù)據(jù)校驗(yàn)對(duì)數(shù)據(jù)可用性進(jìn)行判斷和驗(yàn)證,去除異常數(shù)據(jù),避免對(duì)模型訓(xùn)練產(chǎn)生干擾。檢測(cè)模型掃描質(zhì)量,對(duì)掃描質(zhì)量不佳,文件損壞,無法解碼,數(shù)據(jù)重復(fù)等問題的文件進(jìn)行剔除或重新掃描。數(shù)據(jù)轉(zhuǎn)換則是對(duì)數(shù)據(jù)大小、格式、特征進(jìn)行變換,使其適合于選擇的算法類型和模型訓(xùn)練的數(shù)據(jù)形式,將掃描得到的.dcm格式文件通過格式轉(zhuǎn)換器轉(zhuǎn)換為.stl文件。數(shù)據(jù)清洗對(duì)數(shù)字化模型數(shù)據(jù)進(jìn)行去噪、糾錯(cuò)或補(bǔ)全,避免其對(duì)模型訓(xùn)練產(chǎn)生干擾。當(dāng)數(shù)據(jù)集形成后,對(duì)數(shù)據(jù)進(jìn)行脫敏。去除關(guān)鍵敏感信息,保護(hù)患者隱私。對(duì)數(shù)據(jù)集中的數(shù)據(jù),要先按照數(shù)據(jù)使用的目的切分為訓(xùn)練集,驗(yàn)證集和測(cè)試集。其中60%作為訓(xùn)練集用于模型訓(xùn)練,20%作為驗(yàn)證集用于模型和應(yīng)用的選擇和評(píng)估,剩余20%作為測(cè)試集用于推理測(cè)試。
須明確標(biāo)注流程、確定標(biāo)注目標(biāo)、制定標(biāo)注規(guī)范、人員培訓(xùn)及考核以及質(zhì)量審核規(guī)范。模型標(biāo)記點(diǎn)識(shí)別任務(wù)中,標(biāo)志點(diǎn)位置需要以醫(yī)師的判斷作為參考標(biāo)準(zhǔn),而醫(yī)師對(duì)標(biāo)志點(diǎn)定義理解、標(biāo)記經(jīng)驗(yàn)和操作流程都可能導(dǎo)致系統(tǒng)偏差。因此必須對(duì)參與人員進(jìn)行專業(yè)培訓(xùn)并通過一致性考核。標(biāo)注人員構(gòu)成初級(jí)標(biāo)注員、審核人員、仲裁人員。由多名初級(jí)標(biāo)注員進(jìn)行交叉標(biāo)注,計(jì)算點(diǎn)對(duì)點(diǎn)誤差,在可接受誤差范圍內(nèi)者取平均作為標(biāo)志點(diǎn)的標(biāo)準(zhǔn)坐標(biāo),如若誤差大產(chǎn)生爭(zhēng)議,由審核人員、仲裁人員進(jìn)行評(píng)判。
AI技術(shù)是把“雙刃劍”,需要審慎應(yīng)對(duì)其風(fēng)險(xiǎn),本文更多著眼于與安全性相關(guān)的特點(diǎn)及正畸領(lǐng)域中醫(yī)生參與的AI規(guī)范化開發(fā)數(shù)據(jù)準(zhǔn)備流程。醫(yī)療AI的持續(xù)健康發(fā)展需要各方共同努力,從國(guó)家層面加強(qiáng)法律法規(guī)、標(biāo)準(zhǔn)規(guī)范制定,建立審查體系實(shí)現(xiàn)有效監(jiān)管;技術(shù)開發(fā)方面,破解“黑箱”技術(shù)難題,公平、合理開發(fā);臨床應(yīng)用中,醫(yī)生需明確AI為輔助臨床診療的工具,以醫(yī)師為主體地位,加強(qiáng)醫(yī)患溝通。