涉及醫(yī)學(xué)人工智能研究的倫理審查要點(diǎn)分析

謝小萍，何曉波*，張玲希，李 衛(wèi)，高雅潔

(1 浙江醫(yī)院倫理辦公室，浙江 杭州 310030，920628092@qq.com；2 浙江醫(yī)院圖書館，浙江 杭州 310030)

2017年，國(guó)務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，將發(fā)展新一代人工智能上升至國(guó)家戰(zhàn)略高度，使人工智能受到學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。同時(shí)，大數(shù)據(jù)、算法和算力的發(fā)展，也為人工智能提供了豐富的數(shù)據(jù)資源，推動(dòng)了人工智能的發(fā)展。近年來(lái)，醫(yī)學(xué)人工智能在預(yù)防醫(yī)學(xué)、醫(yī)學(xué)治療、醫(yī)學(xué)診斷、健康管理、醫(yī)學(xué)科研、醫(yī)學(xué)教學(xué)、醫(yī)院管理、藥物開發(fā)等醫(yī)學(xué)相關(guān)方面發(fā)揮重要作用。雖然我國(guó)已在人工智能領(lǐng)域具備了良好的基礎(chǔ)，但整體發(fā)展水平仍落后于發(fā)達(dá)國(guó)家，尤其是適應(yīng)于人工智能發(fā)展的政策法規(guī)、標(biāo)準(zhǔn)體系亟待完善?，F(xiàn)行的倫理審查法規(guī)指南已無(wú)法涵蓋涉及醫(yī)學(xué)人工智能研究提出的倫理和管理要求，涉及相關(guān)問(wèn)題的實(shí)際審查工作缺乏可操作化的審查標(biāo)準(zhǔn)和程序指引。因此，本文通過(guò)對(duì)國(guó)內(nèi)外相關(guān)法律法規(guī)、文獻(xiàn)等資料進(jìn)行研究，對(duì)涉及醫(yī)學(xué)人工智能研究的倫理審查要點(diǎn)進(jìn)行探討，旨在為促進(jìn)涉及醫(yī)學(xué)人工智能研究的倫理審查規(guī)范提供一定的借鑒。

1 醫(yī)學(xué)人工智能研究的概念及特點(diǎn)

1.1 醫(yī)學(xué)人工智能研究的概念

人工智能產(chǎn)品是按照人設(shè)定的程序邏輯或軟件算法通過(guò)芯片等硬件載體來(lái)運(yùn)行或工作的，通過(guò)對(duì)數(shù)據(jù)的采集、加工、處理、分析和挖掘，形成有價(jià)值的信息流和知識(shí)模型，提供延伸人類能力的服務(wù)，實(shí)現(xiàn)“智能行為”的模擬[1]。人工智能在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究主要包括輔助診療、影像識(shí)別、醫(yī)用機(jī)器人、虛擬助手、健康管理、醫(yī)院管理、疾病篩查與預(yù)測(cè)、藥物研發(fā)等多個(gè)方面。人工智能產(chǎn)品設(shè)計(jì)開發(fā)過(guò)程通?？煞譃樾枨蠓治觥?shù)據(jù)收集、算法設(shè)計(jì)、驗(yàn)證與確認(rèn)、軟件更新等階段[2]。目前，醫(yī)學(xué)人工智能研究主要按照學(xué)術(shù)性科研課題和產(chǎn)品研發(fā)注冊(cè)申請(qǐng)兩條線進(jìn)行管理。當(dāng)前市面上大部分的人工智能醫(yī)療產(chǎn)品按照醫(yī)療器械管理，主要分為人工智能獨(dú)立軟件(智能軟件)和人工智能軟件組件(智能硬件)兩種類型。根據(jù)原國(guó)家食品藥品監(jiān)督管理總局2017年9月發(fā)布的《醫(yī)療器械分類目錄》規(guī)定，僅有輔助診斷功能的軟件需申報(bào)二類器械，如果軟件能對(duì)病變部位進(jìn)行自動(dòng)識(shí)別并提供明確診斷提示則按第三類醫(yī)療器械進(jìn)行管理[3]。截至2020年9月17日，經(jīng)國(guó)家藥品監(jiān)督管理局審查批準(zhǔn)的三類智能軟件產(chǎn)品共三款，分別是北京昆侖醫(yī)云科技有限公司生產(chǎn)的創(chuàng)新產(chǎn)品“冠脈血流儲(chǔ)備分?jǐn)?shù)計(jì)算軟件”、深圳硅基智能科技有限公司生產(chǎn)的創(chuàng)新產(chǎn)品“糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件”，以及上海鷹瞳醫(yī)療科技有限公司生產(chǎn)的創(chuàng)新產(chǎn)品“糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件”[4-5]。

1.2 醫(yī)學(xué)人工智能研究的特點(diǎn)

第一，醫(yī)學(xué)人工智能研究具有跨行業(yè)、跨機(jī)構(gòu)、多學(xué)科特點(diǎn)。

醫(yī)學(xué)人工智能研究因其包含基礎(chǔ)資源、技術(shù)體系、產(chǎn)品服務(wù)及應(yīng)用解決方案等多層次結(jié)構(gòu)，具有跨行業(yè)、跨機(jī)構(gòu)合作的特點(diǎn)。從人工智能研究框架上看，涉及為人工智能系統(tǒng)提供計(jì)算能力支持的基礎(chǔ)設(shè)施提供者、原始數(shù)據(jù)資源和數(shù)據(jù)集的信息提供者、人工智能領(lǐng)域技術(shù)和服務(wù)的信息處理者和確保研發(fā)產(chǎn)品滿足整體要求的系統(tǒng)協(xié)調(diào)者等跨行業(yè)/機(jī)構(gòu)主體角色。從數(shù)據(jù)來(lái)源上看，人工智能使用的原始數(shù)據(jù)資源或數(shù)據(jù)集可能來(lái)自不同地區(qū)、機(jī)構(gòu)、系統(tǒng)、科室的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，涉及比傳統(tǒng)研究更多的利益相關(guān)者，如患者、研究人員、管理人員、醫(yī)療機(jī)構(gòu)、研究院所、商業(yè)公司等。從人工智能關(guān)鍵技術(shù)上看，包括機(jī)器學(xué)習(xí)、知識(shí)圖譜、自然語(yǔ)言處理、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)等關(guān)鍵技術(shù)[1]。從學(xué)科領(lǐng)域看，醫(yī)學(xué)人工智能研究因其技術(shù)復(fù)雜性和應(yīng)用場(chǎng)景多樣性等特點(diǎn)，完成整個(gè)研究過(guò)程需要多學(xué)科交叉合作，涉及醫(yī)學(xué)、生命科學(xué)、數(shù)學(xué)、軟件工程、計(jì)算機(jī)科學(xué)、倫理學(xué)、法學(xué)等學(xué)科。人工智能研究的跨行業(yè)、跨機(jī)構(gòu)、多學(xué)科特點(diǎn)，導(dǎo)致目前開展研究存在法律法規(guī)和規(guī)范標(biāo)準(zhǔn)相對(duì)滯后、主體責(zé)任界定不清、相關(guān)復(fù)合型人才短缺等一系列問(wèn)題，增加了倫理審查和監(jiān)督的難度，使得傳統(tǒng)模式無(wú)法滿足現(xiàn)實(shí)需求。

第二，醫(yī)學(xué)人工智能研究涵蓋多階段、多層次研究過(guò)程。

醫(yī)學(xué)人工智能研究不同于傳統(tǒng)臨床研究，其產(chǎn)品設(shè)計(jì)開發(fā)過(guò)程較復(fù)雜，通?？煞譃樾枨蠓治?、數(shù)據(jù)收集、算法設(shè)計(jì)、驗(yàn)證與確認(rèn)、軟件更新等階段，涵蓋基礎(chǔ)研究、臨床前研究、臨床研究和臨床應(yīng)用的整個(gè)轉(zhuǎn)化醫(yī)學(xué)過(guò)程，包含基礎(chǔ)資源、技術(shù)體系、產(chǎn)品服務(wù)及應(yīng)用解決方案等多層次結(jié)構(gòu)，并在產(chǎn)品的全生命周期過(guò)程中不斷經(jīng)過(guò)基于高質(zhì)量帶標(biāo)注的數(shù)據(jù)訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集進(jìn)行產(chǎn)品研發(fā)與測(cè)試，正式上市須經(jīng)過(guò)產(chǎn)品定型、檢測(cè)、臨床試驗(yàn)、注冊(cè)申報(bào)、技術(shù)審評(píng)、行政審批六個(gè)步驟[6]。從數(shù)據(jù)收集上看，包含數(shù)據(jù)采集、存儲(chǔ)、挖掘、應(yīng)用、運(yùn)輸、傳輸、共享等環(huán)節(jié)，并涉及服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、基礎(chǔ)軟件等介質(zhì)。從數(shù)據(jù)集構(gòu)建與管理上看，包含數(shù)據(jù)集設(shè)計(jì)、數(shù)據(jù)收集、數(shù)據(jù)標(biāo)注、數(shù)據(jù)歸檔和數(shù)據(jù)管理等階段[7]。從數(shù)據(jù)使用階段看，即數(shù)據(jù)分析和處理，涉及模型訓(xùn)練過(guò)程和部署運(yùn)行過(guò)程，包括數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、測(cè)試驗(yàn)證、模型部署、實(shí)際數(shù)據(jù)處理、預(yù)測(cè)結(jié)果輸出等。從數(shù)據(jù)管理上看，包含數(shù)據(jù)集儲(chǔ)存、分發(fā)、使用、擴(kuò)容、更新、刪減等活動(dòng)。醫(yī)學(xué)人工智能研究的多階段、多層次特點(diǎn)，需要審批和監(jiān)管部門對(duì)其各個(gè)階段、層次的研究進(jìn)行獨(dú)立審查，并結(jié)合研究過(guò)程，開展適時(shí)、必要的跟蹤審查，以確保研究的科學(xué)性和倫理性。

第三，醫(yī)學(xué)人工智能研究涉及前沿未知倫理問(wèn)題挑戰(zhàn)。

①數(shù)據(jù)相關(guān)倫理問(wèn)題。

醫(yī)學(xué)人工智能研究離不開高質(zhì)量帶標(biāo)注的醫(yī)學(xué)數(shù)據(jù)集，其產(chǎn)品全生命周期過(guò)程中的數(shù)據(jù)集包括訓(xùn)練集、調(diào)優(yōu)集和測(cè)試集。根據(jù)數(shù)據(jù)收集的方式，可將研究分為前瞻性數(shù)據(jù)收集研究和回顧性數(shù)據(jù)收集研究[8]。當(dāng)前，人工智能醫(yī)療公司主要通過(guò)與醫(yī)療機(jī)構(gòu)合作科研項(xiàng)目、從公開數(shù)據(jù)集下載數(shù)據(jù)或通過(guò)公司購(gòu)買數(shù)據(jù)等三種渠道獲取數(shù)據(jù)。大多數(shù)人工智能產(chǎn)品的訓(xùn)練樣本主要來(lái)自醫(yī)院患者的各類醫(yī)學(xué)影像數(shù)據(jù)，少部分來(lái)自于人類行為信息的數(shù)字化記錄等[9]。數(shù)據(jù)作為醫(yī)學(xué)人工智能研究的重要基礎(chǔ)資料，數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)隱私、數(shù)據(jù)知情同意及二次使用授權(quán)等問(wèn)題亟待審批和監(jiān)管部門采取必要措施加以規(guī)范化管理。一旦存在數(shù)據(jù)造假、數(shù)據(jù)偏倚、數(shù)據(jù)陳舊、數(shù)據(jù)不完整、數(shù)據(jù)樣本量過(guò)低等問(wèn)題，將直接影響人工智能產(chǎn)品的有效性、安全性和風(fēng)險(xiǎn)性，嚴(yán)重的可能通過(guò)數(shù)據(jù)鴻溝造成算法歧視/偏見(jiàn)，擾亂社會(huì)倫理秩序，帶來(lái)新的不公平問(wèn)題。大數(shù)據(jù)分析技術(shù)讓人的隱私無(wú)處可藏，越來(lái)越頻繁的數(shù)據(jù)流通削弱了個(gè)人對(duì)其數(shù)據(jù)的控制和管理。醫(yī)療數(shù)據(jù)，因其涉及個(gè)體的健康、疾病、基因等關(guān)鍵信息，本身具有敏感屬性，一旦泄露，不僅關(guān)涉?zhèn)€人的隱私和尊嚴(yán)，還可能侵害民族，甚至危害國(guó)家安全。如何界定和分配數(shù)據(jù)安全和隱私保護(hù)的責(zé)任，是當(dāng)前亟待解決的問(wèn)題。醫(yī)學(xué)人工智能研究通過(guò)用戶提供、自動(dòng)采集、間接獲取等方式采集大量訓(xùn)練數(shù)據(jù)和應(yīng)用數(shù)據(jù)，用于訓(xùn)練模型或推斷預(yù)測(cè)，涉及個(gè)人敏感信息的數(shù)據(jù)，存在數(shù)據(jù)采集合規(guī)性問(wèn)題、數(shù)據(jù)采集與用戶授權(quán)不一致問(wèn)題、用戶選擇退出權(quán)難以保障問(wèn)題、匿名化數(shù)據(jù)被重識(shí)別等問(wèn)題。需在最大化保留信息滿足研究需求的情況下，平衡數(shù)據(jù)主體的個(gè)人權(quán)益和社會(huì)公眾利益。

②算法相關(guān)倫理問(wèn)題。

算法是人工智能實(shí)現(xiàn)應(yīng)用的核心，可以被簡(jiǎn)單地理解為通過(guò)計(jì)算機(jī)語(yǔ)言實(shí)現(xiàn)的一種解決問(wèn)題的方法，主要依賴于技術(shù)人員的主觀選擇和判斷，往往因?yàn)樯虡I(yè)機(jī)密、復(fù)雜性及專業(yè)性不被外界知曉。算法方面能夠引發(fā)人工智能研究倫理問(wèn)題的主要包括算法透明度問(wèn)題、算法安全性問(wèn)題、算法公平性問(wèn)題等。算法透明性通常包括可解釋性和可追溯性，讓用戶了解人工智能中的決策過(guò)程和因果關(guān)系，關(guān)乎用戶的知情權(quán)益和信任。但過(guò)度公開透明，可能為動(dòng)機(jī)不良者擾亂系統(tǒng)、操縱算法提供機(jī)會(huì)，影響研發(fā)人員和企業(yè)的積極性，不利于技術(shù)創(chuàng)新和社會(huì)進(jìn)步。如何平衡公眾的權(quán)益和公司的機(jī)密，目前還沒(méi)有明確的標(biāo)準(zhǔn)。算法安全性問(wèn)題，主要指算法可信賴、算法漏洞等帶來(lái)的安全風(fēng)險(xiǎn)問(wèn)題。以深度學(xué)習(xí)算法為代表的機(jī)器學(xué)習(xí)算法為例，能夠自主地調(diào)整自身的操作參數(shù)和決策規(guī)則，因此會(huì)帶來(lái)極強(qiáng)的不確定性，產(chǎn)生的安全性問(wèn)題一旦侵害人身權(quán)益，后果可能難以挽回[10]。算法公平性問(wèn)題主要是由算法歧視或偏見(jiàn)造成，是指由于算法的設(shè)計(jì)者或開發(fā)人員對(duì)事物的認(rèn)知存在某種偏見(jiàn)，或者算法執(zhí)行時(shí)使用了帶有偏見(jiàn)的數(shù)據(jù)集等原因，造成算法產(chǎn)生帶有歧視性的結(jié)果[11]。一旦算法公平性存在問(wèn)題，可能使得一些人占有技術(shù)成果，而另一些人被排斥、被剝削，嚴(yán)重破壞社會(huì)的公平公正。

③產(chǎn)品研發(fā)相關(guān)倫理問(wèn)題。

我國(guó)人工智能技術(shù)發(fā)展迅速，醫(yī)學(xué)應(yīng)用產(chǎn)品層出不窮，但目前尚沒(méi)有統(tǒng)一的監(jiān)管醫(yī)學(xué)人工智能應(yīng)用的標(biāo)準(zhǔn)，也沒(méi)有醫(yī)學(xué)人工智能產(chǎn)品審批通過(guò)的標(biāo)準(zhǔn)，影響了對(duì)相關(guān)產(chǎn)品應(yīng)用的安全性風(fēng)險(xiǎn)的把控。醫(yī)學(xué)人工智能產(chǎn)品在正式上市之前，需經(jīng)過(guò)臨床試驗(yàn)。一方面，當(dāng)試驗(yàn)過(guò)程中出現(xiàn)錯(cuò)誤的判定或結(jié)果導(dǎo)致受試者健康或權(quán)益受到損害，數(shù)據(jù)科學(xué)家、產(chǎn)品研發(fā)和設(shè)計(jì)者、生產(chǎn)商、醫(yī)生以及醫(yī)療機(jī)構(gòu)的風(fēng)險(xiǎn)分配和責(zé)任劃分問(wèn)題，現(xiàn)有的法律制度體系規(guī)定尚存在不充足性和局限性；另一方面，很多互聯(lián)網(wǎng)企業(yè)在大眾認(rèn)識(shí)到數(shù)據(jù)的價(jià)值之前，就完成了對(duì)數(shù)據(jù)的積累，在沒(méi)有征得大眾的同意和授權(quán)的情況下便開始了對(duì)數(shù)據(jù)的分析和使用。個(gè)人數(shù)據(jù)貢獻(xiàn)者是否對(duì)數(shù)據(jù)資源享有所有權(quán)、開發(fā)利用權(quán)以及產(chǎn)品利益分享權(quán)等問(wèn)題，相關(guān)法律界定仍缺失。

2 醫(yī)學(xué)人工智能研究的倫理審查依據(jù)

2.1 國(guó)外倫理審查現(xiàn)狀

在人工智能倫理問(wèn)題研究方面，國(guó)外研究成果較豐富。美國(guó)、日本、韓國(guó)、英國(guó)、歐洲和聯(lián)合國(guó)教科文組織等國(guó)家或機(jī)構(gòu)相繼發(fā)布了相關(guān)的準(zhǔn)則、規(guī)范、指南和標(biāo)準(zhǔn)。其中以“阿西洛馬人工智能原則”和國(guó)際電氣電子工程師協(xié)會(huì)(institute of electrical and electronics engineers，IEEE)組織倡議的人工智能倫理標(biāo)準(zhǔn)在國(guó)際上影響最廣?！鞍⑽髀羼R人工智能原則”于2017年1月初在美國(guó)加利福尼亞州阿西洛馬展開的“有益的人工智能”(beneficial AI)會(huì)議上被提出，目前共23項(xiàng)，其中涉及倫理方面的共13項(xiàng)，主要為：安全性、故障透明、判決透明、職責(zé)、價(jià)值觀一致、人類價(jià)值觀、個(gè)人隱私、自由與隱私、共享利益、共享繁榮、人類控制、非顛覆、人工智能軍備競(jìng)賽[11]。IEEE分別于2016年12月和2017年12月在全球范圍內(nèi)先后發(fā)布了第1版和第2版的《以倫理為基準(zhǔn)的設(shè)計(jì)：人工智能及自主系統(tǒng)以人類福祉為先的愿景》。在第2版內(nèi)容中提出了五個(gè)核心倫理原則：人權(quán)、福祉、問(wèn)責(zé)、透明、慎用[12]。

2.2 國(guó)內(nèi)倫理審查依據(jù)

我國(guó)自2016年開始圍繞人工智能在醫(yī)療健康領(lǐng)域的應(yīng)用頒布了《“互聯(lián)網(wǎng)+”人工智能三年行動(dòng)實(shí)施方案》(2016)、《國(guó)務(wù)院辦公廳關(guān)于促進(jìn)和規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的指導(dǎo)意見(jiàn)》(2016)、《“十三五”國(guó)家科技創(chuàng)新規(guī)劃》(2016)、《智能硬件產(chǎn)業(yè)創(chuàng)新發(fā)展專項(xiàng)行動(dòng)(2016-2018)》(2016)、《“十三五”國(guó)家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》(2016)、《國(guó)務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》(2017)、《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動(dòng)計(jì)劃(2018-2020年)》(2017)、《國(guó)務(wù)院辦公廳關(guān)于促進(jìn)“互聯(lián)網(wǎng)+醫(yī)療健康”發(fā)展的意見(jiàn)》(2018)等旨在鼓勵(lì)人工智能研發(fā)和推廣的政策文件，對(duì)于醫(yī)學(xué)人工智能研究尚處于軟性監(jiān)管階段，并未上升到法律法規(guī)層面。

醫(yī)學(xué)人工智能研究如按照學(xué)術(shù)性科研課題進(jìn)行管理，屬于醫(yī)療領(lǐng)域研究，目前廣泛遵循原國(guó)家衛(wèi)計(jì)委2016年10月頒布的《涉及人的生物醫(yī)學(xué)研究倫理審查辦法》。如涉及臨床應(yīng)用，還應(yīng)遵循《人工智能輔助診斷技術(shù)管理規(guī)范(2017年版)》《人工智能輔助診斷技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(2017年版)》《人工智能輔助治療技術(shù)管理規(guī)范(2017年版)》相關(guān)規(guī)定。如按照產(chǎn)品研發(fā)注冊(cè)申請(qǐng)進(jìn)行管理，則應(yīng)根據(jù)相關(guān)性，遵循由國(guó)家藥品監(jiān)督管理局發(fā)布的法規(guī)要求。目前作為醫(yī)用軟件的通用指導(dǎo)原則有三個(gè)，包括《醫(yī)療器械軟件注冊(cè)技術(shù)審查指導(dǎo)原則》《移動(dòng)醫(yī)療器械注冊(cè)技術(shù)指導(dǎo)原則》及《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》。2019年6月，國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心發(fā)布了《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件的審評(píng)要點(diǎn)及相關(guān)說(shuō)明》。

除此之外，國(guó)內(nèi)部分高校、研究院所、標(biāo)準(zhǔn)委員會(huì)、學(xué)會(huì)組織等也形成了一些共識(shí)原則和標(biāo)準(zhǔn)。2018年1月，在國(guó)家人工智能標(biāo)準(zhǔn)化總體組的成立大會(huì)上，《人工智能標(biāo)準(zhǔn)化白皮書(2018)》正式發(fā)布，該白皮書論述了人工智能的安全、倫理和隱私問(wèn)題，認(rèn)為設(shè)定人工智能技術(shù)的倫理要求，要依托于社會(huì)和公眾對(duì)人工智能倫理的深入思考和廣泛共識(shí)，并遵循一些共識(shí)原則[1]。2019年4月，國(guó)家人工智能標(biāo)準(zhǔn)化總體組發(fā)布了《人工智能倫理風(fēng)險(xiǎn)分析報(bào)告》，提出了人工智能2項(xiàng)倫理準(zhǔn)則：第一，人類根本原則，指人工智能應(yīng)以實(shí)現(xiàn)人類根本利益為終極目標(biāo)；第二，責(zé)任原則，指在人工智能相關(guān)的技術(shù)開發(fā)和應(yīng)用兩方面都建立明確的責(zé)任體系。2019年6月，科技部人工智能治理專家委員會(huì)發(fā)布了《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》，提出人工智能發(fā)展應(yīng)遵循八項(xiàng)原則：①和諧友好；②公平公正；③包容共享；④尊重隱私；⑤安全可控；⑥共擔(dān)責(zé)任；⑦開放協(xié)作；⑧敏捷治理。2019年10月，全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)發(fā)布了《人工智能安全標(biāo)準(zhǔn)化白皮書(2019版)》，提出人工智能安全原則包括三項(xiàng)原則：①以人為本原則；②權(quán)責(zé)一致原則；③分級(jí)分類原則。且人工智能的安全屬性應(yīng)考慮保密性、完整性、可用性、可控性、魯棒性、透明性和隱私。騰訊研究院和騰訊AI實(shí)驗(yàn)室、北京智源人工智能研究院、上海交通大學(xué)人工智能研究院等主流科技公司或研究機(jī)構(gòu)也紛紛就人工智能提出了各自的倫理原則。例如，騰訊在國(guó)內(nèi)率先提出“科技向善”的理念，將其與“用戶為本”一道作為新的使命愿景，并提出其人工智能研究與應(yīng)用需遵循“可用、可靠、可知、可控”原則[13]。北京智源人工智能研究院分別于2019年5月和2020年9月發(fā)布了《人工智能北京共識(shí)》和《面向兒童的人工智能北京共識(shí)》，提出人工智能的研究與開發(fā)應(yīng)遵循“造福、服務(wù)于人、負(fù)責(zé)、控制風(fēng)險(xiǎn)、合乎倫理、多樣與包容、開放共享”原則，社會(huì)各界應(yīng)高度重視人工智能對(duì)兒童的影響，維護(hù)兒童自由表達(dá)意見(jiàn)與意愿的權(quán)利，公平對(duì)待和服務(wù)于所有兒童，并優(yōu)先考慮增進(jìn)兒童的福祉[14-15]。

國(guó)內(nèi)現(xiàn)已頒布的多數(shù)法規(guī)條款都屬于基礎(chǔ)原則性條款，對(duì)醫(yī)學(xué)人工智能研究的規(guī)范只能起到框架性作用，缺乏具體可執(zhí)行的操作指引性。

3 醫(yī)學(xué)人工智能研究的倫理審查要點(diǎn)

涉及醫(yī)學(xué)人工智能的研究除需滿足傳統(tǒng)倫理審查的基本要求外，結(jié)合其研究自身特點(diǎn)，倫理審查應(yīng)重點(diǎn)關(guān)注研究風(fēng)險(xiǎn)受益比、知情同意程序、數(shù)據(jù)安全與隱私保護(hù)措施、社會(huì)公平公正等內(nèi)容。

3.1 研究風(fēng)險(xiǎn)受益比

研究可能遭受的風(fēng)險(xiǎn)程度與研究預(yù)期的受益相比的合理性是評(píng)估研究能否開展的必要條件。涉及醫(yī)學(xué)人工智能的研究，其風(fēng)險(xiǎn)是對(duì)個(gè)人或社會(huì)或國(guó)家可能的傷害，應(yīng)對(duì)該風(fēng)險(xiǎn)的嚴(yán)重性、程度和發(fā)生概率，有無(wú)采取使風(fēng)險(xiǎn)最小化的方法進(jìn)行評(píng)估，而受益則包括對(duì)個(gè)體的受益和對(duì)社會(huì)的受益[16]。在具體實(shí)踐中，首先，應(yīng)對(duì)研究目的性質(zhì)是基于商業(yè)利益、公共利益還是國(guó)家利益進(jìn)行審慎評(píng)估。唯有研究具有重要的社會(huì)價(jià)值，且不會(huì)給參與者個(gè)人或所在群體帶來(lái)超過(guò)最小風(fēng)險(xiǎn)值的風(fēng)險(xiǎn)才能獲得倫理的辯護(hù)[17]。其次，進(jìn)一步評(píng)判從人工智能研究的數(shù)據(jù)層面、算法層面、應(yīng)用層面以及研發(fā)整個(gè)生命周期過(guò)程中相關(guān)基礎(chǔ)技術(shù)設(shè)備、平臺(tái)支撐、人員組織、制度流程等內(nèi)容的合理合法性。數(shù)據(jù)層面主要考慮數(shù)據(jù)來(lái)源的合規(guī)性，數(shù)據(jù)質(zhì)量的可靠性、數(shù)據(jù)安全的可控性、數(shù)據(jù)隱私的保密性等內(nèi)容。醫(yī)學(xué)人工智能研究所用數(shù)據(jù)集在數(shù)據(jù)質(zhì)量上應(yīng)符合樣本多樣、均衡、真實(shí)、完整、可用、時(shí)效、一致、可溯源等要求，能夠與實(shí)現(xiàn)人工智能產(chǎn)品的預(yù)期用途相匹配。數(shù)據(jù)隱私泄露是涉及醫(yī)學(xué)人工智能研究的主要風(fēng)險(xiǎn)之一，有些風(fēng)險(xiǎn)可能難以預(yù)測(cè)。研究人員應(yīng)對(duì)數(shù)據(jù)的收集和使用遵循最小必要原則，除非研究需要，盡可能少用可識(shí)別信息和敏感數(shù)據(jù)，避免數(shù)據(jù)采集與數(shù)據(jù)主體授權(quán)不一致、過(guò)度采集數(shù)據(jù)等問(wèn)題。數(shù)據(jù)使用過(guò)程中對(duì)數(shù)據(jù)采集、存儲(chǔ)、傳輸、處理、交換及銷毀等環(huán)節(jié)的數(shù)據(jù)安全要求要有明確嚴(yán)格的規(guī)定。算法層面主要圍繞算法模型的魯棒性、安全防護(hù)、可解釋性、可驗(yàn)證性、可預(yù)測(cè)性等方面進(jìn)行評(píng)估，對(duì)算法在運(yùn)用中的主觀意圖、價(jià)值取向、利益與風(fēng)險(xiǎn)分擔(dān)等展開系統(tǒng)深入的分析，使得其對(duì)相關(guān)群體和利害關(guān)系人可能出現(xiàn)的各種負(fù)面后果能夠得以充分揭示[10]。

3.2 知情同意程序

醫(yī)學(xué)人工智能研究的訓(xùn)練樣本目前主要來(lái)自于醫(yī)院患者的各類醫(yī)學(xué)數(shù)據(jù)。針對(duì)含有可識(shí)別個(gè)人信息的海量數(shù)據(jù)研究，傳統(tǒng)具體的知情同意方式已不足以應(yīng)對(duì)大數(shù)據(jù)時(shí)代的數(shù)據(jù)反復(fù)挖掘使用的特點(diǎn)[18]。在數(shù)據(jù)收集與使用階段，倫理審查委員會(huì)應(yīng)根據(jù)研究中所使用的數(shù)據(jù)的收集方式、涉密性、敏感性、研究預(yù)期目的、社會(huì)價(jià)值、重新獲取知情同意的難度以及管理措施，來(lái)判斷研究應(yīng)采取具體的知情同意、廣泛的知情同意、免除知情同意還是選擇退出程序以及知情同意的撤回形式。

第一，具體的知情同意：對(duì)于收集和儲(chǔ)存數(shù)據(jù)時(shí)已知道未來(lái)用途，無(wú)論是用于當(dāng)下特定的研究目的，還是用于未來(lái)尚未明確目的的研究，研究者均需從數(shù)據(jù)提供者處獲得具體的知情同意。同時(shí)，應(yīng)告知研究參與者所收集數(shù)據(jù)的將來(lái)處置措施，說(shuō)明是否會(huì)儲(chǔ)存起來(lái)，如儲(chǔ)存起來(lái)是否可用于將來(lái)的其他研究等。當(dāng)涉及相關(guān)數(shù)據(jù)的研究方案、范圍和/或內(nèi)容發(fā)生變化時(shí)，并與原有知情同意內(nèi)容不相符，還應(yīng)再次獲取數(shù)據(jù)主體的知情同意。

第二，廣泛的知情同意：廣泛的知情同意不是“一攬子同意”，而是指對(duì)未來(lái)限定于某方面的研究進(jìn)行有限的知情同意。采用廣泛的知情同意形式應(yīng)該對(duì)以下內(nèi)容進(jìn)行具體規(guī)定：①數(shù)據(jù)收集的目的；②儲(chǔ)存的條件和期限；③數(shù)據(jù)使用規(guī)則；④數(shù)據(jù)占有或使用者的聯(lián)系方式，以及獲知數(shù)據(jù)未來(lái)使用的途徑；⑤數(shù)據(jù)可預(yù)見(jiàn)的用途，既包括已經(jīng)完全確定的研究，也包括部分未知或完全未知的研究；⑥數(shù)據(jù)使用的預(yù)期目標(biāo)，是用于基礎(chǔ)研究、應(yīng)用研究，還是用于商業(yè)的目的；⑦出現(xiàn)未請(qǐng)求同意的研究發(fā)生的可能性以及相關(guān)處理措施。倫理審查委員會(huì)必須確保，提議數(shù)據(jù)的收集和儲(chǔ)存方案，以及知情同意程序，均符合以上規(guī)定。

第三，知情同意的選擇退出或撤回：醫(yī)學(xué)人工智能研究的數(shù)據(jù)采用由常規(guī)臨床情形下收集的數(shù)據(jù)，除非數(shù)據(jù)主體一開始就明確表示反對(duì)，否則其數(shù)據(jù)被儲(chǔ)存并用于研究，即為知情同意的選擇退出。知情同意的選擇退出程序必須符合下列條件：①數(shù)據(jù)主體必須明確知道有這樣的程序存在；②研究者必須提供充分的信息；③必須告知數(shù)據(jù)主體可以撤回他們的數(shù)據(jù)；④必須為數(shù)據(jù)主體真正提供反對(duì)的可能[17]。知情同意還應(yīng)能夠保證數(shù)據(jù)主體撤回繼續(xù)儲(chǔ)存和使用其個(gè)人數(shù)據(jù)的權(quán)利，知情同意的撤回包括以下方式：①不再聯(lián)系，即數(shù)據(jù)主體和數(shù)據(jù)使用者之間不再發(fā)生任何聯(lián)系或接受回訪；②不再獲得，即數(shù)據(jù)主體不再為數(shù)據(jù)使用者提供相關(guān)數(shù)據(jù)資料；③不再使用，即數(shù)據(jù)主體聲明退出研究，其原有相關(guān)數(shù)據(jù)按相關(guān)流程全部銷毀，不應(yīng)繼續(xù)使用。

第四，免除知情同意：醫(yī)學(xué)人工智能研究的數(shù)據(jù)采用以往因診療、研究或其他目的而收集和保存的數(shù)據(jù)，同時(shí)又沒(méi)有獲得數(shù)據(jù)提供者對(duì)數(shù)據(jù)的未來(lái)研究的知情同意。免除知情同意的條件必須同時(shí)滿足以下三個(gè)條件：①研究具有重要的社會(huì)價(jià)值；②研究對(duì)參與者個(gè)人或所在群體的風(fēng)險(xiǎn)不超過(guò)最小風(fēng)險(xiǎn)；③不免除知情同意，研究不可能或不可行[19]。

倫理審查委員會(huì)在判斷研究應(yīng)采取何種形式的知情同意時(shí)，還應(yīng)關(guān)注研究是否符合公共利益，以及如何促進(jìn)公眾參與和透明度等內(nèi)容[19]，并不是完全聽從數(shù)據(jù)主體的自由選擇，而是在平衡數(shù)據(jù)主體和數(shù)據(jù)使用者等多方主體利益的基礎(chǔ)上，推動(dòng)個(gè)人健康數(shù)據(jù)有序流通和增值使用的同時(shí)，最大化保障數(shù)據(jù)主體的合法權(quán)益[20]。

3.3 數(shù)據(jù)安全與隱私保護(hù)措施

醫(yī)學(xué)人工智能產(chǎn)品的研究離不開患者的個(gè)人健康信息和病歷信息，倫理審查委員會(huì)應(yīng)根據(jù)數(shù)據(jù)所含個(gè)人可識(shí)別信息和敏感信息等特點(diǎn)來(lái)審慎評(píng)估醫(yī)學(xué)人工智能研究過(guò)程中須采取的數(shù)據(jù)安全與隱私保護(hù)措施。通過(guò)對(duì)研究所涉及的人員資質(zhì)、基礎(chǔ)設(shè)施、權(quán)限控制技術(shù)、數(shù)據(jù)流通規(guī)則等內(nèi)容的審查來(lái)確定研究者是否采取恰當(dāng)?shù)拇胧┙档碗[私泄露風(fēng)險(xiǎn)。首先，因醫(yī)學(xué)人工智能研究過(guò)程中可能涉及的對(duì)象包括個(gè)人、醫(yī)護(hù)人員、醫(yī)院管理者、政府行政管理部門、數(shù)據(jù)工程師、產(chǎn)品研發(fā)和設(shè)計(jì)人員等，倫理審查委員會(huì)應(yīng)針對(duì)研究過(guò)程中可能直接接觸研究資料的人員組織資質(zhì)、基礎(chǔ)設(shè)施、權(quán)限控制技術(shù)、數(shù)據(jù)流通規(guī)則等方面進(jìn)行嚴(yán)格審查。通過(guò)對(duì)可接觸研究資料的人員的背景審查、信息安全和倫理培訓(xùn)情況，保密協(xié)議簽署情況，隱私政策法規(guī)掌握情況等資質(zhì)的審查評(píng)估，對(duì)不同類型的人員對(duì)數(shù)據(jù)的收集、存儲(chǔ)和使用權(quán)限進(jìn)行分類分級(jí)管理，并明確數(shù)據(jù)安全責(zé)任主體，確保研究過(guò)程中的數(shù)據(jù)層、算法層及應(yīng)用層的安全和隱私保護(hù)可控，一旦發(fā)生數(shù)據(jù)的違規(guī)使用、濫用和泄露等能夠溯源追責(zé)到個(gè)人；其次，涉及醫(yī)學(xué)人工智能的研究，包含數(shù)據(jù)采集、存儲(chǔ)、挖掘、應(yīng)用、運(yùn)輸、傳輸、共享等環(huán)節(jié)，并涉及服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、基礎(chǔ)軟件等介質(zhì)，數(shù)據(jù)隱私保護(hù)措施應(yīng)貫徹于全流程和全介質(zhì)，因此，倫理審查委員會(huì)應(yīng)關(guān)注數(shù)據(jù)載體應(yīng)用的工具和設(shè)備的安全可靠性和數(shù)據(jù)全生命周期的一切行為的可追溯性；最后，倫理審查委員會(huì)還應(yīng)關(guān)注研究數(shù)據(jù)是否有訪問(wèn)控制技術(shù)、數(shù)據(jù)顯示限制技術(shù)、數(shù)據(jù)加密技術(shù)、數(shù)據(jù)使用共享限制技術(shù)等隱私保護(hù)的關(guān)鍵技術(shù)和數(shù)據(jù)使用場(chǎng)景，對(duì)數(shù)據(jù)隱私保護(hù)措施的合規(guī)性進(jìn)行評(píng)估，來(lái)進(jìn)一步規(guī)范涉及醫(yī)學(xué)人工智能研究過(guò)程中的數(shù)據(jù)利用。

3.4 社會(huì)公平公正性

醫(yī)學(xué)人工智能的研發(fā)與應(yīng)用應(yīng)以促進(jìn)人類向善、增進(jìn)人類福祉為目的，避免通過(guò)算法歧視和算法偏見(jiàn)等進(jìn)一步加劇或固化社會(huì)不公平不公正現(xiàn)象。算法歧視/偏見(jiàn)產(chǎn)生的原因主要?dú)w結(jié)于數(shù)據(jù)輸入和算法技術(shù)兩個(gè)方面，算法的設(shè)計(jì)又是技術(shù)人員的主觀選擇和判斷[21]。因此，倫理審查委員會(huì)應(yīng)審慎評(píng)估醫(yī)學(xué)人工智能研究中的價(jià)值設(shè)計(jì)是否公平公正地將道德規(guī)則和法律寫進(jìn)程序，避免算法繼承了研發(fā)人員或數(shù)據(jù)的偏見(jiàn)。采取多種措施加強(qiáng)對(duì)訓(xùn)練數(shù)據(jù)和算法的審查和測(cè)試，確保研究數(shù)據(jù)真正具有代表性，能夠代表多元化的人群，促進(jìn)人工智能在廣泛人群中的可及性和可負(fù)擔(dān)性。