人工智能醫(yī)療器械軟件生產(chǎn)質(zhì)量管理體系特殊要求研究

李澍，王浩，王晨希，郝燁，李佳戈，李靜莉

中國食品藥品檢定研究院 醫(yī)療器械檢定所，北京 102629

引言

醫(yī)療器械產(chǎn)品從前期的設(shè)計(jì)開發(fā)、設(shè)計(jì)轉(zhuǎn)化、驗(yàn)證和確認(rèn)到后期的設(shè)計(jì)變更、不合格品控制等各個環(huán)節(jié)都應(yīng)該進(jìn)行嚴(yán)格把控，才能確保產(chǎn)品本身的安全有效，因此為了保證每個環(huán)節(jié)不出紕漏，每個醫(yī)療器械生產(chǎn)企業(yè)都要建立一套完整的醫(yī)療器械生產(chǎn)質(zhì)量管理體系[1-2]。2019年7月，國家藥品監(jiān)督管理局發(fā)布《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨(dú)立軟件》，旨在加強(qiáng)獨(dú)立軟件類醫(yī)療器械生產(chǎn)監(jiān)管，規(guī)范獨(dú)立軟件生產(chǎn)質(zhì)量管理[3]。該附錄已于2020年7月1日起實(shí)施。對于獨(dú)立軟件的設(shè)計(jì)與開發(fā)，附錄提出，設(shè)計(jì)與開發(fā)應(yīng)結(jié)合軟件生命周期模型的特點(diǎn)，建立軟件生命周期過程控制程序等要求；在生產(chǎn)管理方面，附錄規(guī)定應(yīng)確保軟件發(fā)布的可重復(fù)性。在質(zhì)量控制方面，附錄規(guī)定軟件產(chǎn)品需要進(jìn)行安裝和卸載測試、產(chǎn)品完整性檢查、發(fā)布批準(zhǔn)等活動。在不良事件的監(jiān)測、分析和改進(jìn)方面，附錄規(guī)定數(shù)據(jù)分析和控制程序應(yīng)涵蓋軟件缺陷和網(wǎng)絡(luò)安全事件要求，并保存相關(guān)記錄[4-5]。

獨(dú)立軟件附錄的特殊要求中需要引起關(guān)注的就是軟件的變更控制。目前，獨(dú)立軟件附錄要求：軟件更新應(yīng)當(dāng)形成文件，涵蓋現(xiàn)成軟件、網(wǎng)絡(luò)安全的變更控制要求，確定軟件更新請求評估、軟件更新策劃、軟件更新實(shí)施、風(fēng)險(xiǎn)管理、驗(yàn)證與確認(rèn)、缺陷管理、可追溯性分析、配置管理、文件與記錄控制、評審、用戶告知等活動要求，形成相關(guān)文件和記錄并經(jīng)批準(zhǔn)。軟件版本變更應(yīng)當(dāng)與軟件更新情況相匹配。驗(yàn)證與確認(rèn)應(yīng)當(dāng)根據(jù)軟件更新的類型、內(nèi)容和程度實(shí)施相適宜的回歸測試、用戶測試等活動[6-8]。然而，和常規(guī)軟件不同，當(dāng)前以大數(shù)據(jù)與深度學(xué)習(xí)為基礎(chǔ)的人工智能技術(shù)存在不可解釋性和不可理解性，在動態(tài)變化的環(huán)境，或者信息不完全、存在干擾與虛假信息時，人工智能系統(tǒng)的性能可能會顯著下降。同時，人工智能算法的靈敏度和準(zhǔn)確性高度依賴訓(xùn)練用測試數(shù)據(jù)集，數(shù)據(jù)集的變更會對人工智能系統(tǒng)的判斷結(jié)果產(chǎn)生很大的影響。因此，訓(xùn)練用數(shù)據(jù)庫如何更新、產(chǎn)品如何迭代，以及這種更新和迭代是否允許、允許多大程度的變更、變更如何控制，這樣的監(jiān)管問題一直是討論的焦點(diǎn)[9-11]。因此，生產(chǎn)企業(yè)及監(jiān)管方有必要在獨(dú)立軟件附錄基礎(chǔ)上，進(jìn)一步研究人工智能類醫(yī)療器械（Artificial Intelligence Medical Device，AIMD）生產(chǎn)質(zhì)量管理的特殊要求。

1 AIMD產(chǎn)品生命周期不同階段及討論

在開發(fā)AIMD系統(tǒng)時，應(yīng)根據(jù)其在開發(fā)生命周期中的階段對某些考慮因素進(jìn)行最佳描述，并基于這些因素考慮相應(yīng)的框架。ISO/IEC 62304軟件標(biāo)準(zhǔn)[12]針對產(chǎn)品開發(fā)生命周期的不同階段進(jìn)行了定義和說明，因此，在考慮AIMD生產(chǎn)質(zhì)量管理規(guī)范框架模型時，可以參考現(xiàn)有標(biāo)準(zhǔn)，并結(jié)合AIMD的特殊性，以便將這些考慮因素整合到現(xiàn)有的軟件開發(fā)過程中[13]。

將全生命周期（Total Product Lifecycle，TPLC）方法應(yīng)用于軟件產(chǎn)品的管理對于基于AIMD產(chǎn)品來說尤其重要，因?yàn)樗軌蛟谡鎸?shí)世界使用過程中進(jìn)行適應(yīng)和改變。在針對TPLC認(rèn)證方法中，通過評估特定公司的質(zhì)量體系和組織架構(gòu)，并對其軟件開發(fā)、測試和產(chǎn)品性能監(jiān)控的質(zhì)量進(jìn)行評價(jià)，保證產(chǎn)品在TPLC中是有效的，從而增強(qiáng)患者、護(hù)理人員、醫(yī)療保健專業(yè)人員和其他用戶對產(chǎn)品安全有效性的信心[14]。

為了充分實(shí)現(xiàn)AIMD學(xué)習(xí)算法的強(qiáng)大功能，同時實(shí)現(xiàn)其性能的持續(xù)改進(jìn)和限制退化，可以基于以下一般原則平衡利益和風(fēng)險(xiǎn)，并評估基于AIMD的安全有效性：① 對質(zhì)量體系和質(zhì)量管理規(guī)范建立明確的期望；② 對必要的AIMD進(jìn)行上市前審查，以合理保證其安全性和有效性。并為AIMD制造商建立明確的期望，以在整個生命周期內(nèi)持續(xù)管理患者風(fēng)險(xiǎn)；③ 建議制造商持續(xù)監(jiān)控AIMD產(chǎn)品，并在算法變更的開發(fā)、驗(yàn)證和執(zhí)行中納入風(fēng)險(xiǎn)管理方法；④ 使用上市后真實(shí)的再評價(jià)報(bào)告，提高產(chǎn)品對用戶和監(jiān)管部門的透明度，以持續(xù)保證產(chǎn)品安全性和有效性。

1.1 制定計(jì)劃階段

軟件開發(fā)計(jì)劃顯然在確保產(chǎn)品質(zhì)量方面起著重要作用。對于AIMD產(chǎn)品，需要在計(jì)劃階段，說明確保數(shù)據(jù)完整性、可靠性和有效性所需的處理步驟、確定良好輸入數(shù)據(jù)的定義、確定數(shù)據(jù)是單一來源還是多種來源、明確“持續(xù)”的訓(xùn)練數(shù)據(jù)來源是否與最初開發(fā)產(chǎn)品時使用的來源的一致、使用的數(shù)據(jù)提取工具的說明、可接受性標(biāo)準(zhǔn)的說明、產(chǎn)品上市后驗(yàn)收標(biāo)準(zhǔn)的差異性等[15-16]。

1.2 設(shè)計(jì)開發(fā)階段

設(shè)計(jì)開發(fā)與需求階段應(yīng)針對以下內(nèi)容進(jìn)行考慮：① 質(zhì)量保證方面。應(yīng)規(guī)定AIMD訓(xùn)練用和測試用數(shù)據(jù)集需要的檢查項(xiàng)目。例如，某些項(xiàng)目可能是獨(dú)立的測試用例，從而確保訓(xùn)練數(shù)據(jù)的質(zhì)量，其他項(xiàng)目可能是內(nèi)置的測試項(xiàng)目，在某些質(zhì)量檢查手段運(yùn)行時發(fā)現(xiàn)質(zhì)量問題；② 質(zhì)量改進(jìn)方面。為了在產(chǎn)品發(fā)布后更好地促進(jìn)其安全有效，應(yīng)該考慮添加有助于將來進(jìn)行根本原因分析和功能改進(jìn)的功能和需求。例如，為支持將來的根本原因分析，當(dāng)在現(xiàn)場對AIMD系統(tǒng)進(jìn)行更新時，應(yīng)記錄數(shù)據(jù)、時間、數(shù)據(jù)源以及神經(jīng)網(wǎng)絡(luò)加權(quán)因子等信息，該信息對可能快速跟蹤性能的重大變化非常有用。

1.3 上市后考慮因素

上市后活動應(yīng)遵循上市后計(jì)劃進(jìn)行考慮。AIMD的持續(xù)學(xué)習(xí)系統(tǒng)需要持續(xù)監(jiān)控，以確保系統(tǒng)在預(yù)期性能范圍內(nèi)運(yùn)行。由于AIMD系統(tǒng)可以宣稱具有診斷功能，因此創(chuàng)建持續(xù)的受益-風(fēng)險(xiǎn)分析以針對AIMD性能和醫(yī)師診斷結(jié)果進(jìn)行比較很有必要，因?yàn)閮烧叨紩S時間變化。同時，安裝階段應(yīng)制定AIMD系統(tǒng)訓(xùn)練數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn)；應(yīng)該驗(yàn)證在安裝階段訪問的數(shù)據(jù)源是否符合這些標(biāo)準(zhǔn)（例如數(shù)據(jù)值、格式、類型等）。同時，版本控制對于AIMD系統(tǒng)而言特別重要，尤其是考慮到頻繁更新以及回滾到先前版本的可能性。

1.4 軟件維護(hù)與變更管理

在此產(chǎn)品生命周期階段，主要進(jìn)行軟件更新（例如增加新功能）和變更維護(hù)（例如錯誤修復(fù)等）。對于AIMD系統(tǒng)，軟件更新可能是由于額外的訓(xùn)練、持續(xù)更新，或者由制造商定義的定期更新。對于AIMD學(xué)習(xí)系統(tǒng)，變更速度可能比傳統(tǒng)的醫(yī)療器械軟件版本快得多。因此，在初始產(chǎn)品發(fā)布之前，應(yīng)建立評估準(zhǔn)則標(biāo)準(zhǔn)，以評估何時需要軟件更新。同時，在執(zhí)行更新時應(yīng)通知用戶，并清楚描述變更（例如導(dǎo)致變更的因素）。用戶應(yīng)能夠拒絕算法更新或恢復(fù)到以前的算法版本。但是，這可能會導(dǎo)致在同一時間市場上存在多個有效算法版本，需要考慮如何跟蹤算法的投訴或其他問題。

2 AIMD質(zhì)量管理規(guī)范框架討論

2.1 基于風(fēng)險(xiǎn)分類的AIMD監(jiān)管思路

基于AIMD的軟件，在用于診斷、治療、緩解或預(yù)防疾病時，符合醫(yī)療器械的定義，屬于醫(yī)療器械的范疇。因此與其他軟件類醫(yī)療器械類似，AIMD的風(fēng)險(xiǎn)等級取決于預(yù)期用途在風(fēng)險(xiǎn)分類框架下對患者的影響。

根據(jù)國際醫(yī)療器械監(jiān)管者論壇IMDRF的風(fēng)險(xiǎn)框架，可以確定以下兩個主要因素，用來說明AIMD的預(yù)期用途：① AIMD提供的信息對醫(yī)療決策的重要性（表1），該信息確定了AIMD提供信息的預(yù)期用途。例如用于治療或診斷、臨床決策、臨床通知等；② 醫(yī)療條件或環(huán)境的狀態(tài)，從而用于識別AIMD的預(yù)期使用者、疾病狀況以及人群。例如緊急、嚴(yán)重或非嚴(yán)重的醫(yī)療事件或狀況。

表1 IMDRF AIMD風(fēng)險(xiǎn)分類表決策重要性

需要注意的是，雖然AIMD取決于患者的風(fēng)險(xiǎn)分類，但由于人工智能算法的特殊性，因此風(fēng)險(xiǎn)也取決于從“鎖定”到“持續(xù)學(xué)習(xí)”的程度?！版i定”算法是指每次提供相同輸入時都提供相同結(jié)果的算法。因此，“鎖定”算法將固定函數(shù)（例如靜態(tài)查找表、決策樹或復(fù)雜分類器）應(yīng)用于給定的輸入集，這些算法可以使用手動過程進(jìn)行更新和驗(yàn)證。與“鎖定”算法相比，自適應(yīng)算法（例如機(jī)器學(xué)習(xí)算法）使用定義的學(xué)習(xí)過程改變其行為。算法的自適應(yīng)性使得對于給定的一組輸入，在實(shí)現(xiàn)改變之前和之后，輸出可能是不同的。這些算法變更通常是通過一個定義良好且可能完全自動化的過程來實(shí)現(xiàn)和驗(yàn)證的，該過程旨在通過對新數(shù)據(jù)或附加數(shù)據(jù)的分析來提高算法性能。

適應(yīng)過程可用于解決多種不同的臨床情況，例如在特定環(huán)境中優(yōu)化性能（如基于當(dāng)?shù)鼗颊呷后w）、基于設(shè)備的使用方式優(yōu)化性能（如基于特定醫(yī)生的偏好）、通過收集更多臨床數(shù)據(jù)以提高性能、更改設(shè)備的預(yù)期用途等。適應(yīng)過程包括兩個階段：學(xué)習(xí)和更新。算法“學(xué)習(xí)”如何改變自身的行為。例如，通過添加新的輸入類型或向已經(jīng)存在的訓(xùn)練數(shù)據(jù)庫中添加新的案例。當(dāng)部署新版本的算法時，“更新”就會發(fā)生。因此，在時間A（更新前）和時間B（更新后）給定相同的輸入集，算法的輸出可能不同。

總體來說，將TPLC方法應(yīng)用于軟件產(chǎn)品的監(jiān)管對于基于AIMD來說尤其重要，因?yàn)樗軌蛟谡鎸?shí)世界使用過程中進(jìn)行適應(yīng)和改變。在針對TPLC預(yù)認(rèn)證方法中，通過評估相應(yīng)公司的質(zhì)量體系和組織架構(gòu)，并對其軟件開發(fā)、測試和產(chǎn)品性能監(jiān)控的質(zhì)量進(jìn)行合理評價(jià)，繼而保證產(chǎn)品在整個生命周期中都是有效的，從而對患者、護(hù)理人員、醫(yī)務(wù)人員和其他用戶提供產(chǎn)品安全有效的信心。因此，TPLC方法能夠?qū)浖a(chǎn)品從上市前的開發(fā)到上市后的性能進(jìn)行評估和監(jiān)控，并持續(xù)展示組織的優(yōu)異性（圖1）。

圖1 基于全生命周期的AIMD要求框架

2.2 基于AIMD的修改和變更

AIMD可能有很多類型的修改，修改一般包括算法架構(gòu)修改和使用新數(shù)據(jù)集重新訓(xùn)練兩部分。修改類型通常分為三大類：① 性能更變，包括臨床和使用性能發(fā)生變化；② 輸入變更，算法使用的輸入及其與輸出的臨床關(guān)聯(lián)變化；③ 預(yù)期用途變更，AIMD的預(yù)期用途發(fā)生變化。

與性能相關(guān)的修改，不改變預(yù)期用途或增加新的輸入類型，這種類型的修改包括分析和臨床性能的改進(jìn)。這些改進(jìn)可以由許多更改引起，可能包括使用相同類型輸入信號的預(yù)期使用群體內(nèi)的新數(shù)據(jù)集進(jìn)行重新訓(xùn)練、人工智能架構(gòu)的改變或其他方式。對于這種類型的修改，制造商通常旨在更新用戶的性能，而不改變其產(chǎn)品的任何明確使用聲明。

與輸入相關(guān)的修改，不改變預(yù)期用途，這些類型的修改是改變?nèi)斯ぶ悄芩惴ㄊ褂幂斎氲男薷?。這些修改可能涉及對用于新類型輸入信號的算法的更改，但不會更改產(chǎn)品使用聲明。這些變化的例子有：擴(kuò)展軟件與相同輸入數(shù)據(jù)類型的其他來源數(shù)據(jù)的兼容性（例如修改以支持與其他制造商的CT掃描儀兼容）；添加不同的輸入數(shù)據(jù)類型（例如將診斷心房顫動的輸入擴(kuò)展到包括血氧飽和度數(shù)據(jù)）。

與預(yù)期用途相關(guān)的修改，這些類型的修改包括導(dǎo)致軟件提供的信息的重要性發(fā)生變化（例如從“輔助診斷”到“最終診斷”）。預(yù)期用途的修改也包括擴(kuò)大預(yù)期患者群體（例如擴(kuò)大至兒童群體）、預(yù)期疾病或條件（例如從一種癌癥到另一種癌癥的病變檢測）等。當(dāng)然，所述的更改可能不是相互排斥的，一個軟件修改可能會導(dǎo)致輸入的變化和性能的變化；或者，性能更改可能會增加設(shè)備的臨床性能，進(jìn)而影響預(yù)期用途等等。

3 討論

3.1 AIMD的可解釋性

基于AIMD系統(tǒng)關(guān)鍵的挑戰(zhàn)之一是對系統(tǒng)的可解釋性。在傳統(tǒng)的軟件開發(fā)項(xiàng)目中，促使人們對產(chǎn)品充滿信心的基本原因是可以理解的算法設(shè)計(jì)以及完善的、透明的驗(yàn)證和確認(rèn)工作。但是，對于AIMD系統(tǒng)，軟件工程師不會直接創(chuàng)建決策算法，并且在測試時可能將系統(tǒng)視為黑盒，所以這個部分并不容易實(shí)現(xiàn)。

目前，可解釋性在人工智能領(lǐng)域有新的含義和目的，通常指完全理解和記錄人工智能系統(tǒng)輸出、建議、預(yù)測或決策開發(fā)中所用邏輯、決策方法和數(shù)據(jù)源的必要性。對于某些不包括人工干預(yù)的高級人工智能系統(tǒng)，尤其是AIMD系統(tǒng)，這個概念成了問題。此外，隨著最近發(fā)布的歐盟GDPR法規(guī)，這種可解釋性的概念已具有新的形式化緊迫感。例如，根據(jù)這些法規(guī)，受影響的數(shù)據(jù)主體和用戶有權(quán)要求提供關(guān)于人工智能驅(qū)動輸出中涉及的邏輯等有意義的信息，以及在決策做出后提出質(zhì)疑的能力。

3.2 基于AIMD的軟件的驗(yàn)證和確認(rèn)

AIMD系統(tǒng)的持續(xù)學(xué)習(xí)是關(guān)于學(xué)習(xí)、忘記和重新學(xué)習(xí)的過程。當(dāng)系統(tǒng)完成持續(xù)學(xué)習(xí)時，就必然需要建立對系統(tǒng)操作和輸出的關(guān)系。驗(yàn)證和確認(rèn)為可信度和系統(tǒng)性能提供了證據(jù)。本文使用以下定義：驗(yàn)證指“以正確的方式構(gòu)建系統(tǒng)”，即證明系統(tǒng)正確實(shí)施且符合其質(zhì)量標(biāo)準(zhǔn)（滿足技術(shù)要求）。確認(rèn)指“構(gòu)建正確的系統(tǒng)”，即證明系統(tǒng)執(zhí)行任務(wù)的準(zhǔn)確性的程度（滿足預(yù)期用途）。

針對AIMD的驗(yàn)證，應(yīng)定義與一致性、完整性、正確性和冗余概念相關(guān)的驗(yàn)證方法，以實(shí)現(xiàn)異常檢測和/或錯誤消除，從而建立對系統(tǒng)的信心。開發(fā)者可以在知識庫中記錄他們擁有或獲得的專業(yè)知識，這將為AIMD系統(tǒng)算法的“可解釋性”奠定基礎(chǔ)。這是該過程的重要可交付成果，隨著算法的日趨成熟以及內(nèi)容的性質(zhì)，需要不斷修訂，預(yù)期它會成為具有非常復(fù)雜的科學(xué)和數(shù)學(xué)內(nèi)容的高技術(shù)性文件，并且可能從數(shù)據(jù)科學(xué)家的角度編寫。

針對AIMD系統(tǒng)的確認(rèn)。一般而言，確認(rèn)是指通過檢查和提供客觀證據(jù)來證實(shí)設(shè)計(jì)的系統(tǒng)符合用戶需求和預(yù)期用途的過程。具體到AIMD，則是指通過使用獨(dú)立的參考標(biāo)準(zhǔn)來衡量系統(tǒng)性能的過程。參考標(biāo)準(zhǔn)可有多種來源，包括明確定義的基準(zhǔn)事實(shí)（例如患者是否患有系統(tǒng)預(yù)測的疾病）、相關(guān)領(lǐng)域?qū)＜业墓沧R（例如比較AIMD與病理學(xué)家對活檢標(biāo)本的解讀）或臨床醫(yī)生做出的臨床決定。

3.3 AIMD應(yīng)用場景示例

本節(jié)介紹了在醫(yī)療衛(wèi)生系統(tǒng)中使用AIMD軟件的實(shí)際場景以及發(fā)生變更的實(shí)際情況。

3.3.1 肌電假體控制

肌電控制假肢是一種通過用戶自身肌肉產(chǎn)生的電信號實(shí)現(xiàn)控制的外部供電假肢。大多數(shù)假肢控制方法的局限性在于控制器無法隨時間推移適應(yīng)患者及其意圖或使用模式的變化。因此，大多數(shù)假肢使用者無法在診所外獨(dú)立改善其肢體控制器。而AIMD配合機(jī)器學(xué)習(xí)，能夠了解并預(yù)測用戶意圖，并根據(jù)使用者反饋不斷改進(jìn)控制。因此，需要針對每例患者對器械進(jìn)行訓(xùn)練，并使該器械在患者使用后仍可繼續(xù)學(xué)習(xí)。依據(jù)使用者培訓(xùn)不同，每例患者的器械表現(xiàn)出來的性能可能有所不同，進(jìn)而需要相應(yīng)的魯棒性能評估方法。

3.3.2 基于AIMD分類的醫(yī)學(xué)影像篩查系統(tǒng)

AIMD系統(tǒng)已廣泛應(yīng)用于醫(yī)學(xué)影像篩查。以胸部CT影像檢測肺癌為例，選擇了特定于深度學(xué)習(xí)架構(gòu)進(jìn)行初步訓(xùn)練。該架構(gòu)包括層數(shù)量、每一層卷積核大小、每一層卷積核的數(shù)量、每一層激活函數(shù)的類型、每一層應(yīng)用梯度下降算法等。如果設(shè)計(jì)人員希望有更多數(shù)據(jù)可用時對AIMD架構(gòu)進(jìn)行再訓(xùn)練，在訓(xùn)練時，不僅神經(jīng)網(wǎng)絡(luò)權(quán)值會發(fā)生變化，甚至整個架構(gòu)都會發(fā)生變化。因此，權(quán)值/系數(shù)發(fā)生變化但其架構(gòu)保持不變的AIMD和權(quán)值/系數(shù)和架構(gòu)均發(fā)生變化的AIMD對持續(xù)學(xué)習(xí)的置信度和適應(yīng)性均有顯著的差別。

4 總結(jié)

AIMD正處于蓬勃發(fā)展期，為臨床醫(yī)生提高醫(yī)療診斷效率和治療的可靠性提供了幫助，目前有許多AIMD正在臨床實(shí)踐中使用，因此，需要針對AIMD的需要建立動態(tài)穩(wěn)健的質(zhì)量管理模式，在縮短產(chǎn)品研發(fā)與驗(yàn)證周期的同時，及時前瞻性地發(fā)現(xiàn)AIMD帶來的新的使用風(fēng)險(xiǎn)。本文討論了AIMD的質(zhì)量管理體系框架，在此基礎(chǔ)上，討論了影響人工智能醫(yī)療器械質(zhì)量的關(guān)鍵因素，設(shè)計(jì)變更和驗(yàn)證確認(rèn)環(huán)節(jié)的控制思路。并對人工智能醫(yī)療器械在質(zhì)量評價(jià)過程中需重點(diǎn)關(guān)注的軟件可解釋性、評價(jià)方法和驗(yàn)證和確認(rèn)進(jìn)行了討論。