機器學習在治療藥物監(jiān)測與個體化用藥中的應用 Δ

詹世鵬，馬攀，劉芳 （陸軍軍醫(yī)大學第一附屬醫(yī)院藥劑科，重慶 400038）

國務院于2017年7月20日發(fā)布的《新一代人工智能發(fā)展規(guī)劃》，明確將人工智能（artificial intelligence，AI）作為未來國家重要的發(fā)展戰(zhàn)略。近年來，AI不斷得到各領域的重視，取得了令人矚目的發(fā)展。機器學習是AI的一種實現(xiàn)方式，也是一門專注于研究計算機如何從數(shù)據(jù)中學習的科學學科[1]，通過強大的計算算法，可以實現(xiàn)對數(shù)據(jù)高效、準確地分析和預測[2]。醫(yī)療大數(shù)據(jù)給機器學習提供了海量的數(shù)據(jù)來源，近年來，機器學習已在醫(yī)療監(jiān)護[3]、影像判斷[4]、衛(wèi)生決策[5]等領域發(fā)揮了重要作用。在藥學領域，機器學習在藥物研發(fā)階段的應用已趨于成熟[6]，但在治療藥物監(jiān)測和個體化用藥領域仍處于上升階段。

個體化用藥旨在為患者“量體裁藥”，提供精準化藥學服務。治療藥物監(jiān)測為個體化用藥提供了重要的技術支撐。既往基于治療藥物監(jiān)測的個體化用藥模型構建多采用群體藥動學模型，存在建模困難、影響因素考慮較少且準確度不高的局限性。機器學習可通過對數(shù)據(jù)的多層次挖掘，篩選出多個影響因素，并將其一并納入分析，從而構建出實用性更強、準確度更高的個體化用藥模型[7—8]。因此，機器學習與個體化用藥的結合有助于臨床更好地實現(xiàn)精準用藥。本研究擬通過查閱國內(nèi)外相關文獻，對機器學習在治療藥物監(jiān)測與個體化用藥中的應用進行綜述，以期為臨床精準用藥提供理論依據(jù)和技術支撐。

1 機器學習概況

機器學習的本質(zhì)是通過算法使計算機從大量的數(shù)據(jù)中學習規(guī)律并形成相應的模型，并對該模型進行驗證和不斷優(yōu)化，其目標是對新的樣本作出識別和預測[9]。因此，機器學習的能力是訓練出來的，不是明確地用程序編寫出來的[10]。機器學習根據(jù)學習方式可以分為監(jiān)督式學習、半監(jiān)督式學習、非監(jiān)督式學習和強化學習四大類[11]。

1.1 監(jiān)督式學習

在監(jiān)督式學習中，每組訓練數(shù)據(jù)都有一個明確的目標變量，這個變量由已知的一系列預示變量預測而來。監(jiān)督式學習主要用于解決分類及回歸問題，常見的基于監(jiān)督式學習的算法包括——（1）回歸算法：采用對誤差的衡量來探索變量之間的關系，代表算法有線性回歸、邏輯回歸等。（2）決策樹算法：根據(jù)數(shù)據(jù)的屬性采用樹狀結構建立決策模型，代表算法有分類回歸樹、多元自適應回歸樣條等。（3）貝葉斯算法：基于貝葉斯定理的一類算法，代表算法有樸素貝葉斯、貝葉斯網(wǎng)絡等。（4）基于核的算法：將輸入數(shù)據(jù)映射到高維空間中，并在高維空間學習得到對應的線性模型，使模型具有極強的非線性表達能力，代表算法有支持向量機、徑向基函數(shù)等。（5）人工神經(jīng)網(wǎng)絡：模擬生物神經(jīng)網(wǎng)絡，通過大量節(jié)點互相連接構成網(wǎng)絡，代表算法有感知器神經(jīng)網(wǎng)絡、反向傳遞等。

1.2 半監(jiān)督式學習

在半監(jiān)督式學習中，輸入的數(shù)據(jù)部分被標識，部分未被標識，這種學習模型可以用來預測，但是模型首先需要學習數(shù)據(jù)的內(nèi)在結構以便合理地組織數(shù)據(jù)來進行預測。半監(jiān)督式學習的算法大多是常用監(jiān)督式學習算法的延伸，即先對未標識數(shù)據(jù)進行建模，在此基礎上再對標識的數(shù)據(jù)進行預測，如圖論推理算法或者拉普拉斯支持向量機等。

1.3 非監(jiān)督式學習

在非監(jiān)督式學習中，數(shù)據(jù)并不被特別標識，學習的目的是推斷出數(shù)據(jù)的一些內(nèi)在結構。該算法主要用于聚類和降維，其中用于聚類的主要有K-均值算法、分層聚類等，用于降維的主要有主成分分析、偏最小二乘回歸等。

1.4 強化學習

強化學習的工作機制是將機器放在一個能讓其通過反復試錯來訓練自己的環(huán)境中，從過去的經(jīng)驗中進行學習，通過學習策略達成回報最大化。其與監(jiān)督式學習、非監(jiān)督式學習等的最大不同之處在于，其是通過與環(huán)境之間的交互和反饋來學習的，例如馬爾可夫模型。

1.5 其他

除了以上單個的算法外，目前集成學習算法也在逐漸流行。集成學習算法本身不算一種單獨的機器學習算法，而是通過構建并結合多個機器學習器來完成學習任務，集各種算法的優(yōu)點于一體，能在機器學習算法中擁有較高的準確率，但同時訓練過程會相對復雜、效率較低。目前常見的集成學習算法主要有2種：基于Bagging的算法（如隨機森林）和基于Boosting的算法[如梯度提升樹、自適應增強和極致梯度提升（eXtreme Gradient Boosting，XGBoost）]。

2 機器學習在免疫抑制劑個體化給藥中的應用

臨床常用的免疫抑制劑有他克莫司、環(huán)孢素A、霉酚酸等，是移植術后抗排斥反應的基礎用藥。由于這類藥物治療窗窄，藥動學存在明顯的個體內(nèi)及個體之間的差異，常需通過監(jiān)測血藥濃度以優(yōu)化給藥劑量，確保藥物處于安全有效的治療范圍。目前已有較多基于群體藥動學的免疫抑制劑個體化用藥模型，但各模型間納入的影響因素差異較大，導致模型的外推性和適用性不強[12—14]。機器學習可將所有可能的影響因素納入分析，外推性和實用性更強。

2.1 他克莫司

他克莫司是目前實體器官移植（如肝移植、腎移植）術后抗排斥反應的一線用藥。國內(nèi)學者任斌教授團隊通過人工神經(jīng)網(wǎng)絡模型預測了腎移植[15]和肝移植患者[7—8，16]體內(nèi)的他克莫司血藥濃度，進行了個體化給藥研究。該團隊以患者性別、年齡、體質(zhì)量、身高、術后時間、他克莫司每日劑量或累積劑量、免疫抑制方案（二聯(lián)或三聯(lián)）、他克莫司濃度測定前3 d（或測定前4 d）各項實驗室檢查結果以及合并用藥等為輸入變量，采用神經(jīng)網(wǎng)絡方法建模，利用遺傳算法配合動量法優(yōu)化網(wǎng)絡參數(shù)，最終建立基于人工神經(jīng)網(wǎng)絡的他克莫司血藥濃度預測模型，預測他克莫司血藥濃度。以平均預測誤差和平均絕對誤差為參數(shù)進行評估，同時與多元線性回歸和群體藥動學常用的非線性混合效應模型進行對比，結果發(fā)現(xiàn)，其所建立的人工神經(jīng)網(wǎng)絡模型在預測的相關性、準確性和精密度方面都要更優(yōu)。Chen等[17]也采用人工神經(jīng)網(wǎng)絡模型，以性別、年齡、體質(zhì)量、受者和供者的巨細胞病毒狀態(tài)、移植時長、實驗室檢查指標為變量，預測了美國肝移植患者他克莫司的血藥濃度。結果顯示，他克莫司模型預測值與實測值無明顯差異[（12.05±2.67）ng/mL vs.（12.14±2.64）ng/mL，P＝0.80]，平均絕對誤差為1.74 ng/mL。這表明，使用人工神經(jīng)網(wǎng)絡模型可精確預測肝移植患者的他克莫司血藥濃度，指導移植患者精準化個體化用藥。Thishya等[18]也采用人工神經(jīng)網(wǎng)絡模型預測了他克莫司在腎移植患者中的生物利用度，并嘗試解釋ABCB1和CYP3A5基因多態(tài)性對他克莫司生物利用度的影響。結果發(fā)現(xiàn)，CYP3A5*3等位基因和ABCB1基因與他克莫司的生物利用度高度相關；ABCB1聯(lián)合CYP3A5*3基因對預測他克莫司生物利用度具有更好的效果，有利于改善治療效果并預防毒性。

除人工神經(jīng)網(wǎng)絡模型外，其他機器學習模型也在他克莫司個體化用藥中有所應用。Cai等[19]收集了182例腎移植術后至少3個月的患者數(shù)據(jù)，納入了包括內(nèi)源性CYP3A4表型、CYP3A5基因型和一些常規(guī)的實驗室檢查數(shù)據(jù)以及基本人口信息學資料，通過建立隨機森林模型實現(xiàn)了對腎移植患者他克莫司血藥濃度和劑量的精準預測。Seeling等[20]應用回歸樹模型預測了腎移植患者他克莫司的血藥濃度水平，并將該模型轉化為知識庫，直接整合應用于維也納總醫(yī)院的信息系統(tǒng)中。Tang等[21]比較了多元線性回歸和其他8種機器學習算法（人工神經(jīng)網(wǎng)絡、多元自適應回歸、回歸樹、增長回歸樹、支持向量回歸、隨機森林回歸、套索回歸和貝葉斯加性回歸樹）在預測他克莫司穩(wěn)定劑量方面的性能，以平均絕對誤差為指標進行判斷。結果發(fā)現(xiàn)，8種機器學習算法構建的模型結果相似，其中回歸樹模型在訓練集和驗證集中均獲得了最優(yōu)的預測性能，優(yōu)于傳統(tǒng)多元線性回歸模型。Woillard等[22]采用4種機器學習模型對他克莫司常規(guī)制劑以及緩釋制劑的藥-時曲線下面積和推薦給藥劑量進行擬合，以相對平均誤差和均方根誤差為指標進行評價，并與群體藥動學模型進行比較。結果發(fā)現(xiàn)，基于3個濃度點的XGBoost算法得到的擬合結果最優(yōu)，但目前這種學習算法需要大樣本量的原始數(shù)據(jù)，具有局限性。針對這一局限性，該團隊隨后利用文獻報道的群體藥動學數(shù)據(jù)，采用蒙特卡洛法擬合擴大樣本量后，仍以基于3個濃度點的XGBoost算法建模。結果發(fā)現(xiàn)，該模型可用于估計他克莫司的藥-時曲線下面積，從而擴展了機器學習的外延性[23]。

2.2 環(huán)孢素

環(huán)孢素屬于鈣調(diào)磷酸酶類抑制劑，常用于預防實體器官移植受者的排斥反應，也用于治療各種免疫介導性疾病。國內(nèi)學者余俊先等[24—26]利用人工神經(jīng)網(wǎng)絡建立了腎移植患者環(huán)孢素的血藥濃度預測模型與個體化給藥模型，所建模型預測誤差率小于20%，可有助于臨床根據(jù)預測模型調(diào)整劑量。徐楚鴻等[27]將人工神經(jīng)網(wǎng)絡用于預測腎移植患者術后環(huán)孢素的血藥濃度，其收集了60例腎移植患者環(huán)孢素的血藥濃度，將身高、體質(zhì)量、肝腎功等13項指標采用反向傳播算法構建人工神經(jīng)網(wǎng)絡模型，同時采用多元線性回歸法進行預測，并比較二者的預測結果。結果顯示，人工神經(jīng)網(wǎng)絡模型預測值與實測值之間相關系數(shù)r為0.931 4，優(yōu)于多元線性回歸（r＝0.714 5），提示人工神經(jīng)網(wǎng)絡模型優(yōu)于傳統(tǒng)多元線性回歸模型，可用于環(huán)孢素的血藥濃度預測。張靖悅等[28]建立了基于主成分分析-多項式曲線回歸的人全血中環(huán)孢素谷濃度的預測模型。該研究收集了37例確診為免疫相關性全血細胞減少癥并使用環(huán)孢素治療的患者，首先采用主成分分析法對33個生理生化指標降維簡化，確定了10個主成分，再以多元線性回歸模型和多項式曲線回歸模型擬合建模。結果顯示，主成分分析-多項式曲線回歸模型的擬合優(yōu)度為1.000，均方誤差為3×e-15，表明該模型擬合優(yōu)度高、均方誤差較小，適用于患者環(huán)孢素谷濃度的預測。

國外不少學者也通過機器學習建立了環(huán)孢素濃度預測或劑量預測模型。Camps-Valls等[29]將神經(jīng)網(wǎng)絡模型用于預測環(huán)孢素的個體化給藥劑量。該研究共納入32例患者，隨機分為訓練集（n＝22）和測試集（n＝10），將患者的年齡、體質(zhì)量、性別、移植時長、給藥劑量、血藥濃度和肌酐水平等指標作為變量，通過建立兩層鏈式模型，先預測環(huán)孢素的血藥濃度，再進一步預測環(huán)孢素的給藥劑量，并采用3種神經(jīng)網(wǎng)絡模型以及集成模型進行預測和驗證，并與傳統(tǒng)的時間序列常用模型——自回歸移動平均模型進行比較。結果發(fā)現(xiàn)，神經(jīng)網(wǎng)絡模型的預測結果比傳統(tǒng)模型的結果精確；而3種神經(jīng)網(wǎng)絡模型結果間差異無統(tǒng)計學意義，且與集成模型結果的差異也無統(tǒng)計學意義。這提示神經(jīng)網(wǎng)絡可用于環(huán)孢素的血藥濃度和給藥劑量預測，從而輔助指導臨床用藥。Hoda等[30]采用進化算法預測了環(huán)孢素的全血谷濃度，其將101名接收心臟移植并使用環(huán)孢素治療的患者，隨機分為訓練集（n＝64）和測試集（n＝37），將年齡、性別、體質(zhì)量、身體質(zhì)量指數(shù)、住院時間、移植術后時長、免疫抑制方案、血清肌酐、膽紅素水平、環(huán)孢素日劑量等15個數(shù)字變量和50個符號變量納入研究，隨后將預測濃度與實測濃度進行比較。結果顯示，訓練集和測試集的平均百分誤差分別為（7.1±5.4）%、（8.0±6.7）%，預測濃度和實測濃度的相關系數(shù)分別為0.93、0.85，預測準確率為80%～90%。通過該項技術，有望實現(xiàn)不用采集患者血樣即可準確預測患者的環(huán)孢素血藥濃度，從而降低衛(wèi)生系統(tǒng)成本。Leclerc等[31]以一種樹增強樸素貝葉斯網(wǎng)絡模型，預測了兒科造血干細胞移植術后環(huán)孢素從靜脈注射切換到口服給藥時的給藥劑量。該學者收集了某中心10年間的兒科造血干細胞移植患者數(shù)據(jù)，將前8年的157例患者數(shù)據(jù)作為訓練集，后2年的54例患者數(shù)據(jù)作為測試集，將多個變量納入建模，最終生成了一種在線決策支持工具，通過在頁面端口輸入各變量值，即可實現(xiàn)對靜脈注射轉換為口服給藥時的第一劑環(huán)孢素劑量的預測。

2.3 霉酚酸

霉酚酸是一種淋巴細胞增殖的強效抑制劑，有研究發(fā)現(xiàn)，霉酚酸的谷濃度與療效及不良反應的相關性不強，而體內(nèi)暴露量的藥-時曲線下面積與療效及不良反應有較強的相關性。目前臨床對于霉酚酸的監(jiān)測，多采用有限采樣法，即選擇3～4個采樣點，以多元線性回歸構建公式推算霉酚酸的體內(nèi)暴露量。但目前國內(nèi)外暫無統(tǒng)一的公式，不同公式計算得到的曲線下面積不同，使得基于曲線下面積的療效與安全性評價缺乏室間可比性。任斌教授團隊采用遺傳算法配合動量法優(yōu)化網(wǎng)絡參數(shù)，建立了人工神經(jīng)網(wǎng)絡，以0、0.5、2 h的血藥濃度數(shù)據(jù)預測0～12 h的曲線下面積，結果顯示，該人工神經(jīng)網(wǎng)絡模型的平均預測誤差與平均絕對誤差分別為-1.53%、9.12%，且準確度和精密度均優(yōu)于多元線性回歸[32]。此外，該團隊還通過人工神經(jīng)網(wǎng)絡以服藥前及服用霉酚酸制劑0.5、2 h后的血藥濃度數(shù)據(jù)預測霉酚酸的藥動學。結果發(fā)現(xiàn)，人工神經(jīng)網(wǎng)絡平均預測誤差和平均絕對誤差分別為（0.39±1.24）、（0.90±0.94） μg/mL，以霉酚酸預測濃度計算的藥動學參數(shù)與實際濃度計算的藥動學參數(shù)差異無統(tǒng)計學意義（P＞0.05）[33]。Woillard等[34]利用6 884例患者的12 877個霉酚酸藥-時曲線下面積數(shù)據(jù)，開發(fā)了基于2個或3個濃度的機器學習模型，將75%的數(shù)據(jù)作為訓練集，25%的數(shù)據(jù)作為測試集。結果顯示，該研究采用XGBoost算法建立的基于3個血藥濃度點的霉酚酸藥-時曲線下面積估算模型，比傳統(tǒng)群體藥動學模型更優(yōu)。

3 機器學習在抗感染藥物個體化給藥中的應用

治療藥物監(jiān)測對治療指數(shù)小、毒性大且個體差異大的抗菌藥物較為重要，對提高療效、降低毒副作用具有重要意義。隨著基于藥動學/藥效學模型的抗感染藥物用藥管理，越來越多的抗感染藥物被納入治療藥物常規(guī)監(jiān)測項目中。當下，將機器學習與抗感染藥物個體化用藥相結合已成為研究熱點，目前開展研究較多的主要是萬古霉素。

萬古霉素屬于糖肽類抗生素，廣泛用于治療耐甲氧西林金黃色葡萄球菌和其他革蘭氏陽性菌感染。但萬古霉素治療窗窄，較易發(fā)生腎損傷等不良反應，因此有必要對其進行血藥濃度監(jiān)測以降低不良反應的發(fā)生率。Huang等[35]采用集成算法對兒科患者應用萬古霉素的谷濃度進行了預測，其納入了407例使用萬古霉素并開展了治療藥物監(jiān)測的兒童患者，以萬古霉素谷濃度為目標變量，對8種不同算法的預測性能進行了比較，最終選擇R2值較高的5種算法構建集成模型。結果顯示，與經(jīng)典的群體藥動學預測模型相比，該集成模型擬合度及準確度均更高。隨后，該團隊又納入184例患者數(shù)據(jù)，采用XGBoost算法，對患者人口學信息、萬古霉素相關信息、實驗室檢查指標等共計29個變量進行了擬合，并采用SHAP（Shapley Additive exPlanations）方法對各變量的影響進行直觀的展示和解釋，以平均絕對誤差、均方誤差和均方根誤差為指標進行模型評價。結果顯示，XGBoost算法擬合得到的模型R2為67.5%，平均絕對誤差、均方誤差和均方根誤差分別為0.212、0.097、0.310。該研究進一步采用SHAP方法解釋了前10個重要的影響變量，有望將這種方法應用于臨床實踐[36]。一項日本的研究使用機器學習和決策樹分析構建了萬古霉素初始劑量設置的最佳算法[37]。該研究納入654例輸注萬古霉素并接受治療藥物監(jiān)測的患者，分為訓練集（n＝496）和測試集（n＝158）。訓練集采用分類與回歸樹算法進行決策樹分析，構建萬古霉素初始劑量設置的算法（即決策樹算法）；測試集比較了決策樹算法和3種常規(guī)劑量設置方法分別達到萬古霉素治療范圍的百分率。結果顯示，與傳統(tǒng)的劑量設置方法相比，決策樹算法更優(yōu)。

4 機器學習在抗癲癇藥物個體化給藥中的應用

目前癲癇治療以抗癲癇藥物為主，常用的抗癲癇藥物如丙戊酸、卡馬西平、苯妥英鈉等都具有個體差異大、治療周期相對較長的特點[38]。按照臨床治療指南的建議，需對這類藥物進行藥物濃度監(jiān)測，以提高療效、降低不良反應[39]。

4.1 丙戊酸

本課題組曾采用支持向量機技術對丙戊酸的血藥濃度進行預測[40]。本課題組收集了206例患者共計271例樣本，分為訓練集（n＝190）和測試集（n＝81），將血藥濃度和16個影響血藥濃度的因素一并納入考量，先基于支持向量機技術對訓練集進行訓練并構建預測模型，再用外部驗證法將81個測試樣本的預測濃度值與實測值進行對比。結果顯示，所建立的血藥濃度預測模型取得了良好的預測效果，預測值與實測值的相對誤差小于20%的樣本比例達85.18%，平均絕對誤差為9.98 mg/L，預測值與實測值的相關系數(shù)為0.788。這提示該模型準確度較好、相對誤差較小，可為臨床制定個體化給藥方案提供參考。

4.2 拉莫三嗪

拉莫三嗪是第二代抗癲癇藥物，其藥動學變異大，導致患者用藥個體差異大，因此有必要進行血藥濃度監(jiān)測和個體化用藥。Zhu等[41]采用機器學習算法預測了拉莫三嗪的穩(wěn)態(tài)谷濃度與劑量比值，其納入了1 141個血藥濃度監(jiān)測點，將其中80%數(shù)據(jù)作為訓練集用于模型構建，剩余20%數(shù)據(jù)作為測試集用于模型測試，以平均絕對誤差為評價指標，對15個模型進行了10倍交叉驗證的優(yōu)化和評估。結果顯示，非線性模型優(yōu)于線性模型；非線性模型中樹外回歸算法性能良好、擬合模型最優(yōu)，且經(jīng)驗證，其可準確預測拉莫三嗪的穩(wěn)態(tài)谷濃度與劑量比值。

5 不足與展望

近年來，面對臨床大樣本、多影響因素、非線性關聯(lián)的診療數(shù)據(jù)，相比于傳統(tǒng)的基于群體藥動學的方法，機器學習算法在處理高維數(shù)據(jù)方面展現(xiàn)出了強大的優(yōu)勢，現(xiàn)已在免疫抑制劑、抗感染藥物和抗癲癇藥物等血藥濃度預測和給藥劑量預測領域取得了顯著的成績，在一定程度上提高了臨床個體化用藥水平，但仍存在一些局限性。

首先，機器學習構建的模型不易解讀。傳統(tǒng)的統(tǒng)計學方法或基于群體藥動學構建的模型，對于輸入值和處理過程都有相對明確的關系。但目前絕大多數(shù)的機器學習算法具有自主學習能力，沒有明確的處理過程，常常被認為是“暗箱”，從而造成結果不易解釋和難以理解?，F(xiàn)有研究應用SHAP方法有助于模型結果的解釋，后續(xù)可利用人工智能技術將機器學習算法的實現(xiàn)過程更加“透明化”。

其次，機器學習需要的數(shù)據(jù)量大，其本質(zhì)和核心是通過算法使計算機從大量的數(shù)據(jù)中學習規(guī)律并形成相應的模型，進而對該模型進行驗證和不斷優(yōu)化。因此，機器學習得到的預測模型需要不斷使用大量數(shù)據(jù)進行訓練保證其有效。但目前相關研究所用的樣本量都不算大，且現(xiàn)有的醫(yī)療環(huán)境在數(shù)據(jù)共享方面還存在較大壁壘，導致預測模型的準確率還有待進一步提高。因此，今后的臨床數(shù)據(jù)應盡量做到規(guī)范化、結構化，使診療大數(shù)據(jù)能真正地被應用于臨床AI分析。

再次，機器學習對計算機知識背景要求較高，但目前多數(shù)醫(yī)務工作者對該領域了解不多，使得其應用受限；而擁有計算機知識背景的人員可能對醫(yī)學知識不太了解，導致其所建模型和預測結果讓臨床人員難以理解。隨著機器學習的快速發(fā)展，學科交叉的不斷深入，今后可推薦醫(yī)務工作者接受機器學習相關訓練，從而能更好地分析、整合信息并在機器學習的輔助下作出更為科學的臨床決策。

總之，基于治療藥物監(jiān)測的個體化治療是臨床合理用藥的重要環(huán)節(jié)，機器學習相比傳統(tǒng)方法能夠更精準地預測血藥濃度和給藥劑量，提高臨床精準用藥水平，減少不良反應的發(fā)生。相信在未來的治療藥物監(jiān)測和個體化用藥實踐中，機器學習將發(fā)揮更大的作用，實現(xiàn)個體化治療決策的智能化。