部分可觀察馬爾科夫決策過(guò)程優(yōu)化不穩(wěn)定型心絞痛中西醫(yī)結(jié)合臨床治療方案的建模方法與驗(yàn)證研究

馮 妍，馮 奇，王以新*，邱 禹，周雪忠，徐 浩

部分可觀察馬爾科夫決策過(guò)程（partially observable Markov decision-making process，POMDP）是一種數(shù)據(jù)挖掘的科學(xué)算法，用以解決序列決策問(wèn)題［1］。在實(shí)際診療過(guò)程中，醫(yī)生制定個(gè)體化的治療方案的思路均是先分析患者當(dāng)前的健康狀態(tài)再做出評(píng)估處理，然而，患者的健康狀態(tài)和處方療效常受到多種因素的影響。任何疾病特別是一些慢性病很難一蹴而就，常常需要多次的方案調(diào)整才能得到病情好轉(zhuǎn)或穩(wěn)定的結(jié)果［2］。所以，從根本上解決臨床治療方案優(yōu)化問(wèn)題就是要解決如何在不確定條件下得到最優(yōu)序列決策。POMDP正是這樣一種解決序列決策問(wèn)題的數(shù)學(xué)方法，其決策過(guò)程和臨床方案的制定過(guò)程類似，本文選取不穩(wěn)定型心絞痛（unstable angina，UA）的建模和中西醫(yī)結(jié)合臨床治療方案優(yōu)化過(guò)程，對(duì)此模型做詳細(xì)介紹并加以驗(yàn)證。研究對(duì)開展UA中西醫(yī)結(jié)合治療臨床療效的即時(shí)客觀評(píng)價(jià)、開展根據(jù)患者臨床特點(diǎn)的中西醫(yī)結(jié)合“個(gè)體化治療”，從而減少UA的發(fā)病率有著重要意義。

1 POMDP模型數(shù)據(jù)庫(kù)的建立

1.1 診斷標(biāo)準(zhǔn) UA診斷標(biāo)準(zhǔn)參照中華醫(yī)學(xué)會(huì)心血管病學(xué)分會(huì)發(fā)布的《不穩(wěn)定型心絞痛與非ST段抬高心肌梗死診斷與治療指南》［3］，根據(jù)心絞痛發(fā)作的性質(zhì)、特點(diǎn)，結(jié)合發(fā)作時(shí)典型心電圖改變、運(yùn)動(dòng)平板心電圖、動(dòng)態(tài)心電圖、心肌核素掃描、冠脈造影結(jié)果、危險(xiǎn)因素等綜合判斷，以提高診斷的準(zhǔn)確性。中醫(yī)辨證標(biāo)準(zhǔn)參照中國(guó)中西醫(yī)結(jié)合學(xué)會(huì)心血管學(xué)會(huì)《冠心病中醫(yī)辨證標(biāo)準(zhǔn)》［4］和《中醫(yī)內(nèi)科學(xué)》［5］胸痹心痛辨證標(biāo)準(zhǔn)。

1.2 納入標(biāo)準(zhǔn)、排除標(biāo)準(zhǔn)及終點(diǎn)事件 納入標(biāo)準(zhǔn)：（1）符合UA診斷標(biāo)準(zhǔn)；（2）既往有陳舊心肌梗死病史或經(jīng)冠狀動(dòng)脈造影證實(shí)至少有1支冠狀動(dòng)脈狹窄≥50%；（3）UA為西醫(yī)第一診斷的住院患者；（4）簽署知情同意書。排除標(biāo)準(zhǔn)：隨訪1年內(nèi)發(fā)生終點(diǎn)事件。終點(diǎn)事件：（1）主要終點(diǎn)事件：心血管死亡、非致命性心肌梗死、血運(yùn)重建術(shù)（包括介入治療、冠狀動(dòng)脈旁路移植術(shù)）；（2）次要終點(diǎn)事件：腦卒中、因急性冠脈綜合征再住院、心功能不全、其他血栓并發(fā)癥。

1.3 病例來(lái)源 研究所用的病例數(shù)據(jù)資料來(lái)自中國(guó)中醫(yī)科學(xué)院西苑醫(yī)院、中國(guó)中醫(yī)科學(xué)院廣安門醫(yī)院、中日友好醫(yī)院、北京市中醫(yī)院、通州區(qū)中醫(yī)院、東直門醫(yī)院、懷柔中醫(yī)醫(yī)院、北京大學(xué)人民醫(yī)院2008—2010年2 212例UA患者結(jié)構(gòu)化住院病歷記錄。患者均先后接受了至少5個(gè)診次的治療，獲得111 060條診次的病歷記錄。每例患者的病歷記錄均按照時(shí)間順序在數(shù)據(jù)庫(kù)中存儲(chǔ)。

2 POMDP模型算法的建立

2.1 模型概述 基于POMDP模型的中西醫(yī)結(jié)合治療方案動(dòng)態(tài)優(yōu)化是利用一定的數(shù)學(xué)計(jì)算，在大量的多維臨床數(shù)據(jù)中，嘗試用數(shù)據(jù)挖掘方法發(fā)現(xiàn)和提煉臨床實(shí)踐中的中西醫(yī)結(jié)合治療經(jīng)驗(yàn)，找到療效較好的中西醫(yī)結(jié)合臨床治療方案的過(guò)程。應(yīng)用POMDP模型建立處方?jīng)Q策模型，研究多階段復(fù)雜干預(yù)過(guò)程的處方?jīng)Q策方案的優(yōu)化方法，從而為臨床醫(yī)生治療方案的制定提供參考。

圖1展示了用POMDP模型模擬中西醫(yī)結(jié)合臨床診療過(guò)程建模的思路。每次就診過(guò)程中，患者處于某個(gè)特定的健康狀態(tài)，但是這種隱藏的健康狀態(tài)要通過(guò)患者癥狀、體征等表象展現(xiàn)出來(lái)。臨床醫(yī)生通過(guò)中、西醫(yī)臨床診斷和檢測(cè)手段相結(jié)合的方法觀察這些癥狀、體征，對(duì)當(dāng)前患者的健康狀況做出評(píng)估，根據(jù)一定的治療原則和方法制定處方。在下次就診時(shí)，醫(yī)生通過(guò)觀察患者癥狀、體征的變化以了解處方的療效，然后再動(dòng)態(tài)進(jìn)行處方的調(diào)整。

2.2 建模關(guān)鍵要素介紹 在這個(gè)解決中西醫(yī)結(jié)合治療不穩(wěn)定型心絞痛的方案優(yōu)化的POMDP模型建立過(guò)程中，需要模擬臨床的治療過(guò)程，有幾個(gè)關(guān)鍵要素是必須要采集和運(yùn)算的。

2.2.1 觀察 在中醫(yī)臨床中，臨床醫(yī)生利用望、聞、問(wèn)、切四診結(jié)合實(shí)驗(yàn)室檢查的方法獲得患者當(dāng)前診次的一些癥狀、體征。這些癥狀、體征在每個(gè)診次中都是可以被直觀觀察到的。多數(shù)情況下，臨床醫(yī)生每個(gè)診次會(huì)觀察到多個(gè)臨床癥狀。如冠心病患者可能同時(shí)出現(xiàn)諸如胸悶、心慌、胸痛、氣短、乏力等多個(gè)癥狀。所以，一個(gè)癥狀變量就是觀察到的一個(gè)癥狀，并依據(jù)嚴(yán)重程度用“無(wú)”“輕”“中”“重”來(lái)分層表示，以一組癥狀變量的取值情況來(lái)確定患者當(dāng)前的健康狀態(tài)。將所有癥狀的組合看作觀察集合，將每個(gè)癥狀變量定義為POMDP模型中的一個(gè)觀察變量。

圖1 用POMDP模型模擬中西醫(yī)結(jié)合臨床診療過(guò)程Figure 1 Using POMDP model to simulate the clinical diagnosis and treatment process of integrated traditional Chinese and western medicine

2.2.2 狀態(tài) 健康狀態(tài)是1例患者整體健康狀況的描述，在中西醫(yī)結(jié)合診療過(guò)程中，可以用“證候”來(lái)表示。臨床醫(yī)生需要通過(guò)各個(gè)診次觀察到的癥狀體征間接獲取患者的“證候”數(shù)據(jù)。相關(guān)研究也表明，“證候”是一種合理的疾病分類依據(jù)［3］。臨床數(shù)據(jù)庫(kù)以電子化的形式對(duì)患者每個(gè)診次診療過(guò)程中的全部癥狀、體征信息均給予記錄。將患者的癥狀、體征作為患者區(qū)別的集合并進(jìn)行聚類以得到模型中的狀態(tài)集合，使得具有相似“證候”的患者劃歸到同一分類中，并把這些不同“證候”類別作為一個(gè)健康狀態(tài)。選擇合適的聚類集合時(shí)要同時(shí)兼顧健康狀態(tài)之間的差別及常見癥狀的典型性。因而，這個(gè)選擇的過(guò)程需要中西醫(yī)結(jié)合臨床專家的分析和判斷。

每例患者個(gè)體化的癥狀體征數(shù)據(jù)的健康狀態(tài)歸屬和分類，將依據(jù)篩選得到最合適的聚類集合描述加以評(píng)估，并以患者癥狀、體征數(shù)據(jù)到聚類中心的距離來(lái)計(jì)算。

2.2.3 行動(dòng) 建立POMDP模型是為了實(shí)現(xiàn)依據(jù)現(xiàn)有臨床數(shù)據(jù)的分析和臨床反饋發(fā)現(xiàn)中西醫(yī)結(jié)合經(jīng)驗(yàn)處方，優(yōu)化臨床用藥方案，所以模型中的每次行動(dòng)都以患者的處方作為處理核心。

然而，加入了中草藥的處方數(shù)據(jù)后，每個(gè)診次和疾病治療階段的處方常包含15種以上規(guī)定了特定劑量的中藥和西藥，如果把每個(gè)處方都作為一個(gè)行動(dòng)處理，即使變動(dòng)一味中藥或西藥或調(diào)整某種中藥劑量也會(huì)導(dǎo)致原來(lái)處方的改變。因此，模型必須進(jìn)行處方簡(jiǎn)化處理。具體而言，就是用處方中的核心藥物組合作為行動(dòng)代表，對(duì)POMDP模型行動(dòng)簡(jiǎn)化處理，且暫不考慮處方中各藥物的劑量并忽略罕見藥物。這樣，每個(gè)處方都分解為核心藥物組合，并以此作為行動(dòng)的集合。

由于模型對(duì)患者數(shù)量的要求，此次模型只分析了UA診為血瘀、氣虛這兩種證候患者的處方。首先以復(fù)雜網(wǎng)絡(luò)的方法分析并篩選血瘀、氣虛患者所用的中藥核心處方（見圖2～3）。篩選后的中藥核心處方見表1。根據(jù)不同UA的西醫(yī)規(guī)范治療指南，用頻率分布圖篩選UA的西藥核心處方（見表2）。

將每個(gè)臨床用藥處方都整理成核心藥物方組合，這樣從病例數(shù)據(jù)庫(kù)中得到的處方方案就是由核心用藥處方組成的一個(gè)組合序列。

圖2 “血瘀”證素患者中醫(yī)處方用藥情況復(fù)雜網(wǎng)絡(luò)分析Figure 2 Complex network analysis of traditional Chinese medicine prescription in patients with blood stasis

圖3 “氣虛”證素患者中醫(yī)處方用藥情況復(fù)雜網(wǎng)絡(luò)分析Figure 3 Complex network analysis of traditional Chinese medicine prescription in patients with Qi deficiency

表1 中藥核心處方Table 1 Core traditional Chinese medicine prescription

表2 西藥核心處方Table 2 Core western medicine prescription

2.2.4 觀察變量和轉(zhuǎn)移函數(shù) 這是POMDP模型中的兩個(gè)核心參數(shù)。（1）觀察變量：每個(gè)診次臨床醫(yī)生所觀察到的癥狀體征是患者健康狀態(tài)的直觀反映。模型中，把患者臨床癥狀組成的向量當(dāng)作觀察變量，并假設(shè)這些癥狀變量之間是相互獨(dú)立的。（2）轉(zhuǎn)移函數(shù)：每個(gè)就診過(guò)程中，臨床醫(yī)生通過(guò)中、西醫(yī)檢查手段相結(jié)合的方法得到患者的臨床信息，再經(jīng)過(guò)對(duì)患者疾病現(xiàn)狀的診斷，應(yīng)用臨床知識(shí)和積累的經(jīng)驗(yàn)，給患者制定用藥方案，到下一個(gè)診次時(shí)，患者的健康狀態(tài)可能保持或發(fā)生一定的變化。轉(zhuǎn)移概率用來(lái)表示該患者在本模型中的健康狀態(tài)受治療影響后，相鄰診次健康狀態(tài)的變化規(guī)律。

2.2.5 立即效益值 立即效益值是POMDP值的主要評(píng)價(jià)指標(biāo)，用來(lái)評(píng)價(jià)每次行動(dòng)的價(jià)值，在本模型中即是評(píng)價(jià)每次處方對(duì)患者的綜合獲益。在建立的模型中，立即效益值用患者癥狀的改善程度來(lái)評(píng)價(jià)。

POMDP模型中的立即效益值依賴于相鄰診次的健康狀態(tài)變化，即前后兩個(gè)診次所有癥狀改善的相加值。

以冠心病患者為例，也可以根據(jù)癥狀的重要性和相關(guān)性給予不同的權(quán)重。如在某個(gè)健康狀態(tài)上，一些頻度更高的處方提示著臨床醫(yī)生的傾向性或該處方的臨床療效優(yōu)勢(shì)。因此，對(duì)立即效益值的計(jì)算，可用于優(yōu)化和篩選更有效的治療方案，也可發(fā)現(xiàn)有療效優(yōu)勢(shì)的經(jīng)驗(yàn)方案。

2.2.6 初始信念狀態(tài) 即觀察某個(gè)患者最初診次中所有的臨床癥狀及其嚴(yán)重程度，整合初診狀態(tài)集合中的每一個(gè)健康狀態(tài)，就得到關(guān)于這個(gè)患者的初始信念狀態(tài)。

3 POMDP模型驗(yàn)證研究

進(jìn)一步將POMDP模型優(yōu)化和發(fā)現(xiàn)中西醫(yī)結(jié)合治療方案的能力在冠心病的中西醫(yī)結(jié)合治療方案的優(yōu)化問(wèn)題上進(jìn)行驗(yàn)證比較。

3.1 驗(yàn)證方法 為研究應(yīng)用POMDP模型得出的UA中西醫(yī)結(jié)合治療方案的合理性，用SAS 2.16.1統(tǒng)計(jì)軟件將UA證候要素類型為氣虛、血瘀的患者隨機(jī)分為測(cè)試組732例和驗(yàn)證組732例，首先對(duì)測(cè)試組患者應(yīng)用POMDP模型得出一組最優(yōu)治療方案的核心處方，然后應(yīng)用之前的篩選程序在驗(yàn)證組患者中篩選符合方案的患者作為優(yōu)化組、不符合方案的患者作為對(duì)照組，進(jìn)行血瘀證積分［6］、遠(yuǎn)期終點(diǎn)事件發(fā)生情況的比較，驗(yàn)證方案的臨床療效，從而對(duì)POMDP模型的可靠性進(jìn)行驗(yàn)證。

匹配的基本條件為病癥相同，因考慮患者數(shù)量和研究的說(shuō)服力問(wèn)題，最終使用了證候?yàn)闅馓摵脱觥⒒€資料相同且治療方案中小于治療用藥總數(shù)70%藥物的患者作為匹配患者，不同的待驗(yàn)證患者不匹配相同的患者?；€資料主要是指年齡、性別、吸煙史、高血壓病史、糖尿病病史、高脂血癥病史。

最后符合氣虛治療方案的共有152例患者入選優(yōu)化組，符合血瘀治療方案的共有127例患者入選優(yōu)化組，待對(duì)照組患者的篩選及匹配完成后進(jìn)行兩組療效的評(píng)價(jià)，評(píng)價(jià)的指標(biāo)包括出院血瘀證積分降分及遠(yuǎn)期終點(diǎn)事件發(fā)生率。

3.2 統(tǒng)計(jì)學(xué)方法 以臨床平均效益值（average discount rewards，ADR）來(lái)比較由POMDP模型制定的治療方案和真實(shí)世界中的治療方案。采用SPSS 17.0統(tǒng)計(jì)軟件進(jìn)行驗(yàn)證研究的數(shù)據(jù)處理。呈正態(tài)分布的計(jì)量資料以（±s）表示，兩組間比較采用配對(duì)樣本t檢驗(yàn)。計(jì)數(shù)資料以相對(duì)數(shù)表示，組間比較采用χ2檢驗(yàn)。以P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。

3.3 驗(yàn)證結(jié)果 優(yōu)化組和對(duì)照組患者經(jīng)過(guò)軟件進(jìn)行配對(duì)處理后，兩組基線資料均衡可比。另通過(guò)對(duì)對(duì)照組和優(yōu)化組患者的血瘀證積分降分進(jìn)行正態(tài)性檢驗(yàn)，兩組為正態(tài)分布，故進(jìn)行配對(duì)樣本t檢驗(yàn)，優(yōu)化組患者的血瘀證積分降分較對(duì)照組患者更大（P＜0.05）；對(duì)兩組患者的遠(yuǎn)期終點(diǎn)事件發(fā)生率進(jìn)行χ2檢驗(yàn)，結(jié)果顯示兩組發(fā)生率比較，差異無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05），其中氣虛方案的研究中，優(yōu)化組發(fā)生事件25例，對(duì)照組發(fā)生28例；血瘀方案的研究中，優(yōu)化組發(fā)生事件16例，對(duì)照組發(fā)生18例（見表3～4）。

4 討論

POMDP是一種解決序列決策問(wèn)題數(shù)學(xué)算法，在醫(yī)學(xué)領(lǐng)域中常應(yīng)用于復(fù)雜治療方案的動(dòng)態(tài)優(yōu)化。本研究團(tuán)隊(duì)前期已將其在UA中西醫(yī)結(jié)合臨床治療方案優(yōu)化中進(jìn)行初步嘗試［7-9］。本文詳細(xì)描述了POMDP的關(guān)鍵參數(shù)、分析思路、數(shù)據(jù)分解過(guò)程，并利用多種新的數(shù)據(jù)挖掘方法得出的優(yōu)化治療建議，將患者人群分為測(cè)試組和驗(yàn)證組，以臨床隨訪終點(diǎn)事件和血瘀證改善積分為主要指標(biāo)，分析本次研究出的治療建議的可靠性及方法的可信度。

選取此次優(yōu)化治療方案使用的POMDP模型的方法，將患者隨機(jī)分為驗(yàn)證組和測(cè)試組，將模型得出的研究結(jié)果在驗(yàn)證中驗(yàn)證，對(duì)改善血瘀證積分水平和遠(yuǎn)期終點(diǎn)事件情況較不使用該方案組有明顯的療效。受觀察患者人數(shù)和觀察時(shí)間影響，兩組遠(yuǎn)期終點(diǎn)事件的發(fā)生率無(wú)明顯差別，但優(yōu)化組的事件發(fā)生人數(shù)略低于對(duì)照組。

從傳統(tǒng)醫(yī)學(xué)角度，冠心病的主要病機(jī)為血瘀，血瘀證候的嚴(yán)重程度在一定程度上反映了患者的病情。目前，血瘀證候的嚴(yán)重程度主要使用血瘀證積分量表進(jìn)行評(píng)價(jià)。結(jié)果顯示，POMDP優(yōu)化的UA中西醫(yī)結(jié)合治療方案在改善血瘀證方面有明顯優(yōu)勢(shì)，在長(zhǎng)期療效方面雖然暫時(shí)無(wú)明確的統(tǒng)計(jì)學(xué)意義，但也顯示了良好的趨勢(shì)。

表3 氣虛證兩組患者血瘀證積分降分和遠(yuǎn)期終點(diǎn)事件發(fā)生率比較Table 3 Comparison of the decrease of blood stasis scores and the incidence of long-term end-point events between the two groups of patients with Qi deficiency

表4 血瘀證兩組患者血瘀證積分降分和遠(yuǎn)期終點(diǎn)事件發(fā)生率比較Table 4 Comparison of the decrease of blood stasis scores and the incidence of long-term end-point events between the two groups of patients with blood stasis

本研究不僅是以數(shù)據(jù)模型進(jìn)行優(yōu)化方案的提取，也在一定程度上證實(shí)了POMDP模型生成的UA中西醫(yī)結(jié)合優(yōu)化治療方案的可靠性，對(duì)研究方法的嚴(yán)謹(jǐn)程度也有驗(yàn)證意義。更為細(xì)化、深入的研究方案，有待進(jìn)一步的相關(guān)患者的觀察結(jié)果。

本模型研究探索應(yīng)用POMDP算法，對(duì)UA患者中西醫(yī)結(jié)合治療方案的臨床療效即時(shí)評(píng)價(jià)，從而幫助實(shí)現(xiàn)UA中西醫(yī)結(jié)合適宜方案的快速優(yōu)化。應(yīng)在基層醫(yī)療機(jī)構(gòu)診療系統(tǒng)中添加智能模塊，以協(xié)助全科醫(yī)生應(yīng)用現(xiàn)代數(shù)據(jù)優(yōu)化方法開展冠心病等多種慢性病中西醫(yī)結(jié)合治療方案的即時(shí)智能推薦、臨床療效的即時(shí)客觀評(píng)價(jià)及根據(jù)患者臨床特點(diǎn)的中西醫(yī)結(jié)合“精準(zhǔn)治療”，從而提高基層醫(yī)療工作水平、減少多種慢性病臨床事件的發(fā)病率、提高基層智能化慢性病管理水平。研究也將為進(jìn)一步探索慢性病治療方案的優(yōu)化提供重要的研究依據(jù)和方法學(xué)基礎(chǔ)。

作者貢獻(xiàn)：馮妍負(fù)責(zé)病例采集、研究設(shè)計(jì)、文章撰寫；徐浩負(fù)責(zé)研究設(shè)計(jì)、審閱病歷及其他工作支持；王以新負(fù)責(zé)審閱病歷及其他工作支持；馮奇、周雪忠負(fù)責(zé)分析數(shù)據(jù)、模型編程；邱禹負(fù)責(zé)采集數(shù)據(jù)、數(shù)據(jù)統(tǒng)計(jì)。

本文無(wú)利益沖突。