• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于電子病歷的重癥老年患者急性腎損傷連續(xù)風(fēng)險(xiǎn)預(yù)測(cè)研究

    2022-07-14 05:48:16鄔金鳴孫海霞王嘉陽(yáng)
    關(guān)鍵詞:預(yù)測(cè)模型研究

    鄔金鳴 孫海霞 王嘉陽(yáng) 錢(qián) 慶

    (1.中國(guó)醫(yī)學(xué)科學(xué)院/北京協(xié)和醫(yī)學(xué)院醫(yī)學(xué)信息研究所醫(yī)學(xué)數(shù)據(jù)共享研究室,北京 100020; 2.中國(guó)醫(yī)學(xué)科學(xué)院/北京協(xié)和醫(yī)學(xué)院醫(yī)學(xué)信息研究所醫(yī)學(xué)智能計(jì)算研究室,北京 100020;3.中國(guó)醫(yī)學(xué)科學(xué)院/北京協(xié)和醫(yī)學(xué)院醫(yī)學(xué)信息研究所,北京 100020)

    急性腎損傷(acute kidney injury, AKI)是一種發(fā)病率高、病死率高、臨床不良事件發(fā)生率高的危急重病癥[1],在重癥監(jiān)護(hù)病房(intensive care unit,ICU)中全球發(fā)病率為5.7%~67%[2],病死率高達(dá)50%[3]。AKI發(fā)病群體日趨老齡化,隨年齡增長(zhǎng), 人體腎臟結(jié)構(gòu)和功能老化, AKI發(fā)生率也顯著增加[4]。國(guó)內(nèi)一項(xiàng)調(diào)查[5]顯示, 60歲以上AKI患者占院內(nèi)AKI總數(shù)的52.2%。

    急性腎損傷臨床實(shí)踐指南(kidney disease improving global outcomes,KDIGO)[6]指出,相較于確診AKI后再治療,事先識(shí)別高風(fēng)險(xiǎn)患者,提前干預(yù)將優(yōu)化預(yù)后結(jié)果。特別對(duì)于重癥患者,進(jìn)入ICU的最初幾個(gè)小時(shí)是AKI診療的黃金時(shí)間,這段時(shí)間的診斷和用藥可以影響AKI的發(fā)生和發(fā)展[7],早期干預(yù)可縮短ICU住院時(shí)間,降低病死率。理想情況下應(yīng)實(shí)時(shí)檢測(cè)和監(jiān)控患者腎功能,以便發(fā)生AKI時(shí)即刻診斷,及時(shí)調(diào)整藥物劑量和臨床治療。目前,AKI的診斷主要基于血清肌酐(serum creatinine,Scr)的上升或尿量的下降,但兩者皆具有明顯局限性,老年患者尿量常受利尿劑、尿路梗阻等因素影響,Scr也并非反映腎功能變化的敏感指標(biāo),因此可能導(dǎo)致延遲診斷[8]。

    近年來(lái),隨著醫(yī)院信息系統(tǒng)的快速發(fā)展,大量蘊(yùn)含高價(jià)值信息的電子病歷數(shù)據(jù)得以累積,機(jī)器學(xué)習(xí)等數(shù)據(jù)挖掘技術(shù)也愈發(fā)成熟,這為基于數(shù)據(jù)驅(qū)動(dòng)的方法預(yù)測(cè)患者AKI風(fēng)險(xiǎn)提供了可能。AKI風(fēng)險(xiǎn)預(yù)測(cè)是指預(yù)測(cè)個(gè)體在未來(lái)某個(gè)時(shí)期發(fā)生發(fā)展AKI(或相關(guān)事件)的風(fēng)險(xiǎn)概率,即根據(jù)某個(gè)人群定義,例如ICU老年人群,針對(duì)某個(gè)預(yù)測(cè)目標(biāo),如AKI發(fā)病,設(shè)定特定的時(shí)間窗口,包括數(shù)據(jù)采集時(shí)間窗和預(yù)測(cè)時(shí)間窗,預(yù)測(cè)目標(biāo)的發(fā)生概率。依此識(shí)別出高風(fēng)險(xiǎn)患者,可更好地對(duì)患者提供干預(yù)和護(hù)理,進(jìn)而改善患者預(yù)后,特別是若在AKI的早期可逆轉(zhuǎn)階段能夠及時(shí)發(fā)現(xiàn),從而可預(yù)防其進(jìn)展為腎衰竭以及避免后期需要的透析治療[6]。

    因此,本研究旨在基于電子病歷,面向重癥老年患者進(jìn)行AKI連續(xù)風(fēng)險(xiǎn)預(yù)測(cè),探索符合臨床應(yīng)用場(chǎng)景的早期連續(xù)動(dòng)態(tài)預(yù)測(cè)框架的可行性,識(shí)別最早有效預(yù)測(cè)時(shí)間窗和數(shù)據(jù)采集策略,以促進(jìn)機(jī)器學(xué)習(xí)在臨床決策支持中的應(yīng)用。具體為每隔6 h采集患者入ICU后的電子病歷數(shù)據(jù),分別基于當(dāng)前單位時(shí)間數(shù)據(jù)和累積數(shù)據(jù),利用邏輯回歸(Logistic regression,LR)、隨機(jī)森林(random forest, RF)、支持向量機(jī)(support vector machines,SVM)和輕量梯度提升機(jī)(light gradient boosting machine,LightGBM)4種經(jīng)典機(jī)器方法建模連續(xù)預(yù)測(cè)重癥老年患者未來(lái)48 h的AKI發(fā)病風(fēng)險(xiǎn)。

    1 資料與方法

    1.1 相關(guān)研究背景資料

    1.1.1 面向不同人群的AKI預(yù)測(cè)研究

    為識(shí)別患者AKI發(fā)病風(fēng)險(xiǎn)以指導(dǎo)臨床決策,諸多研究面向不同人群基于電子病歷數(shù)據(jù)構(gòu)建AKI預(yù)測(cè)模型。如Kristovic等[9]應(yīng)用邏輯回歸方法構(gòu)建了心臟手術(shù)后患者AKI預(yù)測(cè)模型,且基于KDIGO標(biāo)準(zhǔn)[6]對(duì)不同AKI分期進(jìn)行了預(yù)測(cè),模型曲線下面積(area under curve,AUC)達(dá)到0.78;Lee等[10]應(yīng)用7種機(jī)器學(xué)習(xí)方法與邏輯回歸方法構(gòu)建肝移植后AKI預(yù)測(cè)模型,對(duì)比發(fā)現(xiàn)梯度提升機(jī)(gradient boosting machine,GBM)實(shí)現(xiàn)最佳預(yù)測(cè)性能;Kate等[11]應(yīng)用邏輯回歸、支持向量機(jī)、決策樹(shù)和樸素貝葉斯方法構(gòu)建住院老年患者的AKI預(yù)測(cè)模型,發(fā)現(xiàn)邏輯回歸效果最好,但AUC僅為0.66;Flechet等[12]應(yīng)用隨機(jī)森林方法開(kāi)發(fā)面向成人ICU患者的在線AKI預(yù)測(cè)模型。

    1.1.2 不同預(yù)測(cè)策略的AKI預(yù)測(cè)研究

    現(xiàn)有研究的預(yù)測(cè)時(shí)間點(diǎn)多設(shè)置在AKI發(fā)病前n天,如Mohamadlou等[13]應(yīng)用提升樹(shù)(boosted ensembles of decision trees)方法在AKI發(fā)病前12、24、48、72 h進(jìn)行預(yù)測(cè)。但該建模過(guò)程確定評(píng)估測(cè)試集時(shí)應(yīng)用了未知的發(fā)病時(shí)間,不可避免地導(dǎo)致實(shí)驗(yàn)結(jié)果優(yōu)于臨床應(yīng)用。相比之下將患者入院第n天作為預(yù)測(cè)節(jié)點(diǎn)較能符合臨床應(yīng)用場(chǎng)景,如Sanchez-Pinto等[14]應(yīng)用重癥兒童患者入ICU后的前12 h的數(shù)據(jù)進(jìn)行AKI早期預(yù)測(cè),Zimmerman等[15]、Sun等[16]、Li等[17]應(yīng)用成年患者入ICU后的前24 h的數(shù)據(jù)預(yù)測(cè)未來(lái)48 h AKI發(fā)病風(fēng)險(xiǎn)。然而,更為符合臨床應(yīng)用需求的是不拘泥于固定時(shí)間點(diǎn)的連續(xù)動(dòng)態(tài)預(yù)測(cè),即指運(yùn)用患者入院期間隨時(shí)間更新的生命體征和實(shí)驗(yàn)室值等來(lái)連續(xù)預(yù)測(cè)患者AKI風(fēng)險(xiǎn),如Chiofolo等[18]使用隨機(jī)森林開(kāi)發(fā)了AKI預(yù)測(cè)模型,用于輸出ICU患者從入院到出院的連續(xù)AKI風(fēng)險(xiǎn)評(píng)分分?jǐn)?shù), 將應(yīng)用視角轉(zhuǎn)向了連續(xù)預(yù)測(cè),當(dāng)前該方面研究尚處于起步階段。

    1.1.3 現(xiàn)狀分析

    當(dāng)前AKI預(yù)測(cè)研究具有以下兩個(gè)特點(diǎn):①現(xiàn)有研究與及時(shí)識(shí)別重癥老年患者AKI風(fēng)險(xiǎn)的需求之間存在差距。現(xiàn)有研究[8,19-22]多集中在心臟手術(shù)患者,其他大型手術(shù)后患者[23-24](例如肝移植[25])、腎毒性藥物患者[26-28]、妊娠后患者[29]等人群。目前心臟手術(shù)或腎毒性藥物引起的AKI預(yù)測(cè)研究相對(duì)較多,重點(diǎn)關(guān)注ICU內(nèi)特定年齡段的早期AKI風(fēng)險(xiǎn)預(yù)測(cè)的研究不足。盡管ICU人群特別是ICU老年患者具有較高AKI風(fēng)險(xiǎn),但面向該人群的預(yù)測(cè)研究卻較少,而且因?yàn)槿巳禾禺愋?,面向其他人群的AKI預(yù)測(cè)模型并不完全適用于ICU老年患者群體。②現(xiàn)有研究與不拘泥于固定時(shí)間點(diǎn)的連續(xù)動(dòng)態(tài)預(yù)測(cè)需求之間存在差距?,F(xiàn)有研究多關(guān)注模型預(yù)測(cè)性能的提高,未深入探討其預(yù)測(cè)策略是否充分考慮臨床需求。少有AKI預(yù)測(cè)研究重點(diǎn)關(guān)注隨著時(shí)間推移和患者體征變化的AKI連續(xù)動(dòng)態(tài)預(yù)測(cè)。不管是從臨床應(yīng)用角度還是實(shí)際病情變化追蹤角度,隨著患者病情體征變化的連續(xù)動(dòng)態(tài)預(yù)測(cè)更符合實(shí)際臨床應(yīng)用的需求,也更符合預(yù)測(cè)邏輯。此外,根據(jù)KDIGO[6]的指導(dǎo),大多數(shù)研究將預(yù)測(cè)時(shí)間節(jié)點(diǎn)設(shè)定于進(jìn)入ICU后的48 h,并不能滿足AKI臨床診斷的早期預(yù)測(cè)需求。

    1.2 研究資料

    本研究采用重癥監(jiān)護(hù)醫(yī)學(xué)信息數(shù)據(jù)庫(kù)(Medical Information Mart for Intensive Care,MIMIC)-Ⅲ 數(shù)據(jù)[30],MIMIC-Ⅲ數(shù)據(jù)庫(kù)是由麻省理工學(xué)院計(jì)算生理學(xué)實(shí)驗(yàn)室、哈佛醫(yī)學(xué)院貝斯以色列女執(zhí)事醫(yī)學(xué)中心和飛利浦醫(yī)療聯(lián)合開(kāi)發(fā)的多參數(shù)重癥監(jiān)護(hù)數(shù)據(jù)庫(kù),包含了2001年至2012年來(lái)自貝斯以色列女執(zhí)事醫(yī)學(xué)中心46 000多位ICU患者的近6萬(wàn)份臨床數(shù)據(jù),包括患者詳細(xì)人口學(xué)信息、生理生化檢查、診斷信息、醫(yī)療干預(yù)記錄等。MIMIC-Ⅲ結(jié)構(gòu)規(guī)范,數(shù)據(jù)記錄較為全面,具有開(kāi)放性,已廣泛應(yīng)用于ICU相關(guān)疾病研究[31]。本研究應(yīng)用2016年發(fā)布的MIMIC-Ⅲ v1.4版本。

    數(shù)據(jù)納入標(biāo)準(zhǔn):① 年齡≥60歲;② 入ICU初始血清肌酐測(cè)量值<4 mg/dL;③ ICU入住時(shí)間≥72 h;④入ICU診斷中沒(méi)有終末期腎病。本研究利用的研究信息不含有使受試者的身份被直接識(shí)別或通過(guò)與其相關(guān)的識(shí)別物識(shí)別的信息,屬于免除倫理審查。作為歷史性研究可免除研究對(duì)象知情同意。

    1.3 數(shù)據(jù)采集

    本研究設(shè)計(jì)3個(gè)實(shí)驗(yàn)?zāi)繕?biāo):① 探索以6 h為單位預(yù)測(cè)重癥老年患者在未來(lái)48 h的AKI發(fā)病風(fēng)險(xiǎn);② 探索現(xiàn)有模型可實(shí)現(xiàn)何種程度的早期預(yù)測(cè);③ 比較各預(yù)測(cè)模型基于當(dāng)前單位時(shí)間窗內(nèi)數(shù)據(jù)和歷史累積數(shù)據(jù)的AKI預(yù)測(cè)效果。

    針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)①和②,以Toma?ev等[32]基于美國(guó)老兵數(shù)據(jù)庫(kù)的AKI連續(xù)預(yù)測(cè)研究為參考,將1 d以6 h為單位進(jìn)行劃分,預(yù)測(cè)任務(wù)的數(shù)據(jù)采集窗設(shè)置為[0, 6 h]、[6 h, 12 h]、[12 h, 18 h]、[18 h, 24 h]……其中0是指入ICU時(shí)間。提前48至72 h預(yù)測(cè)AKI事件[33],本研究將預(yù)測(cè)時(shí)間窗設(shè)為預(yù)測(cè)點(diǎn)之后的48 h,并以6 h為單位應(yīng)用移動(dòng)滑窗法持續(xù)推進(jìn),如圖1所示。

    圖1 第1種數(shù)據(jù)采集時(shí)間窗:當(dāng)前數(shù)據(jù)Fig.1 The first data collection window: current data

    針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)③,對(duì)比既有數(shù)據(jù)采集時(shí)間窗[6 n h, 6(n+1) h](n≥0),另設(shè)數(shù)據(jù)采集時(shí)間窗[0, 6(n+1) h],如[0, 6 h]、[0, 12 h]、[0, 18 h]、[0, 24 h] (n≥0),如圖2所示。比較相同模型在n取值相同的情況下(如[6 h, 12 h]和[0, 12 h])的預(yù)測(cè)效果差異。

    圖2 第2種數(shù)據(jù)采集時(shí)間窗:累積數(shù)據(jù)Fig.2 The second method of data collection window: accumulated data

    1.4 AKI定義

    當(dāng)前,KDIGO[6]被用作國(guó)際急性腎損傷判斷共識(shí),本研究遵循該標(biāo)準(zhǔn)將AKI定義為以下任一情況:①Scr 48 h內(nèi)升高達(dá)≥ 0.3 mg/dL (>26.5 μmol/L);②Scr在7 d內(nèi)升高基礎(chǔ)值的≥1.5倍;③尿量<0.5 mL·kg-1·h-1,持續(xù)6 h。本研究定義結(jié)局指標(biāo)時(shí),將當(dāng)前單位時(shí)間內(nèi)的患者Scr最小值作為基線數(shù)值,判斷未來(lái)48 h之內(nèi)Scr最大值與基線值之差是否≥ 0.3 mg/dL (> 26.5 μmol/L),或是否大于基線值的1.5倍。鑒于每個(gè)患者可能多次出入ICU,但并不一定每次都發(fā)生AKI,本研究將ICU病程記錄分為AKI組和非AKI組,而非直接對(duì)患者分組[15]。

    1.5 預(yù)測(cè)變量

    依據(jù)KDIGO標(biāo)準(zhǔn)[6]及研究同類(lèi),本研究選取31個(gè)預(yù)測(cè)變量,包括:①人口學(xué)信息:包括年齡、性別;②生理指標(biāo):包括心率平均值/最大值(min-1)、收縮壓最小值/平均值(mmHg,1 mmHg=0.133 kPa)、舒張壓平均值/最大值(mmHg)、體溫最大值(℃)、血氧飽和度最小值/平均值(%)、尿量平均值(mL);③常用的實(shí)驗(yàn)室檢查:包括白細(xì)胞計(jì)數(shù)最大值/最小值(μL-1)、血清肌酐最小值/最大值(mg/dL)、血紅蛋白最小值/最大值(g/dL)、血小板計(jì)數(shù)最小值(μL-1)、碳酸氫鹽最大值/最小值(mg/dL)、血清鈣最小值(mg/dL)、血清鉀最大值(mg/dL)、尿素氮最大值(mg/dL) 、血糖最大值(mg/dL)、凝血酶原時(shí)間最小值/最大值(s)、腎小球?yàn)V過(guò)率估算值(estimated glomerular filtration rate,eGFR)、國(guó)際標(biāo)準(zhǔn)化比值最小值/最大值(international normalized ratio,INR);④相關(guān)干預(yù):是否進(jìn)行機(jī)械通氣。

    本研究選擇預(yù)測(cè)變量時(shí)未考慮慢性合并癥(如糖尿病),因?yàn)閷?duì)于患有多種病癥的重癥患者,當(dāng)前的實(shí)驗(yàn)室檢測(cè)或生命體征值相比慢性病對(duì)預(yù)測(cè)AKI的作用更明顯[11]。此外,Ataei等[34]指出中性粒細(xì)胞明膠酶相關(guān)脂質(zhì)運(yùn)載蛋白(neutrophil gelatinase-associated lipocalin, NGAL)和胱抑素C(cystatin C)是AKI的早期預(yù)測(cè)指標(biāo),且支持更準(zhǔn)確、敏感的預(yù)測(cè),因MIMIC-Ⅲ數(shù)據(jù)中暫無(wú)相關(guān)記錄,故未采用。

    1.6 數(shù)據(jù)處理

    1.6.1 缺失值處理

    由于Scr值和尿量是判斷AKI最重要的指標(biāo),本研究首先排除Scr值和尿量缺失的所有數(shù)據(jù)。若一條信息中,各項(xiàng)指標(biāo)的缺失項(xiàng)大于50%,則認(rèn)為本條數(shù)據(jù)信息量不足,進(jìn)行刪除。患者數(shù)據(jù)是基于不定期測(cè)量,一天中并非每6 h都有新測(cè)值,但預(yù)測(cè)模型以固定的6 h間隔持續(xù)推進(jìn)。未有新測(cè)量值的變量取前一單位時(shí)間窗中的對(duì)應(yīng)值,若仍缺失,則應(yīng)用基于鏈?zhǔn)椒匠痰亩嘀夭逖a(bǔ)(multivariate imputation by chained equations,MICE)方法處理。本研究?jī)?yōu)先選擇前值填充,是因醫(yī)學(xué)數(shù)據(jù)缺失值一般為非隨機(jī)缺失,當(dāng)患者某些指標(biāo)正?;蜈呌诜€(wěn)定時(shí)便不再測(cè)量,因而前值更能代表當(dāng)前狀態(tài)。

    1.6.2 數(shù)據(jù)轉(zhuǎn)換

    將文本類(lèi)型數(shù)據(jù)轉(zhuǎn)換成數(shù)值類(lèi)型,如女性、男性分別用1、2表示。在數(shù)值類(lèi)型數(shù)據(jù)中,不同的生理生化指標(biāo)的范圍跨度不同,建模前對(duì)其進(jìn)行歸一化處理,加快運(yùn)算速度,提高模型表現(xiàn)。電子病歷是含有時(shí)間屬性的時(shí)態(tài)數(shù)據(jù),本研究采用最近值(most recent)方法處理連續(xù)型時(shí)態(tài)數(shù)據(jù),即取數(shù)據(jù)采集時(shí)間窗中離預(yù)測(cè)點(diǎn)最近的值作為特征取值;采用匯聚[35](aggregated)方法處理離散型時(shí)態(tài)數(shù)據(jù),即如表示機(jī)械通氣與否的二分類(lèi)變量中,在數(shù)據(jù)采集窗口中的任何一個(gè)時(shí)間段進(jìn)行了機(jī)械通氣,該變量取為1,否則取為0。

    1.6.3 平衡性處理

    本數(shù)據(jù)的自然特性決定了非AKI患者的比例要高于AKI患者的比例,在不同的時(shí)間窗采集數(shù)據(jù)集中,AKI和非AKI的比例約為1∶3。嚴(yán)重失衡的樣本會(huì)導(dǎo)致機(jī)器學(xué)習(xí)過(guò)程中采集到更多非AKI的特性,并在最終預(yù)測(cè)時(shí)傾向于將AKI預(yù)測(cè)為非AKI患者。為了避免樣本失衡導(dǎo)致的誤分類(lèi),本實(shí)驗(yàn)采用訓(xùn)練集劃分模型集成方法解決數(shù)據(jù)不平衡問(wèn)題,即將訓(xùn)練集中非AKI組樣本有放回抽樣為3份,每一份與所有AKI樣本組合成3個(gè)新平衡訓(xùn)練集,將其分別用于訓(xùn)練不同分類(lèi)算法。最后每種分類(lèi)算法相應(yīng)得到3個(gè)訓(xùn)練模型,其結(jié)果由3個(gè)模型的平均加權(quán)確定。

    1.7 預(yù)測(cè)建模

    盡管有研究[27]利用了許多不同的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方法進(jìn)行AKI預(yù)測(cè)研究,深度學(xué)習(xí)在預(yù)測(cè)能力方面并未展示出絕對(duì)優(yōu)勢(shì)。因此本研究選用了3個(gè)AKI預(yù)測(cè)研究中常見(jiàn)且預(yù)測(cè)能力優(yōu)秀、魯棒性高的機(jī)器學(xué)習(xí)模型, LR、RF、SVM,以及一個(gè)新型基于樹(shù)形結(jié)構(gòu)的梯度提升框架LightGBM[36]。

    (1)LR:一種對(duì)數(shù)線性模型。多元Logistic 回歸中一個(gè)事件發(fā)生的對(duì)數(shù)概率為:log[p(x)/1-p(x)]=β0+β1X1+…+βpXp,則事件發(fā)生的概率為:p(X)=eβ0+β1X1+···+βpXp/(1+eβ0+β1X1+···+βpXp)[37]。

    (2)SVM:一種二分類(lèi)模型,基本模型是定義在特征空間上的間隔最大的線性分類(lèi)器。支持向量機(jī)可以形式化為一個(gè)求解凸二次規(guī)劃的問(wèn)題,也等價(jià)于正則化的合頁(yè)損失函數(shù)的最小化問(wèn)題,支持向量機(jī)的學(xué)習(xí)算法是求解凸二次規(guī)劃的最優(yōu)化算法[38]。

    (3)RF:是一個(gè)樹(shù)型分類(lèi)器{h(x,βk),k=1…}的集合。其中基分類(lèi)器h(x,βx)是用分類(lèi)與回歸樹(shù)(classification and regression tree,CART)算法構(gòu)建的未剪枝的分類(lèi)回歸樹(shù), 輸出采用簡(jiǎn)單多數(shù)投票法[39]。

    (4)LightGBM:其思想是利用弱分類(lèi)器迭代訓(xùn)練得到最優(yōu)模型,并采用梯度提升算法減少結(jié)構(gòu)分?jǐn)?shù)的計(jì)算量,在此基礎(chǔ)上,采用基于直方圖的算法選擇分割點(diǎn),并且使用leaf-wise 策略替代level-wise 分裂子節(jié)點(diǎn),可簡(jiǎn)化計(jì)算并提高準(zhǔn)確率[37]。

    LR、SVM和RF模型采用Python工具包Scikit-learn運(yùn)算,LightGBM應(yīng)用LightGBM 工具包建模預(yù)測(cè)。不同時(shí)間窗設(shè)定收集的數(shù)據(jù)都被隨機(jī)拆分成80%的訓(xùn)練集和20%的測(cè)試集。為保證數(shù)據(jù)可靠性,采用五折交叉驗(yàn)證評(píng)價(jià)模型性能,評(píng)價(jià)指標(biāo)選擇AUC、精確性(precision)、召回率(recall),評(píng)價(jià)指標(biāo)值越大,表征模型的預(yù)測(cè)性能越好。

    2 結(jié)果

    2.1 納入數(shù)據(jù)

    共1 1261條ICU診療記錄符合納入標(biāo)準(zhǔn)。本實(shí)驗(yàn)數(shù)據(jù)中,患者人口統(tǒng)計(jì)學(xué)信息完整,而某些生理指標(biāo)和實(shí)驗(yàn)室檢查記錄存在缺失。在患者進(jìn)入ICU前期,各項(xiàng)指標(biāo)都會(huì)被密切監(jiān)測(cè),患者體征平穩(wěn)之后醫(yī)生會(huì)根據(jù)患者情況篩選某些重要指標(biāo)繼續(xù)監(jiān)測(cè)或?qū)δ承┲笜?biāo)的測(cè)量逐漸稀疏甚至停止監(jiān)控與病情相關(guān)性低的指標(biāo),因此隨著時(shí)間推移,數(shù)據(jù)中會(huì)出現(xiàn)越來(lái)越多的缺失值。故在不同數(shù)據(jù)采集時(shí)間窗中,數(shù)據(jù)缺失情況不同。本研究刪除了缺失值50%以上的診療記錄,最終不同數(shù)據(jù)窗下訓(xùn)練模型所用的記錄數(shù)不同。對(duì)于每個(gè)數(shù)據(jù)采集時(shí)間窗內(nèi)采集的ICU診療記錄,依據(jù)患者在未來(lái)48 h內(nèi)是否會(huì)發(fā)生AKI分為AKI組以及非AKI組,詳見(jiàn)表1。

    表1 不同數(shù)據(jù)采集窗中診療記錄數(shù)Tab. 1 Number of medical records in different data collection windows

    2.2 預(yù)測(cè)結(jié)果

    表2和表3分別展示了[6n h, 6(n+1) h](n=0,1,2,3)數(shù)據(jù)采集窗下,4種預(yù)測(cè)模型的AUC值以及精確度/召回率值。表4和表5分別展示了[0, 6(n+1) h] (n=0,1,2,3)數(shù)據(jù)采集窗下,各預(yù)測(cè)模型的性能評(píng)價(jià)指標(biāo)。為了更直觀地對(duì)比不同數(shù)據(jù)采集窗下的各模型預(yù)測(cè)效果,本研究選擇受試者工作特征(receiver operating characteristic,ROC)曲線進(jìn)行可視化展示,直觀評(píng)估分類(lèi)器預(yù)測(cè)能力。AUC即為ROC曲線到x軸之間的面積,ROC曲線下面包含的面積越大則表明預(yù)測(cè)效果越好。圖3~6分別對(duì)比了LightGBM、RF、SVM和LR中應(yīng)用當(dāng)前單位時(shí)間數(shù)據(jù)與應(yīng)用累積數(shù)據(jù)進(jìn)行預(yù)測(cè)的性能差異。藍(lán)色曲線代表模型基于當(dāng)前6 h數(shù)據(jù)的預(yù)測(cè)效果,橙色曲線代表模型使用累積前6n h數(shù)據(jù)的預(yù)測(cè)效果。

    圖3 LR在6個(gè)不同數(shù)據(jù)采集窗下的ROC曲線Fig.3 ROC curve of LR models in 6 different data collection windows

    表2 [6n h, 6(n+1) h]數(shù)據(jù)采集窗下預(yù)測(cè)模型AUC值Tab. 2 AUC values of predictive models using data in time window [6n h, 6(n+1) h]

    表3 [6n h, 6(n+1) h]數(shù)據(jù)采集窗下預(yù)測(cè)模型精確度/召回率值Tab. 3 Precision/recall values of predictive models using data in time window [6n h, 6(n+1) h]

    表4 [0, 6(n+1) h]數(shù)據(jù)采集窗下預(yù)測(cè)模型AUC值Tab. 4 AUC values of predictive models using data in time window [0, 6(n+1) h]

    表5 [0, 6(n+1) h]數(shù)據(jù)采集窗下預(yù)測(cè)模型精確度/召回率值Tab. 5 Precision/recall values of predictive models using data in time window [0, 6(n+1) h]

    針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)①,即以6 h為單位預(yù)測(cè)重癥老年患者在未來(lái)48 h的AKI發(fā)病風(fēng)險(xiǎn),本研究應(yīng)用LR、SVM、RF和LightGBM建模實(shí)現(xiàn)。在應(yīng)用當(dāng)前數(shù)據(jù)、累積數(shù)據(jù)的不同預(yù)測(cè)策略中,通過(guò)ROC曲線可以看出,LightGBM的預(yù)測(cè)效果明顯優(yōu)于另外3個(gè)模型,且性能良好,AUC值都達(dá)到了0.845以上,精確度和召回率分別達(dá)到了0.820、0.803以上。在基于當(dāng)前數(shù)據(jù)預(yù)測(cè)時(shí),即[6n h, 6(n+1)h],隨時(shí)間窗的推移,LightGBM的預(yù)測(cè)效果持續(xù)提升,在[18 h,24 h]數(shù)據(jù)采集窗下得到最優(yōu)預(yù)測(cè)效果,即在精確度/召回率為0.899/0.953的情況下AUC達(dá)0.925。實(shí)驗(yàn)結(jié)果表明應(yīng)用LightGBM面向老年重癥患者進(jìn)行AKI連續(xù)風(fēng)險(xiǎn)預(yù)測(cè)具有一定可行性。在兩種預(yù)測(cè)策略中,RF、SVM、LR的AUC在0.645~0.716之間,雖然隨時(shí)間推移預(yù)測(cè)效果有所提升,但最好效果只是RF在精確度/召回率為0.725/0.699情況下AUC達(dá)到0.716,它們顯示出了一定的預(yù)測(cè)能力但尚未達(dá)到在真實(shí)場(chǎng)景中應(yīng)用的水平。此外,分析隨時(shí)間推移模型預(yù)測(cè)效果有所提升的情況,可能潛在AKI患者的病情隨時(shí)間推進(jìn)愈發(fā)累積,此時(shí)生理指標(biāo)或?qū)嶒?yàn)室檢查值的預(yù)測(cè)性能增強(qiáng)。

    圖4 SVM在6個(gè)不同數(shù)據(jù)采集窗下的ROC曲線Fig.4 ROC curve of SVM models in 6 different data collection windowsSVM: support vector machines;ROC:receiver operating characteristic.

    圖5 RF在6個(gè)不同數(shù)據(jù)采集窗下的ROC曲線Fig.5 ROC curve of RF models in 6 different data collection windows RF: random forest;ROC:receiver operating characteristic.

    圖6 LightGBM 在6個(gè)不同數(shù)據(jù)采集窗下的ROC曲線Fig.6 ROC curve of LightGBM models in 6 different data collection windows LightGBM:light gradient boosting machine;ROC:receiver operating characteristic.

    針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)②,即探索現(xiàn)有模型可實(shí)現(xiàn)何種程度的早期預(yù)測(cè)。實(shí)驗(yàn)顯示僅用患者入ICU后的第1個(gè)6 h數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí),LightGBM依然在精確度/召回率為0.849/0.837的情況下達(dá)到了0.845的AUC,即LightGBM的預(yù)測(cè)能力和準(zhǔn)確度在此場(chǎng)景下表現(xiàn)較好,甚至高于其應(yīng)用[0, 12 h]、[0, 18 h]、[0, 24 h]數(shù)據(jù)所獲得的AUC。ICU老年患者發(fā)生AKI非常普遍,越早預(yù)測(cè)越能為臨床醫(yī)師爭(zhēng)取寶貴時(shí)間及時(shí)進(jìn)行臨床干預(yù),本研究表明利用患者入ICU后的前6 h數(shù)據(jù)進(jìn)行AKI早期預(yù)測(cè)切實(shí)可行,而當(dāng)前研究多采用入ICU后的前24 h數(shù)據(jù)進(jìn)行預(yù)測(cè)且AUC為0.57~0.92[15-17],利用LightGBM可以將觀察時(shí)間窗縮減為原來(lái)的四分之一就可以達(dá)到0.845的AUC。

    針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)③,比較各預(yù)測(cè)模型基于當(dāng)前數(shù)據(jù)和累積數(shù)據(jù)的AKI預(yù)測(cè)效果。LightGBM預(yù)測(cè)模型,基于累積數(shù)據(jù)預(yù)測(cè)結(jié)果的AUC值、準(zhǔn)確率、精確度等評(píng)估指標(biāo)均低于基于當(dāng)前數(shù)據(jù)預(yù)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明,并非收集數(shù)據(jù)越多越好,可能當(dāng)前單位時(shí)間內(nèi)的測(cè)量值更能代表或預(yù)示患者的狀態(tài),而加入歷史累積數(shù)據(jù)可能產(chǎn)生預(yù)測(cè)噪聲。但在RF、SVM、LR模型中,基于累積數(shù)據(jù)預(yù)測(cè)結(jié)果比應(yīng)用當(dāng)前數(shù)據(jù)的預(yù)測(cè)效果好,AUC、精確度和召回率均有所提升。這提示不同模型對(duì)數(shù)據(jù)的接收能力和適用性不同,在選擇模型分析數(shù)據(jù)時(shí)應(yīng)考慮此差異性。

    3 討論

    在數(shù)據(jù)收集方面,選取了6 h作為數(shù)據(jù)收集的變化時(shí)間窗,但I(xiàn)CU患者的各項(xiàng)生理指標(biāo)會(huì)隨著時(shí)間的推移和病情的發(fā)展不斷地變化。針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)①,下一步工作將探索實(shí)現(xiàn)更小時(shí)間間隔的連續(xù)預(yù)測(cè),同樣每次采集6 h數(shù)據(jù),但以更短時(shí)間間隔移動(dòng)滑窗推進(jìn),如每隔3 h、1 h、15 min進(jìn)行1次預(yù)測(cè),甚至探索實(shí)時(shí)計(jì)算預(yù)測(cè)以更好支持臨床決策。針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)②,在[6n h, 6(n+1) h]數(shù)據(jù)采集窗下,LightGBM、SVM及LR均表明隨移動(dòng)滑窗推進(jìn),預(yù)測(cè)效果越好,且各模型的AUC在[18 h,24 h]數(shù)據(jù)采集窗中表現(xiàn)最高。本研究中數(shù)據(jù)采集窗的設(shè)置局限于入ICU第1天,可能一些重要指標(biāo)的測(cè)量會(huì)放置在一天中最后1個(gè)單位時(shí)間里,導(dǎo)致[18 h,24 h]窗口預(yù)測(cè)效果最好。筆者將在下步研究中探索模型在 [24 h, 30 h]、[30 h, 36 h]、 [36 h,42 h]等窗口中的預(yù)測(cè)性能。未來(lái)工作也將向前壓縮數(shù)據(jù)采集窗,如探索ICU前3個(gè)小時(shí)、前1個(gè)小時(shí)數(shù)據(jù)是否勝任AKI早期預(yù)測(cè)任務(wù)。

    患者在ICU期間的用藥、手術(shù)等事件也會(huì)對(duì)AKI的發(fā)生和預(yù)測(cè)產(chǎn)生影響,本實(shí)驗(yàn)中并未做深入研究。由于未使用非結(jié)構(gòu)化數(shù)據(jù),預(yù)測(cè)變量里沒(méi)有考慮患者其他慢性病或者診療手段帶來(lái)的影響。MIMIC-Ⅲ的時(shí)間跨度為12年,12年間診療方法和記錄習(xí)慣都可能產(chǎn)生變化,利用大時(shí)間跨度的數(shù)據(jù)擁有大數(shù)據(jù)量?jī)?yōu)勢(shì)的同時(shí)可能會(huì)導(dǎo)致數(shù)據(jù)缺乏時(shí)間維度上的一致性。

    本研究應(yīng)用最近值、匯聚方法處理電子病歷中時(shí)態(tài)數(shù)據(jù),本質(zhì)上采用了單一值形式,即將單個(gè)特征值作為含有時(shí)間信息的特征的取值,并未將時(shí)態(tài)信息納入到風(fēng)險(xiǎn)決策中,未考慮時(shí)間的前后聯(lián)系。下步工作將考慮基于時(shí)序(temporal)方法[35]處理時(shí)序數(shù)據(jù),即通過(guò)堆疊多個(gè)測(cè)量點(diǎn)值,或通過(guò)模型將前后時(shí)間的狀態(tài)關(guān)聯(lián)起來(lái)。另外,循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)模型是一類(lèi)用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò),不同于前饋神經(jīng)網(wǎng)絡(luò),其可利用內(nèi)部記憶來(lái)處理任意時(shí)序的輸入序列,下步研究將基于RNN開(kāi)展AKI的連續(xù)預(yù)測(cè)。

    本研究基于MIMIC-Ⅲ電子病歷運(yùn)用4種機(jī)器學(xué)習(xí)方法探索了重癥老年患者早期AKI連續(xù)風(fēng)險(xiǎn)預(yù)測(cè),分別基于以6 h為單位的當(dāng)前數(shù)據(jù)和累積數(shù)據(jù)持續(xù)推進(jìn),連續(xù)預(yù)測(cè)患者在未來(lái)48 h的AKI發(fā)病情況。實(shí)驗(yàn)結(jié)果表明,應(yīng)用LightGBM進(jìn)行老年重癥患者AKI連續(xù)風(fēng)險(xiǎn)預(yù)測(cè)具有一定可行性,RF、SVM、LR模型在連續(xù)預(yù)測(cè)中展現(xiàn)了相應(yīng)的預(yù)測(cè)能力但尚未達(dá)到在真實(shí)場(chǎng)景中應(yīng)用的水平。應(yīng)用患者入ICU后的前6 h數(shù)據(jù)進(jìn)行AKI早期預(yù)測(cè)切實(shí)可行,對(duì)比傳統(tǒng)的24 h預(yù)測(cè)大大延長(zhǎng)了醫(yī)生治療的反應(yīng)時(shí)間。此外,研究顯示不同模型對(duì)數(shù)據(jù)的接收能力和適用性不同,LightGBM青睞于當(dāng)前數(shù)據(jù),其他3種模型青睞于累積數(shù)據(jù)。

    利益沖突所有作者均聲明不存在利益沖突。

    作者貢獻(xiàn)聲明錢(qián)慶: 提出研究思路,設(shè)計(jì)研究方案;孫海霞:設(shè)計(jì)研究方案,論文修改;鄔金鳴:分析數(shù)據(jù)、論文撰寫(xiě)與修改;王嘉陽(yáng):數(shù)據(jù)采集與實(shí)驗(yàn)、數(shù)據(jù)分析。

    猜你喜歡
    預(yù)測(cè)模型研究
    一半模型
    無(wú)可預(yù)測(cè)
    黃河之聲(2022年10期)2022-09-27 13:59:46
    選修2-2期中考試預(yù)測(cè)卷(A卷)
    選修2-2期中考試預(yù)測(cè)卷(B卷)
    FMS與YBT相關(guān)性的實(shí)證研究
    遼代千人邑研究述論
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    視錯(cuò)覺(jué)在平面設(shè)計(jì)中的應(yīng)用與研究
    科技傳播(2019年22期)2020-01-14 03:06:54
    EMA伺服控制系統(tǒng)研究
    成年女人在线观看亚洲视频 | 免费黄色在线免费观看| 又爽又黄a免费视频| 搞女人的毛片| 欧美三级亚洲精品| 国产精品不卡视频一区二区| 欧美少妇被猛烈插入视频| 国产精品福利在线免费观看| 亚洲av国产av综合av卡| 精品人妻视频免费看| av国产免费在线观看| 久久久久久久久大av| 亚洲国产欧美人成| 久久久久网色| 久久久a久久爽久久v久久| 欧美97在线视频| 国产精品麻豆人妻色哟哟久久| 久久6这里有精品| 国产av国产精品国产| 亚洲欧美清纯卡通| 国产精品一二三区在线看| 在线观看一区二区三区激情| 欧美激情久久久久久爽电影| 在线看a的网站| 一区二区三区精品91| 我的女老师完整版在线观看| 亚洲色图综合在线观看| videossex国产| 免费看日本二区| 久久久欧美国产精品| 肉色欧美久久久久久久蜜桃 | 热99国产精品久久久久久7| 超碰97精品在线观看| 成人美女网站在线观看视频| 精品少妇黑人巨大在线播放| av.在线天堂| 3wmmmm亚洲av在线观看| 亚洲国产欧美在线一区| 成人漫画全彩无遮挡| 国产美女午夜福利| 成年av动漫网址| 亚洲无线观看免费| 亚洲欧美精品自产自拍| 亚洲欧美成人综合另类久久久| 午夜激情久久久久久久| 欧美成人一区二区免费高清观看| 超碰97精品在线观看| 午夜免费观看性视频| 久久女婷五月综合色啪小说 | 少妇丰满av| xxx大片免费视频| 女人十人毛片免费观看3o分钟| 国产亚洲精品久久久com| 国产精品一区www在线观看| 干丝袜人妻中文字幕| 在线观看人妻少妇| 尾随美女入室| 大香蕉久久网| 91aial.com中文字幕在线观看| 五月玫瑰六月丁香| 日韩成人av中文字幕在线观看| 久久人人爽av亚洲精品天堂 | 国产亚洲午夜精品一区二区久久 | 国产又色又爽无遮挡免| 在线天堂最新版资源| 亚洲激情五月婷婷啪啪| 一区二区av电影网| 欧美性感艳星| 国产免费视频播放在线视频| 大片免费播放器 马上看| 男插女下体视频免费在线播放| 麻豆乱淫一区二区| 老女人水多毛片| 人人妻人人爽人人添夜夜欢视频 | 少妇人妻 视频| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 少妇的逼好多水| 国产精品三级大全| 精品久久久久久久末码| 麻豆乱淫一区二区| 国产精品伦人一区二区| 男女无遮挡免费网站观看| 乱系列少妇在线播放| 久热久热在线精品观看| 青春草视频在线免费观看| www.av在线官网国产| 成人毛片a级毛片在线播放| 亚洲av.av天堂| 欧美一区二区亚洲| 在现免费观看毛片| 亚洲精品第二区| 亚洲精品一区蜜桃| 伦理电影大哥的女人| 大陆偷拍与自拍| 白带黄色成豆腐渣| 国内少妇人妻偷人精品xxx网站| 亚洲激情五月婷婷啪啪| 一区二区av电影网| 日本猛色少妇xxxxx猛交久久| 色播亚洲综合网| 成年免费大片在线观看| 亚洲欧美成人精品一区二区| 成人亚洲欧美一区二区av| 交换朋友夫妻互换小说| 国产精品秋霞免费鲁丝片| 亚洲av一区综合| 国产精品久久久久久精品电影小说 | 国产精品爽爽va在线观看网站| videossex国产| 麻豆精品久久久久久蜜桃| 国产大屁股一区二区在线视频| 午夜视频国产福利| 寂寞人妻少妇视频99o| 国产黄频视频在线观看| 在线观看三级黄色| 一区二区三区乱码不卡18| 国产美女午夜福利| 日日啪夜夜爽| 精品久久久久久久人妻蜜臀av| 精品熟女少妇av免费看| 亚洲真实伦在线观看| 少妇人妻一区二区三区视频| 啦啦啦在线观看免费高清www| 大码成人一级视频| 菩萨蛮人人尽说江南好唐韦庄| 国产精品偷伦视频观看了| 国产黄a三级三级三级人| 嫩草影院入口| 久久99热6这里只有精品| 日韩欧美一区视频在线观看 | 国产一区亚洲一区在线观看| 午夜福利视频1000在线观看| 欧美+日韩+精品| 99热国产这里只有精品6| 欧美xxxx黑人xx丫x性爽| 亚洲av成人精品一区久久| 亚洲精品aⅴ在线观看| 国产精品爽爽va在线观看网站| 国产精品久久久久久精品古装| 少妇高潮的动态图| 一级毛片 在线播放| 麻豆成人午夜福利视频| 国产毛片a区久久久久| 日韩大片免费观看网站| 成人二区视频| 欧美三级亚洲精品| 国产黄片视频在线免费观看| 欧美一级a爱片免费观看看| 男女边摸边吃奶| 在线观看美女被高潮喷水网站| 狠狠精品人妻久久久久久综合| 午夜福利在线观看免费完整高清在| 国产精品三级大全| 欧美高清性xxxxhd video| 亚洲欧美精品自产自拍| 一级二级三级毛片免费看| 国产91av在线免费观看| 日韩一本色道免费dvd| 视频中文字幕在线观看| 又黄又爽又刺激的免费视频.| 中文字幕av成人在线电影| 国产黄片视频在线免费观看| 国产欧美日韩精品一区二区| 久久久久精品久久久久真实原创| 在线免费观看不下载黄p国产| www.av在线官网国产| 国产欧美另类精品又又久久亚洲欧美| 婷婷色av中文字幕| 我的老师免费观看完整版| 听说在线观看完整版免费高清| 高清毛片免费看| 国产成人精品久久久久久| 综合色av麻豆| 亚洲精品国产av蜜桃| 我的老师免费观看完整版| 亚洲av一区综合| 乱码一卡2卡4卡精品| 婷婷色麻豆天堂久久| 日本爱情动作片www.在线观看| 极品少妇高潮喷水抽搐| 久久精品人妻少妇| 欧美日韩国产mv在线观看视频 | 久久热精品热| 国模一区二区三区四区视频| 久久精品国产亚洲av涩爱| 日韩大片免费观看网站| 欧美 日韩 精品 国产| 欧美日韩一区二区视频在线观看视频在线 | 18禁裸乳无遮挡免费网站照片| 久久久精品免费免费高清| 男女下面进入的视频免费午夜| 毛片女人毛片| www.av在线官网国产| 午夜激情久久久久久久| 伊人久久国产一区二区| 亚洲自拍偷在线| 性色avwww在线观看| 97超碰精品成人国产| 男女下面进入的视频免费午夜| 久久久色成人| av福利片在线观看| 久久影院123| 老师上课跳d突然被开到最大视频| 婷婷色麻豆天堂久久| 美女内射精品一级片tv| 伦精品一区二区三区| 亚洲精品色激情综合| 99热全是精品| 亚洲欧美一区二区三区黑人 | 校园人妻丝袜中文字幕| 亚洲精品一区蜜桃| 国产精品国产三级专区第一集| 少妇猛男粗大的猛烈进出视频 | 偷拍熟女少妇极品色| 伊人久久国产一区二区| 两个人的视频大全免费| av卡一久久| 男女无遮挡免费网站观看| 国产一区二区在线观看日韩| 99热6这里只有精品| 成人免费观看视频高清| 搡老乐熟女国产| 中文字幕人妻熟人妻熟丝袜美| 亚洲av中文av极速乱| 精品久久久久久久末码| 久久久久国产网址| 在线观看国产h片| 乱码一卡2卡4卡精品| 亚洲自拍偷在线| 久久久久网色| 亚洲国产高清在线一区二区三| 免费大片18禁| 亚洲av中文字字幕乱码综合| 亚洲精品色激情综合| 特大巨黑吊av在线直播| 中文欧美无线码| 久久久色成人| 高清午夜精品一区二区三区| 女人十人毛片免费观看3o分钟| 成人午夜精彩视频在线观看| av又黄又爽大尺度在线免费看| 成人亚洲精品av一区二区| av网站免费在线观看视频| 69av精品久久久久久| 国产又色又爽无遮挡免| 国产亚洲91精品色在线| 真实男女啪啪啪动态图| 成人国产麻豆网| 三级国产精品片| 欧美日韩一区二区视频在线观看视频在线 | 亚洲精品国产色婷婷电影| 美女高潮的动态| 国产毛片在线视频| 五月玫瑰六月丁香| 在线观看人妻少妇| www.色视频.com| 美女高潮的动态| 中文天堂在线官网| 日本欧美国产在线视频| 久久久久久久久久人人人人人人| 欧美激情在线99| 赤兔流量卡办理| 亚洲av男天堂| 蜜桃久久精品国产亚洲av| 久久99精品国语久久久| 熟女人妻精品中文字幕| 日本-黄色视频高清免费观看| 嫩草影院新地址| 午夜免费观看性视频| 成人国产av品久久久| 精华霜和精华液先用哪个| 亚洲欧美中文字幕日韩二区| 制服丝袜香蕉在线| 一区二区三区免费毛片| 五月开心婷婷网| 久久久精品欧美日韩精品| 国产一区有黄有色的免费视频| 看非洲黑人一级黄片| 51国产日韩欧美| 熟女电影av网| 一级毛片我不卡| 精品少妇黑人巨大在线播放| 一级毛片久久久久久久久女| 中文资源天堂在线| 国产亚洲午夜精品一区二区久久 | 噜噜噜噜噜久久久久久91| 成人美女网站在线观看视频| 免费电影在线观看免费观看| 久久精品国产亚洲av天美| av播播在线观看一区| 国产 精品1| 高清午夜精品一区二区三区| 国语对白做爰xxxⅹ性视频网站| 日韩国内少妇激情av| 亚洲精品国产色婷婷电影| 午夜精品一区二区三区免费看| 少妇人妻 视频| 美女视频免费永久观看网站| 久久99蜜桃精品久久| 日韩 亚洲 欧美在线| 高清午夜精品一区二区三区| 一本久久精品| 欧美日韩综合久久久久久| 一二三四中文在线观看免费高清| 国产毛片a区久久久久| 偷拍熟女少妇极品色| 国产在线男女| 国国产精品蜜臀av免费| a级一级毛片免费在线观看| 亚洲av免费在线观看| 亚洲精品乱码久久久v下载方式| 深夜a级毛片| 麻豆精品久久久久久蜜桃| 中文字幕av成人在线电影| 在线 av 中文字幕| 欧美日韩一区二区视频在线观看视频在线 | 亚洲精品国产av蜜桃| 亚洲成人精品中文字幕电影| 色视频www国产| 午夜日本视频在线| 亚洲欧美清纯卡通| 尾随美女入室| 国产成人免费观看mmmm| 日韩一区二区三区影片| 欧美日韩一区二区视频在线观看视频在线 | 一二三四中文在线观看免费高清| 国产精品麻豆人妻色哟哟久久| 日韩av不卡免费在线播放| 高清欧美精品videossex| 亚洲成人av在线免费| 国产成人a∨麻豆精品| 国产欧美亚洲国产| 少妇猛男粗大的猛烈进出视频 | 毛片女人毛片| 大话2 男鬼变身卡| 简卡轻食公司| 亚洲一区二区三区欧美精品 | 少妇丰满av| 香蕉精品网在线| 国产精品成人在线| 男人狂女人下面高潮的视频| 少妇人妻一区二区三区视频| 特大巨黑吊av在线直播| 成人国产麻豆网| 狠狠精品人妻久久久久久综合| av国产免费在线观看| 婷婷色av中文字幕| 少妇被粗大猛烈的视频| 日本三级黄在线观看| 视频区图区小说| 如何舔出高潮| 少妇人妻 视频| 亚洲不卡免费看| 26uuu在线亚洲综合色| 亚洲精品456在线播放app| 国产黄频视频在线观看| 国产v大片淫在线免费观看| 欧美日韩视频精品一区| 欧美日韩亚洲高清精品| 国内揄拍国产精品人妻在线| 久久精品国产亚洲av天美| 搡女人真爽免费视频火全软件| 晚上一个人看的免费电影| 欧美日韩精品成人综合77777| 国产v大片淫在线免费观看| 亚洲熟女精品中文字幕| 国产一级毛片在线| 国产一区二区在线观看日韩| 久久精品国产a三级三级三级| 又大又黄又爽视频免费| 亚洲av在线观看美女高潮| 久久99热这里只有精品18| 欧美成人午夜免费资源| 国产成人91sexporn| av黄色大香蕉| 各种免费的搞黄视频| 国产精品麻豆人妻色哟哟久久| 99久久精品热视频| 美女视频免费永久观看网站| 亚洲欧洲国产日韩| 国产 一区 欧美 日韩| 免费av毛片视频| 久久久久久久久久久丰满| 国产精品秋霞免费鲁丝片| 亚洲国产精品国产精品| 日韩大片免费观看网站| 国产免费又黄又爽又色| 国产黄a三级三级三级人| 日韩欧美一区视频在线观看 | 午夜激情久久久久久久| 少妇的逼水好多| av一本久久久久| 欧美高清成人免费视频www| 亚洲av电影在线观看一区二区三区 | 亚洲av福利一区| 国产探花在线观看一区二区| 日韩强制内射视频| 久久久欧美国产精品| 亚洲av电影在线观看一区二区三区 | 国产男人的电影天堂91| 久热这里只有精品99| 精品一区在线观看国产| 国产毛片在线视频| 一个人观看的视频www高清免费观看| 白带黄色成豆腐渣| 午夜福利视频1000在线观看| 国内少妇人妻偷人精品xxx网站| 亚洲成人久久爱视频| 亚洲激情五月婷婷啪啪| 韩国高清视频一区二区三区| 最新中文字幕久久久久| 国产色爽女视频免费观看| 啦啦啦在线观看免费高清www| 久久这里有精品视频免费| 国产精品爽爽va在线观看网站| av在线亚洲专区| 国产高清有码在线观看视频| 久久女婷五月综合色啪小说 | 三级经典国产精品| 免费观看的影片在线观看| 纵有疾风起免费观看全集完整版| 亚洲精品成人av观看孕妇| 亚洲精品,欧美精品| 超碰97精品在线观看| 久久精品久久久久久噜噜老黄| 亚洲不卡免费看| 丰满人妻一区二区三区视频av| 99热这里只有是精品50| 欧美国产精品一级二级三级 | 成人欧美大片| 免费大片18禁| 国产男女超爽视频在线观看| 一本一本综合久久| 午夜福利在线在线| 狠狠精品人妻久久久久久综合| 日日撸夜夜添| 人妻 亚洲 视频| 超碰av人人做人人爽久久| 人妻制服诱惑在线中文字幕| 亚洲国产最新在线播放| 麻豆久久精品国产亚洲av| 亚洲欧美一区二区三区国产| 日本色播在线视频| 老女人水多毛片| 日本猛色少妇xxxxx猛交久久| 久久亚洲国产成人精品v| 久久6这里有精品| 99视频精品全部免费 在线| 色婷婷久久久亚洲欧美| 国产精品偷伦视频观看了| 熟妇人妻不卡中文字幕| 在线观看三级黄色| 色5月婷婷丁香| 一区二区三区四区激情视频| 人体艺术视频欧美日本| 在线观看免费高清a一片| 黄色视频在线播放观看不卡| 精品国产一区二区三区久久久樱花 | 日产精品乱码卡一卡2卡三| 久久精品久久久久久久性| 久久精品国产自在天天线| 观看免费一级毛片| 久久ye,这里只有精品| 国产欧美亚洲国产| 免费观看的影片在线观看| 中文字幕av成人在线电影| 男人狂女人下面高潮的视频| 最近最新中文字幕免费大全7| 天堂网av新在线| 精品一区在线观看国产| 国产精品.久久久| 亚洲欧美清纯卡通| 国产极品天堂在线| 亚洲久久久久久中文字幕| 国产精品人妻久久久影院| 小蜜桃在线观看免费完整版高清| 啦啦啦中文免费视频观看日本| 三级男女做爰猛烈吃奶摸视频| 亚洲av免费高清在线观看| 男人舔奶头视频| 亚洲精品国产av蜜桃| 亚洲自偷自拍三级| 熟女av电影| 亚洲婷婷狠狠爱综合网| 国产老妇女一区| 王馨瑶露胸无遮挡在线观看| 国产白丝娇喘喷水9色精品| av在线播放精品| 国产精品99久久久久久久久| av在线天堂中文字幕| 在线播放无遮挡| 一级a做视频免费观看| 国产乱人偷精品视频| 搡女人真爽免费视频火全软件| 国产亚洲av片在线观看秒播厂| 亚洲国产欧美人成| 色综合色国产| 久久久久网色| av免费观看日本| 久久久久久久亚洲中文字幕| 舔av片在线| 国产白丝娇喘喷水9色精品| 中文乱码字字幕精品一区二区三区| 街头女战士在线观看网站| av在线app专区| 久久久久久国产a免费观看| www.av在线官网国产| 色婷婷久久久亚洲欧美| 哪个播放器可以免费观看大片| 国产日韩欧美亚洲二区| 在线观看国产h片| 久久久久久久久久人人人人人人| 亚洲精品第二区| 国产精品av视频在线免费观看| 男女无遮挡免费网站观看| 日本爱情动作片www.在线观看| 成年女人看的毛片在线观看| 干丝袜人妻中文字幕| 一本色道久久久久久精品综合| 免费看不卡的av| 午夜福利视频精品| 久久精品人妻少妇| 久久久久久久久久久丰满| 欧美另类一区| 波野结衣二区三区在线| 亚洲精品第二区| 九九久久精品国产亚洲av麻豆| 秋霞伦理黄片| 国产成人免费无遮挡视频| 欧美精品一区二区大全| 在线亚洲精品国产二区图片欧美 | 亚洲国产日韩一区二区| 麻豆成人午夜福利视频| 最新中文字幕久久久久| 成人午夜精彩视频在线观看| 亚洲婷婷狠狠爱综合网| 2022亚洲国产成人精品| 国产综合懂色| 欧美日韩视频高清一区二区三区二| 美女脱内裤让男人舔精品视频| 久久久久性生活片| 色吧在线观看| 精品少妇黑人巨大在线播放| 国产片特级美女逼逼视频| 精品久久久久久久久亚洲| 国产色婷婷99| 卡戴珊不雅视频在线播放| 天天躁夜夜躁狠狠久久av| 丝瓜视频免费看黄片| 国国产精品蜜臀av免费| 夫妻性生交免费视频一级片| 少妇人妻精品综合一区二区| 九九久久精品国产亚洲av麻豆| 国产精品人妻久久久久久| 插阴视频在线观看视频| 亚洲欧美日韩无卡精品| 日韩视频在线欧美| 久久韩国三级中文字幕| 日韩av不卡免费在线播放| 伊人久久国产一区二区| 国产精品女同一区二区软件| 亚洲欧美一区二区三区黑人 | 欧美3d第一页| 午夜激情久久久久久久| 国产白丝娇喘喷水9色精品| 免费黄色在线免费观看| 最近最新中文字幕免费大全7| 在线精品无人区一区二区三 | 国产在线男女| 久久午夜福利片| 久久精品人妻少妇| 国产综合懂色| 嫩草影院新地址| 久久热精品热| 乱码一卡2卡4卡精品| 黄色怎么调成土黄色| 寂寞人妻少妇视频99o| 成人二区视频| 一级a做视频免费观看| 国产男女超爽视频在线观看| 性色av一级| 2018国产大陆天天弄谢| 亚洲经典国产精华液单| 久久久久性生活片| 大码成人一级视频| 久久久久久久久久久免费av| 青春草国产在线视频| 一本色道久久久久久精品综合| 久久鲁丝午夜福利片| 久久精品夜色国产| 丰满人妻一区二区三区视频av| 日韩,欧美,国产一区二区三区| 国产黄色视频一区二区在线观看| 青青草视频在线视频观看| 黄色配什么色好看| 日韩亚洲欧美综合| 亚洲欧美成人综合另类久久久| 极品教师在线视频| 青春草视频在线免费观看| 一级毛片 在线播放| 黄色欧美视频在线观看| 嫩草影院新地址| 国产av码专区亚洲av| 国产乱来视频区| 亚洲国产欧美在线一区| 精品酒店卫生间| 麻豆成人午夜福利视频| 在线观看一区二区三区| a级一级毛片免费在线观看| 日本爱情动作片www.在线观看| 91久久精品电影网| 亚洲精品乱码久久久v下载方式| 舔av片在线| 亚洲欧美一区二区三区黑人 | 观看免费一级毛片|