• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    觀察性研究的敏感性分析:“E-value”解讀

    2020-05-25 02:34:29姜棋予孫麗君畢京峰
    中國醫(yī)藥導(dǎo)報(bào) 2020年11期
    關(guān)鍵詞:敏感性分析解讀

    姜棋予 孫麗君 畢京峰

    [摘要] 通過對(duì)敏感性分析新方法E-value的解讀,向讀者介紹一種簡單實(shí)用的觀察性研究敏感性分析方法。該方法以相對(duì)危險(xiǎn)度(RR)作為主要研究指標(biāo),構(gòu)建了RR敏感性分析的統(tǒng)計(jì)學(xué)模型,從而預(yù)測(cè)能夠?qū)⒀芯拷Y(jié)果(RR值)解釋掉的,未知混雜因素與暴露因素及結(jié)局的最小關(guān)聯(lián)強(qiáng)度。該方法還通過統(tǒng)計(jì)學(xué)轉(zhuǎn)換,將RR推廣到優(yōu)勢(shì)比、風(fēng)險(xiǎn)比及結(jié)局變化的均值的敏感性分析。該方法為觀察性研究的敏感性分析提供了一種簡單、可靠的分析方法,建議在以后的觀察性研究報(bào)告及論文發(fā)表中提供相應(yīng)的敏感性分析結(jié)果,但須注意,該敏感性分析并不能替代嚴(yán)謹(jǐn)?shù)目蒲性O(shè)計(jì)。

    [關(guān)鍵詞] 觀察性研究;敏感性分析;E-value;解讀

    [中圖分類號(hào)] C81 ? ? ? ? ?[文獻(xiàn)標(biāo)識(shí)碼] A ? ? ? ? ?[文章編號(hào)] 1673-7210(2020)04(b)-0181-06

    Sensitivity analysis of observational studies: “E-value” interpretation

    JIANG Qiyu ? SUN Lijun ? BI Jingfeng▲

    Clinical Research Management Center, the Fifth Medical Center, Chinese PLA General Hospital, Beijing ? 100039, China

    [Abstract] Through the interpretation of the new sensitivity analysis method E-value, a simple and practical sensitivity analysis method for observational research is introduced to readers. In this method, Relative Risk (RR) was used as the main research index to construct a statistical model of RR sensitivity analysis, so as to predict the minimum correlation strength of unknown confounders with exposure factors and outcomes that can explain away the research results (RR values). The method also extended RR to sensitivity analysis of Odds ratio, Hazard ratio and mean of outcome changes through statistical transformation. This method provides a simple and reliable method for sensitivity analysis of observational research, and it is suggested to provide corresponding results of sensitivity analysis in future observational research reports and papers, but it should be noted that this sensitivity analysis cannot replace rigorous scientific research design.

    [Key words] Observational study; Sensitivity analysis; E-value; Interpretation

    在觀察性研究中,臨床研究的結(jié)局可能受多種因素的影響,即使研究者已經(jīng)根據(jù)前期調(diào)研結(jié)果采集到了足夠的影響因素,但仍可能存在未知的混雜因素影響結(jié)果的可靠性。從流行病學(xué)的角度,研究者更希望知道研究結(jié)果的穩(wěn)定性或可靠性有多高,即假如存在一個(gè)或幾個(gè)未知的影響因素,這些影響因素需要有多大的“效力”可以完全解釋掉該研究結(jié)果。國外的學(xué)者已經(jīng)提出了多種探索敏感性分析的分析方法[1-19],但這些分析方法在學(xué)術(shù)界也引起了一定的爭議,部分技術(shù)被認(rèn)為太過主觀,研究者往往通過選擇更為靈敏的參數(shù),使結(jié)果相對(duì)于未知混雜因素的影響更為穩(wěn)健[20]。其他批評(píng)包括,假設(shè)通常規(guī)定未測(cè)量的混雜因素是二元的[3],或者只有一個(gè)未測(cè)量的混雜因素[4-5],或者未測(cè)量的混雜因素與治療結(jié)果之間沒有相互作用[2-5]。

    加州大學(xué)伯克利分校統(tǒng)計(jì)系丁鵬博士與哈佛大學(xué)公共衛(wèi)生學(xué)院流行病學(xué)系博士Tyler J. VanderWeele利用混雜因素與暴露因素及結(jié)局的關(guān)聯(lián)性,提出并構(gòu)建了觀察性研究的敏感性分析理論[14,20-21],并組織編寫了名為“EValue”的R包,為觀察性研究的敏感性分析提供了一種簡單、可靠的分析方法。本文將針對(duì)該方法進(jìn)行介紹,以期為國內(nèi)研究者提供觀察性研究敏感性分析的新思路。

    1 基本原理

    1.1 統(tǒng)計(jì)學(xué)原理

    設(shè)暴露因素為E,已經(jīng)獲得的協(xié)變量(混雜因素)為C,結(jié)局變量(二分類)為D,未測(cè)量的混雜因素為U(可以為兩分類,多分類,連續(xù)變量,U=1,2……k)。將未測(cè)量混雜因素U與暴露因素E的關(guān)聯(lián)強(qiáng)度稱之為RREU,將未測(cè)量混雜因素U與結(jié)果D的關(guān)聯(lián)強(qiáng)度稱之為RRUD。RREU、RRUD與暴露因素、結(jié)局以及已經(jīng)獲得的協(xié)變量的關(guān)系見圖1[21]。

    2.2 E-value分析的3個(gè)擴(kuò)展

    在觀察性研究中,針對(duì)不同研究設(shè)計(jì)和結(jié)果數(shù)據(jù),logistic回歸、Cox比例風(fēng)險(xiǎn)模型、多重線性回歸是最為常用的多因素統(tǒng)計(jì)分析方法,其輸出的統(tǒng)計(jì)結(jié)果分別是優(yōu)勢(shì)比(odds ratio,OR)、風(fēng)險(xiǎn)比(hazard ratio,HR)、結(jié)局變化的均值及其置信區(qū)間。E-value也通過RR的統(tǒng)計(jì)學(xué)轉(zhuǎn)換為上述結(jié)果提供了敏感性分析方法。

    2.2.1 OR值的敏感性分析 ?如前所述,E-value的敏感性分析主要針對(duì)的是RR指標(biāo),關(guān)于OR值的敏感性分析則是基于RR值與OR值的相關(guān)性統(tǒng)計(jì)學(xué)理論取近似值,在E-value中,當(dāng)結(jié)局事件的發(fā)生率<15%或>85%時(shí),按RR=OR計(jì)算,當(dāng)結(jié)局事件的發(fā)生率介于15%~85%時(shí),按如下公式計(jì)算[21,23]RR=■,將OR近似地替換為RR,從而可以利用該RR的近似值進(jìn)行敏感性分析。如在“基于劑量-反應(yīng)關(guān)系的體力活動(dòng)對(duì)血清肌酐水平的影響及其性別差異”[25]中,能量代謝當(dāng)量大于821.50MET-min/week組(肌酐異常發(fā)生率35.24%)發(fā)生肌酐水平異常的OR值為1.47, 95%的置信區(qū)間為(1.13~1.92),肌酐異??偘l(fā)生率為(192+216)/(804+613)×100%=28.79%(介于15%~85%)。其E-value的R軟件實(shí)現(xiàn):在R軟件EValue包中,可直接利用以下函數(shù)進(jìn)行估算:evalues.OR(X,low,high,rare =0或1),其中X表示觀察性研究結(jié)果OR值,low表示OR值置信區(qū)間的下限,high表示OR值置信區(qū)間的上限,rare即結(jié)局事件的發(fā)生率是否在15%~85%之間,當(dāng)在這個(gè)區(qū)間時(shí)rare=0,當(dāng)<15%或>85%時(shí),rare=1。將上述值代入EValue包“evalues.OR(1.47,1.13,1.92,rare =0)”,得到E-value=1.72,其值置信區(qū)間的低限為1.32,即如果存在某種未測(cè)量(未知)的混雜因素,其與暴露因素及結(jié)局的RR各達(dá)到1.32時(shí)(RREU=RRUD=1.32),就可以完全解釋掉原研究結(jié)果RR=1.47。

    2.2.2 HR值的敏感性分析 ?Cox比例風(fēng)險(xiǎn)模型輸出的主要統(tǒng)計(jì)結(jié)果是HR值,同OR值相似,當(dāng)結(jié)局事件的發(fā)生率<15%或>85%時(shí),按RR=HR計(jì)算,當(dāng)結(jié)局事件的發(fā)生率介于15%~85%時(shí),E-value[21]按如下公式計(jì)算:RR≈[1-0.5sqrt(HR)]/[1-0.5sqrt(1/HR)]。R軟件實(shí)現(xiàn):同OR值敏感性的計(jì)算一樣,在R軟件EValue包中,可直接利用以下函數(shù)進(jìn)行估算:evalues.HR(X,low,high,rare =0或1),其中X表示觀察性研究結(jié)果HR值,low表示HR值置信區(qū)間的下限,high表示HR值置信區(qū)間的上限,rare即結(jié)局事件的發(fā)生率是否在15%~85%之間,當(dāng)在這個(gè)區(qū)間時(shí)rare =0,當(dāng)<15%或>85%時(shí),rare =1。

    2.2.3 結(jié)局指標(biāo)變化均值及其置信區(qū)間的敏感性分析 ?多重線性回歸分析結(jié)果輸出的是回歸系數(shù)及其標(biāo)準(zhǔn)誤。回歸系數(shù)是指當(dāng)調(diào)整了其他協(xié)變量后,研究變量每變化一個(gè)單位,結(jié)局指標(biāo)的變化平均值。如Reinisch等[25]研究了苯巴比妥宮內(nèi)暴露對(duì)男性智力的影響,暴露組為母親在懷孕期間應(yīng)用過苯巴比妥的男性,對(duì)照組為母親在懷孕期間未應(yīng)用過苯巴比妥的男性,經(jīng)對(duì)家庭社會(huì)經(jīng)濟(jì)狀況、教育、母親是否嘗試墮胎、母親婚姻狀況等協(xié)變量調(diào)整后。苯巴比妥對(duì)智力影響的估計(jì)值均數(shù)為-4.77,95%的置信區(qū)間為(-7.96~-1.58),標(biāo)準(zhǔn)誤差為1.63,所有樣本的總方差為11.83。研究者沒有獲得關(guān)于父母智力的數(shù)據(jù),這可能是一個(gè)未測(cè)量的混雜因素。與OR、HR屬于分類資料不同,上述研究中對(duì)智力影響的估計(jì)值屬于連續(xù)性計(jì)量資料,首先需要將其轉(zhuǎn)化為RR,才能夠進(jìn)行敏感性分析。E-value基于方差分解的統(tǒng)計(jì)學(xué)理念,通過計(jì)算結(jié)局指標(biāo)變化均值占總方差的比例來獲得RR,具體方法是:用對(duì)智力影響的估計(jì)值均數(shù)和標(biāo)準(zhǔn)誤除以總樣本的標(biāo)準(zhǔn)差,得到D=-4.77/11.38=-0.42和SD=1.63/11.38=0.14的結(jié)果。然后應(yīng)用公式[21,22,26-27]:RR≈exp(0.91×d),置信區(qū)間:exp(0.91×d-1.78×sd),exp(0.91×d+1.78×sd),計(jì)算得到RR≈1.46,95%置信區(qū)間約為(1.14~1.88),再利用公式2即可以獲得E-value值及其95%的置信區(qū)間,結(jié)果E-value=2.29,其95%的置信區(qū)間的下限為1.54。之所以在計(jì)算RR的估計(jì)值時(shí),代入公式的是0.42而不是-0.42,是因?yàn)?0.42僅代表苯巴比妥對(duì)智力影響的估計(jì)值降低了0.42,“-”在這兒僅表示一個(gè)方向。R軟件EValue包同樣提供了相應(yīng)的函數(shù):evalues.MD(D,SD),如本例,evalues.MD(0.42,0.14),即可獲得上述結(jié)果。

    2.3 關(guān)于E-value幾個(gè)需要說明的問題

    2.3.1 RR值應(yīng)>1 ?許多研究獲得的RR往往<1,E-value一般要求如果RR<1,則應(yīng)取該值的倒數(shù)使之>1。其實(shí)這不矛盾,RR本身是一個(gè)相對(duì)概念,一般代表的是暴露組與對(duì)照組的發(fā)病率之比,其倒數(shù)代表的是對(duì)照組與暴露組的發(fā)病率之比,在結(jié)果解釋上是相同的。

    2.3.2 E-value值代表什么? ?E-value值可用于估算未測(cè)量的混雜因素能夠?qū)⒀芯拷Y(jié)果解釋掉的,需要與結(jié)局指標(biāo)相關(guān)聯(lián)的最小關(guān)聯(lián)強(qiáng)度,從而可以評(píng)估暴露因素與結(jié)局指標(biāo)之間關(guān)聯(lián)的穩(wěn)健程度,并且當(dāng)在E-value值比較大情況下,可能提供支持因果關(guān)系的有力證據(jù)。然而,在沒有確鑿證據(jù)的情況下,不能以E-value值的大小來判斷原研究結(jié)果的對(duì)與錯(cuò)。從公式2中可以看出,E-value值與研究結(jié)果RR值(或由OR、HR等推導(dǎo)出的RR值)的大小是密切相關(guān)的,當(dāng)RR值較小時(shí),E-value值也較小。不能因?yàn)镽R值較小,同時(shí)E-value值也較小就認(rèn)為研究結(jié)果可能是錯(cuò)誤的,因?yàn)楸┞杜c結(jié)局的相關(guān)性事實(shí)上可能就是這個(gè)結(jié)果。

    2.3.3 E-value需不需要確定一個(gè)固定的域值? ?既然獲得了E-value,研究者可能會(huì)問,能不能象P值(P < 0.05被公認(rèn)為有統(tǒng)計(jì)學(xué)差異)一樣確定一個(gè)固定的域值,當(dāng)E-value>該值時(shí)研究結(jié)果可認(rèn)為更穩(wěn)健,而當(dāng)<該值時(shí)被視為不夠穩(wěn)???“推薦Evalue”[22]認(rèn)為,不應(yīng)該設(shè)置這樣一個(gè)域值。因?yàn)镋-value值僅表示,假如有未測(cè)量的混雜因素能夠解釋掉研究結(jié)果RR,其與暴露因素及結(jié)局指標(biāo)最小的關(guān)聯(lián)程度。如上所述,可能在事實(shí)上,暴露與結(jié)局的相關(guān)性本身就是這個(gè)結(jié)果。

    2.3.4 E-value還可以用于評(píng)估研究結(jié)果被低估的關(guān)聯(lián)強(qiáng)度 ?E-value值除了可用于估算未測(cè)量的混雜因素能夠?qū)⒀芯拷Y(jié)果解釋掉的,需要與結(jié)局指標(biāo)相關(guān)聯(lián)的最小關(guān)聯(lián)強(qiáng)度外,也可以評(píng)估由未測(cè)量的混雜因素導(dǎo)致的,暴露因素與結(jié)局指標(biāo)相關(guān)聯(lián)的被低估的關(guān)聯(lián)強(qiáng)度。二者的方法學(xué)原理是相似的。例如“血清白蛋白對(duì)心力衰竭患者院內(nèi)死亡的影響”[23]研究中,RR=2,當(dāng)我們想知道未測(cè)量的混雜因素需要具備多大的RREU和RRUD,會(huì)導(dǎo)致RR=3時(shí),則RR′=2/3,然后利用公式2,將RR′替換RR即可獲得相應(yīng)的E-value值。

    2.3.5 有了E-value還需要進(jìn)行多因素分析嗎? ?答案是肯定的。E-value評(píng)價(jià)的是觀察性研究結(jié)果可能被未測(cè)量混雜因素解釋掉的程度,多因素分析的結(jié)果無疑將更加穩(wěn)健,其可能存在的未測(cè)量混雜因素的范圍將更小,所獲得的E-value值也更加確切。

    2.4 E-value的局限性

    如同任何一種統(tǒng)計(jì)學(xué)方法都有其局限性一樣,E-value學(xué)說的發(fā)表也引起了一些爭議,JPA等[28]認(rèn)為,E-value方法在觀察性研究中很容易被誤用。E-value提供的是一個(gè)具有線性關(guān)系性質(zhì)的一個(gè)比較簡單的值[28],是在假設(shè)未測(cè)量的混雜因素對(duì)暴露因素與結(jié)局具有相同的關(guān)聯(lián)度的前提下獲得的,代表的是一種最小關(guān)聯(lián)強(qiáng)度。在醫(yī)學(xué)實(shí)踐中,這種關(guān)聯(lián)程度未必相同,因此E-value值僅僅且只能作為一個(gè)參考指標(biāo),其是否反應(yīng)了臨床實(shí)際值得商榷。

    E-value僅僅提供了一種敏感性分析結(jié)果,不能替代觀察性研究所必須的,嚴(yán)謹(jǐn)?shù)目蒲性O(shè)計(jì)。E-value是在科學(xué)、嚴(yán)謹(jǐn)?shù)脑O(shè)計(jì),實(shí)施,統(tǒng)計(jì),分析基礎(chǔ)上所建立的一種相對(duì)簡單、線性的敏感性分析方法,只能對(duì)假設(shè)的未知混雜因素能夠?qū)⒀芯拷Y(jié)果(RR值)解釋掉的最小關(guān)聯(lián)強(qiáng)度進(jìn)行預(yù)測(cè)。由于這僅僅是一種未知的假設(shè),其在評(píng)價(jià)過程中只能起一定的輔助作用,不能因?yàn)楂@得了較大的E-value值就認(rèn)為結(jié)果一定是穩(wěn)健的,也不能因?yàn)楂@得了較小的E-value值就認(rèn)為結(jié)果不可靠。觀察性研究結(jié)果的科學(xué)性決定于必須按照流行病學(xué)的研究原理,進(jìn)行科學(xué)、嚴(yán)謹(jǐn)?shù)脑O(shè)計(jì),實(shí)施,統(tǒng)計(jì),分析,并進(jìn)行規(guī)范的報(bào)告[29],方能得出令人信服的結(jié)論。準(zhǔn)確地說,觀察性研究結(jié)果的科學(xué)性和可靠性只與科學(xué)、嚴(yán)謹(jǐn)?shù)脑O(shè)計(jì),實(shí)施,統(tǒng)計(jì),分析相關(guān),E-value值只是為該研究結(jié)果提供了一種補(bǔ)充信息。

    3 致謝

    在本文的成文過程中,得到了E-value方法的原創(chuàng)者,加州大學(xué)伯克利分校統(tǒng)計(jì)系丁鵬教授的大力支持,并對(duì)文章進(jìn)行了悉心指導(dǎo)和修改,在此謹(jǐn)表示衷心感謝并致以崇高的敬意。

    [參考文獻(xiàn)]

    [1] ?Bross ID. Spurious effects from an extraneous variable [J]. J Chronic Dis,1966,19(6):637-647.

    [2] ?Schlesselman JJ. Assessing effects of confounding variables [J]. Am J Epidemiol,1978,108(1):3-8.

    [3] ?Rosenbaum PR,Rubin DB. Assessing sensitivity to an unobserved binary covariate in an observational study with binary outcome [J]. J R Stat Soc Series B,1983,45:212-218.

    [4] ?Lin DY,Psaty BM,Kronrnal RA. Assessing the sensitivity of regression results to unmeasured confounders in observational studies [J]. Biometrics,1998,54(3):948-963.

    [5] ?Imbens GW. Sensitivity to exogeneity assumptions in program evaluation [J]. Amer Econ Rev,2003, 93:126-132.

    [6] ?Vanderweele TJ,Arah OA. Bias formulas for sensitivity analysis of unmeasured confounding for general outcomes,treatments,and confounders [J]. Epidemiology,2011,22(1):42-52.

    [7] ?Bross ID. Pertinency of an extraneous variable [J]. J Chronic Dis,1967,20(7):487-495.

    [8] ?Lee WC. Bounding the bias of unmeasured factors with confounding and effectmodifying potentials [J]. Stat Med,2011,30(9):1007-1017.

    [9] ?Robins JM,Rotnitzky A,Scharfstein DO. Sensitivity analysis for selection bias and unmeasured confounding in missing data and causal inference models [M]// Statistical Models in Epidemiology, the Environment, and Clinical Trials. Springer New York,2000:1-94.

    [10] ?McCandless LC,Gustafson P,Levy A. Bayesian sensitivity analysis for unmeasured confounding in observational studies [J]. Stat Med, 2007,26(11):2331-2347.

    [11] ?Brumback BA,Hernán MA,Haneuse SJ. Sensitivity analyses for unmeasured confounding assuming a marginal structural model for repeated measures [J]. Stat Med,2004,23(5):749-767.

    [12] ?VanderWeele TJ. Explanation in Causal Inference:Methods for Mediation and Interaction [M]. New York:Oxford University Press,2015,Chapter 3.

    [13] ?VanderWeele TJ. Sensitivity analysis for contagion effects in social networks [J]. Sociol Methods Res,2011,40(2):240-255.

    [14] ?Ding P,VanderWeele TJ. Sensitivity analysis without assumptions [J]. Epidemiology,2016,27(3):368-377.

    [15] ?Gilbert PB,Bosch RJ,Hudgens MG. Sensitivity analysis for the assessment of causal vaccine effects on viral load in HIV vaccine trials [J]. Biometrics,2003,59(3):531-541.

    [16] ?Chiba Y,VanderWeele TJ. A simple method for principal strata effects when the outcome has been truncated due to death [J]. Am J Epidemiol,2011,173(7):745-751.

    [17] ?Huang TH,Lee WC. Bounding formulas for selection bias [J]. Am J Epidemiol,2015,182(10):868-872.

    [18] ?Robins J,Orellana L,Rotnitzky A. Estimation and extrapolation of optimal treatment and testing strategies [J]. Stat Med,2008,27(23):4678-4721.

    [19] ?Hernán MA,Lanoy E,Costagliola D. Comparison of dynamic treatment regimes via inverse probability weighting [J]. Basic Clin Pharmacol Toxicol,2006,98(3):237-242.

    [20] ?Ding P,VanderWeele TJ. Sharp Sensitivity Bounds for Mediation Under Unmeasured Mediator-Outcome Confounding [J]. Biometrika,2016,103(2):483-490.

    [21] ?VanderWeele TJ,Ding P. Sensitivity Analysis in Observational Research:Introducing the E-Value [J]. Ann Intern Med,2017,167(4):268-274.

    [22] ?于彤彤,宋嬌磊,劉雙雙,等.基于傾向性評(píng)分匹配法探討血清白蛋白對(duì)心力衰竭患者院內(nèi)死亡的影響[J].中華內(nèi)科雜志,2015,54(11):959-964.

    [23] ?VanderWeele TJ. On a square-root transformation of the odds ratio for a common outcome [J]. Epidemiology,2017, 28(6):e58-e60

    [24] ?許春杰,劉曉宇,尹素鳳,等.基于劑量-反應(yīng)關(guān)系的體力活動(dòng)對(duì)血清肌酐水平的影響及其性別差異[J].鄭州大學(xué)學(xué)報(bào):醫(yī)學(xué)版,2018,53(2):225-229.

    [25] ?Reinisch JM,Sanders SA,Mortensen EL. In utero exposure to phenobarbital and intelligence deficits in adult men [J]. JAMA,1995,274(19):1518-1525.

    [26] ?Hasselblad V,Hedges LV. Meta-analysis of screening and diagnostic tests [J]. Psychol Bull,1995,117(1):167-178.

    [27] ?Borenstein M,Hedges LV,Higgins JPT,et al. Introduction to Meta-Analysis [M]. Wiley:2009,Chapter 7.

    [28] ?JPA I,Tan YJ,Blum MR. Limitations and Misinterpretations of E-Values for Sensitivity Analyses of Observational Studies [J]. Ann Intern Med,2019,170(2):108-111.

    [29] ?von EE,Altman DG,Egger M,et al. The Strengthening the Reporting of Observational Studies in Epidemiology(STROBE)statement:guidelines for reporting observational studies [J]. Lancet,2007,370(9596):1453-1457.

    (收稿日期:2019-09-02 ?本文編輯:顧家毓)

    猜你喜歡
    敏感性分析解讀
    區(qū)域性系統(tǒng)性金融風(fēng)險(xiǎn)影響因素研究
    區(qū)域性系統(tǒng)性金融風(fēng)險(xiǎn)影響因素研究
    城鎮(zhèn)化下基本養(yǎng)老保險(xiǎn)制度運(yùn)行可持續(xù)性的敏感性分析
    商(2016年35期)2016-11-24 10:42:45
    新時(shí)期高校意識(shí)形態(tài)工作的個(gè)案解讀
    我國電視新聞評(píng)論節(jié)目特色的解讀
    人間(2016年28期)2016-11-10 23:36:18
    解讀日本攝影家植田正治的擺拍寫實(shí)現(xiàn)象
    關(guān)注生成,激活學(xué)生認(rèn)知
    興和縣萬鵬養(yǎng)殖合作社經(jīng)濟(jì)效益評(píng)價(jià)
    美國稅收遞延型企業(yè)年金分析及對(duì)我國的啟示
    淺談本量利分析法在高校會(huì)計(jì)管理工作中的應(yīng)用
    欧美最黄视频在线播放免费| 国产精品二区激情视频| 丁香六月欧美| 国产在线精品亚洲第一网站| 后天国语完整版免费观看| 真人一进一出gif抽搐免费| АⅤ资源中文在线天堂| 老司机靠b影院| 精品卡一卡二卡四卡免费| 一级作爱视频免费观看| 99精品欧美一区二区三区四区| 亚洲精品一卡2卡三卡4卡5卡| 最新美女视频免费是黄的| 久久中文字幕一级| 午夜福利18| 嫩草影视91久久| 亚洲熟女毛片儿| 亚洲精品中文字幕在线视频| 日韩免费av在线播放| 国产精品一区二区免费欧美| 日韩有码中文字幕| 美女高潮到喷水免费观看| 午夜免费成人在线视频| 天天一区二区日本电影三级| 最近最新中文字幕大全电影3 | 男人舔女人下体高潮全视频| 国产99白浆流出| 国产激情欧美一区二区| 久久这里只有精品19| 免费看美女性在线毛片视频| 搡老岳熟女国产| 国产乱人伦免费视频| 黄片播放在线免费| 日韩一卡2卡3卡4卡2021年| 国产真人三级小视频在线观看| 亚洲人成网站在线播放欧美日韩| 久99久视频精品免费| 国产私拍福利视频在线观看| 国产精品国产高清国产av| 国产一级毛片七仙女欲春2 | 久久久久久九九精品二区国产 | 亚洲男人的天堂狠狠| a在线观看视频网站| 亚洲国产欧洲综合997久久, | 俺也久久电影网| 欧美激情极品国产一区二区三区| 久久精品人妻少妇| 欧美不卡视频在线免费观看 | 一本精品99久久精品77| 很黄的视频免费| 国产高清有码在线观看视频 | 亚洲午夜理论影院| 国产激情偷乱视频一区二区| 久久久久精品国产欧美久久久| 久久精品成人免费网站| 亚洲中文av在线| 一级a爱片免费观看的视频| 麻豆成人av在线观看| 国产高清videossex| bbb黄色大片| 在线观看免费日韩欧美大片| 亚洲无线在线观看| 成在线人永久免费视频| 午夜免费激情av| 99久久精品国产亚洲精品| 久久这里只有精品19| 亚洲国产精品成人综合色| 国产一区二区三区在线臀色熟女| 国产不卡一卡二| 日本黄色视频三级网站网址| 一本大道久久a久久精品| 精品国产乱子伦一区二区三区| 久久精品国产99精品国产亚洲性色| 精品久久久久久久末码| 久久久精品欧美日韩精品| 在线永久观看黄色视频| 美女午夜性视频免费| 精品电影一区二区在线| 亚洲色图av天堂| 色综合婷婷激情| 中文字幕最新亚洲高清| 亚洲人成伊人成综合网2020| 国产三级黄色录像| 国产三级在线视频| 久热这里只有精品99| 色综合站精品国产| 搡老妇女老女人老熟妇| 国产黄色小视频在线观看| 叶爱在线成人免费视频播放| 两个人视频免费观看高清| 欧美成人性av电影在线观看| 1024手机看黄色片| 99久久精品国产亚洲精品| 日韩欧美在线二视频| 在线观看舔阴道视频| 国产精品99久久99久久久不卡| 日韩欧美 国产精品| 女人高潮潮喷娇喘18禁视频| 99在线人妻在线中文字幕| 一本久久中文字幕| 中出人妻视频一区二区| 99精品在免费线老司机午夜| 精品国产国语对白av| 少妇 在线观看| 不卡一级毛片| 91成人精品电影| 成人av一区二区三区在线看| 亚洲国产欧美日韩在线播放| 自线自在国产av| 伊人久久大香线蕉亚洲五| 亚洲成人久久性| 午夜视频精品福利| 午夜a级毛片| 99在线人妻在线中文字幕| 黄色视频,在线免费观看| 波多野结衣高清作品| 88av欧美| 久久婷婷人人爽人人干人人爱| 亚洲国产毛片av蜜桃av| 精品国产一区二区三区四区第35| 久久婷婷人人爽人人干人人爱| 亚洲,欧美精品.| 亚洲国产欧洲综合997久久, | 日韩欧美国产在线观看| 国产激情久久老熟女| 欧美激情 高清一区二区三区| 日韩 欧美 亚洲 中文字幕| 男女下面进入的视频免费午夜 | 国产一卡二卡三卡精品| 欧美av亚洲av综合av国产av| 999久久久国产精品视频| 久久久久久免费高清国产稀缺| 岛国在线观看网站| 国产亚洲精品av在线| 窝窝影院91人妻| 精品第一国产精品| 一卡2卡三卡四卡精品乱码亚洲| 成人国语在线视频| 精品久久久久久久久久久久久 | 国产99久久九九免费精品| 熟妇人妻久久中文字幕3abv| 精品久久久久久久久久免费视频| 中文字幕av电影在线播放| 亚洲专区字幕在线| 免费在线观看日本一区| 亚洲一区二区三区色噜噜| 国产真人三级小视频在线观看| 啦啦啦免费观看视频1| 中文字幕人成人乱码亚洲影| 国产欧美日韩一区二区三| a级毛片a级免费在线| 欧美人与性动交α欧美精品济南到| 亚洲在线自拍视频| 婷婷精品国产亚洲av| 此物有八面人人有两片| 女生性感内裤真人,穿戴方法视频| 欧美激情高清一区二区三区| 午夜福利免费观看在线| 日韩av在线大香蕉| 国产97色在线日韩免费| 欧美国产日韩亚洲一区| 精品国内亚洲2022精品成人| 中文字幕高清在线视频| 岛国在线观看网站| 麻豆成人av在线观看| 大型黄色视频在线免费观看| 成人国产一区最新在线观看| 在线观看免费视频日本深夜| 精品福利观看| 欧美精品亚洲一区二区| 无限看片的www在线观看| 好看av亚洲va欧美ⅴa在| 亚洲自偷自拍图片 自拍| 国产乱人伦免费视频| 免费在线观看影片大全网站| 一区福利在线观看| 啪啪无遮挡十八禁网站| 老司机午夜福利在线观看视频| 男男h啪啪无遮挡| 成人亚洲精品av一区二区| 天堂√8在线中文| 国产精品自产拍在线观看55亚洲| 久久99热这里只有精品18| 亚洲精品美女久久久久99蜜臀| 91麻豆精品激情在线观看国产| 国产精品二区激情视频| 亚洲av日韩精品久久久久久密| 亚洲av电影在线进入| 久久中文字幕人妻熟女| cao死你这个sao货| 俺也久久电影网| 18禁黄网站禁片午夜丰满| e午夜精品久久久久久久| 最近最新中文字幕大全电影3 | 欧美绝顶高潮抽搐喷水| 国产精品99久久99久久久不卡| 成人av一区二区三区在线看| 夜夜夜夜夜久久久久| 国产亚洲精品久久久久久毛片| 午夜福利在线在线| 亚洲av成人不卡在线观看播放网| 成人av一区二区三区在线看| 国产精品乱码一区二三区的特点| 在线观看66精品国产| 久久精品人妻少妇| 欧美av亚洲av综合av国产av| 色在线成人网| 欧美在线黄色| 国产免费av片在线观看野外av| 国产av一区二区精品久久| 深夜精品福利| 国内毛片毛片毛片毛片毛片| 免费人成视频x8x8入口观看| 亚洲七黄色美女视频| 青草久久国产| 99精品久久久久人妻精品| 成人国语在线视频| 欧美久久黑人一区二区| 久久 成人 亚洲| 国产精品亚洲美女久久久| 亚洲国产精品合色在线| 午夜视频精品福利| 此物有八面人人有两片| 亚洲第一av免费看| 日韩欧美三级三区| 一个人免费在线观看的高清视频| 精品国产乱码久久久久久男人| 黄频高清免费视频| 又大又爽又粗| 无人区码免费观看不卡| 性欧美人与动物交配| 男女那种视频在线观看| 日日爽夜夜爽网站| 国产伦一二天堂av在线观看| 黑人巨大精品欧美一区二区mp4| 在线观看www视频免费| 男人舔奶头视频| 成人三级黄色视频| 丰满的人妻完整版| 欧美激情 高清一区二区三区| 91成年电影在线观看| 日韩欧美免费精品| 好男人在线观看高清免费视频 | 怎么达到女性高潮| 欧美精品亚洲一区二区| 久久99热这里只有精品18| 嫁个100分男人电影在线观看| 国内久久婷婷六月综合欲色啪| 亚洲欧美日韩高清在线视频| 亚洲在线自拍视频| 无限看片的www在线观看| 国产视频一区二区在线看| 女人高潮潮喷娇喘18禁视频| 久久精品aⅴ一区二区三区四区| 在线天堂中文资源库| 精品久久久久久久毛片微露脸| 国产伦人伦偷精品视频| 亚洲国产精品成人综合色| 国产麻豆成人av免费视频| 国产精品 欧美亚洲| 国产熟女xx| 亚洲 欧美 日韩 在线 免费| 国产成人系列免费观看| 久热这里只有精品99| 久久人妻福利社区极品人妻图片| 男人的好看免费观看在线视频 | 中文字幕另类日韩欧美亚洲嫩草| 老鸭窝网址在线观看| 后天国语完整版免费观看| e午夜精品久久久久久久| 午夜免费鲁丝| 精品久久久久久久人妻蜜臀av| 久久精品亚洲精品国产色婷小说| 超碰成人久久| 成人av一区二区三区在线看| 国产一区在线观看成人免费| 免费电影在线观看免费观看| 淫秽高清视频在线观看| 亚洲aⅴ乱码一区二区在线播放 | 美女高潮到喷水免费观看| 性色av乱码一区二区三区2| 别揉我奶头~嗯~啊~动态视频| 欧美中文综合在线视频| 丁香六月欧美| 国产精品免费视频内射| 久久久久久人人人人人| 国产蜜桃级精品一区二区三区| 十八禁网站免费在线| 99国产精品一区二区蜜桃av| 一进一出抽搐动态| 丁香六月欧美| 亚洲国产高清在线一区二区三 | 制服丝袜大香蕉在线| 一进一出抽搐动态| 人人妻人人看人人澡| 夜夜看夜夜爽夜夜摸| 久久精品国产亚洲av香蕉五月| 国产成人精品久久二区二区91| 欧美成人免费av一区二区三区| 少妇熟女aⅴ在线视频| 亚洲国产精品sss在线观看| 黑丝袜美女国产一区| 99精品久久久久人妻精品| 夜夜躁狠狠躁天天躁| 免费在线观看影片大全网站| 99热只有精品国产| 久久久久九九精品影院| 成人18禁高潮啪啪吃奶动态图| 757午夜福利合集在线观看| 中文字幕人成人乱码亚洲影| a级毛片在线看网站| 亚洲avbb在线观看| 国产99久久九九免费精品| 搡老岳熟女国产| 满18在线观看网站| 国产欧美日韩一区二区精品| 亚洲国产日韩欧美精品在线观看 | 身体一侧抽搐| 哪里可以看免费的av片| 亚洲欧美激情综合另类| 无限看片的www在线观看| 亚洲国产精品999在线| 亚洲人成77777在线视频| 国产单亲对白刺激| 国产黄片美女视频| 一区福利在线观看| 老鸭窝网址在线观看| 少妇的丰满在线观看| 国产伦在线观看视频一区| 亚洲国产精品999在线| 免费看美女性在线毛片视频| 日韩一卡2卡3卡4卡2021年| 男男h啪啪无遮挡| 999精品在线视频| 日本精品一区二区三区蜜桃| 1024视频免费在线观看| 国内久久婷婷六月综合欲色啪| 色老头精品视频在线观看| 国产高清激情床上av| 亚洲av熟女| 国产亚洲欧美精品永久| 精品福利观看| 国产91精品成人一区二区三区| 中亚洲国语对白在线视频| 亚洲欧洲精品一区二区精品久久久| 午夜两性在线视频| 国产亚洲欧美在线一区二区| 最新在线观看一区二区三区| 在线观看舔阴道视频| 欧美又色又爽又黄视频| 免费高清在线观看日韩| 国产视频内射| 好看av亚洲va欧美ⅴa在| 男女午夜视频在线观看| 老鸭窝网址在线观看| 亚洲天堂国产精品一区在线| 黄色 视频免费看| 亚洲国产欧洲综合997久久, | 中文字幕精品免费在线观看视频| 午夜影院日韩av| 中文字幕另类日韩欧美亚洲嫩草| www国产在线视频色| 女人爽到高潮嗷嗷叫在线视频| 欧美亚洲日本最大视频资源| 亚洲精品国产精品久久久不卡| 在线观看日韩欧美| 男男h啪啪无遮挡| 日韩免费av在线播放| 久久久国产精品麻豆| 国产97色在线日韩免费| 国产精品免费视频内射| 精品乱码久久久久久99久播| 欧美人与性动交α欧美精品济南到| 精品卡一卡二卡四卡免费| 精品国产一区二区三区四区第35| 好男人在线观看高清免费视频 | videosex国产| 国内精品久久久久久久电影| 人人妻人人看人人澡| 亚洲自拍偷在线| 麻豆av在线久日| 亚洲 欧美一区二区三区| 一级a爱片免费观看的视频| 亚洲精品久久国产高清桃花| 日日夜夜操网爽| 亚洲精品一区av在线观看| 51午夜福利影视在线观看| 99久久综合精品五月天人人| 在线观看66精品国产| 久久久久久大精品| 成人18禁在线播放| 12—13女人毛片做爰片一| 日韩av在线大香蕉| 淫妇啪啪啪对白视频| 久久久久亚洲av毛片大全| 日韩av在线大香蕉| 最新美女视频免费是黄的| 一区二区三区高清视频在线| 免费看美女性在线毛片视频| 校园春色视频在线观看| 亚洲人成网站在线播放欧美日韩| 亚洲久久久国产精品| 精品一区二区三区四区五区乱码| 亚洲欧美精品综合一区二区三区| 宅男免费午夜| 成人手机av| 51午夜福利影视在线观看| 欧美黄色淫秽网站| 亚洲专区国产一区二区| 亚洲熟妇中文字幕五十中出| 亚洲欧美激情综合另类| 亚洲国产精品合色在线| 18禁国产床啪视频网站| av福利片在线| 亚洲专区字幕在线| 国内揄拍国产精品人妻在线 | svipshipincom国产片| 国产不卡一卡二| 1024手机看黄色片| 757午夜福利合集在线观看| 成人免费观看视频高清| 熟女少妇亚洲综合色aaa.| 日韩国内少妇激情av| 精品一区二区三区视频在线观看免费| 久久久精品欧美日韩精品| 久久午夜综合久久蜜桃| 亚洲一区中文字幕在线| 12—13女人毛片做爰片一| 欧美黑人欧美精品刺激| 很黄的视频免费| 久久香蕉精品热| 久久久久久大精品| 日韩一卡2卡3卡4卡2021年| 精品国产亚洲在线| 久久精品国产亚洲av高清一级| 精品国产乱码久久久久久男人| 91字幕亚洲| 中亚洲国语对白在线视频| 中文资源天堂在线| 亚洲,欧美精品.| 欧美丝袜亚洲另类 | 国产亚洲欧美精品永久| 欧美一区二区精品小视频在线| 亚洲一码二码三码区别大吗| 校园春色视频在线观看| 亚洲精品一区av在线观看| 国产精品久久久久久人妻精品电影| 国产激情偷乱视频一区二区| 男女下面进入的视频免费午夜 | 国产激情欧美一区二区| 一区福利在线观看| 欧美成人一区二区免费高清观看 | 午夜福利一区二区在线看| 久久久久九九精品影院| 久久久久久久久中文| 亚洲第一av免费看| 国产色视频综合| 午夜日韩欧美国产| www日本黄色视频网| 午夜福利视频1000在线观看| 国产99久久九九免费精品| 亚洲精品一区av在线观看| 色播亚洲综合网| 国内精品久久久久精免费| 日本五十路高清| 国产精品久久视频播放| 黄色毛片三级朝国网站| 99re在线观看精品视频| 禁无遮挡网站| 好看av亚洲va欧美ⅴa在| 他把我摸到了高潮在线观看| 国产真实乱freesex| 熟妇人妻久久中文字幕3abv| 欧美黄色片欧美黄色片| 国产视频内射| 一二三四在线观看免费中文在| av有码第一页| 欧洲精品卡2卡3卡4卡5卡区| 亚洲成人久久性| 精品国产乱码久久久久久男人| 精品久久久久久久久久久久久 | 久久久久久久午夜电影| 宅男免费午夜| 精品一区二区三区四区五区乱码| 又黄又爽又免费观看的视频| 欧美激情 高清一区二区三区| 精品一区二区三区四区五区乱码| 婷婷亚洲欧美| 免费电影在线观看免费观看| 精品无人区乱码1区二区| 美女国产高潮福利片在线看| 88av欧美| 中出人妻视频一区二区| 一区二区三区激情视频| 听说在线观看完整版免费高清| 亚洲第一欧美日韩一区二区三区| 亚洲av五月六月丁香网| 88av欧美| 国产单亲对白刺激| 久久婷婷成人综合色麻豆| 欧美成人性av电影在线观看| 免费观看精品视频网站| 一级a爱片免费观看的视频| 欧美乱妇无乱码| 欧美绝顶高潮抽搐喷水| 99精品欧美一区二区三区四区| 国产单亲对白刺激| 999精品在线视频| 亚洲黑人精品在线| 麻豆一二三区av精品| 欧美黑人精品巨大| 非洲黑人性xxxx精品又粗又长| 亚洲专区国产一区二区| 亚洲av电影在线进入| 亚洲欧洲精品一区二区精品久久久| 波多野结衣高清无吗| 18美女黄网站色大片免费观看| 99国产精品99久久久久| 久久99热这里只有精品18| x7x7x7水蜜桃| 在线观看免费视频日本深夜| 久久久精品欧美日韩精品| 伦理电影免费视频| 人人妻人人澡欧美一区二区| 91国产中文字幕| 日韩国内少妇激情av| 国产黄a三级三级三级人| 亚洲国产中文字幕在线视频| 久久久久久九九精品二区国产 | 色综合站精品国产| 在线播放国产精品三级| 亚洲真实伦在线观看| tocl精华| 又黄又爽又免费观看的视频| 国产三级黄色录像| www.熟女人妻精品国产| 亚洲自拍偷在线| x7x7x7水蜜桃| 久久久久亚洲av毛片大全| 人人妻人人澡人人看| 日本免费一区二区三区高清不卡| 久久精品国产亚洲av高清一级| 久久国产亚洲av麻豆专区| 免费电影在线观看免费观看| 少妇的丰满在线观看| 韩国精品一区二区三区| 桃红色精品国产亚洲av| 亚洲自偷自拍图片 自拍| 国产一区二区在线av高清观看| 成人18禁在线播放| 波多野结衣av一区二区av| av福利片在线| 在线观看www视频免费| 色播亚洲综合网| 中文资源天堂在线| 亚洲精品国产精品久久久不卡| 国产又黄又爽又无遮挡在线| 国产一区在线观看成人免费| 老司机午夜十八禁免费视频| 黄色 视频免费看| 亚洲精品久久国产高清桃花| 欧美激情久久久久久爽电影| 一个人免费在线观看的高清视频| 欧美久久黑人一区二区| 久久精品aⅴ一区二区三区四区| 两人在一起打扑克的视频| 免费在线观看影片大全网站| 午夜福利在线观看吧| 欧美性长视频在线观看| 淫秽高清视频在线观看| 午夜免费鲁丝| 国产一卡二卡三卡精品| 成熟少妇高潮喷水视频| 午夜影院日韩av| 日本撒尿小便嘘嘘汇集6| 免费在线观看影片大全网站| 俺也久久电影网| 欧美精品亚洲一区二区| 日日干狠狠操夜夜爽| 亚洲专区字幕在线| 免费高清在线观看日韩| 丁香六月欧美| 黄片小视频在线播放| 伦理电影免费视频| 国产主播在线观看一区二区| 婷婷丁香在线五月| 波多野结衣av一区二区av| 亚洲欧美激情综合另类| 男人舔奶头视频| 国产麻豆成人av免费视频| 午夜视频精品福利| 亚洲色图 男人天堂 中文字幕| 一二三四在线观看免费中文在| 亚洲黑人精品在线| 色婷婷久久久亚洲欧美| 国内毛片毛片毛片毛片毛片| 一区二区三区国产精品乱码| 19禁男女啪啪无遮挡网站| 我的亚洲天堂| 99热只有精品国产| 中文在线观看免费www的网站 | 少妇粗大呻吟视频| 国产欧美日韩一区二区精品| 久久久久久免费高清国产稀缺| 亚洲精品久久国产高清桃花| 一级a爱视频在线免费观看| 人成视频在线观看免费观看| 欧美激情久久久久久爽电影| 日日干狠狠操夜夜爽| 99国产精品一区二区三区| 国产黄色小视频在线观看| 熟妇人妻久久中文字幕3abv| 精品国产乱码久久久久久男人| 国产精品亚洲美女久久久| 国产亚洲精品久久久久5区|