• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于機(jī)器學(xué)習(xí)的企業(yè)運(yùn)行風(fēng)險(xiǎn)研究

    2019-10-08 11:55:52危明鑄麥偉杰袁峰
    軟件 2019年8期
    關(guān)鍵詞:隨機(jī)森林人工神經(jīng)網(wǎng)絡(luò)決策樹

    危明鑄 麥偉杰 袁峰

    摘 ?要: 黨的十八大三中全會提出逐步簡政放權(quán),要求做到便捷、規(guī)范、寬進(jìn)嚴(yán)管,這引起市場監(jiān)管主體職責(zé)發(fā)生變化,監(jiān)管對象呈現(xiàn)井噴式增長。傳統(tǒng)的監(jiān)管方法和手段已不能適應(yīng)改革后的監(jiān)管需要,監(jiān)管方法和手段必須由傳統(tǒng)向信息化、智能化等方式轉(zhuǎn)變。本文根據(jù)廣東省廣州市有關(guān)企業(yè)的真實(shí)數(shù)據(jù)對其展開運(yùn)行風(fēng)險(xiǎn)研究,首先運(yùn)用隨機(jī)森林算法對原始數(shù)據(jù)進(jìn)行變量選擇以便形成一個(gè)簡化、高效的數(shù)據(jù)集,然后分別應(yīng)用決策樹、集成法、人工神經(jīng)網(wǎng)絡(luò)分別對數(shù)據(jù)集進(jìn)行建模及分析,最后比較各種模型的優(yōu)劣,并深入研究各性能指標(biāo)的意義。通過模型可以有效地指導(dǎo)行政人員對異常企業(yè)進(jìn)行重點(diǎn)監(jiān)管,實(shí)現(xiàn)市場監(jiān)管的智能化和精細(xì)化。

    關(guān)鍵詞: 隨機(jī)森林;決策樹;集成法;人工神經(jīng)網(wǎng)絡(luò)

    中圖分類號: TP181 ? ?文獻(xiàn)標(biāo)識碼: A ? ?DOI:10.3969/j.issn.1003-6970.2019.08.007

    本文著錄格式:危明鑄,麥偉杰,袁峰,等. 基于機(jī)器學(xué)習(xí)的企業(yè)運(yùn)行風(fēng)險(xiǎn)研究[J]. 軟件,2019,40(8):2937

    【Abstract】: The Third Plenary Session of the 18th National Congress of the Communist Party of China proposed to gradually simplify administration and decentralization, and to ensure that it is convenient, standardized, lenient. This has caused changes in the responsibilities of market regulators, and the regulatory objects have shown a spurt of growth. Based on the real data of relevant enterprises in Foshan city, Guangdong Province, this paper conducts operational risk research. Firstly, random forest algorithm is used to select variables from the original data in order to form a simplified and efficient data set. Then, the decision tree, ensemble methods and artificial neural network are apply to model and analyze the dataset respectively. Finally compares the advantages and disadvantages of the various models, and in-depth study of the significance of each performance indexes. Through the model, it can effectively guide the administrative staff to focus on abnormal enterprises and realize the intellectualization and refinement of market supervision.

    【Key words】: Random forest; Decision tree; Ensemble methods; Artificial neural network

    0 ?引言

    隨著市場主體“寬進(jìn)嚴(yán)管”改革的不斷深入,國務(wù)院相繼頒發(fā)了《國務(wù)院辦公廳關(guān)于推廣隨機(jī)抽查規(guī)范事中事后監(jiān)管的通知》(國辦發(fā)〔2015〕58號)[1]、《國務(wù)院關(guān)于“先照后證”改革后加強(qiáng)事中事后監(jiān)管的意見》(國發(fā)〔2015〕62號)[2]和《國務(wù)院關(guān)于印發(fā)2016年推進(jìn)簡政放權(quán)放管結(jié)合優(yōu)化服務(wù)改革工作要點(diǎn)的通知》(國發(fā)〔2016〕30號)[3]等相關(guān)文件,要求大力推廣“雙隨機(jī)—公開”抽查工作,市場監(jiān)管模式也由“巡查制”改為“抽查制”。但目前仍存在一些不足之處,具體表現(xiàn)在:

    (1)市場主體規(guī)模龐大,難以把握重點(diǎn)監(jiān)管 ?對象。

    (2)雙隨機(jī)抽查的靶向性不強(qiáng)。

    (3)市場主體監(jiān)管風(fēng)險(xiǎn)預(yù)判能力不強(qiáng)。

    鑒于上述種種不足及企業(yè)監(jiān)管的必要性、迫切性,許多學(xué)者們把目光轉(zhuǎn)向到機(jī)器學(xué)習(xí)上。雖然政府不斷加強(qiáng)“事中事后”監(jiān)管,但諸如企業(yè)信息不透明、企業(yè)運(yùn)行存在風(fēng)險(xiǎn)等成為當(dāng)前整個(gè)社會經(jīng)濟(jì)發(fā)展過程中的突出問題,且目前仍缺乏對企業(yè)運(yùn)行狀況科學(xué)的評估模型和預(yù)警方法。在有限的時(shí)間和人力資源等約束條件下,對不同企業(yè)進(jìn)行具針對性的服務(wù)和監(jiān)管,必須充分發(fā)揮“機(jī)器學(xué)習(xí)+大數(shù)據(jù)”相關(guān)技術(shù)的作用。

    國外,Odom等人[4]早在1990年把人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到風(fēng)險(xiǎn)評估上,并將其與傳統(tǒng)的多元回歸分析比較,實(shí)驗(yàn)表明人工神經(jīng)網(wǎng)絡(luò)具有更優(yōu)越的性能;Fan運(yùn)用支持向量機(jī)(SVM)甄選與企業(yè)破產(chǎn)有影響的財(cái)務(wù)變量[5];Prinzie等人把邏輯回歸(Logistic)引入隨機(jī)森林算法并對其進(jìn)行優(yōu)化以及改進(jìn),提出一種新型的隨機(jī)森林算法,然后將改進(jìn)的算法應(yīng)用于預(yù)測公司的信用風(fēng)險(xiǎn)[6];Lin F等人研究隨機(jī)森林與KMV模型結(jié)合可能性,提出將違約距離作為隨機(jī)森林的輸入,模型對企業(yè)信用風(fēng)險(xiǎn)預(yù)測性能更優(yōu)越[7];Traskin等人利用隨機(jī)森林具有篩選重要變量的特征,提出將其應(yīng)用在保險(xiǎn)公司償付判別中[8];Tanaka、Kinkyo等人把隨機(jī)森林算法應(yīng)用在OECCD國家瀕臨破產(chǎn)的銀行對其進(jìn)行危機(jī)風(fēng)險(xiǎn)預(yù)測[9]。國內(nèi),張大斌、周志剛等人采取差分進(jìn)化算法自動聚類模型對我國上市公司展開信用度評價(jià),并與遺傳算法、決策樹、BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較,結(jié)果表明該模型具有更高的準(zhǔn)確性[10];方匡南,范新妍等人指出傳統(tǒng)的Logistic回歸建立企業(yè)運(yùn)行風(fēng)險(xiǎn)預(yù)警模型效果不夠好,提出了基于網(wǎng)絡(luò)結(jié)構(gòu)關(guān)系的Logistic模型[11];閆炳琪等人選取我國深滬兩市共74家公司2013-2014年的財(cái)務(wù)報(bào)表數(shù)據(jù),通過主成分分析降維得到濃縮的5個(gè)主成分因子,然后將5個(gè)因子作為自變量建立Logistic回歸模型[12];胡賢德、曹蓉等人借助群智能螢火蟲(GSO)算法,提出一種基于改進(jìn)離散型螢火蟲(IDGSO)算法,并將其引入到BP神經(jīng)網(wǎng)絡(luò)用于微企運(yùn)行風(fēng)險(xiǎn)評估[13];楊俊等人使用Gradient Boosting算法對中國建設(shè)銀行上海分行的企業(yè)貸款客戶數(shù)據(jù)建立模型,并和邏輯回歸以及專家規(guī)則進(jìn)行橫向比較,結(jié)果表明Gradient Boosting算法的模型要優(yōu)于另外兩種模型[14];熊正得等人利用因子分析法對深滬A股上市的制造企業(yè)財(cái)務(wù)數(shù)據(jù)構(gòu)建風(fēng)險(xiǎn)評價(jià)體系,并在違約 ? 測度階段應(yīng)用Logistic回歸對不同組樣本進(jìn)行測 ?度[15];周戰(zhàn)超通過對企業(yè)的貸款數(shù)據(jù)進(jìn)行實(shí)證分析,建立基于K-均值聚類的工業(yè)企業(yè)信用風(fēng)險(xiǎn)評價(jià)模型[16]。此外,機(jī)器學(xué)習(xí)還在不同的領(lǐng)域中有廣泛的應(yīng)用和研究[17-21]。

    根據(jù)上述關(guān)于企業(yè)運(yùn)行風(fēng)險(xiǎn)評價(jià)研究的總結(jié),本文運(yùn)用隨機(jī)森林作為對涉企數(shù)據(jù)進(jìn)行變量甄選,然后將決策樹、集成法以及神經(jīng)網(wǎng)絡(luò)分別應(yīng)用到企業(yè)運(yùn)行風(fēng)險(xiǎn)建模中,比較和分析三個(gè)模型的性能,并將其應(yīng)用到企業(yè)風(fēng)險(xiǎn)預(yù)測。

    1 ?相關(guān)技術(shù)

    1.1 ?決策樹

    決策樹是一種監(jiān)督學(xué)習(xí)算法(有一個(gè)預(yù)定義的目標(biāo)變量)主要用于分類問題。如圖1,它適用于離散型(分類)和連續(xù)型(回歸)輸入和輸出變量,它會自動識別最重要的變量并且計(jì)算該變量的信息增益來劃分?jǐn)?shù)據(jù)集,既可以做分類又可以做回歸。構(gòu)造決策樹的關(guān)鍵步驟是分裂屬性,即在某個(gè)節(jié)點(diǎn)處按照某一特征屬性的不同劃分構(gòu)造不同的分支,其目標(biāo)是讓各個(gè)分裂子集盡可能“純”。所謂“純”,就是讓同一子集的數(shù)據(jù)擁有相同的屬性,用“信息增益”(Information Gain)衡量。信息熵定量信息的大小,當(dāng)節(jié)點(diǎn)的類別均勻分布時(shí),熵值為1;當(dāng)只包含一類時(shí),熵值為0。決策樹節(jié)點(diǎn)的“純”就是根據(jù)信息熵來定義。從信息論知識中我們直到,期望信息越小,信息增益越大,從而純度越高,不純越小。

    根據(jù)式(4)的值,選擇信息增益(熵減)最大的屬性劃分集合S。

    決策樹算法偽代碼如下:

    輸入:訓(xùn)練集集合D={(x1,y1),(x2,y2)…,(xm,ym)},屬性集A={a1,a2,…,ak},函數(shù)TreeGenerate(D,A)

    輸出:以node為根節(jié)點(diǎn)的一棵決策樹

    生成節(jié)點(diǎn)node;

    if D中樣本全屬于同一類別C then

    將node標(biāo)記為C類節(jié)點(diǎn);return

    end if

    if A=Φ or D中樣本在A上取值相同 then

    將node標(biāo)記為葉節(jié)點(diǎn),其它類別標(biāo)記為D中樣本數(shù)最多的類;return

    end if

    從A中選擇最優(yōu)劃分屬性 ;

    for ?的每個(gè)值 ?do

    為node生成一個(gè)分支;令Dv表示D中在 上取值為 的樣本子集;

    If Dv為空 then

    將分支節(jié)點(diǎn)標(biāo)記為葉節(jié)點(diǎn),其它類別標(biāo)記為D中樣本數(shù)最多的類;return

    else

    以TreeGenerate(Dv,A\{a*})為分支節(jié)點(diǎn)

    end if

    end for

    1.2 ?隨機(jī)森林

    隨機(jī)森林(Random Forest)[22-23]是以決策樹為基礎(chǔ)的一種集成學(xué)習(xí)(Ensemble Learning)方法,從直觀角度來解釋,每棵決策樹都是一個(gè)分類器(分類問題),對于一個(gè)輸入樣本,N棵樹會有N個(gè)分類結(jié)果。而隨機(jī)森林集成了所有的分類投票結(jié)果,將投票次數(shù)最多的類別指定為最終的輸出,是一種Bagging思想[24],如圖2所示。

    本文將隨機(jī)森林用于特征選擇,其目標(biāo)有兩個(gè):

    (1)找出與因變量高度相關(guān)的特征變量;

    (2)選擇數(shù)目較少的特征變量并能夠充分預(yù)測目標(biāo)變量結(jié)果。

    假如每次選擇m個(gè)特征用于建模,步驟如下:

    Step1: 初步估計(jì)和排序

    a)對隨機(jī)森林中的特征變量按VI(variable importance)降序排序;

    b)確定刪除的特征比例,從當(dāng)前的特征變量中剔除相應(yīng)比例不重要的特征,得到一個(gè)新的特征集;

    c)用新的特征集建立新的隨機(jī)森林,并計(jì)算特征集中每個(gè)特征的VI,并排序;

    d)重復(fù)以上步驟,直到剩下m個(gè)特征值。

    Step2: 根據(jù)Step1中得到的每個(gè)特征集及其建立起來的隨機(jī)森林,計(jì)算對應(yīng)的袋外誤差率OOB(out-of-bag error)

    Step3:把Step2中OOB最低的特征集作為選定為建模特征。

    上述步驟中涉及特征值的重要性(VI)計(jì)算,在隨機(jī)森林中VI的計(jì)算方法如下:

    (1)對于隨機(jī)森林中的每棵樹,使用相應(yīng)的袋外數(shù)據(jù)計(jì)算它的袋外誤差率,記為OOB1;

    (2)隨機(jī)地對袋外數(shù)據(jù)的特征值(假如此時(shí)為X)假如噪音干擾(例如,隨機(jī)改變樣本在特征X出的值),再次計(jì)算它的袋外數(shù)據(jù)誤差,記為OOB2;

    (3)假設(shè)隨機(jī)森林中有Ntree棵樹,那么對于特征X重要性為 。如果給某個(gè)特征隨機(jī)假如噪音之后,袋外的準(zhǔn)確率大幅度降低,則說明該特征值對于樣本的分類影響大,也就是說該特征為重要的。

    此外,將隨機(jī)森林用于特征選擇還涉及到OOB的計(jì)算。我們知道,在構(gòu)建每棵樹時(shí),對訓(xùn)練集使用了不同的bootstrap sample(隨機(jī)且有放回地抽?。?。所以對于每棵樹而言(假設(shè)對于第k棵樹),大約有1/3的訓(xùn)練實(shí)例沒有參與第k棵樹的生成,它們稱為第k棵樹的OOB樣本,計(jì)算方法如下:

    (1)對每個(gè)樣本,計(jì)算它作為OOB樣本的樹對它的分類情況(每個(gè)樣本都在所有的樹中進(jìn)行分類);

    (2)然后以簡單多數(shù)投票作為該樣本的分類 結(jié)果;

    (3)最后用誤分個(gè)數(shù)占樣本總數(shù)的比率作為隨機(jī)森林的OOB誤分率。

    1.3 ?集成方法

    集成方法指有策略地建立多個(gè)模型并將其組合一起,解決特定計(jì)算智能問題的過程。在這種方法可以擴(kuò)展至任意學(xué)習(xí)器以建立集成模型,它生產(chǎn)多個(gè)分類器,然后將這些分類器的類別預(yù)測概率作為另一個(gè)分類器的輸入特征,這樣會提高預(yù)測的準(zhǔn)確率。如圖3所示。

    圖3中建立了三種不同的分類器,并使用它們的預(yù)測概率作為第四個(gè)不同分類器的輸入,以對測試集作出預(yù)測。

    1.4 ?人工神經(jīng)網(wǎng)絡(luò)

    人工神經(jīng)網(wǎng)絡(luò)(ANN)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連網(wǎng)絡(luò),它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物體所作出的交互反應(yīng)。

    神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程也是權(quán)重不斷調(diào)整過程,其步驟如下:

    (1)標(biāo)準(zhǔn)化輸入變量在0和1之間;

    (2)將網(wǎng)絡(luò)權(quán)重的初始值設(shè)定為0或隨機(jī)產(chǎn)生,通過各節(jié)點(diǎn)的函數(shù)來估計(jì)數(shù)據(jù)的目標(biāo)變量值;

    (3)比較實(shí)際值和估計(jì)值之間的誤差,并根據(jù)誤差值重新調(diào)整各權(quán)重的偏置;

    (4)反復(fù)執(zhí)行步驟2,直到實(shí)際值和估計(jì)值之間的誤差最小,此時(shí)停止學(xué)習(xí)以獲得最佳權(quán)重。

    2 ?準(zhǔn)備工作

    2.1 ?數(shù)據(jù)抽取

    本文通過政務(wù)信息共享平臺歸集的數(shù)據(jù)中抽取相關(guān)的數(shù)據(jù)集進(jìn)行清洗整合,整理歸集出可用于分析建模的有效數(shù)據(jù)。過程包括清洗轉(zhuǎn)換歷史檢查結(jié)果表,關(guān)聯(lián)融合企業(yè)基本信息與企業(yè)納稅信息表,從而得到企業(yè)特征值與檢查結(jié)果的關(guān)聯(lián)表,如圖5所示。

    (1)檢查結(jié)果表清洗

    從數(shù)據(jù)庫中抽取企業(yè)的歷史數(shù)據(jù),如表1所以。

    其中,“檢查結(jié)果”是本次項(xiàng)目的預(yù)測目標(biāo),由于檢查結(jié)果的數(shù)據(jù)是不規(guī)范的,需要進(jìn)一步整理,如表2所示。

    (2)企業(yè)數(shù)據(jù)表關(guān)聯(lián)

    本次項(xiàng)目建模中,我們把“檢查結(jié)果”表、“企業(yè)基本信息表”、“企業(yè)納稅金額”表進(jìn)行關(guān)聯(lián),使其關(guān)聯(lián)后整合成一整表。

    2.2 ?創(chuàng)建虛擬變量

    神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)準(zhǔn)備是非常重要的,因?yàn)樗械膮f(xié)變量和響應(yīng)變量都必須是數(shù)值型。為此,本文把數(shù)據(jù)集中變量為分類(factor)型的數(shù)據(jù)創(chuàng)建虛擬變量。

    虛擬變量(Dummy Variables)又稱虛設(shè)變量或啞變量,用以反映質(zhì)的屬性的一個(gè)人工變量,是量化了的自變量,通常取值為0或1。引入虛擬變量會使模型變得更復(fù)雜,但對問題描述更簡明,提高模型的精度,相當(dāng)于將不同屬性的樣本合并,擴(kuò)大了樣本容量(增加了誤差自由度,從而降低了誤差方差)。

    在模型中引入多個(gè)虛擬變量時(shí),原則如下:

    (1)如果模型有截距項(xiàng)

    有m種互斥的屬性類型,在模型中引入(m–1)個(gè)虛擬變量。

    (2)如果模型無截距項(xiàng)

    有m個(gè)特征,設(shè)置m個(gè)虛擬變量。

    2.3 ?特征選擇

    在機(jī)器學(xué)習(xí)中,我們經(jīng)常面臨這樣一個(gè)問題:我們手頭上擁有數(shù)據(jù)集往往含有很多的自變量,甚至有些數(shù)據(jù)集的自變量數(shù)(列)比觀察值數(shù)目(行)還要多。這種情況需要對特征進(jìn)行選擇,即從原有的特征中刪除影響不大或共線變量,保留那些對目標(biāo)變量(因變量)解釋好或者影響大的重要變量。這樣一方面可以提高建模過程中的運(yùn)算速度;另一方面對模型的解釋性更直觀,減低擬合模糊性。

    本文運(yùn)用隨機(jī)森林(RF)對3.1小節(jié)中抽取的原始數(shù)據(jù)(共有18個(gè)特征)進(jìn)行特征選擇,具體情況如下:

    (1)改變隨機(jī)數(shù)種子,算法運(yùn)行次數(shù)k=5,只選擇那些在k次運(yùn)行中都標(biāo)記為“Confirmed”的特征;

    (2)將訓(xùn)練數(shù)據(jù)分為n=10折,在沒折數(shù)據(jù)上分別進(jìn)行算法迭代,然后選擇那些在所有n折都標(biāo)記為“Confirmed”的特征;

    (3)迭代次數(shù)it=100。

    運(yùn)行結(jié)果如圖6所示。

    從圖6可知,應(yīng)用RF對原始數(shù)據(jù)進(jìn)行特征選擇后,特征由原來的18個(gè)縮減到12個(gè)(因變量除外)??梢杂眯碌奶卣鬟M(jìn)行更深入、更有意義的數(shù)據(jù)探索,提高建模工作效率及運(yùn)行速度。

    3 ?建模及分析

    本文基于廣州市工商行政等有關(guān)部門的真實(shí)數(shù)據(jù),分別應(yīng)用決策樹、集成方法(決策樹、梯度提升、元多自適應(yīng)回歸樣條)、人工神經(jīng)網(wǎng)絡(luò)對其建立預(yù)測模型(以變量“檢查結(jié)果”為因變量),并對模型的性能分析比較,深入研究企業(yè)運(yùn)行風(fēng)險(xiǎn)預(yù)測。

    建模環(huán)境如下:

    處理器為Intel(R) Core(TM) i5-4590 CPU@ 3.3 GHz;內(nèi)存為8 G;系統(tǒng)為64位Windows 7;運(yùn)行環(huán)境為R x64 3.4.3以及RStudio。

    數(shù)據(jù)集特征維度:

    數(shù)據(jù)集FSH_data擁有7988行(觀察值);13個(gè)變量(含因變量)。后期添加數(shù)據(jù)行繼續(xù)進(jìn)行研究。

    3.1 ?基于決策樹建模

    3.1.1 ?參數(shù)設(shè)置

    參數(shù)cp表示樹的復(fù)雜度,每一步分裂,模型的擬合度都會提高,但復(fù)雜度也會增加,初始設(shè)置為0.01;參數(shù)method表示構(gòu)建樹過程中所選擇的方法,一般有“連續(xù)型-anova;離散型(分類)-class,設(shè)置為class;參數(shù)minsplit表示節(jié)點(diǎn)中的樣本數(shù)量小于某個(gè)給定界限,設(shè)置為20;參數(shù)maxdepth表示樹的深度,設(shè)置為30。

    3.1.2 ?數(shù)據(jù)分配

    將數(shù)據(jù)集按7∶3比例分成兩個(gè)子集,其中訓(xùn)練集占7成,測試集占3成,并采用十折交叉法對其驗(yàn)證,如表8所示。

    3.1.3 ?建模結(jié)果

    模型tree.model的詳細(xì)性能如圖7所示。

    圖7(a)為模型tree.model性能參數(shù)描述。其中,cp為樹的偏差參數(shù),也叫復(fù)雜度參數(shù),在樹的構(gòu)建過程中,如果偏差(復(fù)雜度)減少到某一個(gè)給定的臨界值,樹的構(gòu)建將結(jié)束,從(a)看到,cp從0.165到設(shè)置的0.01,cp越小,模型越復(fù)雜,可讀性越差,所以要適當(dāng)控制cp的值;nsplit為分裂屬性結(jié)點(diǎn)數(shù),從結(jié)果知道,樹分裂到3個(gè)節(jié)點(diǎn)結(jié)束;rel error為相對誤差(與根節(jié)點(diǎn)比較),此處值為0.77,對應(yīng)cp=0.01;xerror和xstd是應(yīng)用十折交叉驗(yàn)證的估計(jì)誤差和標(biāo)準(zhǔn)差,這里分別是0.77、0.016。

    圖7(b)為模型tree.model交叉檢驗(yàn)(xerror)與復(fù)雜度(cp)的曲線圖,最優(yōu)的決策樹的交叉驗(yàn)證誤差為0.77(紅色虛線),對應(yīng)的cp為0.01,分裂節(jié)點(diǎn)為3個(gè),這與圖7(a)保持一致。

    圖7(c)為模型tree.model的混淆矩陣,本文將混淆矩陣的各項(xiàng)指標(biāo)作為評價(jià)模型性能。其中“Accuracy”表示模型分類的準(zhǔn)確率,有一個(gè)95%的置信區(qū)間(0.7295,0.7899),其準(zhǔn)確率為76%,從數(shù)值看表現(xiàn)不錯(cuò);“Kappa”是衡量模型分類一致性參數(shù),取值范圍為0~1,值越大表示模型的分類效果與數(shù)據(jù)的真實(shí)值越一致,當(dāng)0.4

    其中,Sensitivity稱之為“靈敏度”,即“召回率”,用TPR=TP/(TP+FN)表示,指所有正例中被分對的比例,衡量分類器對正例的識別能力,此出正例為“不正?!?,從圖中看到模型tree.model識別“不正常”(正例)類別能力為38.6%,表現(xiàn)欠佳;Specificity稱之為“特異度”,用TNR=TN/(FP+TN)表示,指所有負(fù)例中被分對的比例,衡量分類器對負(fù)例的識別能力,此處的負(fù)例為“正?!?,而且從圖中看到,模型tree.model識別“正?!保ㄘ?fù)例)類別能力為93.6%,表現(xiàn)甚佳。

    通過圖7各項(xiàng)數(shù)值指標(biāo)看到,雖然模型tree.model的預(yù)測準(zhǔn)確率為76%,正確識別負(fù)例的概率為93.6%,且P-Value=5.652e-07顯著,但其Kappa值及Sensitivity值表明模型的整體性能表現(xiàn)一般,有待提高。

    3.2 ?基于集成方法

    3.2.1 ?參數(shù)設(shè)置

    本文將分類算法決策樹、梯度提升、多元自適應(yīng)回歸樣條組合形成一個(gè)MLR集成方法,建立一個(gè)強(qiáng)分類器ensemble.model?;A(chǔ)學(xué)習(xí)器base.learners設(shè)置為learns;超級學(xué)習(xí)器super.learner設(shè)置為classif.logreg;預(yù)測類型predict.type設(shè)置為prob;學(xué)習(xí)方式mothod設(shè)置為stack.cv。

    3.2.2 ?數(shù)據(jù)分配

    為了公平比較,數(shù)據(jù)集的劃分與表8一致,此外,要為劃分的訓(xùn)練集創(chuàng)建task對象及組合各個(gè)分類算法:

    FSH_data.task<-makeClassTask(id=廣州企業(yè), data=train,target=type)

    base<-c(‘classif.rpart,classif.boosting,classif.earth)

    3.2.3 ?建模結(jié)果

    模型ensemble.model的詳細(xì)性能如圖8所示。

    圖8(a)為模型ensemble.model的混淆矩陣,與圖7(c)相比可以看到各項(xiàng)指標(biāo)參數(shù)都有所提高。例如,準(zhǔn)確率(Accuracy)從76%到78.7%提升,其置信區(qū)間為(0.7721,0.8015);Kappa值從0.386到0.57提升,一致性處于“可接受”水平;靈敏度(Sensitivity)、特異度(Specificity)也有所提升,分別為0.65、0.93,對比模型tree.model可知,模型ensemble.model在識別“不正常”(正例)類別能力提高明顯,而識別“正常”(負(fù)例)類別能力與模型tree.model相當(dāng),且P-Value=2.2e–16表明結(jié)果更加顯著。

    圖8(b)為模型ensemble.model的ROC曲線,它是反映Sensitivity(靈敏度)和Specificity(特異性)連續(xù)變量的綜合指標(biāo)。理想情況下,TPR(敏感度)應(yīng)該接近1,F(xiàn)PR(1-特異度)應(yīng)該接近0。對于一個(gè)分類器,ROC曲線上的每一個(gè)點(diǎn)對應(yīng)于一個(gè)threshold,比如threshold最大時(shí),TP=FP=0,對應(yīng)于原點(diǎn);threshold最小時(shí),TN=FN=0。另外,ROC曲線下方圖形圍成面積為AUC=0.764,說明模型ensemble.model有預(yù)測價(jià)值(注:AUC值越大,表示模型分類性能越優(yōu))。

    綜合上述可知,利用集成方法建立的模型極大地提升了分類器的預(yù)測。對于結(jié)果,我們可以從直觀理解為:如果把決策樹、提升法、多元自適應(yīng)回歸樣條各自看成專家,那么,集成方法即為專家們的智慧組合。

    3.3 ?基于人工神經(jīng)網(wǎng)絡(luò)

    3.3.1 ?參數(shù)設(shè)置

    本小節(jié)應(yīng)用神經(jīng)網(wǎng)絡(luò)對FSH_data數(shù)據(jù)集建立預(yù)測模型,并通過調(diào)節(jié)一些參數(shù)逐步提高其性能。參數(shù)說明如下:

    3.3.2 ?數(shù)據(jù)分配

    為了公平比較,數(shù)據(jù)集的劃分與表8一致,此外,要為劃分的訓(xùn)練集創(chuàng)建task對象及組合各個(gè)分類算法,由于因變量(檢查結(jié)果)是字符串的factor型,需要把其轉(zhuǎn)換成1/0數(shù)字的factor型:

    FSH_data$檢查結(jié)果<- ifelse(FSH_data$檢查結(jié)果==不正常,1,0)

    另外,還要按3.2小節(jié)的方法為數(shù)據(jù)集中非數(shù)值部分創(chuàng)建虛擬變量(因變量除外)。

    3.3.3 ?建模結(jié)果

    猜你喜歡
    隨機(jī)森林人工神經(jīng)網(wǎng)絡(luò)決策樹
    利用人工神經(jīng)網(wǎng)絡(luò)快速計(jì)算木星系磁坐標(biāo)
    一種針對不均衡數(shù)據(jù)集的SVM決策樹算法
    人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)簡單字母的識別
    電子制作(2019年10期)2019-06-17 11:45:10
    決策樹和隨機(jī)森林方法在管理決策中的應(yīng)用
    電子制作(2018年16期)2018-09-26 03:27:06
    隨機(jī)森林在棉蚜蟲害等級預(yù)測中的應(yīng)用
    基于二次隨機(jī)森林的不平衡數(shù)據(jù)分類算法
    軟件(2016年7期)2017-02-07 15:54:01
    拱壩變形監(jiān)測預(yù)報(bào)的隨機(jī)森林模型及應(yīng)用
    基于隨機(jī)森林算法的飛機(jī)發(fā)動機(jī)故障診斷方法的研究
    基于決策樹的出租車乘客出行目的識別
    基于肺癌CT的決策樹模型在肺癌診斷中的應(yīng)用
    99国产精品一区二区三区| 精品电影一区二区在线| 99国产极品粉嫩在线观看| 久久99热这里只有精品18| 俄罗斯特黄特色一大片| 国产日本99.免费观看| 午夜精品一区二区三区免费看| 亚洲最大成人中文| 亚洲国产看品久久| 国产高清有码在线观看视频| 亚洲一区高清亚洲精品| 亚洲av成人一区二区三| 亚洲专区中文字幕在线| 成人特级av手机在线观看| 两性夫妻黄色片| 成熟少妇高潮喷水视频| 激情在线观看视频在线高清| 久久这里只有精品中国| 国产高清有码在线观看视频| 欧美成人免费av一区二区三区| 亚洲成av人片在线播放无| 老熟妇仑乱视频hdxx| 岛国视频午夜一区免费看| 中亚洲国语对白在线视频| aaaaa片日本免费| 午夜成年电影在线免费观看| 无限看片的www在线观看| 婷婷亚洲欧美| 免费无遮挡裸体视频| 国产精品98久久久久久宅男小说| 老熟妇乱子伦视频在线观看| 国产精品一区二区三区四区免费观看 | 国产精品野战在线观看| xxx96com| 淫妇啪啪啪对白视频| 久久热在线av| 两个人看的免费小视频| 国产单亲对白刺激| 日本撒尿小便嘘嘘汇集6| 亚洲人与动物交配视频| 日韩有码中文字幕| 在线观看免费午夜福利视频| 国产精品一区二区免费欧美| 老汉色∧v一级毛片| 在线免费观看的www视频| a级毛片在线看网站| 美女扒开内裤让男人捅视频| 色老头精品视频在线观看| 欧美日韩中文字幕国产精品一区二区三区| 中文字幕人妻丝袜一区二区| 欧美成人性av电影在线观看| 亚洲精品乱码久久久v下载方式 | 久久精品夜夜夜夜夜久久蜜豆| 日韩欧美三级三区| 少妇裸体淫交视频免费看高清| 亚洲人成伊人成综合网2020| 国产精品99久久久久久久久| 天天躁狠狠躁夜夜躁狠狠躁| 久久亚洲真实| 国产成人av激情在线播放| 99视频精品全部免费 在线 | 中文资源天堂在线| 日韩成人在线观看一区二区三区| 99国产精品一区二区蜜桃av| 亚洲国产精品久久男人天堂| 精品国产超薄肉色丝袜足j| 黄片小视频在线播放| 丝袜人妻中文字幕| 看免费av毛片| 女人高潮潮喷娇喘18禁视频| 亚洲av第一区精品v没综合| 欧美中文日本在线观看视频| 又黄又爽又免费观看的视频| 国产精品久久久人人做人人爽| 久久亚洲真实| 亚洲av成人精品一区久久| 夜夜看夜夜爽夜夜摸| 天天躁狠狠躁夜夜躁狠狠躁| 国产高清激情床上av| 十八禁网站免费在线| 亚洲,欧美精品.| 男女做爰动态图高潮gif福利片| 亚洲熟妇中文字幕五十中出| 亚洲九九香蕉| 亚洲狠狠婷婷综合久久图片| 美女cb高潮喷水在线观看 | 亚洲精品美女久久久久99蜜臀| 欧美成人性av电影在线观看| 久久久久性生活片| 天堂影院成人在线观看| 精品一区二区三区视频在线 | 熟女人妻精品中文字幕| 美女扒开内裤让男人捅视频| 国产久久久一区二区三区| 99国产精品一区二区蜜桃av| 亚洲色图 男人天堂 中文字幕| 蜜桃久久精品国产亚洲av| 香蕉久久夜色| 精品人妻1区二区| 88av欧美| 亚洲精品中文字幕一二三四区| 欧美日韩福利视频一区二区| 亚洲欧美日韩高清在线视频| 亚洲一区二区三区色噜噜| 国产三级在线视频| 亚洲精品美女久久av网站| 一本久久中文字幕| 法律面前人人平等表现在哪些方面| 亚洲av中文字字幕乱码综合| 麻豆久久精品国产亚洲av| 免费电影在线观看免费观看| 日日干狠狠操夜夜爽| 狂野欧美白嫩少妇大欣赏| 日韩大尺度精品在线看网址| h日本视频在线播放| 国产野战对白在线观看| 亚洲av美国av| АⅤ资源中文在线天堂| 男女视频在线观看网站免费| 国产97色在线日韩免费| 中文字幕av在线有码专区| 欧美一级毛片孕妇| 少妇的丰满在线观看| 久久久国产成人精品二区| 午夜成年电影在线免费观看| 成人一区二区视频在线观看| 国内精品一区二区在线观看| 亚洲成人精品中文字幕电影| 一个人免费在线观看电影 | 波多野结衣巨乳人妻| 男人舔女人的私密视频| 亚洲aⅴ乱码一区二区在线播放| 国产成人啪精品午夜网站| 在线a可以看的网站| 黄片小视频在线播放| 精品一区二区三区视频在线 | 国产精品影院久久| 中国美女看黄片| 啦啦啦观看免费观看视频高清| 国内少妇人妻偷人精品xxx网站 | 亚洲一区二区三区色噜噜| 成人特级av手机在线观看| 亚洲成a人片在线一区二区| 亚洲国产精品合色在线| 日本精品一区二区三区蜜桃| 日韩有码中文字幕| 中文在线观看免费www的网站| 黑人巨大精品欧美一区二区mp4| 88av欧美| 婷婷丁香在线五月| 三级国产精品欧美在线观看 | 曰老女人黄片| 国产精品一区二区三区四区久久| 亚洲第一欧美日韩一区二区三区| 成年女人看的毛片在线观看| 在线观看美女被高潮喷水网站 | 啪啪无遮挡十八禁网站| 亚洲欧美日韩高清在线视频| 国产成人系列免费观看| 好男人在线观看高清免费视频| 国产亚洲精品综合一区在线观看| 国产伦精品一区二区三区视频9 | 成熟少妇高潮喷水视频| 成人av一区二区三区在线看| 成在线人永久免费视频| 国产av一区在线观看免费| 人妻夜夜爽99麻豆av| 欧美性猛交黑人性爽| 首页视频小说图片口味搜索| 成人特级黄色片久久久久久久| 成年女人永久免费观看视频| 国内久久婷婷六月综合欲色啪| 亚洲中文字幕一区二区三区有码在线看 | 午夜福利成人在线免费观看| 12—13女人毛片做爰片一| 嫩草影院精品99| 色av中文字幕| 男人舔女人的私密视频| 日本a在线网址| 欧美大码av| 日韩欧美国产一区二区入口| www.www免费av| 免费一级毛片在线播放高清视频| 久久久成人免费电影| 亚洲国产色片| 又紧又爽又黄一区二区| 亚洲性夜色夜夜综合| 亚洲avbb在线观看| 好男人电影高清在线观看| 制服丝袜大香蕉在线| 久久久久精品国产欧美久久久| 好男人电影高清在线观看| 国产成人精品无人区| 欧美国产日韩亚洲一区| 欧美日韩综合久久久久久 | av黄色大香蕉| 欧美av亚洲av综合av国产av| 精品一区二区三区视频在线 | 国产一区二区在线观看日韩 | 国产精品亚洲av一区麻豆| 亚洲专区国产一区二区| 久久久水蜜桃国产精品网| 欧美3d第一页| 一进一出抽搐gif免费好疼| 日韩欧美免费精品| 国产精品电影一区二区三区| 国产精品久久久人人做人人爽| 女警被强在线播放| 熟女电影av网| 啪啪无遮挡十八禁网站| netflix在线观看网站| 久久精品国产亚洲av香蕉五月| 精品一区二区三区视频在线 | 在线观看一区二区三区| 国产成人aa在线观看| 激情在线观看视频在线高清| 一个人免费在线观看的高清视频| xxx96com| 草草在线视频免费看| 午夜激情福利司机影院| 中文亚洲av片在线观看爽| 久久久精品欧美日韩精品| 中文字幕最新亚洲高清| 91av网一区二区| 好男人在线观看高清免费视频| 欧美绝顶高潮抽搐喷水| 女生性感内裤真人,穿戴方法视频| 91麻豆av在线| 亚洲真实伦在线观看| 18禁裸乳无遮挡免费网站照片| 韩国av一区二区三区四区| 成人特级黄色片久久久久久久| 亚洲精品美女久久久久99蜜臀| 免费在线观看亚洲国产| 国产1区2区3区精品| 欧美又色又爽又黄视频| 亚洲精品美女久久av网站| 成人av在线播放网站| 免费一级毛片在线播放高清视频| 国产精品影院久久| 欧美性猛交黑人性爽| 男人和女人高潮做爰伦理| 久久久久精品国产欧美久久久| 两性午夜刺激爽爽歪歪视频在线观看| 嫩草影视91久久| 深夜精品福利| 一级作爱视频免费观看| 99热精品在线国产| av国产免费在线观看| 99在线视频只有这里精品首页| 麻豆一二三区av精品| 国产蜜桃级精品一区二区三区| 在线免费观看不下载黄p国产 | 国产精品美女特级片免费视频播放器 | 久久精品综合一区二区三区| 欧美大码av| 欧美av亚洲av综合av国产av| 高清毛片免费观看视频网站| 国语自产精品视频在线第100页| 变态另类丝袜制服| 国产人伦9x9x在线观看| 亚洲成人中文字幕在线播放| 夜夜夜夜夜久久久久| 亚洲国产高清在线一区二区三| 日本a在线网址| 一区二区三区国产精品乱码| 哪里可以看免费的av片| 制服人妻中文乱码| 黄色女人牲交| 美女扒开内裤让男人捅视频| 欧美av亚洲av综合av国产av| av片东京热男人的天堂| 国产精品综合久久久久久久免费| www.www免费av| 欧美日韩瑟瑟在线播放| 在线观看美女被高潮喷水网站 | 熟女人妻精品中文字幕| 国产一区二区三区视频了| 亚洲国产精品成人综合色| 看片在线看免费视频| 美女黄网站色视频| 久久久久精品国产欧美久久久| 成人三级黄色视频| 国产日本99.免费观看| 亚洲熟女毛片儿| 狠狠狠狠99中文字幕| 中文字幕高清在线视频| 长腿黑丝高跟| 亚洲在线观看片| 亚洲美女视频黄频| 老司机福利观看| 99国产极品粉嫩在线观看| tocl精华| 免费av不卡在线播放| 观看美女的网站| 成年女人毛片免费观看观看9| 午夜福利高清视频| 亚洲五月婷婷丁香| 99视频精品全部免费 在线 | 国产视频一区二区在线看| 国产高清有码在线观看视频| 日韩国内少妇激情av| a级毛片a级免费在线| 精品久久久久久久久久免费视频| 日韩欧美三级三区| 最近最新中文字幕大全电影3| 啦啦啦免费观看视频1| 在线看三级毛片| 老熟妇仑乱视频hdxx| 嫁个100分男人电影在线观看| 欧美不卡视频在线免费观看| 一夜夜www| 91在线观看av| 久久久久久久午夜电影| 窝窝影院91人妻| 黄片小视频在线播放| 亚洲精品乱码久久久v下载方式 | 亚洲国产精品成人综合色| 国产伦一二天堂av在线观看| 久久久久久大精品| 一级毛片高清免费大全| 亚洲熟妇熟女久久| 国产精品电影一区二区三区| 床上黄色一级片| 国产在线精品亚洲第一网站| 91麻豆精品激情在线观看国产| 99久国产av精品| 日本与韩国留学比较| 国产成人一区二区三区免费视频网站| 免费在线观看影片大全网站| 18禁裸乳无遮挡免费网站照片| 国产精品一区二区三区四区免费观看 | 99久久无色码亚洲精品果冻| 成年版毛片免费区| 99国产精品一区二区蜜桃av| 手机成人av网站| 91av网站免费观看| 久久精品亚洲精品国产色婷小说| 亚洲狠狠婷婷综合久久图片| 亚洲av片天天在线观看| 中文字幕熟女人妻在线| 久久久久久久久中文| 国产av不卡久久| 91老司机精品| 18禁国产床啪视频网站| 最新美女视频免费是黄的| 久久精品国产亚洲av香蕉五月| 校园春色视频在线观看| 最新中文字幕久久久久 | 又粗又爽又猛毛片免费看| 国产欧美日韩一区二区精品| 悠悠久久av| 好男人在线观看高清免费视频| 999久久久精品免费观看国产| 高清毛片免费观看视频网站| 欧美三级亚洲精品| 欧美成狂野欧美在线观看| h日本视频在线播放| 欧美一区二区国产精品久久精品| 99久久成人亚洲精品观看| 国内揄拍国产精品人妻在线| 亚洲国产精品久久男人天堂| 精品国产三级普通话版| 丰满人妻熟妇乱又伦精品不卡| 日韩 欧美 亚洲 中文字幕| 特大巨黑吊av在线直播| 国产一区二区在线观看日韩 | 国产在线精品亚洲第一网站| 波多野结衣高清作品| 国产aⅴ精品一区二区三区波| 免费av毛片视频| 午夜久久久久精精品| 国产高清激情床上av| 欧美中文综合在线视频| 亚洲激情在线av| 国产高清videossex| 亚洲激情在线av| 制服人妻中文乱码| 亚洲精品美女久久久久99蜜臀| 天堂网av新在线| 亚洲国产欧洲综合997久久,| 看免费av毛片| 午夜福利免费观看在线| 亚洲专区字幕在线| 最近最新中文字幕大全免费视频| 网址你懂的国产日韩在线| av视频在线观看入口| 99热精品在线国产| a级毛片a级免费在线| 在线观看舔阴道视频| 中文字幕熟女人妻在线| 特级一级黄色大片| 国产精品久久久久久人妻精品电影| 免费在线观看视频国产中文字幕亚洲| 啪啪无遮挡十八禁网站| 熟女电影av网| 别揉我奶头~嗯~啊~动态视频| 亚洲欧美日韩高清在线视频| 美女高潮喷水抽搐中文字幕| 一级毛片精品| 成在线人永久免费视频| 国产精品乱码一区二三区的特点| 亚洲黑人精品在线| 一区二区三区激情视频| 成人无遮挡网站| 亚洲人成网站在线播放欧美日韩| 亚洲五月婷婷丁香| 日本免费一区二区三区高清不卡| 在线免费观看不下载黄p国产 | 亚洲国产精品久久男人天堂| 色吧在线观看| 可以在线观看毛片的网站| 亚洲精品国产精品久久久不卡| 99国产精品99久久久久| 久久中文字幕人妻熟女| 手机成人av网站| 18美女黄网站色大片免费观看| 亚洲熟女毛片儿| 欧美乱妇无乱码| 国内少妇人妻偷人精品xxx网站 | 免费av毛片视频| 久久国产精品人妻蜜桃| 变态另类丝袜制服| 91九色精品人成在线观看| 亚洲av第一区精品v没综合| 手机成人av网站| 欧美成人一区二区免费高清观看 | 午夜激情福利司机影院| 国产成人系列免费观看| 丰满人妻熟妇乱又伦精品不卡| 黄片小视频在线播放| 啦啦啦韩国在线观看视频| 久久久国产精品麻豆| 香蕉久久夜色| 一个人观看的视频www高清免费观看 | 欧美午夜高清在线| 97超级碰碰碰精品色视频在线观看| 在线观看美女被高潮喷水网站 | 男女做爰动态图高潮gif福利片| 国产精品久久电影中文字幕| 18禁黄网站禁片免费观看直播| 欧美3d第一页| 男女午夜视频在线观看| 老司机午夜十八禁免费视频| 国产极品精品免费视频能看的| 这个男人来自地球电影免费观看| 国产乱人伦免费视频| 岛国在线免费视频观看| netflix在线观看网站| 亚洲av日韩精品久久久久久密| 真实男女啪啪啪动态图| 91av网一区二区| 无人区码免费观看不卡| 国产精品亚洲一级av第二区| 亚洲性夜色夜夜综合| 一级毛片女人18水好多| 他把我摸到了高潮在线观看| 中出人妻视频一区二区| 波多野结衣高清无吗| 欧美成狂野欧美在线观看| 亚洲午夜精品一区,二区,三区| 极品教师在线免费播放| 一级毛片精品| 丰满人妻一区二区三区视频av | 欧美乱妇无乱码| 岛国在线观看网站| 亚洲狠狠婷婷综合久久图片| 啦啦啦观看免费观看视频高清| 亚洲激情在线av| 老司机福利观看| 亚洲乱码一区二区免费版| 一进一出抽搐动态| 国产一区二区三区视频了| 这个男人来自地球电影免费观看| 欧美精品啪啪一区二区三区| 成人无遮挡网站| 1000部很黄的大片| 美女高潮的动态| 亚洲美女视频黄频| 窝窝影院91人妻| 精品免费久久久久久久清纯| 午夜两性在线视频| 精品一区二区三区四区五区乱码| 日韩 欧美 亚洲 中文字幕| 蜜桃久久精品国产亚洲av| 少妇丰满av| 99热这里只有精品一区 | 欧美另类亚洲清纯唯美| 中文字幕人妻丝袜一区二区| 香蕉久久夜色| 中国美女看黄片| 午夜福利高清视频| 成人亚洲精品av一区二区| 黄片小视频在线播放| 真人做人爱边吃奶动态| cao死你这个sao货| 每晚都被弄得嗷嗷叫到高潮| 久久久国产成人精品二区| 欧美午夜高清在线| 在线国产一区二区在线| 国产成人精品久久二区二区91| 国产精品久久久久久久电影 | netflix在线观看网站| 99久久无色码亚洲精品果冻| 午夜视频精品福利| 国产v大片淫在线免费观看| 丰满的人妻完整版| 亚洲中文日韩欧美视频| 成人午夜高清在线视频| 老汉色∧v一级毛片| 久久精品国产99精品国产亚洲性色| 香蕉av资源在线| 丁香六月欧美| cao死你这个sao货| 日本免费一区二区三区高清不卡| 亚洲av电影不卡..在线观看| 十八禁网站免费在线| 国产成+人综合+亚洲专区| 成人无遮挡网站| 久久久久亚洲av毛片大全| 亚洲国产精品久久男人天堂| 国产三级黄色录像| 白带黄色成豆腐渣| 麻豆成人午夜福利视频| 少妇丰满av| 精品国内亚洲2022精品成人| 欧美成人性av电影在线观看| 我的老师免费观看完整版| 久久精品国产99精品国产亚洲性色| 黄片小视频在线播放| 好看av亚洲va欧美ⅴa在| 精品久久久久久久末码| 午夜福利在线在线| 天堂影院成人在线观看| 国产精品精品国产色婷婷| 在线观看66精品国产| 在线免费观看不下载黄p国产 | 99久久精品一区二区三区| 18禁美女被吸乳视频| 不卡一级毛片| 久久久国产成人精品二区| 亚洲av美国av| 亚洲va日本ⅴa欧美va伊人久久| 久久九九热精品免费| 日韩成人在线观看一区二区三区| 亚洲在线自拍视频| 亚洲精品中文字幕一二三四区| 黄色 视频免费看| 欧美成人免费av一区二区三区| 一二三四社区在线视频社区8| 欧美日韩瑟瑟在线播放| 久99久视频精品免费| 最新中文字幕久久久久 | 国产蜜桃级精品一区二区三区| 午夜日韩欧美国产| 啪啪无遮挡十八禁网站| 夜夜看夜夜爽夜夜摸| 成人性生交大片免费视频hd| 男女那种视频在线观看| 国产三级中文精品| 非洲黑人性xxxx精品又粗又长| 亚洲真实伦在线观看| 免费看日本二区| 国产精品香港三级国产av潘金莲| 天堂影院成人在线观看| 久久久水蜜桃国产精品网| 久久久久免费精品人妻一区二区| 亚洲黑人精品在线| 老汉色∧v一级毛片| 国产日本99.免费观看| 午夜a级毛片| 夜夜躁狠狠躁天天躁| 九九热线精品视视频播放| 国产精品国产高清国产av| 日本一二三区视频观看| 日韩欧美国产一区二区入口| 欧美另类亚洲清纯唯美| 国产高清视频在线观看网站| 在线观看舔阴道视频| 色精品久久人妻99蜜桃| 国产高潮美女av| 欧美中文日本在线观看视频| 国产欧美日韩一区二区三| 亚洲无线观看免费| 国产精品av久久久久免费| 一个人看视频在线观看www免费 | 久久中文字幕一级| 麻豆成人av在线观看| 一个人观看的视频www高清免费观看 | 国产一级毛片七仙女欲春2| 非洲黑人性xxxx精品又粗又长| 亚洲国产看品久久| 国产又黄又爽又无遮挡在线| 老汉色av国产亚洲站长工具| 99国产精品99久久久久| 国产成人精品无人区| 欧美三级亚洲精品| 国内精品久久久久久久电影| 最新中文字幕久久久久 | 亚洲中文字幕一区二区三区有码在线看 | 国产精品久久电影中文字幕| 国产91精品成人一区二区三区| 日日夜夜操网爽| 国产精品女同一区二区软件 | 99re在线观看精品视频| 久久午夜综合久久蜜桃| 亚洲熟妇熟女久久| 国产成+人综合+亚洲专区| 国产精品久久视频播放| 每晚都被弄得嗷嗷叫到高潮| 欧美3d第一页| 亚洲激情在线av| 小蜜桃在线观看免费完整版高清| 亚洲欧美日韩卡通动漫| 精品一区二区三区视频在线观看免费|