• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    非平衡樣本集下公私合作(PPP)可融資性評價
    ——基于改進(jìn)邊界樣本自適應(yīng)算法

    2021-09-11 11:36:12沈俊鑫
    科技管理研究 2021年16期
    關(guān)鍵詞:分類器分類融資

    沈俊鑫,程 墻,吳 以

    (昆明理工大學(xué)管理與經(jīng)濟(jì)學(xué)院,云南昆明 650093)

    公私合作(public-private partnership,PPP)作為新型融資模式,已成為地方政府?dāng)U大公共基礎(chǔ)設(shè)施供給、提升項目運(yùn)營效率、激發(fā)民間投資的重要政策工具。自PPP 改革推行以來,國內(nèi)PPP 模式在深度和廣度方面都得到了巨大發(fā)展,但在PPP 可融資性分析方面尚未引起足夠重視,導(dǎo)致PPP 項目落地率和融資交割率普遍較低,阻礙了PPP 模式的健康發(fā)展。項目落地難已成為制約我國PPP 健康持續(xù)發(fā)展的關(guān)鍵問題[1]。開展PPP 可融資性評價,是提升PPP 項目落地率的重要手段之一[2]。對PPP 可融資性進(jìn)行科學(xué)評價,將有助于縮短項目入庫周期、優(yōu)化入庫流程[3]?,F(xiàn)有PPP項目主要存在政府變相兜底、重建設(shè)輕運(yùn)營等問題,普遍缺乏有效的商業(yè)化運(yùn)營,大部分仍為政府購買服務(wù),導(dǎo)致偽PPP 頻出,而且地方政府、社會資本對政府購買服務(wù)類PPP 項目的可融資性普遍重視不足[4]。本研究基于社會資本視角,以財政部政府和社會資本合作中心(China Public Private Partnership Center,CPPPC)的管理庫和示范庫PPP 項目(以下簡稱“入庫項目”)為研究對象,建立PPP 可融資性集成學(xué)習(xí)評價模型,分析項目落地率影響因素,探尋PPP 項目落地難形成機(jī)理。

    1 文獻(xiàn)回顧

    金融界通常認(rèn)為可融資性指項目根本上是否可以融資、是否具有積極的或明顯的現(xiàn)金流[5]。Akintoye 等[6]認(rèn)為可融資性是吸引社會資本、銀行或其他金融機(jī)構(gòu)參與項目的基礎(chǔ)。葉曉甦等[7]認(rèn)為可融資性研究是解決公共項目投資者資本回收或貸款償還問題的有效途徑。吳亞平[8]認(rèn)為項目可融資性取決于項目主體、投資主體和地方政府三大信用組合。上述觀點(diǎn)雖不完全一致,但基本都認(rèn)為融資是PPP 項目落地和實施的關(guān)鍵,合理的融資方案和規(guī)范的融資行為是PPP 項目成功的重要保障。

    PPP 可融資性評價可分為兩個階段:第一階段是政府通過招標(biāo)吸引社會資本,從政府視角完成了第一輪融資;第二階段是項目從準(zhǔn)備階段進(jìn)展至采購階段,從項目公司視角向金融機(jī)構(gòu)進(jìn)行再融資。受限于數(shù)據(jù)可獲得性,本研究僅從社會資本視角進(jìn)行PPP 可融資性研究。由于財政部對PPP 入庫項目特別是示范性項目采取嚴(yán)格的篩選制度,入庫項目通常為優(yōu)質(zhì)項目,而大量落地率低、失敗、中途退庫的PPP 項目由于中途夭折,因此往往披露信息少之又少,項目數(shù)據(jù)集分布呈顯著不平衡狀態(tài),即非平衡樣本數(shù)據(jù)集。非平衡樣本數(shù)據(jù)集容易導(dǎo)致評價的最終結(jié)果偏向樣本數(shù)量多的類別,往往會出現(xiàn)過擬合現(xiàn)象,因此,如何降低因樣本非平衡產(chǎn)生的評價失真是本研究擬解決的重點(diǎn)問題。

    現(xiàn)有解決非平衡數(shù)據(jù)集問題主要有采樣優(yōu)化和集成學(xué)習(xí)方法。采樣優(yōu)化主要包括過采樣或欠采樣,通過不同的抽樣方式調(diào)整數(shù)據(jù)集樣本分布以實現(xiàn)樣本集平衡。其中,過采樣是對少數(shù)類樣本進(jìn)行多次有放回抽取,增加少數(shù)類樣本數(shù)量,從而實現(xiàn)數(shù)據(jù)集平衡,這種方法容易導(dǎo)致過擬合;欠采樣是通過隨機(jī)抽樣方式從多數(shù)類樣本抽取與少數(shù)類樣本數(shù)量相同的樣本數(shù),實現(xiàn)數(shù)據(jù)集平衡,這種方法會丟失與多數(shù)類樣本相關(guān)數(shù)據(jù)與信息。對于體量較小的樣本集,大多數(shù)學(xué)者均從過采樣角度研究平衡樣本集。過采樣的改進(jìn)算法最為經(jīng)典的是Chawla 等[9]提出的人工合成樣本(SMOTE)算法,借助少數(shù)樣本以及鄰域樣本生成新樣本,實現(xiàn)樣本數(shù)據(jù)集平衡;但SMOTE 算法合成樣本較為粗放,未能針對實際樣本空間分布合成數(shù)據(jù),可能造成合成錯誤分類樣本或冗余樣本。盡管如此,SMOTE 算法仍為解決數(shù)據(jù)不平衡問題提供了重要思路,眾多學(xué)者針對SMOTE 缺陷開展了算法優(yōu)化研究,改進(jìn)思路大致概括為兩類:一是精化合成樣本的操作,使人工合成樣本分布更加符合現(xiàn)實問題需求,例如Wang 等[10]和Molinari 等[11]改進(jìn)提出的邊界自適應(yīng)合成樣本算法(Borderline-SMOTE,B-S)、自適應(yīng)綜合過采樣方法(ADASYN 算法)等,這些算法對合成少數(shù)類樣本進(jìn)行精化處理,通過改善樣本合成機(jī)制降低合成樣本所帶來的噪音影響;二是混合采樣算法,將采樣算法與其他算法(如支持向量機(jī)SVM、聚類等)相結(jié)合,SMOTE 混合采樣算法并非在合成樣本時進(jìn)行操作,而是對合成結(jié)束后的樣本進(jìn)行多次分類,清除其中噪音樣本或冗余樣本[12],例如林宇等[13]、衣柏衡[14]、陶新民等[15]將人工合成樣本導(dǎo)入SVM或其他分類模型中進(jìn)行再分類,去除不良樣本點(diǎn),多次重復(fù)以降低不良樣本點(diǎn)對分類結(jié)果的負(fù)面影響,陳思等[16]、李衛(wèi)紅等[17]通過聚類算法對合成結(jié)果進(jìn)行欠采樣,刪除新樣本集中的冗余數(shù)據(jù)?;旌喜蓸铀惴ǖ暮诵乃悸芳磳MOTE 算法合成樣本進(jìn)行再次處理,以提高合成樣本質(zhì)量,其本質(zhì)上只是對合成樣本再次分類,而分類意味著仍會存在分類錯誤情況,最終形成的新訓(xùn)練集仍可能存在噪音。Borderline-SMOTE 算法根據(jù)K 近鄰算法 (K-nearst neighbors,KNN)對樣本進(jìn)行分類,合成樣本時僅針對邊界樣本點(diǎn),不易合成冗余樣本或錯分類樣本,適合科技領(lǐng)域PPP 項目這類復(fù)雜的非平衡樣本集。

    集成學(xué)習(xí)解決樣本非平衡問題通常采用訓(xùn)練多個弱可學(xué)習(xí)分類器方法,將多個弱可學(xué)習(xí)的分類器集成轉(zhuǎn)換為強(qiáng)可學(xué)習(xí)的分類器,進(jìn)而提高算法的準(zhǔn)確率,其中最為經(jīng)典的為裝袋算法(Bagging)、提升算法(Boosting)、改進(jìn)提升算法(Adaboost)等集成算法。為提高集成算法在不平衡數(shù)據(jù)集下的表現(xiàn),部分學(xué)者嘗試從如何進(jìn)行弱分類器輸入樣本采樣這一角度入手,如曹瑩等[18]提升算法框架(Bootstrap)。

    抽樣算法類似欠采樣實現(xiàn)數(shù)據(jù)集平衡,形成分布平衡的弱分類器訓(xùn)練集[19]。Liu 等[20]提出EasyEnsemble 算法,使用隨機(jī)欠采樣算法抽取多數(shù)類樣本與少數(shù)類樣本合并,構(gòu)成弱分類器訓(xùn)練集。然而,這些算法均通過欠采樣實現(xiàn)弱分類器樣本平衡,這不可避免會丟失大量與多數(shù)類相關(guān)的信息,科技領(lǐng)域PPP 項目數(shù)據(jù)集的數(shù)據(jù)量本身就不足,如果損失部分?jǐn)?shù)據(jù)易導(dǎo)致最終模型分類不準(zhǔn)確。

    綜上,本研究在以上兩種思路基礎(chǔ)上,結(jié)合PPP 項目數(shù)據(jù)集特征,綜合樣本合成算法與集成算法的優(yōu)點(diǎn),提出改進(jìn)邊界自適應(yīng)合成樣本算法(Borderline-SMOTE Bagging)。B-S 算法通過合理合成樣本實現(xiàn)正負(fù)樣本平衡,構(gòu)成基分類器訓(xùn)練集以提高Bagging 算法中基分類器的多樣性,保證最終模型的準(zhǔn)確性及其性能發(fā)揮。

    2 問題研究

    2.1 大數(shù)據(jù)驅(qū)動PPP 決策

    從研究方法看,現(xiàn)有PPP 研究主要采用博弈論、實物期權(quán)、數(shù)值模擬、系統(tǒng)動力學(xué)、案例研究、扎根理論、定性比較分析(QCA)等方法,這些方法主要基于中小樣本集進(jìn)行數(shù)值測算,數(shù)據(jù)來源以單個項目數(shù)據(jù)信息或問卷調(diào)查為主,主觀性較強(qiáng)。截至2020 年年底,CPPPC 已形成相對完備的項目管理庫和項目儲備庫,共收錄、發(fā)表項目信息13 352 個,為基于大數(shù)據(jù)方法開展PPP 研究提供大量數(shù)據(jù)。在大數(shù)據(jù)時代,PPP 項目融資管理理論與實踐也將發(fā)生根本性改變。王守清等[23]指出,大數(shù)據(jù)對市場信息的收集與分析可有效解決PPP 現(xiàn)階段存在的預(yù)測難和“樂觀估計”問題。傳統(tǒng)統(tǒng)計回歸模型或計量相關(guān)算法雖具備可解釋性和較好穩(wěn)定性,但往往要求變量之間的相關(guān)性不能很強(qiáng),同時自變量需要服從某種統(tǒng)計分布,顯然實踐中往往無法滿足這類假設(shè),也無法處理復(fù)雜指標(biāo)數(shù)據(jù),不適合在大數(shù)據(jù)環(huán)境下用于開展評價研究。

    從研究范式看,現(xiàn)有PPP 研究主要以模型驅(qū)動研究為主,包括選定模型的組成變量、建立模型的基本假設(shè)、模型的模擬與求解、實證檢驗以及分析結(jié)論5 個步驟。在大數(shù)據(jù)時代,模型驅(qū)動已難以適應(yīng)管理決策研究的需要,數(shù)據(jù)驅(qū)動研究范式因其可最大限度利用巨量數(shù)據(jù)所提供的有價值信息而表現(xiàn)出模型驅(qū)動研究范式不可比擬的優(yōu)勢,未來的管理決策研究必將由數(shù)據(jù)驅(qū)動研究范式所主導(dǎo)。因此,PPP 可融資性評價模型構(gòu)建應(yīng)充分考慮數(shù)據(jù)驅(qū)動與機(jī)器學(xué)習(xí),集成模型驅(qū)動與數(shù)據(jù)驅(qū)動兩大范式,以適應(yīng)大數(shù)據(jù)變化。

    從數(shù)據(jù)角度而言,隨著PPP 不斷發(fā)展,財政部、國家發(fā)改委及各省(區(qū)、市)財政部門已積累了大量項目信息,但數(shù)據(jù)獲取存在明顯缺陷:一是已有數(shù)據(jù)因渠道分散、標(biāo)準(zhǔn)不統(tǒng)一、公開程度不一致等原因難以獲取,典型的如各?。▍^(qū)、市)有各自數(shù)據(jù)庫、國家發(fā)改委有獨(dú)立數(shù)據(jù)庫等;二是數(shù)據(jù)流失的情況,如退庫項目或部分未入庫項目均難以獲取相關(guān)數(shù)據(jù)。未來,若數(shù)據(jù)獲取通道持續(xù)優(yōu)化,完善各類PPP 項目庫數(shù)據(jù)獲取路徑和標(biāo)準(zhǔn),PPP 項目樣本數(shù)量將進(jìn)一步提升。同時,PPP 決策往往需要結(jié)合宏觀經(jīng)濟(jì)、金融財稅以及市場等信息,相比傳統(tǒng)方法,大數(shù)據(jù)技術(shù)在解決多源、多維、異構(gòu)、海量數(shù)據(jù)方面更具優(yōu)勢,因此采用機(jī)器學(xué)習(xí)算法進(jìn)行PPP 研究具備動態(tài)反饋性和可持續(xù)優(yōu)化能力,大量PPP 數(shù)據(jù)動態(tài)更新可以進(jìn)一步訓(xùn)練、優(yōu)化學(xué)習(xí)模型,提升模型精度和泛用性。

    2.2 模型思路

    基于CPPPC 數(shù)據(jù)采用機(jī)器學(xué)習(xí)方法開展PPP可融資性評價,主要面臨以下3 個問題:一是由于CPPPC 的入庫項目大多為優(yōu)質(zhì)項目,導(dǎo)致從整體上或者各個領(lǐng)域間均產(chǎn)生樣本數(shù)據(jù)集類別不平衡現(xiàn)象,可融資性強(qiáng)的項目數(shù)量遠(yuǎn)大于可融資性弱的項目數(shù)量,即樣本不平衡性;二是由于PPP 項目具有一次性特性,可融資性評估縱向數(shù)量相對較少,而項目可融資性優(yōu)劣受多方面因素綜合影響,評價維度更為復(fù)雜,高維樣本點(diǎn)意味著樣本空間復(fù)雜,為人工合成新樣本增加了復(fù)雜度;三是樣本點(diǎn)之間在樣本空間中分布特征存在較大差異,導(dǎo)致訓(xùn)練中存在大量噪音樣本,這部分特殊樣本對分類器有較大影響。

    由于上述問題,直接使用欠采樣實現(xiàn)正負(fù)樣本平衡將損失大量多數(shù)類樣本信息,采用過采樣方法實現(xiàn)數(shù)據(jù)集平衡雖不會損失信息,但過采樣處理后樣本數(shù)據(jù)集在高維空間上樣本點(diǎn)的位置卻不會發(fā)生任何變化,例如采用SVM 算法分類時,目的是在樣本數(shù)據(jù)集中找出可以劃分正負(fù)樣本的最大間隔分離超平面,使用過采樣算法的效果并不佳。因此,為使非平衡樣本集實現(xiàn)平衡,本研究文采用SMOTE 算法人工合成數(shù)據(jù)。但由于PPP 項目樣本點(diǎn)在超平面分布較為復(fù)雜,SMOTE 算法雖然能在訓(xùn)練集上實現(xiàn)正負(fù)樣本平衡,但因未精化選擇參與合成的少數(shù)類樣本點(diǎn),容易冗余樣本和噪音樣本點(diǎn)。以SMOTE 算法合成二維樣本數(shù)據(jù)集為例,如圖1 所示,A點(diǎn)屬于少數(shù)類樣本點(diǎn),處于多數(shù)類樣本點(diǎn)中,對于A點(diǎn)而言,其最近鄰?fù)诸悩颖军c(diǎn)為點(diǎn)B,通過SMOTE算法合成的樣本點(diǎn)C從實際意義而言,判定為多數(shù)類樣本點(diǎn)會更準(zhǔn)確,但SMOTE 算法會將其合成為少數(shù)類樣本點(diǎn),這無疑會增加分類器結(jié)果偏差,影響結(jié)果準(zhǔn)確率。因此,需要改進(jìn)SMOTE 算法以提升噪音樣本點(diǎn)處理能力。

    圖1 SMOTE 算法人工合成樣本示例

    比較Borderline-SMOTE 算法與SMOTE 算法合成樣本的差異。如圖2(a)所示,淺灰色樣本點(diǎn)為少數(shù)類樣本,深黑色樣本點(diǎn)為多數(shù)類樣本,分別使用SMOTE 算法和B-S 算法對原始樣本數(shù)據(jù)集進(jìn)行處理。采用 SMOTE 算法對原始樣本數(shù)據(jù)集中所有的少數(shù)分類樣本計算近鄰,并根據(jù)k-means 算法合成樣本,結(jié)果呈聚集狀,如圖2(b)中淺灰色樣本點(diǎn)所示。由于原始樣本數(shù)據(jù)集中本身存在大量少數(shù)類樣本,采用SMOTE 算法合成樣本對評價性能提升影響較小,主要原因在于在少數(shù)類噪音樣本點(diǎn)合成過程中,SMOTE 算法分類容易產(chǎn)生錯誤,而且由于合成的樣本大部分都是由安全樣本合成,在樣本空間中集中,所以對模型分類性能影響不大。如圖2(c)所示,采用B-S 算法合成后樣本點(diǎn)呈箭頭狀,樣本數(shù)據(jù)集中于邊界樣本。對于與多數(shù)類樣本差異明顯、容易區(qū)分的安全樣本而言,B-S 算法并不會有太多改變,新合成樣本集中出現(xiàn)在邊界樣本區(qū)域,便于對邊界樣本進(jìn)行近鄰插值,因此B-S 算法合成樣本的分布比SMOTE 算法更為合理。B-S 算法不會對噪音樣本進(jìn)行處理,雖損失少量信息,但最終模型的準(zhǔn)確率會有所提高,避免出現(xiàn)如SMOTE 算法容易生成錯誤分類樣本的情況。因此,本研究將采用B-S算法進(jìn)行人工合成樣本,以解決PPP 項目樣本數(shù)據(jù)集的邊界少數(shù)類樣本點(diǎn)錯誤合成導(dǎo)致分類模型偏差變大的問題。

    圖2 不同采樣算法合成樣本數(shù)據(jù)集比較

    在處理完不平衡樣本數(shù)據(jù)集后,通常將新的樣本數(shù)據(jù)集和傳統(tǒng)分類器如邏輯回歸(LR)、SVM 等相結(jié)合,然而人工合成的樣本在本質(zhì)上仍是人為虛構(gòu),樣本數(shù)據(jù)集在實現(xiàn)平衡的同時為了避免給模型帶來噪音,導(dǎo)致模型偏差變大,因此,本研究融合B-S算法和Bagging 算法,改進(jìn)后可以實現(xiàn)的具體效果包括:一是降低噪音少數(shù)類樣本對合成樣本集準(zhǔn)確率的影響;二是避免合成過多冗余數(shù)據(jù)影響分類性能;三是集成算法因在多個基學(xué)習(xí)器多次采用和訓(xùn)練,可最大限度降低人工合成樣本帶來噪音的負(fù)面影響。當(dāng)不平衡的訓(xùn)練集樣本使用B-S 算法處理后,新的訓(xùn)練集樣本的正負(fù)樣本比例將達(dá)到平衡,最終測試集中樣本分類采用投票(voting)模式,人工合成樣本帶來的噪音產(chǎn)生的負(fù)面影響將大幅度下降。

    2.3 模型設(shè)計

    SMOTE 算法是最為經(jīng)典的合成少數(shù)類過采樣技術(shù),其基本原理是根據(jù)現(xiàn)有少數(shù)類樣本點(diǎn),使用KNN 算法合成新的少數(shù)類樣本點(diǎn),與多數(shù)類樣本點(diǎn)相組合實現(xiàn)正負(fù)樣本的平衡。算法思路如下:

    (1)針對所有樣本點(diǎn)X(少數(shù)類),計算它到k個相鄰樣本點(diǎn)(少數(shù)類)的歐式距離,其中k根據(jù)KNN 算法確定;

    (2)計算正負(fù)類樣本不平衡比例,根據(jù)正負(fù)類樣本比例確定采樣倍率(sampling rate),對所有樣本點(diǎn)X(少數(shù)類),根據(jù)采樣倍率從k近鄰中隨機(jī)抽取若干個樣本;

    (3)假設(shè)選擇的近鄰為x(1),x(2),x(N),對任意x(i)(i=1,2,,N),根據(jù)式(1)計算,通過原樣本合成新的樣本:

    而B-S Bagging 算法在每次抽取樣本時均進(jìn)行了精化處理,僅針對邊界樣本合成新樣本,避免生成錯分類樣本或冗余樣本。算法思路如下:

    (1)針對所有樣本點(diǎn)X(少數(shù)類),計算它到k個相鄰樣本點(diǎn)(少數(shù)類)的歐式距離,其中k根據(jù)KNN 算法確定。

    (2)根據(jù)k近鄰將少數(shù)類樣本分為3 類:安全(safe)、邊界(danger)和噪音(noise)。劃分標(biāo)準(zhǔn)如下:設(shè)在k近鄰中有m個屬于多數(shù)類樣本,其中0 ≤m≤k,若樣本點(diǎn)0 ≤m

    (3)計算正負(fù)類樣本不平衡比例確定采樣倍率,對所有樣本點(diǎn)X(少數(shù)類)根據(jù)采樣倍率從k近鄰中隨機(jī)抽取若干個樣本,假設(shè)選擇的近鄰為x(1),x(2),x(N),對任意x(i)(i=1,2,,N),根據(jù)式(2)計算,通過原樣本合成新的樣本:

    重復(fù)上述步驟,直到多數(shù)類與少數(shù)類樣本數(shù)量相當(dāng),合并原有樣本與新合成樣本,構(gòu)成新訓(xùn)練集Sk’。

    (4)從Sk’中隨機(jī)抽樣x條樣本,輸入弱分類器A1,作為第一個基學(xué)習(xí)器B1;

    (5)再次從Sk’中有放回隨機(jī)抽樣x條樣本,輸入弱分類器A2,作為第二個基學(xué)習(xí)器B2;

    (6)按步驟(4)(5)的方式重復(fù)n次,構(gòu)建n個基學(xué)習(xí)器B1至Bn。

    (7)對測試集的每一個樣本Pi均輸入n個基學(xué)習(xí)器進(jìn)行測試,通過voting 決定測試集樣本的分類結(jié)果。將樣本Pi輸入模型,其中n個基學(xué)習(xí)器進(jìn)行voting,預(yù)測為多數(shù)類的票數(shù)有m票,預(yù)測為少數(shù)類的有n-m票,則:若n-m≤m,樣本Pi被判定為多數(shù)類樣本;反之,被判定為少數(shù)類樣本。

    3 實證研究

    3.1 數(shù)據(jù)預(yù)處理

    為驗證B-S Bagging 算法對PPP 可融資性評價效果,本研究結(jié)合項目本身和當(dāng)?shù)卣畠煞矫嫣卣?,?gòu)建基于社會資本視角的PPP 可融資性評價模型,為地方政府及時調(diào)整和優(yōu)化可融資性較差的項目和社會資本投資PPP 項目決策提供決策依據(jù)。以CPPPC 的入庫項目為例(以下簡稱“案例數(shù)據(jù)”),首先通過人工收集和爬蟲的方式獲取入庫項目數(shù)據(jù),并將項目分為可融資性強(qiáng)和可融資性弱兩種,通過項目所處階段和項目發(fā)起年份兩個指標(biāo)確定:發(fā)起年份在2018 年以前且處于識別階段或者準(zhǔn)備階段的項目,標(biāo)記為可融資性弱,記為-1;所有處于采購階段和執(zhí)行階段的項目,標(biāo)記為可融資性強(qiáng),記為+1。通過網(wǎng)絡(luò)爬蟲獲取19 個領(lǐng)域共計10 848 個PPP 項目數(shù)據(jù)信息,根據(jù)上述規(guī)則對原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理后,清除無法使用規(guī)則進(jìn)行標(biāo)簽定義的項目共475 個,最終樣本集包括10 373 個PPP 項目(以下簡稱“案例項目”)。其中,標(biāo)簽為可融資性強(qiáng)的項目為7 445 個,標(biāo)簽為可融資性弱的項目為2 928 個。

    從本質(zhì)上而言,PPP 可融資性評價問題即傳統(tǒng)意義上的分類問題,案例數(shù)據(jù)集的數(shù)量不平衡體現(xiàn)在兩個方面:一是19 個PPP 領(lǐng)域均存在顯著不平衡現(xiàn)象。PPP項目全行業(yè)可融資性數(shù)量比較如圖3所示,可見市政工程、交通運(yùn)輸以及生態(tài)建設(shè)與環(huán)境保護(hù)這3 個領(lǐng)域的項目數(shù)量遠(yuǎn)大于其他領(lǐng)域,其中市政工程領(lǐng)域PPP 項目數(shù)量占了總項目數(shù)量約38.53%。二是各領(lǐng)域內(nèi)部間正負(fù)樣本比例差距較大。

    圖3 不同領(lǐng)域PPP 入庫項目可融資性比較

    表1 統(tǒng)計了正負(fù)樣本比例大于2 的十大領(lǐng)域,其中林業(yè)最高,其次是能源,其他領(lǐng)域不平衡比例為2%~3%之間,存在高度不平衡現(xiàn)象的領(lǐng)域占比高達(dá)57.89%,表明領(lǐng)域內(nèi)部正負(fù)樣本不平衡現(xiàn)象普遍存在。為方便后文分析,對這部分領(lǐng)域根據(jù)其現(xiàn)有樣本量進(jìn)行分類,可劃分為3 類:第1 類為樣本數(shù)量較少的領(lǐng)域,主要包括林業(yè)、能源、科技和政府基礎(chǔ)設(shè)施;第2 類為樣本數(shù)量較多的領(lǐng)域,主要包括市政工程、交通運(yùn)輸;第3 類為樣本數(shù)量居中的領(lǐng)域,主要包括生態(tài)建設(shè)與環(huán)境保護(hù)、教育、城鎮(zhèn)綜合開發(fā)、水利建設(shè)。

    表1 PPP 可融資性正負(fù)樣本比例排名前十領(lǐng)域不平衡程度

    由上述分析可知,案例數(shù)據(jù)無論整體或者在領(lǐng)域內(nèi)部均存在樣本集數(shù)量不平衡問題;當(dāng)輻射面從單個領(lǐng)域擴(kuò)展開后,項目總量將達(dá)到萬級,且都存在樣本不平衡問題。PPP 項目本身情況復(fù)雜,因此應(yīng)基于社會資本角度構(gòu)建相對詳細(xì)的評價特征體系。

    3.2 數(shù)據(jù)評價特征

    基于社會資本視角,同時考慮數(shù)據(jù)可獲取性限制,對案例項目可融資性的評價特征包括項目本身和地方政府兩個核心維度,即項目本身特征和地方政府的各項實力特征,具體如表2 所示。由表2 可知,案例樣本數(shù)據(jù)集共有24 個特征,去除部分不需要參與計算的特征,仍有19 個特征作為模型的輸入特征。為了避免與可融資性相關(guān)性較小的特征可能給模型帶來噪音,首先計算評價特征與可融資性之間的相關(guān)性系數(shù),按相關(guān)性系數(shù)的絕對值大小排序,最終選出排名前10 的特征作為模型的輸入特征。在模型輸入特征中,項目和政府相關(guān)特征基本各占一半,包含項目的基本特征、地方政府財政實力以及地方政府清廉程度等。在計算相關(guān)性系數(shù)前,對類別型字段采取人工賦值或者采用one-hot 熱編碼轉(zhuǎn)換成數(shù)值型,并對所有特征進(jìn)行歸一化處理。

    表2 PPP 可融資性評價特征體系

    3.3 模型評價標(biāo)準(zhǔn)

    將案例數(shù)據(jù)根據(jù)真實情況和模型預(yù)測情況的組合劃分為4 種情形:真正例(TP)、假正例(FP)、真反例(FN)、假反例(TN),分類結(jié)果的混淆矩陣如表3 所示。

    表3 PPP 可融資性評價混淆矩陣

    將PPP 可融資性強(qiáng)的項目定義為正例,可融資性弱的項目定義為負(fù)例。非平衡數(shù)據(jù)集一般使用準(zhǔn)確率(Precision)、召回率(Recall)、G 均值(G-mean)、F值(F-measure)等特征進(jìn)行算法評價,計算方法分別如下:

    式(3)至式(6)中:Precision 為正確分類的正例樣本數(shù)占所有預(yù)測為正例樣本數(shù)的比例;Recall為被正確分類的正例樣本數(shù)占實際所有正例樣本數(shù)的比例;G-mean 為綜合考慮了正類分類和負(fù)類分類的準(zhǔn)確率,表示正例分類準(zhǔn)確率和負(fù)例分類準(zhǔn)確率的均衡值;F-measure 值是準(zhǔn)確率和召回率的加權(quán)調(diào)和平均;β為參數(shù),本研究采用的是當(dāng)參數(shù)β=1 時的F值,F(xiàn)1值越高說明算法分類結(jié)果越好。

    3.4 模型結(jié)果與分析

    運(yùn)用Python 調(diào)用imblearn 庫和sklearn 庫進(jìn)行樣本合成和模型訓(xùn)練,采用10 折交叉驗證法確定每組樣本組中算法的最優(yōu)參數(shù)。為保證每次算法中所劃分的訓(xùn)練集和測試集的數(shù)目均相同,在劃分?jǐn)?shù)據(jù)集時將變量random_state 固定為統(tǒng)一常數(shù)值;同時為保證采用SMOTE 算法和B-S 算法每的每個對照組均合成同樣的樣本,在合成樣本時將變量random_state值設(shè)定為統(tǒng)一常數(shù)。對原始數(shù)據(jù)預(yù)處理后,將數(shù)據(jù)按4∶1 的比例劃分為訓(xùn)練集和測試集。在實證研究前,首先對訓(xùn)練集數(shù)據(jù)進(jìn)行了標(biāo)準(zhǔn)化處理,消除量綱對參數(shù)估計的影響。為更好驗證算法的可行性和優(yōu)越性,將案例項目的原始數(shù)據(jù)集分為A、B、C、D共4 組。其中,A組數(shù)據(jù)為全領(lǐng)域樣本數(shù)據(jù)集;B、C、D這3 組分別從前文中第一、第二、第三這3 類領(lǐng)域選取其中樣本不平衡性最高的行業(yè)作為樣本數(shù)據(jù)集,即B組為林業(yè)領(lǐng)域樣本數(shù)據(jù)集,C組為市政工程領(lǐng)域樣本數(shù)據(jù)集,D組為生態(tài)建設(shè)與環(huán)境保護(hù)領(lǐng)域樣本數(shù)據(jù)集。這4 組樣本可展示當(dāng)數(shù)據(jù)量在萬級、千級、百級和十位數(shù)級時模型的不同表現(xiàn),選擇其中不平衡程度最高的行業(yè)作為樣本集有助于體現(xiàn)模型對非平衡樣本集的處理能力。結(jié)果具體分析如下:

    (1)非平衡樣本集在不同分類器效果比較分析。4 組原始數(shù)據(jù)集均為非平衡樣本集,對4 組數(shù)據(jù)不進(jìn)行任何處理,直接劃分訓(xùn)練集和測試集,分別使用邏輯回歸模型、支持向量機(jī)模型、決策樹(DT)模型等傳統(tǒng)分類算法對訓(xùn)練集進(jìn)行學(xué)習(xí),并與Bagging算法在數(shù)據(jù)集的表現(xiàn)進(jìn)行比較,模型測試結(jié)果如表4、表5 所示。其中,B組采用SVM 算法的各項評價指標(biāo)均相當(dāng)之高,有3 項指標(biāo)值均超過0.9,然而G-mean值僅0.554 4,但這并非意味著模型性能優(yōu)異,而是因為B組本身總數(shù)據(jù)量極小,劃分后的測試集數(shù)據(jù)量更小,分析實驗結(jié)果發(fā)現(xiàn),該算法訓(xùn)練時幾乎將所有的樣本全部預(yù)測為正例樣本,這樣的結(jié)果在現(xiàn)實應(yīng)用中毫無意義。除此之外,觀測4 組實驗結(jié)果,相對其他3 項指標(biāo),Recall 指標(biāo)最高,原因在于目前實驗的數(shù)據(jù)未經(jīng)過任何處理,正負(fù)樣本之間存在極大的不平衡,因此即使實驗結(jié)果FN 相當(dāng)高,但仍遠(yuǎn)遠(yuǎn)小于TP 值,最終指標(biāo)顯示算法效果極佳,但實際上算法卻難以識別負(fù)類樣本,由此表明使用傳統(tǒng)單一算法建立PPP 可融資性評價模型的效果不佳。另外,各實驗組中Bagging 算法的各項評價指標(biāo)比其他3 類算法的評價指標(biāo)都更為優(yōu)秀,但G-mean值仍較低,說明該算法對于負(fù)類樣本的識別性能依舊不夠優(yōu)秀,Bagging 算法在每次重復(fù)采樣時,原始樣本數(shù)據(jù)集本身就存在不平衡問題,重復(fù)采樣僅可緩解這類負(fù)面影響,無法徹底消除。

    表4 非平衡樣本集在不同分類器下的可融資性評價結(jié)果(一)

    表5 非平衡樣本集在不同分類器下的可融資性評價結(jié)果(二)

    (2)平衡樣本集在不同分類器效果比較分析。對4 組數(shù)據(jù)集均采用B-S 算法進(jìn)行處理后,與非平衡樣本集在不同分類器中算法相結(jié)合,驗證對比B-S Bagging 算法與其他算法之間的性能差距。對B-SLR、B-S-SVM、B-S-DT 和B-S Bagging 共4 類算法進(jìn)行了測試,分別計算出Precision、Recall、G-mean、F-measure 等特征,用以評價算法的性能。如表6、表7 所示,案例數(shù)據(jù)實現(xiàn)平衡后,在表4、表5 中存在的特殊情況不再出現(xiàn),經(jīng)B-S 算法處理非平衡樣本數(shù)據(jù)集后再次使用傳統(tǒng)分類器進(jìn)行分類測試,新的測試結(jié)果表明效果均有小幅度提升,但在實際運(yùn)用中效果仍不夠理想,可能原因在于經(jīng)處理后,在負(fù)類樣本數(shù)量上實現(xiàn)了與正類樣本的平衡,但單一算法得到的TN 雖在數(shù)量絕對值上有大幅度提升,但相較FN 的提升效果仍不明顯,故最終從評價指標(biāo)上模型精度依然不夠優(yōu)秀。

    表6 平衡樣本集在不同分類器下的可融資性評價結(jié)果(一)

    表7 平衡樣本集在不同分類器下的可融資性評價結(jié)果(二)

    從 表6、表7 可 知,B-S Bagging 在Precision、Recall、G-mean 和F-measure 這4 個指標(biāo)表現(xiàn)均最為理想,綜合表4 至表7 可知,Bagging 或者是B-S Bagging 等集成算法對少數(shù)類樣本的分類性能要優(yōu)于單分類器的分類性能。B-S Bagging 算法在4 個實驗組中均有較為不錯的表現(xiàn),4 項指標(biāo)結(jié)果比較均衡,這意味著該算法對PPP 整體行業(yè)(實驗組A)或者領(lǐng)域間(實驗組B、C、D)的樣本不平衡問題有良好的解決能力。其中,與表4、表5 中Bagging算法結(jié)果相比,Precision 和Recall 兩項評價指標(biāo)在實驗組A和C均取得了明顯的提升,A組的提升幅度分別為39.55%和14.73%,C 組的提升幅度分別為50.32%和7.01%,特別是Precision 有了較大幅度提升;而B、D組中的Recall 值有所下降,原因在于負(fù)類樣本達(dá)到平衡后,F(xiàn)N 在數(shù)值上可能稍有提升,導(dǎo)致Recall 下降,但G-mean 和F-measure 兩項指標(biāo)均有大幅提升。綜上分析表明,融合后的B-S Bagging 算法識別負(fù)類樣本的性能得到了明顯提升。

    (3)不同樣本集平衡方式性能比較分析。為比較SMOTE 算法和B-S 算法性能優(yōu)劣,分別用兩種算法對4 組訓(xùn)練集進(jìn)行處理,將平衡后樣本集結(jié)合Bagging 算法進(jìn)行訓(xùn)練,測試集結(jié)果如表8 所示??芍? 組實驗組中,相較于傳統(tǒng)SMOTE 算法,B-S算法下各項指標(biāo)結(jié)果均更優(yōu)秀一些,且指標(biāo)結(jié)果之間相差幅度較大,說明B-S 算法合成少數(shù)類樣本時忽略噪音樣本的能力更強(qiáng),能有效提高模型準(zhǔn)確率,避免生成錯誤樣本影響最終模型性能,同時也并未因損失少量數(shù)據(jù)影響對少數(shù)類樣本分類能力。

    表8 不同樣本集平衡方式的可融資性評價結(jié)果

    綜上所述,B-S Bagging 算法在解決非平衡樣本數(shù)據(jù)集的效果最優(yōu)。在數(shù)據(jù)集平衡方面,B-S 算法能有效避免過擬合,提高最終模型對少數(shù)類樣本的識別能力,而在實踐中,PPP 項目長期面臨樣本量較少且樣本數(shù)據(jù)集非平衡問題,因此,B-S 模型對解決現(xiàn)實問題具有一定參考意義;在集成學(xué)習(xí)算法優(yōu)化方面,對于非平衡樣本數(shù)據(jù)集而言,Bagging 算法性能優(yōu)于其他傳統(tǒng)分類器,因此當(dāng)各分類器與B-S結(jié)合后,各項評價指標(biāo)效果均有所提升,且能夠進(jìn)一步減少因合成樣本帶來的噪聲。這表明Boderline-SMOTE Bagging 算法在對PPP 項目進(jìn)行可融資性評價上有著顯著效果。

    4 結(jié)論及建議

    4.1 研究結(jié)論

    本研究以CPPPC 管理庫和儲備庫入庫項目為樣本數(shù)據(jù),綜合比較多類機(jī)器學(xué)習(xí)算法處理非平衡樣本數(shù)據(jù)集的性能,建立PPP 項目可融資性評價模型。研究結(jié)果表明,Borderline-SMOTE Bagging 算法效果最佳,能有效解決非平衡樣本數(shù)據(jù)集導(dǎo)致的偏向問題,削弱了SMOTE 算法因噪音產(chǎn)生的負(fù)面影響,且在新的數(shù)據(jù)集上具有良好的泛化能力。得到主要結(jié)論如下:

    (1)在大數(shù)據(jù)背景下,使用機(jī)器學(xué)習(xí)方法研究PPP 項目可融資性具有可行性。同時,基于PPP 可融資性評價特征體系,結(jié)合Borderline-SMOTE 算法和集成算法等機(jī)器學(xué)習(xí)方法,可從社會資本視角對PPP 可融資性進(jìn)行全面評價,能有效解決樣本不平衡問題,且能有效解決因高維特征導(dǎo)致樣本空間復(fù)雜度高進(jìn)而影響數(shù)據(jù)合成質(zhì)量問題。

    (2)Borderline-SMOTE Bagging 模型具有較高的分類性能。對人工合成樣本形成新的平衡樣本數(shù)據(jù)集,Borderline-SMOTE Bagging 算法在Precision、Recall、G-mean、F-measure 等指標(biāo)上發(fā)揮性能最佳,該模型對負(fù)類樣本有著更為優(yōu)秀的識別能力,實驗結(jié)果驗證了應(yīng)用大數(shù)據(jù)技術(shù)開展PPP 管理決策的可行性。

    (3)Borderline-SMOTE Bagging 模型具備推廣性。當(dāng)PPP 的決策主體從本研究中的社會資本視角切換至地方政府、金融機(jī)構(gòu)等,通過增加修改特征集后,可基于不同視角開展PPP 項目可融資性評價,幫助相關(guān)決策主體及時發(fā)現(xiàn)落地率或可融資性較低的項目,提升PPP 整體運(yùn)作效率。

    4.2 建議

    本研究基于社會資本視角構(gòu)建PPP 可融資性評價模型,可進(jìn)一步擴(kuò)展為基于金融機(jī)構(gòu)視角評價其他領(lǐng)域PPP 項目可融資性。開展PPP 可融資性評價,有助于從項目識別、采購、落地執(zhí)行全過程監(jiān)控項目運(yùn)作情況,及時解決因不良融資產(chǎn)生的負(fù)面問題,有助于推動PPP 健康可持續(xù)發(fā)展。根據(jù)以上實驗過程中遇到的問題,對未來PPP 數(shù)字化發(fā)展提出以下建議:

    (1)政府部門應(yīng)盡可能全面地收集PPP 項目數(shù)據(jù),新增退庫項目庫和待入庫項目庫,并實現(xiàn)項目數(shù)字化,全面記錄PPP 項目實施全過程,并逐步實現(xiàn)不同部門、不同層級PPP 項目數(shù)據(jù)開放共享,借助大數(shù)據(jù)技術(shù)提升PPP 管理效率和精準(zhǔn)度。

    (2)加強(qiáng)政府部門和社會不同領(lǐng)域數(shù)據(jù)的開放共享,包括宏觀經(jīng)濟(jì)數(shù)據(jù)、財政稅收數(shù)據(jù)、企業(yè)社會信用數(shù)據(jù)等,擴(kuò)寬大數(shù)據(jù)技術(shù)在PPP 中的應(yīng)用領(lǐng)域和應(yīng)用主體,包括基于地方政府實力、項目市場前景、社會資本資信等。

    (3)不同領(lǐng)域PPP 項目可融資性具有顯著差異性。新冠疫情暴發(fā)后,新型基礎(chǔ)設(shè)施建設(shè)(以下簡稱“新基建”)成為了我國投資轉(zhuǎn)型升級建設(shè)重點(diǎn),因此,合理開展新基建PPP 可融資性評價對政府和社會資本都有著積極的現(xiàn)實意義。對地方政府而言,識別可融資性差的項目可以及時、有效地對劣質(zhì)項目進(jìn)行改進(jìn),“回爐重造”或者尋找其他方式建設(shè)項目,有助于提高PPP 項目整體可融資性和落地率水平;對社會資本而言,Borderline-SMOTE Bagging模型可以起到有針對性的推薦作用,有助于社會資本選擇可融資性較高的項目。

    猜你喜歡
    分類器分類融資
    融資統(tǒng)計(1月10日~1月16日)
    融資統(tǒng)計(8月2日~8月8日)
    分類算一算
    融資
    融資
    分類討論求坐標(biāo)
    數(shù)據(jù)分析中的分類討論
    BP-GA光照分類器在車道線識別中的應(yīng)用
    電子測試(2018年1期)2018-04-18 11:52:35
    教你一招:數(shù)的分類
    加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類
    老鸭窝网址在线观看| 啦啦啦韩国在线观看视频| 亚洲成人久久爱视频| 嫩草影院精品99| 91久久精品电影网| 真实男女啪啪啪动态图| 性插视频无遮挡在线免费观看| 嫩草影院精品99| 免费无遮挡裸体视频| a级毛片免费高清观看在线播放| 看片在线看免费视频| 极品教师在线免费播放| 久久久久久久久久成人| 免费看美女性在线毛片视频| 亚洲精品成人久久久久久| 51国产日韩欧美| 免费看a级黄色片| 蜜桃亚洲精品一区二区三区| 五月伊人婷婷丁香| 久久精品国产亚洲av天美| 免费av毛片视频| av在线老鸭窝| 九色成人免费人妻av| 在线国产一区二区在线| 欧美一区二区亚洲| 国产精品99久久久久久久久| 日日干狠狠操夜夜爽| 三级男女做爰猛烈吃奶摸视频| 男人的好看免费观看在线视频| 国产极品精品免费视频能看的| 亚洲欧美日韩高清专用| 97碰自拍视频| 免费看日本二区| 久久精品夜夜夜夜夜久久蜜豆| 精品人妻一区二区三区麻豆 | 亚洲国产精品合色在线| 色播亚洲综合网| 欧美日韩综合久久久久久 | 国产三级中文精品| 免费看日本二区| www.色视频.com| 亚洲在线自拍视频| 精品久久久久久久久av| 91狼人影院| 啪啪无遮挡十八禁网站| 日本黄色视频三级网站网址| 男人和女人高潮做爰伦理| 久久香蕉精品热| 亚洲欧美清纯卡通| 日本黄色视频三级网站网址| 国产精品女同一区二区软件 | 好男人在线观看高清免费视频| 99国产极品粉嫩在线观看| 精品日产1卡2卡| 在线播放国产精品三级| 亚洲美女搞黄在线观看 | 午夜福利欧美成人| 高清在线国产一区| 麻豆国产97在线/欧美| 特级一级黄色大片| 最后的刺客免费高清国语| 每晚都被弄得嗷嗷叫到高潮| 琪琪午夜伦伦电影理论片6080| 国产91精品成人一区二区三区| 免费人成在线观看视频色| 99久久99久久久精品蜜桃| 又黄又爽又免费观看的视频| 美女被艹到高潮喷水动态| 国产精品久久电影中文字幕| 91九色精品人成在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 可以在线观看的亚洲视频| 好男人电影高清在线观看| 国产成+人综合+亚洲专区| 在现免费观看毛片| 日韩欧美 国产精品| 校园春色视频在线观看| 久久香蕉精品热| 成年女人永久免费观看视频| 狠狠狠狠99中文字幕| 99久久九九国产精品国产免费| 麻豆一二三区av精品| 美女被艹到高潮喷水动态| 99热这里只有是精品50| 俺也久久电影网| 国产伦人伦偷精品视频| 国产欧美日韩精品亚洲av| 国产伦精品一区二区三区视频9| 日韩欧美国产一区二区入口| 欧美+日韩+精品| 欧美一区二区精品小视频在线| 亚洲人成网站在线播| 久久久久久久精品吃奶| 一级黄色大片毛片| 国产精品精品国产色婷婷| 日本在线视频免费播放| 国产成+人综合+亚洲专区| 非洲黑人性xxxx精品又粗又长| 欧美bdsm另类| 看免费av毛片| 给我免费播放毛片高清在线观看| 少妇被粗大猛烈的视频| 免费av观看视频| 欧美区成人在线视频| 一个人看视频在线观看www免费| 蜜桃亚洲精品一区二区三区| avwww免费| 午夜免费激情av| 亚洲av电影在线进入| av天堂在线播放| 在线a可以看的网站| 中文字幕av在线有码专区| 欧美色欧美亚洲另类二区| 亚洲av熟女| 亚洲精品粉嫩美女一区| 欧美日本视频| 岛国在线免费视频观看| 淫秽高清视频在线观看| 亚洲最大成人手机在线| 亚洲七黄色美女视频| 国产精品爽爽va在线观看网站| 99久久精品热视频| 成人特级黄色片久久久久久久| 两人在一起打扑克的视频| 在线免费观看不下载黄p国产 | 久久久久国产精品人妻aⅴ院| 亚洲18禁久久av| 亚洲国产精品999在线| 国产免费男女视频| 赤兔流量卡办理| 午夜久久久久精精品| 免费观看的影片在线观看| 色吧在线观看| 精品国产三级普通话版| 热99在线观看视频| 国内精品一区二区在线观看| 欧美成人一区二区免费高清观看| 国产91精品成人一区二区三区| 精品日产1卡2卡| 亚洲欧美激情综合另类| 真人做人爱边吃奶动态| 一区二区三区高清视频在线| 变态另类丝袜制服| 18禁黄网站禁片午夜丰满| 国产成人a区在线观看| 久久精品91蜜桃| av国产免费在线观看| 国产欧美日韩一区二区三| 88av欧美| 18禁在线播放成人免费| 亚洲五月天丁香| 91麻豆av在线| 亚洲无线观看免费| 波多野结衣高清无吗| 久久精品影院6| 欧美激情在线99| xxxwww97欧美| 久久精品国产亚洲av天美| 脱女人内裤的视频| 久久久久久久久大av| 日本黄大片高清| 18禁黄网站禁片免费观看直播| 国产免费av片在线观看野外av| 国产精品女同一区二区软件 | 午夜福利欧美成人| 亚洲真实伦在线观看| 一级a爱片免费观看的视频| 91在线观看av| 一本久久中文字幕| 欧美成人a在线观看| 99在线视频只有这里精品首页| 18禁黄网站禁片午夜丰满| 人妻久久中文字幕网| 日韩欧美国产在线观看| 日日夜夜操网爽| 免费一级毛片在线播放高清视频| 国产伦精品一区二区三区视频9| 久久精品国产自在天天线| or卡值多少钱| 啪啪无遮挡十八禁网站| 99在线视频只有这里精品首页| 人妻久久中文字幕网| av在线老鸭窝| 日日摸夜夜添夜夜添小说| 久久99热这里只有精品18| 国内揄拍国产精品人妻在线| 色在线成人网| 国产精品久久久久久久电影| 日本一二三区视频观看| 亚洲av第一区精品v没综合| 国产精品久久久久久人妻精品电影| 在线播放国产精品三级| 久久人妻av系列| 欧美激情国产日韩精品一区| av在线观看视频网站免费| 日韩欧美三级三区| av视频在线观看入口| 夜夜夜夜夜久久久久| av黄色大香蕉| 国产精品国产高清国产av| 亚洲精品一区av在线观看| 亚洲av.av天堂| 美女xxoo啪啪120秒动态图 | 草草在线视频免费看| 欧美高清性xxxxhd video| 欧美成人性av电影在线观看| 少妇的逼好多水| 欧美日韩中文字幕国产精品一区二区三区| 一个人免费在线观看的高清视频| 国产精品美女特级片免费视频播放器| 1024手机看黄色片| 国产大屁股一区二区在线视频| 波多野结衣高清作品| 国产精品女同一区二区软件 | 一进一出抽搐gif免费好疼| 亚洲国产精品999在线| 午夜a级毛片| 欧美xxxx黑人xx丫x性爽| 可以在线观看的亚洲视频| 精品久久久久久久久久久久久| 婷婷亚洲欧美| 欧美一区二区精品小视频在线| 亚洲精品日韩av片在线观看| 精品久久久久久,| 他把我摸到了高潮在线观看| av在线天堂中文字幕| 亚洲国产精品sss在线观看| 香蕉av资源在线| 亚洲七黄色美女视频| 欧美zozozo另类| 三级毛片av免费| 99热精品在线国产| 午夜免费男女啪啪视频观看 | 人人妻,人人澡人人爽秒播| 女人被狂操c到高潮| 国产免费av片在线观看野外av| 亚洲18禁久久av| 亚洲av免费高清在线观看| 欧美成狂野欧美在线观看| 国产精品亚洲av一区麻豆| 极品教师在线视频| 一本精品99久久精品77| 国产免费男女视频| 少妇熟女aⅴ在线视频| 精品福利观看| 午夜影院日韩av| 欧美极品一区二区三区四区| 亚洲av熟女| 熟女人妻精品中文字幕| 欧美黑人巨大hd| 久久九九热精品免费| 非洲黑人性xxxx精品又粗又长| 亚洲欧美日韩高清在线视频| 国产成人aa在线观看| 亚洲成人久久性| 国产精品一区二区性色av| eeuss影院久久| 欧美精品国产亚洲| 97超视频在线观看视频| 在线免费观看的www视频| 免费观看人在逋| 蜜桃久久精品国产亚洲av| 小蜜桃在线观看免费完整版高清| 国产一区二区三区视频了| 欧美bdsm另类| 日日干狠狠操夜夜爽| 午夜福利成人在线免费观看| 色综合婷婷激情| 午夜视频国产福利| 99精品在免费线老司机午夜| 一个人看视频在线观看www免费| 国产毛片a区久久久久| 午夜日韩欧美国产| 亚洲在线观看片| 级片在线观看| 很黄的视频免费| 中出人妻视频一区二区| 免费观看的影片在线观看| 国产v大片淫在线免费观看| 日韩国内少妇激情av| 自拍偷自拍亚洲精品老妇| 天堂√8在线中文| 国产一区二区激情短视频| 一本久久中文字幕| 老女人水多毛片| 国产乱人伦免费视频| 美女大奶头视频| 久久久久久久久大av| 精品久久久久久久末码| 男人和女人高潮做爰伦理| 日韩欧美在线二视频| 久久精品国产亚洲av涩爱 | 免费在线观看亚洲国产| 国内精品一区二区在线观看| www.色视频.com| 久久精品国产清高在天天线| 日日夜夜操网爽| 人妻制服诱惑在线中文字幕| 欧美又色又爽又黄视频| 亚洲精品粉嫩美女一区| 久久99热6这里只有精品| 两性午夜刺激爽爽歪歪视频在线观看| 成人三级黄色视频| 国产一区二区在线av高清观看| 久久天躁狠狠躁夜夜2o2o| 午夜老司机福利剧场| 免费观看的影片在线观看| 欧美黄色淫秽网站| 直男gayav资源| 在线观看舔阴道视频| 国产精品永久免费网站| 18禁在线播放成人免费| 中文字幕人成人乱码亚洲影| 午夜免费成人在线视频| 亚洲av美国av| 欧美一区二区亚洲| 久久精品综合一区二区三区| 成年人黄色毛片网站| 人妻久久中文字幕网| 欧美区成人在线视频| 五月伊人婷婷丁香| 亚洲精品日韩av片在线观看| 88av欧美| 久久久久国内视频| 一卡2卡三卡四卡精品乱码亚洲| 精品久久久久久久人妻蜜臀av| 午夜两性在线视频| 热99在线观看视频| 亚洲精华国产精华精| 国产成人av教育| 久久久久久久久大av| 亚洲精品一区av在线观看| 久久久成人免费电影| 免费人成视频x8x8入口观看| 久久久色成人| 国产欧美日韩精品一区二区| 三级男女做爰猛烈吃奶摸视频| 精品人妻视频免费看| 亚洲国产欧洲综合997久久,| 欧美性猛交╳xxx乱大交人| xxxwww97欧美| 人人妻人人看人人澡| 亚洲精品亚洲一区二区| 日韩av在线大香蕉| 丰满人妻熟妇乱又伦精品不卡| 国产精品一区二区性色av| or卡值多少钱| 日本三级黄在线观看| 亚洲电影在线观看av| a级毛片a级免费在线| 又爽又黄无遮挡网站| 国产高潮美女av| 欧美乱妇无乱码| 国产亚洲精品久久久久久毛片| 天天躁日日操中文字幕| 国产精品1区2区在线观看.| 一区二区三区四区激情视频 | avwww免费| 亚洲一区高清亚洲精品| 亚洲精品一区av在线观看| 国产麻豆成人av免费视频| 麻豆久久精品国产亚洲av| 性色avwww在线观看| 国产精品98久久久久久宅男小说| 最后的刺客免费高清国语| 成人国产综合亚洲| 免费搜索国产男女视频| 又黄又爽又免费观看的视频| 一夜夜www| 亚洲最大成人中文| 亚洲aⅴ乱码一区二区在线播放| 国产精品99久久久久久久久| 嫩草影院新地址| 久久久久久久久久成人| 免费大片18禁| 久久久久免费精品人妻一区二区| 精品免费久久久久久久清纯| 内射极品少妇av片p| 51午夜福利影视在线观看| 91在线观看av| 欧美日韩乱码在线| 少妇熟女aⅴ在线视频| 精品免费久久久久久久清纯| 国产乱人伦免费视频| 啪啪无遮挡十八禁网站| 久久香蕉精品热| 最后的刺客免费高清国语| 麻豆成人av在线观看| www.www免费av| 麻豆成人av在线观看| 高清毛片免费观看视频网站| 久久国产精品影院| 成人无遮挡网站| 又紧又爽又黄一区二区| 午夜福利视频1000在线观看| 身体一侧抽搐| 国产精品美女特级片免费视频播放器| 日本五十路高清| 99热这里只有是精品在线观看 | 丰满人妻熟妇乱又伦精品不卡| 国产精品av视频在线免费观看| 成熟少妇高潮喷水视频| 亚洲自拍偷在线| 久久久国产成人精品二区| 国产精品影院久久| 极品教师在线视频| 久久这里只有精品中国| 日本一本二区三区精品| 亚洲内射少妇av| av专区在线播放| 亚洲av日韩精品久久久久久密| 免费av观看视频| 变态另类丝袜制服| 午夜日韩欧美国产| 一区二区三区四区激情视频 | 成人毛片a级毛片在线播放| 午夜免费激情av| 国产极品精品免费视频能看的| 亚洲国产精品成人综合色| 老熟妇乱子伦视频在线观看| 黄片小视频在线播放| 久久久久久久亚洲中文字幕 | 欧美高清性xxxxhd video| 99久久精品热视频| 男人狂女人下面高潮的视频| 成人三级黄色视频| 在线看三级毛片| 搡老岳熟女国产| 日韩有码中文字幕| 老熟妇仑乱视频hdxx| 少妇人妻精品综合一区二区 | 午夜a级毛片| 男人的好看免费观看在线视频| 日本黄色视频三级网站网址| 天天躁日日操中文字幕| 麻豆久久精品国产亚洲av| 可以在线观看的亚洲视频| 成人特级黄色片久久久久久久| 国产精品嫩草影院av在线观看 | 免费观看的影片在线观看| 免费一级毛片在线播放高清视频| 亚洲av.av天堂| 成人亚洲精品av一区二区| 99久久精品热视频| 日本一本二区三区精品| 亚洲av.av天堂| 高潮久久久久久久久久久不卡| 欧美精品国产亚洲| 午夜精品一区二区三区免费看| www.999成人在线观看| 亚洲男人的天堂狠狠| 五月伊人婷婷丁香| av在线老鸭窝| 午夜福利在线在线| 狂野欧美白嫩少妇大欣赏| 午夜福利18| 欧美黑人巨大hd| 欧美三级亚洲精品| 97超级碰碰碰精品色视频在线观看| 欧美区成人在线视频| 亚洲欧美日韩高清专用| av在线观看视频网站免费| 国产亚洲av嫩草精品影院| 日本免费一区二区三区高清不卡| 美女高潮的动态| 亚洲av成人不卡在线观看播放网| 91麻豆av在线| 丰满的人妻完整版| 日韩欧美国产在线观看| 露出奶头的视频| 亚洲经典国产精华液单 | 成熟少妇高潮喷水视频| 久久久精品欧美日韩精品| 在线观看美女被高潮喷水网站 | 成年人黄色毛片网站| 国产aⅴ精品一区二区三区波| 免费观看的影片在线观看| 日韩高清综合在线| 久久精品国产亚洲av天美| 国产精品1区2区在线观看.| 成人特级av手机在线观看| 老司机午夜十八禁免费视频| 精品一区二区三区av网在线观看| 亚洲国产精品999在线| 日日干狠狠操夜夜爽| 精品一区二区三区av网在线观看| 神马国产精品三级电影在线观看| 黄色视频,在线免费观看| 人妻久久中文字幕网| 国产精品1区2区在线观看.| 嫩草影院精品99| 国内精品久久久久久久电影| 伦理电影大哥的女人| 激情在线观看视频在线高清| 久久人妻av系列| 欧美午夜高清在线| 久久久久久久精品吃奶| 99久久精品一区二区三区| 久久国产乱子免费精品| 免费在线观看亚洲国产| 看十八女毛片水多多多| 国产一区二区激情短视频| 一级作爱视频免费观看| 国产激情偷乱视频一区二区| 亚洲 欧美 日韩 在线 免费| 婷婷六月久久综合丁香| 99久久无色码亚洲精品果冻| www.熟女人妻精品国产| 亚洲真实伦在线观看| 日本免费a在线| 99热这里只有精品一区| 看免费av毛片| 18禁黄网站禁片免费观看直播| 波多野结衣高清作品| 三级毛片av免费| 欧美三级亚洲精品| 国产一区二区三区在线臀色熟女| 久久久精品大字幕| 久久人人精品亚洲av| 搡老妇女老女人老熟妇| 国产精品电影一区二区三区| 亚洲国产精品999在线| 欧美日韩福利视频一区二区| 国产精品乱码一区二三区的特点| 久久精品国产亚洲av天美| 91字幕亚洲| АⅤ资源中文在线天堂| 欧美高清性xxxxhd video| 亚洲avbb在线观看| 国产精品伦人一区二区| 国产精品一区二区性色av| 老鸭窝网址在线观看| 欧美最黄视频在线播放免费| 国产精品一区二区三区四区久久| 国产成人啪精品午夜网站| 一a级毛片在线观看| 亚洲人成电影免费在线| 日韩精品中文字幕看吧| 欧美成人a在线观看| 赤兔流量卡办理| 国产一区二区激情短视频| 欧美一级a爱片免费观看看| 日本精品一区二区三区蜜桃| 亚洲久久久久久中文字幕| 色综合亚洲欧美另类图片| 女人被狂操c到高潮| 丁香欧美五月| 禁无遮挡网站| 99热精品在线国产| 日本 av在线| 女人被狂操c到高潮| 亚洲精品成人久久久久久| 一本一本综合久久| 麻豆久久精品国产亚洲av| 国产成人影院久久av| 亚洲国产高清在线一区二区三| 国内毛片毛片毛片毛片毛片| 中出人妻视频一区二区| 3wmmmm亚洲av在线观看| 午夜精品久久久久久毛片777| 国产老妇女一区| 最近视频中文字幕2019在线8| 99久久99久久久精品蜜桃| 久久久久久大精品| 真人做人爱边吃奶动态| 精品一区二区免费观看| 国产视频内射| 一区二区三区激情视频| a级毛片免费高清观看在线播放| 桃色一区二区三区在线观看| 美女高潮的动态| 日本五十路高清| 日韩 亚洲 欧美在线| 伦理电影大哥的女人| 亚洲aⅴ乱码一区二区在线播放| 啦啦啦韩国在线观看视频| 国产午夜精品久久久久久一区二区三区 | 国产av不卡久久| 国内精品久久久久久久电影| ponron亚洲| 国产精品精品国产色婷婷| 在线播放国产精品三级| 中文字幕av成人在线电影| 老熟妇仑乱视频hdxx| 淫秽高清视频在线观看| 黄色丝袜av网址大全| 99久久久亚洲精品蜜臀av| 最近视频中文字幕2019在线8| 国产久久久一区二区三区| 一级a爱片免费观看的视频| 久久午夜亚洲精品久久| 一个人看视频在线观看www免费| 老熟妇仑乱视频hdxx| 老鸭窝网址在线观看| 老熟妇乱子伦视频在线观看| 国产精品三级大全| 国产精品伦人一区二区| 一级a爱片免费观看的视频| 三级毛片av免费| 99国产极品粉嫩在线观看| 最近在线观看免费完整版| 亚洲成人久久性| 亚洲五月婷婷丁香| 中文字幕av在线有码专区| 淫秽高清视频在线观看| 免费在线观看日本一区| 九色成人免费人妻av| 精品久久久久久久久久久久久| 九九久久精品国产亚洲av麻豆| 人妻久久中文字幕网| 国产亚洲欧美在线一区二区| 老司机深夜福利视频在线观看| 欧美成狂野欧美在线观看| 欧美又色又爽又黄视频| 亚洲久久久久久中文字幕|