TenrepNN：集成學(xué)習(xí)的新范式在企業(yè)自律性評(píng)價(jià)中的實(shí)踐

趙敬濤，趙澤方，岳兆娟，李俊*

TenrepNN：集成學(xué)習(xí)的新范式在企業(yè)自律性評(píng)價(jià)中的實(shí)踐

趙敬濤1，2，趙澤方1，2，岳兆娟1，李俊1，2*

（1.中國(guó)科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100083； 2.中國(guó)科學(xué)院大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100049）（ ? 通信作者電子郵箱lijun@cnic.cn）

為了應(yīng)對(duì)互聯(lián)網(wǎng)環(huán)境中企業(yè)自律性低、違規(guī)事件頻發(fā)、政府監(jiān)管困難的現(xiàn)狀，提出一種針對(duì)企業(yè)自律性評(píng)價(jià)的雙層集成殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)（TenrepNN）模型，并融合Stacking和Bagging集成學(xué)習(xí)的思想提出一種集成學(xué)習(xí)的新范式Adjusting。TenrepNN模型具有兩層結(jié)構(gòu)：第1層使用3種基學(xué)習(xí)器初步預(yù)測(cè)企業(yè)評(píng)分；第2層采用殘差修正的思想，提出殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)以預(yù)測(cè)每個(gè)基學(xué)習(xí)器的輸出偏差。最后，將偏差與基學(xué)習(xí)器評(píng)分相加得到最終輸出。在企業(yè)自律性評(píng)價(jià)數(shù)據(jù)集上，相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，TenrepNN模型的均方根誤差（RMSE）降低了2.7%，企業(yè)自律性等級(jí)分類準(zhǔn)確率達(dá)到了94.51%。實(shí)驗(yàn)結(jié)果表明，TenrepNN模型集成不同的基學(xué)習(xí)器降低預(yù)測(cè)方差，并使用殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)顯式地降低偏差，從而能夠準(zhǔn)確評(píng)價(jià)企業(yè)自律性以實(shí)現(xiàn)差異化的動(dòng)態(tài)監(jiān)管。

企業(yè)自律性評(píng)價(jià)；集成學(xué)習(xí)范式；殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)；顯式偏差修正；互聯(lián)網(wǎng)企業(yè)監(jiān)管

0 引言

當(dāng)今人們的生活與互聯(lián)網(wǎng)的關(guān)系越來(lái)越密切，截至2022年6月，我國(guó)網(wǎng)民規(guī)模為10.51億［1］。部分企業(yè)通過(guò)申請(qǐng)網(wǎng)絡(luò)文化經(jīng)營(yíng)許可證在網(wǎng)絡(luò)上經(jīng)營(yíng)或宣傳。這類公司數(shù)量眾多、經(jīng)營(yíng)自律性低、違規(guī)現(xiàn)象頻發(fā)且調(diào)查取證難，這對(duì)政府在網(wǎng)絡(luò)文化市場(chǎng)中監(jiān)管企業(yè)提出了新的挑戰(zhàn)［2］。

為了及時(shí)發(fā)現(xiàn)風(fēng)險(xiǎn)事件，加強(qiáng)對(duì)高風(fēng)險(xiǎn)企業(yè)的管理，督促企業(yè)自律，構(gòu)建政府監(jiān)管與市場(chǎng)主體自律相結(jié)合的動(dòng)態(tài)監(jiān)管服務(wù)機(jī)制，開(kāi)拓集成學(xué)習(xí)、深度學(xué)習(xí)等先進(jìn)的機(jī)器學(xué)習(xí)方法在該領(lǐng)域的實(shí)踐，本文設(shè)計(jì)了雙層集成殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)（Two-layer ensemble residual prediction Neural Network， TenrepNN）模型，根據(jù)企業(yè)經(jīng)營(yíng)特征評(píng)估企業(yè)的自律性，使監(jiān)管部門聚焦于自律性差的企業(yè)，促使企業(yè)提高自律性和公信力。

集成學(xué)習(xí)模型融合多個(gè)弱學(xué)習(xí)器，在預(yù)測(cè)性能和模型魯棒性方面都優(yōu)于單個(gè)機(jī)器學(xué)習(xí)模型，適用于企業(yè)自律性評(píng)價(jià)這種特征數(shù)目多、數(shù)據(jù)集規(guī)模小且需要精準(zhǔn)預(yù)測(cè)的任務(wù)；但是在集成學(xué)習(xí)框架中，基學(xué)習(xí)器很大程度地影響模型集成效果?；鶎W(xué)習(xí)器需要同時(shí)滿足準(zhǔn)確性和多樣性，才能在集成時(shí)取得較好的表現(xiàn)［3］。由于集成模型一般較復(fù)雜，對(duì)存儲(chǔ)空間的需求大且預(yù)測(cè)速度較慢，基學(xué)習(xí)器的選擇需要大量經(jīng)驗(yàn)積累。隨著自動(dòng)機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，在一些數(shù)據(jù)集上使用自動(dòng)機(jī)器學(xué)習(xí)的效果已經(jīng)超越了人工調(diào)參的機(jī)器學(xué)習(xí)模型［4］。但是自動(dòng)機(jī)器學(xué)習(xí)框架使用的基礎(chǔ)模型種類多，難以根據(jù)實(shí)際需要精細(xì)改動(dòng)其中的子模型，延遲可以使用自動(dòng)學(xué)習(xí)技術(shù)幫助人們選擇基學(xué)習(xí)器，減少使用先驗(yàn)知識(shí)。

本文的主要工作如下：

1）建立了一種新的集成學(xué)習(xí)的范式Adjusting。第1層融合Stacking和Bagging的思想，用數(shù)據(jù)集或它們上采樣的某個(gè)子集在自動(dòng)機(jī)器學(xué)習(xí)框架中訓(xùn)練，根據(jù)結(jié)果選擇最合適的模型，對(duì)選擇的模型使用不同的子數(shù)據(jù)集訓(xùn)練獲得不同的基學(xué)習(xí)器；第2層擬合基學(xué)習(xí)器輸出與真實(shí)結(jié)果的殘差，整合基學(xué)習(xí)器的預(yù)測(cè)值和殘差值。

2）設(shè)計(jì)了殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)。使用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)第1層各基學(xué)習(xí)器的殘差，模型的輸出由基學(xué)習(xí)器的預(yù)測(cè)結(jié)果和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的殘差相加。通過(guò)對(duì)第1層的殘差預(yù)測(cè)，減小機(jī)器學(xué)習(xí)模型的預(yù)測(cè)偏差。

3）提出了用于企業(yè)自律性評(píng)價(jià)的TenrepNN模型。本文將集成學(xué)習(xí)應(yīng)用于企業(yè)自律性評(píng)價(jià)，根據(jù)企業(yè)的經(jīng)營(yíng)信息端到端地計(jì)算企業(yè)的自律性分?jǐn)?shù)，批量評(píng)估企業(yè)自律性，輔助監(jiān)管者定位風(fēng)險(xiǎn)企業(yè)，實(shí)現(xiàn)對(duì)不同企業(yè)的差異化監(jiān)管。

本文模型的基本架構(gòu)如圖1所示。

圖1　TenrepNN模型框架

1 相關(guān)工作

1.1　企業(yè)自律性評(píng)價(jià)

企業(yè)自律性評(píng)價(jià)是為了幫助政府判斷企業(yè)是否遵循網(wǎng)絡(luò)文化市場(chǎng)監(jiān)管規(guī)范的新任務(wù)。依靠人工監(jiān)管眾多企業(yè)的方式難以應(yīng)對(duì)互聯(lián)網(wǎng)中龐大的數(shù)據(jù)量，因此應(yīng)用機(jī)器學(xué)習(xí)評(píng)判企業(yè)的遵規(guī)守紀(jì)情況。如果模型能對(duì)企業(yè)的自律性打分，管理人員就能將更多精力放在自律性分?jǐn)?shù)低且具有潛在風(fēng)險(xiǎn)的企業(yè)。當(dāng)這些自律性差的企業(yè)出現(xiàn)違規(guī)行為時(shí)，監(jiān)管人員可以第一時(shí)間發(fā)現(xiàn)并處理事件，及時(shí)采集證據(jù)為執(zhí)法部門提供依據(jù)。

國(guó)內(nèi)外關(guān)于企業(yè)自律性的研究較少，且各國(guó)國(guó)情不同，難以找到一套通用的評(píng)價(jià)體系。對(duì)企業(yè)評(píng)價(jià)模型的研究方向集中在經(jīng)濟(jì)領(lǐng)域，以傳統(tǒng)的概率分配和數(shù)學(xué)建模的方法為主，側(cè)重點(diǎn)在于評(píng)價(jià)指標(biāo)的構(gòu)建和特征選擇。近年有一些企業(yè)貸款信用評(píng)價(jià)方面的研究，可以加以改進(jìn)應(yīng)用于自律性評(píng)價(jià)。

張玨［5］通過(guò)決策樹(shù)篩選特征，使用邏輯回歸模型分析中小企業(yè)的信用風(fēng)險(xiǎn)；鄧大松等［6］根據(jù)企業(yè)經(jīng)營(yíng)特征，使用邏輯回歸模型分析是否向該企業(yè)提供貸款；陶愛(ài)元等［7］先使用主成分分析方法從企業(yè)財(cái)報(bào)中提取企業(yè)特征，再運(yùn)用數(shù)據(jù)包絡(luò)分析算法給出介于0～1的信用指標(biāo)；盧悅?cè)降龋?］為了對(duì)企業(yè)進(jìn)行風(fēng)險(xiǎn)評(píng)估，建立基于邏輯回歸的評(píng)分卡模型，輔助銀行的信貸決策；秦曉琳［9］使用極端梯度提升樹(shù)（Extreme Gradient Boosting， XGBoost）模型結(jié)合企業(yè)的定性指標(biāo)和定量指標(biāo)計(jì)算企業(yè)的信用評(píng)分，根據(jù)評(píng)分決定是否通過(guò)企業(yè)的貸款申請(qǐng)。以上研究的重點(diǎn)大多聚焦在特征設(shè)計(jì)上，使用的模型較為簡(jiǎn)單，未能深入探索模型結(jié)構(gòu)。

1.2　集成學(xué)習(xí)

集成學(xué)習(xí)就是訓(xùn)練多個(gè)模型，再對(duì)模型的輸出結(jié)果歸納總結(jié)。單個(gè)基學(xué)習(xí)器對(duì)于某個(gè)樣本的誤差可能較大，但是各個(gè)基學(xué)習(xí)器具有一定差異，在不同數(shù)據(jù)上的表現(xiàn)不同，集成能夠避免選擇最差的學(xué)習(xí)器，集成后的效果一般有所提高。常用的兩種集成學(xué)習(xí)范式是Stacking和Bagging［10-11］，兩種集成策略的實(shí)現(xiàn)過(guò)程如圖2所示。

圖2　Stacking和Bagging集成學(xué)習(xí)對(duì)比

1.2.1Stacking模型堆疊

Stacking是模型集成的一種方法，一般由兩層或多層機(jī)器學(xué)習(xí)模型堆疊構(gòu)成［12-13］。在第1層，模型設(shè)置多個(gè)不同類別的基學(xué)習(xí)器，每個(gè)基學(xué)習(xí)器都使用部分?jǐn)?shù)據(jù)集訓(xùn)練，將這些基學(xué)習(xí)器的輸出作為新特征添加至數(shù)據(jù)集，作為高層模型的輸入［14］。高層模型通常使用線性回歸等簡(jiǎn)單學(xué)習(xí)器，學(xué)習(xí)更好地組合基模型的輸出。

通過(guò)基學(xué)習(xí)器的多層堆疊降低模型的方差和偏差，但是這種方式的訓(xùn)練步驟復(fù)雜，對(duì)上層模型的參數(shù)敏感，且依賴經(jīng)驗(yàn)選擇基學(xué)習(xí)器和高層模型，因此需要通過(guò)實(shí)驗(yàn)調(diào)整Stacking堆疊的參數(shù)。隨著堆疊層數(shù)和基學(xué)習(xí)器數(shù)的增多，所需的存儲(chǔ)空間隨之增加，模型的預(yù)測(cè)速度也越慢。

對(duì)于Stacking，雖然采取了兩層甚至多層的堆疊方案，但是每一層只是相當(dāng)于在原有的數(shù)據(jù)中加入了一維新的特征［15］，難以衡量新加入的特征對(duì)最終的預(yù)測(cè)的作用，它關(guān)注的重心仍然在數(shù)據(jù)層面，即用學(xué)習(xí)器輸出擴(kuò)充數(shù)據(jù)特征。

1.2.2Bagging模型組合

Bagging是另一種集成學(xué)習(xí)的范式，它通過(guò)訓(xùn)練多個(gè)獨(dú)立的基學(xué)習(xí)器，然后簡(jiǎn)單結(jié)合（平均或投票）每個(gè)基學(xué)習(xí)器的結(jié)果，以獲得一個(gè)強(qiáng)學(xué)習(xí)器［16］。Bagging中的基學(xué)習(xí)器通常使用同質(zhì)弱學(xué)習(xí)器，這些弱學(xué)習(xí)器相互獨(dú)立訓(xùn)練并行學(xué)習(xí)，然后對(duì)所有基學(xué)習(xí)器的輸出作一個(gè)簡(jiǎn)單的平均（回歸問(wèn)題）或者投票（分類問(wèn)題），Bagging的關(guān)注點(diǎn)是獲得一個(gè)方差比基學(xué)習(xí)器更小的集成模型。在訓(xùn)練階段，Bagging隨機(jī)從原始數(shù)據(jù)集采樣一定比例的子數(shù)據(jù)集，使用采樣的子數(shù)據(jù)集訓(xùn)練某個(gè)學(xué)習(xí)器，由于每次采樣的數(shù)據(jù)各不相同，各個(gè)基學(xué)習(xí)器通過(guò)使用不同的訓(xùn)練數(shù)據(jù)產(chǎn)生差異，提升基學(xué)習(xí)器集成效果。

Bagging集成學(xué)習(xí)［17］自身也有相當(dāng)大的局限。它通常只使用一種基學(xué)習(xí)器，基學(xué)習(xí)器的選擇較大地影響了模型效果，并且各個(gè)基學(xué)習(xí)器的輸出只作簡(jiǎn)單的投票或平均，效果不同的學(xué)習(xí)器對(duì)最終結(jié)果產(chǎn)生的影響相同。

2 數(shù)據(jù)及其處理

2.1　數(shù)據(jù)集介紹

由于目前沒(méi)有關(guān)于企業(yè)自律性的公開(kāi)數(shù)據(jù)集，為了訓(xùn)練模型，從網(wǎng)上公開(kāi)數(shù)據(jù)搜索擁有網(wǎng)絡(luò)文化經(jīng)營(yíng)許可證的公司相關(guān)信息，構(gòu)建企業(yè)自律性評(píng)分?jǐn)?shù)據(jù)集。

分別從企業(yè)基本屬性、不良信用記錄和企業(yè)表彰信息等方面的數(shù)據(jù)衡量一個(gè)公司的自律性情況。通過(guò)對(duì)齊、去噪和去重等操作處理數(shù)據(jù)，最終得到3 868家企業(yè)的經(jīng)營(yíng)特征，按照3∶1隨機(jī)劃分訓(xùn)練集和測(cè)試集，訓(xùn)練集共2 902條數(shù)據(jù)，測(cè)試集共966條數(shù)據(jù)。數(shù)據(jù)集中各個(gè)企業(yè)的自律性分?jǐn)?shù)從1到100不等。數(shù)據(jù)集各個(gè)維度的信息見(jiàn)表1。

表1　企業(yè)自律性評(píng)價(jià)數(shù)據(jù)集信息

2.2　特征工程

數(shù)據(jù)的原始特征存在離散類特征和連續(xù)類特征，對(duì)這兩種特征采用不同的處理方法。

2.2.1連續(xù)類型特征處理

對(duì)于連續(xù)類特征，首先將公司成立日期轉(zhuǎn)化為公司成立距今的天數(shù)以方便計(jì)算，其次將它與用戶投訴量、用戶投訴回復(fù)率、參保人數(shù)、注冊(cè)資本、行政許可量、行政處罰量、守信激勵(lì)量和失信懲戒量等連續(xù)特征進(jìn)行對(duì)數(shù)變換，減輕長(zhǎng)尾分布的數(shù)值特征對(duì)機(jī)器模型效果的損害。

對(duì)于人員規(guī)模特征，該維度既包含數(shù)值也包含區(qū)間量，并且存在數(shù)據(jù)之間的大小關(guān)系，因此設(shè)計(jì)了一套按照區(qū)間分箱的規(guī)則，將公司人員按規(guī)模分為小公司、較小公司、中等公司、較大公司和大公司這5類，分別使用數(shù)字1～5表示。

2.2.2離散類型特征處理

離散特征包括上市情況、企業(yè)性質(zhì)、注冊(cè)屬地、經(jīng)營(yíng)狀態(tài)和公司類型。對(duì)于上市情況，由于原始數(shù)據(jù)類別劃分過(guò)細(xì)，無(wú)法充分訓(xùn)練模型，所以將公司分為未上市公司、傳統(tǒng)上市公司和新三板上市公司這3類。對(duì)于注冊(cè)屬地，按照2022年最新的城市梯次劃分，將公司的注冊(cè)屬地劃分為一線城市、新一線城市和其他城市。對(duì)于經(jīng)營(yíng)狀態(tài)，按照公司是否正在經(jīng)營(yíng)劃分為兩類：第一類包含注銷、吊銷和遷出這3種情況；第二類包含存續(xù)和在業(yè)這兩種狀態(tài)。由于特征的離散取值較少，為了減少離散數(shù)值本身的大小帶來(lái)的干擾，對(duì)5個(gè)離散特征進(jìn)行獨(dú)熱編碼，處理后，拼接離散特征和連續(xù)特征作為第1層基學(xué)習(xí)器的輸入。

3 雙層集成企業(yè)自律性評(píng)價(jià)方法

3.1　Adjusting集成學(xué)習(xí)

本文提出了一種新的集成學(xué)習(xí)范式Adjusting，為了解決Stacking訓(xùn)練過(guò)程復(fù)雜的問(wèn)題，改進(jìn)Stacking框架，并融合了Bagging集成學(xué)習(xí)中數(shù)據(jù)采樣的思想。相較于Bagging，Stacking集成學(xué)習(xí)中的基學(xué)習(xí)器是異質(zhì)的（Bagging中是同質(zhì)基學(xué)習(xí)器），更容易從數(shù)據(jù)中學(xué)習(xí)不同方面的特征，使模型擁有更好的泛化性能，適用于訓(xùn)練數(shù)據(jù)較少的情況；此外，Stacking在第2層可以使用多種機(jī)器學(xué)習(xí)模型集成第1層的基學(xué)習(xí)器，以此獲得更高的預(yù)測(cè)準(zhǔn)確性。Adjusting繼承了Stacking的優(yōu)勢(shì)，同時(shí)將關(guān)注點(diǎn)從數(shù)據(jù)樣本轉(zhuǎn)移到基學(xué)習(xí)器，使用自動(dòng)機(jī)器學(xué)習(xí)技術(shù)選擇基學(xué)習(xí)器，認(rèn)為基學(xué)習(xí)器本身是不準(zhǔn)確的，通過(guò)高層的學(xué)習(xí)器擬合它們的殘差。相較于Bagging，Adjusting無(wú)論是基學(xué)習(xí)器的選擇范圍，還是輸出融合的方式都具有更好的靈活性和可操作性［18］。相較于Stacking，Adjusting不必與原始數(shù)據(jù)特征相結(jié)合，只利用基學(xué)習(xí)器的輸出作為訓(xùn)練樣本，減輕了高層學(xué)習(xí)器的學(xué)習(xí)壓力，強(qiáng)化了基學(xué)習(xí)器的重要性。

如圖3所示，Adjusting集成學(xué)習(xí)的第1層使用自動(dòng)機(jī)器學(xué)習(xí)框架選擇最適合當(dāng)前數(shù)據(jù)的種基學(xué)習(xí)器模型，將原數(shù)據(jù)集折交叉或直接采樣成不同的份子數(shù)據(jù)集，使種機(jī)器學(xué)習(xí)模型在每份子數(shù)據(jù)集都訓(xùn)練一次，得到個(gè)訓(xùn)練好的基學(xué)習(xí)器；在第2層，利用殘差學(xué)習(xí)的思想，計(jì)算基學(xué)習(xí)器輸出值與真實(shí)值的差距，將基學(xué)習(xí)器的預(yù)測(cè)值和第2層計(jì)算的殘差融合，得到模型最終輸出。

圖3　Adjusting集成學(xué)習(xí)范式

3.2　殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)

針對(duì)Adjusting集成學(xué)習(xí)框架第2層的殘差擬合問(wèn)題，設(shè)計(jì)了用于預(yù)測(cè)第1層中每個(gè)基學(xué)習(xí)器的與真實(shí)標(biāo)簽的殘差的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

該網(wǎng)絡(luò)使用單隱藏層，并且輸出維度等于輸入維度。以第1層基學(xué)習(xí)器的預(yù)測(cè)分?jǐn)?shù)作為輸入，網(wǎng)絡(luò)預(yù)測(cè)在輸入某樣本時(shí)各個(gè)基學(xué)習(xí)器的輸出值與真實(shí)標(biāo)簽的差值。

模型的最終輸出為各個(gè)學(xué)習(xí)器第1層的評(píng)分預(yù)測(cè)值與第2層的殘差預(yù)測(cè)值相加，求平均得到：

使用殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)，使某個(gè)基學(xué)習(xí)器對(duì)某個(gè)樣本的殘差不僅依賴自身，也依賴其他基學(xué)習(xí)器的輸出值。

3.3　自動(dòng)機(jī)器學(xué)習(xí)選擇基學(xué)習(xí)器

為了探索自動(dòng)機(jī)器學(xué)習(xí)框架在基學(xué)習(xí)器選擇上的應(yīng)用，使用自動(dòng)機(jī)器框架AutoGluon［19］選出最適合當(dāng)前數(shù)據(jù)集或當(dāng)前數(shù)據(jù)集隨機(jī)采樣的子數(shù)據(jù)集的基學(xué)習(xí)器模型。

將數(shù)據(jù)集輸入AutoGluon，框架使用多個(gè)不同的機(jī)器學(xué)習(xí)方法對(duì)它回歸擬合，回歸誤差較小的8個(gè)模型如表2所示。

表2　AutoGluon框架中不同模型的表現(xiàn)

基于集成學(xué)習(xí)的準(zhǔn)確性和差異性原理，同時(shí)考慮在模型效果與模型復(fù)雜度兩個(gè)方面的均衡，本文的自律性評(píng)價(jià)模型使用在測(cè)試集和驗(yàn)證集上得分最高的3種模型，分別為：類別梯度提升樹(shù)（Categorical features gradient Boosting， CatBoost）［20］、輕量梯度提升機(jī)（Light Gradient Boosting Machine， LightGBM）［21］和XGBoost［22］作為第1層的基學(xué)習(xí)器。

3.4　雙層集成企業(yè)自律性評(píng)價(jià)模型

本文根據(jù)提出的Adjusting集成學(xué)習(xí)框架，將上述3種基學(xué)習(xí)器與殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)結(jié)合，設(shè)計(jì)了TenrepNN模型。

在第2層，模型通過(guò)殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)，以基學(xué)習(xí)器在訓(xùn)練集產(chǎn)生的預(yù)測(cè)得分作為輸入，以訓(xùn)練集樣本的標(biāo)簽與各個(gè)基學(xué)習(xí)器預(yù)測(cè)得分之間的差值作為網(wǎng)絡(luò)的預(yù)期輸出，個(gè)基學(xué)習(xí)器共有個(gè)差值。通過(guò)預(yù)測(cè)每個(gè)基學(xué)習(xí)器的殘差，顯式地減小模型的預(yù)測(cè)偏差。

最后，將第1層基學(xué)習(xí)器產(chǎn)生的預(yù)測(cè)值與第2層神經(jīng)網(wǎng)絡(luò)擬合的每個(gè)基學(xué)習(xí)器的殘差相加取平均值，獲得該樣本對(duì)應(yīng)的自律性評(píng)分。

雖然在訓(xùn)練時(shí)需要先訓(xùn)練好第1層的基學(xué)習(xí)器，再計(jì)算殘差訓(xùn)練第2層的神經(jīng)網(wǎng)絡(luò)，但是在測(cè)試和正式使用時(shí)，輸入一條樣本，可以端到端地計(jì)算該樣本的預(yù)測(cè)分值，在面對(duì)批量的企業(yè)數(shù)據(jù)時(shí)，能夠快速獲得各個(gè)企業(yè)的自律性分?jǐn)?shù)。

圖5　三種基學(xué)習(xí)器的訓(xùn)練示意圖

4 實(shí)驗(yàn)與結(jié)果分析

4.1　算法評(píng)價(jià)指標(biāo)

4.1.1回歸任務(wù)評(píng)價(jià)指標(biāo)

企業(yè)自律性評(píng)價(jià)任務(wù)本質(zhì)是一個(gè)對(duì)企業(yè)自律性評(píng)分進(jìn)行擬合的回歸任務(wù)，可以通過(guò)常用的回歸學(xué)習(xí)評(píng)估指標(biāo)評(píng)價(jià)模型。本文使用均方根誤差（Root Mean Square Error， RMSE）評(píng)價(jià)模型效果。

RMSE是預(yù)測(cè)值與真實(shí)值的誤差平方根的均值，是均方根誤差（Mean Square Error， MSE）的算術(shù)平方根，真實(shí)值與模型預(yù)測(cè)值的差距越大，均方根誤差就越大，理想狀況下RMSE為0。

4.1.2企業(yè)自律性等級(jí)分類指標(biāo)

除了評(píng)價(jià)模型的回歸擬合能力，為了提高模型輸出的可解釋性，根據(jù)企業(yè)自律性評(píng)分分類企業(yè)，將所有企業(yè)劃分為5個(gè)等級(jí)，各個(gè)等級(jí)與企業(yè)自律性分?jǐn)?shù)的關(guān)系見(jiàn)表3。

根據(jù)模型擬合分?jǐn)?shù)與樣本真實(shí)分?jǐn)?shù)是否處于同一等級(jí)判斷模型是否產(chǎn)生了正確的輸出，并基于分類正確的數(shù)量計(jì)算準(zhǔn)確率（Accuracy），準(zhǔn)確率為正確分類的樣本個(gè)數(shù)占總樣本個(gè)數(shù)的比例：

表3　企業(yè)自律性等級(jí)劃分情況

4.2　模型超參數(shù)搜索與設(shè)置

4.2.1基學(xué)習(xí)器超參數(shù)網(wǎng)格搜索

對(duì)于XGBoost等樹(shù)模型，超參數(shù)較多且模型表現(xiàn)受部分超參數(shù)影響較大。為了防止第1層使用的3種樹(shù)模型因?yàn)槌瑓?shù)設(shè)置不當(dāng)導(dǎo)致性能下降，對(duì)模型效果影響較大的超參數(shù)進(jìn)行網(wǎng)格搜索，既節(jié)省參數(shù)搜索的時(shí)間又能使模型性能獲得最大程度的提高［23］。

根據(jù)不同超參數(shù)的取值要求，設(shè)置兩級(jí)參數(shù)搜索范圍。首先使用較大的步長(zhǎng)在大范圍內(nèi)確定最優(yōu)參數(shù)所在的大致位置，再設(shè)置小的步長(zhǎng)在大致位置附近精細(xì)搜索。經(jīng)過(guò)搜索，各個(gè)基回歸器的超參數(shù)設(shè)置見(jiàn)表4。

表4　基模型超參數(shù)設(shè)置

4.2.2殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置

對(duì)于第2層的殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)輸入為上層所有基學(xué)習(xí)器的預(yù)測(cè)分?jǐn)?shù)。第1層共使用3種機(jī)器學(xué)習(xí)模型，每種模型訓(xùn)練5個(gè)，共計(jì)15個(gè)基回歸器。網(wǎng)絡(luò)輸出是這15個(gè)學(xué)習(xí)器預(yù)測(cè)分值與真實(shí)分?jǐn)?shù)的殘差，使用反向傳播算法訓(xùn)練。網(wǎng)絡(luò)超參數(shù)設(shè)置如表5所示。

表5　殘差神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置

4.3　實(shí)驗(yàn)結(jié)果分析

4.3.1基學(xué)習(xí)器結(jié)果分析

為了驗(yàn)證3.2節(jié)使用自動(dòng)機(jī)器學(xué)習(xí)框架選擇基層學(xué)習(xí)器的準(zhǔn)確性，使用邏輯回歸、嶺回歸、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)、CatBoost、LightGBM和XGBoost這7種機(jī)器學(xué)習(xí)模型擬合企業(yè)自律性評(píng)分?jǐn)?shù)據(jù)集，統(tǒng)計(jì)這些模型在測(cè)試集上的RMSE和企業(yè)自律性等級(jí)分類準(zhǔn)確率，結(jié)果如表6所示。

表6　單個(gè)模型在企業(yè)自律性評(píng)價(jià)數(shù)據(jù)集上的表現(xiàn)

樹(shù)模型由于容易產(chǎn)生隨機(jī)性，受訓(xùn)練數(shù)據(jù)樣本分布的影響較大且自身準(zhǔn)確度較高，適合用作集成學(xué)習(xí)的基學(xué)習(xí)器［24］。實(shí)驗(yàn)結(jié)果顯示，在數(shù)據(jù)集上表現(xiàn)較好的前3個(gè)學(xué)習(xí)器是CatBoost、XGBoost和LightGBM，與自動(dòng)機(jī)器學(xué)習(xí)框架給出的結(jié)果相同。只有當(dāng)基學(xué)習(xí)器的效果較好且互相存在一定差異時(shí)，對(duì)多個(gè)基學(xué)習(xí)器集成才能獲得效果上的提升。

4.3.2雙層集成模型結(jié)果分析

為了與提出的殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，在第1層輸出上分別使用線性回歸、CatBoost、XGBoost、LightGBM和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)［25］這5種機(jī)器學(xué)習(xí)模型整合基學(xué)習(xí)器的輸出。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的隱藏層單元數(shù)為10，但輸出層維度為1，直接輸出樣本的自律性分?jǐn)?shù)。實(shí)驗(yàn)結(jié)果見(jiàn)表7。

表7　不同第2層模型下的實(shí)驗(yàn)結(jié)果

數(shù)據(jù)顯示，相較于線性回歸和樹(shù)模型，神經(jīng)網(wǎng)絡(luò)模型用于集成學(xué)習(xí)第2層時(shí)擬合效果更好。與表現(xiàn)次好的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，使用殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)的TenrepNN模型在均方根誤差上也降低了2.7%。特別地，當(dāng)神經(jīng)網(wǎng)絡(luò)模型直接應(yīng)用于原始特征時(shí)，效果比XGBoost等樹(shù)模型差；而在基學(xué)習(xí)器的輸出之上使用神經(jīng)網(wǎng)絡(luò)，效果優(yōu)于樹(shù)模型。XGBoost等模型用于第2層時(shí)，預(yù)測(cè)誤差相較于單層沒(méi)有明顯減少，甚至有所增加。無(wú)論是XGBoost等樹(shù)模型還是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，本文提出的殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)在所有指標(biāo)上的表現(xiàn)都更好。

擬合基學(xué)習(xí)器的殘差相較于直接擬合自律性分?jǐn)?shù)，網(wǎng)絡(luò)的輸出維度從1增大到基學(xué)習(xí)器的個(gè)數(shù)。當(dāng)某個(gè)學(xué)習(xí)器表現(xiàn)較差時(shí)，可以充分利用其他學(xué)習(xí)器輸出的預(yù)測(cè)信息，通過(guò)神經(jīng)網(wǎng)絡(luò)計(jì)算的殘差修正該學(xué)習(xí)器。采用殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)作為第2層，即使不同的樣本在某個(gè)基學(xué)習(xí)器上的預(yù)測(cè)得分相同，也會(huì)因?yàn)槠渌蠖鄶?shù)學(xué)習(xí)器的得分不同使得該網(wǎng)絡(luò)輸出的殘差有所區(qū)別，使模型最終能給出更準(zhǔn)確的預(yù)測(cè)結(jié)果。

此外，基于殘差的神經(jīng)網(wǎng)絡(luò)還增強(qiáng)了整個(gè)模型的可解釋性，當(dāng)模型接收一條數(shù)據(jù)后，可以查看殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)的輸出，確定各個(gè)基學(xué)習(xí)器的預(yù)測(cè)差值，并調(diào)整或再訓(xùn)練表現(xiàn)較差的基學(xué)習(xí)器。

4.3.3與自動(dòng)機(jī)器學(xué)習(xí)結(jié)果的比較

自動(dòng)機(jī)器學(xué)習(xí)框架AutoGluon在第1層共使用了13個(gè)不同的基學(xué)習(xí)器，在第2層使用了線性回歸整合第1層的輸出。

TenrepNN模型只使用了3種表現(xiàn)較好的基學(xué)習(xí)器，防止擬合效果差的模型影響最終輸出。從表8可以看出，TenrepNN模型在兩個(gè)指標(biāo)上的表現(xiàn)均超過(guò)了自動(dòng)機(jī)器學(xué)習(xí)框架AutoGluon。

表8　所提模型與自動(dòng)機(jī)器學(xué)習(xí)框架AutoGluon的比較

4.3.4殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)的消融實(shí)驗(yàn)

通過(guò)消融實(shí)驗(yàn)驗(yàn)證殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的有效性。去掉第2層的殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)，使用第1層所有基學(xué)習(xí)器的平均得分作為最終預(yù)測(cè)，實(shí)驗(yàn)結(jié)果如表9所示。

表9　殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)的消融實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，相較于直接輸出基學(xué)習(xí)器輸出的平均值，使用殘差神經(jīng)網(wǎng)絡(luò)能夠通過(guò)建模第1層的輸出與真實(shí)值的殘差，降低預(yù)測(cè)評(píng)分的均方根誤差并提高自律性等級(jí)分類的準(zhǔn)確率，說(shuō)明提出的殘差預(yù)測(cè)網(wǎng)絡(luò)能夠?qū)鶎W(xué)習(xí)器的預(yù)測(cè)值進(jìn)行有效的糾偏。

4.3.5與其他集成學(xué)習(xí)方法的比較

為了驗(yàn)證集成學(xué)習(xí)范式Adjusting的有效性，將提出的TenrepNN模型與其他集成學(xué)習(xí)方法在企業(yè)自律性評(píng)價(jià)數(shù)據(jù)集上進(jìn)行對(duì)比。

模型首先與Stacking和Bagging集成學(xué)習(xí)對(duì)比，為保證其他集成學(xué)習(xí)方法的實(shí)驗(yàn)效果，在Stacking基模型的設(shè)置上，仍然使用CatBoost、XGBoost和LightGBM這3種單獨(dú)表現(xiàn)最好的樹(shù)模型作為第1層的基學(xué)習(xí)器，第2層使用線性回歸做模型融合；在Bagging模型的設(shè)置上，由于Bagging集成要求只使用一種基學(xué)習(xí)器，故使用表現(xiàn)最好的CatBoost作為Bagging基學(xué)習(xí)器，輸出時(shí)將所有基學(xué)習(xí)器的預(yù)測(cè)分?jǐn)?shù)取平均。

除了Stacking和Bagging外，還選取了AdaBoost［26］和梯度提升決策樹(shù)（Gradient Boosted Decision Tree， GBDT）［27］兩種有代表性的集成學(xué)習(xí)模型對(duì)企業(yè)自律性評(píng)價(jià)數(shù)據(jù)集進(jìn)行擬合。AdaBoost是一種基于迭代的集成學(xué)習(xí)方法，它將關(guān)注點(diǎn)放在擬合誤差大的樣本上，提高困難樣本的訓(xùn)練次數(shù)并在最終集成時(shí)根據(jù)各個(gè)基學(xué)習(xí)器的誤差大小加權(quán)組合。GBDT也是一種應(yīng)用廣泛的集成學(xué)習(xí)方法，它的思想是在每一次迭代中使用損失函數(shù)的負(fù)梯度值作為當(dāng)前模型誤差值的近似，并利用這個(gè)近似值訓(xùn)練更高層模型。

AdaBoost和GBDT是Boosting集成學(xué)習(xí)的兩種典型代表。Boosting集成學(xué)習(xí)又叫提升集成學(xué)習(xí)，與Bagging和Stacking的思想不同，Boosting在訓(xùn)練過(guò)程中通過(guò)調(diào)整樣本權(quán)重或損失函數(shù)的方式串行組織各個(gè)基學(xué)習(xí)器，把多個(gè)基學(xué)習(xí)器疊加以減小模型總的預(yù)測(cè)偏差［18］。由于在Boosting中各個(gè)基學(xué)習(xí)器逐個(gè)串行訓(xùn)練，沒(méi)有考慮降低模型方差的影響，訓(xùn)練時(shí)間成本也較高。更重要的，面對(duì)企業(yè)自律性評(píng)價(jià)這種數(shù)據(jù)集規(guī)模較小的任務(wù)，Boosting容易受誤差值干擾導(dǎo)致預(yù)測(cè)不準(zhǔn)確。

在實(shí)驗(yàn)中，AdaBoost集成學(xué)習(xí)的基學(xué)習(xí)器也設(shè)置為單獨(dú)使用效果最好的CatBoost；而GBDT由于算法自身的限制，基學(xué)習(xí)器只能使用決策樹(shù)。5種集成學(xué)習(xí)模型的對(duì)比結(jié)果如表10所示。

表10　本文模型與其他集成學(xué)習(xí)方法的比較

由表10可知，本文設(shè)計(jì)的TenrepNN模型在企業(yè)自律性評(píng)價(jià)數(shù)據(jù)集上取得了優(yōu)秀的實(shí)驗(yàn)結(jié)果。在RMSE指標(biāo)上，本文模型優(yōu)于其他4種傳統(tǒng)的集成學(xué)習(xí)方法，并且本文模型的分類準(zhǔn)確率與表現(xiàn)最好的GBDT模型非常接近。

5 結(jié)語(yǔ)

為了評(píng)估企業(yè)的自律性，本文提出了雙層集成殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)（TenrepNN）模型，集成了3種基學(xué)習(xí)器降低模型的方差，設(shè)計(jì)殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)顯式地減小模型的偏差。具體地，模型在第1層通過(guò)自動(dòng)機(jī)器學(xué)習(xí)選擇基類模型，使用采樣出的不同數(shù)據(jù)子集訓(xùn)練；在第2層，設(shè)計(jì)殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)，擬合第1層基學(xué)習(xí)器的輸出與真實(shí)標(biāo)簽之間的殘差，最后將基學(xué)習(xí)器的輸出與對(duì)應(yīng)的殘差相加再求均值。實(shí)驗(yàn)結(jié)果證明，本文提出的殘差預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)在企業(yè)自律性評(píng)價(jià)數(shù)據(jù)集上的表現(xiàn)超過(guò)了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和XGBoost等樹(shù)模型。另外，與Stacking相比，本文提出的Adjusting集成學(xué)習(xí)范式更簡(jiǎn)潔直接，與Bagging相比，更靈活準(zhǔn)確，然而它的有效性還需要在更多數(shù)據(jù)集上驗(yàn)證。由于企業(yè)自律性評(píng)價(jià)是一個(gè)典型的回歸任務(wù)，殘差學(xué)習(xí)的思想容易應(yīng)用；而對(duì)于分類問(wèn)題，可以考慮使用兩個(gè)概率分布之間的距離代替殘差。在分類任務(wù)中的實(shí)際效果，仍有待進(jìn)一步的研究。

[1] 中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心. 第50次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告［R/OL］. （2022-08-31） ［2022-04-22］.https：//www.cnnic.net.cn/NMediaFile/2022/0926/MAIN1664183425619U2MS433V3V.pdf.（China Internet Network Information Center. The 50th statistical reports on China’s internet development［R/OL］. （2022-08-31） ［2022-04-22］.https：//www.cnnic.net.cn/NMediaFile/2022/0926/MAIN1664183425619U2MS433V3V.pdf.）

[2] 盧加元，張曉東. 我國(guó)網(wǎng)絡(luò)文化市場(chǎng)分級(jí)監(jiān)管問(wèn)題研究［J］. 江蘇商論， 2021（7）：23-26.（LU J Y， ZHANG X D. Research on classified supervision of China’s internet culture market［J］. Jiangsu Commercial Forum， 2021（7）： 23-26.）

[3] 張春霞，張講社. 選擇性集成學(xué)習(xí)算法綜述［J］. 計(jì)算機(jī)學(xué)報(bào)， 2011， 34（8）：1399-1410.（ZHANG C X， ZHANG J S. A survey of selective ensemble learning algorithms［J］. Chinese Journal of Computers， 2011， 34（8）：1399-1410.）

[4] GIJSBERS P， LeDELL R， THOMAS J， et al. An open source AutoML benchmark［EB/OL］. （2019-07-01） ［2022-04-22］.https：//arxiv.org/pdf/1907.00909.pdf.

[5] 張鈺. 中小企業(yè)財(cái)務(wù)預(yù)警與信用評(píng)分研究［J］. 經(jīng)濟(jì)研究導(dǎo)刊， 2021（30）：63-65.（ZHANG Y. Research on financial early-warning and credit scoring of small and medium-sized enterprises［J］. Economic Research Guide， 2021（30）：63-65.）

[6] 鄧大松，趙玉龍. 我國(guó)商業(yè)銀行小微企業(yè)申請(qǐng)?jiān)u分卡構(gòu)建及驗(yàn)證研究［J］. 投資研究， 2017， 36（5）：149-159.（DENG D S， ZHAO Y L. Research on the application card on small enterprise in the commercial bank［J］. Review of Investment Studies， 2017， 36（5）：149-159.）

[7] 陶愛(ài)元，吳俊. 基于DEA方法的我國(guó)上市中小企業(yè)信用評(píng)分研究［J］. 征信， 2014， 32（6）：52-56.（TAO A Y， WU J. Study on credit rating for China’s listed SMEs based on DEA method［J］. Credit Reference， 2014， 32（6）：52-56.）

[8] 盧悅?cè)?，芮英健，袁芳，? 基于評(píng)分卡模型下中小微企業(yè)的信貸決策［J］. 中國(guó)市場(chǎng)， 2021（27）：53-54.（LU Y R， RUI Y J， YUAN F， et al. Credit decision of SMEs based on score card model［J］. China Market， 2021（27）：53-54.）

[9] 秦曉琳. 中小企業(yè)借貸信用分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］. 北京：北京交通大學(xué)， 2019：49-56.（QIN X L. Design and implementation of credit analysis system for SME lending［D］. Beijing： Beijing Jiaotong University， 2019：49-56.）

[10] 姜正申，劉宏志，付彬，等. 集成學(xué)習(xí)的泛化誤差和AUC分解理論及其在權(quán)重優(yōu)化中的應(yīng)用［J］. 計(jì)算機(jī)學(xué)報(bào)， 2019， 42（1）：1-15.（JIANG Z S， LIU H Z， FU B， et al. Decomposition theories of generalization error and AUC in ensemble learning with application in weight optimization［J］. Chinese Journal of Computers， 2019， 42（1）：1-15.）

[11] ZHOU Z H. Ensemble Methods： Foundations and Algorithms［M］. Boca Raton， FL： CRC Press， 2012：47-50.

[12] WOLPERT D H. Stacked generalization［J］. Neural Networks， 1992， 5（2）： 241-259.

[13] 李珩，朱靖波，姚天順. 基于Stacking算法的組合分類器及其應(yīng)用于中文組塊分析［J］. 計(jì)算機(jī)研究與發(fā)展， 2005， 42（5）：844-848.（LI H， ZHU J B， YAO T S. Combined multiple classifiers based on a Stacking algorithm and their application to Chinese text chunking［J］. Journal of Computer Research and Development， 2005， 42（5）：844-848.）

[14] RASCHKA S. MLxtend： providing machine learning and data science utilities and extensions to Python’s scientific computing stack［J］. The Journal of Open Source Software， 2018， 3（24）： No.638.

[15] D?EROSKI S， ?ENKO B. Is combining classifiers with Stacking better than selecting the best one？［J］. Machine Learning， 2004， 54（3）： 255-273.

[16] BREIMAN L. Bagging predictors［J］. Machine Learning， 1996， 24（2）：123-140.

[17] AGARWAL S， CHOWDARY C R. A-Stacking and A-Bagging： adaptive versions of ensemble learning algorithms for spoof fingerprint detection［J］. Expert Systems with Applications， 2020， 146： No.113160.

[18] SAGI O， ROKACH L. Ensemble learning： a survey［J］. WIREs Data Mining and Knowledge Discovery. 2018， 8（4）： No.e1249.

[19] ERICKSON N， MUELLER J， SHIRKOV A， et al. AutoGluon-Tabular： robust and accurate AutoML for structured data［EB/OL］. （2020-03-13） ［2022-05-14］.https：//arxiv.org/pdf/2003.06505.pdf.

[20] DOROGUSH A V， ERSHOV V， GULIN A. CatBoost： gradient boosting with categorical features support［EB/OL］. （2018-08-24） ［2022-03-11］.https：//arxiv.org/pdf/1810.11363.pdf.

[21] KE G， MENG Q， FINLEY T. LightGBM： a highly efficient gradient boosting decision tree［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 3149-3157.

[22] CHEN T， GUESTRIN C. XGBoost： a scalable tree boosting system［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016：785-794.

[23] KOMER B， BERGSTRA J， ELIASMITH C. Hyperopt-Sklearn： automatic hyperparameter configuration for scikit-learn［C/OL］// Proceedings of the 13th Python in Science Conference ［2022-04-22］.https：//conference.scipy.org/proceedings/scipy2014/pdfs/komer.pdf#：～：text=With%20this%20paper%20we%20introduce%20Hyperopt-Sklearn%3A%20a%20project，Scikit-Learn%20components%2C%20including%20preprocessing%20and%20classifi-%20cation%20modules.

[24] ZHANG L， SUGANTHAN P N. Benchmarking ensemble classifiers with novel co-trained kernel ridge regression and random vector functional link ensembles ［Research Frontier］［J］. IEEE Computational Intelligence Magazine， 2017， 12（4）：61-72.

[25] LIU W， WANG Z， LIU X， et al. A survey of deep neural network architectures and their applications［J］. Neurocomputing， 2017， 234： 11-26.

[26] DRUCKER H. Improving regressors using boosting techniques［C］// Proceedings of the 14th International Conference on Machine Learning. San Francisco： Morgan Kaufmann Publishers Inc.， 1997： 107-115.

[27] FRIEDMAN J H. Greedy function approximation： a gradient boosting machine［J］. The Annals of Statistics， 2001， 29（5）： 1189-1232.

TenrepNN：practice of new ensemble learning paradigm in enterprise self-discipline evaluation

ZHAO Jingtao1，2， ZHAO Zefang1，2， YUE Zhaojuan1， LI Jun1，2*

（1，，100083，；2，，100049，）

In order to cope with the current situations of low self-discipline， frequent violation events and difficult government supervision of enterprises in the internet environment， a Two-layer ensemble residual prediction Neural Network （TenrepNN） model was proposed to evaluate the self-discipline of enterprises. And by integrating the ideas of Stacking and Bagging ensemble learning， a new paradigm of integrated learning was designed， namely Adjusting. TenrepNN model has a two-layer structure. In the first layer， three base learners were used to predict the enterprise score preliminarily. In the second layer， the idea of residual correction was adopted， and a residual prediction neural network was proposed to predict the output deviation of each base learner. Finally， the final output was obtained by adding the deviations and the base learner scores together. On the enterprise self-discipline evaluation dataset， compared with the traditional neural network， the proposed model has the Root Mean Square Error （RMSE） reduced by 2.7%， and the classification accuracy in the self-discipline level reached 94.51%. Experimental results show that by integrating different base learners to reduce the variance and using residual prediction neural network to decrease the deviation explicitly， TenrepNN model can accurately evaluate enterprise self-discipline to achieve differentiated dynamic supervision.

enterprise self-discipline evaluation; ensemble learning paradigm; residual prediction neural network; explicit deviation correction; internet enterprise supervision

This work is partially supported by National Key Research and Development Program of China （2019YFB1405801）.

ZHAO Jingtao， born in 1998， M. S. candidate. His research interests include recommendation system， machine learning.

ZHAO Zefang， born in 1996， Ph. D. candidate. His research interests include natural language processing， sentiment analysis.

YUE Zhaojuan，born in 1984， Ph. D.， senior engineer. Her research interests include computing propagation， data mining.

LI Jun，born in 1968， Ph. D.， research fellow. His research interests include computer network， artificial intelligence.

1001-9081（2023）10-3107-07

10.11772/j.issn.1001-9081.2022091454

2022?09?30；

2022?12?15；

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2019YFB1405801）。

趙敬濤（1998—），男，山東聊城人，碩士研究生，主要研究方向：推薦系統(tǒng)、機(jī)器學(xué)習(xí)； 趙澤方（1996—），男，山西臨汾人，博士研究生，主要研究方向：自然語(yǔ)言處理、情感分析； 岳兆娟（1984—），女，河南駐馬店人，高級(jí)工程師，博士，主要研究方向：計(jì)算傳播、數(shù)據(jù)挖掘； 李?。?968—），男，安徽桐城人，研究員，博士，主要研究方向：計(jì)算機(jī)網(wǎng)絡(luò)、人工智能。

TP391.4

A

2023?01?05。