作用于大數(shù)據(jù)處理的級(jí)聯(lián)分類器泛化設(shè)計(jì)

李庭燎 劉馨雨 杜寧 符垚晗

摘? 要： 針對(duì)級(jí)聯(lián)分類器的設(shè)計(jì)主要集中于分類器組合優(yōu)化等方面，有關(guān)自動(dòng)化設(shè)計(jì)研究相對(duì)較少。為了簡化設(shè)計(jì)流程，設(shè)計(jì)一種方法以自動(dòng)設(shè)計(jì)具有理想性能的級(jí)聯(lián)分類器。這種方法不需要分別考慮每個(gè)可能的級(jí)聯(lián)長度并通過最終數(shù)值優(yōu)化來進(jìn)一步確定每個(gè)級(jí)聯(lián)長度的次優(yōu)參數(shù)，而是向能夠設(shè)置級(jí)聯(lián)的泛化邊界方向來研究，探討如何簡化級(jí)聯(lián)分類器的設(shè)計(jì)流程，實(shí)現(xiàn)自動(dòng)化設(shè)計(jì)。

關(guān)鍵詞： 級(jí)聯(lián)分類器； AdaBoost算法； 大數(shù)據(jù)； 機(jī)器視覺； ROC曲線

中圖分類號(hào)：TP391.41? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）05-36-04

Cascade classifier generalization design for big data processing

Li Tingliao， Liu Xinyu， Du Ning， Fu Yaohan

（Nanjing Audit University， Nanjing， Jiangsu 211815， China）

Abstract： The design of the cascade classifier mainly focuses on the classifier combination optimization， and there are relatively few studies on the automation design. In order to simplify the design process， a method is designed to automatically design a cascade classifier with ideal performance. Instead of considering each possible cascade length separately and further determining the suboptimal parameters for each cascade length by final numerical optimization， this method is investigated in the direction of being able to set generalization bounds for the cascade， and explores how to simplify the design process of cascade classifiers and achieve automated design.

Key words： cascade classifier; AdaBoost algorithm; big data; machine vision; ROC curve

0 引言

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)海量快速流轉(zhuǎn)的低價(jià)值密度數(shù)據(jù)進(jìn)行專業(yè)化處理。伴隨著云計(jì)算的興起和社交網(wǎng)絡(luò)軟件的整合推進(jìn)，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)出愈來愈龐大、愈來愈復(fù)雜的特點(diǎn)，然而用于構(gòu)建社交數(shù)據(jù)以從中對(duì)大數(shù)據(jù)進(jìn)行理解、分析和推斷的工具很少。近年來，級(jí)聯(lián)分類算法在數(shù)據(jù)處理方面吸引了越來越多的關(guān)注，其可用于解決幾乎所有需要在某些條件下過濾數(shù)據(jù)然后再使用另一種條件過濾的問題。由于實(shí)時(shí)的大型數(shù)據(jù)集分析需要有效處理大量的容忍經(jīng)過時(shí)間內(nèi)的數(shù)據(jù)，級(jí)聯(lián)分類算法成為了大數(shù)據(jù)技術(shù)應(yīng)用到實(shí)踐領(lǐng)域的一塊基石。

在分類的工作中，研究人員一般會(huì)融合多種機(jī)器學(xué)習(xí)算法，進(jìn)而提升分類的準(zhǔn)確性。經(jīng)過運(yùn)用不同方法能夠設(shè)計(jì)實(shí)現(xiàn)差異化的分類器，例如對(duì)相同分類器使用不同訓(xùn)練集、對(duì)相同分類器調(diào)節(jié)不同參數(shù)等[1]。對(duì)于訓(xùn)練中存在的數(shù)據(jù)不均衡等情況，傅紅普提出了可以應(yīng)用等同復(fù)雜水平的AdaBoost分類器的級(jí)聯(lián)來測(cè)定行人，其設(shè)計(jì)實(shí)現(xiàn)的朋輩級(jí)聯(lián)不限制分類器的復(fù)雜水平，從而能夠運(yùn)用更多負(fù)訓(xùn)練樣本[2]。Maale和Nandyal提出了一種基于Haar級(jí)聯(lián)分類器的3階段人臉檢測(cè)系統(tǒng)架構(gòu)，可以運(yùn)用Haar級(jí)聯(lián)分類器對(duì)像素人臉開展檢測(cè)[3]。Faisal等人對(duì)Haar級(jí)聯(lián)分類器獲取的人臉進(jìn)行特征化處理，運(yùn)用LBPH算法提取直方圖特征，進(jìn)而完成了實(shí)時(shí)的人臉檢測(cè)[4]。李昆侖等設(shè)計(jì)實(shí)現(xiàn)了基于級(jí)聯(lián)SVM和分類器融合的人臉圖像性別識(shí)別方法，把識(shí)別難易水平不同的樣本劃分成若干層次來開展訓(xùn)練[5]。Wu等人提出了一種漏斗結(jié)構(gòu)級(jí)聯(lián)（FuSt）檢測(cè)框架，一方面，其結(jié)構(gòu)使用多個(gè)計(jì)算有效的分布式分類器，來提出少量的候選窗口，其具有高召回率的多視圖人臉；另一方面，通過使用統(tǒng)一的MLP級(jí)聯(lián)，以集中的方式檢查所有視圖的建議，為高精度和低時(shí)間成本的多視圖人臉檢測(cè)提供了有利的解決方案[6]。蘭勝坤認(rèn)為，AdaBoost算法屬于非常完善的人臉檢測(cè)算法，AdaBoost算法內(nèi)人臉的特征選取的是矩形特征，在大量的樣本集內(nèi)，提取樣本的矩形特征進(jìn)行訓(xùn)練，生成多個(gè)弱分類器，然后合并多個(gè)弱分類器組合為強(qiáng)分類器，最后級(jí)聯(lián)強(qiáng)分類器形成最終的分類器，進(jìn)而當(dāng)作人臉識(shí)別的依據(jù)[7]。

通過文獻(xiàn)總結(jié)和歸納可以發(fā)現(xiàn)，目前國內(nèi)外學(xué)者針對(duì)級(jí)聯(lián)分類器的設(shè)計(jì)主要集中于分類器組合優(yōu)化，且在設(shè)計(jì)層面注重算法的優(yōu)化，主要關(guān)注對(duì)級(jí)聯(lián)分類器進(jìn)行改進(jìn)，已具備一定的研究深度。不過目前級(jí)聯(lián)分類器設(shè)計(jì)的研究廣度較為狹窄，關(guān)于級(jí)聯(lián)分類器的自動(dòng)化、智能化設(shè)計(jì)的研究相對(duì)較少。因此，本文主要研究如何簡化級(jí)聯(lián)分類器的設(shè)計(jì)流程，實(shí)現(xiàn)自動(dòng)化設(shè)計(jì)。

1 級(jí)聯(lián)算法

1.1 級(jí)聯(lián)算法分析

級(jí)聯(lián)（cascade）是計(jì)算機(jī)科學(xué)領(lǐng)域里的一個(gè)專有名詞，一般是指多個(gè)目標(biāo)之間存在的一種映射關(guān)系。計(jì)算程序通過搭建各個(gè)數(shù)據(jù)之間的級(jí)聯(lián)關(guān)系，訓(xùn)練出多個(gè)不同的分類器并且將這些所有的分類器聯(lián)合起來，最終形成一個(gè)高正確率的級(jí)聯(lián)分類器，從而使得計(jì)算效率可以大大提高，并降低了失誤率。因此，級(jí)聯(lián)算法成為計(jì)算機(jī)領(lǐng)域非常常見的一個(gè)概念。通俗來講就是把多個(gè)目標(biāo)對(duì)象按照一定的規(guī)則，有等級(jí)地或者是有梯度地聯(lián)結(jié)在一起，類似于樹形結(jié)構(gòu)一樣，有層次地把這些對(duì)象組織在一起形成一個(gè)完全獨(dú)立的算法結(jié)構(gòu)。在這個(gè)算法結(jié)構(gòu)里，當(dāng)你對(duì)某個(gè)數(shù)據(jù)進(jìn)行操作的時(shí)候，會(huì)影響這個(gè)數(shù)據(jù)關(guān)聯(lián)的所有數(shù)據(jù)，即會(huì)對(duì)這些數(shù)據(jù)進(jìn)行相應(yīng)的操作從而達(dá)到所求目的的效果。傳統(tǒng)分類算法的局限性之一在于他們難以處理不平衡的數(shù)據(jù)，因?yàn)閭鹘y(tǒng)的機(jī)器學(xué)習(xí)方法通常將類平衡作為先決條件[8]。而級(jí)聯(lián)提供了通過對(duì)不良學(xué)習(xí)者決策進(jìn)行加權(quán)平均來訓(xùn)練極其精確的分類的機(jī)會(huì)[9]。

通過大量的試驗(yàn)數(shù)據(jù)分析，可以得出級(jí)聯(lián)算法和單個(gè)大提升算法之間的主要區(qū)別在于這兩種算法對(duì)于各自分類器數(shù)量和錯(cuò)誤率的架構(gòu)要求不同，級(jí)聯(lián)算法可以做到及時(shí)地拒絕真負(fù)類，隨時(shí)終止程序的運(yùn)行，從而減少整個(gè)計(jì)算過程中程序本身所加的負(fù)載[10]?？紤]到這一特殊情況，本文結(jié)合級(jí)聯(lián)算法的這些優(yōu)點(diǎn)，從單個(gè)大增強(qiáng)分類器作為基點(diǎn)構(gòu)建出一個(gè)級(jí)聯(lián)算法，以便于篩選計(jì)算出大增強(qiáng)分類器中弱分類器的子集，從而可以測(cè)試出我們輸入的到底是正還是負(fù)。通常來講，如果子集輸出結(jié)果顯示為正的，則繼續(xù)計(jì)算另一個(gè)弱分類器子集，并再次測(cè)試，以此類推，不斷重復(fù)上述計(jì)算過程，直到輸入被拒絕或者計(jì)算出完整的增強(qiáng)分類器結(jié)束程序。

1.2 增強(qiáng)算法架構(gòu)

假設(shè)通過增強(qiáng)一組弱分類器，在給定的數(shù)據(jù)集上實(shí)現(xiàn)期望的真正率和真負(fù)率，直到分類器的ROC曲線超過所需的真正負(fù)比。以此方式獲得由弱分類器h1（X），…，hT （X） 和權(quán)重α1，…，αT定義的增強(qiáng)分類器HB（X）：

[HB（X）=1? ? ? ? ? t=1Tαtht（X）≥0-1? ? ? ?t=1Tαtht（X）<0] ⑴

引入一個(gè)數(shù)據(jù)集X1，…，XN，已知類別y1，…，yN（yN∈{?1，1}）。定義I +為使HB （Xn）=1的角標(biāo)n的集合，定義I?為使HB （Xn）=-1的角標(biāo)n的集合。

在實(shí)踐中，通常將θ t設(shè)置為n∈I+的Gt（Xn）>θ t與大于前式且n∈I?的最小Gt（Xn）之間的中點(diǎn)。考慮到改進(jìn)級(jí)聯(lián)分類算法所示的算法結(jié)構(gòu)的特征是測(cè)試時(shí)間序列T1，…，TL和閾值θ1，…，θL，于是可以定義中間實(shí)值分類器：

[Gt（X）=s=1tαshs（X）] ⑵

又定義閾值θ t，使得其對(duì)于任意正例n∈I+，恒有Gt（Xn）>θ t，故可得：

[θl=θ'Tl] ⑶

容易得到通過該選擇且獨(dú)立于T1，…，TL時(shí)，改進(jìn)算法中定義的級(jí)聯(lián)在訓(xùn)練數(shù)據(jù)上的輸出與原始增強(qiáng)算法完全相同。

我們通過對(duì)分類器的復(fù)雜度計(jì)算來建構(gòu)一個(gè)模型，并從給定的增強(qiáng)分類器上派生出的所有級(jí)聯(lián)中，確定一個(gè)近乎于最佳的級(jí)聯(lián)[11]。雖然在這之前已經(jīng)有不少研究者考慮了評(píng)估分類器的成本，但是相比傳統(tǒng)方法，如假設(shè)一個(gè)增強(qiáng)分類器的計(jì)算成本的近似模型是其假正率的函數(shù)，很明顯，本文中采用的動(dòng)態(tài)規(guī)劃方法只需要采用很少的假設(shè)和很少的計(jì)算步驟，就能獲得近乎最優(yōu)的序列，在減少程序計(jì)算時(shí)間的同時(shí)也帶來了更多的便利，大大提高了計(jì)算效率。

1.3 級(jí)聯(lián)分類改進(jìn)

給定一組弱分類器[h1（）， h2（），…， hT（）]和由增強(qiáng)分類器HB（X）提供的權(quán)重，設(shè)置級(jí)聯(lián)調(diào)度1=T0

當(dāng)l ≤ L時(shí)，令：

[Fn+1（X）=Fn（X）+αTl-1hTl-1（X）] ⑷

若[Fn（X）<θl]，將X歸類為負(fù)，即[H（X）=-1]；若[Fn（X）≥θl]，將X歸類為正，即記[H（X）=1]，本輪計(jì)算結(jié)束，輸出結(jié)果。定義[l=l+1]，繼續(xù)重復(fù)以上步驟直至[l>L]。從而得到最終的強(qiáng)分類器：[H（X）=sign（Fn（X））]。

從上述改進(jìn)級(jí)聯(lián)分類算法中可以看出，所提供的分類器[H（X）]的正輸入集合包含在了其增強(qiáng)分類器[HB（X）]的正輸入集合中。[H（X）]的真正率比[HB（X）]低，而它的真負(fù)率比[HB（X）]要高得多。因此，由ROC（Receiver Operating Characteristic，接收者操作特征曲線）可以得知與[H（X）]對(duì)應(yīng)的點(diǎn)的分布位于[HB（X）]對(duì)應(yīng)點(diǎn)的分布的下方和左側(cè)區(qū)域。

這種算法的特點(diǎn)在于權(quán)重選擇和上面引用的級(jí)聯(lián)分類器方面與AdaBoost有明顯的相似之處。對(duì)比當(dāng)下討論的三種不同的體系架構(gòu)，在傳統(tǒng)AdaBoost算法中，所有弱分類器被一次性計(jì)算出來并分類；而在上述所提出的計(jì)算方法和傳統(tǒng)級(jí)聯(lián)算法中，在每次測(cè)試之間只計(jì)算弱分類器中的單獨(dú)一個(gè)子集，后者中只需進(jìn)行幾次弱分類器評(píng)估即可實(shí)現(xiàn)負(fù)分類。從單個(gè)大增強(qiáng)分類器作為基點(diǎn)構(gòu)建出的級(jí)聯(lián)算法，與傳統(tǒng)級(jí)聯(lián)算法的主要區(qū)別在于：假設(shè)權(quán)值和弱分類器相同，前者將上一個(gè)分類器的輸出結(jié)果保留成為了下一個(gè)分類器的輸入。結(jié)果顯示，所提方法中最后一個(gè)分類器的輸出就達(dá)到了與傳統(tǒng)AdaBoost增強(qiáng)算法的輸出完全相同的效果[12]。而改進(jìn)版本的級(jí)聯(lián)算法與傳統(tǒng)級(jí)聯(lián)方法之間的區(qū)別在于，該方法在每個(gè)決策中都考慮了先前決策階段的輸出，這樣在保證算法準(zhǔn)確性的同時(shí)有效提高了算法效率。

2 計(jì)算優(yōu)化級(jí)聯(lián)設(shè)計(jì)

2.1 動(dòng)態(tài)規(guī)劃

再次回到改進(jìn)級(jí)聯(lián)分類算法中去，H （X）的輸出由弱分類器[h1（X），…，hT（X）]和權(quán)重α1，…，αT ，這些定義了增強(qiáng)分類器中的HB （X），但同時(shí)這些數(shù)據(jù)也由測(cè)試的時(shí)間點(diǎn)[T1，…，TL]和它的閾值[θ1，…，θL]來定義。Tl和θl的選擇是能夠獲得計(jì)算效率高的分類器的決定性因素。表面上，設(shè)置這些參數(shù)似乎和設(shè)置常規(guī)級(jí)聯(lián)分類器的參數(shù)一樣都比較困難。然而，使用動(dòng)態(tài)規(guī)劃可以保留提升分類器在任何給定數(shù)據(jù)集上的輸出，在驗(yàn)證其的所有級(jí)聯(lián)中，就分類器的計(jì)算成本而言，幾乎是最優(yōu)的。上述方法除了參數(shù)設(shè)置更加簡便的優(yōu)點(diǎn)，還可以更容易地選擇檢測(cè)器的真正率和真負(fù)率。實(shí)際上，在增強(qiáng)的分類器中，只有一個(gè)惟一的閾值，這個(gè)閾值決定了ROC曲線上分類器所處的位置點(diǎn)的集合。在構(gòu)建級(jí)聯(lián)之前只需要設(shè)置好這個(gè)閾值就足夠了，從而能夠保證級(jí)聯(lián)可以達(dá)到ROC曲線上這個(gè)分類器的位置（對(duì)于給定的數(shù)據(jù)集）。由于構(gòu)建級(jí)聯(lián)的計(jì)算成本相對(duì)于增強(qiáng)的計(jì)算成本完全可以忽略不計(jì)，因此對(duì)于原始增強(qiáng)算法所能達(dá)到的ROC曲線上的任何點(diǎn)位，都很容易構(gòu)建出來一個(gè)分類器。相比之下，以前的級(jí)聯(lián)方法，要么需要為每個(gè)期望的ROC點(diǎn)訓(xùn)練一個(gè)新的級(jí)聯(lián)，要么使用一種特別的方法來調(diào)整增強(qiáng)分類器的閾值，就要復(fù)雜很多。

使用改進(jìn)級(jí)聯(lián)分類算法的體系結(jié)構(gòu)構(gòu)建出一個(gè)計(jì)算最優(yōu)級(jí)聯(lián)，該級(jí)聯(lián)在訓(xùn)練數(shù)據(jù)上具有與增強(qiáng)分類器完全相同的輸出，也同時(shí)描述了構(gòu)建分類器級(jí)聯(lián)的重要步驟。此外，所提出的級(jí)聯(lián)方法并不局限于某些特定的增強(qiáng)方法，可以使用針對(duì)給定成本指標(biāo)的增強(qiáng)分類器，或旨在提高計(jì)算的效率。

2.2 級(jí)聯(lián)成本

與以往成效較低的推銷策略相比，當(dāng)前缺乏能精準(zhǔn)推薦，減少資源浪費(fèi)的大數(shù)據(jù)分析工具。當(dāng)前應(yīng)用較多的能夠在眾多數(shù)據(jù)中找到有效信息的技術(shù)是策略樹，它可以按照客戶的偏好為其推薦更貼合他們需求的產(chǎn)品，同時(shí)能夠?qū)λ麄兊男枨筮M(jìn)行有效預(yù)測(cè)。但在數(shù)據(jù)過于宏大，客戶資料過于龐雜的情況下，決策樹也暴露其缺點(diǎn)：想要及時(shí)準(zhǔn)確的對(duì)客戶的偏好和需求等情況進(jìn)行正確的預(yù)測(cè)，就必然以高昂的計(jì)算成本作為代價(jià)。如何平衡精準(zhǔn)度和計(jì)算成本之間的關(guān)系成為當(dāng)前種子集合所面臨的重大難題之一。

設(shè)置試驗(yàn)序列[T1，…，TL]，從級(jí)別t ∈{1，…，T }開始的最優(yōu)級(jí)聯(lián)的成本Ct可以從成本Cs >t遞歸定義，由此使用動(dòng)態(tài)規(guī)劃可以有效地獲得最優(yōu)計(jì)算成本，節(jié)約計(jì)算時(shí)間?？梢灶A(yù)測(cè)從t開始的最優(yōu)級(jí)聯(lián)必然存在以下情況之一：

⑴ 由計(jì)算所有剩余分類器和測(cè)試結(jié)果組成的普通級(jí)聯(lián)；

⑵ 由計(jì)算分類器t，…，T-1組成的級(jí)聯(lián)，在T-1處進(jìn)行測(cè)試，并遵循從T-1到T的最佳順序，直至在（T-t+1）處計(jì)算第t個(gè)弱分類器，測(cè)試并遵循從t+1到T的最優(yōu)順序。

考慮改進(jìn)級(jí)聯(lián)分類算法類型的任何級(jí)聯(lián)，At是第t個(gè)弱分類器的計(jì)算成本，B是在目標(biāo)計(jì)算機(jī)上執(zhí)行測(cè)試的成本，滿足條件：

[Al=Tl-1≤t≤TlAt] ⑸

可得期望實(shí)際輸入的計(jì)算成本C：

[C=l=1L（ATl-1+B）qTl-1]? ⑹

設(shè)置t時(shí)刻最小級(jí)聯(lián)計(jì)算成本[Ct=minCt，st

[Ct，s=qt s=tTAs? ? ? ? ? ? ? ?s=Tqts=tTAs +Cs+1? ? ? t ≤s≤T-1] ⑺

盡管這是增強(qiáng)分類器的預(yù)期行為，但是有的時(shí)候?qū)τ诮o定的數(shù)據(jù)集卻不一定是這種預(yù)期的情況。在實(shí)踐中通過大量的試驗(yàn)可以發(fā)現(xiàn)，這些序列往往并不存在單調(diào)性，故可以使用平滑法對(duì)其進(jìn)行處理。由于發(fā)現(xiàn)非平穩(wěn)序列的一般線性趨勢(shì)是單調(diào)的，所以可以認(rèn)為結(jié)果序列的成本接近真正的最小值。

3 結(jié)束語

本文提出一種方法來自動(dòng)設(shè)計(jì)具有理想性能的級(jí)聯(lián)分類器，特別針對(duì)于某些給定類型的輸入和給定的計(jì)算機(jī)架構(gòu)來進(jìn)行計(jì)算。這種方法適用于任何底層的增強(qiáng)方法，包括以自適應(yīng)增強(qiáng)為特征的AdaBoost算法以及針對(duì)ROC空間給定區(qū)域的增強(qiáng)方法。由于產(chǎn)生的級(jí)聯(lián)與其底層的增強(qiáng)分類器密切相關(guān)，故可以預(yù)期這種級(jí)聯(lián)的理論屬性將比臨時(shí)級(jí)聯(lián)更容易進(jìn)行研究。相較于它在給定數(shù)據(jù)集上的性能，這種方法更傾向于探究級(jí)聯(lián)的泛化邊界問題，在大數(shù)據(jù)實(shí)用領(lǐng)域作為其他特化級(jí)聯(lián)增強(qiáng)算法的基礎(chǔ)。在未來的研究中仍然需要找到設(shè)置級(jí)聯(lián)水平閾值更加合適的方法，以便更好地去附和原始分類器的ROC，從而能達(dá)到比實(shí)驗(yàn)部分顯示的更好的一個(gè)水準(zhǔn)。

參考文獻(xiàn)（References）：

[1] 馮昊，李樹青.基于多種支持向量機(jī)的多層級(jí)聯(lián)式分類器研究及其在信用評(píng)分中的應(yīng)用[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2021，5（10）：28-36

[2] 傅紅普，鄒北驥，朱承璋，等.基于朋輩AdaBoost分類器級(jí)聯(lián)的行人檢測(cè)（英文）[J].Journal of Central South University，2020，27（8）：2269-2279

[3] Bhavana R. Maale，Dr. Suvarna Nandyal. Face RecognitionBased on Haar Cascade Classifier[J].Journal of Research in Science and Engineering，2021，3（5）

[4] Izhar Faisal，Ali Sajid，Ponum Mahvish，MahmoodMuhammad Tahir，Ilyas Hamida，Iqbal Amna. Detection & recognition of veiled and unveiled human face on the basis of eyes using transfer learning.[J]. Multimedia tools and applications，2022

[5] 李昆侖，張炘.級(jí)聯(lián)SVM和分類器融合的人臉性別識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（8）：154-158

[6] Shuzhe Wu， Meina Kan， Zhenliang He，et al. Funnel-structured cascade for multi-view face detection with alignment-awareness[J]. Neurocomputing，2017，221

[7] 蘭勝坤.基于AdaBoost算法的人臉檢測(cè)實(shí)現(xiàn)[J]. 電腦與信息技術(shù)，2021，29（2）：16-19

[8] Fu Y G， Huang H Y， Guan Y， et al. EBRB cascade classifierfor imbalanced data via rule weight updating[J]. Knowledge-Based Systems，2021，223：107010

[9] Hassen O A， Abu N A， Abidin Z Z， et al. A new descriptorfor smile classification based on cascade classifier in unconstrained scenarios[J]. Symmetry，2021，13（5）：805

[10] Mohamed Soha Abd ElMoamen，Mohamed MarghanyHassan，F(xiàn)arghally Mohammed F.. A New Cascade-Correlation Growing Deep Learning Neural Network Algorithm[J]. Algorithms，2021，14（5）

[11] Chia-Chi Wu，Yen-Liang Chen，Kwei Tang. Cost-sensitive decision tree with multiple resource constraints[J]. Applied Intelligence，2019，49（10）

[12] 金相宏，李琳，鐘珞.基于主題模型和情感分析的垃圾評(píng)論識(shí)別方法研究[J].計(jì)算機(jī)科學(xué)，2017，44（10）：254-258