• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Optuna框架的Lp范數(shù)約束下多核支持向量機(jī)在違約風(fēng)險(xiǎn)預(yù)測中的應(yīng)用

    2024-09-14 00:00:00鄭怡昕王重仁
    現(xiàn)代電子技術(shù) 2024年6期

    摘 "要: 針對違約數(shù)據(jù)存在數(shù)據(jù)量大、維度多、不平衡及噪聲大等缺點(diǎn),提出一種改進(jìn)的支持向量機(jī)方法,即基于Optuna框架的Lp范數(shù)約束的代價(jià)敏感的多核支持向量機(jī)(Lp?Optuna?SVM)。該方法采用成本矩陣對不同預(yù)測錯(cuò)誤賦予不同數(shù)值,通過多核學(xué)習(xí)引入多核混合核函數(shù)組合;同時(shí)采用Optuna優(yōu)化框架對犯錯(cuò)成本、核函數(shù)的參數(shù)和權(quán)重實(shí)現(xiàn)了自動(dòng)化的調(diào)優(yōu)過程;還在核函數(shù)權(quán)重上引入Lp范數(shù)約束,以提高模型對噪聲和異常數(shù)據(jù)的魯棒性。最后,對4種常用的基礎(chǔ)核函數(shù)組合的Lp?Optuna?SVM進(jìn)行探討,并與單核支持向量機(jī)以及K鄰近法、邏輯回歸、高斯貝葉斯進(jìn)行對比。結(jié)果表明,在給定數(shù)據(jù)集上,Lp?Optuna?SVM在違約數(shù)據(jù)上的g?mean和AUC均高于其他算法,并且在加了不同方差的噪聲數(shù)據(jù)集上,該算法整體依舊保持較好的魯棒性。

    關(guān)鍵詞: 多核支持向量機(jī); Optuna優(yōu)化框架; Lp范數(shù)約束; 多核學(xué)習(xí); 不平衡數(shù)據(jù)集; 違約風(fēng)險(xiǎn)預(yù)測

    中圖分類號: TN919?34; TP311 " " " " " " " " " 文獻(xiàn)標(biāo)識碼: A " " " " " " " " " " "文章編號: 1004?373X(2024)06?0147?07

    Application of Lp?norm?constrained multi?kernel support vector machine based on Optuna framework in default risk prediction

    ZHENG Yixin, WANG Chongren

    (Shandong University of Finance and Economics, Jinan 250002, China)

    Abstract: In allusion to the drawbacks of large data volume, multiple dimensions, imbalance, and high noise in default data, an improved support vector machine method is proposed, which is a cost sensitive multi kernel support vector machine (Lp Optuna SVM) based on the Lp?norm?constrained of the Optuna framework. In this method, a cost matrix is used to assign different values to different prediction errors, and the combinations of multi kernel mixed kernel function is introduced by means of multi kernel learning. The Optuna optimization framework is used to automate the tuning process for error costs, kernel function parameters, and weights. The Lp?norm?constrained is introduced on kernel function weights, so as to improve the model's robustness against noise and outlier data. The Lp?Optuna?SVM of four commonly used combinations of basic kernel functions is explored and compared with single kernel support vector machines, K?nearest neighbor method, logistic regression, and Gaussian Bayes. The results show that, on the given dataset, Lp?Optuna?SVM has higher g?mean and AUC on default data than those of other algorithms, and this algorthm can overall maintain good robustness on noisy datasets with different variances.

    Keywords: multi?kernel support vector machine; Optuna optimization framework; Lp?norm?constrained; multi?kernel learning; unbalanced dataset; default risk prediction

    近年來,為了提高金融違約風(fēng)險(xiǎn)預(yù)測的準(zhǔn)確度,很多研究聚焦于提高單個(gè)模型的預(yù)測性能,其中,支持向量機(jī)(SVM)因其在非線性問題上有出色表現(xiàn),常被用于違約風(fēng)險(xiǎn)預(yù)測領(lǐng)域。I. O. Eweoya等利用支持向量機(jī),通過數(shù)據(jù)中的隱藏趨勢來預(yù)測貸款申請中欺詐的可能性[1]。但支持向量機(jī)對離群點(diǎn)和噪聲數(shù)據(jù)十分敏感,且金融數(shù)據(jù)多為多源異構(gòu)數(shù)據(jù),存在分布不平衡的特點(diǎn),因此許多研究選擇多核學(xué)習(xí)(Multiple Kernel Learning, MKL)以提高模型預(yù)測的準(zhǔn)確性和穩(wěn)定性。多核學(xué)習(xí)中關(guān)鍵的問題是確定核函數(shù)的組合權(quán)重及其參數(shù)。對此,已提出很多相關(guān)的方法及模型。Zhou等選擇多項(xiàng)式核函數(shù)(POLY)和徑向基核函數(shù)(RBF)來構(gòu)造混合核函數(shù),并應(yīng)用粒子群優(yōu)化算法來確認(rèn)核函數(shù)的組合權(quán)重[2]。祁祥洲等在構(gòu)造組合核函數(shù)時(shí),利用中心核對齊(Centered Kernel Alignment, CKA)來計(jì)算每個(gè)核函數(shù)的權(quán)重,再將不同類型的核函數(shù)加以線性組合,最后將組合核函數(shù)引入到傳統(tǒng)單類支持向量機(jī)中代替單個(gè)核函數(shù)[3]。戴小路等將基于加權(quán)馬氏距離的模糊支持向量機(jī)方法拓展到多核維度,采用啟發(fā)式方法來計(jì)算多核權(quán)重系數(shù),以加權(quán)求和的方式構(gòu)建多核組合函數(shù)[4]。Wang等為了提高高光譜圖像分類的準(zhǔn)確性,將多核支持向量機(jī)與粒子群優(yōu)化算法結(jié)合,并將最佳權(quán)重分配給不同的核函數(shù),通過在不同數(shù)據(jù)集上實(shí)現(xiàn)自適應(yīng)權(quán)重,解決了在學(xué)習(xí)多個(gè)特征時(shí)人為選擇權(quán)重的問題[5]。Zhao等開發(fā)了一種基于混合核對齊最大化的多核模型(HKAM?MKM)來確認(rèn)多核核函數(shù)的權(quán)重分配,這樣既確保有效利用基本核函數(shù),又避免忽略樣本與其相鄰樣本之間的差異[6]。

    綜上可知,確認(rèn)多核核函數(shù)權(quán)重的常用方法有的計(jì)算復(fù)雜[4],有的雖然速度快,但是容易陷入局部最優(yōu)[7]。因此本文在預(yù)測違約時(shí)進(jìn)行以下創(chuàng)新:

    1) 因違約案例較少,金融數(shù)據(jù)通常不平衡。這使得模型為減少錯(cuò)誤,預(yù)測時(shí)偏向多數(shù)類,但不同類別預(yù)測錯(cuò)誤產(chǎn)生的后果不同,故采用代價(jià)敏感的SVM,通過構(gòu)建成本矩陣對不同類別預(yù)測錯(cuò)誤賦予不同成本。

    2) 為了克服上述常用方法的缺點(diǎn),選擇超參數(shù)框架Optuna[8]來確定核函數(shù)權(quán)重、參數(shù)和犯錯(cuò)成本。Optuna通過自動(dòng)搜索超參數(shù)空間以降低復(fù)雜性,根據(jù)目標(biāo)函數(shù)的表現(xiàn)來優(yōu)化樣本點(diǎn)的分布,從而更有可能找到全局最優(yōu)解。

    3) 為了防止核函數(shù)權(quán)重過大或過小,對核函數(shù)的權(quán)重施加Lp范數(shù)約束,提高模型的穩(wěn)定性。為提高模型的性能和表現(xiàn),在考慮多樣性的同時(shí)保證核函數(shù)的互補(bǔ)性和相對獨(dú)立性,對線性核函數(shù)、多項(xiàng)式核函數(shù)、sigmoid核函數(shù)和徑向基核函數(shù)進(jìn)行任意組合。

    1 "Lp?Optuna?SVM

    1.1 "代價(jià)敏感的支持向量機(jī)

    假設(shè)存在一個(gè)線性可分的二分類數(shù)據(jù)集(樣本分為正類和負(fù)類),其輸入特征為[xi],對應(yīng)的目標(biāo)類別變量標(biāo)簽為[yi]。在處理非樣本數(shù)據(jù)時(shí),SVM通過核函數(shù)變換[?(xi)]在高維特征空間Z中進(jìn)行映射,然后在高維特征空間Z中構(gòu)建最優(yōu)分類超平面以實(shí)現(xiàn)分類,公式如下:

    [minω,b,ξ12ω2+Ci=1nξi]

    [s.t. "yi(ωT?(xi)+b)≥1-ξi, ξi≥0,i=1,2,…,n] (1)

    在特征空間Z構(gòu)建超平面的過程中,核函數(shù)[K(xi,xj)]把非線性映射和特征空間中兩個(gè)向量[?(xi)]和[?(xj)]的內(nèi)積相結(jié)合,可以避免明確指定非線性映射函數(shù)[?(xi)],通過計(jì)算特征空間中向量之間的內(nèi)積來隱式地表示高維空間中的線性超平面,有效地解決了維度災(zāi)難。但這種方法假設(shè)所有錯(cuò)誤分類的代價(jià)相同,在處理不平衡的數(shù)據(jù)集時(shí),因忽視了錯(cuò)誤分類的成本不同,導(dǎo)致效果并不理想。因此,K. Veropoulos等人提出一種懲罰正則化的代價(jià)敏感支持向量機(jī)模型,以減少預(yù)測不平衡數(shù)據(jù)時(shí)遇到的負(fù)面影響[9]。對于正類和負(fù)類,該模型為正、負(fù)松弛變量引入[C+]和[C-]懲罰因子,如下:

    [minω,b,ξ12ω2+C+i=1nξi+C-i=1nξi]

    [s.t. "yi(ωT?(xi)+b)≥1-ξi, "ξi≥0,i=1,2,…,n] (2)

    1.2 "多核支持向量機(jī)

    對于高維、分布不均衡、包含異構(gòu)信息的樣本數(shù)據(jù),采用單核進(jìn)行映射,對樣本的處理不一定合適。因此,為了進(jìn)一步提高支持向量機(jī)的數(shù)據(jù)處理能力,使用多個(gè)核函數(shù)線性融合成的混合核函數(shù),且該混合核函數(shù)依然是核函數(shù)。設(shè)有M個(gè)核函數(shù),每個(gè)核函數(shù)的權(quán)重是[βm],混合核函數(shù)被定義為:

    [Kmix(x,x')=m=1MβmKm(x,x')] (3)

    式中[m=1Mβm=1]。為確保SVM的優(yōu)化問題合理且可行,設(shè)基礎(chǔ)核函數(shù)[K1,K2,…,Km]的格拉姆矩陣均是半正定,滿足Mercer條件,則[Kmix(x,x')]也滿足Mercer條件[10],因?yàn)椋?/p>

    [αTKmix(x,x')α=αTm=1MβmKm(x,x')α=αT(β1K1(x,x')+β2K2(x,x')+…+βMKM(x,x'))α=β1αTK1(x,x')α+β2αTK2(x,x')α+…+βMαTKM(x,x')α] (4)

    式中:[α]為給定數(shù)據(jù)集上的任意向量。對于每個(gè)m,[αTKmα≥0],所以[αTKmixα≥0],即混合核函數(shù)的矩陣是半正定的,滿足Mercer條件,可在SVM進(jìn)行計(jì)算和優(yōu)化。

    1.3 "Lp范數(shù)約束的多核支持向量機(jī)

    構(gòu)建多核混合核函數(shù)時(shí),核函數(shù)權(quán)重過大或過小均會造成病態(tài)矩陣。為此,對核函數(shù)的權(quán)重施加范數(shù)約束,公式如下:

    [minω,b,ξ12m=1Mβmω(m)2+C+i=1nξi+C-i=1nξi+λm=1Mβmp1p]

    [s.t. "yim=1Mβm((ω(m))T?(m)(x(m)i)+b)≥1-ξi, " " " " " "ξi≥0,i=1,2,…,n] (5)

    通過控制過擬合,從而改善數(shù)值穩(wěn)定性和計(jì)算的精度。對于多核支持向量機(jī),其優(yōu)化問題為:

    [minω,b,ξ12m=1Mβmω(m)2+C+i=1nξi+C-i=1nξi]

    [s.t. "yim=1Mβm((ω(m))T?(m)(x(m)i)+b)≥1-ξi, " " " " "ξi≥0,i=1,2,…,n] (6)

    式中:[ω(m)]是第m個(gè)核函數(shù)對應(yīng)的向量;[?(m)(x(m)i)]是第m個(gè)核函數(shù)對應(yīng)的高維特征映射;[βm]是第m個(gè)核函數(shù)的權(quán)重。在特定的問題和數(shù)據(jù)集上,可以通過調(diào)整權(quán)重[βm]來平衡各個(gè)核函數(shù)的貢獻(xiàn),進(jìn)一步提升模型的性能。通過使用合適的優(yōu)化算法確認(rèn)p的取值,可以求得滿足約束且穩(wěn)定的多核支持向量機(jī)。

    1.4 "基于Optuna框架的參數(shù)優(yōu)化方法

    Optuna[11]是一款新興的優(yōu)化工具。本研究基于Optuna框架的超參數(shù)的確定步驟如下:

    1) 輸入機(jī)器學(xué)習(xí)模型的超參數(shù)。使用基于不同混合核函數(shù)的SVM模型,每個(gè)模型都有不同的超參數(shù)集和權(quán)重。

    2) 確定超參數(shù)的搜索范圍和類型。為了確保所選核函數(shù)的格拉姆矩陣是半正定的,且滿足Mercer條件,具體表達(dá)式及核函數(shù)參數(shù)取值要求如表1所示。

    3) 為Optuna設(shè)置目標(biāo)函數(shù),然后確定優(yōu)化方向。本研究的目標(biāo)函數(shù)和方向是最大化g?mean(geometric mean和AUC(Area Under the Curve)。

    [g?mean=recall·specificity] (7)

    式中:recall是召回率,即在正樣本上取得的準(zhǔn)確率;specificity是特異度,即在負(fù)樣本上所取得的準(zhǔn)確率。

    4) 設(shè)置Optuna的試驗(yàn)次數(shù)。本試驗(yàn)中采樣器、方向和試驗(yàn)次數(shù)分別設(shè)置為TPE采樣器、最大化和100。

    2 "實(shí)驗(yàn)結(jié)果與分析

    2.1 "實(shí)驗(yàn)設(shè)計(jì)

    采用Kaggle網(wǎng)站上與違約有關(guān)的3個(gè)公開數(shù)據(jù)集(Company Bankruptcy Prediction、Marketing Campaign和Credit Risk Customers),如表2所示,把本文所提出的模型和其他方法進(jìn)行比較,驗(yàn)證其有效性。其中每個(gè)數(shù)據(jù)集按比例6∶4劃分,即60%為訓(xùn)練集,40%為測試集。為檢驗(yàn)所提出模型的抗噪聲能力,在3個(gè)數(shù)據(jù)集的訓(xùn)練集中加入0、0.05、0.1、0.15、0.2、0.25、0.3不同方差的異常數(shù)據(jù)作為噪聲。在算法的對比中,為了確保算法的多元性,不僅有4個(gè)基礎(chǔ)核的SVM間的比較,還選擇KNN、邏輯回歸、高斯貝葉斯進(jìn)行對比。為了消除訓(xùn)練集隨機(jī)選擇的影響,在每個(gè)數(shù)據(jù)集上進(jìn)行20次重復(fù)試驗(yàn)。

    把表1中4個(gè)核函數(shù)的任意組合,即2個(gè)核函數(shù)的組合、3個(gè)核函數(shù)的組合以及4個(gè)核函數(shù)的組合進(jìn)行混合核函數(shù)構(gòu)造。為了避免病態(tài)矩陣的出現(xiàn),只選擇不同的核函數(shù)進(jìn)行組合,以確保模型的穩(wěn)定性和可靠性[12]。

    2.2 "實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)所用主機(jī)CPU型號為Intel[?] CoreTM i5?8250U CPU,主頻為1.6 GHz,內(nèi)存為8 GB,編程語言為Python 3.8,主要使用的庫為scikit?learn和Optuna。

    2.3 "參數(shù)設(shè)置

    針對二分類問題,構(gòu)建了成本矩陣。其中,預(yù)測準(zhǔn)確時(shí)的成本為0;正類錯(cuò)誤預(yù)測被賦予成本記為C1;負(fù)類錯(cuò)誤預(yù)測被賦予成本記為C2;核函數(shù)的參數(shù)及權(quán)重一起通過Optuna優(yōu)化框架確定。多項(xiàng)式核函數(shù)的d、徑向基核函數(shù)的σ、sigmoid核函數(shù)的δ和k,以及犯錯(cuò)成本C1和C2,在不同模型不同數(shù)據(jù)集的取值見表3。關(guān)于約束范數(shù)p的取值,當(dāng)p=1時(shí),部分[βm]取值趨向于0,得到[βm]的最稀疏解;當(dāng)[p→∞]時(shí),部分[βm]取值趨向于1,混合核函數(shù)[Kmix(x,x')=m=1MKm(x,x')]為非加權(quán)多核學(xué)習(xí)。根據(jù)實(shí)驗(yàn)可得,最優(yōu)的性能通常介于兩者之間,因此試驗(yàn)中p最終取值為5。這樣既能保持一定的稀疏性,又能使表現(xiàn)較好的核函數(shù)能夠保留較高的權(quán)重系數(shù)。

    2.4 "試驗(yàn)結(jié)果分析

    在沒有噪聲的情況下,任意核函數(shù)組合的Lp?Optuna?SVM的g?mean和AUC均優(yōu)于常用分類器——KNN、邏輯回歸、高斯貝葉斯以及不同單核SVM。隨著噪聲方差的增加,不同模型性能有不同程度的下降,如表4~表6所示。

    雖然在方差為0.3的噪聲下,一些多核核函數(shù)組合的性能弱于高斯貝葉斯算法,不過從整體來看,這些多核核函數(shù)組合仍保持了相對較好的魯棒性,在多樣化的噪聲條件下仍能夠保持相對一致的表現(xiàn)。而在低噪聲方差情況下,這些核函數(shù)組合的性能優(yōu)于高斯貝葉斯算法,進(jìn)一步表明它們在處理較為干凈數(shù)據(jù)時(shí)的優(yōu)越性。

    在不同數(shù)據(jù)集上,性能最優(yōu)的Lp?Optuna?SVM組合均不相同。Company Bankruptcy Prediction數(shù)據(jù)集中l(wèi)inear+POLY+sigmoid+RBF組合性能最好;在Marketing Campaign數(shù)據(jù)集中,linear+POLY+sigmoid組合呈現(xiàn)出較好的性能優(yōu)勢;而在Credit Risk Customers數(shù)據(jù)集中,POLY+RBF組合展現(xiàn)出最為出色的性能水平。因?yàn)镃ompany Bankruptcy Prediction數(shù)據(jù)集維度較高(96維),不同特征之間的關(guān)系更為復(fù)雜,需要4個(gè)核函數(shù)來捕捉復(fù)雜的關(guān)系;而Marketing Campaign數(shù)據(jù)集(58維)和Credit Risk Customers數(shù)據(jù)集(21維)分別選擇3個(gè)和2個(gè)核函數(shù)的組合在適應(yīng)性和泛化能力之間取得了較好的平衡。與使用更多核函數(shù)的組合相比,這種情況下的2個(gè)或3個(gè)核函數(shù)組合可能更好地捕捉數(shù)據(jù)集的關(guān)系,避免了模型過于復(fù)雜。因此,在處理較為復(fù)雜的數(shù)據(jù)集時(shí),根據(jù)數(shù)據(jù)集的特征數(shù)量適度地減少核函數(shù)的數(shù)量,可能有助于提高模型的性能,并降低過擬合的風(fēng)險(xiǎn)。

    3 "結(jié) "論

    在支持向量機(jī)的多核學(xué)習(xí)中,傳統(tǒng)方法如中心核對齊在確認(rèn)核函數(shù)權(quán)重時(shí)存在復(fù)雜度較高的問題,需要額外設(shè)定各個(gè)核函數(shù)的參數(shù),耗費(fèi)大量時(shí)間。為了解決這一問題并提高模型的魯棒性,本文選擇了Optuna優(yōu)化框架,通過自動(dòng)化調(diào)優(yōu),同時(shí)搜索最優(yōu)的核函數(shù)組合和參數(shù),有效減少了手動(dòng)調(diào)參的繁瑣過程,提高了優(yōu)化的效率。為進(jìn)一步增強(qiáng)模型的魯棒性,本文引入Lp范數(shù)約束對模型的權(quán)重進(jìn)行限制,防止過度擬合和過大的權(quán)重,從而增加了模型對噪聲和異常樣本的魯棒性。這種約束能夠使模型具有更高的泛化能力和抗噪聲能力。

    此外,本文還對支持向量機(jī)常用基礎(chǔ)核函數(shù)的所有不同組合進(jìn)行了探索。實(shí)驗(yàn)結(jié)果表明,在處理不同數(shù)據(jù)集時(shí),所需的核函數(shù)組合數(shù)量可能與數(shù)據(jù)的特征數(shù)量相關(guān)。然而,這些結(jié)果可能受到多個(gè)因素的影響,包括數(shù)據(jù)的維度、分布、特征之間的關(guān)系以及模型的復(fù)雜度等。因此,在核函數(shù)選擇和組合的問題上,存在著更多的復(fù)雜性和不確定性,可能需要更深入的實(shí)驗(yàn)和分析來確定最優(yōu)的策略。此外,本文通過窮舉法探討了基礎(chǔ)核函數(shù)范圍內(nèi)的所有不同核函數(shù)組合,但這個(gè)過程需要耗費(fèi)大量時(shí)間。因此,在未來的工作中,可以考慮探索基礎(chǔ)核以外的核函數(shù)組合,并嘗試改進(jìn)特定數(shù)據(jù)集下的最優(yōu)核函數(shù)組合的篩選方法,以提高優(yōu)化的效率。此外,還可以考慮探索其他融合方法的混合核函數(shù),如深度融合多核核函數(shù)等,以進(jìn)一步提高模型性能和泛化能力。

    注:本文通訊作者為王重仁。

    參考文獻(xiàn)

    [1] EWEOYA I O, ADEBIYI A A, AZETA A A, et al. Fraud prediction in loan default using support vector machine [J]. Journal of physics: conference series, 2019, 1299: 1?4.

    [2] ZHOU J, WANG W X, LU J, et al. Small unmanned helicopter modeling method based on a hybrid kernel function PSO?LSSVM [J]. Journal of supercomputing, 2023, 79(12): 13889?13906.

    [3] 祁祥洲,邢紅杰.基于中心核對齊的多核單類支持向量機(jī)[J].計(jì)算機(jī)應(yīng)用,2022,42(2):349?356.

    [4] 戴小路,汪廷華,周慧穎.基于加權(quán)馬氏距離的模糊多核支持向量機(jī)[J].計(jì)算機(jī)科學(xué),2022,49(z2):302?306.

    [5] WANG H, CHEN M Q, NIU J Q. Hyperspectral image classification method by coupling particle swarm optimization and multiple kernel support vector machine [J]. Journal of applied remote sensing, 2022, 16(3): 034534.

    [6] ZHAO S L, DING Y J, LIU X B, et al. HKAM?MKM: A hybrid kernel alignment maximization?based multiple kernel model for identifying DNA?binding proteins [J]. Computers in biology and medicine, 2022, 145: 105395.

    [7] 吳程昊,莫路鋒.基于改進(jìn)獅群算法的支持向量機(jī)參數(shù)優(yōu)化方法[J].現(xiàn)代電子技術(shù),2022,45(14):79?83.

    [8] LAI J P, LIN Y L, LIN H C, et al. Tree?based machine learning models with optuna in predicting impedance values for circuit analysis [J]. Micromachines, 2023, 14(2): 265.

    [9] VEROPOULOS K, CAMPBELL C, CRISTIANINI N. Controlling the sensitivity of support vector machines [C]// Proceedings of the International Joint Conference on Artifcial Intelligence. Montreal: IEEE, 1999: 55?60.

    [10] LI Y, ZHU Z C, HOU A L, et al. Pulmonary nodule recognition based on multiple kernel learning support vector machine?PSO [J]. Computational and mathematical methods in medicine, 2018(21): 1461470.

    [11] AKIBA T, SANO S, YANASE T, et al. Optuna: a next?generation hyperparameter optimization framework [C]// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining, Anchorage. AK, USA: IEEE, 2019: 2623?2631.

    [12] HE Q, ZHANG Q S, WANG H Y. Kernel?target alignment based multiple kernel one?class support vector machine [C]// 2019 IEEE International Conference on Systems, Man and Cybernetics. Bari, Italy: IEEE, 2019: 2083?2088.

    [13] WANG Z, HONG S S, YAO L J, et al. Multiple universum empirical kernel learning [J]. Engineering applications of artificial intelligence, 2020, 89: 103461.

    [14] OIKONOMOU V P, NIKOLOPOULOS S, KOMPATSIARIS I. A Bayesian multiple kernel learning algorithm for SSVEP BCI detection [J]. IEEE journal of biomedical and health informatics, 2019, 23(5): 1990?2001.

    [15] WANG T H, ZHANG L, HU W Y. Bridging deep and multiple kernel learning:a review [J]. Information fusion, 2021, 67: 3?13.

    [16] 蔡桂全,陶建平.基于細(xì)菌覓食優(yōu)化多核支持向量機(jī)的作物生長環(huán)境控制[J].濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版),2023(3):303?308.

    [17] 趙婉婉,任靜,劉燕南,等.基于AdaBoost多核支持向量機(jī)的跌倒檢測研究[J].輕工學(xué)報(bào),2019(3):84?91.

    熟女电影av网| 免费观看av网站的网址| 亚洲三级黄色毛片| 欧美成人精品欧美一级黄| 国产精品久久久久成人av| 大码成人一级视频| 亚洲国产av新网站| videosex国产| 亚洲精品久久成人aⅴ小说 | 丰满少妇做爰视频| 亚洲色图综合在线观看| 亚州av有码| 日本wwww免费看| 如日韩欧美国产精品一区二区三区 | 美女视频免费永久观看网站| 狂野欧美激情性bbbbbb| av女优亚洲男人天堂| 亚洲国产精品成人久久小说| 亚洲欧美清纯卡通| 久久国产亚洲av麻豆专区| av天堂久久9| 国产成人精品婷婷| 26uuu在线亚洲综合色| 成人毛片a级毛片在线播放| 精品人妻偷拍中文字幕| 三级国产精品欧美在线观看| 十八禁网站网址无遮挡| 中文字幕人妻熟人妻熟丝袜美| 欧美成人精品欧美一级黄| 国产乱来视频区| 人妻少妇偷人精品九色| 亚洲国产色片| 国产精品久久久久成人av| av电影中文网址| 能在线免费看毛片的网站| 国模一区二区三区四区视频| 国产在视频线精品| 高清欧美精品videossex| 亚洲精品久久午夜乱码| 亚洲欧洲日产国产| 一本—道久久a久久精品蜜桃钙片| 大片电影免费在线观看免费| 高清av免费在线| 国产精品三级大全| 日韩中文字幕视频在线看片| 成人国语在线视频| 五月玫瑰六月丁香| 一级a做视频免费观看| 国产国语露脸激情在线看| 26uuu在线亚洲综合色| 亚洲美女黄色视频免费看| 日本色播在线视频| 欧美精品一区二区免费开放| 街头女战士在线观看网站| 哪个播放器可以免费观看大片| 日本av免费视频播放| 少妇被粗大猛烈的视频| 日本色播在线视频| 国产极品粉嫩免费观看在线 | 99热网站在线观看| 女人精品久久久久毛片| 亚洲怡红院男人天堂| 少妇丰满av| 人人妻人人澡人人看| 极品人妻少妇av视频| 最近最新中文字幕免费大全7| 久久久久视频综合| 亚洲欧洲精品一区二区精品久久久 | 亚洲av不卡在线观看| 一边摸一边做爽爽视频免费| 一级黄片播放器| 最近的中文字幕免费完整| 国产69精品久久久久777片| 999精品在线视频| 久久久久久久大尺度免费视频| 狠狠精品人妻久久久久久综合| 欧美精品亚洲一区二区| 最近手机中文字幕大全| 久久97久久精品| 亚洲欧洲精品一区二区精品久久久 | 蜜桃国产av成人99| 狂野欧美白嫩少妇大欣赏| 亚洲人与动物交配视频| 亚洲精品成人av观看孕妇| 99热6这里只有精品| 性高湖久久久久久久久免费观看| 久久av网站| 久久精品国产亚洲av涩爱| 人妻制服诱惑在线中文字幕| 免费大片黄手机在线观看| 国产免费现黄频在线看| 大陆偷拍与自拍| 一个人看视频在线观看www免费| 久久鲁丝午夜福利片| 少妇高潮的动态图| 久久国产精品大桥未久av| 三级国产精品欧美在线观看| 亚洲熟女精品中文字幕| 美女主播在线视频| 最新中文字幕久久久久| 美女国产视频在线观看| 桃花免费在线播放| 亚洲国产欧美在线一区| 国产亚洲最大av| 日日爽夜夜爽网站| 女性被躁到高潮视频| a级毛色黄片| 国产乱人偷精品视频| 在线观看人妻少妇| 亚洲人成网站在线观看播放| 五月开心婷婷网| 国产女主播在线喷水免费视频网站| 男人操女人黄网站| 亚洲美女视频黄频| 一级片'在线观看视频| 欧美性感艳星| 亚洲欧美清纯卡通| 97精品久久久久久久久久精品| 丰满饥渴人妻一区二区三| 中文字幕亚洲精品专区| 亚洲第一av免费看| 高清视频免费观看一区二区| 日本免费在线观看一区| 黄片无遮挡物在线观看| 精品国产一区二区久久| a级毛片免费高清观看在线播放| 卡戴珊不雅视频在线播放| 在线 av 中文字幕| 最近2019中文字幕mv第一页| 美女视频免费永久观看网站| 国产色爽女视频免费观看| 另类亚洲欧美激情| 久久精品人人爽人人爽视色| 日本黄大片高清| 69精品国产乱码久久久| 色吧在线观看| 成人影院久久| av电影中文网址| 青春草国产在线视频| 亚洲人成网站在线播| 欧美97在线视频| 久久久久久久久久成人| 国产熟女欧美一区二区| 男女啪啪激烈高潮av片| 国产一区二区三区av在线| 亚洲av.av天堂| 国产日韩一区二区三区精品不卡 | 婷婷色av中文字幕| 黄色欧美视频在线观看| 久久精品国产亚洲av涩爱| 伊人亚洲综合成人网| 久久精品久久久久久噜噜老黄| 久久久国产一区二区| 国产av国产精品国产| 国产片特级美女逼逼视频| 麻豆乱淫一区二区| 涩涩av久久男人的天堂| 伦精品一区二区三区| 人妻夜夜爽99麻豆av| 精品久久久久久久久亚洲| 大码成人一级视频| 国产高清有码在线观看视频| 免费日韩欧美在线观看| 亚洲欧美日韩另类电影网站| 高清在线视频一区二区三区| av专区在线播放| 亚洲国产精品999| 天堂中文最新版在线下载| 91aial.com中文字幕在线观看| 久久久久久伊人网av| 啦啦啦视频在线资源免费观看| 国产精品久久久久久精品电影小说| 自线自在国产av| 考比视频在线观看| 伦理电影大哥的女人| 国产极品天堂在线| 少妇人妻久久综合中文| 九色成人免费人妻av| 国产黄片视频在线免费观看| 在线 av 中文字幕| 自线自在国产av| 久久av网站| 欧美精品一区二区大全| 亚洲怡红院男人天堂| 亚洲av电影在线观看一区二区三区| 婷婷色综合www| 欧美日韩亚洲高清精品| 日韩视频在线欧美| 亚洲成色77777| 国产极品天堂在线| 在线观看三级黄色| 美女福利国产在线| 一边摸一边做爽爽视频免费| 在线观看一区二区三区激情| 国产成人精品福利久久| 只有这里有精品99| 亚洲av福利一区| 99热国产这里只有精品6| 国产欧美另类精品又又久久亚洲欧美| 日本爱情动作片www.在线观看| 国产精品熟女久久久久浪| 久久久久久久国产电影| 亚洲精华国产精华液的使用体验| 亚洲欧美一区二区三区黑人 | 久久午夜福利片| 国产一级毛片在线| 国产av一区二区精品久久| 高清午夜精品一区二区三区| 亚洲一区二区三区欧美精品| 国产成人91sexporn| 国产黄片视频在线免费观看| 99热6这里只有精品| 免费少妇av软件| 色网站视频免费| 日韩精品有码人妻一区| 国产精品免费大片| videossex国产| 18禁动态无遮挡网站| 亚洲欧美成人精品一区二区| 国产成人精品无人区| 亚洲怡红院男人天堂| 国精品久久久久久国模美| 日本黄色片子视频| 日韩一区二区视频免费看| 精品国产一区二区三区久久久樱花| 国产精品无大码| 男女国产视频网站| 亚洲av免费高清在线观看| 亚洲国产精品国产精品| 精品酒店卫生间| 亚洲美女黄色视频免费看| 国产高清国产精品国产三级| a 毛片基地| 国产一区有黄有色的免费视频| 欧美激情极品国产一区二区三区 | 亚洲av中文av极速乱| 久久久久视频综合| 性色avwww在线观看| 999精品在线视频| 亚洲精品一二三| 国产黄色免费在线视频| 丰满乱子伦码专区| 成年人午夜在线观看视频| 亚洲欧美色中文字幕在线| 九九在线视频观看精品| 最新中文字幕久久久久| 校园人妻丝袜中文字幕| 国产无遮挡羞羞视频在线观看| 亚洲精品久久成人aⅴ小说 | 最近最新中文字幕免费大全7| 午夜福利视频精品| 18禁观看日本| 国产精品人妻久久久久久| a级毛片在线看网站| 夫妻午夜视频| 狂野欧美激情性bbbbbb| 99久久精品一区二区三区| 亚洲av欧美aⅴ国产| 日本猛色少妇xxxxx猛交久久| 成年人午夜在线观看视频| 日本欧美视频一区| 免费观看av网站的网址| 女人精品久久久久毛片| 精品国产国语对白av| 亚洲不卡免费看| 精品国产一区二区三区久久久樱花| 久久久久久久久大av| av国产久精品久网站免费入址| 精品人妻一区二区三区麻豆| 美女脱内裤让男人舔精品视频| 少妇人妻 视频| 国产成人a∨麻豆精品| 免费黄网站久久成人精品| 亚洲av二区三区四区| 亚洲精品日韩av片在线观看| 天堂8中文在线网| 欧美成人精品欧美一级黄| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 九色成人免费人妻av| 曰老女人黄片| 亚洲丝袜综合中文字幕| 国产永久视频网站| av一本久久久久| 日韩一区二区三区影片| 欧美人与善性xxx| 91aial.com中文字幕在线观看| 日本爱情动作片www.在线观看| 欧美丝袜亚洲另类| 91精品一卡2卡3卡4卡| 国产精品无大码| 18禁在线播放成人免费| 亚洲精品中文字幕在线视频| 成年人免费黄色播放视频| 又大又黄又爽视频免费| 毛片一级片免费看久久久久| 日日啪夜夜爽| 大话2 男鬼变身卡| 2018国产大陆天天弄谢| 亚洲欧美日韩另类电影网站| 久久精品熟女亚洲av麻豆精品| 超色免费av| 日韩成人av中文字幕在线观看| 亚洲人成网站在线播| 久久国产精品大桥未久av| 久久久久久伊人网av| 99久国产av精品国产电影| 午夜视频国产福利| 久久久午夜欧美精品| 久久人人爽av亚洲精品天堂| 久久精品国产亚洲网站| 久久久久久久久久成人| 日韩制服骚丝袜av| 国产精品久久久久成人av| 亚洲丝袜综合中文字幕| 婷婷色麻豆天堂久久| 日本爱情动作片www.在线观看| 内地一区二区视频在线| 国产av精品麻豆| 精品久久国产蜜桃| 蜜桃国产av成人99| 欧美3d第一页| 亚洲国产精品国产精品| 成人免费观看视频高清| 国产欧美另类精品又又久久亚洲欧美| 亚洲国产色片| 熟女av电影| 国产欧美日韩综合在线一区二区| 高清欧美精品videossex| 欧美老熟妇乱子伦牲交| 99国产综合亚洲精品| 搡女人真爽免费视频火全软件| 中文乱码字字幕精品一区二区三区| 欧美激情 高清一区二区三区| 国产欧美日韩综合在线一区二区| 婷婷色综合www| 亚洲人成网站在线观看播放| 亚洲美女黄色视频免费看| 国产亚洲欧美精品永久| 国产成人免费观看mmmm| 一级爰片在线观看| 搡老乐熟女国产| 自线自在国产av| 亚洲婷婷狠狠爱综合网| 丝袜脚勾引网站| 一级毛片aaaaaa免费看小| 国产精品成人在线| 在线观看免费高清a一片| tube8黄色片| 18在线观看网站| 91精品伊人久久大香线蕉| 美女中出高潮动态图| 亚洲精品,欧美精品| 丝袜美足系列| 亚洲三级黄色毛片| 亚洲精品,欧美精品| 大片免费播放器 马上看| 久久国产精品男人的天堂亚洲 | 亚洲精品aⅴ在线观看| 日韩强制内射视频| 亚洲精品国产av蜜桃| 男女免费视频国产| 久久久精品94久久精品| 欧美成人精品欧美一级黄| 国产av精品麻豆| 免费久久久久久久精品成人欧美视频 | 中文天堂在线官网| 日本av手机在线免费观看| 99久久人妻综合| 精品人妻偷拍中文字幕| 高清不卡的av网站| 免费少妇av软件| 91国产中文字幕| 国产精品久久久久久av不卡| 国产色婷婷99| 午夜av观看不卡| 2021少妇久久久久久久久久久| 熟女av电影| 日韩不卡一区二区三区视频在线| 简卡轻食公司| 午夜福利,免费看| 18禁裸乳无遮挡动漫免费视频| 人妻系列 视频| 久久精品人人爽人人爽视色| 自拍欧美九色日韩亚洲蝌蚪91| 建设人人有责人人尽责人人享有的| 国产av精品麻豆| 亚洲国产精品一区三区| 涩涩av久久男人的天堂| 超色免费av| 能在线免费看毛片的网站| 80岁老熟妇乱子伦牲交| 亚洲天堂av无毛| a级毛片黄视频| 国产精品.久久久| 一级片'在线观看视频| 丝袜在线中文字幕| 亚洲欧美一区二区三区黑人 | 欧美老熟妇乱子伦牲交| 九九久久精品国产亚洲av麻豆| 51国产日韩欧美| 精品国产一区二区三区久久久樱花| 精品国产一区二区久久| 亚洲婷婷狠狠爱综合网| 欧美精品高潮呻吟av久久| 国产精品国产三级专区第一集| 国产在视频线精品| 亚洲无线观看免费| 色婷婷av一区二区三区视频| 一级黄片播放器| 插逼视频在线观看| 美女xxoo啪啪120秒动态图| av在线app专区| 久久99精品国语久久久| 丰满少妇做爰视频| 免费看不卡的av| 亚洲av男天堂| 亚洲精品456在线播放app| 亚洲国产精品一区二区三区在线| 观看美女的网站| 男女无遮挡免费网站观看| 国产极品粉嫩免费观看在线 | 午夜影院在线不卡| 欧美人与性动交α欧美精品济南到 | 久久国内精品自在自线图片| 欧美激情 高清一区二区三区| 最近最新中文字幕免费大全7| 国产69精品久久久久777片| 大话2 男鬼变身卡| 91精品国产国语对白视频| 久久亚洲国产成人精品v| 美女国产视频在线观看| 热re99久久精品国产66热6| 国产有黄有色有爽视频| 免费观看性生交大片5| 秋霞伦理黄片| 一级毛片 在线播放| 丝袜在线中文字幕| 午夜福利在线观看免费完整高清在| 卡戴珊不雅视频在线播放| 蜜桃在线观看..| 亚洲一级一片aⅴ在线观看| 亚洲国产成人一精品久久久| 男女啪啪激烈高潮av片| 性色avwww在线观看| 九草在线视频观看| 国产精品欧美亚洲77777| videos熟女内射| 精品久久久久久久久亚洲| 在线免费观看不下载黄p国产| 国产av码专区亚洲av| 亚洲精品久久午夜乱码| 久久久精品免费免费高清| 中国三级夫妇交换| 精品一区二区三卡| 国产 一区精品| 最近的中文字幕免费完整| 午夜福利在线观看免费完整高清在| 久久97久久精品| 在线观看免费视频网站a站| 亚洲伊人久久精品综合| 热re99久久精品国产66热6| 母亲3免费完整高清在线观看 | 人妻少妇偷人精品九色| 国产精品一区二区在线观看99| 日韩精品免费视频一区二区三区 | 亚洲精品一二三| 中国三级夫妇交换| 亚洲av不卡在线观看| 免费人妻精品一区二区三区视频| 国产精品嫩草影院av在线观看| 性高湖久久久久久久久免费观看| 欧美日韩视频高清一区二区三区二| 久久婷婷青草| 成人国语在线视频| av线在线观看网站| 国产熟女午夜一区二区三区 | 91午夜精品亚洲一区二区三区| 国产亚洲精品久久久com| 久久久国产精品麻豆| 视频中文字幕在线观看| 99久久精品一区二区三区| 日韩中文字幕视频在线看片| 亚洲精品一区蜜桃| 精品国产乱码久久久久久小说| 999精品在线视频| 国产午夜精品久久久久久一区二区三区| 欧美xxxx性猛交bbbb| 成年美女黄网站色视频大全免费 | 老司机影院毛片| 国产高清有码在线观看视频| 亚洲无线观看免费| 激情五月婷婷亚洲| 青春草视频在线免费观看| 搡女人真爽免费视频火全软件| 另类精品久久| 欧美亚洲 丝袜 人妻 在线| 国产黄色视频一区二区在线观看| 亚洲第一区二区三区不卡| 午夜91福利影院| 国产成人精品福利久久| 免费观看性生交大片5| 伦精品一区二区三区| 91久久精品国产一区二区三区| 日韩精品免费视频一区二区三区 | 国产极品天堂在线| 国产成人aa在线观看| 亚洲精品aⅴ在线观看| 日韩免费高清中文字幕av| 插逼视频在线观看| 精品国产国语对白av| 色94色欧美一区二区| 久久国产亚洲av麻豆专区| 岛国毛片在线播放| 校园人妻丝袜中文字幕| 亚洲性久久影院| 亚洲国产精品一区三区| 18+在线观看网站| 一级毛片电影观看| 日韩欧美一区视频在线观看| 午夜久久久在线观看| 久久国产精品男人的天堂亚洲 | 啦啦啦在线观看免费高清www| 欧美精品高潮呻吟av久久| 色吧在线观看| 丁香六月天网| 七月丁香在线播放| 亚洲图色成人| www.色视频.com| 新久久久久国产一级毛片| 亚洲av.av天堂| 新久久久久国产一级毛片| 精品国产一区二区久久| 蜜桃久久精品国产亚洲av| 国产极品粉嫩免费观看在线 | 久久精品人人爽人人爽视色| 黄色毛片三级朝国网站| 九草在线视频观看| 久久 成人 亚洲| 国产白丝娇喘喷水9色精品| 国产成人免费无遮挡视频| 亚洲中文av在线| 国产精品久久久久久av不卡| 国产成人精品在线电影| 大片免费播放器 马上看| 国产成人精品在线电影| 亚洲婷婷狠狠爱综合网| 国产成人精品在线电影| 能在线免费看毛片的网站| 欧美日韩综合久久久久久| 一本久久精品| 午夜福利在线观看免费完整高清在| 日韩免费高清中文字幕av| 高清午夜精品一区二区三区| 日韩免费高清中文字幕av| 夜夜看夜夜爽夜夜摸| 春色校园在线视频观看| 日本-黄色视频高清免费观看| 在线 av 中文字幕| 天天操日日干夜夜撸| 97精品久久久久久久久久精品| 亚洲精品亚洲一区二区| 久久精品国产亚洲网站| 欧美精品一区二区免费开放| 18禁动态无遮挡网站| 亚洲欧洲国产日韩| 亚洲国产精品国产精品| 十分钟在线观看高清视频www| 精品亚洲成国产av| 各种免费的搞黄视频| 国产一区有黄有色的免费视频| xxx大片免费视频| 一区二区日韩欧美中文字幕 | 国产精品一国产av| 国产精品蜜桃在线观看| 亚洲欧洲国产日韩| 极品少妇高潮喷水抽搐| av又黄又爽大尺度在线免费看| 日韩电影二区| 久久ye,这里只有精品| 日韩成人伦理影院| 久久青草综合色| 成人亚洲欧美一区二区av| 国产精品久久久久成人av| 22中文网久久字幕| 人妻系列 视频| 国产精品无大码| 亚洲美女搞黄在线观看| 菩萨蛮人人尽说江南好唐韦庄| av黄色大香蕉| 亚洲国产欧美在线一区| 考比视频在线观看| 99九九线精品视频在线观看视频| 欧美激情国产日韩精品一区| 一区二区三区四区激情视频| 少妇高潮的动态图| 亚洲高清免费不卡视频| 天堂中文最新版在线下载| 国产精品99久久99久久久不卡 | 中国三级夫妇交换| 久久精品熟女亚洲av麻豆精品| 搡老乐熟女国产| 99国产精品免费福利视频| 美女内射精品一级片tv| 永久网站在线| 少妇 在线观看| 日韩中字成人| 日本91视频免费播放| 一级a做视频免费观看| 欧美+日韩+精品| 国产免费视频播放在线视频| av.在线天堂| 麻豆乱淫一区二区| 国产欧美日韩综合在线一区二区| 91成人精品电影| 欧美激情极品国产一区二区三区 |