• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Optuna框架的Lp范數(shù)約束下多核支持向量機(jī)在違約風(fēng)險(xiǎn)預(yù)測中的應(yīng)用

    2024-09-14 00:00:00鄭怡昕王重仁
    現(xiàn)代電子技術(shù) 2024年6期

    摘 "要: 針對違約數(shù)據(jù)存在數(shù)據(jù)量大、維度多、不平衡及噪聲大等缺點(diǎn),提出一種改進(jìn)的支持向量機(jī)方法,即基于Optuna框架的Lp范數(shù)約束的代價(jià)敏感的多核支持向量機(jī)(Lp?Optuna?SVM)。該方法采用成本矩陣對不同預(yù)測錯(cuò)誤賦予不同數(shù)值,通過多核學(xué)習(xí)引入多核混合核函數(shù)組合;同時(shí)采用Optuna優(yōu)化框架對犯錯(cuò)成本、核函數(shù)的參數(shù)和權(quán)重實(shí)現(xiàn)了自動(dòng)化的調(diào)優(yōu)過程;還在核函數(shù)權(quán)重上引入Lp范數(shù)約束,以提高模型對噪聲和異常數(shù)據(jù)的魯棒性。最后,對4種常用的基礎(chǔ)核函數(shù)組合的Lp?Optuna?SVM進(jìn)行探討,并與單核支持向量機(jī)以及K鄰近法、邏輯回歸、高斯貝葉斯進(jìn)行對比。結(jié)果表明,在給定數(shù)據(jù)集上,Lp?Optuna?SVM在違約數(shù)據(jù)上的g?mean和AUC均高于其他算法,并且在加了不同方差的噪聲數(shù)據(jù)集上,該算法整體依舊保持較好的魯棒性。

    關(guān)鍵詞: 多核支持向量機(jī); Optuna優(yōu)化框架; Lp范數(shù)約束; 多核學(xué)習(xí); 不平衡數(shù)據(jù)集; 違約風(fēng)險(xiǎn)預(yù)測

    中圖分類號: TN919?34; TP311 " " " " " " " " " 文獻(xiàn)標(biāo)識碼: A " " " " " " " " " " "文章編號: 1004?373X(2024)06?0147?07

    Application of Lp?norm?constrained multi?kernel support vector machine based on Optuna framework in default risk prediction

    ZHENG Yixin, WANG Chongren

    (Shandong University of Finance and Economics, Jinan 250002, China)

    Abstract: In allusion to the drawbacks of large data volume, multiple dimensions, imbalance, and high noise in default data, an improved support vector machine method is proposed, which is a cost sensitive multi kernel support vector machine (Lp Optuna SVM) based on the Lp?norm?constrained of the Optuna framework. In this method, a cost matrix is used to assign different values to different prediction errors, and the combinations of multi kernel mixed kernel function is introduced by means of multi kernel learning. The Optuna optimization framework is used to automate the tuning process for error costs, kernel function parameters, and weights. The Lp?norm?constrained is introduced on kernel function weights, so as to improve the model's robustness against noise and outlier data. The Lp?Optuna?SVM of four commonly used combinations of basic kernel functions is explored and compared with single kernel support vector machines, K?nearest neighbor method, logistic regression, and Gaussian Bayes. The results show that, on the given dataset, Lp?Optuna?SVM has higher g?mean and AUC on default data than those of other algorithms, and this algorthm can overall maintain good robustness on noisy datasets with different variances.

    Keywords: multi?kernel support vector machine; Optuna optimization framework; Lp?norm?constrained; multi?kernel learning; unbalanced dataset; default risk prediction

    近年來,為了提高金融違約風(fēng)險(xiǎn)預(yù)測的準(zhǔn)確度,很多研究聚焦于提高單個(gè)模型的預(yù)測性能,其中,支持向量機(jī)(SVM)因其在非線性問題上有出色表現(xiàn),常被用于違約風(fēng)險(xiǎn)預(yù)測領(lǐng)域。I. O. Eweoya等利用支持向量機(jī),通過數(shù)據(jù)中的隱藏趨勢來預(yù)測貸款申請中欺詐的可能性[1]。但支持向量機(jī)對離群點(diǎn)和噪聲數(shù)據(jù)十分敏感,且金融數(shù)據(jù)多為多源異構(gòu)數(shù)據(jù),存在分布不平衡的特點(diǎn),因此許多研究選擇多核學(xué)習(xí)(Multiple Kernel Learning, MKL)以提高模型預(yù)測的準(zhǔn)確性和穩(wěn)定性。多核學(xué)習(xí)中關(guān)鍵的問題是確定核函數(shù)的組合權(quán)重及其參數(shù)。對此,已提出很多相關(guān)的方法及模型。Zhou等選擇多項(xiàng)式核函數(shù)(POLY)和徑向基核函數(shù)(RBF)來構(gòu)造混合核函數(shù),并應(yīng)用粒子群優(yōu)化算法來確認(rèn)核函數(shù)的組合權(quán)重[2]。祁祥洲等在構(gòu)造組合核函數(shù)時(shí),利用中心核對齊(Centered Kernel Alignment, CKA)來計(jì)算每個(gè)核函數(shù)的權(quán)重,再將不同類型的核函數(shù)加以線性組合,最后將組合核函數(shù)引入到傳統(tǒng)單類支持向量機(jī)中代替單個(gè)核函數(shù)[3]。戴小路等將基于加權(quán)馬氏距離的模糊支持向量機(jī)方法拓展到多核維度,采用啟發(fā)式方法來計(jì)算多核權(quán)重系數(shù),以加權(quán)求和的方式構(gòu)建多核組合函數(shù)[4]。Wang等為了提高高光譜圖像分類的準(zhǔn)確性,將多核支持向量機(jī)與粒子群優(yōu)化算法結(jié)合,并將最佳權(quán)重分配給不同的核函數(shù),通過在不同數(shù)據(jù)集上實(shí)現(xiàn)自適應(yīng)權(quán)重,解決了在學(xué)習(xí)多個(gè)特征時(shí)人為選擇權(quán)重的問題[5]。Zhao等開發(fā)了一種基于混合核對齊最大化的多核模型(HKAM?MKM)來確認(rèn)多核核函數(shù)的權(quán)重分配,這樣既確保有效利用基本核函數(shù),又避免忽略樣本與其相鄰樣本之間的差異[6]。

    綜上可知,確認(rèn)多核核函數(shù)權(quán)重的常用方法有的計(jì)算復(fù)雜[4],有的雖然速度快,但是容易陷入局部最優(yōu)[7]。因此本文在預(yù)測違約時(shí)進(jìn)行以下創(chuàng)新:

    1) 因違約案例較少,金融數(shù)據(jù)通常不平衡。這使得模型為減少錯(cuò)誤,預(yù)測時(shí)偏向多數(shù)類,但不同類別預(yù)測錯(cuò)誤產(chǎn)生的后果不同,故采用代價(jià)敏感的SVM,通過構(gòu)建成本矩陣對不同類別預(yù)測錯(cuò)誤賦予不同成本。

    2) 為了克服上述常用方法的缺點(diǎn),選擇超參數(shù)框架Optuna[8]來確定核函數(shù)權(quán)重、參數(shù)和犯錯(cuò)成本。Optuna通過自動(dòng)搜索超參數(shù)空間以降低復(fù)雜性,根據(jù)目標(biāo)函數(shù)的表現(xiàn)來優(yōu)化樣本點(diǎn)的分布,從而更有可能找到全局最優(yōu)解。

    3) 為了防止核函數(shù)權(quán)重過大或過小,對核函數(shù)的權(quán)重施加Lp范數(shù)約束,提高模型的穩(wěn)定性。為提高模型的性能和表現(xiàn),在考慮多樣性的同時(shí)保證核函數(shù)的互補(bǔ)性和相對獨(dú)立性,對線性核函數(shù)、多項(xiàng)式核函數(shù)、sigmoid核函數(shù)和徑向基核函數(shù)進(jìn)行任意組合。

    1 "Lp?Optuna?SVM

    1.1 "代價(jià)敏感的支持向量機(jī)

    假設(shè)存在一個(gè)線性可分的二分類數(shù)據(jù)集(樣本分為正類和負(fù)類),其輸入特征為[xi],對應(yīng)的目標(biāo)類別變量標(biāo)簽為[yi]。在處理非樣本數(shù)據(jù)時(shí),SVM通過核函數(shù)變換[?(xi)]在高維特征空間Z中進(jìn)行映射,然后在高維特征空間Z中構(gòu)建最優(yōu)分類超平面以實(shí)現(xiàn)分類,公式如下:

    [minω,b,ξ12ω2+Ci=1nξi]

    [s.t. "yi(ωT?(xi)+b)≥1-ξi, ξi≥0,i=1,2,…,n] (1)

    在特征空間Z構(gòu)建超平面的過程中,核函數(shù)[K(xi,xj)]把非線性映射和特征空間中兩個(gè)向量[?(xi)]和[?(xj)]的內(nèi)積相結(jié)合,可以避免明確指定非線性映射函數(shù)[?(xi)],通過計(jì)算特征空間中向量之間的內(nèi)積來隱式地表示高維空間中的線性超平面,有效地解決了維度災(zāi)難。但這種方法假設(shè)所有錯(cuò)誤分類的代價(jià)相同,在處理不平衡的數(shù)據(jù)集時(shí),因忽視了錯(cuò)誤分類的成本不同,導(dǎo)致效果并不理想。因此,K. Veropoulos等人提出一種懲罰正則化的代價(jià)敏感支持向量機(jī)模型,以減少預(yù)測不平衡數(shù)據(jù)時(shí)遇到的負(fù)面影響[9]。對于正類和負(fù)類,該模型為正、負(fù)松弛變量引入[C+]和[C-]懲罰因子,如下:

    [minω,b,ξ12ω2+C+i=1nξi+C-i=1nξi]

    [s.t. "yi(ωT?(xi)+b)≥1-ξi, "ξi≥0,i=1,2,…,n] (2)

    1.2 "多核支持向量機(jī)

    對于高維、分布不均衡、包含異構(gòu)信息的樣本數(shù)據(jù),采用單核進(jìn)行映射,對樣本的處理不一定合適。因此,為了進(jìn)一步提高支持向量機(jī)的數(shù)據(jù)處理能力,使用多個(gè)核函數(shù)線性融合成的混合核函數(shù),且該混合核函數(shù)依然是核函數(shù)。設(shè)有M個(gè)核函數(shù),每個(gè)核函數(shù)的權(quán)重是[βm],混合核函數(shù)被定義為:

    [Kmix(x,x')=m=1MβmKm(x,x')] (3)

    式中[m=1Mβm=1]。為確保SVM的優(yōu)化問題合理且可行,設(shè)基礎(chǔ)核函數(shù)[K1,K2,…,Km]的格拉姆矩陣均是半正定,滿足Mercer條件,則[Kmix(x,x')]也滿足Mercer條件[10],因?yàn)椋?/p>

    [αTKmix(x,x')α=αTm=1MβmKm(x,x')α=αT(β1K1(x,x')+β2K2(x,x')+…+βMKM(x,x'))α=β1αTK1(x,x')α+β2αTK2(x,x')α+…+βMαTKM(x,x')α] (4)

    式中:[α]為給定數(shù)據(jù)集上的任意向量。對于每個(gè)m,[αTKmα≥0],所以[αTKmixα≥0],即混合核函數(shù)的矩陣是半正定的,滿足Mercer條件,可在SVM進(jìn)行計(jì)算和優(yōu)化。

    1.3 "Lp范數(shù)約束的多核支持向量機(jī)

    構(gòu)建多核混合核函數(shù)時(shí),核函數(shù)權(quán)重過大或過小均會造成病態(tài)矩陣。為此,對核函數(shù)的權(quán)重施加范數(shù)約束,公式如下:

    [minω,b,ξ12m=1Mβmω(m)2+C+i=1nξi+C-i=1nξi+λm=1Mβmp1p]

    [s.t. "yim=1Mβm((ω(m))T?(m)(x(m)i)+b)≥1-ξi, " " " " " "ξi≥0,i=1,2,…,n] (5)

    通過控制過擬合,從而改善數(shù)值穩(wěn)定性和計(jì)算的精度。對于多核支持向量機(jī),其優(yōu)化問題為:

    [minω,b,ξ12m=1Mβmω(m)2+C+i=1nξi+C-i=1nξi]

    [s.t. "yim=1Mβm((ω(m))T?(m)(x(m)i)+b)≥1-ξi, " " " " "ξi≥0,i=1,2,…,n] (6)

    式中:[ω(m)]是第m個(gè)核函數(shù)對應(yīng)的向量;[?(m)(x(m)i)]是第m個(gè)核函數(shù)對應(yīng)的高維特征映射;[βm]是第m個(gè)核函數(shù)的權(quán)重。在特定的問題和數(shù)據(jù)集上,可以通過調(diào)整權(quán)重[βm]來平衡各個(gè)核函數(shù)的貢獻(xiàn),進(jìn)一步提升模型的性能。通過使用合適的優(yōu)化算法確認(rèn)p的取值,可以求得滿足約束且穩(wěn)定的多核支持向量機(jī)。

    1.4 "基于Optuna框架的參數(shù)優(yōu)化方法

    Optuna[11]是一款新興的優(yōu)化工具。本研究基于Optuna框架的超參數(shù)的確定步驟如下:

    1) 輸入機(jī)器學(xué)習(xí)模型的超參數(shù)。使用基于不同混合核函數(shù)的SVM模型,每個(gè)模型都有不同的超參數(shù)集和權(quán)重。

    2) 確定超參數(shù)的搜索范圍和類型。為了確保所選核函數(shù)的格拉姆矩陣是半正定的,且滿足Mercer條件,具體表達(dá)式及核函數(shù)參數(shù)取值要求如表1所示。

    3) 為Optuna設(shè)置目標(biāo)函數(shù),然后確定優(yōu)化方向。本研究的目標(biāo)函數(shù)和方向是最大化g?mean(geometric mean和AUC(Area Under the Curve)。

    [g?mean=recall·specificity] (7)

    式中:recall是召回率,即在正樣本上取得的準(zhǔn)確率;specificity是特異度,即在負(fù)樣本上所取得的準(zhǔn)確率。

    4) 設(shè)置Optuna的試驗(yàn)次數(shù)。本試驗(yàn)中采樣器、方向和試驗(yàn)次數(shù)分別設(shè)置為TPE采樣器、最大化和100。

    2 "實(shí)驗(yàn)結(jié)果與分析

    2.1 "實(shí)驗(yàn)設(shè)計(jì)

    采用Kaggle網(wǎng)站上與違約有關(guān)的3個(gè)公開數(shù)據(jù)集(Company Bankruptcy Prediction、Marketing Campaign和Credit Risk Customers),如表2所示,把本文所提出的模型和其他方法進(jìn)行比較,驗(yàn)證其有效性。其中每個(gè)數(shù)據(jù)集按比例6∶4劃分,即60%為訓(xùn)練集,40%為測試集。為檢驗(yàn)所提出模型的抗噪聲能力,在3個(gè)數(shù)據(jù)集的訓(xùn)練集中加入0、0.05、0.1、0.15、0.2、0.25、0.3不同方差的異常數(shù)據(jù)作為噪聲。在算法的對比中,為了確保算法的多元性,不僅有4個(gè)基礎(chǔ)核的SVM間的比較,還選擇KNN、邏輯回歸、高斯貝葉斯進(jìn)行對比。為了消除訓(xùn)練集隨機(jī)選擇的影響,在每個(gè)數(shù)據(jù)集上進(jìn)行20次重復(fù)試驗(yàn)。

    把表1中4個(gè)核函數(shù)的任意組合,即2個(gè)核函數(shù)的組合、3個(gè)核函數(shù)的組合以及4個(gè)核函數(shù)的組合進(jìn)行混合核函數(shù)構(gòu)造。為了避免病態(tài)矩陣的出現(xiàn),只選擇不同的核函數(shù)進(jìn)行組合,以確保模型的穩(wěn)定性和可靠性[12]。

    2.2 "實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)所用主機(jī)CPU型號為Intel[?] CoreTM i5?8250U CPU,主頻為1.6 GHz,內(nèi)存為8 GB,編程語言為Python 3.8,主要使用的庫為scikit?learn和Optuna。

    2.3 "參數(shù)設(shè)置

    針對二分類問題,構(gòu)建了成本矩陣。其中,預(yù)測準(zhǔn)確時(shí)的成本為0;正類錯(cuò)誤預(yù)測被賦予成本記為C1;負(fù)類錯(cuò)誤預(yù)測被賦予成本記為C2;核函數(shù)的參數(shù)及權(quán)重一起通過Optuna優(yōu)化框架確定。多項(xiàng)式核函數(shù)的d、徑向基核函數(shù)的σ、sigmoid核函數(shù)的δ和k,以及犯錯(cuò)成本C1和C2,在不同模型不同數(shù)據(jù)集的取值見表3。關(guān)于約束范數(shù)p的取值,當(dāng)p=1時(shí),部分[βm]取值趨向于0,得到[βm]的最稀疏解;當(dāng)[p→∞]時(shí),部分[βm]取值趨向于1,混合核函數(shù)[Kmix(x,x')=m=1MKm(x,x')]為非加權(quán)多核學(xué)習(xí)。根據(jù)實(shí)驗(yàn)可得,最優(yōu)的性能通常介于兩者之間,因此試驗(yàn)中p最終取值為5。這樣既能保持一定的稀疏性,又能使表現(xiàn)較好的核函數(shù)能夠保留較高的權(quán)重系數(shù)。

    2.4 "試驗(yàn)結(jié)果分析

    在沒有噪聲的情況下,任意核函數(shù)組合的Lp?Optuna?SVM的g?mean和AUC均優(yōu)于常用分類器——KNN、邏輯回歸、高斯貝葉斯以及不同單核SVM。隨著噪聲方差的增加,不同模型性能有不同程度的下降,如表4~表6所示。

    雖然在方差為0.3的噪聲下,一些多核核函數(shù)組合的性能弱于高斯貝葉斯算法,不過從整體來看,這些多核核函數(shù)組合仍保持了相對較好的魯棒性,在多樣化的噪聲條件下仍能夠保持相對一致的表現(xiàn)。而在低噪聲方差情況下,這些核函數(shù)組合的性能優(yōu)于高斯貝葉斯算法,進(jìn)一步表明它們在處理較為干凈數(shù)據(jù)時(shí)的優(yōu)越性。

    在不同數(shù)據(jù)集上,性能最優(yōu)的Lp?Optuna?SVM組合均不相同。Company Bankruptcy Prediction數(shù)據(jù)集中l(wèi)inear+POLY+sigmoid+RBF組合性能最好;在Marketing Campaign數(shù)據(jù)集中,linear+POLY+sigmoid組合呈現(xiàn)出較好的性能優(yōu)勢;而在Credit Risk Customers數(shù)據(jù)集中,POLY+RBF組合展現(xiàn)出最為出色的性能水平。因?yàn)镃ompany Bankruptcy Prediction數(shù)據(jù)集維度較高(96維),不同特征之間的關(guān)系更為復(fù)雜,需要4個(gè)核函數(shù)來捕捉復(fù)雜的關(guān)系;而Marketing Campaign數(shù)據(jù)集(58維)和Credit Risk Customers數(shù)據(jù)集(21維)分別選擇3個(gè)和2個(gè)核函數(shù)的組合在適應(yīng)性和泛化能力之間取得了較好的平衡。與使用更多核函數(shù)的組合相比,這種情況下的2個(gè)或3個(gè)核函數(shù)組合可能更好地捕捉數(shù)據(jù)集的關(guān)系,避免了模型過于復(fù)雜。因此,在處理較為復(fù)雜的數(shù)據(jù)集時(shí),根據(jù)數(shù)據(jù)集的特征數(shù)量適度地減少核函數(shù)的數(shù)量,可能有助于提高模型的性能,并降低過擬合的風(fēng)險(xiǎn)。

    3 "結(jié) "論

    在支持向量機(jī)的多核學(xué)習(xí)中,傳統(tǒng)方法如中心核對齊在確認(rèn)核函數(shù)權(quán)重時(shí)存在復(fù)雜度較高的問題,需要額外設(shè)定各個(gè)核函數(shù)的參數(shù),耗費(fèi)大量時(shí)間。為了解決這一問題并提高模型的魯棒性,本文選擇了Optuna優(yōu)化框架,通過自動(dòng)化調(diào)優(yōu),同時(shí)搜索最優(yōu)的核函數(shù)組合和參數(shù),有效減少了手動(dòng)調(diào)參的繁瑣過程,提高了優(yōu)化的效率。為進(jìn)一步增強(qiáng)模型的魯棒性,本文引入Lp范數(shù)約束對模型的權(quán)重進(jìn)行限制,防止過度擬合和過大的權(quán)重,從而增加了模型對噪聲和異常樣本的魯棒性。這種約束能夠使模型具有更高的泛化能力和抗噪聲能力。

    此外,本文還對支持向量機(jī)常用基礎(chǔ)核函數(shù)的所有不同組合進(jìn)行了探索。實(shí)驗(yàn)結(jié)果表明,在處理不同數(shù)據(jù)集時(shí),所需的核函數(shù)組合數(shù)量可能與數(shù)據(jù)的特征數(shù)量相關(guān)。然而,這些結(jié)果可能受到多個(gè)因素的影響,包括數(shù)據(jù)的維度、分布、特征之間的關(guān)系以及模型的復(fù)雜度等。因此,在核函數(shù)選擇和組合的問題上,存在著更多的復(fù)雜性和不確定性,可能需要更深入的實(shí)驗(yàn)和分析來確定最優(yōu)的策略。此外,本文通過窮舉法探討了基礎(chǔ)核函數(shù)范圍內(nèi)的所有不同核函數(shù)組合,但這個(gè)過程需要耗費(fèi)大量時(shí)間。因此,在未來的工作中,可以考慮探索基礎(chǔ)核以外的核函數(shù)組合,并嘗試改進(jìn)特定數(shù)據(jù)集下的最優(yōu)核函數(shù)組合的篩選方法,以提高優(yōu)化的效率。此外,還可以考慮探索其他融合方法的混合核函數(shù),如深度融合多核核函數(shù)等,以進(jìn)一步提高模型性能和泛化能力。

    注:本文通訊作者為王重仁。

    參考文獻(xiàn)

    [1] EWEOYA I O, ADEBIYI A A, AZETA A A, et al. Fraud prediction in loan default using support vector machine [J]. Journal of physics: conference series, 2019, 1299: 1?4.

    [2] ZHOU J, WANG W X, LU J, et al. Small unmanned helicopter modeling method based on a hybrid kernel function PSO?LSSVM [J]. Journal of supercomputing, 2023, 79(12): 13889?13906.

    [3] 祁祥洲,邢紅杰.基于中心核對齊的多核單類支持向量機(jī)[J].計(jì)算機(jī)應(yīng)用,2022,42(2):349?356.

    [4] 戴小路,汪廷華,周慧穎.基于加權(quán)馬氏距離的模糊多核支持向量機(jī)[J].計(jì)算機(jī)科學(xué),2022,49(z2):302?306.

    [5] WANG H, CHEN M Q, NIU J Q. Hyperspectral image classification method by coupling particle swarm optimization and multiple kernel support vector machine [J]. Journal of applied remote sensing, 2022, 16(3): 034534.

    [6] ZHAO S L, DING Y J, LIU X B, et al. HKAM?MKM: A hybrid kernel alignment maximization?based multiple kernel model for identifying DNA?binding proteins [J]. Computers in biology and medicine, 2022, 145: 105395.

    [7] 吳程昊,莫路鋒.基于改進(jìn)獅群算法的支持向量機(jī)參數(shù)優(yōu)化方法[J].現(xiàn)代電子技術(shù),2022,45(14):79?83.

    [8] LAI J P, LIN Y L, LIN H C, et al. Tree?based machine learning models with optuna in predicting impedance values for circuit analysis [J]. Micromachines, 2023, 14(2): 265.

    [9] VEROPOULOS K, CAMPBELL C, CRISTIANINI N. Controlling the sensitivity of support vector machines [C]// Proceedings of the International Joint Conference on Artifcial Intelligence. Montreal: IEEE, 1999: 55?60.

    [10] LI Y, ZHU Z C, HOU A L, et al. Pulmonary nodule recognition based on multiple kernel learning support vector machine?PSO [J]. Computational and mathematical methods in medicine, 2018(21): 1461470.

    [11] AKIBA T, SANO S, YANASE T, et al. Optuna: a next?generation hyperparameter optimization framework [C]// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining, Anchorage. AK, USA: IEEE, 2019: 2623?2631.

    [12] HE Q, ZHANG Q S, WANG H Y. Kernel?target alignment based multiple kernel one?class support vector machine [C]// 2019 IEEE International Conference on Systems, Man and Cybernetics. Bari, Italy: IEEE, 2019: 2083?2088.

    [13] WANG Z, HONG S S, YAO L J, et al. Multiple universum empirical kernel learning [J]. Engineering applications of artificial intelligence, 2020, 89: 103461.

    [14] OIKONOMOU V P, NIKOLOPOULOS S, KOMPATSIARIS I. A Bayesian multiple kernel learning algorithm for SSVEP BCI detection [J]. IEEE journal of biomedical and health informatics, 2019, 23(5): 1990?2001.

    [15] WANG T H, ZHANG L, HU W Y. Bridging deep and multiple kernel learning:a review [J]. Information fusion, 2021, 67: 3?13.

    [16] 蔡桂全,陶建平.基于細(xì)菌覓食優(yōu)化多核支持向量機(jī)的作物生長環(huán)境控制[J].濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版),2023(3):303?308.

    [17] 趙婉婉,任靜,劉燕南,等.基于AdaBoost多核支持向量機(jī)的跌倒檢測研究[J].輕工學(xué)報(bào),2019(3):84?91.

    三上悠亚av全集在线观看| 波多野结衣av一区二区av| 亚洲午夜精品一区,二区,三区| 亚洲国产欧美在线一区| 免费女性裸体啪啪无遮挡网站| 亚洲国产看品久久| 手机成人av网站| av国产精品久久久久影院| 啦啦啦在线免费观看视频4| 黑人猛操日本美女一级片| 亚洲av男天堂| 女警被强在线播放| 日韩伦理黄色片| av片东京热男人的天堂| 大码成人一级视频| 制服人妻中文乱码| 色播在线永久视频| 国产日韩欧美视频二区| 国产日韩欧美亚洲二区| 亚洲国产日韩一区二区| 一级片免费观看大全| 这个男人来自地球电影免费观看| 亚洲精品久久久久久婷婷小说| 观看av在线不卡| 熟女少妇亚洲综合色aaa.| 精品第一国产精品| 美女福利国产在线| 精品福利观看| 成年av动漫网址| av欧美777| 久久女婷五月综合色啪小说| 久久精品成人免费网站| 久久久久久亚洲精品国产蜜桃av| av天堂久久9| 亚洲欧美一区二区三区久久| 亚洲精品第二区| 亚洲国产欧美日韩在线播放| 国产一区有黄有色的免费视频| 国产成人系列免费观看| av欧美777| 久久精品熟女亚洲av麻豆精品| 国产不卡av网站在线观看| 免费在线观看完整版高清| 十八禁网站网址无遮挡| 99re6热这里在线精品视频| 欧美黑人欧美精品刺激| 熟女av电影| 日韩,欧美,国产一区二区三区| 免费女性裸体啪啪无遮挡网站| 欧美亚洲 丝袜 人妻 在线| 亚洲欧洲精品一区二区精品久久久| 欧美日韩精品网址| 18禁国产床啪视频网站| 69精品国产乱码久久久| 看免费av毛片| 99久久人妻综合| 国产成人精品在线电影| av又黄又爽大尺度在线免费看| 亚洲精品国产av成人精品| 亚洲国产精品国产精品| 成人亚洲欧美一区二区av| 日韩制服骚丝袜av| 不卡av一区二区三区| 亚洲av男天堂| 免费一级毛片在线播放高清视频 | 免费av中文字幕在线| 黄色视频在线播放观看不卡| 亚洲精品一二三| 丝袜人妻中文字幕| 亚洲情色 制服丝袜| 性色av一级| 免费在线观看完整版高清| 青草久久国产| 国产免费视频播放在线视频| 久久久国产欧美日韩av| 狠狠婷婷综合久久久久久88av| 成人国产av品久久久| 首页视频小说图片口味搜索 | 麻豆av在线久日| 亚洲欧洲精品一区二区精品久久久| 精品少妇一区二区三区视频日本电影| 午夜免费男女啪啪视频观看| 免费观看a级毛片全部| 精品一区二区三区av网在线观看 | 国产精品九九99| 国产精品av久久久久免费| 久久久亚洲精品成人影院| 人人妻人人澡人人看| 亚洲精品国产一区二区精华液| 男男h啪啪无遮挡| 精品少妇一区二区三区视频日本电影| 99久久人妻综合| 亚洲,欧美,日韩| 香蕉丝袜av| 亚洲一卡2卡3卡4卡5卡精品中文| 大片电影免费在线观看免费| 高清不卡的av网站| 亚洲精品一卡2卡三卡4卡5卡 | 伊人久久大香线蕉亚洲五| 97人妻天天添夜夜摸| 亚洲精品第二区| 妹子高潮喷水视频| 18禁国产床啪视频网站| 免费高清在线观看视频在线观看| 国产精品人妻久久久影院| 久久久久久久久免费视频了| 超碰成人久久| 亚洲国产欧美日韩在线播放| 国产91精品成人一区二区三区 | 日韩一区二区三区影片| 久久国产精品男人的天堂亚洲| 成人亚洲精品一区在线观看| 又大又爽又粗| 两人在一起打扑克的视频| 国产精品一区二区在线不卡| av不卡在线播放| 国产深夜福利视频在线观看| 久久久久精品人妻al黑| 嫁个100分男人电影在线观看 | 欧美变态另类bdsm刘玥| 老鸭窝网址在线观看| 精品久久蜜臀av无| 亚洲国产欧美网| 国产无遮挡羞羞视频在线观看| 国产免费又黄又爽又色| 国产亚洲欧美在线一区二区| 久久精品成人免费网站| 日韩中文字幕视频在线看片| 欧美大码av| 日韩免费高清中文字幕av| 日韩中文字幕欧美一区二区 | 国产成人av教育| 免费av中文字幕在线| 一区二区三区四区激情视频| 欧美 亚洲 国产 日韩一| 亚洲熟女毛片儿| 亚洲精品一区蜜桃| 午夜免费男女啪啪视频观看| 在线观看免费日韩欧美大片| 啦啦啦视频在线资源免费观看| videos熟女内射| 高清黄色对白视频在线免费看| 丰满人妻熟妇乱又伦精品不卡| 天堂俺去俺来也www色官网| 久久鲁丝午夜福利片| 亚洲国产av影院在线观看| 免费在线观看视频国产中文字幕亚洲 | 精品亚洲乱码少妇综合久久| 国产女主播在线喷水免费视频网站| 中国国产av一级| 亚洲 国产 在线| 中文字幕另类日韩欧美亚洲嫩草| 亚洲精品国产色婷婷电影| 欧美日韩黄片免| 国产高清不卡午夜福利| 亚洲精品国产色婷婷电影| 欧美成人精品欧美一级黄| 成人亚洲欧美一区二区av| 日韩av免费高清视频| 日韩中文字幕欧美一区二区 | 91精品伊人久久大香线蕉| 啦啦啦啦在线视频资源| 在线观看一区二区三区激情| 亚洲男人天堂网一区| 免费观看av网站的网址| 亚洲激情五月婷婷啪啪| 亚洲美女黄色视频免费看| 老司机午夜十八禁免费视频| 国产精品一区二区免费欧美 | 老司机深夜福利视频在线观看 | 少妇精品久久久久久久| 亚洲精品美女久久久久99蜜臀 | 超碰成人久久| 少妇粗大呻吟视频| 一区二区日韩欧美中文字幕| 免费观看av网站的网址| 七月丁香在线播放| 午夜福利视频精品| 久久亚洲精品不卡| 久久这里只有精品19| 免费日韩欧美在线观看| 精品少妇黑人巨大在线播放| xxx大片免费视频| 99热全是精品| 丝袜美腿诱惑在线| 国产成人av激情在线播放| 亚洲少妇的诱惑av| 成人黄色视频免费在线看| 美国免费a级毛片| 18禁国产床啪视频网站| 大码成人一级视频| 黑人巨大精品欧美一区二区蜜桃| 视频在线观看一区二区三区| 亚洲精品国产av成人精品| 国产91精品成人一区二区三区 | 青草久久国产| 下体分泌物呈黄色| 黑丝袜美女国产一区| 欧美中文综合在线视频| 黄色 视频免费看| 免费女性裸体啪啪无遮挡网站| 两个人看的免费小视频| 涩涩av久久男人的天堂| 国产一区二区三区av在线| 国语对白做爰xxxⅹ性视频网站| 国产91精品成人一区二区三区 | 国产熟女午夜一区二区三区| 女性被躁到高潮视频| 久久精品国产亚洲av涩爱| 精品久久蜜臀av无| 999精品在线视频| 性色av乱码一区二区三区2| 欧美日韩视频高清一区二区三区二| 国产野战对白在线观看| 国产熟女午夜一区二区三区| 久久人人爽人人片av| 日本黄色日本黄色录像| 丰满人妻熟妇乱又伦精品不卡| 韩国精品一区二区三区| 国产色视频综合| 2021少妇久久久久久久久久久| 在线精品无人区一区二区三| 国产精品三级大全| 十八禁高潮呻吟视频| 亚洲av日韩在线播放| 七月丁香在线播放| 中文字幕亚洲精品专区| 看十八女毛片水多多多| 黄色片一级片一级黄色片| 丝袜脚勾引网站| 女人久久www免费人成看片| www.精华液| av线在线观看网站| 波多野结衣一区麻豆| 在线 av 中文字幕| 在线天堂中文资源库| 午夜久久久在线观看| 人人妻,人人澡人人爽秒播 | 亚洲三区欧美一区| 国产成人一区二区在线| 欧美日韩一级在线毛片| 男男h啪啪无遮挡| 丝瓜视频免费看黄片| 亚洲国产日韩一区二区| 国产熟女午夜一区二区三区| 午夜免费鲁丝| 亚洲精品中文字幕在线视频| 看免费成人av毛片| 男女免费视频国产| www.精华液| 9热在线视频观看99| 欧美97在线视频| 久久精品国产亚洲av高清一级| 国产精品亚洲av一区麻豆| 99国产精品99久久久久| 黑人巨大精品欧美一区二区蜜桃| 亚洲国产日韩一区二区| 精品国产乱码久久久久久小说| 久久青草综合色| 悠悠久久av| 一本一本久久a久久精品综合妖精| 麻豆国产av国片精品| 无限看片的www在线观看| 欧美黑人欧美精品刺激| 久久午夜综合久久蜜桃| 午夜福利一区二区在线看| 女人精品久久久久毛片| 欧美+亚洲+日韩+国产| 汤姆久久久久久久影院中文字幕| a 毛片基地| 大陆偷拍与自拍| 天堂8中文在线网| 在线观看免费视频网站a站| 国产成人91sexporn| 欧美日韩黄片免| 老鸭窝网址在线观看| 美国免费a级毛片| 黄色视频不卡| 精品少妇久久久久久888优播| 国产主播在线观看一区二区 | 欧美在线黄色| 操美女的视频在线观看| www.自偷自拍.com| 久久精品久久久久久噜噜老黄| 97精品久久久久久久久久精品| 狠狠婷婷综合久久久久久88av| 国产1区2区3区精品| 蜜桃在线观看..| 中文精品一卡2卡3卡4更新| 欧美+亚洲+日韩+国产| 久久九九热精品免费| 亚洲国产精品成人久久小说| 美女脱内裤让男人舔精品视频| 精品少妇久久久久久888优播| 久久毛片免费看一区二区三区| 一级毛片 在线播放| 午夜激情av网站| 啦啦啦 在线观看视频| 亚洲人成电影免费在线| 精品卡一卡二卡四卡免费| 男人舔女人的私密视频| 黄色视频不卡| 亚洲免费av在线视频| 国产精品熟女久久久久浪| 无遮挡黄片免费观看| 国产亚洲欧美在线一区二区| 极品人妻少妇av视频| 丁香六月欧美| 99久久人妻综合| 99国产精品一区二区蜜桃av | 99国产精品一区二区三区| 国产免费又黄又爽又色| 久久免费观看电影| 亚洲精品国产色婷婷电影| 亚洲精品国产区一区二| 国产三级黄色录像| 久久这里只有精品19| 亚洲一区中文字幕在线| 19禁男女啪啪无遮挡网站| 男女国产视频网站| 男女无遮挡免费网站观看| 亚洲欧美中文字幕日韩二区| 国产福利在线免费观看视频| 美女国产高潮福利片在线看| 交换朋友夫妻互换小说| 国产在视频线精品| 中文字幕另类日韩欧美亚洲嫩草| 一本大道久久a久久精品| 国产男女超爽视频在线观看| av国产久精品久网站免费入址| 美女高潮到喷水免费观看| 一级毛片女人18水好多 | 大片免费播放器 马上看| 亚洲精品美女久久av网站| 亚洲国产精品一区三区| 欧美老熟妇乱子伦牲交| 在线观看国产h片| 欧美黑人精品巨大| 国产亚洲午夜精品一区二区久久| 午夜福利一区二区在线看| 免费久久久久久久精品成人欧美视频| 国产真人三级小视频在线观看| 国产精品亚洲av一区麻豆| 日本五十路高清| 国产一区二区在线观看av| 中文字幕亚洲精品专区| 黄色片一级片一级黄色片| 久久久久久久大尺度免费视频| 欧美日韩视频精品一区| 老司机靠b影院| 日韩av在线免费看完整版不卡| 一边摸一边抽搐一进一出视频| 天堂中文最新版在线下载| 无限看片的www在线观看| 尾随美女入室| 亚洲人成电影免费在线| 欧美性长视频在线观看| 国产在线视频一区二区| 欧美黄色淫秽网站| 最近手机中文字幕大全| 国产真人三级小视频在线观看| 久久精品成人免费网站| 天堂8中文在线网| 飞空精品影院首页| 国产熟女欧美一区二区| 亚洲欧洲日产国产| 少妇粗大呻吟视频| 免费女性裸体啪啪无遮挡网站| 国产激情久久老熟女| 午夜视频精品福利| 成年美女黄网站色视频大全免费| 两个人看的免费小视频| 十八禁网站网址无遮挡| 久久 成人 亚洲| 九草在线视频观看| 99久久99久久久精品蜜桃| 90打野战视频偷拍视频| 婷婷色综合www| 免费观看av网站的网址| 9热在线视频观看99| 久久久久久久久久久久大奶| 一边摸一边做爽爽视频免费| 波多野结衣一区麻豆| 飞空精品影院首页| 亚洲国产av影院在线观看| 亚洲伊人色综图| 99久久精品国产亚洲精品| 国产深夜福利视频在线观看| 桃花免费在线播放| 国产xxxxx性猛交| 精品欧美一区二区三区在线| 80岁老熟妇乱子伦牲交| 成人国语在线视频| 在线亚洲精品国产二区图片欧美| 久久免费观看电影| 日韩免费高清中文字幕av| 岛国毛片在线播放| 午夜福利视频精品| 肉色欧美久久久久久久蜜桃| 曰老女人黄片| 只有这里有精品99| 99热全是精品| 精品免费久久久久久久清纯 | 免费在线观看日本一区| 国产野战对白在线观看| 亚洲人成电影观看| 9191精品国产免费久久| 免费在线观看完整版高清| 熟女少妇亚洲综合色aaa.| 91字幕亚洲| 欧美日韩成人在线一区二区| 欧美日韩精品网址| 免费女性裸体啪啪无遮挡网站| 少妇猛男粗大的猛烈进出视频| 尾随美女入室| 国产亚洲午夜精品一区二区久久| 欧美精品高潮呻吟av久久| 一区二区av电影网| 黄色 视频免费看| 这个男人来自地球电影免费观看| 女人爽到高潮嗷嗷叫在线视频| 19禁男女啪啪无遮挡网站| 国产精品一区二区免费欧美 | 男女午夜视频在线观看| 国产黄色免费在线视频| 高清不卡的av网站| 日韩 欧美 亚洲 中文字幕| 少妇人妻 视频| 黄色 视频免费看| 视频区图区小说| 国产亚洲av片在线观看秒播厂| 精品欧美一区二区三区在线| 亚洲视频免费观看视频| 欧美久久黑人一区二区| 美女高潮到喷水免费观看| 色播在线永久视频| 高清黄色对白视频在线免费看| 2021少妇久久久久久久久久久| 国产成人精品无人区| a级毛片黄视频| 日韩大码丰满熟妇| 999久久久国产精品视频| 99热国产这里只有精品6| 女人高潮潮喷娇喘18禁视频| 成年女人毛片免费观看观看9 | 欧美成狂野欧美在线观看| 女人被躁到高潮嗷嗷叫费观| 色婷婷av一区二区三区视频| 午夜影院在线不卡| 成人18禁高潮啪啪吃奶动态图| 久久鲁丝午夜福利片| 精品国产国语对白av| 欧美国产精品va在线观看不卡| 国产成人精品在线电影| 看免费av毛片| 亚洲,欧美,日韩| 丰满迷人的少妇在线观看| 考比视频在线观看| 免费av中文字幕在线| 在线精品无人区一区二区三| 大片免费播放器 马上看| 欧美xxⅹ黑人| 9热在线视频观看99| 久久精品亚洲av国产电影网| 亚洲伊人色综图| 午夜激情久久久久久久| 人人妻人人爽人人添夜夜欢视频| 国产成人精品久久二区二区免费| 天天操日日干夜夜撸| 国产视频一区二区在线看| 亚洲色图 男人天堂 中文字幕| 欧美+亚洲+日韩+国产| 国产精品人妻久久久影院| 亚洲视频免费观看视频| 午夜福利视频精品| cao死你这个sao货| 亚洲精品在线美女| 91国产中文字幕| 日韩中文字幕欧美一区二区 | 我要看黄色一级片免费的| 欧美激情极品国产一区二区三区| 免费久久久久久久精品成人欧美视频| 国产免费又黄又爽又色| 精品欧美一区二区三区在线| 国产日韩欧美在线精品| 精品久久蜜臀av无| 男女无遮挡免费网站观看| 亚洲精品国产一区二区精华液| av欧美777| 黑人猛操日本美女一级片| h视频一区二区三区| 一边亲一边摸免费视频| avwww免费| 91麻豆av在线| 国产精品久久久av美女十八| 午夜福利视频在线观看免费| av福利片在线| 18禁观看日本| 亚洲美女黄色视频免费看| 亚洲欧美激情在线| 1024视频免费在线观看| 中文字幕精品免费在线观看视频| 亚洲欧美一区二区三区黑人| 老司机在亚洲福利影院| 国产福利在线免费观看视频| 欧美日韩av久久| 亚洲精品久久久久久婷婷小说| 麻豆乱淫一区二区| 日本av免费视频播放| 欧美日韩亚洲高清精品| 精品国产乱码久久久久久小说| 好男人电影高清在线观看| 午夜老司机福利片| 老司机靠b影院| 中文欧美无线码| 精品国产超薄肉色丝袜足j| 观看av在线不卡| 久久精品久久久久久久性| 亚洲五月婷婷丁香| 在线观看www视频免费| 欧美人与性动交α欧美精品济南到| 午夜精品国产一区二区电影| 欧美日韩视频精品一区| 久久久久久人人人人人| 亚洲色图 男人天堂 中文字幕| 女性被躁到高潮视频| 麻豆av在线久日| 最近手机中文字幕大全| 精品国产乱码久久久久久男人| 国产精品久久久久成人av| 国产成人精品无人区| 亚洲午夜精品一区,二区,三区| 久久中文字幕一级| 一边摸一边抽搐一进一出视频| 汤姆久久久久久久影院中文字幕| 一边摸一边做爽爽视频免费| 久久99精品国语久久久| 免费在线观看影片大全网站 | 日本午夜av视频| av天堂在线播放| 中国美女看黄片| 日韩一区二区三区影片| 亚洲精品久久久久久婷婷小说| 丰满饥渴人妻一区二区三| 亚洲人成电影观看| 国产日韩欧美视频二区| 只有这里有精品99| 欧美亚洲日本最大视频资源| 久久久精品国产亚洲av高清涩受| 精品亚洲成国产av| 亚洲欧洲日产国产| 人人妻人人爽人人添夜夜欢视频| 啦啦啦视频在线资源免费观看| 色网站视频免费| 免费日韩欧美在线观看| 这个男人来自地球电影免费观看| 亚洲国产欧美日韩在线播放| 99热国产这里只有精品6| av天堂在线播放| 成人国语在线视频| 精品一品国产午夜福利视频| 亚洲国产精品一区三区| 五月开心婷婷网| 久久精品国产综合久久久| 性色av乱码一区二区三区2| 在现免费观看毛片| 99精国产麻豆久久婷婷| 无限看片的www在线观看| 婷婷色麻豆天堂久久| 又紧又爽又黄一区二区| 免费高清在线观看视频在线观看| 欧美日韩黄片免| 日本午夜av视频| 丁香六月天网| 一级毛片电影观看| 国产在线一区二区三区精| 亚洲国产av新网站| 精品人妻一区二区三区麻豆| 亚洲成国产人片在线观看| 青春草视频在线免费观看| 两个人看的免费小视频| 久久精品人人爽人人爽视色| 免费日韩欧美在线观看| 免费看十八禁软件| 免费看av在线观看网站| bbb黄色大片| 久久人人97超碰香蕉20202| 成年女人毛片免费观看观看9 | 一区二区日韩欧美中文字幕| 精品一区二区三区av网在线观看 | xxxhd国产人妻xxx| 国产熟女欧美一区二区| 9热在线视频观看99| 亚洲五月婷婷丁香| 欧美日韩亚洲高清精品| 人人妻人人澡人人看| 97在线人人人人妻| xxx大片免费视频| 欧美变态另类bdsm刘玥| 国产视频首页在线观看| 男女床上黄色一级片免费看| 啦啦啦在线免费观看视频4| 色网站视频免费| 精品福利观看| 日韩大码丰满熟妇| 蜜桃国产av成人99| 七月丁香在线播放| 两个人免费观看高清视频| 高潮久久久久久久久久久不卡| 国产在线免费精品| 老司机影院成人| 69精品国产乱码久久久| 免费少妇av软件| svipshipincom国产片| 亚洲久久久国产精品|