基于多策略融合斑馬優(yōu)化算法的特征選擇方法

摘 "要： 針對傳統(tǒng)斑馬優(yōu)化算法在求解復雜優(yōu)化問題時精度低、收斂速度慢和易陷入局部最優(yōu)的不足，提出一種多策略融合的改進斑馬優(yōu)化算法（IZOA）。首先，為解決斑馬個體初始位置分布不均勻的問題，引入混沌映射來增加探索過程的種群多樣性；其次，受自適應權(quán)重和黃金正弦算法思想啟發(fā)，提出一種基于自適應遞減權(quán)重和黃金正弦更新機制的位置更新策略，用于改進斑馬算法的局部尋優(yōu)與全局探索能力；然后，進行標準測試函數(shù)實驗，驗證了IZOA能夠有效提升尋優(yōu)精度和收斂速度；最后，將K近鄰分類器作為待優(yōu)化目標，選取UCI庫的12個標準數(shù)據(jù)集進行特征選擇實驗，并利用改進后的算法在特征選擇模型中進行最優(yōu)特征子集搜尋。實驗結(jié)果表明，相比傳統(tǒng)算法，所提算法的平均分類準確率提升4.47%，平均適應度值降低2.5%，驗證了該算法在特征選擇領(lǐng)域的優(yōu)越性。

關(guān)鍵詞： 斑馬優(yōu)化算法； 多策略融合； 特征選擇； 混沌映射； 自適應權(quán)重； 黃金正弦算法； K近鄰分類器

中圖分類號： TN911?34； TP301.6 " " " " " " " " " 文獻標識碼： A " " " " " " " " " "文章編號： 1004?373X（2024）18?0149?07

Method of feature selection based on multiple?strategies fusion ZOA

WANG Zhen， WANG Xinchun， YANG Peihong， FEI Pengyu， ZHENG Xuekui

（School of Automation and Electrical Engineering， Inner Mongolia University of Science and Technology， Baotou 014010， China）

Abstract： In allusion to the shortcomings of traditional zebra optimization algorithm （ZOA） in solving complex optimization problems， such as low accuracy， slow convergence speed， and susceptibility to local optima， an improved zebra optimization algorithm （IZOA） based on multi?strategies fusion is proposed. In order to improve the uneven initial position distribution of zebra individuals， chaos mapping is introduced to increase the population diversity during the exploration process. Inspired by the ideas of adaptive weighting and the golden sine algorithm （Gold?SA）， a position update strategy based on adaptive decending weight and goldensine update mechanism is proposed to improve the local optimization and global exploration capabilities of the zebra algorithm. The experiment of standard test function is conducted to verify that IZOA can effectively improve the optimization accuracy and convergence speed. With K?nearest neighbors （KNN） as the target to be optimized， 12 standard data sets of UCI database are selected for feature selection experiments， and the improved algorithm is used to search the optimal feature subset in the feature selection model. The experimental results demonstrate that， in comparison with the original algorithm， the average classification accuracy is improved by 4.47%， and the average fitness value is reduced by 2.5%， validating the superiority of the proposed algorithm in the field of feature selection.

Keywords： zebra optimization algorithm; multi?strategies fusion; feature selection; chaos mapping; adaptive weight; golden sine algorithm; K?nearest neighbors

0 "引 "言

大數(shù)據(jù)時代，數(shù)據(jù)計算需求日益增加，在機器學習和數(shù)據(jù)挖掘等領(lǐng)域，當數(shù)據(jù)集維度高且存在大量冗余無用特征時，會嚴重影響到算法性能。因此，數(shù)據(jù)預處理對于獲得高質(zhì)量的數(shù)據(jù)集至關(guān)重要。特征選擇基于一定的評價準則，從原特征集合中選取相關(guān)特征子集，剔除相關(guān)性不強的特征，從而提高數(shù)據(jù)挖掘的效率。當前用于特征提取的主要方法包括三種：過濾法、封裝法和嵌入法[1]。過濾法依據(jù)數(shù)據(jù)集內(nèi)的固有屬性及相互關(guān)系，通過統(tǒng)計分析和評估來選取特征，簡單易行且效率較高，缺點是精度較低。如：主成分分析法、相關(guān)性法等。封裝法直接利用模型來評估特征的重要性，通過訓練模型并根據(jù)模型性能如準確率、誤差等來選擇特征，代表性方法有遞歸特征消除、前向特征選擇等。封裝法更加直接且準確，但計算成本較高。嵌入法是一種介于過濾法和封裝法之間的方法，它將特征選擇融入到模型訓練的過程中，通過模型自身的特性來評估特征的重要性，并根據(jù)其對模型損失函數(shù)的影響進行特征選擇[2]。常見的嵌入法包括正則化方法、集成學習方法等。嵌入法在效率和穩(wěn)定性上有優(yōu)勢，更適合在大規(guī)模數(shù)據(jù)集和復雜模型下進行特征選擇。

近年來，受生物行為和自然現(xiàn)象啟發(fā)的元啟發(fā)式優(yōu)化算法被引入作為嵌入法的搜索機制，該算法能有效提升特征選擇和數(shù)據(jù)分類的準確率。

文獻[3]提出一種基于反向?qū)W習和自適應擾動的改進飛蛾撲火優(yōu)化算法，將其應用于奶牛隱性乳腺炎特征選擇中，極大地改善了分類效果。文獻[4]提出一種基于改進的禿鷹搜索算法的同步優(yōu)化特征選擇方法，以支持向量機核函數(shù)參數(shù)作為優(yōu)化目標，并獲得相應的最優(yōu)特征子集。該方法在數(shù)據(jù)分類時具有出色表現(xiàn)。這些成功應用證明了元啟發(fā)式算法在特征選擇領(lǐng)域的潛力和有效性[5]。

2022年，Eva Trojovská等學者提出了一種名為斑馬算法（Zebra Optimization Algorithm， ZOA）的全新元啟發(fā)式算法，其由于良好的全局尋優(yōu)能力，可以高效地求解各類優(yōu)化問題。因此，本文選擇ZOA算法進行探索和研究，提出一種多策略融合的改進斑馬優(yōu)化算法（IZOA）。

首先將Hénon混沌映射、自適應權(quán)重和黃金正弦算法三種策略引入斑馬優(yōu)化算法，目的是增強其在開發(fā)和勘探階段的尋優(yōu)能力；其次，通過12個單峰多峰測試函數(shù)驗證改進斑馬優(yōu)化算法的有效性；最后，利用改進優(yōu)化算法優(yōu)化KNN分類器，建立特征選擇模型，以分類精度為目標進行特征選擇，使用UCI標準庫12個不同類型的數(shù)據(jù)集進行測試實驗，并與其他優(yōu)化算法進行對比，驗證該方法在全局尋優(yōu)能力和特征選取上的優(yōu)勢。

1 "背景知識

1.1 "斑馬優(yōu)化算法

斑馬遍布非洲東部和南部地區(qū)，以身上黑白條紋聞名，主要以草木植物為食。ZOA算法以斑馬在覓食和防御捕食者時的行為進行模擬，分為覓食和防御捕食兩個階段，數(shù)學模型如下所示。

在覓食階段，根據(jù)斑馬在尋找食物時的行為模擬來更新種群成員。先鋒斑馬為其他斑馬開辟前往覓食的道路，確定最佳搜尋空間區(qū)域，行為描述為：

[xnew，P1i=xi，j+r?（PZ-I?xi，j）] （1）

[Xi=Xnew，P1i， "Fnew，P1ilt;FiXi， " " " " else] （2）

式中：[r]為[0，1]之間的隨機數(shù)；[I]為屬于集合[1，2]的隨機值；[PZ]為最優(yōu)先鋒斑馬的位置。

在防御捕食階段，模擬斑馬面對捕食者攻擊的防御策略，以更新ZOA種群成員在搜索空間中的位置。斑馬的主要捕食者是獅子，此外還會受到獵豹、野狗等較小食肉動物的威脅。在受到獅子攻擊時，斑馬選擇逃跑策略；面對其他捕食者，斑馬會選擇進攻策略。兩種方式以相同的概率發(fā)生，促使斑馬種群個體向最佳位置移動。斑馬位置更新公式如下：

[xnew，P2i，j=xi，j+C?（2r-1）?（1-tT）?xi，j， " Ps≤0.5xi，j+r?（AZj-I?xi，j）， " " " " " " " " " " " " else] （3）

[Xi=Xnew，P2i， " Fnew，P2ilt;FiXi， " " " " "else] （4）

式中：[t]為迭代次數(shù)；[T]為最大迭代次數(shù)；[C]為0.01的常數(shù)；[Ps]為兩種策略的切換概率，其值為[0，1]的隨機數(shù)；[AZ]為被攻擊斑馬的狀態(tài)。

1.2 "Hénon混沌映射

Hénon映射是一種經(jīng)典的二維離散混沌映射[6]，由Michel Hénon于1976年提出，以探索混沌動力學中的吸引子和邊界為目的而設(shè)計。迭代方程如下：

[xn+1=1+yn-ax2nyn+1=bxn] （5）

式中，[a]和[b]是控制參數(shù)，通常取特定的值以產(chǎn)生混沌效果。

1.3 "自適應權(quán)重

自適應權(quán)重指的是在算法的迭代過程中，根據(jù)問題的特性動態(tài)調(diào)整權(quán)重的數(shù)值，以平衡全局搜索和局部尋優(yōu)能力。文獻[7]提出了一種呈指數(shù)改變的自適應權(quán)重方法，算法在初始階段使用較高的權(quán)重以實現(xiàn)更強的全局搜索性能，確保搜索范圍廣泛。隨著迭代次數(shù)增加，當接近最優(yōu)解時，權(quán)重值將呈指數(shù)級減小，從而顯著增強算法的局部搜索能力。自適應權(quán)重公式如下所示。

[w=e-（10?tT）2] （6）

1.4 "黃金正弦算法

黃金正弦算法（Golden Sine Algorithm， Gold?SA）是2017年由Tanyildizi等人受黃金分割比例和正弦函數(shù)啟發(fā)提出的一種元啟發(fā)式算法[8]，通過遍歷正弦函數(shù)的所有值來覆蓋整個單位圓。算法引入黃金分割數(shù)[c1]和[c2]縮小解空間的范圍，使搜索和開發(fā)達到良好的平衡，公式如下：

[c1=a+b（1-τ）c2=a（1-τ）+bτ] （7）

式中：[τ=5-12]為黃金分割數(shù)；[a]和[b]的初始默認值分別為[-π]和[π]。

黃金正弦算法的位置更新公式如下：

[xi（t+1）=xtisinr1-r2sinr1c1Xb-c2xti] （8）

式中[r1]和[r2]為隨機數(shù)。[r1∈0，2π]決定迭代個體的移動距離；[r2∈0，π]決定迭代個體的位置更新方向。

1.5 "K近鄰分類器

K近鄰（K?Nearest Neighbors， KNN）分類器是一種經(jīng)典的基于實例的監(jiān)督學習算法[9]，被廣泛應用于分類和回歸問題。K近鄰分類器的基本思想是：當預測新樣本的類別時，會根據(jù)該樣本與最近的K個樣本點的類別來確定新樣本的類別歸屬。本文使用歐氏距離來定義被測對象與訓練樣本的距離，公式如下：

[Dist（X，Y）=（x1-y1）2+（x2-y2）2+…+xn-yn22] （9）

在算法中，K的取值會影響異常值的處理和分類，較小的K值可能導致模型過度擬合數(shù)據(jù)，而較大的K值則可能導致模型欠擬合。因此，本文采取基于交叉驗證的方法來選取K值。

2 "基于IZOA的特征選擇方法

2.1 "改進斑馬優(yōu)化算法

文獻[10]在原ZOA算法中指出，斑馬個體在搜索空間中的初始位置是隨機分配的，可能會導致斑馬算法中個體位置充滿不確定性，降低種群的多樣性，所以采用混沌映射替代原算法中的隨機生成種群。混沌映射生成的序列在空間中具有良好的分布特性，有助于更全面、穩(wěn)定地探索空間。

斑馬算法在局部尋優(yōu)時僅能接近而不足以深入探索局部最優(yōu)解，針對這個問題，本文受文獻[11]啟發(fā)，提出一種指數(shù)變化自適應權(quán)重方法。在覓食階段，即在斑馬靠近食物時，通過較小的權(quán)重來調(diào)整最佳斑馬的位置，提升斑馬的局部優(yōu)化能力，加速探索進程。引入指數(shù)變化自適應權(quán)重方法后式（1）改為：

[xnew，P1i=??xi，j+r?（PZ-I?xi，j）] （10）

在基本斑馬算法中個體全局搜索效率較低，算法后期較容易陷入局部最優(yōu)，而Gold?SA算法可以通過在算法迭代過程中不斷縮小當前解空間的方式，提高算法后期的搜索效率與尋優(yōu)精度。所以本文在ZOA斑馬防御捕食者位置更新過程中融合黃金正弦算法，利用黃金比例系數(shù)的特性縮小解空間，提高算法收斂速度，平衡算法搜索和開發(fā)能力，全面提高算法性能。融合后式（3）改為：

[xnew，P2i，j=xi，jsinr1-r2sinr1c1PZ-c2xi，j， " " " "Ps≤0.5xi，jsinr1-r2sinr1c1?AZj-c2Ixi，j， "else] （11）

基于上述改善算法尋優(yōu)能力的三處改進，新算法命名為IZOA（Improved Zebra Optimization Algorithm）。

2.2 "IZOA算法優(yōu)化KNN的特征選擇

利用IZOA算法優(yōu)化K近鄰分類器，建立特征選擇模型。模型分類準確率取決于所選特征的質(zhì)量和數(shù)量。在尋優(yōu)過程中，需要通過適應度函數(shù)對解的效果進行評估，旨在實現(xiàn)特征數(shù)量與分類精度之間的最優(yōu)平衡。選出的特征集既要保證高效的分類性能，又要保持特征數(shù)量的合理性。

設(shè)計適應度函數(shù)如下：

[Fitness=α?Acc+β（1+RN）] （12）

式中：[Acc]為分類準確率；[R]和[N]分別為特征選擇選定的特征子集個數(shù)和原始數(shù)據(jù)集特征總數(shù)；[α]和[β]分別為用于評估分類準確性和最優(yōu)特征子集個數(shù)的重要性系數(shù)，[α+β=1]。

基于上述設(shè)計，本文提出的基于IZOA的KNN模型特征選擇流程如圖1所示。

3 "實驗與分析

3.1 "基準測試函數(shù)實驗

為了驗證本文所提出的改進算法在尋優(yōu)性能上的表現(xiàn)，對改進算法前后進行標準函數(shù)測試實驗。并選取其他4種經(jīng)典優(yōu)化算法，包括粒子群算法[12]（PSO）、遺傳算法[13]（GA）、鯨魚優(yōu)化算法[11]（WOA）、蜣螂優(yōu)化算法[14]（DBO）進行對比。

基準函數(shù)中，F(xiàn)1～F6為單峰測試函數(shù)，旨在評估算法的局部優(yōu)化性能和計算精確度；F7～F12為多峰測試函數(shù)，用于檢驗算法的全局搜索能力和逃離局部最優(yōu)解的能力，具體信息如表1所示。

實驗設(shè)置上，所有算法的種群規(guī)模為30，迭代次數(shù)為500，基準測試函數(shù)的搜索維度設(shè)置為30，每種算法在Matlab 2018b環(huán)境下獨立運行30次。算法的優(yōu)化效果通過計算適應度的平均值（Mean）和標準差（Std）來評估。其中，均值越小收斂性越好，標準差越小尋優(yōu)越穩(wěn)定。

IZOA算法與其他算法的測試函數(shù)結(jié)果對比如表2所示。從結(jié)果看，無論單峰還是多峰情形，IZOA算法在求解12個測試函數(shù)的標準差均為最小，在大多數(shù)基準函數(shù)上都能求解到理論最優(yōu)解，說明該算法具有良好的收斂效果和求解精度。

圖2展示了不同算法在求解測試函數(shù)時的平均收斂曲線。從對應的迭代曲線上來看，對于單峰測試函數(shù)F1～F4，IZOA算法能夠迅速找到最優(yōu)值0，相比之下其他算法直到迭代結(jié)束也未能收斂至0。

在求解多峰測試函數(shù)F7和F12時，迭代后期其他算法明顯傾向于陷入局部最優(yōu)，而IZOA算法則表現(xiàn)出優(yōu)秀的跳出局部最優(yōu)的能力。綜上，IZOA算法在各類標準測試函數(shù)上的性能均優(yōu)于對比算法。

3.2 "特征選擇實驗

為了驗證IZOA算法的特征選擇效果，使用加州大學UCI機器學習數(shù)據(jù)庫中的12個標準數(shù)據(jù)集作為測試對象，詳細信息如表3所示。

實驗前需要對數(shù)據(jù)集預處理，對所有特征值歸一化以改善算法性能。種群大小和最大迭代次數(shù)分別設(shè)置為30和100，使用K折交叉驗證[15]將數(shù)據(jù)集分成K個小組，在K次迭代中，選取1個子集為測試集，K-1個訓練集，在測試集上訓練并評估模型性能，確保模型準確性。

為了評估本文算法在特征選擇上的性能，采用以下指標對算法的表現(xiàn)進行評價。

平均準確率：算法重復執(zhí)行N次后獲得的準確率的平均值，其公式為：

[AvgAcc=1Ni=1NAcc（i）] （13）

平均適應度值：算法重復執(zhí)行N次后獲得的適應度值的平均值，其公式表達為：

[AvgFit=1Ni=1NFitBest（i）] （14）

平均特征選擇個數(shù)：算法選出的特征子集中特征數(shù)量的平均值，其公式表達為：

[AvgFn=1Ni=1Nn（i）] （15）

式中，[n（i）]是第i次執(zhí)行算法后得到最優(yōu)解而選擇的特征數(shù)量。

表4數(shù)據(jù)顯示，IZOA算法在12個數(shù)據(jù)集中有10個的平均適應度值超越了其他算法，穩(wěn)居首位。其中相較于ZOA平均適應度值降低2.5%，僅在Wdbc和Winedata數(shù)據(jù)集上的表現(xiàn)落后于DBO算法。就整體而言，所提算法在絕大多數(shù)低、高維數(shù)據(jù)集中表現(xiàn)良好。

從表5中的平均準確率結(jié)果可以看出，IZOA算法在12個數(shù)據(jù)集上的分類準確率均優(yōu)于其他比較算法，并在4個數(shù)據(jù)集中實現(xiàn)了100%的分類準確率，其中相較于ZOA平均分類準確率提升4.47%。以上結(jié)果表明，改進斑馬算法較其他算法在特征選擇領(lǐng)域具有顯著優(yōu)勢。

表6展示了平均特征選擇結(jié)果，雖然某些數(shù)據(jù)集上其他算法的特征選擇個數(shù)更低，但在特征選擇的過程中，分類準確度是首要考量標準。刪除冗余特征的同時，應最小化對算法準確率的影響。

表3 "UCI數(shù)據(jù)集列表

[序號 數(shù)據(jù)集 特征數(shù) 樣本數(shù) 1 WBC 9 683 2 Winedata 13 178 3 Austra 14 690 4 Parliment1984 16 435 5 Zoo 16 101 6 Lymphography 18 148 7 WallEW 24 5 426 8 Wdbc 30 569 9 Ionosphere 34 351 10 Spambase 57 4 600 11 Air 64 359 12 Dnatest 180 1 186 ]

4 "結(jié) "語

針對基本ZOA算法的不足，從三個方面進行改進，即基于混沌映射的初始化策略、自適應權(quán)重策略和基于黃金正弦算法的位置更新策略，提出改進后算法IZOA。將IZOA算法與DBO、WOA、PSO、GA和ZOA算法基于測試函數(shù)進行驗證對比。實驗結(jié)果表明，本文提出的IZOA算法在收斂效果和尋優(yōu)精度上都要優(yōu)于其他算法。其次，建立基于IZOA的KNN特征選擇模型，在UCI數(shù)據(jù)集進行特征選擇實驗。

實驗結(jié)果表明，在不同維度和數(shù)量的樣本數(shù)據(jù)中，IZOA能夠有效降低選擇數(shù)據(jù)特征維度，提升分類準確率。未來的研究將集中在進一步增強算法效率，以實現(xiàn)對更大規(guī)模和更高維度數(shù)據(jù)集的精確分類。

注：本文通訊作者為王新春。

參考文獻

[1] 陳亮，湯顯峰.改進正余弦算法優(yōu)化特征選擇及數(shù)據(jù)分類[J].計算機應用，2022，42（6）：1852?1861.

[2] 劉振超，苑迎春，王克儉，等.融合特征權(quán)重與改進粒子群優(yōu)化的特征選擇算法[J].計算機工程與科學，2024，46（2）：282?291.

[3] 王智慧，代永強，劉歡.基于改進飛蛾撲火優(yōu)化算法的奶牛隱性乳腺炎特征選擇[J].黑龍江畜牧獸醫(yī)，2024（4）：8?16.

[4] 賈鶴鳴，姜子超，李瑤.基于改進禿鷹搜索算法的同步優(yōu)化特征選擇[J].控制與決策，2022，37（2）：445?454.

[5] 孫中皋，韓雨晴，鄒存博，等.基于黃金正弦與重啟機制的二進制樽海鞘算法[J].遼寧師范大學學報（自然科學版），2023，46（2）：177?185.

[6] 李守玉，何慶，杜逆索.混沌反饋共享和群體協(xié)同效應的蝴蝶優(yōu)化算法[J].計算機科學與探索，2022，16（7）：1661?1672.

[7] 高文欣，劉升，肖子雅，等.柯西變異和自適應權(quán)重優(yōu)化的蝴蝶算法[J].計算機工程與應用，2020，56（15）：43?50.

[8] ZHANG J ，WANG S J. Improved whale optimization algorithm based on nonlinear adaptive weight and golden sine operator [J]. IEEE access， 2020（8）： 877013?877048.

[9] 趙小強，強睿儒.基于改進的哈里斯鷹優(yōu)化算法的特征選擇[J].蘭州理工大學學報，2023，49（5）：93?101.

[10] TROJOVSKá E， DEHGHANI M， TROJOVSKY P. Zebra optimization algorithm： a new bio?inspired optimization algorithm for solving optimization algorithm [J]. IEEE access， 2022， 10： 49445?49473.

[11] WEI F， LI J， ZHANG Y. Improved neighborhood search whale optimization algorithm and its engineering application [J]. Soft computing， 2023， 27（23）： 17687?17709.

[12] YU M Y， WU Z， LIANG J， et al. Surrogate?assisted PSO with archive?based neighborhood search for medium?dimensional expensive multi?objective problems [J]. Information sciences， 2024， 666： 120405.

[13] HAKIMAZARI M， BAGHOOLIZADEH M， SAJADI M S， et al. Multi?objective optimization of daylight illuminance indicators and energy usage intensity for office space in Tehran by genetic algorithm [J]. Energy reports， 2024（11）： 113283?113306.

[14] XUE J， SHEN B. Dung beetle optimizer： a new meta?heuristic algorithm for global optimization [J]. The journal of supercomputing， 2022： 1?32.

[15] LI C， SI Q， ZHAO J， et al. A robot path planning method using improved Harris Hawks optimization algorithm [J]. Measurement and control， 2024， 57（4）： 469?482.