• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo)綜述

    2019-10-18 02:57:59胡涵李振宇
    軟件導(dǎo)刊 2019年9期
    關(guān)鍵詞:多目標(biāo)優(yōu)化評(píng)價(jià)指標(biāo)

    胡涵 李振宇

    摘 要:多目標(biāo)進(jìn)化算法常用于解決較復(fù)雜的多目標(biāo)優(yōu)化問題,該類算法是基于種群的進(jìn)化算法,通過產(chǎn)生一組近似Pareto最優(yōu)解集滿足決策者偏好。介紹了多目標(biāo)優(yōu)化問題背景知識(shí)及相關(guān)定義,根據(jù)評(píng)價(jià)指標(biāo)衡量解集特性,將現(xiàn)有算法性能評(píng)價(jià)指標(biāo)分為3類并分別進(jìn)行闡述,分析、比較其特點(diǎn)與區(qū)別。

    關(guān)鍵詞:多目標(biāo)優(yōu)化;進(jìn)化算法;評(píng)價(jià)指標(biāo);最優(yōu)解集

    DOI:10. 11907/rjdk. 191024 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

    中圖分類號(hào):TP312 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-7800(2019)009-0001-04

    A Survey of Performance Indicators for Multi-objective Evolutionary Algorithms

    HU Han, LI Zhen-yu

    (School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

    Abstract: Multi-objective evolutionary algorithms are often used to solve complex multi-objective optimization problems. The algorithms are population-based evolutionary algorithms that satisfy decision makers' preferences by generating a set of approximate Pareto optimal solution sets. This paper introduces the background knowledge and related definitions in multi-objective optimization problems. According to the characteristics of the solution set measured by the evaluation indicators, the existing algorithm performance indicators are divided into three categories and elaborated separately, and their specifics are analyzed and some differences between them are compared.

    Key Words: multi-objective optimization; evolutionary algorithms; performance indicator; optimal solution set

    0 引言

    多目標(biāo)優(yōu)化問題在日常生活中較為常見,無論是在科學(xué)研究還是實(shí)際工程應(yīng)用中,多目標(biāo)優(yōu)化都是非常重要的課題。不僅因?yàn)槎嗄繕?biāo)優(yōu)化問題往往伴隨多個(gè)目標(biāo)需要同時(shí)進(jìn)行優(yōu)化,而且多目標(biāo)優(yōu)化的最優(yōu)解往往是一組解集,如何選出符合決策者偏好的解也是亟需解決的問題。

    單目標(biāo)優(yōu)化問題優(yōu)化的只有一個(gè)目標(biāo)并且最終得到一個(gè)單獨(dú)的最優(yōu)解。但多目標(biāo)優(yōu)化問題中目標(biāo)之間往往相互沖突,一個(gè)目標(biāo)性能提升往往伴隨其它一個(gè)或多個(gè)目標(biāo)性能下降。多目標(biāo)優(yōu)化問題中存在一組表示各個(gè)目標(biāo)間權(quán)衡和折中關(guān)系的解集,通常稱為Pareto最優(yōu)解集。Pareto最優(yōu)解集在目標(biāo)域的投影被稱為Pareto前沿[1]。

    為了更好地解決多目標(biāo)優(yōu)化問題,研究人員提出了多種用于求解多目標(biāo)的進(jìn)化算法,諸如NSGA-II[2]、MOEA/D[3]、HypE[4]等。隨著多種多目標(biāo)進(jìn)化算法的出現(xiàn),如何比較和衡量這些算法性能成為一大熱門課題。對(duì)一個(gè)多目標(biāo)進(jìn)化算法進(jìn)行評(píng)價(jià)時(shí),一方面需有一套能夠客觀反映多目標(biāo)進(jìn)化算法優(yōu)劣的評(píng)價(jià)工具或方法;另一方面需選取一組有代表性的測(cè)試集。效果、效率、魯棒性、問題求解范圍,以及是否方便使用等是考察多目標(biāo)進(jìn)化算法的重要指標(biāo)。

    1 多目標(biāo)優(yōu)化問題概述

    通常一個(gè)求解最小化目標(biāo)值的多目標(biāo)優(yōu)化問題可以被定義為:

    [minF(x)=(f1(x),?,fm(x))Tsubject to x∈Ω] ? ? ? ? ? ? ? (1)

    其中,[x=(x1,x2,?,xn)T]為決策變量,[Ω]被稱為決策空間,[F:Ω→θ?Rm]包含由[n]維決策空間[Ω]映射到[m]維目標(biāo)空間[θ]的[m]個(gè)實(shí)值目標(biāo)函數(shù),[Rm]被稱為目標(biāo)空間,[F(x)|x∈Ω]表示為該問題的可行目標(biāo)解。當(dāng)目標(biāo)數(shù)[m]<3時(shí),式(1)被稱為多目標(biāo)優(yōu)化問題;當(dāng)目標(biāo)數(shù)[m]≥4時(shí),則稱式(1)為超多目標(biāo)優(yōu)化問題。

    多目標(biāo)優(yōu)化問題的重要概念及定義如下文所示。

    定義1(Pareto支配):設(shè)[u=(u1,u2,?,um)]和[v=(v1,v2,][?,vm)]是目標(biāo)空間[Rm]中的兩個(gè)向量,稱[u]Pareto支配[v],當(dāng)且僅當(dāng)

    [?i∈1,?,m, ui≤vi ∧ ?j∈1,?,m, ui

    記為[u?v]。

    定義2(非支配解集):對(duì)于解集[P]中的每個(gè)解[x]而言,若[x]不被[P]中任何解所Pareto支配,則由[x]組成的解集被稱為[P]的非支配解集。

    定義3(Pareto最優(yōu)解):對(duì)于式(1)中任意可行解[x*∈Ω],則稱[x*]是Pareto最優(yōu)解,當(dāng)且僅當(dāng):

    [??x∈Ω, x?x*] ? ? ? ? ? ? (3)

    定義4(Pareto最優(yōu)解集):一個(gè)多目標(biāo)優(yōu)化問題中所有Pareto最優(yōu)解構(gòu)成的集合稱為Pareto最優(yōu)解集(Pareto Set,PS)。

    定義5(Pareto前沿):Pareto最優(yōu)解集中的解在其目標(biāo)空間中對(duì)應(yīng)目標(biāo)向量組成的集合稱Pareto前沿(Pareto Front,PF),即:

    [PF=F(x)∈Rm|x∈PS] ? ? ? ?(4)

    定義6(理想點(diǎn)):在最小化多目標(biāo)優(yōu)化問題目標(biāo)空間中,由在各個(gè)目標(biāo)上有最小值的可行解組成的向量稱為理想點(diǎn),記為[z*] ,即:

    [z*j=minfj(x), j∈1,?,m] ? ? ?(5)

    定義7(極值點(diǎn)):在最小化多目標(biāo)優(yōu)化問題目標(biāo)空間中,由在各個(gè)目標(biāo)上有最大值的Pareto最優(yōu)解集中的解組成的向量稱為極值點(diǎn),記為[znad],即:

    [znadj=maxx∈PSfj(x), j∈1,?,m] ? ? ? ? ? ? (6)

    2 多目標(biāo)進(jìn)化算法性能評(píng)價(jià)角度分類

    對(duì)多目標(biāo)進(jìn)化算法的性能評(píng)價(jià)主要考慮3個(gè)方面:所求解集的質(zhì)量、計(jì)算效率與魯棒性。對(duì)于每一類性能評(píng)價(jià),均有相應(yīng)的評(píng)價(jià)工具。

    2.1 解集質(zhì)量

    每運(yùn)行一個(gè)多目標(biāo)進(jìn)化算法后,會(huì)得到一組近似解集,只有獲得的近似解集有較高的質(zhì)量,該多目標(biāo)進(jìn)化算法才有意義。因?yàn)槎嗄繕?biāo)優(yōu)化問題往往具有較復(fù)雜的目標(biāo)函數(shù)等特點(diǎn),通過多目標(biāo)進(jìn)化算法得到目標(biāo)空間上完整的Pareto最優(yōu)解集是不現(xiàn)實(shí)的。一般而言,只需得到一組包含有限個(gè)解并且非常逼近帕里托前沿的PF近似解集,幫助決策者根據(jù)偏好選擇合適的解,從而幫助其決策。

    在評(píng)價(jià)解集質(zhì)量時(shí),對(duì)于已知最優(yōu)解的測(cè)試問題,如DTLZ[5]、WFG[6]測(cè)試問題集等,常要求解集滿足以下兩點(diǎn):①收斂性,其衡量對(duì)象是近似解集趨近于Pareto前沿程度,旨在解決如何指引種群朝著Pareto前沿進(jìn)行搜索。PF近似解集應(yīng)盡可能逼近真實(shí)Pareto前沿;②多樣性,其衡量近似解集中解的多樣化程度。一個(gè)良好的保持種群多樣性的方法可以在整個(gè)Pareto前沿上提供分布均勻的解決方案。衡量解集的多樣性可以進(jìn)一步分為衡量解集分布的均勻性與延展性[7]。均勻性衡量近似解集中解與解之間距離相等程度,延展性衡量近似解集中解在目標(biāo)空間中能擴(kuò)展的范圍程度。

    2.2 效率

    在確保所求解質(zhì)量的前提下,多目標(biāo)進(jìn)化算法運(yùn)行效率也是一項(xiàng)重要的考察指標(biāo)??梢酝ㄟ^多目標(biāo)進(jìn)化算法運(yùn)行的CPU時(shí)間或達(dá)到某種效果所需迭代次數(shù),衡量多目標(biāo)進(jìn)化算法時(shí)間效率。在多目標(biāo)進(jìn)化算法收斂過程中,其求解集質(zhì)量往往隨時(shí)間而變化。一般情況下,解集質(zhì)量會(huì)隨時(shí)間增加而改進(jìn),該規(guī)律可以通過“質(zhì)量—時(shí)間”曲線描述。因?yàn)椴煌亩嗄繕?biāo)進(jìn)化算法采用進(jìn)化策略、非支配解集的構(gòu)造方法不盡相同,對(duì)不同階段的時(shí)間分析有利于深入研究多目標(biāo)進(jìn)化算法的進(jìn)化特性。

    2.3 魯棒性

    如果一個(gè)多目標(biāo)進(jìn)化算法只有在特定問題特性上才能有較好的求解能力與表現(xiàn),則該多目標(biāo)進(jìn)化算法不是魯棒的。一個(gè)魯棒的多目標(biāo)進(jìn)化算法應(yīng)能解決特點(diǎn)各異的不同問題,并且在求解問題時(shí)表現(xiàn)出較好的穩(wěn)定性能。一個(gè)多目標(biāo)進(jìn)化算法對(duì)所求解問題特征的敏感性、對(duì)待處理數(shù)據(jù)質(zhì)量的敏感性及對(duì)不同參數(shù)設(shè)置敏感性等均為衡量其魯棒性的重要指標(biāo)。

    3 多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo)

    已有研究者提出多種多目標(biāo)進(jìn)化算法評(píng)價(jià)指標(biāo),按照前文所述可以分為3大類:①評(píng)價(jià)所求解集與真正PF的趨近程度,即收斂性;②評(píng)價(jià)解集在整個(gè)PF上的分布情況,即多樣性(多樣性細(xì)分為延展性和均勻性);③綜合考慮解集的收斂性與多樣性。各大類中一些具有代表性的算法評(píng)價(jià)指標(biāo)如下。

    3.1 僅衡量收斂性指標(biāo)

    Set Coverage[8](C-metric):通過兩組PF近似解集衡量收斂性能。設(shè)[A]和[B]為兩組PF近似解集[C(A,B)]的定義,如式(7)所示,其表示[B]中個(gè)體至少被[A]中一個(gè)個(gè)體支配的占比。

    [CA,B=u∈B|?v∈A:v?uB] ? ? ? ? ? (7)

    [C(A,B)=1]表示[B]中所有個(gè)體都被[A]中一些個(gè)體支配,即[B]的收斂性比[A]差。相反,若[C(A,B)=0],表示[B]中沒有個(gè)體被[A]中個(gè)體支配,即[B]的收斂性優(yōu)于[A]。因?yàn)镃-metric的計(jì)算是基于支配關(guān)系,所以其最大缺點(diǎn)是隨著目標(biāo)數(shù)的增多,PF 近似解集中的解均彼此互為非支配解,C-metric無法度量收斂性。

    迭代距離[9](Generational Distance,GD):衡量真實(shí)PF上與近似解集之間的間隔距離。需要預(yù)先獲得一組在真實(shí)PF上均勻采樣的解集。設(shè)[P*]為一組在真實(shí)PF上均勻采樣的解集,[S]是多目標(biāo)進(jìn)化算法求得的PF近似解集,則GD定義如式(8)所示。

    [GD(S,P*)=x∈Sdist(x,P*)2S] ? ? ? ? ? ? (8)

    其中,[dist(x,S)]表示個(gè)體[x∈S]到[P*]上離其最近個(gè)體之間的歐氏距離,[S]是集合[S]的基數(shù)。GD值越小,表示[S]具有越好的收斂性,越能逼近整個(gè)PF。

    錯(cuò)誤率[10](Error Ratio,ER):描述的是不屬于真實(shí)PF的解向量占種群規(guī)模的比率。經(jīng)多目標(biāo)進(jìn)化算法得到的PF近似解中很可能存在某些解向量不在真實(shí)PF中。令[S=x1,x2,?,xn]為含有[n]個(gè)解向量的PF近似解集。[ei=][0],當(dāng)且僅當(dāng)解向量[xi]屬于真實(shí)PF,否則[ei=1]。錯(cuò)誤率需要一組真實(shí)PF作為參考解集,其數(shù)學(xué)表達(dá)式如式(9)所示。

    [ER(S)=i=1nein] ? ? ? ? ? ?(9)

    [ER(S)]越小表示近似解集有更好的非支配解集。

    3.2 僅衡量多樣性指標(biāo)

    空間評(píng)價(jià)方法[11](Spacing Metric)可衡量PF近似解集中個(gè)體在目標(biāo)空間的分布情況。其數(shù)學(xué)表達(dá)式如式(10)所示。

    [Spacing=i=1|PF|di-d|PF|] ? ? ? ? (10)

    其中,[PF]代表已知的真實(shí)PF,[di]指解集中非支配邊界上兩個(gè)連續(xù)向量的歐氏距離,[d]是距離平均值。但該評(píng)價(jià)方法比較適用于兩維目標(biāo)空間,而在超多目標(biāo)情況下效果不理想。

    Maximum Spread[12]可通過計(jì)算PF近似解集覆蓋真實(shí)PF的程度,衡量該近似解集的延展性能。設(shè)[P]為一組在真實(shí)PF采樣上均勻的解集,[S]是多目標(biāo)進(jìn)化算法求得的PF近似解集,其數(shù)學(xué)表達(dá)式如式(11)所示。

    [MS=1mi=1m|min(Smaxi-Pmaxi)-max(Smini-Pmini)Pmaxi-Pmini|] (11)

    其中,[Smaxi]和[Smini]表示近似解集[S]在第[i]個(gè)目標(biāo)上的最大值與最小值,[Pmaxi]和[Pmini]表示真實(shí)PF[P]在第[i]個(gè)目標(biāo)上的最大值與最小值。[MS]值越高表示近似解集[S]覆蓋在真實(shí)PF上的區(qū)域越大,多樣性越好。

    [Δ]Metric可通過獲得解集延展程度衡量解集多樣性[13]。計(jì)算所獲得非支配解集中連續(xù)解之間歐氏距離的平均值,然后通過擬合平行于真實(shí)PF的曲線計(jì)算該解集在目標(biāo)空間中的極值解。其數(shù)學(xué)表達(dá)式如式(12)所示。

    [Δ=df+dl+i=1N-1|di-d|df+dl+(N-1)d] ? ? ? ? (12)

    式中,[df]和[dl]分別為PF近似解集上極值解之間的距離及每個(gè)目標(biāo)之間邊界解之間的距離。[N]為PF近似解集中個(gè)體數(shù)目。[di]表示解集中連續(xù)兩個(gè)個(gè)體之間的距離,[d]為所有[di,i=1,2,?,N-1]距離的平均值。當(dāng)所有距離[di]等于[d]且[df=dl=0]時(shí),使得[Δ=0]時(shí)有最佳多樣性。

    3.3 綜合衡量收斂性與多樣性指標(biāo)

    反向迭代距離[14](Inverted Generational Distance,IGD)衡量的是真實(shí)PF的個(gè)體到算法求得的近似解集之間最小距離的平均值,因此計(jì)算IGD需要預(yù)先獲得一組在真實(shí)PF上均勻采樣的解集。設(shè)[P*]為一組在真實(shí)PF上均勻采樣的解集,[S]是多目標(biāo)進(jìn)化算法求得的PF近似解集,則IGD定義如式(13)所示。

    [IGD(S,P*)=x∈P*dist(x,S)|P*|] ? ? ? ? (13)

    其中,[dist(x,S)]表示個(gè)體[x∈P*]到[S]上離其最近個(gè)體之間的歐氏距離,[|P*|]是集合[P*]的基數(shù)。IGD值越小,表示[S]具有越好的收斂與多樣性能,越能逼近整個(gè)PF。另外,當(dāng)[IGD(S,P*)=0]時(shí),表示[S]是[P*]的子集。

    超體積指標(biāo)[8](Hypervolume,HV)指給定一組預(yù)先設(shè)置分布在目標(biāo)空間的參考點(diǎn)[r*=(r*1,r*2,?,r*m)]與一組由算法得到的PF近似解集[S],滿足[r*]被[S]中所有解支配。HV衡量的是以[r*]為邊界、被[S]支配目標(biāo)空間的體積大小,其定義如式(14)所示。

    [HV(S)=VOL(x∈S[f1(x),r*1]×?fm(x),r*m)] ? (14)

    式中[VOL(?)]表示勒貝格測(cè)度。HV值越大,表示[S]越近似于整個(gè)PF。但HV有兩個(gè)明顯缺陷:①HV計(jì)算復(fù)雜度隨目標(biāo)數(shù)呈指數(shù)級(jí)增長(zhǎng);②參考點(diǎn)選取一定程度決定HV值的準(zhǔn)確性。

    [p-metric][15]是最近提出的用于度量超多目標(biāo)PF近似解集的性能指標(biāo)。通過預(yù)設(shè)的參考向量將目標(biāo)空間分割成若干個(gè)子空間。如果滿足[i=argmaxλi∈V(λi)T?F(s)||λi|||?|F(s)||],其中[λi]表示第[i]個(gè)參考向量,[F(s)]表示個(gè)體[s]的解向量,則稱個(gè)體[s]屬于第[i]個(gè)子空間[?i]。 在每個(gè)子空間[?i]中離初始解[s]最近的距離[ri]定義[p-metric],其數(shù)學(xué)表達(dá)式如式(15)所示。

    [p-metric =i=1M1ri] ? ? ? ? ? ? ? ? (15)

    其中[M]表示子空間數(shù)目,[1r=0]表示該子空間內(nèi)不存在個(gè)體。從式(15)中可以看出PF近似解集的多樣性與子空間相關(guān)個(gè)體數(shù)目有關(guān)。值得注意的是,一個(gè)個(gè)體只能處于一個(gè)子空間內(nèi),但一個(gè)子空間可以包含若干個(gè)個(gè)體。[p-metric]的精度并不能通過增加參考向量的方式得到改進(jìn),因?yàn)閇N]個(gè)個(gè)體最多處于[N]個(gè)子空間內(nèi)。

    R2被首次提出時(shí)被用于評(píng)估兩組PF近似解集之間相對(duì)性能[16]。假定一組理想點(diǎn)[z*]和標(biāo)準(zhǔn)加權(quán)的切比雪夫聚合函數(shù),該指標(biāo)可用于評(píng)估單個(gè)PF近似解集的性能。 給定一組近似解集[S],一組在目標(biāo)空間均勻分布的權(quán)重向量[W=(w1,?,wm)]以及標(biāo)準(zhǔn)切比雪夫聚合函數(shù),則R2定義如式(16)所示,R2值越小表示近似解集越接近于理想點(diǎn)。

    [R2(S,W,z*)=1Wx∈Wminx∈Smaxwi(fi(x)-z*i)] (16)

    超體積比率(Hypervolume Ratio,HVR)指計(jì)算近似解集非支配解集[D]的超體積值占真實(shí)帕里托前沿[P*]的超體積值比率[17],如式(17)所示。

    [HVR=HV(D)HV(P*)] ? ? ? ? ? ? (17)

    HV為非支配解集以參考點(diǎn)為邊界構(gòu)建的超立方體空間量。HVR值越高表示非支配解集越接近真實(shí)PF,且在目標(biāo)空間中多樣性越好。

    4 結(jié)語

    隨著多目標(biāo)進(jìn)化算法的不斷進(jìn)化,如何比較、衡量算法性能成為熱門課題。本文首先分析多目標(biāo)進(jìn)化算法相關(guān)概念及定義,從評(píng)價(jià)多目標(biāo)進(jìn)化算法的不同角度進(jìn)行分類,并著重闡述衡量算法種群質(zhì)量的多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo),將目前主流評(píng)價(jià)指標(biāo)分為3大類,介紹其基本思想及優(yōu)缺點(diǎn),以期為在不同應(yīng)用場(chǎng)景中選擇合適的評(píng)價(jià)指標(biāo)提供參考。

    參考文獻(xiàn):

    [1] 梅志偉.多目標(biāo)進(jìn)化算法綜述[J]. 軟件導(dǎo)刊,2017,16(6):204-207.

    [2] DEB K, PRATAP A, AGARWAL S, et al. A fast and elitist multi-objective genetic algorithm: NSGA-II[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(2):182-197.

    [3] ZHANG Q,LI H. MOEA/D: A multi-objective evolutionary algorithm based on decomposition[M]. New York: IEEE Press, 2007.

    [4] BADER J,ZITZLER E. HypE: an algorithm for fast hyper volume-based many-objective optimization[J]. Evolutionary Computation,2011,19(1): 45-76.

    [5] DEB K,THIELE L,LAUMANNS M,et al. Scalable test problems for evolutionary multi-objective optimization[M]. London:Springer, 2005.

    [6] HUBAND S, BARONE L, WHILE L, et al. A scalable multi-objective test problem toolkit[C]. ?International Conference on Evolutionary Multi-Criterion Optimization,2005: 280-295.

    [7] LI M, YANG S, LIU X. Diversity comparison of Pareto front approximations in many-objective optimization[J]. IEEE Transactions on Cybernetics, 2014, 44(12): 2568-2584.

    [8] ZITZLER E, THIELE L. Multi-objective evolutionary algorithms: a comparative case study and the strength Pareto approach[J]. IEEE Transactions on Evolutionary Computation, 1999, 3(4):257-271.

    [9] SCHUTZE O,ESQUIVEL X,LARA A,et al. Using the averaged Hausdorff distance as a performance measure in evolutionary multi-objective optimization[J]. IEEE Transactions on Evolutionary Computation, 2012, 16(4): 504-522.

    [10] VELDHUIZEN D A V. Multi-objective evolutionary algorithms: classifications, analyses, and new innovations[J]. Evolutionary Computation, 1999, 8(2):125-147.

    [11] BANDYOPADHYAY S,PAL S K,ARUNA B. Multi-objective GAs, quantitative indices, and pattern classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B(Cybernetics), 2004, 34(5):2088-2099.

    [12] ZITZLER E,DEB K,THIELE L. Comparison of multi-objective evolutionary algorithms: empirical results[J]. Evolutionary computation, 2000, 8(2): 173-195.

    [13] DEB K,PRATAP A,AGARWAL S,et al. A fast and elitist multi-objective genetic algorithm: NSGA-II[J]. IEEE transactions on evolutionary computation, 2002, 6(2): 182-197.

    [14] BOSMAN P A N, THIERENS D. The balance between proximity and diversity in multi-objective evolutionary algorithms[J]. IEEE transactions on evolutionary computation, 2003, 7(2): 174-188.

    [15] HE Z, YEN G G. Visualization and performance metric in many-objective optimization[J]. IEEE Transactions on Evolutionary Computation, 2016, 20(3): 386-402.

    [16] HANSEN M P, JASZKIEWICZ A. Evaluating the quality of approximations to the non-dominated set[R]. Denmark: Department of Mathematical Modelling,Technical University of Denmark,IMM-REP-1998-7,1994.

    [17] VAN VELDHUIZEN D A,LAMONT G B. Multi-objective evolutionary algorithm test suites[C]. 1999 ACM symposium on Applied computing,1999: 351-357.

    (責(zé)任編輯:江 艷)

    多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo)綜述

    猜你喜歡
    多目標(biāo)優(yōu)化評(píng)價(jià)指標(biāo)
    改進(jìn)的多目標(biāo)啟發(fā)式粒子群算法及其在桁架結(jié)構(gòu)設(shè)計(jì)中的應(yīng)用
    群體多目標(biāo)優(yōu)化問題的權(quán)序α度聯(lián)合有效解
    云計(jì)算中虛擬機(jī)放置多目標(biāo)優(yōu)化
    旅游產(chǎn)業(yè)與文化產(chǎn)業(yè)融合理論與實(shí)證分析
    中國藥品安全綜合評(píng)價(jià)指標(biāo)體系研究
    第三方物流企業(yè)績(jī)效評(píng)價(jià)研究綜述
    商(2016年33期)2016-11-24 23:50:25
    基于UML的高校思想政治教育工作評(píng)價(jià)系統(tǒng)的分析與研究
    公共文化服務(wù)體系評(píng)價(jià)指標(biāo)的國際經(jīng)驗(yàn)與啟示
    狼群算法的研究
    資源型企業(yè)財(cái)務(wù)競(jìng)爭(zhēng)力評(píng)價(jià)研究
    一本综合久久免费| 一级黄色大片毛片| 日日摸夜夜添夜夜添小说| 国产精品美女特级片免费视频播放器| 在线免费观看不下载黄p国产 | 又粗又爽又猛毛片免费看| 一进一出抽搐gif免费好疼| 国产男靠女视频免费网站| 亚洲国产精品sss在线观看| eeuss影院久久| 国产一区在线观看成人免费| 免费av毛片视频| 亚洲美女视频黄频| 亚洲av免费在线观看| 国产亚洲欧美在线一区二区| 午夜亚洲福利在线播放| 日本一二三区视频观看| 亚洲欧美日韩高清专用| 老司机午夜十八禁免费视频| 色综合欧美亚洲国产小说| 可以在线观看的亚洲视频| 国产精品久久视频播放| 色尼玛亚洲综合影院| 国内精品久久久久精免费| 亚洲人成伊人成综合网2020| 又爽又黄无遮挡网站| 成人av在线播放网站| 欧美3d第一页| 99热这里只有是精品50| 国产av麻豆久久久久久久| 韩国av一区二区三区四区| 99久久无色码亚洲精品果冻| 亚洲熟妇熟女久久| 99国产精品一区二区蜜桃av| 国产精品久久视频播放| 国产精品久久视频播放| 青草久久国产| 国产精品美女特级片免费视频播放器| 99久久综合精品五月天人人| svipshipincom国产片| 脱女人内裤的视频| 久久精品亚洲精品国产色婷小说| 又紧又爽又黄一区二区| 久久久久久九九精品二区国产| 神马国产精品三级电影在线观看| 国产不卡一卡二| 久久久久久久久久黄片| 超碰av人人做人人爽久久 | 成人性生交大片免费视频hd| 99热这里只有精品一区| 成人欧美大片| av黄色大香蕉| 亚洲国产日韩欧美精品在线观看 | 国内精品久久久久久久电影| 欧美乱码精品一区二区三区| 搡老岳熟女国产| a级毛片a级免费在线| 国产欧美日韩一区二区精品| 精品国内亚洲2022精品成人| 国内少妇人妻偷人精品xxx网站| 国产高清视频在线观看网站| 18美女黄网站色大片免费观看| 亚洲男人的天堂狠狠| 岛国在线观看网站| 欧美在线黄色| 日韩欧美精品免费久久 | 国产精品98久久久久久宅男小说| 午夜福利在线在线| 尤物成人国产欧美一区二区三区| 色尼玛亚洲综合影院| 免费人成视频x8x8入口观看| 精品日产1卡2卡| 亚洲国产欧美网| 国产免费一级a男人的天堂| 国产伦精品一区二区三区视频9 | 日本黄色片子视频| 丰满人妻熟妇乱又伦精品不卡| 日韩欧美在线乱码| 日韩人妻高清精品专区| 99热只有精品国产| 亚洲av电影在线进入| 偷拍熟女少妇极品色| 亚洲国产欧洲综合997久久,| 午夜免费观看网址| 国产伦精品一区二区三区视频9 | 色视频www国产| 久久人妻av系列| 国产免费男女视频| 国产99白浆流出| 日韩 欧美 亚洲 中文字幕| www.999成人在线观看| 日日干狠狠操夜夜爽| 欧美日韩一级在线毛片| 欧洲精品卡2卡3卡4卡5卡区| 亚洲中文日韩欧美视频| 国产老妇女一区| 午夜福利18| 久久婷婷人人爽人人干人人爱| 免费大片18禁| 国内久久婷婷六月综合欲色啪| 麻豆成人av在线观看| 精品国产三级普通话版| 听说在线观看完整版免费高清| 国产三级在线视频| 国产亚洲精品一区二区www| 国产精品99久久久久久久久| 全区人妻精品视频| 亚洲av成人精品一区久久| aaaaa片日本免费| 久久九九热精品免费| 免费看日本二区| 午夜精品一区二区三区免费看| 成人永久免费在线观看视频| 精品国产亚洲在线| 国产真人三级小视频在线观看| 99在线人妻在线中文字幕| 国产精品 国内视频| 午夜激情福利司机影院| xxx96com| 精品福利观看| 日韩成人在线观看一区二区三区| 欧美日韩中文字幕国产精品一区二区三区| 最后的刺客免费高清国语| 91麻豆av在线| 亚洲在线观看片| 国产免费一级a男人的天堂| 综合色av麻豆| 欧美日韩亚洲国产一区二区在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 国产aⅴ精品一区二区三区波| 亚洲av电影在线进入| 最后的刺客免费高清国语| 亚洲avbb在线观看| 99热这里只有精品一区| 成人欧美大片| 国内精品久久久久精免费| 国产av麻豆久久久久久久| 99视频精品全部免费 在线| 小蜜桃在线观看免费完整版高清| 激情在线观看视频在线高清| 国产午夜福利久久久久久| 搡女人真爽免费视频火全软件 | 97超视频在线观看视频| 亚洲精华国产精华精| 女人被狂操c到高潮| 久久久久久久亚洲中文字幕 | netflix在线观看网站| 2021天堂中文幕一二区在线观| 国产伦人伦偷精品视频| 人妻丰满熟妇av一区二区三区| 亚洲真实伦在线观看| 最近最新中文字幕大全免费视频| 看免费av毛片| 啦啦啦免费观看视频1| 亚洲五月婷婷丁香| 真人做人爱边吃奶动态| 日韩 欧美 亚洲 中文字幕| 亚洲五月婷婷丁香| 久久久久免费精品人妻一区二区| 国产91精品成人一区二区三区| 亚洲成人久久爱视频| 又黄又粗又硬又大视频| 一二三四社区在线视频社区8| xxxwww97欧美| 999久久久精品免费观看国产| 舔av片在线| 精品日产1卡2卡| 亚洲精品在线美女| 国产精品精品国产色婷婷| 欧洲精品卡2卡3卡4卡5卡区| 日韩欧美国产一区二区入口| 中亚洲国语对白在线视频| 人妻丰满熟妇av一区二区三区| 女人高潮潮喷娇喘18禁视频| 国产精品嫩草影院av在线观看 | 亚洲人与动物交配视频| 国产精品99久久久久久久久| 久久中文看片网| 国产中年淑女户外野战色| 亚洲av五月六月丁香网| 亚洲国产欧美人成| 成人18禁在线播放| 最好的美女福利视频网| 久久九九热精品免费| 欧美日韩国产亚洲二区| 国产精品免费一区二区三区在线| 首页视频小说图片口味搜索| 色哟哟哟哟哟哟| 18禁在线播放成人免费| 亚洲av成人精品一区久久| 最好的美女福利视频网| 午夜福利视频1000在线观看| 亚洲国产精品合色在线| 欧美性猛交黑人性爽| 国产亚洲欧美98| 在线a可以看的网站| 露出奶头的视频| 法律面前人人平等表现在哪些方面| 不卡一级毛片| 男女视频在线观看网站免费| 看黄色毛片网站| 午夜a级毛片| 亚洲成人久久爱视频| 亚洲色图av天堂| 久久久久久国产a免费观看| 老司机福利观看| 成人av一区二区三区在线看| 成人无遮挡网站| 波多野结衣巨乳人妻| 久久亚洲精品不卡| av片东京热男人的天堂| 两个人的视频大全免费| 亚洲精品久久国产高清桃花| 韩国av一区二区三区四区| 国产91精品成人一区二区三区| av片东京热男人的天堂| 国产精品综合久久久久久久免费| 日韩欧美精品免费久久 | 村上凉子中文字幕在线| 成年人黄色毛片网站| 99国产精品一区二区三区| 亚洲国产欧洲综合997久久,| 一卡2卡三卡四卡精品乱码亚洲| 不卡一级毛片| 午夜老司机福利剧场| 99久久99久久久精品蜜桃| 国产免费av片在线观看野外av| 很黄的视频免费| 女同久久另类99精品国产91| 亚洲欧美日韩卡通动漫| 国产伦一二天堂av在线观看| 亚洲精品国产精品久久久不卡| 亚洲av不卡在线观看| 久久久久久人人人人人| 青草久久国产| 日本成人三级电影网站| 免费人成视频x8x8入口观看| 一级毛片高清免费大全| www.999成人在线观看| 欧美另类亚洲清纯唯美| 国产野战对白在线观看| 一级作爱视频免费观看| 亚洲人成网站在线播放欧美日韩| 最近最新中文字幕大全免费视频| 国产伦在线观看视频一区| www.999成人在线观看| 一卡2卡三卡四卡精品乱码亚洲| 国内少妇人妻偷人精品xxx网站| 午夜福利在线观看吧| 在线播放无遮挡| 欧美午夜高清在线| 91在线精品国自产拍蜜月 | 国产精品日韩av在线免费观看| 精品免费久久久久久久清纯| 午夜精品在线福利| 亚洲男人的天堂狠狠| 久久久久免费精品人妻一区二区| 欧美一区二区精品小视频在线| 男人舔女人下体高潮全视频| 露出奶头的视频| 国产精品嫩草影院av在线观看 | 亚洲狠狠婷婷综合久久图片| 男女那种视频在线观看| 午夜免费观看网址| 国产精品久久电影中文字幕| 3wmmmm亚洲av在线观看| 国产亚洲欧美98| 国产高清视频在线播放一区| 国产亚洲精品久久久com| 亚洲国产精品合色在线| 精品免费久久久久久久清纯| 国产成+人综合+亚洲专区| 长腿黑丝高跟| 亚洲av成人精品一区久久| avwww免费| 亚洲欧美激情综合另类| 91久久精品电影网| 真人一进一出gif抽搐免费| 欧美不卡视频在线免费观看| 91在线精品国自产拍蜜月 | 99久久无色码亚洲精品果冻| 久久精品亚洲精品国产色婷小说| 嫩草影院精品99| 法律面前人人平等表现在哪些方面| 久久久久亚洲av毛片大全| 亚洲五月婷婷丁香| 又紧又爽又黄一区二区| 久久天躁狠狠躁夜夜2o2o| 欧美乱色亚洲激情| 最近视频中文字幕2019在线8| 啦啦啦观看免费观看视频高清| 99久久精品热视频| 欧美中文综合在线视频| 久久精品夜夜夜夜夜久久蜜豆| 久久久久性生活片| 欧美又色又爽又黄视频| x7x7x7水蜜桃| 成人av一区二区三区在线看| av女优亚洲男人天堂| 小说图片视频综合网站| 一个人观看的视频www高清免费观看| 一本综合久久免费| 香蕉丝袜av| 亚洲中文日韩欧美视频| 久久久国产精品麻豆| 久久久久久久亚洲中文字幕 | 18禁裸乳无遮挡免费网站照片| 成人高潮视频无遮挡免费网站| 九九热线精品视视频播放| 看免费av毛片| 九色成人免费人妻av| 欧美大码av| 精品国产三级普通话版| 法律面前人人平等表现在哪些方面| 日韩成人在线观看一区二区三区| 欧美中文日本在线观看视频| 久久人人精品亚洲av| 午夜激情欧美在线| 日韩欧美国产一区二区入口| 国内精品久久久久久久电影| 日本五十路高清| 51国产日韩欧美| 国产99白浆流出| 久久久久九九精品影院| 亚洲成人免费电影在线观看| 99riav亚洲国产免费| 欧美日韩精品网址| 国产高清有码在线观看视频| 婷婷亚洲欧美| 日本 欧美在线| 欧美不卡视频在线免费观看| 欧美黑人巨大hd| 欧美不卡视频在线免费观看| 丝袜美腿在线中文| 手机成人av网站| 51午夜福利影视在线观看| 午夜日韩欧美国产| 一个人免费在线观看的高清视频| 一级毛片高清免费大全| 国产一区二区三区在线臀色熟女| 人人妻人人看人人澡| 国产亚洲欧美在线一区二区| 人人妻人人看人人澡| 色综合站精品国产| 在线播放无遮挡| 露出奶头的视频| 精品久久久久久久人妻蜜臀av| 美女黄网站色视频| 亚洲欧美日韩高清在线视频| 国产成人福利小说| 午夜免费男女啪啪视频观看 | 成人国产综合亚洲| 亚洲aⅴ乱码一区二区在线播放| 免费看光身美女| 性色av乱码一区二区三区2| 欧美日本视频| 偷拍熟女少妇极品色| 中文资源天堂在线| 国内毛片毛片毛片毛片毛片| 欧美+日韩+精品| 黄色视频,在线免费观看| 欧美高清成人免费视频www| 国产亚洲欧美在线一区二区| 亚洲午夜理论影院| 国产黄色小视频在线观看| 欧美日韩国产亚洲二区| 狠狠狠狠99中文字幕| 成人高潮视频无遮挡免费网站| 男女之事视频高清在线观看| 少妇高潮的动态图| 久久久久国内视频| 亚洲电影在线观看av| 嫁个100分男人电影在线观看| 国产精品久久久久久久电影 | 男人舔奶头视频| 亚洲人与动物交配视频| 久久久久亚洲av毛片大全| 国产日本99.免费观看| 波多野结衣高清无吗| 狂野欧美白嫩少妇大欣赏| 91字幕亚洲| 国产精品美女特级片免费视频播放器| 亚洲精品在线观看二区| 久久精品国产99精品国产亚洲性色| 国产真实伦视频高清在线观看 | 无人区码免费观看不卡| 99国产极品粉嫩在线观看| av片东京热男人的天堂| 日韩 欧美 亚洲 中文字幕| 99热这里只有精品一区| 国产精品一及| 天堂网av新在线| 国产精品一区二区三区四区久久| 亚洲av中文字字幕乱码综合| 偷拍熟女少妇极品色| 一个人看视频在线观看www免费 | 在线观看av片永久免费下载| 桃色一区二区三区在线观看| 一级a爱片免费观看的视频| 国产v大片淫在线免费观看| 色噜噜av男人的天堂激情| 亚洲不卡免费看| 久久久成人免费电影| 高清在线国产一区| 波多野结衣高清作品| 99精品在免费线老司机午夜| 亚洲无线在线观看| 国产成+人综合+亚洲专区| а√天堂www在线а√下载| 老熟妇乱子伦视频在线观看| 日本一二三区视频观看| 日韩免费av在线播放| 亚洲人与动物交配视频| 亚洲成人精品中文字幕电影| 国产精品久久电影中文字幕| 在线免费观看的www视频| 久久久精品大字幕| 亚洲国产欧美人成| 老司机深夜福利视频在线观看| 午夜亚洲福利在线播放| av天堂中文字幕网| 美女cb高潮喷水在线观看| 两个人的视频大全免费| 国产日本99.免费观看| 亚洲精品日韩av片在线观看 | 无遮挡黄片免费观看| 两个人视频免费观看高清| 国产在线精品亚洲第一网站| 亚洲美女视频黄频| 欧美丝袜亚洲另类 | а√天堂www在线а√下载| 国产成人啪精品午夜网站| 嫩草影视91久久| 美女高潮的动态| 精华霜和精华液先用哪个| 国产精品久久电影中文字幕| 深夜精品福利| 成人精品一区二区免费| 91在线精品国自产拍蜜月 | 成人av在线播放网站| 久久久久亚洲av毛片大全| 亚洲第一欧美日韩一区二区三区| 亚洲激情在线av| 精品一区二区三区av网在线观看| 久久精品综合一区二区三区| 伊人久久精品亚洲午夜| 国产成人影院久久av| 国产高潮美女av| xxxwww97欧美| 久久精品国产亚洲av香蕉五月| 亚洲av成人精品一区久久| 久久精品综合一区二区三区| 伊人久久精品亚洲午夜| 久久久久九九精品影院| 国产三级中文精品| 校园春色视频在线观看| 中文字幕人妻丝袜一区二区| 中文字幕高清在线视频| 精品免费久久久久久久清纯| 99国产综合亚洲精品| 成人高潮视频无遮挡免费网站| 在线观看午夜福利视频| 伊人久久大香线蕉亚洲五| www国产在线视频色| 日韩欧美一区二区三区在线观看| 可以在线观看毛片的网站| 偷拍熟女少妇极品色| 亚洲av二区三区四区| 国产亚洲av嫩草精品影院| 嫩草影视91久久| 欧美成人免费av一区二区三区| 亚洲激情在线av| a级一级毛片免费在线观看| 亚洲av一区综合| 国产乱人伦免费视频| 亚洲欧美日韩高清专用| 国产真实伦视频高清在线观看 | 精品日产1卡2卡| 国产精品,欧美在线| 成人精品一区二区免费| 亚洲aⅴ乱码一区二区在线播放| 一区二区三区激情视频| 中文字幕精品亚洲无线码一区| 3wmmmm亚洲av在线观看| 欧美一级a爱片免费观看看| 久久久久久大精品| h日本视频在线播放| 久久久国产成人免费| 人人妻人人澡欧美一区二区| 亚洲第一电影网av| 久久久国产精品麻豆| 婷婷亚洲欧美| 别揉我奶头~嗯~啊~动态视频| 无遮挡黄片免费观看| 一本精品99久久精品77| 露出奶头的视频| 老司机在亚洲福利影院| 精品熟女少妇八av免费久了| 国产一区二区在线观看日韩 | 亚洲片人在线观看| 高潮久久久久久久久久久不卡| 嫩草影院精品99| 黄色成人免费大全| 无人区码免费观看不卡| 久久精品国产亚洲av香蕉五月| 美女被艹到高潮喷水动态| 日日干狠狠操夜夜爽| 动漫黄色视频在线观看| 欧美黄色淫秽网站| 欧美黄色片欧美黄色片| 久久精品亚洲精品国产色婷小说| 男人的好看免费观看在线视频| 此物有八面人人有两片| 亚洲国产中文字幕在线视频| 天堂√8在线中文| 日本熟妇午夜| 最近在线观看免费完整版| 村上凉子中文字幕在线| 真实男女啪啪啪动态图| 香蕉丝袜av| 一区二区三区激情视频| 女人被狂操c到高潮| 97超视频在线观看视频| 国产成+人综合+亚洲专区| 男人的好看免费观看在线视频| 国产男靠女视频免费网站| 天堂影院成人在线观看| 国产精品自产拍在线观看55亚洲| 国产精品亚洲一级av第二区| 桃色一区二区三区在线观看| 黄片小视频在线播放| 久久精品亚洲精品国产色婷小说| 久久九九热精品免费| 在线视频色国产色| 啦啦啦观看免费观看视频高清| 日本a在线网址| 午夜福利在线观看免费完整高清在 | 岛国视频午夜一区免费看| 91九色精品人成在线观看| 18禁裸乳无遮挡免费网站照片| av中文乱码字幕在线| 99久久成人亚洲精品观看| 成人特级av手机在线观看| 免费av不卡在线播放| 午夜激情福利司机影院| 香蕉av资源在线| 亚洲无线观看免费| 毛片女人毛片| 国产真人三级小视频在线观看| 免费人成在线观看视频色| 免费人成视频x8x8入口观看| 伊人久久大香线蕉亚洲五| svipshipincom国产片| 精品久久久久久久毛片微露脸| 国产视频一区二区在线看| 欧美黄色淫秽网站| 十八禁网站免费在线| 老司机深夜福利视频在线观看| 1024手机看黄色片| 一区福利在线观看| 亚洲国产欧美网| 午夜免费激情av| 丁香欧美五月| 99热精品在线国产| 亚洲精品影视一区二区三区av| 伊人久久大香线蕉亚洲五| 国产高清videossex| 香蕉丝袜av| 免费在线观看影片大全网站| 内地一区二区视频在线| 噜噜噜噜噜久久久久久91| 一区二区三区激情视频| 婷婷丁香在线五月| 久久精品综合一区二区三区| 女同久久另类99精品国产91| 女人被狂操c到高潮| 哪里可以看免费的av片| 成人国产综合亚洲| 很黄的视频免费| 国产成年人精品一区二区| 欧美激情久久久久久爽电影| 欧美日韩福利视频一区二区| 丰满的人妻完整版| 搡老熟女国产l中国老女人| 日韩亚洲欧美综合| 男女做爰动态图高潮gif福利片| 韩国av一区二区三区四区| 久久久色成人| 国产一区二区在线观看日韩 | 国产精品一区二区三区四区久久| 国产精品国产高清国产av| 精品无人区乱码1区二区| 亚洲av免费在线观看| 激情在线观看视频在线高清| 亚洲欧美激情综合另类| 亚洲18禁久久av| 国语自产精品视频在线第100页| 亚洲成a人片在线一区二区| 免费高清视频大片| 国产精品1区2区在线观看.| 欧美丝袜亚洲另类 | 久久精品国产清高在天天线| 国产探花极品一区二区| 国产美女午夜福利| 日韩欧美三级三区| 免费无遮挡裸体视频| 国产亚洲欧美98| 国产成人福利小说| 亚洲人成网站在线播放欧美日韩| 99久久综合精品五月天人人| 午夜福利免费观看在线| 国产极品精品免费视频能看的| 亚洲av不卡在线观看| 听说在线观看完整版免费高清| 两个人的视频大全免费|