• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo)綜述

    2019-10-18 02:57:59胡涵李振宇
    軟件導(dǎo)刊 2019年9期
    關(guān)鍵詞:多目標(biāo)優(yōu)化評(píng)價(jià)指標(biāo)

    胡涵 李振宇

    摘 要:多目標(biāo)進(jìn)化算法常用于解決較復(fù)雜的多目標(biāo)優(yōu)化問題,該類算法是基于種群的進(jìn)化算法,通過產(chǎn)生一組近似Pareto最優(yōu)解集滿足決策者偏好。介紹了多目標(biāo)優(yōu)化問題背景知識(shí)及相關(guān)定義,根據(jù)評(píng)價(jià)指標(biāo)衡量解集特性,將現(xiàn)有算法性能評(píng)價(jià)指標(biāo)分為3類并分別進(jìn)行闡述,分析、比較其特點(diǎn)與區(qū)別。

    關(guān)鍵詞:多目標(biāo)優(yōu)化;進(jìn)化算法;評(píng)價(jià)指標(biāo);最優(yōu)解集

    DOI:10. 11907/rjdk. 191024 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

    中圖分類號(hào):TP312 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-7800(2019)009-0001-04

    A Survey of Performance Indicators for Multi-objective Evolutionary Algorithms

    HU Han, LI Zhen-yu

    (School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

    Abstract: Multi-objective evolutionary algorithms are often used to solve complex multi-objective optimization problems. The algorithms are population-based evolutionary algorithms that satisfy decision makers' preferences by generating a set of approximate Pareto optimal solution sets. This paper introduces the background knowledge and related definitions in multi-objective optimization problems. According to the characteristics of the solution set measured by the evaluation indicators, the existing algorithm performance indicators are divided into three categories and elaborated separately, and their specifics are analyzed and some differences between them are compared.

    Key Words: multi-objective optimization; evolutionary algorithms; performance indicator; optimal solution set

    0 引言

    多目標(biāo)優(yōu)化問題在日常生活中較為常見,無論是在科學(xué)研究還是實(shí)際工程應(yīng)用中,多目標(biāo)優(yōu)化都是非常重要的課題。不僅因?yàn)槎嗄繕?biāo)優(yōu)化問題往往伴隨多個(gè)目標(biāo)需要同時(shí)進(jìn)行優(yōu)化,而且多目標(biāo)優(yōu)化的最優(yōu)解往往是一組解集,如何選出符合決策者偏好的解也是亟需解決的問題。

    單目標(biāo)優(yōu)化問題優(yōu)化的只有一個(gè)目標(biāo)并且最終得到一個(gè)單獨(dú)的最優(yōu)解。但多目標(biāo)優(yōu)化問題中目標(biāo)之間往往相互沖突,一個(gè)目標(biāo)性能提升往往伴隨其它一個(gè)或多個(gè)目標(biāo)性能下降。多目標(biāo)優(yōu)化問題中存在一組表示各個(gè)目標(biāo)間權(quán)衡和折中關(guān)系的解集,通常稱為Pareto最優(yōu)解集。Pareto最優(yōu)解集在目標(biāo)域的投影被稱為Pareto前沿[1]。

    為了更好地解決多目標(biāo)優(yōu)化問題,研究人員提出了多種用于求解多目標(biāo)的進(jìn)化算法,諸如NSGA-II[2]、MOEA/D[3]、HypE[4]等。隨著多種多目標(biāo)進(jìn)化算法的出現(xiàn),如何比較和衡量這些算法性能成為一大熱門課題。對(duì)一個(gè)多目標(biāo)進(jìn)化算法進(jìn)行評(píng)價(jià)時(shí),一方面需有一套能夠客觀反映多目標(biāo)進(jìn)化算法優(yōu)劣的評(píng)價(jià)工具或方法;另一方面需選取一組有代表性的測(cè)試集。效果、效率、魯棒性、問題求解范圍,以及是否方便使用等是考察多目標(biāo)進(jìn)化算法的重要指標(biāo)。

    1 多目標(biāo)優(yōu)化問題概述

    通常一個(gè)求解最小化目標(biāo)值的多目標(biāo)優(yōu)化問題可以被定義為:

    [minF(x)=(f1(x),?,fm(x))Tsubject to x∈Ω] ? ? ? ? ? ? ? (1)

    其中,[x=(x1,x2,?,xn)T]為決策變量,[Ω]被稱為決策空間,[F:Ω→θ?Rm]包含由[n]維決策空間[Ω]映射到[m]維目標(biāo)空間[θ]的[m]個(gè)實(shí)值目標(biāo)函數(shù),[Rm]被稱為目標(biāo)空間,[F(x)|x∈Ω]表示為該問題的可行目標(biāo)解。當(dāng)目標(biāo)數(shù)[m]<3時(shí),式(1)被稱為多目標(biāo)優(yōu)化問題;當(dāng)目標(biāo)數(shù)[m]≥4時(shí),則稱式(1)為超多目標(biāo)優(yōu)化問題。

    多目標(biāo)優(yōu)化問題的重要概念及定義如下文所示。

    定義1(Pareto支配):設(shè)[u=(u1,u2,?,um)]和[v=(v1,v2,][?,vm)]是目標(biāo)空間[Rm]中的兩個(gè)向量,稱[u]Pareto支配[v],當(dāng)且僅當(dāng)

    [?i∈1,?,m, ui≤vi ∧ ?j∈1,?,m, ui

    記為[u?v]。

    定義2(非支配解集):對(duì)于解集[P]中的每個(gè)解[x]而言,若[x]不被[P]中任何解所Pareto支配,則由[x]組成的解集被稱為[P]的非支配解集。

    定義3(Pareto最優(yōu)解):對(duì)于式(1)中任意可行解[x*∈Ω],則稱[x*]是Pareto最優(yōu)解,當(dāng)且僅當(dāng):

    [??x∈Ω, x?x*] ? ? ? ? ? ? (3)

    定義4(Pareto最優(yōu)解集):一個(gè)多目標(biāo)優(yōu)化問題中所有Pareto最優(yōu)解構(gòu)成的集合稱為Pareto最優(yōu)解集(Pareto Set,PS)。

    定義5(Pareto前沿):Pareto最優(yōu)解集中的解在其目標(biāo)空間中對(duì)應(yīng)目標(biāo)向量組成的集合稱Pareto前沿(Pareto Front,PF),即:

    [PF=F(x)∈Rm|x∈PS] ? ? ? ?(4)

    定義6(理想點(diǎn)):在最小化多目標(biāo)優(yōu)化問題目標(biāo)空間中,由在各個(gè)目標(biāo)上有最小值的可行解組成的向量稱為理想點(diǎn),記為[z*] ,即:

    [z*j=minfj(x), j∈1,?,m] ? ? ?(5)

    定義7(極值點(diǎn)):在最小化多目標(biāo)優(yōu)化問題目標(biāo)空間中,由在各個(gè)目標(biāo)上有最大值的Pareto最優(yōu)解集中的解組成的向量稱為極值點(diǎn),記為[znad],即:

    [znadj=maxx∈PSfj(x), j∈1,?,m] ? ? ? ? ? ? (6)

    2 多目標(biāo)進(jìn)化算法性能評(píng)價(jià)角度分類

    對(duì)多目標(biāo)進(jìn)化算法的性能評(píng)價(jià)主要考慮3個(gè)方面:所求解集的質(zhì)量、計(jì)算效率與魯棒性。對(duì)于每一類性能評(píng)價(jià),均有相應(yīng)的評(píng)價(jià)工具。

    2.1 解集質(zhì)量

    每運(yùn)行一個(gè)多目標(biāo)進(jìn)化算法后,會(huì)得到一組近似解集,只有獲得的近似解集有較高的質(zhì)量,該多目標(biāo)進(jìn)化算法才有意義。因?yàn)槎嗄繕?biāo)優(yōu)化問題往往具有較復(fù)雜的目標(biāo)函數(shù)等特點(diǎn),通過多目標(biāo)進(jìn)化算法得到目標(biāo)空間上完整的Pareto最優(yōu)解集是不現(xiàn)實(shí)的。一般而言,只需得到一組包含有限個(gè)解并且非常逼近帕里托前沿的PF近似解集,幫助決策者根據(jù)偏好選擇合適的解,從而幫助其決策。

    在評(píng)價(jià)解集質(zhì)量時(shí),對(duì)于已知最優(yōu)解的測(cè)試問題,如DTLZ[5]、WFG[6]測(cè)試問題集等,常要求解集滿足以下兩點(diǎn):①收斂性,其衡量對(duì)象是近似解集趨近于Pareto前沿程度,旨在解決如何指引種群朝著Pareto前沿進(jìn)行搜索。PF近似解集應(yīng)盡可能逼近真實(shí)Pareto前沿;②多樣性,其衡量近似解集中解的多樣化程度。一個(gè)良好的保持種群多樣性的方法可以在整個(gè)Pareto前沿上提供分布均勻的解決方案。衡量解集的多樣性可以進(jìn)一步分為衡量解集分布的均勻性與延展性[7]。均勻性衡量近似解集中解與解之間距離相等程度,延展性衡量近似解集中解在目標(biāo)空間中能擴(kuò)展的范圍程度。

    2.2 效率

    在確保所求解質(zhì)量的前提下,多目標(biāo)進(jìn)化算法運(yùn)行效率也是一項(xiàng)重要的考察指標(biāo)??梢酝ㄟ^多目標(biāo)進(jìn)化算法運(yùn)行的CPU時(shí)間或達(dá)到某種效果所需迭代次數(shù),衡量多目標(biāo)進(jìn)化算法時(shí)間效率。在多目標(biāo)進(jìn)化算法收斂過程中,其求解集質(zhì)量往往隨時(shí)間而變化。一般情況下,解集質(zhì)量會(huì)隨時(shí)間增加而改進(jìn),該規(guī)律可以通過“質(zhì)量—時(shí)間”曲線描述。因?yàn)椴煌亩嗄繕?biāo)進(jìn)化算法采用進(jìn)化策略、非支配解集的構(gòu)造方法不盡相同,對(duì)不同階段的時(shí)間分析有利于深入研究多目標(biāo)進(jìn)化算法的進(jìn)化特性。

    2.3 魯棒性

    如果一個(gè)多目標(biāo)進(jìn)化算法只有在特定問題特性上才能有較好的求解能力與表現(xiàn),則該多目標(biāo)進(jìn)化算法不是魯棒的。一個(gè)魯棒的多目標(biāo)進(jìn)化算法應(yīng)能解決特點(diǎn)各異的不同問題,并且在求解問題時(shí)表現(xiàn)出較好的穩(wěn)定性能。一個(gè)多目標(biāo)進(jìn)化算法對(duì)所求解問題特征的敏感性、對(duì)待處理數(shù)據(jù)質(zhì)量的敏感性及對(duì)不同參數(shù)設(shè)置敏感性等均為衡量其魯棒性的重要指標(biāo)。

    3 多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo)

    已有研究者提出多種多目標(biāo)進(jìn)化算法評(píng)價(jià)指標(biāo),按照前文所述可以分為3大類:①評(píng)價(jià)所求解集與真正PF的趨近程度,即收斂性;②評(píng)價(jià)解集在整個(gè)PF上的分布情況,即多樣性(多樣性細(xì)分為延展性和均勻性);③綜合考慮解集的收斂性與多樣性。各大類中一些具有代表性的算法評(píng)價(jià)指標(biāo)如下。

    3.1 僅衡量收斂性指標(biāo)

    Set Coverage[8](C-metric):通過兩組PF近似解集衡量收斂性能。設(shè)[A]和[B]為兩組PF近似解集[C(A,B)]的定義,如式(7)所示,其表示[B]中個(gè)體至少被[A]中一個(gè)個(gè)體支配的占比。

    [CA,B=u∈B|?v∈A:v?uB] ? ? ? ? ? (7)

    [C(A,B)=1]表示[B]中所有個(gè)體都被[A]中一些個(gè)體支配,即[B]的收斂性比[A]差。相反,若[C(A,B)=0],表示[B]中沒有個(gè)體被[A]中個(gè)體支配,即[B]的收斂性優(yōu)于[A]。因?yàn)镃-metric的計(jì)算是基于支配關(guān)系,所以其最大缺點(diǎn)是隨著目標(biāo)數(shù)的增多,PF 近似解集中的解均彼此互為非支配解,C-metric無法度量收斂性。

    迭代距離[9](Generational Distance,GD):衡量真實(shí)PF上與近似解集之間的間隔距離。需要預(yù)先獲得一組在真實(shí)PF上均勻采樣的解集。設(shè)[P*]為一組在真實(shí)PF上均勻采樣的解集,[S]是多目標(biāo)進(jìn)化算法求得的PF近似解集,則GD定義如式(8)所示。

    [GD(S,P*)=x∈Sdist(x,P*)2S] ? ? ? ? ? ? (8)

    其中,[dist(x,S)]表示個(gè)體[x∈S]到[P*]上離其最近個(gè)體之間的歐氏距離,[S]是集合[S]的基數(shù)。GD值越小,表示[S]具有越好的收斂性,越能逼近整個(gè)PF。

    錯(cuò)誤率[10](Error Ratio,ER):描述的是不屬于真實(shí)PF的解向量占種群規(guī)模的比率。經(jīng)多目標(biāo)進(jìn)化算法得到的PF近似解中很可能存在某些解向量不在真實(shí)PF中。令[S=x1,x2,?,xn]為含有[n]個(gè)解向量的PF近似解集。[ei=][0],當(dāng)且僅當(dāng)解向量[xi]屬于真實(shí)PF,否則[ei=1]。錯(cuò)誤率需要一組真實(shí)PF作為參考解集,其數(shù)學(xué)表達(dá)式如式(9)所示。

    [ER(S)=i=1nein] ? ? ? ? ? ?(9)

    [ER(S)]越小表示近似解集有更好的非支配解集。

    3.2 僅衡量多樣性指標(biāo)

    空間評(píng)價(jià)方法[11](Spacing Metric)可衡量PF近似解集中個(gè)體在目標(biāo)空間的分布情況。其數(shù)學(xué)表達(dá)式如式(10)所示。

    [Spacing=i=1|PF|di-d|PF|] ? ? ? ? (10)

    其中,[PF]代表已知的真實(shí)PF,[di]指解集中非支配邊界上兩個(gè)連續(xù)向量的歐氏距離,[d]是距離平均值。但該評(píng)價(jià)方法比較適用于兩維目標(biāo)空間,而在超多目標(biāo)情況下效果不理想。

    Maximum Spread[12]可通過計(jì)算PF近似解集覆蓋真實(shí)PF的程度,衡量該近似解集的延展性能。設(shè)[P]為一組在真實(shí)PF采樣上均勻的解集,[S]是多目標(biāo)進(jìn)化算法求得的PF近似解集,其數(shù)學(xué)表達(dá)式如式(11)所示。

    [MS=1mi=1m|min(Smaxi-Pmaxi)-max(Smini-Pmini)Pmaxi-Pmini|] (11)

    其中,[Smaxi]和[Smini]表示近似解集[S]在第[i]個(gè)目標(biāo)上的最大值與最小值,[Pmaxi]和[Pmini]表示真實(shí)PF[P]在第[i]個(gè)目標(biāo)上的最大值與最小值。[MS]值越高表示近似解集[S]覆蓋在真實(shí)PF上的區(qū)域越大,多樣性越好。

    [Δ]Metric可通過獲得解集延展程度衡量解集多樣性[13]。計(jì)算所獲得非支配解集中連續(xù)解之間歐氏距離的平均值,然后通過擬合平行于真實(shí)PF的曲線計(jì)算該解集在目標(biāo)空間中的極值解。其數(shù)學(xué)表達(dá)式如式(12)所示。

    [Δ=df+dl+i=1N-1|di-d|df+dl+(N-1)d] ? ? ? ? (12)

    式中,[df]和[dl]分別為PF近似解集上極值解之間的距離及每個(gè)目標(biāo)之間邊界解之間的距離。[N]為PF近似解集中個(gè)體數(shù)目。[di]表示解集中連續(xù)兩個(gè)個(gè)體之間的距離,[d]為所有[di,i=1,2,?,N-1]距離的平均值。當(dāng)所有距離[di]等于[d]且[df=dl=0]時(shí),使得[Δ=0]時(shí)有最佳多樣性。

    3.3 綜合衡量收斂性與多樣性指標(biāo)

    反向迭代距離[14](Inverted Generational Distance,IGD)衡量的是真實(shí)PF的個(gè)體到算法求得的近似解集之間最小距離的平均值,因此計(jì)算IGD需要預(yù)先獲得一組在真實(shí)PF上均勻采樣的解集。設(shè)[P*]為一組在真實(shí)PF上均勻采樣的解集,[S]是多目標(biāo)進(jìn)化算法求得的PF近似解集,則IGD定義如式(13)所示。

    [IGD(S,P*)=x∈P*dist(x,S)|P*|] ? ? ? ? (13)

    其中,[dist(x,S)]表示個(gè)體[x∈P*]到[S]上離其最近個(gè)體之間的歐氏距離,[|P*|]是集合[P*]的基數(shù)。IGD值越小,表示[S]具有越好的收斂與多樣性能,越能逼近整個(gè)PF。另外,當(dāng)[IGD(S,P*)=0]時(shí),表示[S]是[P*]的子集。

    超體積指標(biāo)[8](Hypervolume,HV)指給定一組預(yù)先設(shè)置分布在目標(biāo)空間的參考點(diǎn)[r*=(r*1,r*2,?,r*m)]與一組由算法得到的PF近似解集[S],滿足[r*]被[S]中所有解支配。HV衡量的是以[r*]為邊界、被[S]支配目標(biāo)空間的體積大小,其定義如式(14)所示。

    [HV(S)=VOL(x∈S[f1(x),r*1]×?fm(x),r*m)] ? (14)

    式中[VOL(?)]表示勒貝格測(cè)度。HV值越大,表示[S]越近似于整個(gè)PF。但HV有兩個(gè)明顯缺陷:①HV計(jì)算復(fù)雜度隨目標(biāo)數(shù)呈指數(shù)級(jí)增長(zhǎng);②參考點(diǎn)選取一定程度決定HV值的準(zhǔn)確性。

    [p-metric][15]是最近提出的用于度量超多目標(biāo)PF近似解集的性能指標(biāo)。通過預(yù)設(shè)的參考向量將目標(biāo)空間分割成若干個(gè)子空間。如果滿足[i=argmaxλi∈V(λi)T?F(s)||λi|||?|F(s)||],其中[λi]表示第[i]個(gè)參考向量,[F(s)]表示個(gè)體[s]的解向量,則稱個(gè)體[s]屬于第[i]個(gè)子空間[?i]。 在每個(gè)子空間[?i]中離初始解[s]最近的距離[ri]定義[p-metric],其數(shù)學(xué)表達(dá)式如式(15)所示。

    [p-metric =i=1M1ri] ? ? ? ? ? ? ? ? (15)

    其中[M]表示子空間數(shù)目,[1r=0]表示該子空間內(nèi)不存在個(gè)體。從式(15)中可以看出PF近似解集的多樣性與子空間相關(guān)個(gè)體數(shù)目有關(guān)。值得注意的是,一個(gè)個(gè)體只能處于一個(gè)子空間內(nèi),但一個(gè)子空間可以包含若干個(gè)個(gè)體。[p-metric]的精度并不能通過增加參考向量的方式得到改進(jìn),因?yàn)閇N]個(gè)個(gè)體最多處于[N]個(gè)子空間內(nèi)。

    R2被首次提出時(shí)被用于評(píng)估兩組PF近似解集之間相對(duì)性能[16]。假定一組理想點(diǎn)[z*]和標(biāo)準(zhǔn)加權(quán)的切比雪夫聚合函數(shù),該指標(biāo)可用于評(píng)估單個(gè)PF近似解集的性能。 給定一組近似解集[S],一組在目標(biāo)空間均勻分布的權(quán)重向量[W=(w1,?,wm)]以及標(biāo)準(zhǔn)切比雪夫聚合函數(shù),則R2定義如式(16)所示,R2值越小表示近似解集越接近于理想點(diǎn)。

    [R2(S,W,z*)=1Wx∈Wminx∈Smaxwi(fi(x)-z*i)] (16)

    超體積比率(Hypervolume Ratio,HVR)指計(jì)算近似解集非支配解集[D]的超體積值占真實(shí)帕里托前沿[P*]的超體積值比率[17],如式(17)所示。

    [HVR=HV(D)HV(P*)] ? ? ? ? ? ? (17)

    HV為非支配解集以參考點(diǎn)為邊界構(gòu)建的超立方體空間量。HVR值越高表示非支配解集越接近真實(shí)PF,且在目標(biāo)空間中多樣性越好。

    4 結(jié)語

    隨著多目標(biāo)進(jìn)化算法的不斷進(jìn)化,如何比較、衡量算法性能成為熱門課題。本文首先分析多目標(biāo)進(jìn)化算法相關(guān)概念及定義,從評(píng)價(jià)多目標(biāo)進(jìn)化算法的不同角度進(jìn)行分類,并著重闡述衡量算法種群質(zhì)量的多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo),將目前主流評(píng)價(jià)指標(biāo)分為3大類,介紹其基本思想及優(yōu)缺點(diǎn),以期為在不同應(yīng)用場(chǎng)景中選擇合適的評(píng)價(jià)指標(biāo)提供參考。

    參考文獻(xiàn):

    [1] 梅志偉.多目標(biāo)進(jìn)化算法綜述[J]. 軟件導(dǎo)刊,2017,16(6):204-207.

    [2] DEB K, PRATAP A, AGARWAL S, et al. A fast and elitist multi-objective genetic algorithm: NSGA-II[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(2):182-197.

    [3] ZHANG Q,LI H. MOEA/D: A multi-objective evolutionary algorithm based on decomposition[M]. New York: IEEE Press, 2007.

    [4] BADER J,ZITZLER E. HypE: an algorithm for fast hyper volume-based many-objective optimization[J]. Evolutionary Computation,2011,19(1): 45-76.

    [5] DEB K,THIELE L,LAUMANNS M,et al. Scalable test problems for evolutionary multi-objective optimization[M]. London:Springer, 2005.

    [6] HUBAND S, BARONE L, WHILE L, et al. A scalable multi-objective test problem toolkit[C]. ?International Conference on Evolutionary Multi-Criterion Optimization,2005: 280-295.

    [7] LI M, YANG S, LIU X. Diversity comparison of Pareto front approximations in many-objective optimization[J]. IEEE Transactions on Cybernetics, 2014, 44(12): 2568-2584.

    [8] ZITZLER E, THIELE L. Multi-objective evolutionary algorithms: a comparative case study and the strength Pareto approach[J]. IEEE Transactions on Evolutionary Computation, 1999, 3(4):257-271.

    [9] SCHUTZE O,ESQUIVEL X,LARA A,et al. Using the averaged Hausdorff distance as a performance measure in evolutionary multi-objective optimization[J]. IEEE Transactions on Evolutionary Computation, 2012, 16(4): 504-522.

    [10] VELDHUIZEN D A V. Multi-objective evolutionary algorithms: classifications, analyses, and new innovations[J]. Evolutionary Computation, 1999, 8(2):125-147.

    [11] BANDYOPADHYAY S,PAL S K,ARUNA B. Multi-objective GAs, quantitative indices, and pattern classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B(Cybernetics), 2004, 34(5):2088-2099.

    [12] ZITZLER E,DEB K,THIELE L. Comparison of multi-objective evolutionary algorithms: empirical results[J]. Evolutionary computation, 2000, 8(2): 173-195.

    [13] DEB K,PRATAP A,AGARWAL S,et al. A fast and elitist multi-objective genetic algorithm: NSGA-II[J]. IEEE transactions on evolutionary computation, 2002, 6(2): 182-197.

    [14] BOSMAN P A N, THIERENS D. The balance between proximity and diversity in multi-objective evolutionary algorithms[J]. IEEE transactions on evolutionary computation, 2003, 7(2): 174-188.

    [15] HE Z, YEN G G. Visualization and performance metric in many-objective optimization[J]. IEEE Transactions on Evolutionary Computation, 2016, 20(3): 386-402.

    [16] HANSEN M P, JASZKIEWICZ A. Evaluating the quality of approximations to the non-dominated set[R]. Denmark: Department of Mathematical Modelling,Technical University of Denmark,IMM-REP-1998-7,1994.

    [17] VAN VELDHUIZEN D A,LAMONT G B. Multi-objective evolutionary algorithm test suites[C]. 1999 ACM symposium on Applied computing,1999: 351-357.

    (責(zé)任編輯:江 艷)

    多目標(biāo)進(jìn)化算法性能評(píng)價(jià)指標(biāo)綜述

    猜你喜歡
    多目標(biāo)優(yōu)化評(píng)價(jià)指標(biāo)
    改進(jìn)的多目標(biāo)啟發(fā)式粒子群算法及其在桁架結(jié)構(gòu)設(shè)計(jì)中的應(yīng)用
    群體多目標(biāo)優(yōu)化問題的權(quán)序α度聯(lián)合有效解
    云計(jì)算中虛擬機(jī)放置多目標(biāo)優(yōu)化
    旅游產(chǎn)業(yè)與文化產(chǎn)業(yè)融合理論與實(shí)證分析
    中國藥品安全綜合評(píng)價(jià)指標(biāo)體系研究
    第三方物流企業(yè)績(jī)效評(píng)價(jià)研究綜述
    商(2016年33期)2016-11-24 23:50:25
    基于UML的高校思想政治教育工作評(píng)價(jià)系統(tǒng)的分析與研究
    公共文化服務(wù)體系評(píng)價(jià)指標(biāo)的國際經(jīng)驗(yàn)與啟示
    狼群算法的研究
    資源型企業(yè)財(cái)務(wù)競(jìng)爭(zhēng)力評(píng)價(jià)研究
    大话2 男鬼变身卡| 久热这里只有精品99| 黄色片一级片一级黄色片| 国产精品 国内视频| 麻豆av在线久日| 只有这里有精品99| 午夜老司机福利片| 午夜久久久在线观看| 精品一区二区三区av网在线观看 | 高清不卡的av网站| 一级毛片 在线播放| 一本一本久久a久久精品综合妖精| 777久久人妻少妇嫩草av网站| 亚洲情色 制服丝袜| 少妇精品久久久久久久| 欧美中文综合在线视频| 亚洲av成人精品一二三区| 99国产综合亚洲精品| 日本欧美视频一区| 亚洲三区欧美一区| av在线播放精品| 国产成人欧美在线观看 | 成年动漫av网址| 亚洲情色 制服丝袜| 国产亚洲精品久久久久5区| 免费日韩欧美在线观看| 一边亲一边摸免费视频| 国产成人影院久久av| 色94色欧美一区二区| 无遮挡黄片免费观看| 韩国高清视频一区二区三区| 国产精品久久久久成人av| 高潮久久久久久久久久久不卡| 午夜激情久久久久久久| 亚洲精品久久久久久婷婷小说| 国产精品av久久久久免费| 天天躁狠狠躁夜夜躁狠狠躁| 欧美日韩亚洲综合一区二区三区_| 久9热在线精品视频| 亚洲欧洲精品一区二区精品久久久| 2021少妇久久久久久久久久久| 久久久久久久国产电影| 国产精品一区二区在线观看99| 日本欧美国产在线视频| 国产一级毛片在线| 国产精品偷伦视频观看了| 国产成人欧美| 午夜免费鲁丝| 爱豆传媒免费全集在线观看| 中文精品一卡2卡3卡4更新| 99国产综合亚洲精品| 亚洲久久久国产精品| 纯流量卡能插随身wifi吗| 亚洲五月色婷婷综合| 在线观看免费视频网站a站| 欧美日韩亚洲综合一区二区三区_| 美女主播在线视频| 日日摸夜夜添夜夜爱| 婷婷成人精品国产| 19禁男女啪啪无遮挡网站| 香蕉国产在线看| 国产人伦9x9x在线观看| 热re99久久精品国产66热6| h视频一区二区三区| 国产亚洲精品久久久久5区| 性少妇av在线| 不卡av一区二区三区| 91成人精品电影| 午夜福利视频在线观看免费| 热99国产精品久久久久久7| 日本vs欧美在线观看视频| videos熟女内射| 人人澡人人妻人| 亚洲人成电影观看| 在线看a的网站| 国产一区二区三区综合在线观看| 久久精品熟女亚洲av麻豆精品| 国产精品一二三区在线看| 欧美精品av麻豆av| 欧美变态另类bdsm刘玥| 一区福利在线观看| 久久亚洲国产成人精品v| 男女床上黄色一级片免费看| 中文字幕人妻丝袜一区二区| 老汉色av国产亚洲站长工具| 亚洲av成人不卡在线观看播放网 | 欧美中文综合在线视频| 夫妻午夜视频| 婷婷丁香在线五月| 久久久久久亚洲精品国产蜜桃av| 一边亲一边摸免费视频| svipshipincom国产片| 这个男人来自地球电影免费观看| 国产欧美日韩精品亚洲av| 伊人久久大香线蕉亚洲五| 国产精品久久久久久精品电影小说| 国产1区2区3区精品| www.熟女人妻精品国产| 男女边摸边吃奶| 激情视频va一区二区三区| 脱女人内裤的视频| 一本综合久久免费| 久久精品久久精品一区二区三区| 国产视频一区二区在线看| 午夜视频精品福利| 久久人人爽人人片av| a级毛片黄视频| 亚洲欧美一区二区三区国产| 婷婷成人精品国产| 国产真人三级小视频在线观看| 99re6热这里在线精品视频| 性高湖久久久久久久久免费观看| 亚洲av日韩在线播放| 一区在线观看完整版| 中文精品一卡2卡3卡4更新| 久久青草综合色| 精品福利观看| 韩国精品一区二区三区| 18禁国产床啪视频网站| 丝袜美腿诱惑在线| 日本色播在线视频| 亚洲精品自拍成人| 久久精品久久精品一区二区三区| 丝袜喷水一区| 超色免费av| av国产精品久久久久影院| 丝瓜视频免费看黄片| 精品国产乱码久久久久久男人| av又黄又爽大尺度在线免费看| a 毛片基地| a级片在线免费高清观看视频| 成年人黄色毛片网站| 丁香六月欧美| 日韩电影二区| 观看av在线不卡| 丝袜美足系列| 久久久精品免费免费高清| 一区二区三区精品91| 高潮久久久久久久久久久不卡| 三上悠亚av全集在线观看| 国产av精品麻豆| 熟女少妇亚洲综合色aaa.| 少妇 在线观看| 亚洲精品美女久久久久99蜜臀 | 一级黄色大片毛片| 视频区欧美日本亚洲| 首页视频小说图片口味搜索 | 中文欧美无线码| 啦啦啦视频在线资源免费观看| 亚洲少妇的诱惑av| 日韩大码丰满熟妇| 亚洲成人手机| 热99久久久久精品小说推荐| 视频区图区小说| 天天躁日日躁夜夜躁夜夜| 丝袜喷水一区| 中文欧美无线码| 国产成人精品久久二区二区免费| 一区福利在线观看| 我要看黄色一级片免费的| 最新的欧美精品一区二区| av欧美777| 黄色视频不卡| 国产成人精品久久二区二区91| 免费高清在线观看日韩| 晚上一个人看的免费电影| 国产免费又黄又爽又色| 国产淫语在线视频| 精品久久久久久久毛片微露脸 | 日韩电影二区| 欧美激情高清一区二区三区| 国产成人av教育| 久久影院123| 一边摸一边抽搐一进一出视频| 国产亚洲精品第一综合不卡| 日本黄色日本黄色录像| videosex国产| 亚洲色图 男人天堂 中文字幕| 丰满人妻熟妇乱又伦精品不卡| 亚洲精品日本国产第一区| 涩涩av久久男人的天堂| 久久精品人人爽人人爽视色| 欧美成狂野欧美在线观看| 国产人伦9x9x在线观看| 美女国产高潮福利片在线看| 免费黄频网站在线观看国产| 成在线人永久免费视频| 99久久精品国产亚洲精品| 中文字幕最新亚洲高清| 一边摸一边做爽爽视频免费| 国产亚洲精品久久久久5区| av天堂久久9| 乱人伦中国视频| a级毛片在线看网站| 丁香六月欧美| 亚洲成人国产一区在线观看 | 国产深夜福利视频在线观看| 欧美日韩亚洲高清精品| 人人妻人人爽人人添夜夜欢视频| 免费看不卡的av| xxx大片免费视频| 99国产精品99久久久久| 777久久人妻少妇嫩草av网站| 久久精品久久久久久久性| 女人高潮潮喷娇喘18禁视频| 深夜精品福利| 午夜福利免费观看在线| 最新的欧美精品一区二区| 大片电影免费在线观看免费| 婷婷色综合www| 精品亚洲成国产av| 丝袜美腿诱惑在线| 国产亚洲欧美精品永久| 2021少妇久久久久久久久久久| 十八禁高潮呻吟视频| 亚洲成色77777| 亚洲伊人久久精品综合| 国产成人免费无遮挡视频| 老汉色∧v一级毛片| 亚洲,欧美精品.| 婷婷色麻豆天堂久久| √禁漫天堂资源中文www| 黄色视频在线播放观看不卡| 考比视频在线观看| 成人手机av| 国产日韩一区二区三区精品不卡| 国产视频一区二区在线看| 18禁国产床啪视频网站| 国产精品九九99| 男人操女人黄网站| 亚洲九九香蕉| 久久久久精品人妻al黑| 美女脱内裤让男人舔精品视频| 国产精品秋霞免费鲁丝片| 欧美日韩国产mv在线观看视频| 国产精品久久久人人做人人爽| 人人妻人人澡人人看| a 毛片基地| 美女高潮到喷水免费观看| 亚洲精品国产一区二区精华液| 狠狠精品人妻久久久久久综合| a级毛片在线看网站| 亚洲av片天天在线观看| 欧美黑人欧美精品刺激| 精品一区在线观看国产| 精品亚洲成国产av| 久久久精品国产亚洲av高清涩受| 亚洲精品中文字幕在线视频| 国产黄色免费在线视频| 欧美性长视频在线观看| 老司机影院毛片| 久久综合国产亚洲精品| 在线观看免费视频网站a站| 久久久精品国产亚洲av高清涩受| 免费在线观看影片大全网站 | 日韩中文字幕视频在线看片| 狠狠精品人妻久久久久久综合| 久久天躁狠狠躁夜夜2o2o | 男女边摸边吃奶| 天天躁日日躁夜夜躁夜夜| 国产精品二区激情视频| 国产高清国产精品国产三级| 国产精品香港三级国产av潘金莲 | 天天躁狠狠躁夜夜躁狠狠躁| 又大又黄又爽视频免费| 国产精品一二三区在线看| 国产成人精品久久久久久| 久久青草综合色| 考比视频在线观看| 亚洲精品国产一区二区精华液| 久久精品国产a三级三级三级| 免费人妻精品一区二区三区视频| 一二三四在线观看免费中文在| 久久人妻福利社区极品人妻图片 | 久久人妻福利社区极品人妻图片 | 香蕉丝袜av| 国产99久久九九免费精品| 国产精品久久久人人做人人爽| 狂野欧美激情性xxxx| 天天躁夜夜躁狠狠躁躁| 青草久久国产| 欧美精品亚洲一区二区| 纵有疾风起免费观看全集完整版| 日韩免费高清中文字幕av| 国产欧美亚洲国产| 校园人妻丝袜中文字幕| 男女床上黄色一级片免费看| 国产精品 欧美亚洲| 波多野结衣av一区二区av| 日韩伦理黄色片| 国产精品一二三区在线看| 视频区图区小说| 韩国精品一区二区三区| 一二三四社区在线视频社区8| 国产免费现黄频在线看| 亚洲国产精品999| 久久免费观看电影| 欧美少妇被猛烈插入视频| 伦理电影免费视频| 欧美 日韩 精品 国产| 亚洲成色77777| av网站在线播放免费| 久久久久国产精品人妻一区二区| 在线精品无人区一区二区三| 久久性视频一级片| 午夜91福利影院| 国产av一区二区精品久久| 久9热在线精品视频| 亚洲精品国产av成人精品| 精品视频人人做人人爽| 在线观看免费日韩欧美大片| 丝袜美足系列| 欧美97在线视频| 国产一区二区三区av在线| 亚洲欧美清纯卡通| avwww免费| 七月丁香在线播放| videos熟女内射| 亚洲欧美成人综合另类久久久| 婷婷成人精品国产| 欧美日韩成人在线一区二区| 久久人人爽人人片av| 日本a在线网址| 国产免费一区二区三区四区乱码| 人人妻人人澡人人爽人人夜夜| av国产精品久久久久影院| 免费在线观看完整版高清| 欧美另类一区| 午夜福利乱码中文字幕| 啦啦啦在线观看免费高清www| 国产亚洲精品第一综合不卡| 亚洲免费av在线视频| 日韩制服丝袜自拍偷拍| 国产极品粉嫩免费观看在线| 亚洲专区中文字幕在线| 亚洲av成人精品一二三区| 少妇粗大呻吟视频| 免费在线观看黄色视频的| 欧美亚洲日本最大视频资源| 在线观看免费日韩欧美大片| 免费看av在线观看网站| 久9热在线精品视频| 久久久久久免费高清国产稀缺| 亚洲人成电影观看| 大香蕉久久网| 亚洲欧美日韩高清在线视频 | 国产成人欧美| 最新的欧美精品一区二区| av电影中文网址| 欧美日韩黄片免| 色婷婷久久久亚洲欧美| 新久久久久国产一级毛片| 日韩熟女老妇一区二区性免费视频| 亚洲欧洲国产日韩| 国产精品熟女久久久久浪| 欧美人与善性xxx| 七月丁香在线播放| 亚洲精品成人av观看孕妇| 黑丝袜美女国产一区| 亚洲av电影在线观看一区二区三区| 午夜免费成人在线视频| 久久久久久久久久久久大奶| 男男h啪啪无遮挡| av视频免费观看在线观看| 精品一区二区三区四区五区乱码 | 国产在线观看jvid| 欧美精品一区二区免费开放| 高清欧美精品videossex| 亚洲久久久国产精品| 国产激情久久老熟女| 日本五十路高清| 久久性视频一级片| 老司机影院成人| kizo精华| 黑人欧美特级aaaaaa片| 啦啦啦 在线观看视频| 黄色怎么调成土黄色| 一二三四社区在线视频社区8| 久久久久久久精品精品| videosex国产| 一本久久精品| 永久免费av网站大全| 丝袜脚勾引网站| 一级,二级,三级黄色视频| 又紧又爽又黄一区二区| 国产一区二区三区av在线| 999精品在线视频| 婷婷色综合大香蕉| av天堂在线播放| 女人精品久久久久毛片| 久久国产精品男人的天堂亚洲| 一级片'在线观看视频| 午夜福利乱码中文字幕| 久久热在线av| 国产三级黄色录像| 一本综合久久免费| 交换朋友夫妻互换小说| 日韩一区二区三区影片| 99香蕉大伊视频| 伊人久久大香线蕉亚洲五| 少妇人妻 视频| 涩涩av久久男人的天堂| 一边亲一边摸免费视频| 亚洲第一青青草原| 免费一级毛片在线播放高清视频 | 99re6热这里在线精品视频| 国产99久久九九免费精品| av有码第一页| 无限看片的www在线观看| 亚洲av日韩在线播放| 欧美日韩精品网址| 成人手机av| 中文字幕制服av| 亚洲国产av影院在线观看| 丁香六月天网| 男女边吃奶边做爰视频| 亚洲,欧美,日韩| 高清不卡的av网站| 你懂的网址亚洲精品在线观看| 色婷婷久久久亚洲欧美| 国产成人影院久久av| 亚洲av综合色区一区| 99热国产这里只有精品6| 亚洲少妇的诱惑av| xxx大片免费视频| 久久久精品免费免费高清| 精品第一国产精品| 成人亚洲精品一区在线观看| 无限看片的www在线观看| 人成视频在线观看免费观看| 性色av一级| 国产欧美日韩综合在线一区二区| av在线老鸭窝| 精品一区在线观看国产| 久久鲁丝午夜福利片| 99九九在线精品视频| 大话2 男鬼变身卡| 黄网站色视频无遮挡免费观看| 婷婷色综合大香蕉| 久久久国产欧美日韩av| 黑人猛操日本美女一级片| 深夜精品福利| 午夜91福利影院| 亚洲一码二码三码区别大吗| 性色av一级| 人人妻人人澡人人看| 波多野结衣av一区二区av| 国产成人啪精品午夜网站| 欧美激情 高清一区二区三区| 久久青草综合色| 色网站视频免费| 一边摸一边抽搐一进一出视频| 免费高清在线观看视频在线观看| 好男人电影高清在线观看| 爱豆传媒免费全集在线观看| 亚洲视频免费观看视频| 国产免费福利视频在线观看| 嫁个100分男人电影在线观看 | 亚洲熟女毛片儿| 国产福利在线免费观看视频| 18禁裸乳无遮挡动漫免费视频| 人人澡人人妻人| 亚洲成人免费av在线播放| 中文字幕人妻熟女乱码| 曰老女人黄片| 狠狠婷婷综合久久久久久88av| 少妇猛男粗大的猛烈进出视频| 99re6热这里在线精品视频| 亚洲欧洲精品一区二区精品久久久| 久久精品熟女亚洲av麻豆精品| 大码成人一级视频| 精品国产一区二区三区四区第35| 各种免费的搞黄视频| 新久久久久国产一级毛片| 老司机午夜十八禁免费视频| 伊人久久大香线蕉亚洲五| 99精品久久久久人妻精品| 美女视频免费永久观看网站| 久久性视频一级片| 丰满饥渴人妻一区二区三| 欧美日韩成人在线一区二区| 一二三四在线观看免费中文在| 久久天躁狠狠躁夜夜2o2o | 日韩熟女老妇一区二区性免费视频| av在线播放精品| 国产一区二区三区综合在线观看| 黄片播放在线免费| 国产伦理片在线播放av一区| 欧美久久黑人一区二区| 成人午夜精彩视频在线观看| 久久久久久久久免费视频了| 叶爱在线成人免费视频播放| 国产视频一区二区在线看| 亚洲人成电影免费在线| 精品国产一区二区三区四区第35| 校园人妻丝袜中文字幕| 欧美xxⅹ黑人| 亚洲av综合色区一区| 国产成人免费观看mmmm| 国产一卡二卡三卡精品| 午夜91福利影院| 一级,二级,三级黄色视频| 久久久久久人人人人人| 中文精品一卡2卡3卡4更新| 男女床上黄色一级片免费看| 中文字幕精品免费在线观看视频| 免费人妻精品一区二区三区视频| av在线app专区| 国产高清videossex| 人人妻人人澡人人爽人人夜夜| 丝袜脚勾引网站| 欧美日韩一级在线毛片| 精品视频人人做人人爽| 黄色毛片三级朝国网站| 叶爱在线成人免费视频播放| 亚洲自偷自拍图片 自拍| 久久99一区二区三区| 欧美日韩av久久| 国产亚洲精品久久久久5区| 亚洲av成人精品一二三区| 秋霞在线观看毛片| 日本午夜av视频| 久久久久久久大尺度免费视频| 免费人妻精品一区二区三区视频| 午夜两性在线视频| 最黄视频免费看| 欧美亚洲日本最大视频资源| 欧美日韩福利视频一区二区| 91字幕亚洲| 七月丁香在线播放| 日本欧美视频一区| 美女扒开内裤让男人捅视频| 国产主播在线观看一区二区 | 国产在线一区二区三区精| 日韩制服骚丝袜av| 免费黄频网站在线观看国产| 婷婷丁香在线五月| 久久久精品免费免费高清| 成人18禁高潮啪啪吃奶动态图| 91精品三级在线观看| 黄色毛片三级朝国网站| 夫妻性生交免费视频一级片| 又黄又粗又硬又大视频| cao死你这个sao货| 亚洲精品成人av观看孕妇| 制服诱惑二区| 伊人久久大香线蕉亚洲五| 女人精品久久久久毛片| 亚洲国产看品久久| 搡老乐熟女国产| 日本黄色日本黄色录像| 午夜日韩欧美国产| 黄频高清免费视频| 九色亚洲精品在线播放| 国产黄频视频在线观看| 狠狠精品人妻久久久久久综合| 日本vs欧美在线观看视频| 天天影视国产精品| 精品一区在线观看国产| 精品少妇黑人巨大在线播放| 国产成人精品久久二区二区免费| 免费女性裸体啪啪无遮挡网站| 国产黄色视频一区二区在线观看| 国产成人影院久久av| 久久精品国产综合久久久| 亚洲精品国产区一区二| 嫁个100分男人电影在线观看 | 亚洲av欧美aⅴ国产| 丰满饥渴人妻一区二区三| 婷婷色综合大香蕉| 日本五十路高清| 国产亚洲欧美精品永久| 亚洲成人国产一区在线观看 | 色94色欧美一区二区| 亚洲自偷自拍图片 自拍| 亚洲国产欧美一区二区综合| 一二三四在线观看免费中文在| 亚洲天堂av无毛| 97在线人人人人妻| 大片电影免费在线观看免费| 欧美老熟妇乱子伦牲交| 免费一级毛片在线播放高清视频 | 精品久久久精品久久久| 天天操日日干夜夜撸| 丰满饥渴人妻一区二区三| 视频区图区小说| 国产真人三级小视频在线观看| av天堂久久9| 女性生殖器流出的白浆| 久久精品亚洲熟妇少妇任你| 日韩大码丰满熟妇| 好男人电影高清在线观看| 爱豆传媒免费全集在线观看| 国产午夜精品一二区理论片| 亚洲色图综合在线观看| 你懂的网址亚洲精品在线观看| 日韩 亚洲 欧美在线| 欧美人与性动交α欧美精品济南到| av在线app专区| 黑人猛操日本美女一级片| 捣出白浆h1v1| 高清欧美精品videossex| 18在线观看网站| www.自偷自拍.com| 亚洲综合色网址| 男女床上黄色一级片免费看| 午夜91福利影院| 国产精品 国内视频| 欧美日韩亚洲高清精品| 国产成人欧美在线观看 | 日本av免费视频播放| videos熟女内射| 国产片内射在线| 久久久国产精品麻豆| 欧美日韩精品网址|