基于層間模型知識(shí)遷移的深度堆疊最小二乘分類器

馮 偉 杭文龍 梁 爽 劉學(xué)軍 王 輝

1(南京工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南京 211816)2(南京郵電大學(xué)地理與生物信息學(xué)院 南京 210023)(fengwei@njtech.edu.cn)

最小二乘分類器(least square classifier,LSC)模型參數(shù)的解析解形式，使其通過留一交叉驗(yàn)證策略可以簡(jiǎn)便快速地確定最優(yōu)模型參數(shù)(如平衡參數(shù)以及高斯核寬)，避免耗費(fèi)大量計(jì)算成本進(jìn)行參數(shù)尋優(yōu)[1].因此，LSC模型被廣泛應(yīng)用于圖像識(shí)別[2-3]、語音識(shí)別[4-5]、文本分類[6]等領(lǐng)域.然而，隨著信息技術(shù)的發(fā)展，數(shù)據(jù)特征和結(jié)構(gòu)趨于復(fù)雜化，例如遙感圖像、醫(yī)學(xué)圖像等.這些數(shù)據(jù)往往需要專業(yè)領(lǐng)域人員根據(jù)應(yīng)用場(chǎng)景設(shè)計(jì)特征提取器，將原始數(shù)據(jù)轉(zhuǎn)化成分類器易于處理的數(shù)據(jù)特征形式.上述過程需要輔助大量的領(lǐng)域知識(shí)和專業(yè)經(jīng)驗(yàn)，給傳統(tǒng)的LSC模型在實(shí)際場(chǎng)景中的應(yīng)用帶來極大的挑戰(zhàn).

近年來，深度學(xué)習(xí)在理論與技術(shù)的突破性發(fā)展，表現(xiàn)出優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法的性能[7].深度學(xué)習(xí)框架主要由多個(gè)非線性單元堆疊而成，其利用相鄰前層的輸出作為下一層的輸入，經(jīng)過多層特征提取后，自適應(yīng)地從原始數(shù)據(jù)中抽象出有效的特征表示.深度學(xué)習(xí)方法由于其強(qiáng)大的特征學(xué)習(xí)能力受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，目前已成功應(yīng)用于計(jì)算機(jī)視覺[8-10]、自然語言處理[11-13]等領(lǐng)域.然而，主流的深度學(xué)習(xí)方法大多基于多層感知機(jī)，需要求解非凸優(yōu)化問題，容易陷入局部最優(yōu)值.且參數(shù)較多、模型訓(xùn)練時(shí)間過長(zhǎng)[14-16].

針對(duì)這些問題，本文結(jié)合堆疊泛化理論以及遷移學(xué)習(xí)機(jī)制提出一種新的堆疊架構(gòu)，在LSC模型的基礎(chǔ)上提出了深度遷移最小二乘分類器(deep transfer least square classifier,DTLSC)，其具有2個(gè)特點(diǎn)：

1)基于堆疊泛化原理，利用LSC模型作為基本堆疊單元構(gòu)建深度堆疊架構(gòu)，避免了傳統(tǒng)深度網(wǎng)絡(luò)中需要求解非凸優(yōu)化的問題，提升模型分類性能的同時(shí)提高了網(wǎng)絡(luò)計(jì)算效率.具體地，DTLSC的第1層輸入為原始數(shù)據(jù).從第2層開始，每一層的輸入由所有前層輸出的隨機(jī)投影與原始特征疊加而成.從而利用了前層輸出遞歸地改變?cè)紨?shù)據(jù)流形，有助于下一層分類器對(duì)數(shù)據(jù)進(jìn)行分類.

2)利用遷移學(xué)習(xí)機(jī)制，自適應(yīng)遷移所有前層網(wǎng)絡(luò)的模型知識(shí)以輔助當(dāng)前層網(wǎng)絡(luò)的模型構(gòu)建，以充分利用深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性，盡可能保持了層間模型的一致性，提升分類器泛化性能.此外，采用選擇性遷移策略，通過最小化當(dāng)前層訓(xùn)練集上的留一交叉驗(yàn)證誤差，自適應(yīng)地確定每個(gè)前層模型遷移知識(shí)的權(quán)重，避免因使用不相關(guān)模型知識(shí)導(dǎo)致的負(fù)遷移效應(yīng).

1 相關(guān)工作

Wolpert[17]首先提出堆疊泛化理論，通過將多個(gè)簡(jiǎn)單的函數(shù)或淺層分類器堆疊構(gòu)成深度網(wǎng)絡(luò)，以得到更加復(fù)雜的函數(shù)或者深層分類器，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性.目前已經(jīng)有較多關(guān)于深度堆疊架構(gòu)的研究成果，根據(jù)堆疊單元不同，其方法大致可歸納為2類：1)通過堆疊多個(gè)多層感知機(jī)來構(gòu)建深度網(wǎng)絡(luò)，此類深度網(wǎng)絡(luò)在相鄰層間傳遞數(shù)據(jù)時(shí)通常不包含監(jiān)督信息.目前應(yīng)用較為廣泛的有卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[18-19]、深度玻爾茲曼機(jī)(deep Boltzmann machines,DBM)[20-21]、深度自編碼器(deep auto-encoder，DAE)[22-23]等.2)將多個(gè)簡(jiǎn)單的淺層分類器作為基本堆疊單元構(gòu)建深度網(wǎng)絡(luò)，該類深度網(wǎng)絡(luò)通常利用前層輸出以及原始輸入特征構(gòu)成當(dāng)前層的輸入.可以看出:此類深度網(wǎng)絡(luò)在層間傳遞數(shù)據(jù)過程中利用了監(jiān)督信息，提高了模型的分類性能.此外，由于每層只需使用一個(gè)簡(jiǎn)單的分類器，避免了由于求解非凸優(yōu)化問題而容易陷入局部最優(yōu)的問題.另外，通過利用前層的預(yù)測(cè)值遞歸改變?cè)紨?shù)據(jù)流形結(jié)構(gòu)，使得不同類別的數(shù)據(jù)樣本更加可分，有助于提升整個(gè)深層架構(gòu)的分類性能.Vinyals等人[24]提出了一種隨機(jī)遞歸線性支持向量機(jī)(random recursive support vector machine，R2SVM)，將線性支持向量機(jī)(support vector machine，SVM)作為基本堆疊單元，同時(shí)引入隨機(jī)投影作為核心堆疊元素;Yu等人[25]結(jié)合極限學(xué)習(xí)機(jī)與堆疊泛化理論，提出了極限學(xué)習(xí)機(jī)深度網(wǎng)絡(luò)結(jié)構(gòu)(deep representations learning via extreme learning machine，DrELM);Wang等人[26]提出了深度遷移疊加核最小二乘支持向量機(jī)(deep transfer additive kernel least square support vector machine,DTA-LSSVM)，所提深度網(wǎng)絡(luò)以疊加核最小二乘支持向量機(jī)(additive kernel least square support vector machine,AK-LSSVM)作為基本堆疊單元，將上一層輸出作為一個(gè)附加特征對(duì)原始特征擴(kuò)維作為當(dāng)前層的輸入，并且在相鄰層之間進(jìn)行知識(shí)遷移以提升模型的泛化性能.然而，目前這類深度堆疊架構(gòu)大部分均未充分考慮到深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性，模型的泛化性能有待進(jìn)一步改善.

本文所提DTLSC算法利用LSC作為基本堆疊單元構(gòu)建深度堆疊網(wǎng)絡(luò)，每層輸入均由所有前層輸出的隨機(jī)投影結(jié)果與原始輸入特征疊加而成，同時(shí)引入選擇性遷移學(xué)習(xí)機(jī)制，對(duì)所有前層的模型知識(shí)進(jìn)行自適應(yīng)遷移來輔助當(dāng)前層模型的構(gòu)建.值得注意的是，在深度堆疊網(wǎng)絡(luò)構(gòu)建過程中，相比于DTA-LSSVM僅遷移前一層的模型知識(shí)，DTLSC算法利用了文獻(xiàn)[24]中的數(shù)據(jù)生成方式，遞歸地改變?cè)紨?shù)據(jù)流形，增加了數(shù)據(jù)的可分性；此外，DTLSC算法考慮了所有前層之間的關(guān)聯(lián)性，采用自適應(yīng)遷移學(xué)習(xí)技術(shù)，能合理有效地利用所有前層的模型知識(shí)，進(jìn)一步提升了模型的泛化性能[26].

2 問題定義

Table 1 Parameters Description表1 參數(shù)描述

本文介紹經(jīng)典的LSC模型，然后給出本文提出的DTLSC算法.

3 最小二乘分類器

基于等式約束，Suykens等人在文獻(xiàn)[27]中給出了LSC模型：

(1)

LSC模型的優(yōu)化可以歸結(jié)為線性方程組的求解問題，由于使用了等式約束使其較易得到方程的解析解形式.然而，傳統(tǒng)LSC模型在有限的樣本和計(jì)算單元的情況下對(duì)復(fù)雜函數(shù)的表示能力有限，處理復(fù)雜的分類問題時(shí)存在局限性.

4 深度遷移最小二乘分類器

本文基于堆疊泛化理論和遷移學(xué)習(xí)機(jī)制，提出一種深度遷移最小二乘分類器DTLSC，該算法充分利用了深度堆疊架構(gòu)以及遷移學(xué)習(xí)的優(yōu)勢(shì)來提高LSC模型的學(xué)習(xí)與泛化性能，以提升傳統(tǒng)LSC在處理復(fù)雜的數(shù)據(jù)特征時(shí)的分類效果.

4.1 基本框架

DTLSC算法總體框架如圖1所示:

Fig.1 The overall framework of DTLSC圖1 DTLSC的整體框架

具體地，DTLSC算法第1層基本單元為傳統(tǒng)LSC，其輸入為原始數(shù)據(jù)X.從第2層開始，每一層的輸入由所有前層輸出的隨機(jī)投影與原始輸入特征疊加而成.利用前層輸出的隨機(jī)投影可以改變?cè)紨?shù)據(jù)的流形結(jié)構(gòu)[24]，使得數(shù)據(jù)更具可分性，從而提升了分類器的分類性能.此外，從第2層開始，每層基本模塊為遷移LSC.具體地，采用遷移學(xué)習(xí)策略，自適應(yīng)地學(xué)習(xí)前層模型知識(shí)來輔助當(dāng)前層的分類模型構(gòu)建.

Fig.2 Composition of the l th layer input圖2 第l層輸入數(shù)據(jù)的構(gòu)成

(2)

其中,pl,j表示第l層用于投影第j層輸出的投影矩陣.

4.2 自適應(yīng)深度遷移

深度堆疊網(wǎng)絡(luò)中各層之間存在一定的關(guān)聯(lián)性[26]，為盡可能保持層間模型的一致性，DTLSC算法在深度堆疊架構(gòu)中引入遷移學(xué)習(xí)機(jī)制，利用前層的相關(guān)模型知識(shí)輔助當(dāng)前層的模型構(gòu)建，以進(jìn)一步提升模型的泛化性能.具體地，以構(gòu)建第l層模型為例，下面將介紹自適應(yīng)遷移前l(fā)-1層模型的詳細(xì)過程.首先，我們引入模型知識(shí)遷移權(quán)重βj,l，j=1,2,…,l-1，用于表示網(wǎng)絡(luò)層間知識(shí)遷移的程度，βj,l反映了第j層與當(dāng)前第l層模型知識(shí)之間的相關(guān)程度.給出DTLSC算法的目標(biāo)函數(shù)：

(3)

其中,Cl為當(dāng)前層權(quán)衡函數(shù)復(fù)雜度和分類誤差的平衡參數(shù)，ξi,l為第l層第i個(gè)訓(xùn)練樣本的分類誤差.可以看出，當(dāng)β1,l=β2,l…=βl-1,l=0時(shí)，目標(biāo)函數(shù)退化為傳統(tǒng)LSC模型.

從式(3)看出，由于引入反映深度網(wǎng)絡(luò)結(jié)構(gòu)層間遷移程度的模型參數(shù)βj,l，j=1,2,…,l-1，DTLSC算法能夠緩解利用不相關(guān)的前層模型知識(shí)而導(dǎo)致的負(fù)遷移效應(yīng)，保證了模型的泛化性能.

4.3 算法求解

式(3)的拉格朗日形式：

(4)

(5)

(6)

(7)

(8)

將式(5)～(7)代入式(8)，可得:

(9)

將式(9)寫成矩陣形式，可得:

(10)

采用Ml表示式(10)等號(hào)左邊第1個(gè)矩陣，即：

(11)

則可以得到當(dāng)前層的模型參數(shù)，即:

(12)

(13)

證明.令α(-i),l和b(-i),l表示第l層留一交叉驗(yàn)證中第i次迭代得到的模型參數(shù).在第1次迭代時(shí)，第1個(gè)樣本被取出作為測(cè)試集，可得:

(14)

(15)

結(jié)合式(10)和式(11)可知:

因此：

(16)

由式(10)可得:

(17)

(18)

(19)

證畢.

(20)

其中,|x|+=max(0,x).

則最優(yōu)化βl可表示為目標(biāo)函數(shù)：

(21)

式(21)可通過梯度下降法求解，偽代碼如算法1所示.

Fig.3 Artificial dataset圖3 人造數(shù)據(jù)集

算法1.梯度下降優(yōu)化算法.

輸出：βl.

初始化：βl=0，當(dāng)前迭代值t=1；

Repeat

end if

Step5.βj,l←max(βj,l,0),?j=1,2,…,l-1；

Step6.t←t+1；

Until convergence

4.4 時(shí)間復(fù)雜度分析

DTLSC算法使用留一交叉驗(yàn)證策略快速地進(jìn)行模型參數(shù)選擇，其僅需要較少的計(jì)算時(shí)間便可以獲得最優(yōu)參數(shù).在深度網(wǎng)絡(luò)建立過程中，第1層進(jìn)行LSC模型構(gòu)建的時(shí)間復(fù)雜度為O(N3).從第2層開始，每個(gè)模塊的時(shí)間復(fù)雜度主要分為2個(gè)部分:1)求矩陣Ml的逆運(yùn)算，相應(yīng)的時(shí)間復(fù)雜度為O(N3);2)用梯度下降法迭代求出遷移權(quán)重βl，相應(yīng)的時(shí)間復(fù)雜度為O((L-1)N).因此，DTLSC算法的整個(gè)時(shí)間復(fù)雜度為O(LN3+(L-1)2N).

5 實(shí)驗(yàn)與分析

本節(jié)將對(duì)所提DTLSC算法在人造數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的分類效果進(jìn)行實(shí)驗(yàn)驗(yàn)證與分析.

5.1 實(shí)驗(yàn)數(shù)據(jù)集

1)人造數(shù)據(jù)集.本文將驗(yàn)證在不同噪聲下算法的分類性能.首先構(gòu)造正、負(fù)類各300個(gè)樣本的雙月數(shù)據(jù)集,圖3(a)所示.隨后分別對(duì)雙月數(shù)據(jù)集施加不同的高斯噪聲(均值為0，方差分別為0.1,0.3,0.5,0.8,1).圖3(b)中展示的是施加了均值為0、方差為0.3噪聲的雙月數(shù)據(jù)集.

2)真實(shí)數(shù)據(jù)集.為進(jìn)一步驗(yàn)證DTLSC算法的分類性能，本文在10個(gè)UCI數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，具體描述如表2所示:

Table 2 Description of UCI Datasets表2 UCI數(shù)據(jù)集描述

5.2 實(shí)驗(yàn)設(shè)置

本文采用5種對(duì)比算法：

1)經(jīng)典最小二乘分類器(LSC)[27]；

2)隨機(jī)遞歸層疊LSC(RRLSC)[24]；

3)深層遷移疊加核LSC(DTA-LSC)[26]；

4)本文所提DTLSC算法；

5)僅遷移前一層模型知識(shí)的DTLSC算法(DTLSC-S).

在上述對(duì)比算法中，本文將R2SVM算法的基本單元替換成LSC模型；此外，將DTA-LSSVM算法的基本單元(AK-LSSVM)替換成LSC模型.所有算法均采用線性核和RBF核，參數(shù)設(shè)置如表3所示：

Table 3 Parameter Setup表3 實(shí)驗(yàn)參數(shù)設(shè)置

對(duì)于人造數(shù)據(jù)集以及真實(shí)數(shù)據(jù)集，分別隨機(jī)抽取20%和30%的樣本用于訓(xùn)練，剩下的樣本用于測(cè)試，數(shù)據(jù)均統(tǒng)一進(jìn)行歸一化處理.在訓(xùn)練過程中采用五折交叉驗(yàn)證方法確定最優(yōu)參數(shù)Cl和δ.同時(shí)采用分類精度評(píng)估各算法的性能，具體表示為

(22)

其中，Dte表示測(cè)試數(shù)據(jù)集，yi表示zi的真實(shí)標(biāo)簽，sgn(f(zi))為zi的預(yù)測(cè)標(biāo)簽.所有算法均執(zhí)行10次，最后計(jì)算出各自的均值與方差.

本文實(shí)驗(yàn)硬件平臺(tái)為Windows 64位Intel Core i5，內(nèi)存為8 GB.編程環(huán)境為MATLAB 2014b.

5.3 實(shí)驗(yàn)結(jié)果

5.3.1 人造數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

圖4(a)(b)分別展示了設(shè)置20%樣本用于訓(xùn)練時(shí)各對(duì)比算法采用RBF核及線性核的分類精度.圖4(c)(d)分別展示了設(shè)置30%樣本用于訓(xùn)練時(shí)各對(duì)比算法采用RBF核及線性核的分類精度.根據(jù)圖4可以得到結(jié)論：4種深度堆疊算法，即RRLSC，DTA-LSC，DTLSC-S，DTLSC較淺層學(xué)習(xí)算法LSC可以獲得更好的分類準(zhǔn)確率.這主要是因?yàn)榛谏疃榷询B架構(gòu)的分類器模型能夠改變數(shù)據(jù)的流形結(jié)構(gòu)，模型的分類性能得到提升.在一般情況下，對(duì)比無遷移的深度堆疊架構(gòu)RRLSC，深度遷移堆疊架構(gòu)DTA-LSC，DTLSC-S能獲得更高的分類精度，但卻都要遜于DTLSC算法.其原因主要是 DTA-LSC和 DTLSC-S僅僅利用了前一層模型的知識(shí)來輔助當(dāng)前層分類器模型的構(gòu)建，并未考慮到深度堆疊網(wǎng)絡(luò)中其他前層之間的關(guān)聯(lián)性.DTLSC算法通過自適應(yīng)遷移所有前層模型的有用知識(shí)可以改善上述問題，增強(qiáng)了模型的泛化性能.可以看出，本文所提DTLSC算法算法在人造數(shù)據(jù)集上的分類性能優(yōu)于其他對(duì)比算法.此外，由于DTLSC算法能夠利用留一交叉驗(yàn)證法快速、自適應(yīng)地決策各前層模型知識(shí)的遷移權(quán)重，可以避免因利用不相關(guān)模型知識(shí)導(dǎo)致的負(fù)遷移效應(yīng)，具備一定的實(shí)用價(jià)值.

Fig.4 Results of different algorithms on the two-moon dataset圖4 不同算法在雙月數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

5.3.2 真實(shí)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

表4～7分別給出了各個(gè)對(duì)比算法在UCI數(shù)據(jù)集上的分類精度.其中，表4～5為僅有20%訓(xùn)練數(shù)據(jù)時(shí)，分別采用線性核以及RBF核的分類結(jié)果；表6～7為有30%訓(xùn)練數(shù)據(jù)時(shí)，采用線性核以及RBF核的分類結(jié)果.從各算法的分類結(jié)果中，可得到3個(gè)結(jié)論：

Table 4 Accuracy of Comparison Algorithms on Ten UCI Datasets (RBF Kernel,20% Training Data)表4 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(RBF核,20%訓(xùn)練數(shù)據(jù))

Note:The values in boldface represent the highestclassification accuracy.

Table 5 Accuracy of Comparison Algorithms on Ten UCI Datasets (Linear Kernel,20% Training Data)表5 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(線性核,20%訓(xùn)練數(shù)據(jù))

Note:The values in boldface represent the highestclassification accuracy.

Table 6 Accuracy of Comparison Algorithms on Ten UCI datasets (RBF Kernel,30% Training Data)表6 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(RBF核,30%訓(xùn)練數(shù)據(jù))

Note:The values in boldface represent the highestclassification accuracy.

Table 7 Accuracy of Comparison Algorithms on Ten UCI Datasets (Linear Kernel,30% Training Data)表7 對(duì)比算法在10個(gè)UCI數(shù)據(jù)集上的精確度結(jié)果(線性核,30%訓(xùn)練數(shù)據(jù))

Note:The values in boldface represent the highestclassification accuracy.

1)RRLSC的分類精度優(yōu)于LSC.這主要是由于RRLSC利用前層輸出的隨機(jī)投影改變了數(shù)據(jù)的流形結(jié)構(gòu)，使得不同類別的數(shù)據(jù)相互分離，增加了數(shù)據(jù)可分性.

2)DTA-LSC以及DTLSC-S算法的分類精度優(yōu)于RRLSC.這主要是由于DTA-LSC，DTLSC-S都考慮了相鄰層的關(guān)聯(lián)性，利用相鄰層的模型知識(shí)以輔助當(dāng)前層模型的構(gòu)建，提升了模型的泛化性能.

3)本文所提算法DTLSC的分類精度優(yōu)于DTLSC-S以及DTA-LSC算法.這主要是由于DTLSC-S，DTA-LSC僅利用了相鄰層間的模型知識(shí)，雖然具備一定的遷移效果，卻忽略了其他前層蘊(yùn)含的有用知識(shí).DTLSC算法能夠選擇性地遷移所有前層模型知識(shí)，最大化利用深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性，進(jìn)一步增強(qiáng)了模型的泛化性能，故其分類效果得到提升.

綜上，通過在人造數(shù)據(jù)集以及真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)與分析，驗(yàn)證了DTLSC算法的可行性與有效性.

6 結(jié) 論

本文基于堆疊泛化理論與遷移學(xué)習(xí)機(jī)制，提出了深度遷移最小二乘分類器DTLSC.所提算法既利用了前層輸出的隨機(jī)投影改變了輸入數(shù)據(jù)間的流形結(jié)構(gòu)，增加了數(shù)據(jù)間的可分性，同時(shí)通過自適應(yīng)遷移所有前層的模型知識(shí)來輔助當(dāng)前層模型的構(gòu)建，能夠最大化利用深度堆疊網(wǎng)絡(luò)中各層之間的關(guān)聯(lián)性，盡可能保持層間模型的一致性，增強(qiáng)了分類模型的泛化性能.此外，基于留一交叉驗(yàn)證策略，能夠快速?zèng)Q策網(wǎng)絡(luò)中所有前層模型知識(shí)的遷移權(quán)重，避免了利用不相關(guān)模型知識(shí)導(dǎo)致的負(fù)遷移效應(yīng)，提高了模型的可靠性.在人造數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均驗(yàn)證了本文所提DTLSC算法的有效性.

盡管DTLSC算法表現(xiàn)出良好的分類性能，但仍存在部分需要進(jìn)一步研究的問題.例如，如何將hinge loss 函數(shù)的優(yōu)異學(xué)習(xí)能力與本文所提快速模型知識(shí)遷移權(quán)重求解方法相結(jié)合；如何將DTLSC算法拓展到多分類任務(wù)中以及其他的學(xué)習(xí)系統(tǒng)中(如模糊系統(tǒng))等均是我們未來研究工作的重點(diǎn)內(nèi)容.