基于模糊規(guī)則學(xué)習(xí)的無監(jiān)督異構(gòu)領(lǐng)域自適應(yīng)

孫 武，鄧趙紅,2,3+，婁瓊丹，顧 鑫，王士同

1.江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無錫214122

2.復(fù)旦大學(xué) 計(jì)算神經(jīng)科學(xué)與類腦智能教育部重點(diǎn)實(shí)驗(yàn)室，上海200433

3.張江實(shí)驗(yàn)室，上海200120

4.江蘇北方湖光光電有限公司，江蘇 無錫214000

傳統(tǒng)機(jī)器學(xué)習(xí)的前提是假設(shè)訓(xùn)練集和測試集具有相同的特征空間和數(shù)據(jù)分布。然而，當(dāng)兩個(gè)相關(guān)數(shù)據(jù)集的特征空間或數(shù)據(jù)分布存在差異時(shí)，傳統(tǒng)機(jī)器學(xué)習(xí)的訓(xùn)練模型并不能得到滿意的效果。因此，解決此類問題的遷移學(xué)習(xí)被廣泛研究。隨著遷移學(xué)習(xí)的關(guān)注度越來越高，遷移學(xué)習(xí)在理論和實(shí)踐上都取得了很大的進(jìn)步。領(lǐng)域自適應(yīng)作為遷移學(xué)習(xí)的一個(gè)分支，在執(zhí)行兩個(gè)相似任務(wù)的領(lǐng)域之間傳遞知識(shí)。根據(jù)特征空間的異同，領(lǐng)域自適應(yīng)模型可以分為兩類：同構(gòu)領(lǐng)域自適應(yīng)和異構(gòu)領(lǐng)域自適應(yīng)。

同構(gòu)領(lǐng)域自適應(yīng)是為了解決源域和目標(biāo)域之間特征維度相同但數(shù)據(jù)分布不同的問題。對(duì)于目標(biāo)域中存在部分已標(biāo)簽樣本的情況，Aytar 等人提出了一種基于模型的遷移支持向量機(jī)算法，Yang 等人提出了一種自適應(yīng)支持向量機(jī)模型，與其相似的是Bergamo 等人也提出一種通過學(xué)習(xí)自適應(yīng)支持向量機(jī)進(jìn)行領(lǐng)域自適應(yīng)的模型。上述幾種常見的同構(gòu)領(lǐng)域自適應(yīng)方法也被稱為半監(jiān)督同構(gòu)領(lǐng)域自適應(yīng)模型。當(dāng)目標(biāo)域中都是無標(biāo)簽實(shí)例時(shí)，具有代表性的模型有TCA（transfer component analysis）、JDA（joint distribution adaptation）和GFK（geodesic flow kernel）等。絕大部分的同構(gòu)領(lǐng)域自適應(yīng)模型的目標(biāo)是最小化兩個(gè)域之間的分布差異。常見的跨域數(shù)據(jù)之間度量距離的方式有最大均值差異（maximum mean discrepancy，MMD）、Bregmann 距離、KL 距離和Wasserstein 距離等。

異構(gòu)領(lǐng)域自適應(yīng)是為了解決源域和目標(biāo)域之間特征維度不同且數(shù)據(jù)分布不同的問題。相比于同構(gòu)領(lǐng)域自適應(yīng)模型，異構(gòu)領(lǐng)域自適應(yīng)模型的應(yīng)用范圍更廣。HeMap（heterogeneous spectral mapping）利用光譜映射將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)投影到一個(gè)公共子空間，在保持源域和目標(biāo)域原始數(shù)據(jù)結(jié)構(gòu)的前提下最大化兩個(gè)域之間的相似性；DAMA（domain adaptation using manifold alignment）是一種流行對(duì)齊的方法，利用標(biāo)簽信息將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)映射到一個(gè)公共子空間進(jìn)行學(xué)習(xí)；ARC-t（asymmetric regularized cross-domain transfer）是一種基于度量學(xué)習(xí)的方法，通過訓(xùn)練非對(duì)稱變換將一個(gè)域映射到核空間中對(duì)齊另一個(gè)域；HFA通過學(xué)習(xí)兩個(gè)特征變換矩陣，將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)分別映射到一個(gè)公共子空間，在保持原始特征結(jié)構(gòu)的同時(shí)利用標(biāo)準(zhǔn)SVM 分類器進(jìn)行學(xué)習(xí)；MMDT（max-margin domain transforms）對(duì)目標(biāo)域數(shù)據(jù)學(xué)習(xí)一個(gè)線性變換矩陣來對(duì)齊源域，并同時(shí)優(yōu)化變換矩陣和分類目標(biāo)；CTSVM（correlation-transfer SVM）利用核CCA 對(duì)兩個(gè)域中的無標(biāo)簽實(shí)例進(jìn)行特征變換；ADMM（alternating direction method of multipliers）提出了一種基于稀疏特征變換的無監(jiān)督方法；SFER（shared fuzzy equivalence relations）通過學(xué)習(xí)模糊等價(jià)關(guān)系提出了一種無監(jiān)督異構(gòu)領(lǐng)域自適應(yīng)模型。因?yàn)楫悩?gòu)領(lǐng)域自適應(yīng)具有更廣的普適性，所以本文的重點(diǎn)是研究異構(gòu)領(lǐng)域自適應(yīng)。

然而，上述異構(gòu)領(lǐng)域自適應(yīng)模型大多數(shù)屬于半監(jiān)督的方法，需要借助目標(biāo)域中部分已標(biāo)簽樣本來獲得良好的性能。為了拓展異構(gòu)領(lǐng)域自適應(yīng)在無監(jiān)督方法上的應(yīng)用，本文提出了一種新穎的基于TSK模糊系統(tǒng)（Takagi-Sugeno-Kang fuzzy system，TSK-FS）的無監(jiān)督異構(gòu)領(lǐng)域自適應(yīng)算法（unsupervised heterogeneous domain adaptive with TSK-FS，F(xiàn)UHDA）。（1）本文通過TSK-FS 的模糊前件將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)分別映射到兩個(gè)特征隱空間。（2）本文通過訓(xùn)練兩個(gè)后件參數(shù)矩陣將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)線性映射到同一個(gè)公共特征子空間。（3）線性判別分析（linear discriminant analysis，LDA）和主成分分析（principal component analysis，PCA）分別被用于減少源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)因特征變換所造成的信息損失。為了最大化兩個(gè)域數(shù)據(jù)之間的相關(guān)性，本文還采用了典型相關(guān)性分析（canonical correlation analysis，CCA）作為約束項(xiàng)。（4）為了有效減少公共特征子空間中兩個(gè)域之間的分布差異，本文采用了一種比較流行的MMD 度量方法。為了驗(yàn)證本文算法的有效性，本文將線性SVM 作為基準(zhǔn)分類器，通過訓(xùn)練公共特征子空間中的源域數(shù)據(jù)來測試目標(biāo)域數(shù)據(jù)的標(biāo)簽。

本文的主要貢獻(xiàn)歸納如下：

（1）提出了一種基于模糊規(guī)則學(xué)習(xí)的無監(jiān)督異構(gòu)領(lǐng)域自適應(yīng)算法（FUHDA）。該算法通過TSK-FS的模糊前件將兩個(gè)域數(shù)據(jù)非線性映射到兩個(gè)特征隱空間，再學(xué)習(xí)兩個(gè)后件參數(shù)矩陣分別將源域特征隱空間數(shù)據(jù)和目標(biāo)域特征隱空間數(shù)據(jù)線性映射到一個(gè)公共的特征子空間。

（2）采用了多種信息保持策略作為約束項(xiàng)來減少因特征變換所造成的信息損失，并且通過CCA 最大化兩個(gè)域數(shù)據(jù)之間的相關(guān)性。

（3）通過組織大量的實(shí)驗(yàn)，證明了所提算法的有效性，實(shí)驗(yàn)結(jié)果優(yōu)于現(xiàn)有的異構(gòu)領(lǐng)域自適應(yīng)模型。

1 相關(guān)工作

1.1 領(lǐng)域自適應(yīng)相關(guān)概念

1.2 TSK 模糊系統(tǒng)

TSK-FS 是一種基于模糊規(guī)則的推理系統(tǒng)。因?yàn)橐?guī)則庫簡單且具有良好的學(xué)習(xí)能力，TSK-FS 已成功應(yīng)用于許多遷移學(xué)習(xí)場景。在特征學(xué)習(xí)領(lǐng)域，TSK-FS 通過模糊規(guī)則將原始特征映射到新的特征空間。在含有條規(guī)則的TSK-FS 中，第條規(guī)則可定義為如下形式：

當(dāng)前件參數(shù)確定時(shí)，TSK-FS 可以將原始特征投影到一個(gè)由模糊規(guī)則映射的新特征空間。進(jìn)一步的，式（5）可表示為式（6）中的線性模型：

其中，x表示原始特征向量經(jīng)過模糊規(guī)則映射得到的新特征向量，p表示后件參數(shù)向量。在已知x的前提下，p可通過最小二乘法解得。

2 基于TSK-FS 的無監(jiān)督異構(gòu)領(lǐng)域自適應(yīng)

本章提出了一種新的基于模糊規(guī)則學(xué)習(xí)的無監(jiān)督異構(gòu)領(lǐng)域自適應(yīng)方法，即FUHDA。FUHDA 從三方面對(duì)變換后的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)進(jìn)行約束。（1）在公共特征空間內(nèi)，最小化源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間的分布差異；（2）在公共特征空間內(nèi)，最大化源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間的相關(guān)性；（3）在公共特征空間內(nèi)，分別最小化源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的信息損失。因此，本文算法的目標(biāo)公式可定義為式（8）。

其中，第一項(xiàng)表示變換后的源域與目標(biāo)域之間的分布差異；第二項(xiàng)表示公共特征子空間中源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間的相關(guān)性信息損失；第三項(xiàng)和第四項(xiàng)分別為源域和目標(biāo)域特征變換后的信息損失。是一個(gè)多輸出的TSK-FS。

2.1 公共特征子空間的構(gòu)造

公共特征子空間的構(gòu)建是學(xué)習(xí)式（8）的基礎(chǔ)。圖1 展示了FUHDA 特征變換的具體過程。首先，F(xiàn)UHDA 采用兩個(gè)TSK-FS。經(jīng)過模糊前件非線性映射，源域和目標(biāo)域數(shù)據(jù)分別被映射到兩個(gè)特征隱空間。然后，F(xiàn)UHDA 訓(xùn)練兩個(gè)后件參數(shù)矩陣分別將源域隱空間特征和目標(biāo)域隱空間特征線性映射到同一個(gè)公共特征子空間。具體映射過程被定義如下。

圖1 基于TSK-FS 的特征變換Fig.1 Feature transformation based on TSK-FS

其中，和分別表示源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)經(jīng)過TSK-FS 前件參數(shù)映射所得到的新特征。和分別表示多輸出TSK-FS 的維后件參數(shù)矩陣。則樣本x和x經(jīng)過TSK-FS 特征變換后的輸出為式（10a）和式（10b）。

則對(duì)于源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)中的所有樣本，經(jīng)特征變換到公共特征子空間后，可表示為：

需要注意的是，本算法中源域和目標(biāo)域使用的是兩個(gè)TSK-FS，因此后件參數(shù)和是兩個(gè)不同的變換矩陣，并且前件參數(shù)采用了一種確定性的聚類算法Var-Part分別進(jìn)行計(jì)算。

2.2 分布差異最小化

為了有效地降低源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的分布差異，本文算法引入最小化邊緣分布差異和條件分布差異這兩個(gè)策略。

首先，本文采用MMD 算法來度量公共特征子空間中源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的邊緣分布差異。MMD 是領(lǐng)域自適應(yīng)中應(yīng)用最廣泛的距離度量方法，該方法通過映射函數(shù)將原始數(shù)據(jù)映射到再生核希爾伯特空間（reproducing kernel Hilbert space，RKHS）。MMD 通過計(jì)算兩類分布不同的樣本在上的均值差，來判斷這兩類數(shù)據(jù)分布之間的差異程度。根據(jù)式（10）所構(gòu)造的映射函數(shù)，MMD 函數(shù)具體如下：

其次，本文采用Long 等人提出的聯(lián)合分布差異度量方法JDA。該算法利用源域訓(xùn)練的分類器來預(yù)測目標(biāo)域數(shù)據(jù)，再將預(yù)測標(biāo)簽作為目標(biāo)域偽標(biāo)簽來表示目標(biāo)域中的類條件分布。通過對(duì)偽標(biāo)簽進(jìn)行迭代更新，該算法能夠進(jìn)一步減小兩個(gè)領(lǐng)域之間條件分布的差異。因此，本文最小化領(lǐng)域之間條件分布差異的公式可具體如下所示：

通過綜合邊緣分布差異和條件分布差異這兩個(gè)角度來最小化源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間的分布差異，則目標(biāo)式（8）中的第一項(xiàng)即為：

2.3 領(lǐng)域相關(guān)性最大化

CCA 是一種常用的降維算法，該算法能夠有效度量兩組數(shù)據(jù)之間的相關(guān)性，為了有效地最大化源域和目標(biāo)域數(shù)據(jù)的相關(guān)性，本文采用了CCA 算法作為約束項(xiàng)。這里將式（7e）中的和作為CCA 中的一組投影向量，則CCA的目標(biāo)函數(shù)可以表示如下：

其中，=-(1/)11(==)為中心化矩陣，1 ∈R是元素全為1 的列向量。為了將兩個(gè)領(lǐng)域數(shù)據(jù)投影到維空間，將、拓展為式（9e）和式（9f）中的投影矩陣、。因?yàn)橥队跋蛄康目s放不會(huì)影響式（15）中的最優(yōu)解，所以可將式（14）中的目標(biāo)函數(shù)優(yōu)化為如下形式：

其中，式（16）中的約束條件作用是限制投影矩陣的大小從而優(yōu)化其方向。為了同時(shí)優(yōu)化投影矩陣和，可以將式（16）重新定義為式（17）。

2.4 源域判別信息保持

LDA 算法是一種有監(jiān)督的數(shù)據(jù)降維方法，該方法通過尋找最優(yōu)的投影方向使得同類的樣本之間距離更近，不同類的樣本之間距離更遠(yuǎn)，同時(shí)還能最大化保持原始樣本的信息，因此本文采用LDA 算法作為約束項(xiàng)來保持源域數(shù)據(jù)的判別信息。LDA 的具體優(yōu)化公式如下：

其中，叫作類間散度矩陣，叫作類內(nèi)散度矩陣，兩者的具體定義如下：

2.5 目標(biāo)域結(jié)構(gòu)信息保持

因?yàn)槟繕?biāo)域數(shù)據(jù)沒有標(biāo)簽，所以為了有效地保持目標(biāo)域數(shù)據(jù)在特征映射后的結(jié)構(gòu)信息，本文通過最大化目標(biāo)域數(shù)據(jù)在映射子空間的方差進(jìn)行約束。因此，該約束項(xiàng)的目標(biāo)函數(shù)可以表示如下：

2.6 目標(biāo)函數(shù)優(yōu)化

其中，、、、為權(quán)衡參數(shù)，用來平衡每項(xiàng)的重要性。式（24）中還通過最小化tr()來防止過擬合。注意，式（24）不因的縮放而影響最終優(yōu)化結(jié)果，因此，目標(biāo)函數(shù)可以重寫為式（25）：

對(duì)式（25）使用拉格朗日函數(shù)可得：

令?/?=0，則有：

其中，=diag(,,…,?)是含有個(gè)特征值的對(duì)角矩陣，一般可通過廣義特征值分解進(jìn)行求解。

根據(jù)上述公式推導(dǎo)過程，本文算法的具體偽代碼如算法1 所示。

FUHDA

輸出：目標(biāo)域數(shù)據(jù)的預(yù)測標(biāo)簽。

1.根據(jù)式（2）、式（3）、式（4）、式（7）和式（9）得到兩個(gè)隱空間數(shù)據(jù)和；

2.計(jì)算式（14c）、式（18）、式（21）和式（23）中的、、、和；

3.for=1,2,…,do

4.根據(jù)式（14d）更新M；

5.求解式（27），得到，根據(jù)獲得變換和；

6.根據(jù)式（11a）和式（11b）更新和；

8.end for

3 實(shí)驗(yàn)結(jié)果和分析

3.1 數(shù)據(jù)集

為了充分驗(yàn)證本文算法的有效性，本文選取了Office-Caltech 數(shù)據(jù)集、Wiki 數(shù)據(jù)集和Reuters 數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)驗(yàn)證，每個(gè)數(shù)據(jù)集的具體信息如表1所示。

表1 數(shù)據(jù)集的統(tǒng)計(jì)信息Table 1 Statistical information of datasets

Office-Caltech 由Office-31 數(shù)據(jù)集和Caltech-256數(shù)據(jù)集組成，是一個(gè)視覺目標(biāo)識(shí)別數(shù)據(jù)集，該數(shù)據(jù)集包括4個(gè)子數(shù)據(jù)集：A(Amazon)、D(DSLR)、W(Webcam)和C(Caltech)。這4 個(gè)子數(shù)據(jù)集均具有相同的10 種標(biāo)簽類別，其中A、D 和W 來自O(shè)ffice-31 數(shù)據(jù)集，C 來自Caltech-256 數(shù)據(jù)集。在Office-Caltech 數(shù)據(jù)集的4個(gè)子數(shù)據(jù)集A、D、W 和C 中，每個(gè)子數(shù)據(jù)集可被劃分為兩個(gè)領(lǐng)域（即SURF（800 維）和DeCAF6（4 096維）），分別作為源域和目標(biāo)域（或目標(biāo)域和源域）。因此，該數(shù)據(jù)集可構(gòu)造8 個(gè)遷移任務(wù)。

Wiki 數(shù)據(jù)集是一個(gè)文本圖像數(shù)據(jù)集，每個(gè)樣本都包含了一個(gè)圖像和其對(duì)應(yīng)的文本描述。這里使用SIFT（scale-invariant feature transform）特征提取方法將圖片特征降低到128 維，使用LDA 方法將文本特征降低到10 維。本文把圖像和文本領(lǐng)域作為源域和目標(biāo)域（或目標(biāo)域和源域），因此，可構(gòu)造2 個(gè)遷移任務(wù)。

Reuters 是一個(gè)跨語言文本數(shù)據(jù)集，該數(shù)據(jù)集中包含了18 758 篇文章，分別選自5 種語言（English、French、German、Italian、Spanish）的6 個(gè)類別。本文將English、French、German 和Italian 4 個(gè)視角的數(shù)據(jù)作為源域，Spanish 視角的數(shù)據(jù)作為目標(biāo)域。因此，可構(gòu)造4 個(gè)遷移任務(wù)。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中，本文算法將與6 個(gè)對(duì)比算法進(jìn)行比較。其中，Linear CCA、CTSVM、CDLS 是已有的異構(gòu)遷移學(xué)習(xí)算法；算法FUHDA-noCCA 是去除CCA 數(shù)據(jù)相關(guān)性約束項(xiàng)所形成的對(duì)比算法，用于驗(yàn)證最大化數(shù)據(jù)之間相關(guān)性的有效性；對(duì)于算法FUHDA-noSP和FUHDA-noTP，它們是分別去除源域和目標(biāo)域的信息保持項(xiàng)所形成的對(duì)比算法，用于驗(yàn)證信息保持項(xiàng)的有效性。本文將線性SVM 作為基準(zhǔn)分類器來檢驗(yàn)算法的遷移效果。本文將6 個(gè)算法的公共子空間特征維度都設(shè)置為100，其他參數(shù)設(shè)置具體如表2所示。

表2 算法的參數(shù)設(shè)置Table 2 Parameter settings of algorithms

對(duì)比算法的簡要介紹如下：

LinearCCA：該算法用線性CCA 對(duì)源域和目標(biāo)域中的實(shí)例進(jìn)行建模，得到一個(gè)公共的特征空間。

CTSVM：該算法是一個(gè)簡化核CCA 方法，通過優(yōu)化核CCA 對(duì)源域和目標(biāo)域中的實(shí)例進(jìn)行學(xué)習(xí)，得到一個(gè)公共的特征空間。

CDLS：該算法獲得一個(gè)領(lǐng)域不變的公共子空間，并且學(xué)習(xí)具有代表性的跨域標(biāo)記，以達(dá)到異構(gòu)領(lǐng)域自適應(yīng)的目的。

FUHDA-noCCA：該方法是所提算法的一種變型，去除了CCA 數(shù)據(jù)相關(guān)性約束項(xiàng)。

FUHDA-noSP：該方法是所提算法的一種變型，去除了源域數(shù)據(jù)的結(jié)構(gòu)信息保持項(xiàng)。

FUHDA-noTP：該方法是所提算法的一種變型，去除了目標(biāo)域數(shù)據(jù)的判別信息保持項(xiàng)。

3.3 實(shí)驗(yàn)結(jié)果分析

本文算法與6 個(gè)對(duì)比算法在14 個(gè)遷移任務(wù)中的實(shí)驗(yàn)結(jié)果具體如表3、表4 和表5 所示。

表4 各算法在Wiki數(shù)據(jù)集上的準(zhǔn)確度Table 4 Accuracy of algorithms on Wiki dataset %

表5 各算法在Reuters數(shù)據(jù)集上的準(zhǔn)確度Table 5 Accuracy of algorithms on Reuters dataset %

由表3 可知，在Office-Caltech 數(shù)據(jù)集的8 個(gè)任務(wù)中，所提算法在7 個(gè)任務(wù)中表現(xiàn)最好，在另外1 個(gè)任務(wù)中也達(dá)到次優(yōu)的效果。在平均精度上，所提算法與其他對(duì)比算法相比也是最優(yōu)的。對(duì)于算法Linear-CCA 和CTSVM，它們只對(duì)數(shù)據(jù)進(jìn)行特征變換，而沒有考慮特征變換所造成的信息損失，因此遷移效果較差。另外，通過與FUHDA-noCCA、FUHDA-noSP和FUHDA-noTP 進(jìn)行對(duì)比分析，證明了本文考慮利用CCA 最大化數(shù)據(jù)之間的相關(guān)性，并且同時(shí)引入源域判別信息保持策略和目標(biāo)域結(jié)構(gòu)信息保持策略的優(yōu)越性。

表3 各算法在Office-Caltech 數(shù)據(jù)集上的準(zhǔn)確度Table 3 Accuracy of algorithms on Office-Caltech dataset %

由表4 可知，在Wiki 數(shù)據(jù)集的2 個(gè)任務(wù)中，所提算法均優(yōu)于其他對(duì)比算法。

由表5 可知，在Reuters 數(shù)據(jù)集的4 個(gè)任務(wù)中，所提算法在3 個(gè)任務(wù)中表現(xiàn)最好，且平均精度在所有任務(wù)中也是最好的。

綜上所述，本文算法在異構(gòu)領(lǐng)域自適應(yīng)任務(wù)中能夠取得優(yōu)異的結(jié)果，并且證明了相關(guān)性約束和多種信息保持策略的有效性。

3.4 參數(shù)分析

本節(jié)將從Office-Caltech 數(shù)據(jù)集和Wiki數(shù)據(jù)集的10 個(gè)領(lǐng)域自適應(yīng)任務(wù)中分析算法的收斂性，以及模糊系統(tǒng)的規(guī)則數(shù)，權(quán)衡參數(shù)、和對(duì)算法準(zhǔn)確度的影響。

分析圖2 可知，隨著規(guī)則數(shù)的增加，大部分領(lǐng)域自適應(yīng)任務(wù)所獲得精度呈現(xiàn)出一種平緩波動(dòng)的趨勢，只有少部分領(lǐng)域自適應(yīng)任務(wù)的精度波動(dòng)較大。值得注意的是，隨著規(guī)則數(shù)的增加，模型的計(jì)算復(fù)雜度是呈指數(shù)級(jí)增長的。而從圖2 可以看出，在規(guī)則數(shù)為3 時(shí)，所有任務(wù)都能獲得較好的效果。因此，綜合考慮模型復(fù)雜度和算法的性能，本文將模糊系統(tǒng)的規(guī)則數(shù)設(shè)置為3 是合理的。

圖2 規(guī)則數(shù)分析Fig.2 Rule number analysis

圖3 展示了10 個(gè)領(lǐng)域自適應(yīng)任務(wù)在不同迭代次數(shù)下的精度。從圖中可以看出，當(dāng)?shù)螖?shù)超過6 次時(shí)，所有任務(wù)的精度趨于穩(wěn)定。因此，本文實(shí)驗(yàn)中將迭代次數(shù)設(shè)為15 是合理的，并且證明了所提算法具有良好的收斂性。

圖3 收斂性分析Fig.3 Convergence analysis

圖4 分別展示了在固定其他參數(shù)時(shí)，改變某一權(quán)衡參數(shù)、或?qū)?shí)驗(yàn)效果的影響。從圖4（a）和圖4（b）可以看出，當(dāng)=2或=2時(shí)，大部分任務(wù)都能取得一個(gè)最優(yōu)的精度。對(duì)于參數(shù)，從圖4（c）可知，所有任務(wù)在區(qū)間(2,2)內(nèi)都能取得較好的精度。

圖4 參數(shù)敏感性分析Fig.4 Parameter sensitivity analysis

4 結(jié)論和展望

本文提出了一種新穎的無監(jiān)督異構(gòu)領(lǐng)域自適應(yīng)算法FUHDA。首先，F(xiàn)UHDA 通過模糊前件的非線性變換將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)分別映射到兩個(gè)特征隱空間。然后，F(xiàn)UHDA 訓(xùn)練兩個(gè)后件參數(shù)矩陣將源域和目標(biāo)域線性映射到同一個(gè)公共特征子空間。為了降低兩個(gè)域數(shù)據(jù)之間的分布差異，F(xiàn)UHDA 將最大化兩個(gè)域數(shù)據(jù)之間的相關(guān)性和相關(guān)信息保持策略作為約束項(xiàng)，有效地減少了因特征變換所造成的信息損失，同時(shí)也提升了算法的領(lǐng)域自適應(yīng)能力。通過實(shí)驗(yàn)分析，證明了所提算法的優(yōu)越性。但是，算法還存在一定的改進(jìn)空間，比如FUHDA 在處理高維數(shù)據(jù)時(shí)，因?yàn)門SK-FS 的引入使計(jì)算復(fù)雜度變高，未來將致力于改進(jìn)TSK-FS 使算法的計(jì)算復(fù)雜度降低。