基于規(guī)則過濾和謂詞覆蓋的MLN遷移算法研究

吁 松， 何 慧， 王 星

(哈爾濱工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 哈爾濱 150001)

0 引 言

隨著機(jī)器學(xué)習(xí)領(lǐng)域研究的不斷深入，遷移學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的一個重要方向而引起研究者的高度關(guān)注與重視。 相對于傳統(tǒng)的機(jī)器學(xué)習(xí)針對一個領(lǐng)域進(jìn)行訓(xùn)練、測試和運(yùn)用，遷移學(xué)習(xí)針對的是2個不同但有關(guān)聯(lián)的領(lǐng)域，在一個領(lǐng)域上訓(xùn)練，在另一個領(lǐng)域上測試和運(yùn)用，前者被稱為源領(lǐng)域，后者被稱為目標(biāo)域。 這種訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)處于不同領(lǐng)域的要求，正是因?yàn)槿藗冊谶\(yùn)用傳統(tǒng)的機(jī)器學(xué)習(xí)解決問題時，一些獲取有標(biāo)簽數(shù)據(jù)代價昂貴或者難以收集的領(lǐng)域受到有標(biāo)簽數(shù)據(jù)不足的困擾[1]。 而這類領(lǐng)域正是遷移學(xué)習(xí)可以發(fā)揮作用的地方。

遷移學(xué)習(xí)從其遷移的內(nèi)容來看，可以分為遷移參數(shù)、遷移實(shí)例、遷移特征和遷移關(guān)系[1]。 遷移關(guān)系的算法核心是尋找源領(lǐng)域和目標(biāo)領(lǐng)域之間共享的關(guān)系，Li等人[2]就利用bootstrapping的方法迭代構(gòu)建領(lǐng)域之間的關(guān)系。 針對馬爾科夫邏輯網(wǎng)絡(luò)[3]的遷移算法，大部分就是一種基于關(guān)系的遷移。 研究者往往是利用馬爾科夫邏輯網(wǎng)絡(luò)模型的邏輯公式作為源領(lǐng)域和目標(biāo)領(lǐng)域關(guān)系的橋梁。 其中，一類算法是將MLN模型中的一階邏輯公式轉(zhuǎn)換成高階形式，然后進(jìn)行模型的遷移。 Davis等人[4]通過引入謂詞變量將一階邏輯公式轉(zhuǎn)換成二階公式，并將這些二階公式合并成團(tuán)，再對每個二階團(tuán)進(jìn)行評估，將分?jǐn)?shù)最高的k個二階團(tuán)遷移到目標(biāo)域。 Haaren等人[5]同樣是將一階公式轉(zhuǎn)換成二階公式，但在二階轉(zhuǎn)換成一階的過程引入了偏置，實(shí)現(xiàn)了效果更好的遷移。 另一類算法則是通過謂詞映射的方式直接生成目標(biāo)域的一階邏輯公式，然后采用不同的策略來調(diào)整、變換公式，最終篩選公式進(jìn)入MLN模型[6]，或者更簡單一點(diǎn)，運(yùn)用篩選策略不加調(diào)整地遷移公式到MLN模型中[7]。

本文設(shè)計的遷移算法是一類對目標(biāo)域數(shù)據(jù)量要求不高的算法，在謂詞映射算法[6]的基礎(chǔ)上，提出了基于規(guī)則的公式遷移策略和依據(jù)權(quán)重進(jìn)行謂詞覆蓋的遷移策略，實(shí)現(xiàn)了馬爾科夫邏輯網(wǎng)絡(luò)模型[8-10]的遷移。

1 MLN遷移算法

本文提出的馬爾可夫邏輯網(wǎng)絡(luò)遷移算法是一種遷移馬爾可夫邏輯網(wǎng)絡(luò)模型中一階邏輯公式的方法。 目標(biāo)領(lǐng)域只需要提供一個單實(shí)體為中心的實(shí)例就可以實(shí)現(xiàn)遷移。 遷移算法總體設(shè)計思想是將源領(lǐng)域的一階邏輯公式通過謂詞映射轉(zhuǎn)換成目標(biāo)域的一階邏輯公式，然后利用數(shù)據(jù)驗(yàn)證、規(guī)則遷移和基于權(quán)重的謂詞覆蓋等手段遷移公式，最后生成目標(biāo)域的MLN模型。 本文的最大貢獻(xiàn)就是提出了基于規(guī)則的公式遷移策略以及基于權(quán)重的謂詞覆蓋策略。

1.1 數(shù)據(jù)驗(yàn)證

首先，MLN遷移學(xué)習(xí)算法需要通過謂詞映射生成目標(biāo)域公式。 本文采用局部謂詞映射方法，即類型的一致性約束只針對單個公式，不同的公式的類型約束可以是不同的。 在映射過程中，研究的算法還額外要求謂詞一致性，即在針對單個公式進(jìn)行遷移時，源領(lǐng)域的謂詞與目標(biāo)域的謂詞是一一對應(yīng)的。 謂詞一致性約束同樣是局部的，即不同公式中的源領(lǐng)域謂詞可以對應(yīng)目標(biāo)域中的不同謂詞。 增加這樣2種局部的一致性約束一方面可以節(jié)省算法的運(yùn)行時間；另一方面相對于全局性的一致性約束而言，有利于生成多樣化的遷移公式，進(jìn)而提高遷移效果。

在得到目標(biāo)領(lǐng)域的公式之后，研究利用僅有的目標(biāo)域數(shù)據(jù)對這些映射公式進(jìn)行驗(yàn)證。 在本文中，可以用數(shù)據(jù)來驗(yàn)證的公式即稱為被數(shù)據(jù)驗(yàn)證的公式，簡稱為已驗(yàn)證的公式。 同時，進(jìn)一步對被數(shù)據(jù)驗(yàn)證過的公式進(jìn)行細(xì)分，將上一步得到的已驗(yàn)證的公式分為2種。 一種是經(jīng)過數(shù)據(jù)驗(yàn)證成立的公式，即可行公式，另一種是數(shù)據(jù)驗(yàn)證后不成立的公式，即不可行公式。 研究借鑒Lilyana等人[7]的思想，提取所有可行公式中包含的映射得到可行謂詞映射集合，提取所有不可行公式包含的謂詞映射組成不可行謂詞映射集合，利用其來篩選公式。 而且，考慮到不可行公式中的謂詞映射并不都是不可行的映射，有的只是由于公式中的某個謂詞的映射不好而導(dǎo)致公式驗(yàn)證失敗。 因此，研究擬使用不可行謂詞映射集合與可行謂詞映射集合做差，得到的真正的不可行謂詞映射集合。 此后用這種真正的不可行映射來篩選未被數(shù)據(jù)驗(yàn)證的公式，也稱之為未驗(yàn)證公式，得到候選公式。

在前面提到過，本文算法對目標(biāo)域數(shù)據(jù)量的設(shè)定是少量數(shù)據(jù)，所以不會得到太多已驗(yàn)證的公式，而未驗(yàn)證的公式數(shù)量則較多。 這些未被數(shù)據(jù)驗(yàn)證過的目標(biāo)公式中既含有對目標(biāo)域推理有價值的公式，也含有對目標(biāo)域推理無價值的公式，因此就需要通過其它手段—基于規(guī)則的篩選和根據(jù)權(quán)重進(jìn)行謂詞覆蓋—獲得更多對目標(biāo)域推理有用的公式。

1.2 基于規(guī)則的遷移策略

通過對已有的非遷移馬爾可夫邏輯網(wǎng)絡(luò)模型中邏輯公式的觀察，研究發(fā)現(xiàn)大部分公式都具有如下特征：公式的前置條件參數(shù)之間的相互關(guān)聯(lián)，最后推導(dǎo)出與之有關(guān)的結(jié)論參數(shù)的關(guān)系。 對比遷移得到的未驗(yàn)證的公式，有很多公式違背這個特征，存在一些相互關(guān)聯(lián)的變量推導(dǎo)出與之無關(guān)的變量之間的關(guān)系，因此推導(dǎo)出一些不合理的結(jié)果。

表1是非遷移的方式得到uwcse領(lǐng)域的MLN模型中的2條公式。 從第一條中可以看到，前置條件是a1在a4學(xué)期教a3，a2在a4學(xué)期教a3，由此就可以得到一個可能成立的結(jié)論—a1和a2是同一人。 同理，第二條的前置條件中給出了a1出版a2，a3出版a2，a1不是學(xué)生，a3是學(xué)生，于是可以推出a1是教授的結(jié)論。 當(dāng)然上述結(jié)論并不都是一定正確，只是有較大概率成立而已，但由于MLN的公式有權(quán)重來進(jìn)行描述，因此可以允許這種推導(dǎo)出非確定性結(jié)論的公式。 表2是從imdb域向uwcse域遷移得到的MLN模型的公式中選取了2條。 第一條，前置條件描述了a2和a3的關(guān)系，但結(jié)論給出的卻是a1和a2的關(guān)系，相對而言并不合理。 同樣，表2中的第2條，前置條件分別描述的a1與a2的關(guān)系和a1與a3的關(guān)系，結(jié)論卻給出了a4和a2的關(guān)系，也不是合理的推導(dǎo)。 基于上述的觀察和特征的歸納，本次研究提出一個遷移候選公式的規(guī)則，篩選出的公式則稱為符合規(guī)則的公式，簡稱為規(guī)則公式。

表2 IMDB遷移到UWCSE域得到的遷移公式

為了進(jìn)一步解釋基于規(guī)則的公式遷移原理，研究使用圖1和圖2分別解釋了一個符合規(guī)則的公式驗(yàn)證過程和一個不符合規(guī)則的公式驗(yàn)證過程。 圖1～2中的每個圓代表一個集合，2個圓相交的部分是2個集合共同的元素。 紅色虛線圓圈表示的是作為結(jié)論的謂詞的實(shí)參元素集合，箭頭右邊的實(shí)線圓圈代表可能被推導(dǎo)出關(guān)系的元素集合。 圖1、圖2中的2個公式的前提條件都是2個原子公式構(gòu)成，這2個原子公式的實(shí)參都含有a1，因此，a1成為2個集合之間關(guān)系的橋梁，2個本沒有關(guān)系的集合如今可能存在某種關(guān)系，于是并成一個集合，即箭頭右邊的集合。 該集合中任何元素之間都有可能存在某種可推理的關(guān)系，或者可以認(rèn)定某人的身份，因此如果紅色圓圈代表的集合是該集合的子集，即圖1所示的情況，則相應(yīng)的關(guān)系可能存在，該公式被認(rèn)為是符合規(guī)則的公式，反之，如果公式中作為結(jié)論的謂詞的實(shí)參不完全在前置條件實(shí)參構(gòu)成的集合中，即圖2所示的狀態(tài)，則這個結(jié)論由條件關(guān)系推導(dǎo)出的可能性就低，該公式被認(rèn)為是不符合規(guī)則的公式。

taughtBy(a2,a3,a4)∧taughtBy(a1,a3,a4)?same Course(a1,a2)

圖1 符合規(guī)則的公式示意圖

┐publication(a1,a2)∧publication(a1,a3)?adviseBy(a4,a2)

圖2 不符合規(guī)則的公式示意圖

需要強(qiáng)調(diào)的是，符合規(guī)則的公式推導(dǎo)出的結(jié)論也有可能是錯誤的，反過來，不符合規(guī)則的公式推導(dǎo)出的結(jié)論也是有存在可能的。 但這不會造成太多不良影響，因?yàn)轳R爾可夫邏輯網(wǎng)絡(luò)是一種軟化邏輯公式硬約束的模型，故而不需要模型中的公式是絕對正確的。

1.3 基于謂詞覆蓋的遷移策略

這里，首先要明確謂詞被覆蓋和謂詞沒被覆蓋的定義。 所謂謂詞覆蓋是指目標(biāo)域中的謂詞存在于MLN模型的某個公式中，而所謂謂詞沒被覆蓋是指目標(biāo)域中存在謂詞不在研究的MLN模型的公式中。 謂詞覆蓋就是指去覆蓋那些沒有被覆蓋的謂詞，而依據(jù)權(quán)重意味著需要優(yōu)先使用權(quán)重高的公式去覆蓋謂詞。 研究中要盡量去覆蓋所有目標(biāo)域的謂詞，是因?yàn)橥ㄟ^初步試驗(yàn)發(fā)現(xiàn)，如果某個謂詞沒有公式去覆蓋的話，那么針對該謂詞的推理就不能取得良好的效果。 因?yàn)樵撝^詞沒有公式覆蓋，那么推理程序就沒有推理的依據(jù)，故而得不到正確的結(jié)果。 因此，本文研發(fā)的算法考慮在經(jīng)過前2步公式遷移后，在未能覆蓋所有謂詞的情況下，挑選剩余的公式中可以覆蓋這些謂詞的公式作為MLN模型公式的補(bǔ)充。 研究將使用alpha參數(shù)來指示每個謂詞需要被多少個公式覆蓋，對于不同的源領(lǐng)域和目標(biāo)領(lǐng)域可以設(shè)置不同的值以達(dá)到最好的效果。 設(shè)計流程步驟是:先根據(jù)權(quán)重大小排序，然后統(tǒng)計目前MLN模型公式還未能覆蓋的謂詞或者說覆蓋的公式數(shù)量還沒能達(dá)到alpha參數(shù)要求的謂詞，最后將公式依據(jù)權(quán)重大小補(bǔ)充進(jìn)遷移的MLN模型中,使其盡量滿足alpha參數(shù)規(guī)定的數(shù)目。

2 實(shí)驗(yàn)評估

在這一部分，研究將對算法進(jìn)行實(shí)驗(yàn)評估。 這里對比了2個MLN遷移學(xué)習(xí)算法，分別是TAMAR算法[6]和SR2LR算法[7]。 這2個算法都有謂詞映射的步驟，除謂詞映射之外的遷移手段是不同算法之間的主要區(qū)別，因此非常適合用于與本文提出算法的對比。

為了分析算法的表現(xiàn)，采用了2種典型的用于分析馬爾可夫邏輯網(wǎng)絡(luò)的度量方法——AUC-PR和CLL。 研究可知，PR曲線是精確度-召回率曲線，AUC-PR是指PR曲線下的面積。 如果用一般的正確率這種方式來衡量則容易被大量不存在的關(guān)系的正確率所影響，導(dǎo)致評估結(jié)果與真實(shí)使用情況有差距。 條件對數(shù)似然(conditional log-likehood，CLL)則主要用于評估馬爾科夫邏輯網(wǎng)絡(luò)推理的質(zhì)量，是對AUC-PR的一種補(bǔ)充。CLL值越大，則推理質(zhì)量越高；反之，值越低，推理質(zhì)量越差。 仍需看到，文中的評估方法比較簡單，由此反映得出的推理質(zhì)量并非精確可靠，如果模型能夠生成足夠有區(qū)別的閾值的話，CLL高低并不重要。

實(shí)驗(yàn)中使用了3個公開的關(guān)系型數(shù)據(jù)集，分別是IMDB、UWCSE和WebKB。 這3個數(shù)據(jù)集都是從現(xiàn)實(shí)世界中收集而來的，在時下研究的實(shí)驗(yàn)中得到了廣泛的使用。 其中，UWCSE數(shù)據(jù)收集自華盛頓大學(xué)的計算機(jī)科學(xué)與工程系，記錄了課程、教授、學(xué)生等身份信息，并記錄了個體之間的關(guān)系，例如，advisedBy、taughtBy等等。 IMDB數(shù)據(jù)集是Lily Mihalkova采集自IMDB數(shù)據(jù)庫的電影領(lǐng)域的相關(guān)信息，具體包含了導(dǎo)演、演員、電影等信息以及不同個體之間的關(guān)系。 WebKB數(shù)據(jù)集則記錄了4所大學(xué)計算機(jī)系的Web網(wǎng)頁和超鏈接信息。

實(shí)驗(yàn)中，測試了3個數(shù)據(jù)集構(gòu)成的共6個遷移場景：IMDB→UWCSE、IMDB→WebKB、UWCSE→IMDB、UWCSE→WebKB、WebKB→IMDB、WebKB→UWCSE。 其中，箭頭前方是源領(lǐng)域，箭頭后方是目標(biāo)域。 在本文的后面章節(jié)，會著重展示這4個算法在6種遷移場景中的表現(xiàn)，而后在這6種遷移場景中測試本文提出的遷移策略的效果，最后將基于實(shí)驗(yàn)討論分析規(guī)則遷移、謂詞覆蓋和alpha參數(shù)在本文提出算法中的作用。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)結(jié)果對比

實(shí)驗(yàn)中，首先測試了4種算法在6種遷移場景下的表現(xiàn)，4個算法的AUC-PR值和CLL值分別見表3、表4。 表格的第一列是目標(biāo)域，第二列是源領(lǐng)域。 RFPC是本文提出的遷移學(xué)習(xí)算法，其alpha的參數(shù)取值為4。

從表3和表4可以看出，在本文的實(shí)驗(yàn)中TAMAR算法和SR2LR算法表現(xiàn)較為相近，且TAMAR算法還略好于SR2LR算法。 2個算法在遷移的目標(biāo)域?yàn)閃ebKB時，表現(xiàn)幾乎一致，AUC-PR都是0.49，但是在CLL這個指標(biāo)上，SR2LR又略好于TAMAR。 測試的遷移場景是UWCSE向IMDB遷移時，SR2LR表現(xiàn)較好，AUC-PR值比TAMAR高0.05左右。 而當(dāng)遷移場景是WebKB向UWCSE遷移時，TAMAR表現(xiàn)較好，AUC-PR比SR2LR高0.1左右。 在其它遷移場景下，2個算法的AUC-PR的相差不大。

接下來，將2個已有的遷移學(xué)習(xí)算法與本文提出的RFPC進(jìn)行比較。 從表3可以看出，在IMDB向WebKb遷移時，本文的算法比SR2LR效果要略有遜色，但在剩余的全部數(shù)據(jù)上，本文的算法在AUC-PR這個指標(biāo)上是超過SR2LR算法的，因此在整體上來看，本文的遷移算法得到的馬爾可夫邏輯網(wǎng)絡(luò)模型能夠做出更好的推理。 從表4可以看到，本文的遷移算法在CLL指標(biāo)上普遍比SR2LR算法差，除了UWCSE向IMDB遷移時，本文的算法的CLL指標(biāo)比SR2LR高之外，這意味著本文算法的推理結(jié)果概率普遍低于SR2LR算法。 這可能是因?yàn)楸疚牡乃惴ㄎ茨苓M(jìn)行權(quán)值的調(diào)整。 但是如前述分析可知，如果推理概率的閾值選擇恰當(dāng)，就不會影響本文算法的預(yù)測效果，因此這也不會意味著本文的算法比SR2LR算法更差。 在與TAMAR算法比較時，本文的算法在遷移目標(biāo)域?yàn)閁WCSE時，AUC-PR的值比其略有不及，但在其它遷移場景中，本文的算法均是優(yōu)于TAMAR的，并且在UWCSE向WebKB和WebKB向IMDB遷移時，本文的算法在AUC-PR指標(biāo)上將遠(yuǎn)遠(yuǎn)高于TAMAR。 因此，從整體上來看，本文的算法比SR2LR和TAMAR都是要好的。

表3 不同算法在不同數(shù)據(jù)集上的平均AUC-PR的值

表4 不同算法在不同數(shù)據(jù)集上的平均CLL的值

3.2 實(shí)驗(yàn)結(jié)果分析

基于前述仿真測試研究過程，這里擬將探討剖析RFPC算法中不同部分發(fā)揮的作用。 同樣，研究在6種遷移場景下對比這些算法的效果，運(yùn)行后詳情見表5、表6。 其中，Only-Data代表只使用被目標(biāo)域數(shù)據(jù)驗(yàn)證過的公式生成MLN模型，Data+Rule代表了用數(shù)據(jù)驗(yàn)證過的公式和規(guī)則遷移公式構(gòu)成的MLN模型。 最后一列代表了完整的RFPC算法(alpha參數(shù)的取值為4)，該算法遷移得到的MLN模型中包含了數(shù)據(jù)驗(yàn)證的公式，規(guī)則遷移的公式和依據(jù)權(quán)重進(jìn)行謂詞補(bǔ)充的公式。

從表5中可以看到，除了向UWCSE領(lǐng)域的遷移之外，Data+Rule的方案都比只有Data的方案要好，而且大部分情況下均是如此。 例如，Data+Rule在WebKB領(lǐng)域向IMDB領(lǐng)域遷移時，AUC-PR值比Only-Data高出了0.157 4。 更為明顯的是當(dāng)源領(lǐng)域?yàn)閁WCSE、目標(biāo)域?yàn)閃ebKB的情況，Data+Rule的AUC-PR值接近Only-Data的AUC-PR值的2倍。 即便是在向UWCSE遷移時，Data+Rule只比Only-Data在AUC-PR值上低了一點(diǎn)點(diǎn)。 從IMDB向WebKB遷移的時候，Only-Data和Data+Rule則顯出劣勢，AUC-PR為0是因?yàn)閿?shù)據(jù)驗(yàn)證和規(guī)則遷移兩種策略都不能得到合適的公式，此時MLN不會在這種情況下進(jìn)行推理，故而對應(yīng)的AUC-PR值為0。 此種情況下，根據(jù)權(quán)重進(jìn)行謂詞覆蓋的作用就得以體現(xiàn)，在補(bǔ)充了一些權(quán)重較高的公式之后，RFPC算法依舊能夠取得較好的效果。 在前2種公式遷移策略能夠有效發(fā)揮作用時，根據(jù)權(quán)重進(jìn)行謂詞覆蓋的效果將不再直觀明顯，但如果alpha設(shè)置合理，那么對推理效果也能有一些提升，關(guān)于該點(diǎn)將在下文予以闡釋分析。

表5 不同算法在不同場景下的平均AUC-PR的值

表6 不同算法在不同場景下的平均CLL的值

由于研究的算法中有一個alpha參數(shù)，指示了研究在覆蓋謂詞時需要選擇多少公式，所以研究有必要對其進(jìn)行深入分析，探尋考察不同的alpha參數(shù)會對算法效果產(chǎn)生的影響。 同樣測試了在6種遷移場景下，alpha參數(shù)對RB算法的影響，alpha參數(shù)設(shè)置的范圍為[0,18]。

從圖3中可以看到，除了之前分析過的情況，alpha參數(shù)對算法效果的影響較為有限。 在alpha參數(shù)增加時，在一定程度上將會提升算法的效果，但有時也會導(dǎo)致算法效果下降。 研究中可以在IMDB向UWCSE和WebKB向UWCSE遷移時發(fā)現(xiàn)較大的波動，說明在Data+Rule的AUC-PR值不高時，alpha參數(shù)影響相對較大。 當(dāng)Data+Rule的AUC-PR值較大時，alpha參數(shù)的影響相對較小，正如研究中看到當(dāng)UWCSE向WebKB遷移時未見任何波動。 由此也可以推斷得出，作為本算法的關(guān)鍵部分—基于規(guī)則的公式遷移策略—起著關(guān)鍵的作用，用于覆蓋謂詞的公式起到一個補(bǔ)充的作用，而alpha參數(shù)卻只是用于最后的微調(diào)。

圖3 alpha參數(shù)對算法的影響

研究至此，又統(tǒng)計了RFPC算法(alpha參數(shù)設(shè)置為4)在所有遷移場景下生成的MLN模型中不同來源的公式數(shù)量。 并且推導(dǎo)計算了每類公式為推理效果做出的貢獻(xiàn)，用于詳盡評估每種遷移策略的效果。 計算公式貢獻(xiàn)的方法為每類公式帶來的AUC-PR的提升除以該類公式的數(shù)量。

圖4展示的是alpha參數(shù)設(shè)置為4時，RFPC遷移算法生成的模型中不同來源的公式的分布情況。 從圖4中可以看出，不同的遷移場景，不同來源的公式分布情況是不同的。 除了2種極端情況，也就是IMDB向UWCSE遷移時數(shù)據(jù)驗(yàn)證的公式占主導(dǎo)和IMDB向WebKB遷移時只有謂詞覆蓋的公式以外，研究發(fā)現(xiàn)基于規(guī)則的遷移公式構(gòu)成了MLN遷移模型公式的主要部分。

圖4 不同遷移策略得到的公式的平均數(shù)量

圖5展示的是不同類別的公式為最終的推理效果做出的貢獻(xiàn)。 由圖5可以看到，除了IMDB向WebKB遷移的時候(因?yàn)樵撨w移場景下MLN模型中只有謂詞覆蓋的公式)，數(shù)據(jù)驗(yàn)證遷移的公式做出了最大的貢獻(xiàn)。 正如研究所希望的，基于規(guī)則的公式貢獻(xiàn)總體而言僅居次席，并且相對來說是明顯大于基于謂詞覆蓋的公式，這說明本文提出的規(guī)則發(fā)揮了應(yīng)有效果，規(guī)則遷移的公式要遠(yuǎn)遠(yuǎn)勝過根據(jù)權(quán)重進(jìn)行謂詞覆蓋得到的遷移公式。 某些情況下，基于規(guī)則的公式貢獻(xiàn)比基于數(shù)據(jù)驗(yàn)證的公式貢獻(xiàn)明顯要小，這是因?yàn)檎鎸?shí)的數(shù)據(jù)是檢驗(yàn)映射公式的最佳規(guī)則。 需要特別注意的是，基于數(shù)據(jù)驗(yàn)證的公式中也會存在部分公式符合規(guī)則，這也說明滿足規(guī)則的公式所做出的實(shí)際貢獻(xiàn)會高于圖5中所顯示的貢獻(xiàn)。

圖5 不同遷移策略得到的公式的平均貢獻(xiàn)

4 結(jié)束語

本文研究提出了一種針對極為有限的目標(biāo)域數(shù)據(jù)的MLN遷移算法，通過提出一種符合邏輯的公式遷移規(guī)則，在沒有目標(biāo)域數(shù)據(jù)支撐的情況下遷移映射出來的目標(biāo)域公式，并根據(jù)遷移公式的權(quán)重，盡量覆蓋所有目標(biāo)域謂詞。 通過在6種遷移場景下的實(shí)驗(yàn)驗(yàn)證，可以看到本文的算法超過現(xiàn)有的MLN遷移算法，同時也驗(yàn)證了本文提出的規(guī)則的有效性，以及基于權(quán)重覆蓋目標(biāo)域謂詞的價值。

在后續(xù)的工作中，研究將嘗試把MLN遷移學(xué)習(xí)算法運(yùn)用到更多領(lǐng)域中去，考慮在多個源領(lǐng)域向一個目標(biāo)域遷移的場景中運(yùn)用本文的算法以及提出更多遷移公式的規(guī)則或算法使得在沒有更多目標(biāo)域數(shù)據(jù)支撐的情況下遷移更好的公式到目標(biāo)域。