基于混合共享機制的多任務深度學習方法

郭 輝，郭靜純

(寧夏大學 信息工程學院，寧夏 銀川 750021)

0 引 言

按照學習模式的不同，多任務學習可以分為結(jié)構(gòu)化學習方法和多任務深度學習方法。其中，前者包括基于任務層面和基于特征層面兩種方法；而后者主要包括硬參數(shù)共享、軟參數(shù)共享及其改進的多任務學習方法[1]。

在進行多任務學習時，如果任務之間具有較強的相關(guān)性，適合選用硬參數(shù)共享機制或基于任務層面的學習方法；反之，則采用軟參數(shù)共享機制或基于特征層面的多任務學習模型，這可以在一定程度上緩解前者對任務具有較高整體相似度的約束。如何充分地發(fā)揮上述兩類方法的特點，綜合應用于更廣泛的多任務深度學習網(wǎng)絡中，這是目前多任務學習問題面臨的主要挑戰(zhàn)之一。

針對上述問題，本文提出了將硬參數(shù)共享機制與軟參數(shù)共享機制相結(jié)合的混合共享多任務學習神經(jīng)網(wǎng)絡，給出相應的混合交替網(wǎng)絡訓練方法與應用流程，并通過在MINIST數(shù)據(jù)集上的具體實驗和相關(guān)對比分析，驗證了該方法的有效性，這為多任務深度學習提供了新的解決思路。

1 相關(guān)工作

基于任務層面的多任務學習包括模型參數(shù)共享[2]、公共特征共享[3]、多任務聚類結(jié)構(gòu)[4]以及多任務子空間學習[5]4種方法。前兩種學習方法都要假定一個特征共享空間，區(qū)別在于：前者直接在任務上尋找中心模型；而后者經(jīng)過特征選擇后確定共同結(jié)構(gòu)，共享公共特征。多任務聚類結(jié)構(gòu)則需假定多個特征共享空間，并尋找其中心模型；同時為了實現(xiàn)特征選擇與正則化，在學習時需進行任務之間的相互約束。然而，上述3種方法在共享特征時都會忽略共享結(jié)構(gòu)之外的特征，存在信息丟失問題。在此基礎上，子空間學習方法假設所有任務的特定信息保留在低維公共子空間中，不再以同等重要性在某些特征上共享信息，而考慮保留各自任務的特定信息，是一種隱式共享特征方法。

與基于任務層面的學習方法不同，基于特征層面的多任務學習對任務的每個特征進行建模，注重個體特征的共享遷移。其代表性方法有魯棒多任務學習[6]、臟模型[7]、協(xié)同聚類模型[8]、可變簇聚類模型[9]等。這些方法的關(guān)鍵在于魯棒主成分的矩陣分解，不僅要考慮任務之間的通用結(jié)構(gòu)，而且要能提取多個任務的共有特征和私有特征。其中，臟模型通過提取任務的稀疏特征，有效提升了多任務學習方法的穩(wěn)健性；而協(xié)同聚類與可變簇聚類通過對任務稀疏特征的關(guān)系建模，采用特征簇刻畫其局部相似性。

基于任務層面的多任務學習方法關(guān)注任務之間的相互關(guān)聯(lián)，而當某些任務的特征關(guān)聯(lián)很弱甚至無關(guān)時，仍然共享這些“個性鮮明”的特征，其結(jié)果自然不理想；此時，應采用基于特征層面的多任務學習方法，捕捉共享結(jié)構(gòu)之外的特定任務特征，從而彌補基于任務層面學習方法的不足。

與結(jié)構(gòu)化學習方法不同，多任務深度學習通過改變神經(jīng)網(wǎng)絡層與層之間的連接方式表征不同的任務。作為一種最常用的多任務學習網(wǎng)絡結(jié)構(gòu)，硬參數(shù)共享通過多個任務共享隱藏層學習任務之間的聯(lián)合表示，并根據(jù)每個任務的不同特性設計各自的分類器預測輸出層[10-13]。它可以有效降低對原始任務的過擬合風險；而且，在設計共享層結(jié)構(gòu)時，不需要對任務之間的關(guān)系進行精確建模，極大地簡化了網(wǎng)絡設計。但與此同時，這會導致網(wǎng)絡在訓練的過程中無法根據(jù)實際任務的相關(guān)性差異調(diào)節(jié)共享量；另外，由于每個任務的分類器預測輸出層是相互獨立的，這阻斷了共享信息在該層的自適應傳播，使得網(wǎng)絡無法利用輸出層建立任務之間的相關(guān)關(guān)系。當任務之間聯(lián)系不緊密時，這種共享隱藏層結(jié)構(gòu)會增加負遷移的風險；即使任務之間存在緊密聯(lián)系，負遷移現(xiàn)象也會隨著網(wǎng)絡層數(shù)的增加而愈加明顯[1，14]，這是因為模型從共享網(wǎng)絡層到特定網(wǎng)絡層進行特征傳遞的效率會在深層次網(wǎng)絡中明顯下降。由此可知，硬參數(shù)共享神經(jīng)網(wǎng)絡的結(jié)構(gòu)設計雖然簡單，但是只能建立在任務具有較高相關(guān)性約束條件的基礎上。

為了解決硬參數(shù)共享機制存在的上述問題，很多學者提出了不指定共享結(jié)構(gòu)的軟參數(shù)共享機制[14-17]。該方法為每個任務設計了同樣的網(wǎng)絡結(jié)構(gòu)，假設所有任務的特征層存在于一個共享空間中，可以在各層上通過范數(shù)進行關(guān)聯(lián)約束，保證任務之間是相似的而非完全雷同。其中，Long等在每一網(wǎng)絡分層上對參數(shù)進行堆疊，形成所有網(wǎng)絡層的張量集合后，再通過L2范數(shù)約束任務的相似性[1]，除此之外，也可以采用跡范數(shù)進行相似性約束[18]。軟參數(shù)共享機制雖然適用于聯(lián)系不緊密的多任務學習，但是隨著任務數(shù)量的增加，這種網(wǎng)絡共享結(jié)構(gòu)和參數(shù)都會變得非常復雜，給實際應用造成極大困難，甚至根本不可行。

2 混合共享多任務學習方法

硬參數(shù)共享網(wǎng)絡在進行多任務學習時，如果這些任務均具有較強的相關(guān)性，可以取得較好的分類性能；但是，當部分任務相關(guān)性較弱或者存在一些特異性特征時，硬參數(shù)共享機制通常會出現(xiàn)負遷移和學習效果下降的問題。由此可見，任務之間具有整體相似性既是硬參數(shù)共享機制的優(yōu)點，同時也是其缺點。而對于相關(guān)性較弱的多任務學習，則是軟參數(shù)共享機制的適用場景。

因此，綜合應用硬、軟兩種參數(shù)共享機制的混合共享多任務學習方法可以同時解決高相關(guān)與低相關(guān)的多任務學習問題，擴展了適用范圍，提高了應用的靈活性?；旌瞎蚕矶嗳蝿諏W習主要包括3部分內(nèi)容：硬軟參數(shù)混合共享網(wǎng)絡結(jié)構(gòu)、混合訓練與交替訓練相結(jié)合的網(wǎng)絡訓練方法，以及混合共享多任務學習方法具體應用流程。

2.1 混合共享網(wǎng)絡結(jié)構(gòu)

設存在N個學習任務，根據(jù)任務之間的相關(guān)程度差異將所有任務進行分組，相關(guān)性近似的任務歸為一組，則每組任務可表示為Ngk， 其中g(shù)=1,2,…,G， 表示相關(guān)程度近似的任務組序號，而k=1,2,…,K， 表示組內(nèi)的任務序號。這樣分組后，組內(nèi)任務相關(guān)性強或類似，可由同一硬參數(shù)共享網(wǎng)絡分支進行學習；而組與組之間的任務相關(guān)性弱或差異較大，則由采用軟參數(shù)共享形式對不同的硬參數(shù)共享網(wǎng)絡分支進行約束，表征它們之間存在的內(nèi)在聯(lián)系或部分信息交互。硬軟參數(shù)混合共享的神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 混合共享網(wǎng)絡結(jié)構(gòu)

由圖1可知，與傳統(tǒng)的硬參數(shù)共享神經(jīng)網(wǎng)絡相比，硬軟參數(shù)混合共享網(wǎng)絡可以充分發(fā)揮其在整體相似度較高的任務上表現(xiàn)性能好的優(yōu)勢，并在此基礎上弱化或去除了在某些共享層之間交換信息的硬性約束，能夠適用于聯(lián)系并不緊密的任務；與傳統(tǒng)的軟參數(shù)共享神經(jīng)網(wǎng)絡相比，隨著任務數(shù)量的增多，它的網(wǎng)絡結(jié)構(gòu)和參數(shù)的復雜程度均會明顯降低。

從結(jié)構(gòu)化學習的角度來看，混合共享機制結(jié)合了基于任務層面和基于特征層面兩種多任務學習方法的優(yōu)點：兼顧了不同任務的共享特征與各自任務的特定特征。這樣可以使得多任務學習神經(jīng)網(wǎng)絡結(jié)構(gòu)變得更加靈活和完備。

2.2 混合共享網(wǎng)絡訓練方法

參數(shù)共享的多任務學習網(wǎng)絡在進行訓練時，如果不同任務都有相互獨立的訓練集，通常采用交替訓練方法：在輸入端為不同任務分別輸入各自的訓練樣本，在輸出端依次交替收斂每個任務的損失函數(shù)。網(wǎng)絡在交替訓練、迭代調(diào)用每個任務的優(yōu)化器過程中，通過共享層不斷地將信息在任務之間進行傳遞，直到發(fā)現(xiàn)它們共有的歸納偏置。以硬參數(shù)共享神經(jīng)網(wǎng)絡為例，交替訓練過程如圖2所示。這種訓練方式需要將不同任務完全區(qū)分開，并給每個任務設定各自合理的損失函數(shù)。但由于目前對任務自身及其相互之間的層次關(guān)系、相似性等的理解非常有限，使得網(wǎng)絡準確區(qū)分任務并不是一件能夠輕松完成的事情。而且，即使實現(xiàn)了任務的區(qū)分與各自損失函數(shù)的設定，這仍然有可能出現(xiàn)讓網(wǎng)絡在所有任務的聯(lián)合假設空間中偏向某個任務的問題，進而導致網(wǎng)絡參數(shù)無法對全部任務實現(xiàn)等效收斂。

圖2 交替訓練方法

針對上述問題，這里提出混合訓練新方法：對相似任務組的硬參數(shù)共享網(wǎng)絡分支采用無需區(qū)分任務、一同參與訓練的混合訓練方法。與此同時，結(jié)合混合共享多任務學習網(wǎng)絡在不同任務組之間的軟參數(shù)共享機制，對不同網(wǎng)絡分支之間采用交替訓練方法。因此，整個混合共享網(wǎng)絡需要綜合應用混合訓練與交替訓練相結(jié)合的訓練模式，才能更好地探尋與其網(wǎng)絡結(jié)構(gòu)和多個學習任務相契合的網(wǎng)絡參數(shù)，實現(xiàn)對網(wǎng)絡整體性能的提升與優(yōu)化。

2.2.1 混合訓練

設硬參數(shù)共享神經(jīng)網(wǎng)絡從輸入層l=0、 共享層l=1,…,L-1到輸出層l=L， 共L+1層，Wl表示每層的連接權(quán)參數(shù)矩陣，bl表示每層的偏置或閾值，其中l(wèi)=0,1,…L。 若每個任務的數(shù)據(jù)集為Zk={(xki,yki)}， 其中k=1,2,…K， 表示組內(nèi)的相似任務序號，i=1,2,…,S， 表示每個任務的樣本數(shù)。則由k個任務構(gòu)成的一組多任務訓練數(shù)據(jù)集為Z=Z1∪Z2∪…∪ZK。 對于第k個任務而言，所有屬于這個任務的樣本為正樣本，其它的則為負樣本。通過樣本學習，網(wǎng)絡達到將此任務數(shù)據(jù)從其它任務中正確分離出來的目標。

為了避免區(qū)分不同任務、特別是組內(nèi)相似任務的難題，在隨機初始化硬參數(shù)共享分支網(wǎng)絡參數(shù)后，混合訓練方法將k個任務的無差別混合數(shù)據(jù)作為訓練數(shù)據(jù)集Z， 通過輸入層W0直接送入相應的硬參數(shù)共享分支網(wǎng)絡中進行訓練。輸入數(shù)據(jù)在該網(wǎng)絡的前向傳播過程中，若每層神經(jīng)元的激活值為al,l=0,1,…,L， 則其計算公式如下

(1)

其中，g(·) 是激活函數(shù)。

在進行組內(nèi)的混合訓練時，網(wǎng)絡將多個相似任務看作一個整體進行學習，無需為每個任務設定各自的損失函數(shù)，因此可以統(tǒng)一采用如下?lián)p失函數(shù)計算公式

L(aL,y)=-(ylog(aL)+(1-y)log(1-aL))

(2)

其中，y表示組內(nèi)多個混合任務的期望誤差。

在混合訓練的初始階段，根據(jù)訓練數(shù)據(jù)集Z從網(wǎng)絡共享層到第一個分支輸出層的正向信息傳遞與反向誤差傳播調(diào)節(jié)相應的網(wǎng)絡參數(shù)，當該網(wǎng)絡分支輸出端的損失函數(shù)L(aL,y) 收斂到最小值時，表明此時的網(wǎng)絡參數(shù)最佳，結(jié)束本次訓練；并把此分支輸出層設定為組內(nèi)第一個任務的特定分類層，同時將共享層的網(wǎng)絡參數(shù)作為第二次訓練，即從共享層到第二個分支輸出層網(wǎng)絡結(jié)構(gòu)中共享層部分的初始化參數(shù)。采用同樣的訓練調(diào)節(jié)策略，當?shù)诙€分支網(wǎng)絡輸出的損失函數(shù)收斂到最小值時，結(jié)束第二次網(wǎng)絡訓練。此時，第二個分支輸出層設定為第二個任務的特定分類層，同樣將共享層參數(shù)作為第三次訓練中相應網(wǎng)絡部分的初始化參數(shù)。依次類推，展開后續(xù)網(wǎng)絡訓練，直至所有任務在特定分類層上均收斂到最小值時，混合訓練結(jié)束。該部分網(wǎng)絡混合訓練算法流程總結(jié)如下：

算法1：混合訓練

輸入：多任務混合訓練數(shù)據(jù)集Z與相關(guān)參數(shù)(迭代次數(shù)Total， 學習速率α，損失函數(shù)收斂閾值β)

輸出：N個任務的分類性能

(1)隨機初始化硬參數(shù)共享網(wǎng)絡參數(shù)θ

(2)for episode←1 toTotaldo

(3)單個分支輸出層 (即特定任務分類層) 上計算相應的混合任務損失誤差

(4)if前后兩次混合損失誤差<βthen收斂， 且N←N-1

(5)else then返回步驟 (3)

(6)end if

(7)ifN≠0 then當前共享層參數(shù)作為下一次訓練共享層的初始化參數(shù)， 返回步驟 (2)

(8)else then

(9)end if

(10)end for

它在輸入端混合了所有任務的訓練集，并依次在每個任務的特定分類層上收斂混合任務的損失函數(shù)。首先，避免了區(qū)分不同任務的難題，并可以讓網(wǎng)絡從全局角度出發(fā)更好地判斷這些混合任務的特征是否聯(lián)系緊密；其次，所有任務共用一個損失函數(shù)，可以平衡每個任務的訓練；最后，前一次訓練得到的共享層參數(shù)作為后一次訓練的共享層初始化參數(shù)，可以讓組內(nèi)任務的分類性能在損失函數(shù)收斂的過程中逐漸趨于優(yōu)化。

2.2.2 混合+交替訓練

由混合共享網(wǎng)絡結(jié)構(gòu)可知，它包括硬參數(shù)共享與軟參數(shù)共享兩種形式。其中的每個硬參數(shù)共享網(wǎng)絡分支采用混合訓練方法，實現(xiàn)對組內(nèi)相似任務的特征表示與任務區(qū)分；而對于它們之間的軟參數(shù)共享約束，采用交替訓練方法，在不同的任務組之間交替收斂各自的損失函數(shù)，使得各組任務可以更好地進行參數(shù)信息交互?；旌瞎蚕砩窠?jīng)網(wǎng)絡采用的混合與交替訓練相結(jié)合的方法，其具體過程如圖3所示。

圖3 混合交替訓練

由圖3可知，交替訓練中的優(yōu)化函數(shù)為每組任務中最后一個特定任務的優(yōu)化函數(shù)。混合交替訓練方法充分考慮了混合共享網(wǎng)絡的結(jié)構(gòu)特點，有助于網(wǎng)絡找到更優(yōu)的參數(shù)，實現(xiàn)更好的網(wǎng)絡性能。

2.3 混合共享網(wǎng)絡學習流程

混合共享網(wǎng)絡在進行多任務學習與應用時可以分為5個主要階段：任務數(shù)據(jù)采集與預處理、多任務分組、網(wǎng)絡結(jié)構(gòu)設計、網(wǎng)絡訓練(混合訓練+交替訓練)、網(wǎng)絡模型測試。除了多任務分組，其它階段的相關(guān)工作內(nèi)容或者較為基礎，或者已在前面介紹過，這里不再贅述，只重點說明多任務分組問題與解決方法。

硬參數(shù)共享機制是建立在所有任務具有較強相關(guān)性的假設基礎上，而當任務之間的聯(lián)系并不緊密時，硬參數(shù)共享機制的性能會因為部分任務的差異性而下降。作為影響模型性能優(yōu)劣的關(guān)鍵因素之一，梯度可以反映出具有任務特異性的特征如何導致模型出現(xiàn)負遷移現(xiàn)象。因此，以硬參數(shù)共享神經(jīng)網(wǎng)絡為基礎，結(jié)合影響因子權(quán)重分析方法，根據(jù)不同任務在共享層的梯度變化衡量任務之間的相似度。當多個任務中存在相似度較低的任務時，基于梯度變化差異將其挑選出來并歸為另一組，輸入到新的硬參數(shù)共享網(wǎng)絡分支中，同時采用軟參數(shù)共享機制對不同的分支進行相似性約束，從而達到同時學習不同相似度任務的目的。

在完成對硬參數(shù)共享神經(jīng)網(wǎng)絡的混合訓練后，可以將其的每一個學習任務訓練樣本作為自變量，共享層梯度變化作為因變量，根據(jù)影響因子權(quán)重分析方法定量評價各個自變量對因變量影響重要性程度的差異。當訓練樣本數(shù)據(jù)變化相同幅度時，共享層的梯度變化矩陣越相似，則表明這部分訓練數(shù)據(jù)對任務統(tǒng)一表示的重要性越相近，在硬參數(shù)共享神經(jīng)網(wǎng)絡中的整體相似度越高。通過對共享層梯度變化矩陣的相似度分析，實現(xiàn)基于整體相似度的任務分組。

由深度學習過程可知，靠近輸入一側(cè)的淺層網(wǎng)絡通常提取局部、具體的一般特征，而隨著網(wǎng)絡層數(shù)的增加，深層網(wǎng)絡提取更加全局、抽象的本質(zhì)特征[19]。與前者的淺層特征相比，后者的深層特征對于任務分類的作用更重要。據(jù)此，可以簡化衡量梯度變化矩陣相似度的過程，只選取共享層部分最后一層的梯度變化，在強化深層特征關(guān)鍵作用的同時進一步提升任務相似度衡量的準確性。

(3)

其中，n=1,2,…N-1。

在第一步混合訓練的基礎上，根據(jù)梯度變化不同與層次特征作用差異計算第二步衡量梯度變化矩陣的相似度，其處理過程總結(jié)為算法2，如下所示：

算法2：衡量梯度變化矩陣的相似度

輸入：多任務混合訓練數(shù)據(jù)集Z與相關(guān)參數(shù)(迭代次數(shù)Total， 學習速率α， 損失函數(shù)收斂閾值β)

輸出：N個梯度變化矩陣之間的相似度

(1)基于訓練數(shù)據(jù)集Z,按照算法1進行混合訓練，計算最后一個共享層的梯度Δ(L-1)

(2)選取某個任務，逐一增加或減少訓練樣本特征值的10%～20%，生成新的訓練數(shù)據(jù)集Z′， 同樣按照算法1計算最后一個共享層的梯度 (Δ(L-1))′

(4)if未改變所有任務訓練樣本的特征值then返回步驟(2)

(5)else then

(6)end if

綜上所述，在混合訓練后分析每個任務梯度變化矩陣的相似度，可以有效地衡量任務的整體相似度，并以此為依據(jù)進行合理的任務分組。

3 實驗研究

為了檢驗基于混合共享的多任務學習方法的有效性，選取MNIST數(shù)據(jù)集為對象進行具體的應用實驗。

3.1 實驗設置

由“0～9”數(shù)字組成的手寫體識別數(shù)據(jù)集MNIST可看作10個學習任務，為每個任務分別選取10個訓練樣本和50個測試樣本。同時，為壓縮手寫數(shù)字圖像的特征信息，基于PCA技術(shù)只需對每張圖像中的87個重要特征進行學習即可。

實驗采用的混合共享神經(jīng)網(wǎng)絡由3個硬參數(shù)共享網(wǎng)絡分支組成(網(wǎng)絡分支數(shù)由任務分組的實際結(jié)果決定，即分支數(shù)等于任務分組數(shù))，每個分支共4層，即一個輸入層、兩個共享層和一個特定任務分類輸出層。其中，兩個共享層的神經(jīng)元個數(shù)分別為4和5。任務損失函數(shù)的收斂閾值根據(jù)根據(jù)該模型在實驗過程中的實際性能設置，且每層選用的激活函數(shù)都為Sigmoid函數(shù)。

3.2 實驗結(jié)果與分析

將設定的10個二分類任務的混合訓練集通過輸入層送入該神經(jīng)網(wǎng)絡進行基于混合共享的多任務學習實驗。

在衡量任務相似度的過程中，計算出任務梯度變化矩陣之間的歐氏距離，結(jié)果見表1，數(shù)據(jù)保留4位小數(shù)點。然后，選出與每個任務的梯度變化矩陣歐氏距離最短的3個任務，結(jié)果見表2。據(jù)此進行多任務分組，分組結(jié)果為：數(shù)字“1”、“2”、“4”和“5”作為第一組混合任務，數(shù)字“0”、“6”、“8”和“7”作為第二組混合任務，而數(shù)字“3”和“9”作為第三組分類任務。

表1 梯度變化矩陣之間的歐氏距離

表2 梯度變化矩陣相似度分析

將3組混合任務輸入到各自的硬參數(shù)共享網(wǎng)絡分支中，并采用軟參數(shù)共享形式對不同的分支進行約束。隨機初始化每個分支的參數(shù)后，對上述網(wǎng)絡結(jié)構(gòu)應用混合交替訓練方法，其中每個硬參數(shù)共享網(wǎng)絡分支進行混合訓練，而對3個硬參數(shù)共享網(wǎng)絡分支之間的軟參數(shù)共享分支依次進行交替訓練。而且，針對該網(wǎng)絡模型不同的初始化參數(shù)，多個學習任務采用不同的訓練順序基本不影響最終的學習結(jié)果，這表明該模型具有較強的適應性能?；诨旌瞎蚕淼亩嗳蝿諏W習的實驗結(jié)果見表3。該方法同時解決了不同相似度或相關(guān)性的多任務學習問題，充分結(jié)合了基于任務層面和基于特征層面兩類學習方法的優(yōu)點，并通過與幾種比較有代表性的多任務學習方法的對比，驗證了該學習方法的良好性能。

表3 實驗結(jié)果對比

4 結(jié)束語

多任務學習應該同時兼顧特征共享與任務處理，這樣才能取得較好的結(jié)果。為此，本文提出基于混合共享機制的深度多任務學習方法。首先，通過混合多任務訓練數(shù)據(jù)、一同送入網(wǎng)絡進行學習，避免了硬參數(shù)共享網(wǎng)絡在訓練過程中需要區(qū)分不同任務的難題，利于網(wǎng)絡更好地分析所有任務的特征是否具有整體相似性，并根據(jù)共享層部分深層網(wǎng)絡所提取的全局本質(zhì)特征對任務分類作用更重要以及響應不同任務的梯度變化量差異確定不同任務之間的相似度，據(jù)此對其進行合理分組；其次，將相似度接近的任務分為一組，進行硬參數(shù)共享，同時考慮到組與組任務之間的相似性區(qū)別，采用軟參數(shù)共享形式對不同的硬參數(shù)共享網(wǎng)絡分支進行約束，然后對該網(wǎng)絡模型采用混合交替訓練方法進行參數(shù)學習，充分發(fā)揮基于任務層面和特征層面的優(yōu)點；最后，通過在MNIST數(shù)據(jù)集上的應用實驗，驗證了本方法的有效性。

基于混合共享機制的深度多任務學習方法是建立在任務數(shù)據(jù)分布相似的基礎上，但不同任務的結(jié)構(gòu)可能并不完全一樣。因此，如何合理地劃分多任務的網(wǎng)絡結(jié)構(gòu)，使用部分結(jié)構(gòu)共享或者參數(shù)共享還有待后續(xù)研究工作的持續(xù)改進與完善。