分布式網(wǎng)絡(luò)的多任務(wù)擴(kuò)散算法綜述

靳丹琦 陳 捷 陳景東

（1.武漢大學(xué)電子信息學(xué)院，湖北武漢 430072；2.西北工業(yè)大學(xué)航海學(xué)院智能聲學(xué)與臨境通信研究中心，陜西西安 710072）

1 引言

經(jīng)典自適應(yīng)信號處理算法是一類從實(shí)時數(shù)據(jù)流中估計(jì)參數(shù)的算法，它通過對實(shí)時數(shù)據(jù)流進(jìn)行自學(xué)習(xí)來適應(yīng)或跟蹤模型參數(shù)的變化，從而逼近一定準(zhǔn)則下最優(yōu)濾波器估計(jì)模型參數(shù)的性能。在過去的六十余年里，經(jīng)典自適應(yīng)信號處理算法逐漸發(fā)展成熟，它被成功應(yīng)用于通信［1］、控制［2］、雷達(dá)［3］、聲吶［4］、地震［5］、生物醫(yī)學(xué)［6］等領(lǐng)域。

近二十年來，移動通信終端［7］、邊緣計(jì)算設(shè)備［8］、云計(jì)算平臺［9］等應(yīng)用產(chǎn)生了對多個交互設(shè)備協(xié)同處理的需求。為了方便建模和處理，學(xué)者們引入了“網(wǎng)絡(luò)”的概念，設(shè)計(jì)了網(wǎng)絡(luò)中自適應(yīng)信號處理算法［10-11］。網(wǎng)絡(luò)是由若干節(jié)點(diǎn)以及連接這些節(jié)點(diǎn)的鏈路組成的整體［10-12］。例如，移動通信終端和通信鏈路構(gòu)成了移動通信網(wǎng)絡(luò)。針對網(wǎng)絡(luò)中自適應(yīng)信號處理問題，學(xué)者們最早提出了集中式處理模式，即由選定的中心節(jié)點(diǎn)收集網(wǎng)絡(luò)中所有節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行處理，并在處理完畢后將結(jié)果傳回各個節(jié)點(diǎn)。雖然集中式處理能更充分地利用整個網(wǎng)絡(luò)的數(shù)據(jù)，但是也存在一些明顯的弊端，包括［11］：

（1）隱私性差。在一些場景中將其他節(jié)點(diǎn)的數(shù)據(jù)共享給中心節(jié)點(diǎn)會造成節(jié)點(diǎn)信息泄露，不利于節(jié)點(diǎn)的隱私保護(hù)。

（2）魯棒性差。若中心節(jié)點(diǎn)發(fā)生故障，則會導(dǎo)致整個網(wǎng)絡(luò)崩潰。

（3）可擴(kuò)展性弱。對分散存儲在不同空間位置的數(shù)據(jù)，受到通信距離、節(jié)點(diǎn)通信能力、通信時延的限制，無法將數(shù)據(jù)匯集到中心節(jié)點(diǎn)處理。

對一些不適合進(jìn)行集中式處理的場景，學(xué)者們提出了“分布式處理”模式：在一定的關(guān)聯(lián)感知區(qū)域內(nèi)，節(jié)點(diǎn)與鄰近節(jié)點(diǎn)通過局部的信息交換和自組織的協(xié)同方式來逼近或者達(dá)到集中式處理的性能。在分布式處理模式中，通過定義節(jié)點(diǎn)以及節(jié)點(diǎn)之間的相互連接關(guān)系，分布式網(wǎng)絡(luò)能夠?qū)σ恍┫到y(tǒng)進(jìn)行刻畫和建模，包括電子電氣工程領(lǐng)域中的傳感器網(wǎng)絡(luò)、分布式天線陣列、智能電網(wǎng)以及智能機(jī)器人群體等，這些都屬于人工網(wǎng)絡(luò)；也包括自然界中的魚群、鳥群、蜂群等，它們都是生物集群網(wǎng)絡(luò)。因而，研究分布式網(wǎng)絡(luò)和分布式處理模式能夠涵蓋一些實(shí)際問題。在這些問題中，分布式網(wǎng)絡(luò)通常需要處理具有時變特性的數(shù)據(jù)流，例如傳感器網(wǎng)絡(luò)需要感知并跟蹤信道的變化、魚群需要動態(tài)地確定餌料位置等。這要求分布式網(wǎng)絡(luò)能夠在每一時刻對目標(biāo)參數(shù)進(jìn)行重新估計(jì)，從而適應(yīng)目標(biāo)參數(shù)的變化。為了賦予分布式網(wǎng)絡(luò)這樣的能力，學(xué)者們深入研究了網(wǎng)絡(luò)中分布式自適應(yīng)信號處理。如表1 所示，根據(jù)節(jié)點(diǎn)間信息流動的方式，將分布式網(wǎng)絡(luò)中主流的自適應(yīng)信號處理算法分成三類：增量算法［13-14］、一致式算法［15-16］、擴(kuò)散算法［17-18］。增量算法通過在網(wǎng)絡(luò)中形成一個哈密爾頓環(huán)路［19］并依次訪問環(huán)路中各節(jié)點(diǎn)實(shí)現(xiàn)信息交互與融合。而在一致式算法和擴(kuò)散算法中，每個節(jié)點(diǎn)都與所有鄰居節(jié)點(diǎn)進(jìn)行信息交換，進(jìn)而實(shí)現(xiàn)對網(wǎng)絡(luò)各節(jié)點(diǎn)模型參數(shù)的協(xié)同估計(jì)。因?yàn)樵谌我饩W(wǎng)絡(luò)中構(gòu)建哈密爾頓環(huán)路是NP-難題，并且構(gòu)建的哈密爾頓環(huán)路對節(jié)點(diǎn)和鏈路的失效都非常敏感，所以增量算法并不完全適用于分布式網(wǎng)絡(luò)中自適應(yīng)信號處理。而在作為候選的擴(kuò)散算法和一致式算法中，擴(kuò)散算法比一致式算法具有更優(yōu)良的穩(wěn)定性和更寬廣的動態(tài)范圍［20］，所以擴(kuò)散算法是分布式自適應(yīng)信號處理的重點(diǎn)研究算法，同時也是本文的研究關(guān)注點(diǎn)。

表1 增量算法、一致式算法和擴(kuò)散算法的比較Tab.1 A comparison of incremental strategy，consensus strategy and diffusion strategy

2 擴(kuò)散算法的起源與發(fā)展

擴(kuò)散算法的起源可以追溯到2007年。為了解決“分布式自適應(yīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)如何通過協(xié)作方式估計(jì)同一個模型參數(shù)”的問題，2007年美國加州大學(xué)洛杉磯分校的Sayed教授和他的學(xué)生Lopes在文獻(xiàn)［21］中提出了擴(kuò)散算法。文獻(xiàn)［21］中各節(jié)點(diǎn)模型參數(shù)的關(guān)系可以抽象成圖1（a）。因?yàn)榫W(wǎng)絡(luò)中所有節(jié)點(diǎn)協(xié)作估計(jì)同一個模型參數(shù)w★，所以稱這類擴(kuò)散算法為“單任務(wù)擴(kuò)散算法”。如表2所示，在早期的單任務(wù)分布式擴(kuò)散算法研究中，學(xué)者們求解某一特定類型的數(shù)據(jù)模型或代價函數(shù)，得到了不同類型的擴(kuò)散算法。因?yàn)閿U(kuò)散LMS 類型算法研究了最簡單、最普遍的線性模型和均方誤差代價函數(shù)，所以它最具有代表性。學(xué)者們隨后對擴(kuò)散LMS 類型算法進(jìn)行了深入研究，典型的研究工作介紹如下：

表2 不同類型的數(shù)據(jù)模型或代價函數(shù)對應(yīng)的擴(kuò)散算法Tab.2 A summary of several diffusion strategies，corresponding to different data models and cost functions

（1）關(guān)于對實(shí)際場景建模和算法設(shè)計(jì)。研究了不完美的信息交換、量化誤差、通信時延等因素對擴(kuò)散LMS 算法性能的影響［22-24］；通過求解優(yōu)化問題為擴(kuò)散LMS 算法設(shè)計(jì)了自適應(yīng)組合矩陣［25-26］；研究了異質(zhì)網(wǎng)絡(luò)中的擴(kuò)散LMS 算法［27］；將模型參數(shù)的稀疏性考慮在內(nèi)，利用次梯度（Subgradient）或近端算子（Proximal Operator）設(shè)計(jì)稀疏擴(kuò)散LMS 算法［28-29］；為了保證各節(jié)點(diǎn)性能不差于非協(xié)作情形，設(shè)計(jì)了具有一致性的擴(kuò)散LMS 算法［30］；設(shè)計(jì)了頻域擴(kuò)散LMS算法［31］等。上述工作側(cè)重于研究不同的實(shí)際問題場景，并針對這些場景設(shè)計(jì)擴(kuò)散算法。

（2）關(guān)于算法理論性能分析。從不同角度研究了使用獨(dú)立同分布的不相關(guān)輸入時擴(kuò)散LMS 算法的性能［10，17］、使用相關(guān)性輸入時擴(kuò)散LMS 算法的性能［32-33］；從理論和實(shí)驗(yàn)兩方面分析比較了擴(kuò)散算法和一致式算法的性能，證明了擴(kuò)散算法比一致式算法更穩(wěn)定［20］等。

（3）關(guān)于擴(kuò)散算法的參數(shù)設(shè)置。利用啟發(fā)式思想或優(yōu)化架構(gòu)針對標(biāo)準(zhǔn)擴(kuò)散LMS 算法設(shè)計(jì)變步長算法［34-35］等。

（4）關(guān)于算法拓展和應(yīng)用。研究了擴(kuò)散LMS 算法在目標(biāo)定位與跟蹤［36］、模擬鳥群和蜂群飛行行為［37-38］、模擬魚群捕食行為［39］、認(rèn)知無線電網(wǎng)絡(luò)［40］等場景中的應(yīng)用。

隨著研究工作的深入，學(xué)者們在后續(xù)工作中圍繞具有一般性的代價函數(shù)展開研究。相關(guān)研究工作主要集中在“關(guān)于對實(shí)際場景建模和算法設(shè)計(jì)”和“關(guān)于算法理論性能分析”兩方面1在分布式網(wǎng)絡(luò)多任務(wù)擴(kuò)散算法的研究中，針對某一個實(shí)際場景設(shè)計(jì)新算法后，通常也會對該算法進(jìn)行理論性能分析。因此“關(guān)于對實(shí)際場景建模和算法設(shè)計(jì)”和“關(guān)于算法理論性能分析”兩個方面的研究工作存在很多的耦合，為了避免重復(fù)，此處對二者合并進(jìn)行介紹。，包括：求解強(qiáng)凸、可微代價函數(shù)的擴(kuò)散算法［11，18］；求解強(qiáng)凸、不可微代價函數(shù)的擴(kuò)散算法［53-55］；求解非凸代價函數(shù)的擴(kuò)散算法［56-58］；研究了單任務(wù)網(wǎng)絡(luò)中的多目標(biāo)優(yōu)化問題，證明了使用固定步長時網(wǎng)絡(luò)中所有節(jié)點(diǎn)的估計(jì)結(jié)果會收斂到同一個Pareto 最優(yōu)解［59］；研究了節(jié)點(diǎn)間通信不同步、網(wǎng)絡(luò)拓?fù)渥兓?、鏈路失敗等因素對擴(kuò)散算法性能的影響［60］等。

在實(shí)際場景中，分布式網(wǎng)絡(luò)的每一個節(jié)點(diǎn)往往需要估計(jì)與其他節(jié)點(diǎn)不同、但又有一定內(nèi)在關(guān)聯(lián)的模型參數(shù)。為了刻畫這些場景，2013 年筆者在文獻(xiàn)［61］中首次將多任務(wù)模型引入到分布式擴(kuò)散網(wǎng)絡(luò)中，設(shè)計(jì)了“多任務(wù)擴(kuò)散算法”，極大地豐富了擴(kuò)散式自適應(yīng)信號處理的內(nèi)涵。在多任務(wù)擴(kuò)散算法中，節(jié)點(diǎn)同時估計(jì)多個不完全相同但具有一定關(guān)聯(lián)性的模型參數(shù)，并利用模型參數(shù)的關(guān)聯(lián)性來進(jìn)一步提高節(jié)點(diǎn)自身的估計(jì)精度。多任務(wù)模型賦予了擴(kuò)散算法更多的自由度對實(shí)際問題進(jìn)行抽象和建模。在一些實(shí)際應(yīng)用中，使用多任務(wù)擴(kuò)散算法能得到比單任務(wù)擴(kuò)散算法更好的效果。圖2給出了多任務(wù)擴(kuò)散算法在模擬和分析自然界生物群體行為中的應(yīng)用示例。自然界中諸如魚群、蜂群等生物群體存在一些群體協(xié)同行為，例如圖2 中魚群協(xié)作覓食。因?yàn)轸~群的協(xié)作覓食是一種自組織行為，所以用分布式網(wǎng)絡(luò)和擴(kuò)散算法來建模分析是最合適的；此外，魚群中不同個體往往需要捕食不同的食物源，而多個食物源相對于魚群中不同個體又具有相似的方向向量，因而用多任務(wù)擴(kuò)散算法來模擬分析魚群行為是最準(zhǔn)確的。多任務(wù)擴(kuò)散算法也被應(yīng)用于揚(yáng)聲器陣列的主動噪聲控制［62-64］、帕金森疾病診斷［65］、視頻監(jiān)控網(wǎng)絡(luò)的多目標(biāo)定位跟蹤［66］等場景中。圖3給出了多任務(wù)擴(kuò)散算法在揚(yáng)聲器陣列主動噪聲控制中的應(yīng)用示例［62，64］。在主動噪聲控制中，揚(yáng)聲器陣列作為次級聲源實(shí)時產(chǎn)生驅(qū)動信號，從而抵消聲場中的噪聲源。為了分?jǐn)倱P(yáng)聲器陣列（聲學(xué)傳感器網(wǎng)絡(luò)）的計(jì)算量從而保證主動噪聲控制的實(shí)時性，更有效的方式是使用分布式擴(kuò)散算法來設(shè)計(jì)各個節(jié)點(diǎn)2在圖3給出的揚(yáng)聲器陣列網(wǎng)絡(luò)中，每個節(jié)點(diǎn)包含一個揚(yáng)聲器、一個麥克風(fēng)以及具有通信和計(jì)算能力的處理單元。的驅(qū)動信號。同時，由于不同節(jié)點(diǎn)上誤差麥克風(fēng)處噪聲信號具有差異性，各節(jié)點(diǎn)需要利用多任務(wù)擴(kuò)散算法生成特定的驅(qū)動信號進(jìn)行噪聲抵消。自提出至今的十余年里，多任務(wù)擴(kuò)散算法被學(xué)者們廣泛研究［67-78］，大體上可分為無監(jiān)督類型的多任務(wù)擴(kuò)散算法和有監(jiān)督類型的多任務(wù)擴(kuò)散算法。鑒于多任務(wù)擴(kuò)散算法的重要性，本文聚焦于討論多任務(wù)擴(kuò)散算法，重點(diǎn)論述基本的多任務(wù)信號模型、多任務(wù)問題的構(gòu)造方法、多任務(wù)擴(kuò)散算法的設(shè)計(jì)思路，旨在為領(lǐng)域的研發(fā)人員提供一些基礎(chǔ)知識，啟發(fā)更多的興趣，從而設(shè)計(jì)更好的算法。

圖3 多任務(wù)擴(kuò)散算法的應(yīng)用示例——揚(yáng)聲器陣列主動噪聲控制（摘錄自文獻(xiàn)［64］）Fig.3 An example of multitask diffusion strategies in active noise control of loudspeaker arrays（extracted from reference ［64］）

3 圖模型和信號模型

先對本文的一部分基本符號使用規(guī)則進(jìn)行介紹。未加粗的斜體字母表示標(biāo)量，如x，X。小寫加粗的黑體字母表示向量，如x。若無特殊說明，本文中出現(xiàn)的向量默認(rèn)是列向量。大寫加粗的黑體字母表示矩陣，如X。其余符號的含義將在文中進(jìn)行說明。

3.1 圖模型

本小節(jié)對用于描述分布式網(wǎng)絡(luò)結(jié)構(gòu)的圖模型［10-11，17］進(jìn)行簡單介紹，它是分布式網(wǎng)絡(luò)中數(shù)據(jù)模型和算法設(shè)計(jì)的基礎(chǔ)。

定義1（圖、節(jié)點(diǎn)和邊）通常用由N個端點(diǎn)（即節(jié)點(diǎn)）和一系列連接端點(diǎn)的邊構(gòu)成的圖來表示大小為N的網(wǎng)絡(luò)。將連接端點(diǎn)和它自身的邊稱為自環(huán)。同一條邊所連接的兩個端點(diǎn)互為鄰居節(jié)點(diǎn)。

定義1 中的圖是無向圖，即如果節(jié)點(diǎn)k是節(jié)點(diǎn)?的鄰居節(jié)點(diǎn)，那么節(jié)點(diǎn)? 同樣是節(jié)點(diǎn)k的鄰居節(jié)點(diǎn)?；猷従庸?jié)點(diǎn)的兩個節(jié)點(diǎn)可以通過連接它們的邊交換信息。為了豐富圖模型的建模能力，對圖的每條邊都引入了一對非負(fù)權(quán)值。具體而言，對連接節(jié)點(diǎn)k和節(jié)點(diǎn)?的邊引入非負(fù)權(quán)值對{ak?，a?k}，權(quán)值a?k的兩個下標(biāo)表示信息流動的方向：第一個下標(biāo)? 表示信息流動的起點(diǎn)，第二個下標(biāo)k表示信息流動的終點(diǎn)。權(quán)值a?k被節(jié)點(diǎn)k用來加權(quán)它從節(jié)點(diǎn)?接收到的數(shù)據(jù)，可以把這種加權(quán)理解成節(jié)點(diǎn)k對它與節(jié)點(diǎn)?的交互置信度的度量。類似地，權(quán)值ak?被節(jié)點(diǎn)? 用來加權(quán)它從節(jié)點(diǎn)k接收到的數(shù)據(jù)。允許對權(quán)值ak?和a?k取不同的值，并且其中一個或者二者都可以取零值，這意味著節(jié)點(diǎn)之間的信息流不一定是對稱的。將表征網(wǎng)絡(luò)結(jié)構(gòu)并且對邊分配了非負(fù)權(quán)值對{ak?，a?k}的圖稱為加權(quán)圖。本文所考慮的圖均為加權(quán)圖。圖4 給出了一個示例，來對加權(quán)圖和定義1加以說明。為了強(qiáng)調(diào)，在圖4 中分別用兩條帶有相反方向箭頭的線段來表示連接節(jié)點(diǎn)的邊。在本文后續(xù)部分的網(wǎng)絡(luò)拓?fù)鋱D中，將使用不帶箭頭的單一線段來替代這兩條帶有相反方向箭頭的線段。這兩種線段具有相同的含義。

圖4 圖模型示意圖（摘錄自文獻(xiàn)［11］）Fig.4 An illustration of a graph model（extracted from reference ［11］）

定義2（加權(quán)圖上節(jié)點(diǎn)的鄰域）加權(quán)圖上任意節(jié)點(diǎn)k的鄰域是集合Nk，它是所有通過邊與節(jié)點(diǎn)k直接相連的節(jié)點(diǎn)的集合，也包括了節(jié)點(diǎn)k自身。集合Nk的勢用符號|Nk|表示，它是集合Nk所包含的元素總數(shù)。

在加權(quán)圖上，任意兩個節(jié)點(diǎn)k和? 具備通過連接它們的邊進(jìn)行信息交換的能力，然而信息交換發(fā)生與否以及它是單向的還是雙向的，取決于分配給邊的權(quán)值對{ak?，a?k}。如圖5 所示，為了便于描述，將包含N個節(jié)點(diǎn)的加權(quán)圖的所有權(quán)值a?k按如下規(guī)則寫成一個N×N的矩陣A：

圖5 加權(quán)圖和相應(yīng)的組合矩陣示意圖（摘錄自文獻(xiàn)［11］）Fig.5 An illustration of a weighted graph and a combination matrix（extracted from reference ［11］）

①矩陣A的第k列元素是節(jié)點(diǎn)k用來對從它的鄰居節(jié)點(diǎn)?∈Nk接收到的數(shù)據(jù)進(jìn)行加權(quán)的權(quán)值。換而言之，對?∈Nk，矩陣A的第?行、第k列元素是權(quán)值a?k，它被節(jié)點(diǎn)k用來加權(quán)它從節(jié)點(diǎn)? 接收到的數(shù)據(jù)。

②如果? ?Nk，那么設(shè)置a?k=0。

對按照上述規(guī)則構(gòu)造的矩陣A，有[A]?k=a?k，下標(biāo)索引符號[·]?k用于索引矩陣的第? 行、第k列元素。將矩陣A稱為組合矩陣或組合規(guī)則。

3.2 信號模型

考慮由N個節(jié)點(diǎn)組成的連通網(wǎng)絡(luò)，每個節(jié)點(diǎn)k需要估計(jì)長度為L× 1 的模型參數(shù)。在n時刻，節(jié)點(diǎn)k觀測到數(shù)據(jù)對{dk，n，xk，n}，dk，n是參考信號，xk，n是維度為L× 1 的輸入信號。節(jié)點(diǎn)k的數(shù)據(jù)由線性模型（1）關(guān)聯(lián)，即：

其中zk，n是噪聲信號，它與其他信號統(tǒng)計(jì)獨(dú)立。

分布式網(wǎng)絡(luò)中自適應(yīng)信號處理需要考慮節(jié)點(diǎn)協(xié)作，這要對網(wǎng)絡(luò)中所有節(jié)點(diǎn)模型參數(shù)的關(guān)系進(jìn)行建模。在單任務(wù)網(wǎng)絡(luò)中，所有節(jié)點(diǎn)估計(jì)相同的模型參數(shù)［18］，即；在多任務(wù)網(wǎng)絡(luò)中，各節(jié)點(diǎn)估計(jì)不同但具有關(guān)聯(lián)性的模型參數(shù)，并利用不同節(jié)點(diǎn)上模型參數(shù)的關(guān)聯(lián)性來提高分布式網(wǎng)絡(luò)的整體估計(jì)性能［41，67］。圖1（b）和圖1（c）分別畫出了具有一般性的多任務(wù)網(wǎng)絡(luò)和分簇多任務(wù)網(wǎng)絡(luò)中各節(jié)點(diǎn)模型參數(shù)的關(guān)系。在圖1（b）中，所有節(jié)點(diǎn)k求解不同但具有某種內(nèi)在關(guān)聯(lián)性的模型參數(shù)。在圖1（c）中，屬于同一個簇Ci的節(jié)點(diǎn)求解相同的模型參數(shù)，例如節(jié)點(diǎn)1，2，3，4 屬于第1 個簇C1，它們求解相同的模型參數(shù)；而屬于不同簇的節(jié)點(diǎn)求解的模型參數(shù)具有一定的相似性。

研究多任務(wù)分布式擴(kuò)散算法的關(guān)鍵是對不同的多任務(wù)關(guān)系建模并設(shè)計(jì)算法求解，通常有兩類建模求解方式3這兩種建模方式對應(yīng)于求解多任務(wù)擴(kuò)散網(wǎng)絡(luò)中參數(shù)估計(jì)問題的兩種思路。：

（1）第一類是無監(jiān)督方式。它不要求預(yù)先已知網(wǎng)絡(luò)各節(jié)點(diǎn)模型參數(shù)的關(guān)聯(lián)方式，通過利用各節(jié)點(diǎn)模型參數(shù)的潛在相似性設(shè)計(jì)組合矩陣來求解多任務(wù)問題。

（2）第二類是有監(jiān)督方式。它要求已知網(wǎng)絡(luò)各節(jié)點(diǎn)模型參數(shù)的關(guān)聯(lián)方式（即多任務(wù)模型），針對具體的多任務(wù)模型設(shè)計(jì)投影矩陣或者基于正則化架構(gòu)設(shè)計(jì)合適的正則函數(shù)來求解多任務(wù)問題。構(gòu)建合適的多任務(wù)模型是使用有監(jiān)督方式進(jìn)行算法設(shè)計(jì)的前提。

本文第4節(jié)主要介紹利用無監(jiān)督方式設(shè)計(jì)擴(kuò)散算法，第5節(jié)介紹現(xiàn)有的多任務(wù)模型構(gòu)建途徑，以及如何利用有監(jiān)督方式設(shè)計(jì)擴(kuò)散算法。

4 無監(jiān)督類型的多任務(wù)擴(kuò)散算法

本節(jié)以最典型的擴(kuò)散LMS 算法［11，67］為例來介紹如何利用無監(jiān)督方式設(shè)計(jì)多任務(wù)擴(kuò)散算法。如圖6 所示，在分布式網(wǎng)絡(luò)中，為了估計(jì)模型參數(shù)，文獻(xiàn)［67］研究了下述優(yōu)化問題：

圖6 分布式網(wǎng)絡(luò)示意圖（摘錄自文獻(xiàn)［11］）Fig.6 An illustration of a distributed network（extracted from reference ［11］）

其中節(jié)點(diǎn)k的均方誤差代價函數(shù)J′k(w)定義為：

符號E{·}表示數(shù)學(xué)期望。文獻(xiàn)［67］設(shè)計(jì)的擴(kuò)散LMS算法為：

其中ψk，n+1是中間變量，wk，n+1是模型參數(shù)的估計(jì)，正值參數(shù)μk是節(jié)點(diǎn)k的步長。在式（5）～式（6）中，下標(biāo)字母k和? 專門用作節(jié)點(diǎn)索引，下標(biāo)字母n專門用作時間索引。非負(fù)加權(quán)系數(shù)a?k是左隨機(jī)矩陣A的第?行、第k列元素，即：

矩陣A即為加權(quán)圖的組合矩陣，它滿足下述關(guān)系式：

式（8）中符號1N表示長度為N、分量全為1的列向量。

利用無監(jiān)督方式和擴(kuò)散LMS 算法式（5）～式（6）求解多任務(wù)問題的關(guān)鍵是設(shè)計(jì)組合矩陣A。通過設(shè)計(jì)合適的組合矩陣，能夠進(jìn)一步提升多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)性能。文獻(xiàn)中有三種設(shè)計(jì)組合矩陣的方法：靜態(tài)組合矩陣、自適應(yīng)組合矩陣、兩個組合矩陣的組合結(jié)構(gòu)，本節(jié)將分別對這三種設(shè)計(jì)方法進(jìn)行介紹。

4.1 靜態(tài)組合矩陣

靜態(tài)組合矩陣是一類不隨迭代過程變化的組合矩陣。通常它們僅與網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)有關(guān)，一旦網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)給定，靜態(tài)組合矩陣便固定下來。表3列出了一些常用的靜態(tài)組合矩陣。在表3 中，符號nk?|Nk|表示節(jié)點(diǎn)k的勢，β是一個正值參數(shù)，矩陣L 是網(wǎng)絡(luò)的拉普拉斯矩陣，它的第? 行、第k列元素[L]?k定義為：

表3 一些常用的靜態(tài)組合矩陣Tab.3 Several static combination matrices

靜態(tài)組合矩陣具有形式簡單、物理意義明確的優(yōu)點(diǎn)。需要注意的是，因?yàn)殪o態(tài)組合矩陣僅與網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)有關(guān)，并且在設(shè)計(jì)過程中未考慮網(wǎng)絡(luò)各節(jié)點(diǎn)的多任務(wù)關(guān)系，所以在使用多任務(wù)擴(kuò)散算法時要謹(jǐn)慎選擇靜態(tài)組合矩陣。若選擇不當(dāng)，則可能適得其反。

4.2 自適應(yīng)組合矩陣

自適應(yīng)組合矩陣是一類會隨迭代過程改變的組合矩陣。通常它們不僅與網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)有關(guān)，還與網(wǎng)絡(luò)各節(jié)點(diǎn)信號特性有關(guān)。自適應(yīng)組合矩陣是通過求解優(yōu)化問題得到的。因?yàn)樽赃m應(yīng)組合矩陣的設(shè)計(jì)過程考慮了網(wǎng)絡(luò)各節(jié)點(diǎn)的噪聲特性，所以在一些場景中它比靜態(tài)組合矩陣效果更好。典型的自適應(yīng)組合矩陣包括文獻(xiàn)［67-69］，例1 將以文獻(xiàn)［67］為例進(jìn)行介紹。

例1（適用于多任務(wù)網(wǎng)絡(luò)的自適應(yīng)組合矩陣［67］）文獻(xiàn)［67］設(shè)計(jì)了一種適用于多任務(wù)網(wǎng)絡(luò)的自適應(yīng)組合矩陣，它在多任務(wù)的假設(shè)下通過最小化整個網(wǎng)絡(luò)的穩(wěn)態(tài)均方偏差求解自適應(yīng)組合矩陣。由式（5）～式（6）可知，在n+1時刻，可將節(jié)點(diǎn)k的均方偏差寫成：

其中組合系數(shù)a?k滿足約束式（8）。利用式（8），可將式（11）寫成：

為了簡單起見，對式（12）引入下述近似：

（1）省略式（12）中的交叉項(xiàng)，而只保留平方項(xiàng)；

（2）用瞬時值來代替期望值，即去掉期望符號E{·}；

（3）在n+1 時刻，用估計(jì)值來近似最優(yōu)值，即：

其中τk＞0是步長參數(shù)。

利用上述近似，得到節(jié)點(diǎn)k在n+1時刻的均方偏差近似表達(dá)式：

基于表達(dá)式（14），文獻(xiàn)［67］通過最小化下述優(yōu)化問題來求解系數(shù)a?k，即：

可以得到優(yōu)化問題式（15）的解：

其中?∈Nk，符號a?k(n+1)表示a?k在n+1 時刻的值。將式（13）代入式（16），即可得到適用于多任務(wù)網(wǎng)絡(luò)的自適應(yīng)組合矩陣。

4.3 兩個組合矩陣的組合結(jié)構(gòu)

單個組合矩陣具有自身的局限性。通常無法找到一個能夠適用于所有場景的組合矩陣。為了解決這一問題，文獻(xiàn)［70-71］設(shè)計(jì)了兩個乃至多個組合矩陣的組合結(jié)構(gòu)：先并行使用多個具有差異性和互補(bǔ)性的候選組合矩陣，再設(shè)計(jì)算法動態(tài)地從中選擇性能最好的一個。因?yàn)閮蓚€組合矩陣的組合結(jié)構(gòu)最具有代表性，所以本文以兩個組合矩陣為例進(jìn)行說明。

如圖7 所示，擴(kuò)散算法層包含兩個并行運(yùn)行的候選擴(kuò)散算法S(i)，i=1，2，并且算法S(i)使用了組合矩陣A(i)。在候選擴(kuò)散算法S(i)中，節(jié)點(diǎn)k利用輸入信號xk，n、參考信號dk，n和組合矩陣A(i)得到模型參數(shù)的估計(jì)值。在n時刻，對任意節(jié)點(diǎn)k，組合層分別對權(quán)值估計(jì)分配組合系數(shù)γk，n和1-γk，n，并利用組合系數(shù)γk，n來得到更好的估計(jì)量wk，n，即：

圖7 兩個組合矩陣的組合結(jié)構(gòu)示意圖Fig.7 An illustration of a combination scheme for two combination matrices

表4 兩種調(diào)整組合系數(shù)γk，n的算法Tab.4 Two algorithms for adjusting the combination coefficients

5 有監(jiān)督類型的多任務(wù)擴(kuò)散算法

求解多任務(wù)網(wǎng)絡(luò)中參數(shù)估計(jì)問題的另一種有效方式是設(shè)計(jì)有監(jiān)督類型的多任務(wù)擴(kuò)散算法。在有監(jiān)督類型的多任務(wù)擴(kuò)散算法中，為了利用網(wǎng)絡(luò)的多任務(wù)關(guān)系來提升參數(shù)估計(jì)性能，整個網(wǎng)絡(luò)最小化全局代價函數(shù)：

其中J′k(wk)由式（3）所定義，向量w→由下式定義：

集合Ω 用于約束網(wǎng)絡(luò)的多任務(wù)關(guān)系。為了方便起見，在不引起歧義的前提下，也將全局代價函數(shù)Jglobal(w1，w2，…，wN)等價地寫成。構(gòu)建合適的多任務(wù)模型（即等價地設(shè)計(jì)集合Ω）是使用有監(jiān)督方式進(jìn)行算法設(shè)計(jì)的前提。現(xiàn)有多任務(wù)模型通常是基于實(shí)際問題的物理特性并借助數(shù)學(xué)模型抽象得到的，針對不同實(shí)際問題得到的多任務(wù)模型差別迥異。表5對文獻(xiàn)中一些典型的多任務(wù)模型和對應(yīng)的實(shí)際應(yīng)用進(jìn)行了總結(jié)。求解優(yōu)化問題式（18）的一個難點(diǎn)是保證解空間滿足約束w→∈Ω。本節(jié)給出求解優(yōu)化問題式（18）的兩種典型方式：投影梯度法、正則化架構(gòu)。

表5 一些典型的多任務(wù)模型Tab.5 Several typical multitask models

5.1 方式一：投影梯度法

求解優(yōu)化問題式（18）的一種直接思路是使用梯度投影法［83］。對式（18）使用梯度投影法，并用隨機(jī)梯度來近似真實(shí)梯度，得到：

其中符號PΩ(·)表示向集合Ω 投影，…，符號col{·}表示將所有元素堆積成列向量。在投影梯度法中，分布式網(wǎng)絡(luò)的各個節(jié)點(diǎn)如何僅利用鄰居節(jié)點(diǎn)的信息來計(jì)算投影操作PΩ(·)是一個非常具有挑戰(zhàn)性的難題。文獻(xiàn)［72-73］求解了子空間約束下的分布式參數(shù)估計(jì)問題，并給出了一種計(jì)算投影操作的思路。例2 將以文獻(xiàn)［72-73］為例進(jìn)行說明。

例2（子空間約束下的分布式參數(shù)估計(jì)［72-73］）文獻(xiàn)［72-73］研究了子空間約束下的分布式參數(shù)估計(jì)問題：

其中R(·)表示值域空間，U 是維度為M×P的列滿秩矩陣，P?M。使用梯度投影法來迭代求解優(yōu)化問題式（21），并用隨機(jī)梯度來近似真實(shí)梯度，得到：

其中PU(·)表示向由矩陣U 的列張成的子空間投影，即：

通過引入中間變量：

可以將式（22）進(jìn)一步寫成：

在式（25）中，需要將網(wǎng)絡(luò)所有節(jié)點(diǎn)的中間變量χk，n+1匯集到融合中心并采用集中式方式計(jì)算投影操作，這與分布式處理的理念不符。為了使用分布式方式計(jì)算投影操作式（25），文獻(xiàn)［72-73］提出了一種近似投影操作的思路，即用式（26）來近似式（25）：

其中矩陣Ak?是分塊矩陣A 的第(k，?)個分塊。為了使式（26）能夠較好地近似式（25），矩陣A 需要滿足下述條件：

為了得到滿足式（27）的矩陣A，文獻(xiàn)［72-73］求解了下述優(yōu)化問題：

其中符號‖·‖m1表示矩陣的m1范數(shù)，符號‖·‖F(xiàn)表示矩陣的Frobenius 范數(shù)，ρ(·)表示矩陣的譜半徑［10-11］，正則化參數(shù)γ≥0，參數(shù)ζ∈(0，1]?？梢允褂肈ouglas-Rachford 算法或者借助CVX 凸優(yōu)化工具箱來求解優(yōu)化問題（28），詳細(xì)步驟請參考文獻(xiàn)［72-73］。

5.2 方式二：正則化架構(gòu)

求解優(yōu)化問題式（18）的另一種思路是使用正則化架構(gòu)。對式（18）引入正則化架構(gòu)，得到全局代價函數(shù)：

通過設(shè)計(jì)式（29）中的正則函數(shù)g(w1，w2，…，wN)來約束不同類型的多任務(wù)關(guān)系，非負(fù)參數(shù)λ′用于調(diào)整正則化強(qiáng)度。

在分布式優(yōu)化問題的設(shè)計(jì)和求解中，通常先借助網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)將全局代價函數(shù)等價分解，得到各個節(jié)點(diǎn)的局部代價函數(shù)，再設(shè)計(jì)算法求解局部代價函數(shù)。在集中式優(yōu)化問題式（29）中，因?yàn)檎齽t函數(shù)g(w1，w2，…，wN)對各節(jié)點(diǎn)的優(yōu)化變量w1，w2，…，wN進(jìn)行了耦合，所以通常無法直接對全局代價函數(shù)進(jìn)行分解來得到等價的、不包含耦合變量的局部代價函數(shù)。為了解決這一問題，筆者在文獻(xiàn)［74］中提出了下述思路：

（1）對全局代價函數(shù)式（29）進(jìn)行分解，得到未經(jīng)過解耦合的各節(jié)點(diǎn)代價函數(shù)，即：

其中λk是一個新的正則化參數(shù)。為了保證分解前后式（29）和式（30）的等價性，可以選擇。

（2）對式（30）的正則函數(shù)進(jìn)行近似，即約束正則函數(shù)g(w1，w2，…，wN)的優(yōu)化變量w1，w2，…，wN僅為節(jié)點(diǎn)k鄰域Nk內(nèi)的優(yōu)化變量w?，并將除wk之外的所有優(yōu)化變量w?用相應(yīng)的模型參數(shù)替換，得到解耦合的各節(jié)點(diǎn)代價函數(shù)：

（3）利用式（3）、式（31）對任意節(jié)點(diǎn)k使用一階隨機(jī)優(yōu)化算法進(jìn)行參數(shù)尋優(yōu)，得到：

需要注意的是，此時式（34）中泛函Fk有關(guān)。

在正則化架構(gòu)中，求解多任務(wù)參數(shù)估計(jì)問題的關(guān)鍵是求解泛函Fk(·)。因?yàn)閷晌⒄齽t函數(shù)和不可微正則函數(shù)g(w1，w2，…，wN)，泛函Fk(·)的求解方法不同，所以本節(jié)對二者分別進(jìn)行論述。

5.2.1 可微正則函數(shù)的情形

當(dāng)式（30）中的正則函數(shù)g(w1，w2，…，wN)是可微正則函數(shù)時，式（34）中Fk(·)退化成：

即直接計(jì)算可微正則函數(shù)的導(dǎo)數(shù)。將式（35）代入式（34），得到：

式（36）給出了基于正則化架構(gòu)求解可微正則函數(shù)的迭代表達(dá)式。例3將以分簇多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題為例對該求解思路進(jìn)行說明。

例3（分簇多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)［41］）文獻(xiàn)［41］通過引入可微正則函數(shù)研究了分簇多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題。圖1（c）給出了一個分簇多任務(wù)網(wǎng)絡(luò)的示意圖。在圖1（c）的分簇多任務(wù)網(wǎng)絡(luò)中，網(wǎng)絡(luò)節(jié)點(diǎn)被分成Q個簇，屬于同一個簇Cq的節(jié)點(diǎn)估計(jì)相同的未知模型參數(shù)，屬于相鄰簇Cp和Cq的節(jié)點(diǎn)估計(jì)多個不同但具有關(guān)聯(lián)性的未知模型參數(shù)，即：

在式（38）中，符號“～”表示在某種意義存在一定的相似性關(guān)系。針對分簇多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題，文獻(xiàn)［41］通過引入平方化的歐幾里得范數(shù)作為正則函數(shù)，設(shè)計(jì)了下述全局優(yōu)化問題：

其中正則化參數(shù)η＞0。式（39）中等號右端第二項(xiàng)的作用是促進(jìn)相鄰簇估計(jì)參數(shù)的相似性。按照文獻(xiàn)［41］的研究思路，利用納什均衡思想對全局代價函數(shù)式（39）進(jìn)行近似，進(jìn)而等價地分解到各個節(jié)點(diǎn)，得到節(jié)點(diǎn)k的局部代價函數(shù)：

其中b?k是一組依賴于節(jié)點(diǎn)k的非負(fù)系數(shù)，向量是給定所有k∈N?C?的wk時局部代價函數(shù)（41）的最小值點(diǎn)，即：

其中μ＞0 是步長參數(shù)。上式即為利用正則化架構(gòu)和可微正則函數(shù)求解分簇多任務(wù)網(wǎng)絡(luò)中參數(shù)估計(jì)問題的擴(kuò)散算法。

5.2.2 不可微正則函數(shù)的情形

當(dāng)式（30）中的正則函數(shù)g(w1，w2，…，wN)是不可微正則函數(shù)時，通常無法通過計(jì)算它的導(dǎo)數(shù)來得到式（34）中泛函Fk(·)的表達(dá)式。為了解決這一問題，文獻(xiàn)中引入了次梯度下降算法和近端梯度算法。這兩種求解算法各有利弊，通常次梯度下降算法求解更簡單，但是近端梯度算法更穩(wěn)定，解的精確度也更高。本節(jié)分別對這兩種求解算法進(jìn)行介紹。

（1）次梯度下降算法。將凸函數(shù)gk(wk)在定義域內(nèi)任一點(diǎn)?k處的次梯度定義為滿足下述條件的向量vk(?k)：

次梯度通常不唯一［84］。對式（30）中的不可微正則函數(shù)引入次梯度vk(·)，得到式（34）中的泛函Fk(·)的表達(dá)式：

將式（43）代入式（34），得到：

式（44）即為利用不可微正則函數(shù)和次梯度下降算法求解多任務(wù)網(wǎng)絡(luò)中參數(shù)估計(jì)問題的擴(kuò)散算法表達(dá)式。例4將以聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題為例對該求解思路進(jìn)行說明。

例4（聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題解法一［82］）文獻(xiàn)［82］通過引入不可微正則函數(shù)研究了聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題。在聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)中，通常考慮向量是聯(lián)合稀疏的情況，即不但每個是稀疏向量，而且整個網(wǎng)絡(luò)的具有相同的支撐集。的支撐集定義為［82］：

由式（45）可知，聯(lián)合稀疏結(jié)構(gòu)意味著：

在文獻(xiàn)［82］中，為了約束解空間具有聯(lián)合稀疏結(jié)構(gòu)，對任意節(jié)點(diǎn)k引入矩陣Wk：

其中wk是節(jié)點(diǎn)k待求解的優(yōu)化變量，w?是節(jié)點(diǎn)? 的優(yōu)化變量。基于矩陣Wk，文獻(xiàn)［82］引入了兩種聯(lián)合稀疏正則函數(shù)，包括?2，1-范數(shù)正則函數(shù)和重加權(quán)?2，1-范數(shù)正則函數(shù)，它們分別定義為：

[wk]m是向量wk的第m個分量，參數(shù)ε＞0。利用次梯度下降算法，可以得到正則函數(shù)和關(guān)于向量wk的次梯度，它們分別為：

將次梯度代入式（44），即可得到適用于求解聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)的次梯度擴(kuò)散算法。

（2）近端梯度算法。近端梯度算法是一類適用于求解不可微正則函數(shù)的優(yōu)化算法。因?yàn)榻颂荻人惴ㄍǔ１却翁荻认陆邓惴ǜ€(wěn)定，并且具有更快的收斂速度［29，85-86］，所以文獻(xiàn)［74］使用近端梯度算法求解優(yōu)化問題（30）。求解優(yōu)化問題式（30）的近端梯度算法具有如下形式［87］：

其中μk＞0 是步長參數(shù)，gk(wk)是通過約束正則函數(shù)g(·)的相關(guān)量僅為節(jié)點(diǎn)k鄰域Nk內(nèi)的相應(yīng)量后得到的新正則函數(shù)，近端算子定義為：

式（55）是局部更新步驟，式（56）是利用近端算子進(jìn)行的融合步驟。計(jì)算式（55）中在wk，n處的梯度，并使用隨機(jī)梯度近似真實(shí)梯度，得到適用于求解不可微正則函數(shù)的近端擴(kuò)散算法：

近端擴(kuò)散算法式（57）～式（58）與標(biāo)準(zhǔn)擴(kuò)散算法式（5）～式（6）的一個主要區(qū)別是：近端擴(kuò)散算法不需要對每個節(jié)點(diǎn)k的鄰居節(jié)點(diǎn)的中間估計(jì)顯式地進(jìn)行加權(quán)組合，它借助正則函數(shù)gk(wk)隱式地傳遞和共享鄰居節(jié)點(diǎn)的局部估計(jì)支撐集信息。近端擴(kuò)散算法將求解優(yōu)化問題式（30）轉(zhuǎn)化成求解近端算子式（58），后者是使用近端梯度算法求解不可微正則函數(shù)的關(guān)鍵，也是難點(diǎn)所在。針對不同的多任務(wù)問題和不可微正則函數(shù)gk(wk)，需要求解得到相應(yīng)的近端算子閉式表達(dá)式。與例4 類似，例5 將以聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題為例對基于近端梯度算法的求解思路進(jìn)行說明。

例5（聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)的參數(shù)估計(jì)問題解法二［74］）文獻(xiàn)［74］通過引入不可微的（重加權(quán)）?∞，1-范數(shù)正則函數(shù)來約束解空間的聯(lián)合稀疏結(jié)構(gòu)。文獻(xiàn)［74］對任意節(jié)點(diǎn)k引入矩陣：

其中wk是節(jié)點(diǎn)k的優(yōu)化變量，是節(jié)點(diǎn)? 的模型參數(shù)。需要注意的是，在矩陣的定義式（59）中，假設(shè)了對于節(jié)點(diǎn)k，它所有鄰居節(jié)點(diǎn)? (? ≠k)的模型參數(shù)是已知的，矩陣中僅有一列wk是未知的。為了便于闡述，將式（59）中定義的矩陣用行向量重寫成表達(dá)式（60），即：

[wk]m是向量wk的第m個分量。式（59）與式（60）是同一個矩陣的兩種不同表達(dá)形式。為了求解具有聯(lián)合稀疏結(jié)構(gòu)的參數(shù)向量，對節(jié)點(diǎn)k考慮正則函數(shù)，它們分別計(jì)算了矩陣的?∞，1-范數(shù)和重加權(quán)?∞，1-范數(shù)，即：

參數(shù)ε＞0。需要注意的是，雖然和分別計(jì)算了矩陣的?∞，1-范數(shù)、重加權(quán)?∞，1-范數(shù)，但是由矩陣的定義式（59）可知，矩陣中僅有一列wk是未知的，所以正則函數(shù)和的自變量是向量wk而非矩陣。將正則函數(shù)代入式（58），即可得到求解聯(lián)合稀疏多任務(wù)網(wǎng)絡(luò)中參數(shù)估計(jì)問題的近端擴(kuò)散算法。為了使用近端擴(kuò)散算法，還需要推導(dǎo)?∞，1-范數(shù)和重加權(quán)?∞，1-范數(shù)對應(yīng)的近端算子閉式表達(dá)式。使用近端算子的閉式表達(dá)式能夠極大地提高近端擴(kuò)散算法的運(yùn)算效率并節(jié)約計(jì)算量。利用定義式（54）將式（56）寫成：

其中

計(jì)算?∞，1-范數(shù)正則函數(shù)和重加權(quán)?∞，1-范數(shù)正則函數(shù)對應(yīng)的近端算子需要求解優(yōu)化問題（66）。因?yàn)?，i=1，2 的構(gòu)造中借助了未知的最優(yōu)參數(shù)向量，所以節(jié)點(diǎn)k要利用局部單步近似技巧對其做近似，即，后者由式（57）給出。進(jìn)一步，將式（67）和式（68）代入式（66）后發(fā)現(xiàn)，對應(yīng)的優(yōu)化問題是凸優(yōu)化問題，而對應(yīng)的優(yōu)化問題是非凸優(yōu)化問題。文獻(xiàn)［74］利用優(yōu)化最小化（Majorization-Minimization）算法對對應(yīng)的優(yōu)化問題進(jìn)行了凸近似，并給出了對應(yīng)的近端算子近似解析表達(dá)式。

6 總結(jié)與展望

本文簡要討論了分布式網(wǎng)絡(luò)的多任務(wù)擴(kuò)散算法。針對使用無監(jiān)督方式設(shè)計(jì)多任務(wù)擴(kuò)散算法，介紹了靜態(tài)組合矩陣的選取、自適應(yīng)組合矩陣的設(shè)計(jì)、兩個組合矩陣的組合結(jié)構(gòu)。針對使用有監(jiān)督方式設(shè)計(jì)多任務(wù)擴(kuò)散算法，討論了基于梯度投影法和正則化架構(gòu)的兩種設(shè)計(jì)方式。因?yàn)楦鞣N設(shè)計(jì)方式針對的是不同的多任務(wù)問題，它們各自有適用的場景，所以在多任務(wù)網(wǎng)絡(luò)中選擇哪一種設(shè)計(jì)方式和算法需要根據(jù)具體情況而定。雖然經(jīng)過十余年的發(fā)展，在多任務(wù)擴(kuò)散算法方面已經(jīng)取得了一些進(jìn)展，但是多任務(wù)擴(kuò)散算法仍有待進(jìn)一步探索。多任務(wù)擴(kuò)散算法未來的發(fā)展趨勢是：在理論層面更具有一般性，針對動態(tài)自組織類型的網(wǎng)絡(luò)拓?fù)?、異質(zhì)網(wǎng)絡(luò)、非凸優(yōu)化問題、無法直接拆解的優(yōu)化問題、帶約束的優(yōu)化問題、普適的多任務(wù)關(guān)系進(jìn)行算法設(shè)計(jì)和理論分析；在應(yīng)用層面更具有實(shí)用性，應(yīng)當(dāng)與實(shí)際應(yīng)用結(jié)合更緊密，在算法設(shè)計(jì)時充分考慮數(shù)據(jù)采樣和量化誤差、節(jié)點(diǎn)時鐘不同步、網(wǎng)絡(luò)通信帶寬和時延、通信鏈路噪聲和節(jié)點(diǎn)崩潰等情況。目前多任務(wù)擴(kuò)散網(wǎng)絡(luò)還有很多問題值得深入研究，包括：

（1）關(guān)于網(wǎng)絡(luò)拓?fù)?，現(xiàn)有工作僅研究了無向圖上的擴(kuò)散算法，如何針對更復(fù)雜的有向圖設(shè)計(jì)多任務(wù)擴(kuò)散算法并進(jìn)行理論性能分析值得探索。另外，在實(shí)際應(yīng)用中，如何設(shè)計(jì)算法實(shí)時生成最優(yōu)的網(wǎng)絡(luò)拓?fù)?，進(jìn)而得到更好的網(wǎng)絡(luò)處理效果也需要研究。

（2）關(guān)于非凸優(yōu)化問題，一方面，結(jié)合實(shí)際應(yīng)用，將多任務(wù)模型引入到非凸優(yōu)化中并設(shè)計(jì)分布式擴(kuò)散算法是一個值得研究的問題。另一方面，在實(shí)際應(yīng)用中，經(jīng)常會將集中式凸優(yōu)化問題拆解成多個非凸的局部優(yōu)化問題。針對這一類型的非凸優(yōu)化問題，如何設(shè)計(jì)分布式擴(kuò)散算法是一個難題。此外，如何設(shè)計(jì)一些策略來擺脫非凸優(yōu)化問題的鞍點(diǎn)，需要進(jìn)一步探索。

（3）關(guān)于代價函數(shù)拆解，現(xiàn)有擴(kuò)散算法僅考慮了可等價拆解的優(yōu)化問題。如何在具有任意拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)中，對優(yōu)化變量相互耦合的一般性代價函數(shù)進(jìn)行拆解是一個難題。

（4）關(guān)于帶約束的優(yōu)化問題，結(jié)合實(shí)際應(yīng)用求解分布式網(wǎng)絡(luò)中帶約束的優(yōu)化問題非常有意義，包括仿射約束、二階錐約束、不等式約束等。

（5）關(guān)于普適的多任務(wù)關(guān)系，如何利用輕量級神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中自動學(xué)習(xí)最合適的多任務(wù)關(guān)系，并作為分布式優(yōu)化問題的正則函數(shù)非常具有研究價值。

（6）在算法設(shè)計(jì)方面，分布式擴(kuò)散網(wǎng)絡(luò)的極小-極大（Min-Max）問題也非常具有研究意義。

（7）在算法設(shè)計(jì)方法，將數(shù)據(jù)量化誤差、采樣誤差、時鐘不同步、傳感器節(jié)點(diǎn)失配和節(jié)點(diǎn)崩潰等情況考慮在內(nèi)，抽象出更匹配的多任務(wù)模型并設(shè)計(jì)更魯棒的擴(kuò)散算法非常有意義。

（8）在算法設(shè)計(jì)與應(yīng)用方面，針對黑盒系統(tǒng)設(shè)計(jì)精度更高的擴(kuò)散算法以及研究黑盒系統(tǒng)中的拜占庭攻擊問題都非常有意義。

（9）在算法拓展和應(yīng)用方面，借助多任務(wù)網(wǎng)絡(luò)的擴(kuò)散算法對神經(jīng)網(wǎng)絡(luò)進(jìn)行分布式訓(xùn)練具有一定的研究價值。

（10）在算法應(yīng)用方面，鑒于一些場景中使用集中式處理可能引入較大的處理時延，為了滿足語音信號處理的實(shí)時性要求，如何利用擴(kuò)散算法來高效并行求解分布式麥克風(fēng)陣列和分布式揚(yáng)聲器陣列的語音增強(qiáng)問題也非常值得深入研究，相關(guān)問題包括分布式麥克風(fēng)陣列的波束形成、分布式揚(yáng)聲器陣列的主動噪聲控制和聲場重構(gòu)等。