結(jié)構(gòu)化信號(hào)處理理論和方法的研究進(jìn)展

李廉林　周小陽(yáng)　崔鐵軍

①（北京大學(xué)信息科學(xué)技術(shù)學(xué)院　北京　100871）

②（東南大學(xué)毫米波國(guó)家重點(diǎn)實(shí)驗(yàn)室　南京　210096）

結(jié)構(gòu)化信號(hào)處理理論和方法的研究進(jìn)展

李廉林*①周小陽(yáng)②崔鐵軍②

①（北京大學(xué)信息科學(xué)技術(shù)學(xué)院北京100871）

②（東南大學(xué)毫米波國(guó)家重點(diǎn)實(shí)驗(yàn)室南京210096）

結(jié)構(gòu)化信號(hào)處理是近年來(lái)信息領(lǐng)域發(fā)展極為迅猛的一個(gè)研究分支，它革新了以Nyquist-Shannon理論為基礎(chǔ)的信號(hào)處理經(jīng)典體系的眾多結(jié)論，開(kāi)啟了面向?qū)ο蟮男畔⑻幚淼拇箝T(mén)，促使挖掘信號(hào)的結(jié)構(gòu)性與自適應(yīng)測(cè)量有機(jī)結(jié)合，推動(dòng)了信息論、電子學(xué)、醫(yī)療、應(yīng)用數(shù)學(xué)、物理等領(lǐng)域的發(fā)展。結(jié)構(gòu)化信號(hào)處理研究結(jié)構(gòu)化信號(hào)的獲取、表征、復(fù)原及應(yīng)用等問(wèn)題，主要包含4方面內(nèi)容：（1）研究結(jié)構(gòu)化信號(hào)表征與測(cè)度的模型和理論；（2）研究結(jié)構(gòu)化信號(hào)的復(fù)原模型、理論及算法實(shí)現(xiàn)；（3）研究信號(hào)獲取的新體制；（4）研究結(jié)構(gòu)化信號(hào)處理的應(yīng)用。該文以數(shù)據(jù)和先驗(yàn)兩類(lèi)信息源的融合為主線(xiàn)，討論了結(jié)構(gòu)化信號(hào)處理在信號(hào)表征和大尺度信號(hào)復(fù)原等方面的最新研究結(jié)果，并對(duì)該領(lǐng)域的發(fā)展進(jìn)行了展望。

結(jié)構(gòu)化信號(hào)；稀疏信號(hào)處理；奈奎斯特采樣定理；任務(wù)驅(qū)動(dòng)信號(hào)處理

1　引言

結(jié)構(gòu)化（包括稀疏）信號(hào)處理是過(guò)去10多年間信息領(lǐng)域發(fā)展最為迅猛的一個(gè)研究分支，它革新了人們對(duì)信息領(lǐng)域眾多理論方法的認(rèn)知，極大推動(dòng)了通信、醫(yī)療、電子學(xué)、雷達(dá)、應(yīng)用數(shù)學(xué)、物理等學(xué)科的發(fā)展。結(jié)構(gòu)化信號(hào)處理是“實(shí)驗(yàn)-理論-計(jì)算-數(shù)據(jù)挖掘”這種科學(xué)發(fā)展模式的必然產(chǎn)物，是信息論、數(shù)值計(jì)算、概率與統(tǒng)計(jì)等多學(xué)科融合發(fā)展的結(jié)果（圖1）。結(jié)構(gòu)化信號(hào)處理研究結(jié)構(gòu)化信號(hào)的獲取、表征、復(fù)原及應(yīng)用等問(wèn)題，具體包含4方面的研究?jī)?nèi)容［1-3］：（1）研究結(jié)構(gòu)化信號(hào)表征與測(cè)度的模型和理論；（2）研究結(jié)構(gòu)化信號(hào)的復(fù)原模型、理論及算法實(shí)現(xiàn)；（3）研究信號(hào)獲取的新體制；（4）研究結(jié)構(gòu)化信號(hào)處理的應(yīng)用。

圖1　結(jié)構(gòu)化信號(hào)處理與信息論等學(xué)科之間的關(guān)系Fig.1　The relation of structural signal processing to other disciplines

經(jīng)典信號(hào)處理根植于20世紀(jì)初由Kotelnikov，Nyquist，Shannon及Whittaker等人建立的連續(xù)信號(hào)采樣理論（Nyquist-Shannon信號(hào)采樣理論）：為保證信號(hào)的無(wú)失真處理，信號(hào)的采樣頻率必須不低于該信號(hào)最大頻率的2倍。從線(xiàn)性代數(shù)的角度，經(jīng)典信號(hào)處理體系處理完備或超完備線(xiàn)性方程組y=Ax，其中dim（y）≥dim（x），其核心是測(cè)量數(shù)據(jù)y∈ Y完備地包含了目標(biāo)信號(hào)x∈X的全部信息，兩者之間滿(mǎn)足一一對(duì)應(yīng)關(guān)系，其中X和Y是兩個(gè)賦范線(xiàn)性空間；利用經(jīng)典線(xiàn)性代數(shù)（或矩陣求逆）方法能夠從數(shù)據(jù)y復(fù)原信號(hào)x。為論述方便，本文分別稱(chēng)y和x為數(shù)據(jù)和目標(biāo)信號(hào)。以Nyqusit-Shannon理論為核心的經(jīng)典信號(hào)處理體系為人們打開(kāi)從模擬（Analogy）時(shí)代進(jìn)入數(shù)字（Digital）時(shí)代的大門(mén)，拓展了模擬信息處理的能力，提供了更有效的信息感知和處理技術(shù)。隨著數(shù)據(jù)和信息量的爆炸性發(fā)展（摩爾定律，Moore's Law），以經(jīng)典信號(hào)理論為指導(dǎo)的數(shù)字時(shí)代展現(xiàn)了前所未有的挑戰(zhàn)和機(jī)遇：海量數(shù)據(jù)處理。例如，以1米分辨率、900平方公里觀(guān)測(cè)帶內(nèi)的星載合成孔徑雷達(dá)（SAR）成像為例，數(shù)據(jù)量將達(dá)到幾個(gè)GB，若要同時(shí)獲取多極化等多維度信息，產(chǎn)生的數(shù)據(jù)量至少要增加4～8倍［4］。在這樣的時(shí)代背景下，結(jié)構(gòu)化（包括稀疏）信號(hào)處理應(yīng)運(yùn)而生。結(jié)構(gòu)化信號(hào)處理以挖掘和利用目標(biāo)信號(hào)或數(shù)據(jù)的結(jié)構(gòu)為核心，以發(fā)展有效的信息獲取、重構(gòu)和解譯等方法為宗旨，促進(jìn)信息及其相關(guān)學(xué)科的發(fā)展。經(jīng)典信號(hào)處理堅(jiān)信的理念是“Let data say themselves···”。結(jié)構(gòu)化信號(hào)處理不僅僅只關(guān)心數(shù)據(jù)，在處理數(shù)據(jù)的同時(shí)挖掘信號(hào)本身內(nèi)在蘊(yùn)含的信息（先驗(yàn)，prior）。也可以說(shuō)結(jié)構(gòu)化信號(hào)處理處理更廣義的數(shù)據(jù)：狹義數(shù)據(jù)和先驗(yàn)。與之相比，經(jīng)典信號(hào)處理僅考慮目標(biāo)信號(hào)本身，不考慮信號(hào)內(nèi)在固有的信息（盡管這些信息已被很好認(rèn)知或?qū)⒈徽J(rèn)知），因此經(jīng)典信號(hào)處理的許多結(jié)論過(guò)于保守和悲觀(guān)。例如，Nyquist-Shannon定理本身就過(guò)于悲觀(guān)，它僅利用了信號(hào)的帶寬信息；Rayleigh分辨率也是一個(gè)過(guò)于悲觀(guān)的結(jié)論，它也是只利用系統(tǒng)帶寬信息的產(chǎn)物。結(jié)構(gòu)化信號(hào)處理不僅處理數(shù)據(jù)，而且挖掘利用目標(biāo)信號(hào)的先驗(yàn)，將目標(biāo)信號(hào)的先驗(yàn)知識(shí)有機(jī)融入信號(hào)的獲取和處理中，為發(fā)展高性能信息感知奠定了基礎(chǔ)。以壓縮感知為例，它利用信號(hào)的稀疏性或可壓縮性，在信號(hào)獲取的同時(shí)進(jìn)行信號(hào)壓縮，有效地緩解了數(shù)據(jù)獲取和通信的壓力［5-17］。表1比較了經(jīng)典信號(hào)處理和結(jié)構(gòu)化信號(hào)處理兩種體系的重要差異。

信號(hào)結(jié)構(gòu)性的一個(gè)代表性例子就是信號(hào)的稀疏性（Sparsity）。例如，如果圖像的像素之間具有相關(guān)性，那么該圖像在離散余弦或某種小波變換域是稀疏的。目前流行的各種圖像或視頻壓縮技術(shù)正是利用了這種結(jié)構(gòu)性。對(duì)信息領(lǐng)域的多數(shù)科研工作者而言，稀疏這個(gè)術(shù)語(yǔ)并不陌生，這里對(duì)稀疏信號(hào)的發(fā)展歷史作個(gè)回顧。1795年，Prony提出了噪聲干擾情況下從稀疏復(fù)指數(shù)函數(shù)的線(xiàn)性組合中估計(jì)復(fù)指數(shù)參數(shù)的方法（Prony方法）［18］。1809年，Laplace提出Laplace分布以及l(fā)1測(cè)度的概念，Gauss對(duì)該工作評(píng)價(jià)是“Laplace made use of another principle for the solution of linear equations，the number of which is greater than the number of unknown quantities，···”［19，20］。1907年，Caratheodory理論證明：對(duì)于k個(gè)正弦波線(xiàn)性組合的信號(hào)，如果已知它在t=0處及其它任意2k個(gè)位置處的測(cè)量值，該信號(hào)就可以唯一確定［21，22］；顯然Caratheodory方法所需的測(cè)量數(shù)據(jù)數(shù)2k+1遠(yuǎn)小于Nyquist-Shannon理論所需的采樣點(diǎn)數(shù)。1938年，Beuring研究了基于l1范數(shù)最小化方法的時(shí)域稀疏信號(hào)（Spike信號(hào)）的完整頻域譜復(fù)原問(wèn)題［23］，其方法與目前壓縮感知領(lǐng)域的信號(hào)復(fù)原方法非常相似。1973年，Clearbout和Muir針對(duì)地震波反卷積問(wèn)題提出了數(shù)據(jù)擬合誤差的l1范數(shù)最小化問(wèn)題，并提出與之對(duì)應(yīng)的線(xiàn)性規(guī)劃算法［24］。1979年，Taylor等人進(jìn)一步研究了數(shù)據(jù)擬合誤差的l1范數(shù)最小化的l1范數(shù)正則化問(wèn)題［25］。1986年，Stantosa和Symes提出了數(shù)據(jù)擬合誤差最小l2范數(shù)最小化的l1范數(shù)正則化問(wèn)題，并從理論上揭示了稀疏性與l1范數(shù)正則化之間的關(guān)系［26，27］。1986年，Coifman和Wickerhauser等人提出了稀疏分解的概念，幾乎與此同時(shí)，Mallat和Zhang在小波分析的基礎(chǔ)上也提出了信號(hào)在超完備字典上分解的思想。斯坦福大學(xué)的Tibshirani等人［28］和Chen等人［29］分別從機(jī)器學(xué)習(xí)和信號(hào)處理的角度幾乎同一時(shí)間（盡管論文發(fā)表日期分別是1996年和1998年，有趣的是兩組作者的辦公室在斯坦福大學(xué)同一院系的同一個(gè)走廊）提出了l1范數(shù)正則化的稀疏線(xiàn)性模型。盡管稀疏信號(hào)處理方法得到了長(zhǎng)足發(fā)展，人們也清晰地意識(shí)到在一些情況下利用目標(biāo)信號(hào)的稀疏性可以有效地正則化病態(tài)問(wèn)題，克服經(jīng)典信號(hào)處理方法遇到的種種制約；但是這些方法是啟發(fā)式的，缺乏理論支撐。其中一個(gè)亟需解決的根本性問(wèn)題是：在什么條件下目標(biāo)信號(hào)的稀疏性能保證病態(tài)問(wèn)題的精確、穩(wěn)定求解。直至2004年至2009年，Candes，Tao，Romberg和Donoho等人提出了壓縮感知理論［5-17］，該理論首次回答了精確穩(wěn)定求解線(xiàn)性病態(tài)問(wèn)題所需要的目標(biāo)信號(hào)稀疏性和問(wèn)題病態(tài)性（測(cè)量數(shù)據(jù)）之間需要滿(mǎn)足的關(guān)系（例如，Candes-Romberg-Tao定理［16］），它明確了觀(guān)測(cè)數(shù)據(jù)和目標(biāo)信號(hào)先驗(yàn)（稀疏性或可壓縮性）有機(jī)融合對(duì)精確穩(wěn)定重構(gòu)目標(biāo)信號(hào)的作用。從這個(gè)角度而言，目前在電磁（包括雷達(dá)）成像等眾多應(yīng)用所謂的“壓縮感知成像方法”只是稀疏驅(qū)動(dòng)成像，并不是真正意義上的壓縮感知成像。自從壓縮感知提出以來(lái)，以挖掘利用目標(biāo)信號(hào)結(jié)構(gòu)性為核心的信息感知和處理方法得到了前所未有的發(fā)展，并推動(dòng)了信號(hào)獲取體制的改革。以壓縮感知理論為代表的結(jié)構(gòu)化信號(hào)感知方法革命性地發(fā)展了以Nyquist-Shannon理論、經(jīng)典線(xiàn)性代數(shù)及Gaussian假設(shè)檢驗(yàn)等為基石的經(jīng)典信號(hào)處理體系，開(kāi)啟了面向?qū)ο蟮男盘?hào)處理的大門(mén)，促使將挖掘利用信號(hào)結(jié)構(gòu)化特性與智能測(cè)量有機(jī)結(jié)合，積極地推動(dòng)了信息論、電子、醫(yī)療、應(yīng)用數(shù)學(xué)、物理等學(xué)科的發(fā)展［30-39］。

表1　經(jīng)典信號(hào)處理和結(jié)構(gòu)化信號(hào)處理兩種體系的差異Tab. 1 Comparisons between classical signal processing and structural signal processing

結(jié)構(gòu)化信號(hào)處理的研究在國(guó)外迅速開(kāi)展的同時(shí)，國(guó)內(nèi)在該領(lǐng)域的研究也開(kāi)始起步。2007年，中國(guó)科學(xué)院電子學(xué)研究電磁場(chǎng)理論與應(yīng)用研究室的李芳課題組在國(guó)內(nèi)率先開(kāi)展了稀疏信號(hào)處理方面的研究，向寅的博士論文首次將稀疏信號(hào)處理引入聚束合成孔徑雷達(dá)成像領(lǐng)域，將稀疏信號(hào)處理引入電磁逆散射問(wèn)題，發(fā)展了若干分辨率增強(qiáng)的新型電磁逆散射算法［40］。張文吉的博士論文將稀疏信號(hào)處理引入穿墻雷達(dá)成像，研究了稀疏信號(hào)處理在降低穿墻雷達(dá)數(shù)據(jù)量和提高成像質(zhì)量方面的作用［41］。劉艷麗的博士論文將稀疏成像引入電離層層析成像，降低了電離層層析成像的病態(tài)性，提高了成像效果［42］。2009年，由中科院電子所牽頭的稀疏微波成像項(xiàng)目列入了我國(guó)973計(jì)劃資助［4］，隨后國(guó)家自然科學(xué)基金委也陸續(xù)資助了其它多項(xiàng)關(guān)于稀疏信號(hào)處理研究的重大和重點(diǎn)項(xiàng)目。在這些項(xiàng)目資助下，中科院電子所、中科院數(shù)學(xué)與系統(tǒng)應(yīng)用研究所、西安電子科技大學(xué)、北京理工大學(xué)、北京航空航天大學(xué)、西安交通大學(xué)、國(guó)防科技大學(xué)、清華大學(xué)等單位在結(jié)構(gòu)化信號(hào)處理領(lǐng)域（主要是應(yīng)用領(lǐng)域）開(kāi)展了廣泛的研究，例如，西安電子科技大學(xué)保錚課題組在稀疏雷達(dá)（ISAR，InSAR）成像方面的研究［43，44］、西安電子科技大學(xué)石光明課題組在圖像處理方面的研究［45］、西安交通大學(xué)徐宗本課題組在稀疏信號(hào)復(fù)原算法方面的研究［46］、國(guó)防科技大學(xué)金添課題組在稀疏穿墻雷達(dá)成像應(yīng)用方面的研究［47］等等，使我國(guó)在稀疏信號(hào)處理領(lǐng)域的研究得到了長(zhǎng)足發(fā)展。我國(guó)在稀疏信號(hào)處理領(lǐng)域發(fā)表論文數(shù)方面超歐美國(guó)家的論文數(shù)（是美國(guó)的2倍，德國(guó)的8倍左右），但從具有原創(chuàng)性和高影響力的論文方面來(lái)看，我國(guó)在結(jié)構(gòu)化信號(hào)處理方面的研究還具有較大差距（見(jiàn)圖2）。

目前雖然稀疏信號(hào)處理理論和方法都獲得了長(zhǎng)足發(fā)展，但是人們對(duì)信號(hào)結(jié)構(gòu)性的挖掘和利用仍不夠充分，尚在起步階段，亟待建立更有效的信號(hào)結(jié)構(gòu)性模型和測(cè)度，建立以此為基礎(chǔ)的有效信號(hào)獲取及高效復(fù)原算法體系，以及推動(dòng)這些研究成果在相關(guān)應(yīng)用領(lǐng)域的發(fā)展。

圖2　自2000年以來(lái)WEB-OF-SCIENCE統(tǒng)計(jì)的美國(guó)、中國(guó)及德國(guó)等的關(guān)于稀疏信號(hào)處理的論文發(fā)表（第1行）和論文引用（第2行）情況Fig. 2　The Web-of-Science statistical results on published paper （the first row）and citation （the second row）of structural signal processing since 2000 for USA （first column），China （second column），and Germany （third column）

2　結(jié)構(gòu)化信號(hào)感知問(wèn)題的數(shù)學(xué)描述

其中表示數(shù)據(jù)獲取噪聲和模型誤差等因素。利用Bayes公式得x的后驗(yàn)概率為：

其中為目標(biāo)信號(hào)x的似然估計(jì)（Maximum Likelihood），它解釋了數(shù)據(jù)y對(duì)x估計(jì)的貢獻(xiàn)；Pr（x）表示x的先驗(yàn)信息，它解釋了目標(biāo)信號(hào)x的先驗(yàn)對(duì)參數(shù)估計(jì)的作用。盡管式（2）清楚地詮釋了觀(guān)測(cè)數(shù)據(jù)（data）和目標(biāo)信號(hào)先驗(yàn)（prior）對(duì)重建x的作用，但在它提出后的100多年里先驗(yàn)項(xiàng)Pr（x）的作用并沒(méi)有被充分挖掘利用，它僅用來(lái)抑制噪聲和防止數(shù)據(jù)過(guò)擬合，或簡(jiǎn)單地約束估計(jì)參數(shù)的有效范圍。直到最近隨著結(jié)構(gòu)化信號(hào)處理和深度學(xué)習(xí)研究的興起，先驗(yàn)Pr（x）對(duì)觀(guān)測(cè)體制和數(shù)據(jù)參數(shù)估計(jì)精度的作用才得到足夠重視。目前已發(fā)展了一些信號(hào)結(jié)構(gòu)性Pr（x）的描述方法，大致包括4類(lèi)。

（1）獨(dú)立同分布的稀疏模型

這類(lèi)模型的發(fā)展歷史最為久遠(yuǎn)、研究最為深刻、內(nèi)容最為豐富。從范數(shù)測(cè)度的角度來(lái)講，-logPr（x）通常取為lp（0≤p≤1）范數(shù)或非負(fù)函數(shù)φ（xi）=|xi|p［48-57］。如果目標(biāo)信號(hào)x本身不是稀疏的，那么可以考慮該信號(hào)在某種變換域（例如小波變換、人工訓(xùn)練字典域［58］等）下是稀疏的。針對(duì)lp（0≤p≤1）范數(shù)誘導(dǎo)的稀疏性，目前發(fā)展了成熟的算法解決該類(lèi)結(jié)構(gòu)化信號(hào)的復(fù)原［48-57］，例如MP/ OMP/CoSaMP等貪婪算法、LASSO算法、基追蹤算法、迭代加權(quán)算法等。從統(tǒng)計(jì)角度來(lái)講，P（xi）不僅可以為Cauchy分布、Gaussian-Bernoulli分布、Laplace分布、加權(quán)Laplace分布、t-student等良好定義的概率分布；也可以是混合高斯分布（其中N（xi|0，s）表示零均值、s方差的高斯分布，r（s）表示某種預(yù)先定義的概率分布）、或由受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）學(xué)習(xí)的分布P（xi）= Pr（xi|h）（其中h表示｛0，1｝N二進(jìn)制隱藏向量）等。

（2）非交疊稀疏組

盡管上面的獨(dú)立同分布的稀疏性及l(fā)p（0≤p≤1）范數(shù)等稀疏測(cè)度能很好地描述信號(hào)的結(jié)構(gòu)性，并且在眾多應(yīng)用領(lǐng)域得到了廣泛的應(yīng)用，但是大多數(shù)實(shí)際問(wèn)題中信號(hào)具有除了信號(hào)元素稀疏性之外更豐富的結(jié)構(gòu)，這種結(jié)構(gòu)性信息的利用將有助于提升信號(hào)獲取和處理的性能。例如，很多微波遙感圖像具有分區(qū)連續(xù)特性（Region-based smooth或Block-based smooth）；大多數(shù)雷達(dá)監(jiān)測(cè)信號(hào)具有準(zhǔn)周期特性，其時(shí)頻譜具有良好的聚類(lèi)現(xiàn)象；小波系數(shù)的樹(shù)狀結(jié)構(gòu)等。針對(duì)此類(lèi)結(jié)構(gòu)性信號(hào)的研究也相對(duì)成熟，目前已發(fā)展了系統(tǒng)的理論、算法和應(yīng)用體系，例如，基于模式的壓縮感知理論（Model-CS理論）［59］，基于l1/lp（0≤p≤∞）混合范數(shù)的稀疏分組測(cè)度［60-72］，基于非局部梯度的Non-local TV信號(hào)模型和信號(hào)復(fù)原算法［73］，Group-LASSO算法和Group稀疏Bayesian信號(hào)復(fù)原算法［60-72］。

（3）相互交疊稀疏組

上述信號(hào)結(jié)構(gòu)化模型屬于淺層結(jié)構(gòu)，它僅考慮了統(tǒng)計(jì)獨(dú)立稀疏組的簡(jiǎn)單特性，沒(méi)有考慮稀疏分組之間的依賴(lài)關(guān)系（如圖3-圖5從不同角度演示了不同的信號(hào)結(jié)構(gòu)性）?？紤]不同組之間的相關(guān)性屬于深度學(xué)習(xí)的內(nèi)容，目前發(fā)展了一些簡(jiǎn)單的方法，相關(guān)研究屬于起步階段。2009年Jacob等人［64］和2012年Obozinski和Bach等人［74］提出了含隱藏變量的互相

圖3　范數(shù)誘導(dǎo)的稀疏表征方法的3維示意圖。||x1，2||2+|x3|球表示無(wú)交疊的混合范數(shù)，第2排的3個(gè)圖表示有交疊的混合范數(shù)球Fig. 3　Illustration of norm-inducing sparse measures in threedimensional case

圖4　信號(hào)的多層結(jié)構(gòu)性描述。第1行表示向量是稀疏的，第2行用黑色方框標(biāo)出了該向量是具有分組稀疏性，第3行用紅色方框進(jìn)一步表示該向量具有“天藍(lán)色-淺藍(lán)色-深紅色”特定模式的深層結(jié)構(gòu)性Fig. 4　Hierarchal structural illustration. The first row corresponds to the i.i.d. sparse vector，and the second row for grouped sparse vector in red rectangle，and the third line for group mode with some certain structure

圖5　結(jié)構(gòu)化信號(hào)復(fù)原算法的研究體系，它主要包括針對(duì)具體應(yīng)用建立合適的優(yōu)化目標(biāo)函數(shù)模型，充分利用數(shù)據(jù)和先驗(yàn)兩種信息源。根據(jù)實(shí)際應(yīng)用對(duì)精度和效率的需求，調(diào)整價(jià)格函數(shù)的數(shù)學(xué)形態(tài)（包括可分解性、光滑性、凸性等）等4個(gè)方面Fig. 5　The basic requirements on the efficient reconstruction algorithm of very-large-scale structural signals

交疊組的稀疏測(cè)度：

并且發(fā)展了有效的結(jié)構(gòu)化信號(hào)重建理論和onepass算法；隨后，2015年Shervashidze和Bach提出采用多任務(wù)學(xué)習(xí)（Multi-task learning）方法估計(jì)）的方法。除了采用范數(shù)或與其關(guān)聯(lián)的概率分布作為信號(hào)結(jié)構(gòu)性的測(cè)度外，也有其它描述方法。2012年P(guān)eleg等人采用限制玻爾茲曼學(xué)習(xí)機(jī)（Restricted Boltzmann Machine）描述具有一般信號(hào)的結(jié)構(gòu)性［75］，Dremeau等人利用統(tǒng)計(jì)物理的平均場(chǎng)理論和變分Bayesian方法提出了一種更有效的結(jié)構(gòu)化信號(hào)重建方法［76］等。

（4）基于機(jī)器學(xué)習(xí)的信號(hào)結(jié)構(gòu)建模

值得說(shuō)明的是上述前3類(lèi)信號(hào)結(jié)構(gòu)性測(cè)度需已知信號(hào)的結(jié)構(gòu)性模型，例如，信號(hào)的稀疏變換域，或者稀疏組的結(jié)構(gòu)（Probabilistic or deterministic graphic model），因此如何構(gòu)造信號(hào)的結(jié)構(gòu)性模型成為一個(gè)公開(kāi)的挑戰(zhàn)性研究課題。目前常用的策略包括3類(lèi)：（1）使用多個(gè)經(jīng)典的變換域構(gòu)造超完備字典，（2）基于大量樣本采用確定性或者統(tǒng)計(jì)性訓(xùn)練的方法構(gòu)造元素獨(dú)立［58，59］或具有結(jié)構(gòu)［65，77，78］的超完備字典，（3）將區(qū)域分割或者聚類(lèi)等方法引入算法復(fù)原過(guò)程，該方法無(wú)需訓(xùn)練樣本，在信號(hào)重構(gòu)過(guò)程中自適應(yīng)引入信號(hào)結(jié)構(gòu)型的度量。

除了上述4類(lèi)模型外，我們要強(qiáng)調(diào)的是在許多實(shí)際應(yīng)用中還有一類(lèi)重要的問(wèn)題需引起研究者的關(guān)注。在這類(lèi)問(wèn)題中目標(biāo)信號(hào)本身不具備結(jié)構(gòu)性，但它在某種非線(xiàn)性變換的情況下卻具有良好的結(jié)構(gòu)性。例如，森林的微波遙感圖像類(lèi)似于零均值的隨機(jī)數(shù)，它本身沒(méi)有結(jié)構(gòu)性，但是通過(guò)方差或者其它度量變換下圖像會(huì)變成典型的分段連續(xù)，呈現(xiàn)良好的結(jié)構(gòu)性［1］。相信這類(lèi)問(wèn)題將會(huì)引起結(jié)構(gòu)化信號(hào)領(lǐng)域的研究者的高度關(guān)注。

下面重點(diǎn)介紹式（2）的最大后驗(yàn)估計(jì)或者是模式分析：

式（4a）的等價(jià)表述方式為：

其中γ為正則化參數(shù)（用最優(yōu)化或統(tǒng)計(jì)分析的語(yǔ)言）。如果Pr（x）取元素獨(dú)立同分布的Laplace分布，那么此時(shí)優(yōu)化問(wèn)題式（4）變?yōu)榇蠹沂熘膌1范數(shù)正則化的稀疏優(yōu)化問(wèn)題。針對(duì)該問(wèn)題，壓縮感知理論上明確指出了先驗(yàn)和數(shù)據(jù)兩重信息的融合對(duì)測(cè)量體制的影響，并給出了信號(hào)稀疏度（先驗(yàn)）、觀(guān)測(cè)數(shù)據(jù)、以及測(cè)量方式之間的定量關(guān)系，這就是著名的約束等容（Restricted Isometric Property，RIP）定理（Candes-Romberg-Tao定理［16］）。下面給出作者2010年提出的廣義RIP定義［79，80］：

上述定理是Candes-Romberg-Tao定理的推廣，它適應(yīng)于任意稀疏字典和測(cè)量矩陣。在這里我們要強(qiáng)調(diào)的是，盡管RIP在壓縮感知和其它結(jié)構(gòu)化信號(hào)感知中扮演著重要的角色，但判定某種測(cè)量方式是否滿(mǎn)足RIP或其它類(lèi)似特性卻是一個(gè)公開(kāi)的難題。除特殊情況外（例如，過(guò)于保守的相關(guān)性分析Coherence-based analysis［1，2］，高斯隨機(jī)矩陣等特殊的測(cè)量方法等），目前可行的方式是采用蒙特卡洛方法計(jì)算Donoho-Tanner相轉(zhuǎn)換曲線(xiàn) （Phase-transition method［13，81］）。壓縮感知理論自誕生以來(lái)，經(jīng)過(guò)多年的發(fā)展其內(nèi)涵和外延均得到了極大的發(fā)展。例如，2006年Raraniuk等人提出了基于模式的壓縮感知方法yi=gi（＜ai，x＞）（i=1，2，…，M）的結(jié)構(gòu)化信號(hào)感知問(wèn)（Model-based CS）［59］，2010年Candes等人提出了低秩矩陣填充（Low-rank matrix completion）理論及算法［82］，2011年Duarte和Elad提出了結(jié)構(gòu)化壓縮感知理論和方法［3］等。近年來(lái)結(jié)構(gòu)化信號(hào)的非線(xiàn)性感知成為信號(hào)處理領(lǐng)域的一個(gè)重要研究分支，例如，壓縮相位復(fù)原（Compressive Phase Retrieval）問(wèn)題［83，84］、1-bit壓縮感知（one-bit compressive sensing，也稱(chēng)指數(shù)測(cè)量（Single-index measurement）［85，86］）問(wèn)題［85-90］等。尤其是對(duì)壓縮相位復(fù)原問(wèn)題的研究較為深入，建立了與經(jīng)典壓縮感知理論相對(duì)應(yīng)的系統(tǒng)理論和算法體系。2015年Thrampoulidis等人對(duì)非線(xiàn)性稀疏感知問(wèn)題作了一個(gè)突破性的工作，理論上證明了非線(xiàn)性測(cè)量）（i=1，2，M）的結(jié)構(gòu)化信號(hào)感知問(wèn)題與某個(gè)線(xiàn)性測(cè)量（其中μ和σ是與非線(xiàn)性函數(shù)gi有關(guān)的已知參數(shù)）的魯棒性廣義LASSO問(wèn)題minx］的解在統(tǒng)計(jì)平均意義上是等價(jià)的，該工作為研究結(jié)構(gòu)化信號(hào)的非線(xiàn)性感知開(kāi)辟了一條新思路［83］。最近，Brunton，Proctor以及Kutz等人采用通過(guò)結(jié)構(gòu)化信號(hào)處理復(fù)原數(shù)據(jù)的非線(xiàn)性物理方程［91］。

3　大尺度結(jié)構(gòu)化信號(hào)感知問(wèn)題的信號(hào)復(fù)原 算法

信號(hào)復(fù)原算法是稀疏信號(hào)處理體系的核心組成部分，它是直接影響稀疏信號(hào)處理體系能否實(shí)用的關(guān)鍵。稀疏信號(hào)復(fù)原算法的設(shè)計(jì)主要從以下4個(gè)方面入手考慮［92-96］：（1）針對(duì)具體應(yīng)用建立合適的優(yōu)化目標(biāo)函數(shù)模型，充分利用數(shù)據(jù)和先驗(yàn)兩種信息源；（2）根據(jù)實(shí)際應(yīng)用對(duì)精度和效率的需求，調(diào)整價(jià)格函數(shù)的數(shù)學(xué)形態(tài)（包括可分解性、光滑性、凸性等）；（3）結(jié)合價(jià)格函數(shù)具體的數(shù)學(xué)形態(tài)設(shè)計(jì)迭代策略，建立實(shí)現(xiàn)超線(xiàn)性收斂速度的算法；（4）針對(duì)具體應(yīng)用實(shí)現(xiàn)算法的并行化。對(duì)應(yīng)這4個(gè)組成部分，信號(hào)復(fù)原算法的評(píng)價(jià)體系包含4個(gè)方面：即目標(biāo)函數(shù)模型是否充分挖掘了數(shù)據(jù)和先驗(yàn)兩種信息源、目標(biāo)函數(shù)的數(shù)學(xué)形態(tài)是否具有低復(fù)雜性、優(yōu)化迭代策略是否超收斂以及算法是否可以并行化處理。

下面介紹兩種信號(hào)復(fù)原的算法模型：最大后驗(yàn)估計(jì)（Maximum A Posteriori）和最大均值對(duì)數(shù)后驗(yàn)估計(jì)（Maximum Mean log Posteriori），它們的定義分別如下：

將式（10）代入式（8）和式（9）得到：

其中Lt（yt，x）=（yt-At（x））2/2，M是觀(guān)測(cè)數(shù)據(jù)的總個(gè)數(shù)。

式（11）和式（12）的區(qū)別是前者不需要數(shù)據(jù)y的概率模型，而后者需要已知數(shù)據(jù)的概率模型，稱(chēng)之為統(tǒng)計(jì)優(yōu)化問(wèn)題（Stochastic Optimization）。特別地，如果數(shù)據(jù)y是統(tǒng)計(jì)均勻分布，那么式（11）和式（12）是等價(jià)的；從這個(gè)角度，式（11）是式（12）的一種特例。除非特殊情況（例如，A（x）=Ax且先驗(yàn)P（x）是高斯分布），式（11）和式（12）沒(méi)有解析解，需采用迭代算法求解。如上所述，目前發(fā)展了大量信號(hào)復(fù)原算法求解問(wèn)題式（11），例如匹配追蹤算法、概率匹配追蹤算法、壓縮采樣匹配追蹤算法（CoSaMP）、迭代硬門(mén)限算法、迭代軟門(mén)限算法、迭代加權(quán)算法、梯度投影算法、基追蹤算法、Nesterov算法（或NESTA算法）、Split-Bregman迭代算法、亞梯度迭代算法方法等。這些方法均具有堅(jiān)實(shí)優(yōu)化理論作基礎(chǔ)（例如，算法的收斂性、計(jì)算復(fù)雜性、精度等），但這些優(yōu)化算法的每一步迭代需要遍歷所有觀(guān)測(cè)數(shù)據(jù)，同時(shí)又需要處理信號(hào)的所有維度，這導(dǎo)致了處理海量數(shù)據(jù)大尺度優(yōu)化問(wèn)題的主要技術(shù)瓶頸。由于被觀(guān)測(cè)對(duì)象的結(jié)構(gòu)性和觀(guān)測(cè)數(shù)據(jù)的海量性和冗余性，大多數(shù)海量數(shù)據(jù)大尺度稀疏優(yōu)化問(wèn)題的數(shù)據(jù)在統(tǒng)計(jì)上是獨(dú)立同分布的，海量數(shù)據(jù)存在嚴(yán)重的冗余，少部分?jǐn)?shù)據(jù)甚至極少部分?jǐn)?shù)據(jù)就足以反映數(shù)據(jù)集的統(tǒng)計(jì)規(guī)律。利用這個(gè)特性，在線(xiàn)學(xué)習(xí)的優(yōu)化方法成為處理海量數(shù)據(jù)大尺度優(yōu)化問(wèn)題的一個(gè)重要工具，它的迭代策略是［97，98］：

其中μt表示更新步長(zhǎng)，）分別表示Lt（yt，x）和logP（x）對(duì)x的梯度。針對(duì)問(wèn)題式（11），迭代格式式（13）可用序列式或隨機(jī)方式選取觀(guān)測(cè)數(shù)據(jù)；針對(duì)問(wèn)題式（12），數(shù)據(jù)yt需利用P（y）的統(tǒng)計(jì)模型生成。由式（13）可知，在線(xiàn)學(xué)習(xí)優(yōu)化方法的核心思想是每步迭代處理一個(gè)或少數(shù)幾個(gè)數(shù)據(jù)點(diǎn)，與批處理的優(yōu)化算法相比大大縮減了內(nèi)存開(kāi)銷(xiāo)；但也正是每次僅僅優(yōu)化單個(gè)數(shù)據(jù)點(diǎn)造成的損失，收斂速度不可避免地會(huì)受到影響。然而如前所述，大尺度電磁成像（例如，多維度微波遙感）觀(guān)測(cè)數(shù)據(jù)統(tǒng)計(jì)上獨(dú)立同分布，并且這些海量數(shù)據(jù)呈現(xiàn)高度的冗余性，少部分?jǐn)?shù)據(jù)甚至極少部分?jǐn)?shù)據(jù)就足以反映整個(gè)數(shù)據(jù)集的統(tǒng)計(jì)規(guī)律。因此只要針對(duì)部分樣本點(diǎn)運(yùn)行隨機(jī)優(yōu)化步驟后，優(yōu)化問(wèn)題解的精度就呈現(xiàn)出穩(wěn)定的趨勢(shì)，這就是在線(xiàn)學(xué)習(xí)優(yōu)化方法特別適合求解大尺度結(jié)構(gòu)化信號(hào)感知問(wèn)題的主要原因。與在線(xiàn)學(xué)習(xí)方法相對(duì)偶，有效求解大尺度優(yōu)化問(wèn)題的另一類(lèi)隨機(jī)優(yōu)化方法是坐標(biāo)下降（Randomized Coordinate Descent，簡(jiǎn)稱(chēng)RCD（在不同的文獻(xiàn)中對(duì)其稱(chēng)呼不同，例如，信號(hào)處理領(lǐng)域稱(chēng)之為SPSA優(yōu)化方法，醫(yī)療成像領(lǐng)域稱(chēng)之為Order-Set優(yōu)化方法等；另外，該方法與變分Bayesian和Approximate Message Passing等方法有很大相似性，與交替迭代方法具有相同的思想））。RCD優(yōu)化方法的迭代步驟就是固定其他維坐標(biāo)，一次僅對(duì)選中的1維坐標(biāo)或少數(shù)幾個(gè)坐標(biāo)進(jìn)行優(yōu)化求解。RCD優(yōu)化方法具有重要的理論基礎(chǔ)，它更新一次的計(jì)算復(fù)雜度僅為O（M），具有低的計(jì)算復(fù)雜性。RCD優(yōu)化方法以簡(jiǎn)潔的操作流程和快速的實(shí)際收斂效果，成為處理海量數(shù)據(jù)大尺度稀疏優(yōu)化問(wèn)題的重要方法之一［99-100］。

為進(jìn)一步提高算法性能，使其有效處理海量數(shù)據(jù)的大尺度稀疏優(yōu)化問(wèn)題，目前已經(jīng)發(fā)展了一些非常有用的輔助技術(shù)。針對(duì)l1范數(shù)正則化的稀疏優(yōu)化問(wèn)題，可以采用價(jià)格函數(shù)的1階泰勒級(jí)數(shù)展開(kāi)結(jié)合軟門(mén)限方法進(jìn)行解析求解［50，93-95，98-106］，或采用Split技術(shù)結(jié)合軟門(mén)限方法處理（例，交替迭代乘子法，ADMM［107］）。改善優(yōu)化價(jià)格函數(shù)的強(qiáng)凸性也可有效加快算法的收斂速度，例如，增強(qiáng)拉格朗爾方法（Augmented Lagrangian Method），Bregman距離輔助方法。為增強(qiáng)價(jià)格函數(shù)的強(qiáng)凸性，在凸優(yōu)化框架下考慮式（11）和式（12）：

其中ψ是連續(xù)光滑的強(qiáng)凸函數(shù)。從優(yōu)化算法角度，信號(hào)復(fù)原算法的性能對(duì)迭代步長(zhǎng)的選擇特別敏感，主要表現(xiàn)在兩個(gè)方面：（1）引入一些常規(guī)性的迭代步長(zhǎng)選擇機(jī)制，使算法具有超線(xiàn)性的收斂速度［1］。常用的方法是線(xiàn)性搜索，但是對(duì)于一些復(fù)雜的應(yīng)用問(wèn)題，線(xiàn)性搜索缺乏步長(zhǎng)解析解，需依賴(lài)耗時(shí)的計(jì)算，需發(fā)展一些加速技術(shù)［50，93-95，98-106］；（2）Nesterov等加速技術(shù)能使目標(biāo)函數(shù)在迭代初期急劇下降，但在迭代后期會(huì)進(jìn)入震蕩或緩慢下降階段，為解決這個(gè)問(wèn)題需采用一些warm restart技術(shù)［107，108］。結(jié)構(gòu)化信號(hào)優(yōu)化問(wèn)題經(jīng)常是非凸的，為了解決非凸性?xún)?yōu)化問(wèn)題，Hazan等人提出了準(zhǔn)凸性概念和局部Lipschitz，并在此基礎(chǔ)上提出了歸一化統(tǒng)計(jì)梯度方法，有效解決了非凸優(yōu)化的偽解問(wèn)題［103］。

在線(xiàn)學(xué)習(xí)優(yōu)化和隨機(jī)坐標(biāo)優(yōu)化這兩種方法在求解高維大樣本問(wèn)題時(shí)簡(jiǎn)單、高效，各有特點(diǎn)和優(yōu)勢(shì)。在線(xiàn)學(xué)習(xí)優(yōu)化方法主要利用大規(guī)模數(shù)據(jù)獨(dú)立同分布的統(tǒng)計(jì)規(guī)律；而坐標(biāo)優(yōu)化主要利用目標(biāo)信號(hào)結(jié)構(gòu)化的特性，有復(fù)雜性較低的計(jì)算目標(biāo)函數(shù)及其梯度的技巧。在線(xiàn)優(yōu)化和坐標(biāo)優(yōu)化方法充分地利用了大尺度優(yōu)化問(wèn)題自身的特點(diǎn)，很好地滿(mǎn)足了大尺度結(jié)構(gòu)化信號(hào)感知問(wèn)題的實(shí)際需求。

［1］李廉林，李芳. 稀疏信號(hào)處理講義［M］. 北京大學(xué)內(nèi)部講義，2015.

Li Lian-lin and Li Fang. Lecture on Sparse Signal Processing （Preprint）［M］. Peking University，2015.

［2］Elad M. Sparse and redundant representation modeling-what next？［J］. IEEE Signal Processing Letters，2012，19（12）: 922-928.

［3］Duarte M F and Eldar Y C. Structured compressed sensing: from theory to applications［J］. IEEE Transactions on Signal Processing，2011，59（9）: 4053-4085.

［4］吳一戎. 稀疏微波成像理論、體制和方法研究，國(guó)家973項(xiàng)目申請(qǐng)書(shū)（項(xiàng)目首席科學(xué)家: 吳一戎，中國(guó)科學(xué)院電子學(xué)研究所），2010.

Wu Yi-rong. Sparse microwave imaging: theories，methods，and systems，The proposal submitted to the National Basic Research Program of China，Leading Scientist: Wu Yirong，Institute of Electronics，Chinese Academy of Sciences，2010.

［5］Candes E J and Tao T. Near-optimal signal recovery from random projections: universal encoding strategies？［J］. IEEE Transactions on Information Theory，2006，52（12）: 5406-5425.

［6］Donoho D L. Neighborly polytopes and sparse solutions of underdetermined linear equations［J］. Preprint，2005.

［7］Donoho D L. Compressed sensing［J］. IEEE Transactions on Information Theory，2006，52（4）: 1289-1306.

［8］Donoho D L. For most large underdetermined systems of linear equations the minimal l1-norm solution is also the sparsest solution［J］. Communications on Pure and Applied Mathematics，2006，59（7）: 797-829.

［9］Donoho D L and Elad M. Optimally sparse representation in general （nonorthogonal）dictionaries via l1minimization［J］. Proceedings of the National Academy of Sciences，2003，100（5）: 2197-2202.

［10］Donoho D L and Elad M. On the stability of the basis pursuit in the presence of noise［J］. Signal Processing，2006，86（3）: 511-532.

［11］Donoho D L，Elad M，and Temlyakov V N. Stable recovery of sparse overcomplete respresentations in the presence of noise［J］. IEEE Transactions on Information Theory，2006，52（1）: 6-18.

［12］Donoho D L and Jared T. Sparse nonnegative solution of underdetermined linear equations by linear programming［J］. Proceedings of the National Academy of Sciences，2005，102（27）: 9446-9451.

［13］Donoho D L and Tanner J. Precise undersampling theorems［J］. Proceedings of the IEEE，2010，98（6）: 913-924.

［14］Donoho D L and Tsaig Y. Fast solution of l1-norm minimization problems when the solution may be sparse［J］. IEEE Transactions on Information Theory，2008，54（11）: 4789-4812.

［15］Candes E J，Romberg J，and Tao T. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information［J］. IEEE Transactions on Information Theory，2006，52（2）: 489-509.

［16］Candès E J，Romberg J K，and Tao T. Stable signal recovery from incomplete and inaccurate measurements［J］. Communications on Pure and Applied Mathematics，2006，59（8）: 1207-1223.

［17］Candès E J and Tao T. Decoding by linear programming［J］. IEEE Transactions on Information Theory，2005，51（12）: 4203-4215.

［18］Prony R. Essai experimental et analytique sur les lois de la Dilatabilit_e des uideselastiques et sur celles de la Force expansive de la vapeur de l'eau et de la vapeur de l'alkool，a dierentes temperatures. J. de l' Ecole Polytechnique，F(xiàn)loreal et Prairial III，1795，1（2）: 24-76.

［19］Tarantola A. Inverse Problem Theory and Method for Model Parameter Estimation［M］. SIAM Press.

［20］Jaynes E. Probability Theory: The Logic of Science［M］. Cambridge University Press，2003.

［21］Carathéodory C. über den Variabilit?tsbereich der Koeffizienten von Potenzreihen，die gegebene Werte nicht annehmen［J］. Mathematische Annalen，1907，64（1）: 95-115.

［22］Carathéodory C. über den variabilit?tsbereich der fourier'schen konstanten von positiven harmonischen funktionen［J］. Rendiconti Del Circolo Matematico Di Palermo，1911，32（1）: 193-217.

［23］Beurling A. Sur les integrales de Fourier absolument convergentes et leur application a une transformation fonctionelle［C］. In Proc. Scandinavian Math. Congress，Helsinki，F(xiàn)inland，1938.

［24］Claerbout J F and Muir F. Robust modeling of erratic data［J］. Geophysics，1973，38（5）: 826-844.

［25］Taylor H，Banks S，and McCoy J. Deconvolution with the l1norm［J］. Geophysics，1979，44（1）: 39-52.

［26］Santosa F and Symes W W. Linear inversion of band-limited reflection seismograms［J］. SIAM Journal on Scientific and Statistical Computing，1986，7（4）: 1307-1330.

［27］Santosa F and Symes W. Inversion of impedance profile from band-limited data［C］. International Geoscience and Remote Sensing Symposium，1983.

［28］Tibshirani R. Regression shrinkage and selection via the Lasso［J］. Journal of the Royal Statistical Society, Series B，1996，58（1）: 267-288.

［29］Chen S，Donoho D，and Saunders M. Atomic decomposition by basis pursuit［J］. SIAM Journal on Scientific Computing，1998，20（1）: 33-61.

［30］Samadi S，Cetin M，and Masnadi-Shirazi M. Sparse representation-based synthetic aperture radar imaging［J］. IET Radar，Sonar & Navigation，2011，5（2）: 182-193.

［31］Soldovieri F，Solimene R，and Ahmad F. Sparse tomographic inverse scattering approach for through-thewall radar imaging［J］. IEEE Transactions on Instrumentation & Measurement，2012，61（12）: 3340-3350.

［32］Oliveri G，Rocca P，and Massa A. A bayesian-compressivesampling-based inversion for imaging sparse scatterers［J］. IEEE Transactions on Geoscience & Remote Sensing，2011，49（10）: 3993-4006.

［33］Desmal A and Bagci H. Shrinkage-thresholding enhanced Born iterative method for solving 2D inverse electromagnetic scattering problem［J］. IEEE Transactions on Antennas & Propagation，2014，62（7）: 3878-3884.

［34］Solimene R，Ahmad F，and Soldovieri F. A novel CSTSVD strategy to perform data reduction in linear inverse scattering problems［J］. IEEE Geoscience & Remote Sensing Letters，2012，9（5）: 881-885.

［35］Winters D W，Van Veen B D，and Hagness S C. A sparsity regularization approach to the electromagnetic inverse scattering problem.［J］. IEEE Transactions on Antennas & Propagation，2010，58（1）: 145-154.

［36］Huang Q，Qu L，Wu B，et al.. UWB through-wall imaging based on compressive sensing［J］. IEEE Transactions on Geoscience & Remote Sensing，2010，48（3）: 1408-1415.

［37］Yoon Y S and Amin M G. Through-the-wall radar imaging using compressive sensing along temporal frequency domain［C］. 2010 IEEE International Conference on Acoustics，Speech，and Signal Processing，2010: 2806-2809.

［38］Leigsnering M，Ahmad F，Amin M G，et al.. Compressive sensing based specular multipath exploitation for throughthe-wall radar imaging［C］. 2013 IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP），2013: 6004-6008.

［39］Zhu X X and Bamler R. Super resolving SAR tomography for multidimensional imaging of urban areas: compressive sensing-based TomoSAR inversion［J］. IEEE Signal Processing Magazine，2014，31（4）: 51-58.

［40］向寅. 壓縮采樣、稀疏約束成像及等效輻射源無(wú)相位逆散射［D］. ［博士論文］，中國(guó)科學(xué)院研究生院，2010.

Xiang Yin. Study of compressed sampling，sparse imaging its applications in phaseless inverse scattering［D］. ［Ph.D. dissertation］，University of Chinese Academy of Sciences，2010.

［41］張文吉. 電磁逆散射成像方法及壓縮感知理論在成像中的應(yīng)用［D］. ［博士論文］，中國(guó)科學(xué)院研究生院，2009.

Wenji Zhang，Study of fast methods of electromagnetic inverse scattering and compressive electromagnetic imaging［D］. ［Ph.D. dissertation］，University of Chinese Academy of Sciences，2009.

［42］劉艷麗. 基于拋物線(xiàn)方程的電波傳播問(wèn)題及電離層成像研究［D］. ［博士論文］，中國(guó)科學(xué)院研究生院，2009.

Yanli Liu，Study of parabolic equations based radio wave propagation and its applications in ionosphere tomography［D］. ［Ph.D. dissertation］，University of Chinese Academy of Sciences，2009.

［43］Xu G，Xing M D，Xia X G，et al.. Sparse regularization of interferometric phase and amplitude for InSAR image formation based on bayesian representation［J］. IEEE Transactions on Geoscience & Remote Sensing，2015，53（4）: 2123-2136.

［44］Zhang L，Qiao Z J，Xing M，et al.. High-resolution ISAR imaging with sparse stepped-frequency waveforms［J］. IEEE Transactions on Geoscience & Remote Sensing，2011，49（11）: 4630-4651.

［45］石光明，劉丹華，高大化，等. 壓縮感知理論及其研究進(jìn)展［J］.電子學(xué)報(bào)，2009，37（5）: 1070-1078.

Guangming Shi，Danhua Liu，Dahua Gao，et al.. Theory of compressive sensing and its recent progress，Recent progress on theory and compressive sensing［J］. Chinese Journal of Electronics，2009，37（5）: 1070-1078.

［46］Xu Z，Chang X，Xu F，et al.. L1/2regularization: a thresholding representation theory and a fast solver［J］. IEEE Transactions on Neural Networks & Learning Systems，2012，23（7）: 1013-1027.

［47］黃曉濤，楊俊剛，金添. 壓縮感知雷達(dá)成像［M］. 北京: 科學(xué)出版社，2014.

Huang Xiao-tao，Yang Jun-gang，and Jin Tian. Compressed Radar Imaging［M］. Beijing: Science Press，2014.

［48］Mallat S and Zhang Z. Matching pursuit in a timefrequency dictionary［J］. IEEE Transactions on Signal Processing, 1993，41（12）: 3397-3415.

［49］Needell D and Tropp J A. CoSaMP: iterative signal recovery from incomplete and inaccurate samples［J］. Applied & Computational Harmonic Analysis，2008，26（12）: 93-100.

［50］Nesterov Y. Introductory Lectures on Convex Optimization: A Basic Course［M］. Kluwer Academic Publishers，2004.

［51］Wainwright M J. Structured regularizers for highdimensional problems: statistical and computational issues［J］. Social Science Electronic Publishing，2014，1（1）: 233-253.

［52］Donoho D and Tsaig Y. Fast solution of l1 norm minimization problems when thesolution may be sparse［J］.IEEE Transactions on Information Theory，2008，54（11）: 4789-4812.

［53］Chen S S，Donoho D L，and Saunders M A. Atomic decomposition by basis pursuit［J］. SIAM Review，2001，43（1）: 129-159.

［54］Koh K，Kim S J，and Boyd S. An interior-point method for large-scale l1-regularized logistic regression［J］. Journal of Machine Learning Research，2007，8（3）: 1519-1555.

［55］Shevade S K and Keerthi S S. A simple and efficient algorithm for gene selection using sparse logistic regression［J］. Bioinformatics，2003，19（17）: 2246-2253.

［56］Hui Z and Trevor H. Regularization and variable selection via the elastic net［J］. Journal of the Royal Statistical Society，2005，67（2）: 301-320.

［57］Candès E J，Wakin M B，and Boyd S P. Enhancing sparsity by reweighted l1minimization［J］. Journal of Fourier Analysis & Applications，2008，14: 877-905.

［58］Tosic I and Froccard P. Dictionary learning［J］. IEEE Signal Processing Magazine，2011: 27-38.

［59］Aharon M，Elad M，and Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation［J］. IEEE Transactions on Signal Processing，2006，54（11）: 4311-4322.

［60］Van den Berg E，Schmidt M，F(xiàn)riedlander M P，et al.. Group sparsity via linear-time projections［R］. Technical Report，University of British Columbia，2008，Technical Report Number TR-2008，2008.

［61］Friedman J，Hastie T，and Tibshirani R. A note on the group lasso and a sparse group lasso［J］. Preprint arXiv:1001:0736v1，2010.

［62］Huang J and Zhang T. The benefit of group sparsity［J］. Annals of Statistics，2009，38（4）: 1978-2004.

［63］Huang J，Zhang T，and Metaxas D. Learning with structured sparsity［J］. Journal of Machine Learning Research，2011，12（7）: 3371-3412.

［64］Jacob L and Obozinski G. Group lasso with overlaps and graph lasso［C］. Proceedings of the 26th International Conference on Machine Learning，2009.

［65］Jenatton R，Audibert J Y，and Bach F. Structured variable selection with sparsity-inducing norms［J］. Journal of Machine Learning Research，2011，12（10）: 2777-2824.

［66］Baraniuk R G，Cevher V，Duarte M F，et al.. Model-based compressive sensing［J］. IEEE Transactions on Information Theory，2010，56（4）: 1982-2001.

［67］He L and Carin L. Exploiting structure in wavelet-based bayesian compressive sensing［J］. IEEE Transactions on Signal Processing，2009，57（9）: 3488-3497.

［68］He L，Chen H，and Carin L. Tree-structured compressive sensing with variational bayesian analysis［J］. IEEE Signal Processing Letters，2010，17（3）: 233-236.

［69］Eldar Y C，Kuppinger P，and B?lcskei H. Block-sparse signals: uncertainty relations and efficient recovery［J］. IEEE Transactions on Signal Processing，2010，58（6）: 3042-3054.

［70］Yuan M and Lin Y. Model selection and estimation in regression with grouped variables［J］. Journal of the Royal Statistical Society，2006，68（1）: 49-67.

［71］Robert T，Michael S，Saharon R，et al.. Sparsity and smoothness via the fused lasso［J］. Journal of the Royal Statistical Society，2005，67（1）: 91-108.

［72］Amit Y，F(xiàn)ink M，Srebro N，et al.. Uncovering shared structures in multiclass classification［C］. Twenty-fourth International Conference on Machine Learning，2007: 17-24.

［73］Gilboa G and Osher S. Nonlocal operators with applications to image processing［J］. SIAM Journal on Multiscale Modeling & Simulation，2008，7（3）: 1005-1028.

［74］Bach F and Obozinski G. Structured sparsity through convex optimization［J］. Statistical Science，2011，27（4）: 450-468.

［75］Peleg T，Eldar Y C，and Elad M. Exploiting statistical dependencies in sparse representations for signal recovery［J］. IEEE Transactions on Signal Processing，2012，60（5）: 2286-2303.

［76］Dremeau A，Herzet C，and Daudet L. Boltzmann machine and mean-field approximation for structured sparse decompositions［J］. IEEE Transactions on Signal Processing，2012，60（7）: 3425-3438.

［77］Marlin B M and Murphy K P. Sparse Gaussian graphical models with unknown block structure［C］. ICML'09 Proceedings of the 26th International Conference on Machine Learning，2009: 705-712.

［78］Marlin B M，Schmidt M，and Murphy K P. Group sparse priors for covariance estimation［C］. Appears in Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence，2012: 383-392.

［79］Li L. Note on RIP-based co-sparse analysis［OL］. http://arxiv.org/abs/1202.2037.

［80］Pournaghi R and Wu X. Coded acquisition of high frame rate video［J］. IEEE Transactions on Image Processing，2013，23（12）: 5670-5682.

［81］Donoho D and Tanner J. Observed universality of phase transitions in high-dimensional geometry，with implications for modern data analysis and signal processing［J］. Philosophical Transactions A：Mathematical, Physical and Engineering Sciences，2009，367（1906）: 4273-4293.

［82］Candès E J and Recht B. Exact matrix completion via convex optimization［J］. Foundations of Computational Mathematics，2008，9（6）: 717-772.

［83］Thrampoulidis C，Abbasi E，and Hassibi B. The LASSO with non-linear measurements is equivalent to one with linear measurements［OL］. http://arxiv.org/abs/1506.02181.

［84］Candes E J and Plan Y. Matrix completion with noise［J］. Proceedings of the IEEE，2009，98（6）: 925-936.

［85］Hardle W，Hall P，and Ichimura H. Optimal smoothing in single-index models［J］. The Annals of Statistics，1993，21（1）: 157-178.

［86］Hristache M and Spokoiny V. Direct estimation of theindex coefficient in a single-index model［J］. The Annals of Statistics，2001，29（3）: 595-623.

［87］Gopi S，Netrapalli P，Jain P，et al.. One-bit compressed sensing: provable support and vector recovery［C］. In International Conference on Machine Learning，2013.

［88］Jacques L，Laska J，Boufounos P，et al.. Robust 1-bit compressive sensing via binary stable embeddings of sparse vectors［J］. arXiv:1104.3160，2011.

［89］Plan Y and Vershynin R. One-bit compressed sensing by linear programming［J］. Communications on Pure & Applied Mathematics，2013，66（8）: 1275-1297.

［90］Plan Y and Vershynin R. Robust 1-bit compressed sensing and sparse logistic regression: a convex programming approach［J］. IEEE Transactions on Information Theory，2013，59（1）: 482-494.

［91］Bahmani S and Romberg J. Efficient compressive phase retrieval with constrained sensing vectors. arXiv: 1507. 08254v1，2015.

［92］Cevher V，Becker S，and Schmidt M. Convex optimization for big data: Scalable，randomized，and Parallel algorithms for big data analytics［J］. IEEE Signal Processing Magazine，2014，31（5）: 32-43.

［93］Slavakis K，Giannakis G B，and Mateos G. Modeling and Optimization for Big Data Analytics: （Statistical）learning tools for our era of data deluge［J］. IEEE Signal Processing Magazine，2014，31（5）: 18-31.

［94］Yuan G X，Chang K W，Hsieh C J，et al.. A comparison of optimization methods and software for large-scale L1-regularized linear classification［J］. Journal of Machine Learning Research，2010，11（2）: 3183-3234.

［95］Fercoq O，Qu Z，Richtarik P，et al.. Fast distributed coordinate descent for non-strongly convex losses［OL］. http://arxiv.org/abs/1405.5300.

［96］Bertsekas D P and Tsitsiklis J N. Parallel and Distributed Computation: Numerical Methods［M］. Prentice Hall，1989.

［97］Nemirovski A，Juditsky A，Lan G，et al.. Robust stochastic approximation approach to stochastic programming［J］. SIAM Journal on Optimization，2009，19（4）: 1574-1609.

［98］Kushner H and Yin G. Stochastic Approximation Algorithms and Applications［M］. New York: Springer，1997.

［99］Nesterov Y. Efficiency of coordinate descent methods on huge-scale optimization problems［J］. SIAM Journal on Optimization, 2012，22（2）: 341-362.

［100］Richtárik P and Taká M. Iteration complexity of randomized block-coordinate descent methods for minimizing a composite function［J］. Mathematical Programming，2014，144（1）: 1-38.

［101］Nesterov Y. Gradient methods for minimizing composite objective function［OL］. http://eonpapers.repec.org/paper/ corlouvco/2007076.htm.

［102］Fercoq O and Richtarik P. Accelerated，parallel and proximal coordinate descent［OL］. http://arXiv:1312.5799.

［103］Hazan E，Levy K，and Shalev-Shwartz S. Beyond convexity: stochastic quasi convex optimization［OL］. http://arxiv.org/abs/1507.02030.

［104］Qu Z，Richtarik P，and Zhang T. Randomized dual coordinate ascent with arbitrary sampling［OL］. http://arxiv.org/abs/1411.5873.

［105］Hardt M，Recht B，and Singer Y. Train faster，generalize better: stability of stochastic gradient descent［OL］. http://arxiv.org/abs/1509.01240.

［106］Johnson R and Zhang T. Accelerating stochastic gradient descent using predictive variance reduction［C］. Advances in Neural Information Processing Systems，2013，26: 315-323.

［107］Boyd S，Parikh N，Chu E，et al.. Distributed optimization and statistical learning via the alternating direction method of multipliers［J］. Foundations and Trends in Machine Learning，2011，3（1）: 1-122.

［108］Su W，Boyd S，and Candes E J. A differential equation for modeling nesterov's accelerated gradient method: theory and insights［OL］. http://arxiv.org/abs/1503.01243.

李廉林（1980-），男，山西平遙人，2006年獲得中科院電子所博士學(xué)位，現(xiàn)任北京大學(xué)信息科學(xué)技術(shù)學(xué)院特聘研究員，博士生導(dǎo)師，研究方向?yàn)槌直骐姶懦上?、電磁大?shù)據(jù)處理以及超寬帶雷達(dá)系統(tǒng)。E-mail: lianlin.li@pku.edu.cn

周小陽(yáng)（1979-），男，博士，東南大學(xué)毫米波國(guó)家重點(diǎn)實(shí)驗(yàn)室副教授，研究方向?yàn)橛?jì)算電磁學(xué)高頻近似方法與雷達(dá)信號(hào)處理。

E-mail: xyzhou@seu.edu.cn

崔鐵軍（1965-），男，東南大學(xué)毫米波國(guó)家重點(diǎn)實(shí)驗(yàn)室教授、博士生導(dǎo)師，目前主要研究方向?yàn)橛?jì)算電磁學(xué)及其快速算法、新型人工電磁材料的理論、實(shí)驗(yàn)及應(yīng)用研究、目標(biāo)特性與目標(biāo)識(shí)別、大型軍用目標(biāo)的精確電磁仿真等。

E-mail: tjcui@seu.edu.cn

Perspectives on Theories and Methods of Structural Signal Processing

Li Lian-lin①Zhou Xiao-yang②Cui Tie-jun②

①（School of Electronics Engineering and Computer Science，Peking University，Beijng 100871，China）
②（State Key Laboratory of Millimeter Waves，Southeast University，Nanjing 210096，China）

Over the past decade structural signal processing is an emerging field，which gained researchers' intensive attentions in various areas including the applied mathematics，physics，information theory，signal processing，and so on. The structural signal processing is a paradigm of making the revolutionary refresh on theories and methods in the nutshell of traditional signal processing based on the well-known Nyquist-Shannon theory，which will render us a new perspective on the adaptive data acquisition in the task-driven manner. Basically，the structural signal processing includes four research contents （MAMA）: （a）Measures for the structural signal，（b）Algorithms for reconstructing the structural signal at the low-complexity computational cost，（c）Methods for smart data acquisition at the low hardware cost and system complexity，and （d）Applications of structural signal processing in applied fields. This paper reviews on the recent progress on the theory and algorithms for structural signal processing，which will provides hopefully useful guide for readers of interest.

Structural signal processing； Sparse signal processing； Task-driven signal processing； Nyquist-Shannon theory

The National Natural Science Foundation of China （61471006）

TN911.7

A

2095-283X（2015）-05-0491-12 DOI：10.12000/JR15111

李廉林，周小陽(yáng)，崔鐵軍. 結(jié)構(gòu)化信號(hào)處理理論和方法的研究進(jìn)展［J］. 雷達(dá)學(xué)報(bào)，2015，4（5）: 491-502.

10.12000/JR15111.

Reference format：Li Lian-lin，Zhou Xiao-yang，and Cui Tie-jun. Perspectives on theories and methods of structural signal processing［J］. Journal of Radars，2015，4（5）: 491-502. DOI: 10.12000/JR15111.

2015-10-08；改回日期：2015-11-08

李廉林lianlin.li@pku.edu.cn

國(guó)家自然科學(xué)基金（61471006）