基于t-SNE算法的ABPSK信號(hào)個(gè)體識(shí)別

姚舜禹，王雪，鄒德財(cái)，李優(yōu)陽(yáng)

（1.中國(guó)科學(xué)院 國(guó)家授時(shí)中心，西安710600；2.中國(guó)科學(xué)院大學(xué)，北京100049；3.中國(guó)科學(xué)院 精密導(dǎo)航定位與定時(shí)技術(shù)重點(diǎn)實(shí)驗(yàn)室，西安710600）

0 引言

信號(hào)個(gè)體識(shí)別是指從采集到將信號(hào)源識(shí)別出來(lái)的過程，識(shí)別出信號(hào)源個(gè)體在電子對(duì)抗中有著重要的意義，掌握對(duì)方雷達(dá)的工作參數(shù)等于掌握了對(duì)抗的主動(dòng)權(quán)。由于同一通信體系下的ABPSK（aeronautical binary phase shift keying）信號(hào)都有著相同的前導(dǎo)碼，屬于在相同工作模式下通信輻射源個(gè)體識(shí)別的問題，在去除掉能量特性之后就只能依靠前導(dǎo)碼之間細(xì)微特征差異來(lái)區(qū)分信號(hào)源，一般引起差別的原因有信號(hào)源內(nèi)部元器件不穩(wěn)定性，性能參數(shù)具有的非線性。針對(duì)常見的細(xì)微特征提取方式有J.Morlet[1]在1974年提出的小波變換，黃鍔[2]在1998年提出的EMD（empirical mode decomposition）分解等。經(jīng)過多年的發(fā)展，這些提取特征方法衍生出許多變種，這些特征又可以稱為指紋特征[3]。然而此類特征在實(shí)際應(yīng)用中一般無(wú)法達(dá)到理論性能：①實(shí)際應(yīng)用中許多信號(hào)源的機(jī)器型號(hào)和工作模式完全一樣，通過調(diào)制參數(shù)的差異無(wú)法識(shí)別出信號(hào)源個(gè)體；②樣本數(shù)量少，通常無(wú)法充分地識(shí)別出信號(hào)源的指紋特征；③部分特征對(duì)噪聲和干擾比較敏感，影響識(shí)別個(gè)體的能力；④高階譜特征一般處于高維特征空間，周圍環(huán)境的干擾具有魯棒性，但是由于處在高維空間，容易引起維度災(zāi)難[4]，導(dǎo)致分類識(shí)別性能下降；⑤一般的線性降維方式如PCA（principal component analysis）等一般無(wú)法找出樣本之間的非線性拓?fù)浣Y(jié)構(gòu)，從而無(wú)法很好地尋找到信號(hào)源發(fā)射的信號(hào)樣本之間的關(guān)系；⑥一般的識(shí)別都會(huì)加入其他特征進(jìn)行特征融合，這些特征對(duì)分類的正確率貢獻(xiàn)極大，而單一特征分類的正確率一般比較低。

鑒于以上一些原因，本文使用雙譜變換來(lái)提取出信號(hào)的細(xì)微特征。使用t分布隨機(jī)近鄰嵌入算法（tdistributed stochastic neighbor embedding，t-S NE）算法對(duì)信號(hào)特征進(jìn)行降維，降低雙譜變換結(jié)果的維度，緩解因特征維度過高帶來(lái)的維度災(zāi)難問題。由于t-SNE一般采用SGD（stochastic gradient descent）作為優(yōu)化器，收斂速度慢于Adam（adaptive moment estimation），收斂函數(shù)值一般也大于Adam，故而引入Adam作為t-SNE算法的優(yōu)化器。在SVM（support vector machine）使用VC維（Vapnik-Chervonenkis dimension）較高的核函數(shù)進(jìn)行分類時(shí)，使用t-SNE實(shí)現(xiàn)降維后的特征分類有比較好的效果。

1 信號(hào)特征說(shuō)明及雙譜變換介紹

本節(jié)介紹ABPSK信號(hào)和雙譜變換。

1.1 ABPSK信號(hào)體制介紹

ABPSK信號(hào)常應(yīng)用于INMARSAT移動(dòng)通信中，ABPSK是DBPSK（differentially conherent BPSK，二相差分鍵控）的一種特殊形式，是對(duì)普通的BPSK改進(jìn)的一種調(diào)制方式，借鑒了QPSK（quadrature phase shift keying）的原理，利用特殊的二進(jìn)制差分編碼和正交調(diào)制技術(shù)，將DBPSK中180°相位變化轉(zhuǎn)化為90°相位變化的ABPSK[5]。對(duì)于[-1，1，-1，1，-1，1，1，-1，-1，-1]的碼片序列的輸出波形如圖1所示。

前導(dǎo)碼一般可以分為同步碼和檢測(cè)碼兩個(gè)部分[6]，本文使用的信號(hào)采樣率為6 kHz的實(shí)際采集某個(gè)系統(tǒng)的ABPSK信號(hào)，信號(hào)格式為40 ms空白保護(hù)+150 bit（250 ms）CW+74 bit 0101（123.3 ms）+32 bit UW獨(dú)特碼+信息碼的格式，經(jīng)過對(duì)齊取I、Q兩路的前2 460個(gè)點(diǎn)作為I、Q兩路的前導(dǎo)碼特征。

本文中所有信號(hào)的前導(dǎo)碼部分都是相同的，對(duì)齊之后的前導(dǎo)碼使用常規(guī)的方法（如小波變換、希爾伯特黃變換及分形維數(shù)等）都不能很好地識(shí)別出信號(hào)個(gè)體，這就要求找尋一種能夠揭示發(fā)射機(jī)非高斯、非線性的有色噪聲的方式。

圖1 ABPSK信號(hào)已調(diào)波形圖

1.2 雙譜變換

發(fā)射機(jī)噪聲是雷達(dá)無(wú)意調(diào)制的產(chǎn)物（包括互調(diào)頻率、諧波頻率及一些交叉調(diào)制、寄生調(diào)制等），由于不同發(fā)射裝置采用的電路和器件不同造成的發(fā)射機(jī)噪聲不同，這些不規(guī)則的非線性、非高斯的有色噪聲便是信號(hào)源的細(xì)微特征[7]，一般的一階和二階特征無(wú)法揭露這些有色噪聲，通常采用高階累積量的方式來(lái)識(shí)別這些有色噪聲。雙譜變換則是最常用的信號(hào)細(xì)微特征提取算法。

對(duì)于均值為零的連續(xù)信號(hào)x(t)，三階相關(guān)函數(shù)C3x(τ1，τ2)定義如下：

式（1）中，τ1和τ2為自相關(guān)操作滑動(dòng)窗口的時(shí)間間隔。

連續(xù)信號(hào)x(t) 的雙譜表示為

對(duì)于一個(gè)離散時(shí)間能量有限的確定信號(hào)，將雙譜定義為

式（3）中，X(f)為信號(hào)序列x(t)的離散傅里葉變換，B(f1，f2)為雙譜變換的結(jié)果。

1.3 核函數(shù)

根據(jù)統(tǒng)計(jì)機(jī)器學(xué)習(xí)的觀點(diǎn)，存在一個(gè)非線性變換，使得在低維空間中不可分的樣本可以通過某種非線性變換映射到另一個(gè)空間，樣本在這個(gè)空間中是線性可分的[8]。

假設(shè)在原空間中有一組樣本x1，x2，…，xn，xi，通過一個(gè)非線性映射投影到一個(gè)新的空間形成的點(diǎn)φ（xi），這個(gè)空間是一個(gè)希爾伯特空間，兩個(gè)樣本在這個(gè)空間的內(nèi)積形成的函數(shù)稱為核函數(shù)[9]，生成的空間稱為再生核希爾伯特空間，表示為

根據(jù)Mercer定理，任何半正定的函數(shù)都可以作為核函數(shù)[10]，常用的核函數(shù)有：

①線性核。線性核是最簡(jiǎn)單的核函數(shù)，核函數(shù)的數(shù)學(xué)公式如下：

②多項(xiàng)式核。多項(xiàng)式核是一種非標(biāo)準(zhǔn)核函數(shù)，它非常適合于正交歸一化后的數(shù)據(jù)，其具體形式如下：

③RBF核函數(shù)。RBF核函數(shù)的性能對(duì)參數(shù)十分敏感，以至于有一大把的文獻(xiàn)專門對(duì)這種核函數(shù)展開研究，其數(shù)學(xué)形式如下：

核函數(shù)有以下特點(diǎn)：①核函數(shù)的引入緩解了維度災(zāi)難，大大減小了計(jì)算量，可處理高維輸入。②不需要知道非線性映射φ（xi）函數(shù)形式和具體參數(shù)。③核函數(shù)的參數(shù)和形式的變化會(huì)隱式地改變從樣本空間到再生核希爾伯特空間的映射，進(jìn)而對(duì)再生核希爾伯特空間的性質(zhì)產(chǎn)生影響，最終改變各種核函數(shù)方法的性能。

核函數(shù)方法可以和不同的算法進(jìn)行結(jié)合，形成多種基于核函數(shù)技術(shù)的方法，且這兩部分的設(shè)計(jì)并不沖突，并可以為不同的應(yīng)用選擇各種不同的核函數(shù)和算法。

2 t-SNE算法

為了解決維度災(zāi)難問題，提高分類器識(shí)別正確率，在此引入t-SNE算法[11]對(duì)信號(hào)特征進(jìn)行降維。

2.1 模型介紹

t-SNE算法是L.V.D.Maaten[12]在2008年提出的，其前身是G.Hinton[13]在2002年提出的SNE算法，因?yàn)镾NE算法損失函數(shù)為KL散度并且衡量映射近鄰的方式是高斯分布，會(huì)造成映射概率的非對(duì)稱性和擁堵問題，所以引入t分布來(lái)解決擁堵問題。

假設(shè)數(shù)據(jù)集X，它共有N個(gè)數(shù)據(jù)點(diǎn)。每一個(gè)數(shù)據(jù)點(diǎn)xi的維度為D，我們希望降低為d維。在一般可視化的條件下，d的取值為2，即在平面上表示出所有數(shù)據(jù)。t-SNE通過原始數(shù)據(jù)之間的歐氏距離轉(zhuǎn)化為概率來(lái)表征相似性：

如果以數(shù)據(jù)點(diǎn)xi為中心的高斯分布所占的概率密度pj|i為標(biāo)準(zhǔn)選擇近鄰，那么pj|i就代表xi將選擇xj作為它的近鄰。對(duì)于相近的數(shù)據(jù)點(diǎn)，條件概率pj|i是相對(duì)較高的，然而對(duì)于分離的數(shù)據(jù)點(diǎn)，幾乎是無(wú)窮小量（高斯分布的方差由預(yù)先設(shè)置的參數(shù)困惑度決定）。

因?yàn)镵L散度是非對(duì)稱度量，所以pij的表達(dá)式如下：

在低維空間下，我們使用更加偏重長(zhǎng)尾的t分布的方式來(lái)將距離轉(zhuǎn)換為概率分布，使得高維度下中低等的距離在映射后能夠有一個(gè)較大的距離。qij為yi和yj在低維數(shù)據(jù)點(diǎn)映射的相似概率，使用t分布的qij如下：

近幾年,食品中活性成分的提取分離技術(shù)一直朝著提高產(chǎn)品得率、增加提取效率、減少有機(jī)試劑使用量、降低活性組分的破壞等的方向發(fā)展。在這種背景下,超臨界流體萃取、高靜壓、高壓脈沖電場(chǎng)和超聲波等非熱加工技術(shù)的輔助提取等方法受到業(yè)界的青睞,展現(xiàn)出巨大的發(fā)展?jié)摿Α?/p>

其損失函數(shù)如下：

對(duì)損失函數(shù)求梯度的結(jié)果如下：

2.2 Adam優(yōu)化器

t-SNE一般采用的優(yōu)化器為SGD，由于隨機(jī)梯度下降收斂速度較慢，收斂過后的損失函數(shù)值一般也比較大，本文采用Adam算法作為優(yōu)化器。Adam優(yōu)化算法基本上就是將Momentum和RMSprop結(jié)合在一起，Adam算法如下[14]。

式（13）中，Adam參數(shù)說(shuō)明如下：yi為第i個(gè)樣本在低維空間的映射坐標(biāo)向量，為最終求解的目標(biāo)；C為損失函數(shù)；vdyi為帶動(dòng)量的梯度方向，即速度方向。為經(jīng)過修正的vdyi；sdyi為微分平方的加權(quán)平均數(shù)；為經(jīng)過修正的sdyi。

Adam超參數(shù)說(shuō)明如下：β1和β2是控制指數(shù)加權(quán)平均的超參數(shù)；α是學(xué)習(xí)率；ε是一個(gè)非常小的正數(shù)，作用是為了避免分母為0。

2.3 模型優(yōu)化

對(duì)損失函數(shù)公式（7）的優(yōu)化采用Adam方式進(jìn)行優(yōu)化，算法詳細(xì)過程如下：①設(shè)置參數(shù)困惑度以及迭代次數(shù)T；②設(shè)置Adam優(yōu)化算法的超參數(shù)；③計(jì)算在給定困惑度條件下的條件概率；④計(jì)算pij，為了計(jì)算方便，當(dāng)i=j時(shí)，pij取0.000 000 01；⑤用方差很小的正態(tài)分布初始化所有的yi；⑥重復(fù)迭代計(jì)算低維度下的qij并使用Adam算法更新所有的yi；⑦重復(fù)迭代超過最大迭代次數(shù)T后結(jié)束。

上述為本文所用Adam算優(yōu)化器進(jìn)行優(yōu)化的詳細(xì)步驟，經(jīng)過上述步驟所得到的yi為第i個(gè)樣本在低維空間的映射坐標(biāo)向量，所有的yi構(gòu)成了低維空間中所有的樣本集合。

3 實(shí)驗(yàn)結(jié)果及分析

本文采用前導(dǎo)碼相同的ABPSK實(shí)際信號(hào)采集數(shù)據(jù)，同一個(gè)個(gè)體發(fā)出的信號(hào)沒有固定頻率，采樣帶寬1 kHz，采樣時(shí)長(zhǎng)約24 h，采樣率為6 kHz，經(jīng)過人工標(biāo)注標(biāo)簽，共10類235個(gè)樣本，為同一調(diào)制方式的不同個(gè)體，信噪比在5～20 dB之間。

3.1 數(shù)據(jù)的預(yù)處理

經(jīng)過數(shù)據(jù)預(yù)處理，得到ABPSK信號(hào)前導(dǎo)碼特征以及雙譜變換后的雙譜特征。

3.2 信號(hào)前導(dǎo)碼及雙譜幅度譜t-SNE降維結(jié)果

分別將已經(jīng)去除掉能量特性的I、Q兩路的前導(dǎo)碼及雙譜幅度圖降至2維，降維之后的結(jié)果如圖2至圖4所示，其中的數(shù)字為信號(hào)的類別編號(hào)。

圖2 I路前導(dǎo)碼降至二維的結(jié)果

圖3 Q路前導(dǎo)碼降至二維的結(jié)果

圖4 雙譜幅度圖降至二維結(jié)果

在降至2維后，能夠明顯看出信號(hào)的聚類情況，樣本在2維空間之間的遠(yuǎn)近反映了樣本在原始空間之間的距離的遠(yuǎn)近，顯示了t-SNE在信號(hào)數(shù)據(jù)可視化方面性能強(qiáng)大。從圖2至圖4中可以看出前導(dǎo)碼降維過后明顯分成兩組，且組內(nèi)樣本不易區(qū)分，經(jīng)過雙譜變換和t-SNE降維后，樣本分成3組，且組內(nèi)樣本區(qū)比前導(dǎo)碼更易區(qū)分。

3.3 能量對(duì)分類結(jié)果的影響

對(duì)235個(gè)樣本打亂順序進(jìn)行隨機(jī)劃分，165個(gè)訓(xùn)練樣本，70個(gè)測(cè)試樣本，分別用帶有未能量歸一化的特征和能量歸一化過后的特征，正確率為10次隨機(jī)選擇測(cè)試樣本正確率的平均值，使用SVM進(jìn)行分類，試驗(yàn)使用了3種Mercer核函數(shù)進(jìn)行試驗(yàn)，特征包括I、Q兩路前導(dǎo)碼及雙譜幅度圖，測(cè)試結(jié)果示于表1。

表1 有無(wú)能量特性對(duì)于分類正確率的影響

從表1可以看出，能量對(duì)分類的正確率影響特別大，能量歸一化過后分類難度明顯變大，傳統(tǒng)識(shí)別方法都會(huì)把信號(hào)的參數(shù)（如中心頻率、碼頻率等）與未能量歸一化的特征進(jìn)行特征融合，分類正確率一般都很高。

3.4 維度對(duì)分類結(jié)果的性能影響

依舊隨機(jī)分配165個(gè)訓(xùn)練樣本和70個(gè)測(cè)試樣本，使用t-SNE降維方式進(jìn)行降維，降到不同的維度試圖尋找出最佳的維度，正確率是10次正確率的平均值，示于表2。

表2 能量歸一化特征降維后正確率提升對(duì)比

從表2中可以看出，降維在SVM核函數(shù)VC維較高的情況下顯著提升了分類的正確率，緩解了因維度過高帶來(lái)的過擬合問題。在SVM使用線性核分類時(shí)，I、Q兩路前導(dǎo)碼和雙譜幅度圖降維后分類正確率分別比原始信號(hào)提高了11.34%、13.72%和5.71%，3種特征在200維時(shí)分類平均正確率最高。在SVM使用多項(xiàng)式核進(jìn)行分類時(shí)，雙譜幅度圖降維在5維時(shí)正確率最高，比原始信號(hào)提高了21.34%，Q兩路前導(dǎo)碼都降維在3維時(shí)正確率最高，比原始信號(hào)分別提高了16.43%和24.15%。在SVM使用RBF核進(jìn)行分類時(shí)，雙譜幅度圖降維在6維時(shí)分類正確率最高，比原始數(shù)據(jù)正確率提高了50.86%，I、Q兩路前導(dǎo)碼降維最佳維度分別為5維和4維，正確率比原始信號(hào)分別提高了21.86%和27.28%。

平均正確率隨著維度變化的趨勢(shì)如圖5至圖7所示。

圖5 3種特征在各個(gè)維度下線性核分類正確率的平均值

圖6 3種特征在各個(gè)維度下多項(xiàng)式核分類正確率的平均值

圖7 3種特征在各個(gè)維度下RBF核分類正確率的平均值

從圖5至圖7可以看出，雙譜幅度圖明顯比原始信號(hào)的前導(dǎo)碼分類效果更好。從圖5可以看出在SVM使用線性核函數(shù)分類時(shí)維度對(duì)分類的正確率趨勢(shì)較為緩和，在前200維隨著維度上升正確率緩慢提升，所有特征在200維時(shí)正確率最高。從圖6可以看出在使用多項(xiàng)式核函數(shù)分類時(shí)雙譜幅度圖在降維小于200維時(shí)正確率沒有明顯的變化，在維度大于200維時(shí)有明顯的正確率下降，在5維時(shí)正確率最高。I、Q兩路前導(dǎo)碼降維隨著維度的上升正確率逐漸的下降，都在3維時(shí)正確率最高。從圖7可以看出使用RBF核函數(shù)分類時(shí)在雙譜幅度圖及原始信號(hào)前導(dǎo)碼降維小于6維時(shí)正確率較平穩(wěn)，超過6維時(shí)有明顯的下降趨勢(shì)，雙譜幅度圖在6維時(shí)分類正確率最高，I、Q兩路前導(dǎo)碼最佳維度分別為5維和4維。

4 結(jié)語(yǔ)

本文使用t-SNE降維方式對(duì)3種特征進(jìn)行降維，研究了3種特征隨著維度的變化正確率的變化趨勢(shì)，并研究了SVM使用常用核函數(shù)在維度變化時(shí)對(duì)正確率的影響。試驗(yàn)結(jié)果表明對(duì)于VC維比較高的RBF核函數(shù)和多項(xiàng)式核函數(shù)，在特征維度較低的情況下不容易過擬合，降維過后不會(huì)出現(xiàn)支持向量過多的情況，也解決了維度災(zāi)難問題。本文使用的雙譜變換就是信號(hào)領(lǐng)域中常用人工提取特征方式，優(yōu)勢(shì)是可以在樣本量較小的情況下訓(xùn)練出分類模型，不需要用使用大量的計(jì)算資源（如大量的GPU）花費(fèi)幾個(gè)月時(shí)間訓(xùn)練出復(fù)雜模型的參數(shù)。

但使用t-SNE降維仍有部分不足：①采用距離進(jìn)行測(cè)算可能無(wú)法分辨某些信號(hào)；②計(jì)算復(fù)雜度為o(n2)，若不用并行化速度會(huì)非常慢。希望在后續(xù)的研究中能夠優(yōu)化細(xì)微特征提取方法來(lái)提升識(shí)別的正確率。