基于PCANet和SVM的謊言測試研究

顧凌云,呂文志,楊 勇,高軍峰,5,官金安,周 到

(1.中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院認知科學(xué)國家民委重點實驗室,湖北武漢 430074；2.醫(yī)學(xué)信息分析及腫瘤診療湖北省重點實驗室,湖北武漢 430074；3.華中科技大學(xué)武漢光電國家實驗室,湖北武漢 430074；4.江西財經(jīng)大學(xué)信息管理學(xué)院,江西南昌 330000；5.電子科技大學(xué)生命科學(xué)與技術(shù)學(xué)院,四川成都 610054)

?

基于PCANet和SVM的謊言測試研究

顧凌云1,2,呂文志3,楊 勇4,高軍峰1,2,5,官金安1,2,周 到1,2

(1.中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院認知科學(xué)國家民委重點實驗室,湖北武漢 430074；2.醫(yī)學(xué)信息分析及腫瘤診療湖北省重點實驗室,湖北武漢 430074；3.華中科技大學(xué)武漢光電國家實驗室,湖北武漢 430074；4.江西財經(jīng)大學(xué)信息管理學(xué)院,江西南昌 330000；5.電子科技大學(xué)生命科學(xué)與技術(shù)學(xué)院,四川成都 610054)

主成分分析網(wǎng)絡(luò)(Principal Component Analysis Network,PCANet)是基于深度學(xué)習(xí)理論的一種非監(jiān)督式的特征提取方法,它克服了手工提取特征的缺點,目前其有效性僅僅在圖像處理領(lǐng)域中得到了驗證.本文針對當前謊言測試方法中腦電信號特征提取困難的缺點,首次將PCANet方法應(yīng)用到一維信號的特征提取領(lǐng)域,并對測謊實驗的原始腦電信號提取特征,然后使用支持向量機(Support Vector Machine，SVM)將說謊者和誠實者的兩類信號進行分類識別,將實驗結(jié)果和其它分類器及未使用特征提取的分類效果進行了比較.實驗結(jié)果顯示相對未抽取任何特征的方法,提出的方法PCANet-SVM可以獲得更高的訓(xùn)練和測試準確率,表明了PCANet方法對于腦電信號特征提取的有效性,也為基于腦電信號的測謊提供了一種新的途徑.

主成分分析網(wǎng)絡(luò)；腦電；測謊；深度學(xué)習(xí)；支持向量機

電子學(xué)報URL:http://www.ejournal.org.cn DOI:10.3969/j.issn.0372-2112.2016.08.028

1 引言

近年來,基于生理心理學(xué)的測謊技術(shù)日趨成熟.腦電信號事件相關(guān)電位P300成分是對小概率新異刺激的響應(yīng)[1].利用腦電信號進行的謊言測試(簡稱測謊),相對其它生理指標(如心電和皮膚電阻等)更能反映說謊過程的心理加工過程.很多研究人員發(fā)現(xiàn),基于P300的測謊方法能有效地規(guī)避反測謊的影響,具有更高的準確性[2,3].

2006年Hinton等提出一種非監(jiān)督式特征提取的方法[4],其以非人工手段進行特征提取而著稱.該方法通過非限制玻爾茲曼機對數(shù)據(jù)進行降維,且其重構(gòu)誤差比主成分分析(Principal Components Analysis,PCA)小.相關(guān)領(lǐng)域的研究者也提出了一些其它典型的非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)[5],這類方法已經(jīng)被應(yīng)用到圖像處理和語音分析領(lǐng)域.研究表明,可以通過非監(jiān)督特征學(xué)習(xí)的方法自動提取樣本數(shù)據(jù)深層次的特征表達[6].

2014年ChanTsung-Han等提出一種新的深度特征提取網(wǎng)絡(luò)—主成分分析網(wǎng)絡(luò)[7](Principal Components Analysis Network,PCANet).該網(wǎng)絡(luò)由主成分分析、哈希運算及局部直方圖生成三個基本操作構(gòu)成.該方法已經(jīng)在許多圖像分類任務(wù)中表現(xiàn)出優(yōu)異的性能[7～9],成為圖像識別領(lǐng)域的一個研究熱點,并由此產(chǎn)生一些新的優(yōu)化算法,如Zeng Rui等根據(jù)PCANet演變出的多重主成分分析網(wǎng)絡(luò)[8](Multilinear Principal Component Analysis Network,MPCANet)、多重線性主成分分析網(wǎng)絡(luò)[9](Multilinear Discriminant Analysis Network,MLDANet)等.截止目前,上述這些方法的有效性僅僅在圖像處理領(lǐng)域得到了驗證.針對一維信號,PCANet方法是否也能夠自動提取樣本數(shù)據(jù)的深層次特征表達？其效果究竟如何？這些問題的研究都還未見任何報道.

腦電信號分析的一個重要方面就是對腦電信號進行特征提取.在測謊研究方面,腦電信號的提取主要包括時域特征(比如P300信號的幅值及潛伏期等)、頻域特征、時頻域特征[10]及其它非線性信號特征提取.這些都是根據(jù)先驗經(jīng)驗構(gòu)造的“手工”特征(hand-crafted features),具有一定程度的主觀性和不確定性,如果能使用前述的深度學(xué)習(xí)理論對腦電信號進行處理,自動抽象提取信號的高層次特征,則為腦電信號的分析提供了一種新的途徑.

Gao Wei等于2015年使用非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)對8導(dǎo)的腦電信號進行特征提取分析[11],得出相對單通道時域特征提取法,深度學(xué)習(xí)的自主特征提取方式有更優(yōu)的特征表示,表明非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)可以應(yīng)用于腦電信號的分析.

本文采集了30個說謊者和誠實者的8個導(dǎo)聯(lián)的EEG信號,將兩類受試者在這些電極上的探針刺激響應(yīng)信號作為P300和非P300信號的數(shù)據(jù)集,作為原始的待分析信號,使用深度特征提取網(wǎng)絡(luò)——PCANet,自動提取原始腦電信號的高層次特征表達,最后利用三類典型的分類器：反向傳播神經(jīng)網(wǎng)絡(luò)(Back-propagation Network,BPNN)、支持向量機(Support Vector Machine,SVM)及線性分類器(Fisher Discrimination Analysis,FDA),對提取的兩類特征向量進行分類,得到訓(xùn)練準確率及測試準確率結(jié)果,并與不使用PCANet時的分類結(jié)果進行比較.

2 PCANet的理論基礎(chǔ)與算法

PCANet的特征提取過程分為以下3個步驟：

步驟1 輸入層處理

對于第i個樣本Ti,以k1×k2大小的片段滑動截取得到mn個片段,即xi,1,xi,2,…,xi,mn∈k1k2,其中xi,j表示第i個樣本Ti的第j個片段向量化后的向量.對xi,j進行去均值處理,得到:

(1)

作為第i個原始樣本預(yù)處理后的結(jié)果.對所有樣本進行相同處理后,得到：

(2)

步驟2 中間層處理

設(shè)兩階段PCA的濾波參數(shù)分別為L1、L2(PCA算法中對特征值排序,靠前特征向量的個數(shù)取值).

第一階段PCA操作：使用PCA算法對樣本集X進行計算,PCA最小化重構(gòu)誤差的過程表達為：

(3)

其中IL1為L1×L1的單位矩陣.PCA算法表達如下：

(4)

其中matk1k2(v)表示將向量v∈k1k2投影為矩陣W∈k1×k2的函數(shù),ql(XXT)表示計算XXT的第l個主成分特征向量.通過訓(xùn)練,將樣本變換到新的空間：

(5)

第二階段PCA計算：類似式(1)及式(2)的操作,對于第一階段提取的L1個特征,可得到：

Z=[Z1,Z2,…,ZL1]∈k1k2×L1Nmn

(6)

步驟3 輸出層處理

為了使樣本的特征表達性更強,使用赫維賽德階躍函數(shù)o(x)對特征值進行二值化,對原始樣本Ti,二值化并進行加權(quán)處理后得到：

(7)

(8)

其中,Bh表示分塊及直方圖統(tǒng)計,fi表示采用PCANet提取第i個原始樣本Ti的最終特征向量.

3 實驗過程與數(shù)據(jù)處理

3.1 測謊協(xié)議

實驗挑選了30個身體健康的本科生(平均年齡21.3歲)作為受試者,隨機分為無辜和說謊兩組.采用標準的三刺激測謊協(xié)議[2].實驗前準備六個物品(人造仿真珠寶)及其相對應(yīng)的圖片.針對說謊者,在事先準備好的保險箱中放入任意兩個物品,并要求受試者看清兩個物品后,拿走其中的一個物品.被受試者拿走的物品作為探針刺激(Probe,P),箱子中剩下的物品作為靶刺激(Target,T),其余的物品作為無關(guān)刺激(Irrelevant,I)；針對無辜者,保險箱中放入任意一個物品,要求受試者看清物品即可,該物品作為T刺激,任選其它一個物品作為P刺激,剩下4個全部作為I刺激.

屏幕上隨機顯示6張物品的圖片,受試者需要對圖片做出鼠標的回應(yīng)他/她是否見過該物品.受試者手中握有手柄,帶有Yes及No兩個按鍵.要求說謊者看見P刺激的時候做出欺騙行為,即回答沒有看過(按No鍵),出現(xiàn)其余兩類刺激的時候要求說真話(T刺激按Yes鍵,I刺激按No鍵),無辜組全說真話.

3.2 數(shù)據(jù)預(yù)處理

受試者的腦部電極安放在如下的位置：Fz,C3,Cz,C4,P3,Pz,P4,Oz,垂直眼電電極放在左眼上下2cm處,水平眼電電極放在外眼角處,前額接地,以右耳電極為參考電極M1.采用Neuroscan公司的Synamps作為放大器,通帶頻帶為0.3～30Hz,采樣頻率500Hz,各導(dǎo)聯(lián)阻抗均小于3kΩ.E-Prime2.0作為刺激軟件.實驗時每張圖片隨機出現(xiàn)50次,持續(xù)1秒,一次實驗的時間為6分鐘.每次實驗中,P刺激、I刺激和T刺激出現(xiàn)的頻率依次為16.7%、66.7%和16.7%.休息5分鐘后,再次重復(fù)上述實驗,每名受試者共做上述實驗5次.最后,使用Scan4.0自帶的工具濾除腦電波形的垂直(±70μV作為去除標準)和水平眼電偽差.

使用EEGLab工具箱[12]對連續(xù)的EEG波形進行分割,將受試者在P刺激后1000ms分割為一個P響應(yīng)數(shù)據(jù)集(epoched dataset),該數(shù)據(jù)集保存為8×500的矩陣.

原始的腦電信號信噪比極低,為了去除相對于P300信號的自發(fā)腦電等噪聲,使用少次平均技術(shù)去除噪聲.圖1中顯示了任取的一名說謊者和一名無辜者在Pz電極上的3次、6次及25次的腦電信號的平均波形.可以看出相對原始波形,平均次數(shù)越多,說謊者的P300越明顯.因此,平均次數(shù)對分類結(jié)果的影響在本文中也進行了分析.

當平均3次時,兩類受試者分別得到約750(15*30*5/3)個數(shù)據(jù)集.將它們送入到PCANet特征提取模塊進行計算.當不進行PCANet計算而直接進行分類時,需要將8×500的樣本向量化為4000×1的樣本.

在計算過程中,使用兩個階段的PCANet算法的計算結(jié)果作為原始樣本的提取特征,兩個階段的濾波參數(shù)分別定義為L1和L2,對兩階段計算過程中的分片大小都定義為k1×k2.另外,平均次數(shù)不同也會導(dǎo)致輸入PCANet的樣本不同,由于以上參數(shù)有可能對最終的分類準確率有影響,采用網(wǎng)格搜索的方式進行尋優(yōu)[8,13]：令L1=L2,k1=k2,并令L值從5到20依次變化,k1及k2依次從3到20變化,令C從3到8依次變化.

4 數(shù)據(jù)分類

通過以上特征提取,每類受試者的數(shù)據(jù)集變換為高層次的特征向量,類別標識分別為1和-1,將它們送到3個典型的分類器FDA、BPNN及SVM中,進行分類.為了驗證PCANet對腦電信號進行特征學(xué)習(xí)的效果,將原始的腦電信號直接送到3個分類器中進行訓(xùn)練和測試的效果也進行了分析.提出的方法PCANet-SVM的特征提取及分類器訓(xùn)練過程如圖2所示.

表1 六種分類模型的分類表現(xiàn)

分類器的訓(xùn)練和測試步驟如下:在不同的參數(shù)組合下,形成不同的樣本數(shù)據(jù),對每個分類器的訓(xùn)練過程使用10折交叉驗證方法.計算在特定的參數(shù)組合下,分類器的訓(xùn)練及測試敏感度(說謊者的P300被正確劃分的準確率)和特異度(無辜者的非P300被正確劃分的準確率),然后分別計算10個準確率的均值及對應(yīng)的標準差(Standard Deviation,SD),訓(xùn)練的敏感度及特異度準確率分別記為TRsen±SD和TRspe±SD.同理得到測試準確率,按照敏感度和特異度記為：TEsen±SD和TEspe±SD,及平衡的測試準確率BATest=(TEsen+TEspe)/2.

訓(xùn)練過程中,BPNN使用sigmoid激活函數(shù)(g(x)=1/(1+e-x)),隱層節(jié)點數(shù)變化范圍設(shè)置為8到40,學(xué)習(xí)率變化范圍為0.01到0.05,控制精度變化范圍為0.001到0.005.在SVM分類器中,使用線性核函數(shù),所有分類器參數(shù)使用LibSVM工具包進行優(yōu)化選擇.

5 實驗結(jié)果

本文實驗結(jié)果均在Matlab2010b環(huán)境下運行得到.使用圖2中訓(xùn)練方法,將各個分類器的最高的BATest取值時的最佳參數(shù)及對應(yīng)的分類表現(xiàn)顯示在表1中.

從表1中可以看出：(1)SVM分類器的訓(xùn)練和測試準確率均要顯著高于BPNN和線性分類器FDA,這與目前大多數(shù)三類分類器的比較結(jié)果一致；(2)結(jié)合使用了PCANet的分類模型相對沒有使用該方法的模型,準確率均有所提高,比如PCANet-BPNN相對BPNN分類模型,訓(xùn)練和測試準確率均有所提高(平均訓(xùn)練準確率和平均測試準確率分別提高了2.42%和1.97%)；(3)最重要的是,在所有六個分類模型中,提出的方法PCANet-SVM的訓(xùn)練和測試準確率的表現(xiàn)最好,平均訓(xùn)練準確率為98.82%,平均測試準確率為95.09%.

計算結(jié)果表明提出的方法PCANet-SVM具有最好的分類效果,相對未提取任何特征的分類模型SVM,分類準確率得到了較大幅度的增加,表明了PCANet算法對原始腦電信號特征提取的有效性.

6 結(jié)束語

當前的基于EEG信號的測謊研究中,對EEG信號進行特征提取都是“手工”方式,基于時頻域的特征全部來自于對腦電信號的先驗經(jīng)驗.深度學(xué)習(xí)理論對傳統(tǒng)的特征提取方式提出了挑戰(zhàn),它基于神經(jīng)網(wǎng)絡(luò)技術(shù),在無監(jiān)督的情況下,對輸入樣本進行特征的自我學(xué)習(xí),得到樣本的高層次抽象.

PCANet基于深度學(xué)習(xí)理論,可以對輸入樣本進行特征的自我學(xué)習(xí).本文首次嘗試將這一方法用于一維信號的特征提取領(lǐng)域.截止目前,PCANet方法僅僅在圖像處理領(lǐng)域得到了應(yīng)用.通過對比測謊研究中的多導(dǎo)的EEG信號,本文使用PCANet對原始的腦電信號進行了特征提取,實驗結(jié)果表明,除了在圖像處理領(lǐng)域,PCANet方法完全可以應(yīng)用到一維信號的特征提取中,該方法可以有效的將原始的腦電信號做高層次的特征表達.雖然本文將PCANet應(yīng)用在基于ERP的腦電測謊中,但是提出的方法可以推廣應(yīng)用到其它基于腦電信號的模式識別相關(guān)領(lǐng)域.實際上,它也為其它一維信號的特征提取提供了一種新的途徑.

值得指出的是,通過測試發(fā)現(xiàn),隨著平均次數(shù)的依次增大,表1中的各個分類模型的表現(xiàn)并沒有顯著提升(當平均次數(shù)C=3時,幾乎達到了最高的表現(xiàn)).我們猜測,這與PCANet的使用有關(guān).基于實驗結(jié)果,在實際測試過程中,可以僅僅對被試人員使用大約3次刺激,即可進行測試,所以相對于當前的BCD和BAD[14]等方法,提出的方法屬于少次刺激的測謊方法[15],因此使得測謊過程更加簡便,也大大降低了被測人員的疲勞程度,也可以有效地降低反測謊行為的發(fā)生,也因此可以提高測謊的準確率.

在PCANet的計算過程中,對于各種參數(shù)的優(yōu)化取值,由于計算量等原因,本文處理相對簡單.未來,還需要研究其它不同的參數(shù)取值對特征提取效果及分類表現(xiàn)的影響.

[1]BARRY R J,DE BALSIO F M.EEG-ERP phase dynamics children in the auditory Go/NoGo task[J].International Journal of Psychophysiology,2012,86(3):251-261.

[2]GAO J F,TIAN H J,YANG Y,et al.A novel algorithm to enhance P300 in single trials:application to lie detection using F-score and SVM[J].Plos One,2014,9(11):1-15.

[3]LABKOVSKY E,PETER ROSENFELD J.A novel dual probe complex trial protocol for detection of concealed information[J].Psychophysiology,2014,1(11):1122-1130.

[4]HINTON G E,SALAKHUTDINOVR R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[5]VINCENT P,LAROCHELLE H,BENGIO Y.Extracting and composing robust features with denoising auto-encoders[J].ICML,2008,25(592):1096-1103.

[6]YU D,HINTON G,MORGAN N,et al.Introduction to the special section on deep learning for speech and language processing[J].Audio Speech & Language Processing IEEE Transactions on,2012,20(1):4-6.

[7]CHAN T H,JIA K,GAO S,et al.PCANet:A simple deep learning baseline for image classification?[J].IEEE Transactions on Image Processing,2015，24(12)：5017-5032.

[8]ZENG R,WU J,SHAO Z,et al.Multilinear principal component analysis network for tensor object classification[J].ArXiv Preprint ArXiv:1411.1171,2014.

[9]ZENG R,WU J,et al.Tensor object classification via multilinear discriminant analysis network[A].ICASSP,2015[C].South Brisbane,QLD:IEEE,2015.1971-1975.

[10]龐存鎖,劉磊,單濤.基于短時分數(shù)階傅里葉變換的時頻分析方法[J].電子學(xué)報,2014,(2):347-352.

PANG Cun-suo,LIU Lei,DAN Tao.Time frequency analysis is method based on short-time fractional fourier transform[J].Acta Electronica Sinica,2014,(2):347-352.(in Chinese)

[11]GAO W,GUAN J A,Gao J F.Multi-ganglion ANN based feature learning with application to P300-BCI signal classification[J].Biomedical Signal Processing and Control,2015,18:127-137.

[12]DELORMEA,MAKEIG S.EEGLAB:an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis[J].Journal of Neuroscience Methods,2004,134(1):9-21.

[13]LIU C,WECHSLER H.Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J].Image Processing,2002,11(4):467-476.

[14]Rosenfeld J P,Hu X,Pederson K.Deception awareness improves P300-based deception detection in concealed information tests[J].International Journal of Psychophysiology,2012,86(1):114-121.

[15]高軍峰,張文佳,楊勇,胡佳,陶春毅,官金安.基于P300和極限學(xué)習(xí)機的腦電測謊研究[J].電子科技大學(xué)學(xué)報，2014,43(2):301-305.GAO Jun-Feng,ZHANG Wen-Jia,YANG Yong et al.Lie detection study based on P300 and extreme learning machine[J].Journal of University of Electronic Science & Technology of China,2014,43(2):301-305.(in Chinese)

顧凌云 女，1991年3月出生,江蘇常州人.于2014年就讀中南民族大學(xué)生物醫(yī)學(xué)工程系碩士研究生,從事腦電信號處理與模式識別方面的研究.

E-mail:gulingyun-lea@126.com

呂文志 男，1994年2月出生,湖北監(jiān)利人.于2012年就讀于中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院.現(xiàn)為華中科技大學(xué)國家光電實驗室研究生.從事生理信號分析及圖像處理方面的有關(guān)研究.

E-mail:lvwenzhi@mail.scuec.edu.cn

楊 勇 男，1976年10月出生，湖北鄂州人.2005年博士畢業(yè)于西安交通大學(xué)生物醫(yī)學(xué)工程專業(yè)，現(xiàn)為江西財經(jīng)大學(xué)信息管理學(xué)院教授.主要研究方向為醫(yī)學(xué)圖像/信號處理、模式識別.

E-mail:greatyangy@126.com

高軍峰(通訊作者) 男，1973年10月出生,湖北武漢人.副教授,碩士生導(dǎo)師,2005年和2011年分別在武漢理工大學(xué)和西安交通大學(xué)獲得工學(xué)碩士和工學(xué)博士學(xué)位.現(xiàn)為中南民族大學(xué)教師,主要從事生物醫(yī)學(xué)信號處理、神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)等方面的研究工作.

E-mail:junfengmst@163.com

Deception Detection Study Based on PCANet and Support Vector Machine

GU Ling-yun1,2,Lü Wen-zhi3,YANG Yong4,GAO Jun-feng1,2,5,GUAN Jin-an1,2,ZHOU Dao1,2

(1.SchoolofBiomedicalEngineering,South-CentralUniversityforNationalities,KeyLaboratoryofCognitiveScience,StateEthnicAffairsCommission,Wuhan,Hubei430074,China;2.HubeiKeyLaboratoryofMedicalInformationAnalysis&TumorDiagnosisandTreatment,Wuhan,Hubei430074,China;3.WuhanNationalLaboratoryforOptoelectronics,HuaZhongUniversityofScienceandTechnology,Wuhan,Hubei430074,China;4.SchoolofInformationTechnology,JiangxiUniversityofFinanceandEconomics,Nanchang,Jiangxi330000,China;5.SchoolofLifeScienceandTechnology,UniversityofElectronicScienceandTechnology,Chengdu,Sichuan610054,China)

Principal Components Analysis Network (PCANet) is a feature extraction method based on deep learning theory and unsupervised learning modes，which overcomes the shortcoming of hand-crafted features and its efficiency has been only proved in several literatures for picture processing.In this paper,PCANet is applied to process the one dimensional signals for the first time in order to overcome the disadvantages of hand-crafted features from EEG signals in deception detection.PCANet is used to extract features from raw EEG signals in the deception detection experiment.The feature vectors were fed into three classifiers including Support Vector Machine (SVM) to classify the guilty and innocent subjects.The experimental result was compared with the results from other classifiers and the mode of using raw EEG signals as features.The experimental results show that the proposed method PCANet-SVM obtains the highest training and testing accuracy,which indicates the efficiency of extracting features from EEG signals and provides a new solution of detecting lying.

principal components analysis network (PCANet);EEG;deception detection;deep learning;support vector machine

2015-05-01;

2015-07-17;責任編輯：梅志強

國家自然科學(xué)基金(No.81271659，No.61262034，No.61462031，No.91120017);江西省自然科學(xué)基金(No.20151BAB207033);中國博士后科學(xué)基金(No.2014M552346)

R318

A

0372-2112 (2016)08-1969-05