穩(wěn)健動(dòng)態(tài)時(shí)間規(guī)整的面板數(shù)據(jù)聚類

唐婷婷，鄧光明

（桂林理工大學(xué) 理學(xué)院，廣西 桂林 541006）

面板數(shù)據(jù)是現(xiàn)實(shí)數(shù)據(jù)庫(kù)中極為常見(jiàn)的數(shù)據(jù)形式，是一種多指標(biāo)的時(shí)間序列，包含的信息量較充足，且具有截面數(shù)據(jù)和時(shí)間序列的雙重特性，用面板數(shù)據(jù)進(jìn)行聚類分析能夠更好反映指標(biāo)的動(dòng)態(tài)發(fā)展趨勢(shì)和發(fā)展?fàn)顟B(tài)，因此，大多數(shù)學(xué)者為得到更為精確的聚類結(jié)果，經(jīng)常使用面板數(shù)據(jù)進(jìn)行聚類分析。面板數(shù)據(jù)聚類的基本思想是圍繞如何找到更為精準(zhǔn)的相似性度量和采用何種方法進(jìn)行聚類這2個(gè)方面展開(kāi)，其聚類方法大致可分為多元統(tǒng)計(jì)方法和非多元統(tǒng)計(jì)方法，非多元統(tǒng)計(jì)方法主要從數(shù)學(xué)和計(jì)算機(jī)角度入手，主要包括：灰色聚類［1－3］、模糊C均值聚類［4－6］、基于投影尋蹤的聚類［7］等方法。在基于多元統(tǒng)計(jì)方法的面板數(shù)據(jù)聚類中，其聚類的主要思想就是從多元統(tǒng)計(jì)的角度尋找更為精準(zhǔn)的相似性度量，如李因果等［8］為了能夠展現(xiàn)指標(biāo)的動(dòng)態(tài)發(fā)展趨勢(shì)，選用“絕對(duì)量”“增長(zhǎng)速度”和“變異系數(shù)”分別表示面板數(shù)據(jù)的“絕對(duì)量”“相對(duì)量”和“時(shí)序波動(dòng)”特征，根據(jù)實(shí)際需求賦予這3個(gè)特征相應(yīng)的權(quán)重，采用歐氏距離重構(gòu)了相似性度量的“綜合”距離函數(shù)，改進(jìn)了Ward聚類算法；任娟［9］提取了面板數(shù)據(jù)的水平指標(biāo)、增量指標(biāo)和增長(zhǎng)變化率，選擇歐式距離來(lái)描述樣品之間的鄰近程度，重構(gòu)了離差平方和函數(shù)，再進(jìn)行系統(tǒng)聚類；黨耀國(guó)等［10］針對(duì)面板數(shù)據(jù)聚類中采用歐氏距離進(jìn)行聚類存在缺陷這一問(wèn)題，對(duì)面板數(shù)據(jù)的動(dòng)態(tài)變化進(jìn)行深度挖掘，通過(guò)提取“絕對(duì)量”“波動(dòng)”“偏度”“峰度”等特征來(lái)構(gòu)建新的特征向量，進(jìn)而進(jìn)行聚類分析。但這些方法都存在著不足之處，其一，歐氏距離無(wú)法處理對(duì)應(yīng)數(shù)據(jù)間沿時(shí)間軸方向彎曲、伸縮等問(wèn)題，無(wú)法合理的反應(yīng)2個(gè)時(shí)間序列趨勢(shì)的相似性；其二，用特征提取的方法對(duì)面板數(shù)據(jù)進(jìn)行降維之后，需依據(jù)現(xiàn)實(shí)需求或主觀給定相應(yīng)的特征權(quán)重，這無(wú)法保證賦權(quán)的客觀性和合理性。

基于歐氏距離無(wú)法合理反應(yīng)時(shí)間序列趨勢(shì)相似性和賦權(quán)問(wèn)題，劉云霞［11］提出了一種基于動(dòng)態(tài)時(shí)間規(guī)整的面板數(shù)據(jù)聚類方法，運(yùn)用了主成分的思想對(duì)面板數(shù)據(jù)進(jìn)行降維，再對(duì)降維后的時(shí)間序列采用動(dòng)態(tài)時(shí)間規(guī)整的方法進(jìn)行面板數(shù)據(jù)的聚類分析，這一方法具有一定的普適性且可視化效果較好，既能反映面板數(shù)據(jù)的動(dòng)態(tài)發(fā)展趨勢(shì)，又能夠避免由于賦權(quán)不合理而影響聚類結(jié)果這一問(wèn)題。但這一方法易受離群值的影響，數(shù)據(jù)中存在離群值會(huì)影響時(shí)間序列提取的準(zhǔn)確性，進(jìn)而影響聚類的效果，因此本文運(yùn)用穩(wěn)健統(tǒng)計(jì)量對(duì)動(dòng)態(tài)時(shí)間規(guī)整的面板數(shù)據(jù)聚類方法進(jìn)行改進(jìn)，通過(guò)獲得穩(wěn)健的時(shí)間序列，消除離群值對(duì)動(dòng)態(tài)時(shí)間規(guī)整結(jié)果的影響。

1 穩(wěn)健統(tǒng)計(jì)量的選取

穩(wěn)健一詞在統(tǒng)計(jì)學(xué)中是用以表征控制系統(tǒng)對(duì)特性或參數(shù)擾動(dòng)的不敏感性。Box認(rèn)為：若過(guò)程在所基于的假設(shè)違背的條件下，仍然能給出較好的結(jié)果即為穩(wěn)健［12］。在統(tǒng)計(jì)分析中，通常用穩(wěn)健性來(lái)度量模型對(duì)離群值的敏感性，采用穩(wěn)健統(tǒng)計(jì)量來(lái)優(yōu)化不符合規(guī)格的模型，進(jìn)而提升模型對(duì)離群值的抵御能力。穩(wěn)健統(tǒng)計(jì)的思想和估計(jì)方法最早由Huber等［13］提出，Rousseeuw提出的最小協(xié)方差（minimum covariance determinant，MCD）是最具代表性的一種估計(jì)方法［14］。MCD估計(jì)是一種最經(jīng)典的用于尋找穩(wěn)健協(xié)方差估計(jì)量的方法，其目的是通過(guò)構(gòu)造穩(wěn)健的樣本協(xié)方差矩陣來(lái)抵御離群值的影響［15］。MCD估計(jì)主要利用迭代和馬氏距離的思想構(gòu)造一個(gè)穩(wěn)健的協(xié)方差矩陣估計(jì)量，其基本步驟如下：

步驟1從n行p列的矩陣中選取h個(gè)樣本，計(jì)算這h個(gè)樣本數(shù)據(jù)的樣本均值和協(xié)方差矩陣，樣本均值記為T1，協(xié)方差矩陣記為S1。

步驟2計(jì)算n個(gè)樣本數(shù)據(jù)到T1的距離，此處采用的是馬氏距離：

步驟3選取n個(gè)距離中最小的h個(gè)距離，計(jì)算這h個(gè)距離所對(duì)應(yīng)的樣本數(shù)據(jù)的樣本均值和協(xié)方差矩陣，樣本均值記為T2，協(xié)方差矩陣記為S2。

步驟4 不斷迭代步驟3，當(dāng)det（Sk）＝det（Sk－1）時(shí)，迭代停止，當(dāng)且僅當(dāng)T1＝T2，S1＝S2時(shí)，det（1）＝det（2）。

步驟5根據(jù)得到的Sk對(duì)其進(jìn)行加權(quán)，即可得到穩(wěn)健的協(xié)方差矩陣估計(jì)量，記為S*。

但這一方法計(jì)算復(fù)雜度較高，因此，在實(shí)際應(yīng)用中，通常采用的是Rousseeuw提出的快速M(fèi)CD（FAST-MCD）方法來(lái)構(gòu)造算法，獲得穩(wěn)健的協(xié)方差矩陣，進(jìn)而計(jì)算出穩(wěn)健相關(guān)矩陣并進(jìn)行聚類分析［16］。

2 動(dòng)態(tài)時(shí)間規(guī)整原理

動(dòng)態(tài)時(shí)間規(guī)整（dynamic time warping，DTW）是度量時(shí)間序列相似性的一種方法，也是時(shí)間序列的聚類方法之一［11］。該方法與歐氏距離是用于衡量時(shí)間序列相似性的2種常用的度量方法，不同于歐氏距離的是，該方法可以用于時(shí)間序列不等長(zhǎng)的情況，并且在整體波形形狀很相似，但在時(shí)間軸上不對(duì)齊的情況下，使用DTW來(lái)度量2個(gè)時(shí)間序列的相似性更為合理。DTW是一個(gè)典型的優(yōu)化問(wèn)題，通過(guò)把時(shí)間序列進(jìn)行延伸和縮短，從而達(dá)到將2個(gè)不等長(zhǎng)的時(shí)間序列進(jìn)行對(duì)齊的目的，進(jìn)而找到2個(gè)波形對(duì)齊的點(diǎn)，在滿足約束條件的眾多路徑中，選取距離最短的那條路徑來(lái)計(jì)算2個(gè)時(shí)間序列之間的相似性，將相似性較高的序列劃分為同一組。DTW方法用于面板數(shù)據(jù)聚類時(shí)，對(duì)時(shí)間序列的提取效果有較高的要求，時(shí)間序列的提取效果不好對(duì)DTW聚類的結(jié)果會(huì)產(chǎn)生很大的影響，因此，提升時(shí)間序列提取的準(zhǔn)確性能夠得到更為準(zhǔn)確的DTW距離矩陣，進(jìn)而提升聚類效果。計(jì)算DTW距離的方法如下：

假定比較2個(gè)時(shí)間序列X＝（x1，x2，…，xn）和Y＝（y1，y2，…，ym），若m＝n，則這2個(gè)時(shí)間序列為等長(zhǎng)時(shí)間序列，若m≠n則需要通過(guò)動(dòng)態(tài)規(guī)劃的思想將X和Y這2個(gè)時(shí)間序列進(jìn)行對(duì)齊。

首先計(jì)算2個(gè)時(shí)間序列中每對(duì)元素xi和yj的局部相異性測(cè)度函數(shù)f（·），即元素xi和yj間的歐氏距離。有

彎曲曲線（warping curve）定義為：

式中：彎曲函數(shù)Φx（k）和Φy（k）分別映射x和y的時(shí)間指數(shù)，k＝1，…，T，Φx（k）、Φy（k）∈｛1，…，t｝。

在給定彎曲路徑Φ的前提下，計(jì)算彎曲時(shí)間序列X和Y的平均累積變形，即X和Y動(dòng)態(tài)規(guī)整后的距離為：

式中：mΦ（k）是權(quán)重系數(shù)；MΦ（k）是對(duì)應(yīng)的歸一化常數(shù)；Φx（k＋1）≥Φx（k）。

在眾多規(guī)整路徑之中找到時(shí)間序列X和Y整體代價(jià)最小的路徑，即時(shí)間序列X和Y的最優(yōu)配置Φ，此路徑對(duì)應(yīng)的動(dòng)態(tài)規(guī)整后的距離即為時(shí)間序列X和Y的DTW距離，即：

3 穩(wěn)健動(dòng)態(tài)時(shí)間規(guī)整的面板數(shù)據(jù)聚類

動(dòng)態(tài)時(shí)間規(guī)整是一種時(shí)間序列的聚類方法，作用于面板數(shù)據(jù)提取時(shí)間序列之后，因此時(shí)間序列的提取會(huì)對(duì)動(dòng)態(tài)時(shí)間規(guī)整的結(jié)果產(chǎn)生影響，而離群值的存在會(huì)影響時(shí)間序列提取的準(zhǔn)確性，進(jìn)而影響最后的聚類結(jié)果，因此本文為了提升時(shí)間序列提取的準(zhǔn)確性，將穩(wěn)健統(tǒng)計(jì)量與動(dòng)態(tài)時(shí)間規(guī)整相結(jié)合，構(gòu)建出穩(wěn)健動(dòng)態(tài)時(shí)間規(guī)整的面板數(shù)據(jù)聚類方法，具體步驟如下：

1）用Fast-MCD方法計(jì)算t個(gè)時(shí)間點(diǎn)上的樣本穩(wěn)健均值向量Tt和穩(wěn)健協(xié)方差矩陣，再根據(jù)穩(wěn)健協(xié)方差矩陣計(jì)算出穩(wěn)健相關(guān)矩陣：

3）為了減少數(shù)據(jù)信息流失，本文取全部主成分計(jì)算每個(gè)樣本在每個(gè)時(shí)間點(diǎn)上的綜合得分F*h。

4）將所得到的F*h作為新的數(shù)據(jù)集，利用DTW方法來(lái)度量各綜合得分時(shí)間序列的相似性，得到樣本間的初始距離矩陣：

5）根據(jù)DTW距離矩陣，采用系統(tǒng)聚類法中的Ward法進(jìn)行聚類。

4 實(shí)證分析

選取2005—2019年，我國(guó)31個(gè)省市自治區(qū)人口總數(shù)、城鎮(zhèn)人口數(shù)、農(nóng)村人口數(shù)、死亡率、出生率和自然增長(zhǎng)率這6項(xiàng)人口情況數(shù)據(jù)，并根據(jù)上述數(shù)據(jù)對(duì)31個(gè)省市自治區(qū)進(jìn)行聚類分析。本文所使用數(shù)據(jù)均源自《中國(guó)統(tǒng)計(jì)年鑒》。

首先，以地區(qū)為單位，將原始數(shù)據(jù)分成31個(gè)樣本，對(duì)每個(gè)樣本分別進(jìn)行穩(wěn)健主成分分析來(lái)獲取穩(wěn)健主成分綜合得分，如表1所示。由于篇幅有限，表1給出的是2019年31個(gè)省市自治區(qū)的綜合得分，為了便于比較，表1中還給出了未進(jìn)行穩(wěn)健處理的主成分綜合得分。

表1 2019年31個(gè)省市自治區(qū)穩(wěn)健前后的綜合得分

從表1中可以看出：重慶、湖南、新疆、湖北、上海、廣東和遼寧7個(gè)地區(qū)在引入穩(wěn)健統(tǒng)計(jì)量前、后的綜合得分變化較大，說(shuō)明數(shù)據(jù)中存在離群值，這7個(gè)地區(qū)所對(duì)應(yīng)的數(shù)據(jù)在引進(jìn)穩(wěn)健統(tǒng)計(jì)量后，偏離樣本中心的樣本點(diǎn)被排除了，使得引入穩(wěn)健統(tǒng)計(jì)量后的綜合得分發(fā)生了改變。

接下來(lái)運(yùn)用動(dòng)態(tài)時(shí)間規(guī)整方法計(jì)算引進(jìn)穩(wěn)健統(tǒng)計(jì)量后的各時(shí)間序列間的距離，然后用系統(tǒng)聚類法中的Ward法進(jìn)行聚類。在聚類之前，需要確定合理的聚類數(shù)，聚類的數(shù)目可參照碎石圖來(lái)確定，圖1給出的是DTW方法的系統(tǒng)聚類碎石圖。

圖1 穩(wěn)健DTW方法的系統(tǒng)聚類碎石圖

從碎石圖中可以看出，當(dāng)聚類數(shù)目取4的時(shí)候，曲線坡度變化較小，逐漸趨于穩(wěn)定，因此聚類數(shù)目取4類較為合理。最后采用系統(tǒng)聚類法中的Ward法進(jìn)行聚類，將31個(gè)省市自治區(qū)分為4類，聚類結(jié)果如圖2所示。

圖2 改進(jìn)后的DTW聚類結(jié)果

為了便于比較改進(jìn)前后聚類結(jié)果的差異，將改進(jìn)前與改進(jìn)后的DTW聚類結(jié)果一并放入表2中。

表2 改進(jìn)前后的DTW聚類結(jié)果

從聚類結(jié)果中可以看出：改進(jìn)前后的聚類結(jié)果差異較大。綜合得分發(fā)生較大變化的重慶、湖南、新疆、湖北、上海、廣東和遼寧這7個(gè)地區(qū)在聚類后的變化較為明顯，改進(jìn)前的聚類結(jié)果中，上海、湖南和遼寧聚為一類；廣東一類；新疆、重慶和湖北聚為一類。改進(jìn)后這7個(gè)地區(qū)中，重慶、湖南和新疆聚為一類；湖北、遼寧各自為一類；上海和廣東聚為一類。

從總體聚類效果來(lái)看，改進(jìn)前的DTW聚類結(jié)果將浙江獨(dú)自聚為第1類，但在實(shí)際情況中，浙江人口情況數(shù)據(jù)的變化趨勢(shì)并不是特有的，其總?cè)丝跀?shù)和城鎮(zhèn)人口數(shù)逐年平穩(wěn)增長(zhǎng)，農(nóng)村人口數(shù)逐年遞減，出生率和自然增長(zhǎng)率在近2年都顯著降低，與重慶、湖南等城市的人口情況數(shù)據(jù)變化趨勢(shì)高度相似，因此，將浙江獨(dú)自聚為一類顯然是不合理的。第3類中將云南與上海、北京聚為一類，但從人口情況數(shù)據(jù)的變化趨勢(shì)來(lái)看，云南的各項(xiàng)人口情況數(shù)據(jù)的總體變化趨勢(shì)較為平穩(wěn)，而北京、上海的總?cè)丝跀?shù)增長(zhǎng)速度較快，且自然增長(zhǎng)率和出生率的波動(dòng)起伏較大，與云南的人口情況數(shù)據(jù)變化趨勢(shì)差異較大，因此，將云南與上海、北京等地區(qū)聚為一類也是不合理的。

改進(jìn)后的聚類結(jié)果將浙江與重慶、湖南、新疆聚為一類，這4個(gè)地區(qū)的總?cè)丝跀?shù)和城鎮(zhèn)人口數(shù)逐年平穩(wěn)增長(zhǎng)，農(nóng)村人口數(shù)逐年遞減，出生率和自然增長(zhǎng)率在近2年都顯著降低，可見(jiàn)將這4個(gè)地區(qū)聚為一類是合理的。第2類將山東、福建、陜西、湖北、江西、山西、寧夏、青海、內(nèi)蒙古、西藏、河北、吉林、四川、甘肅、黑龍江和海南聚為一類，這類地區(qū)的總?cè)丝跀?shù)增長(zhǎng)較為平穩(wěn)，且增長(zhǎng)幅度非常小，總?cè)丝跀?shù)基本保持不變，出生率和自然增長(zhǎng)率均呈現(xiàn)平穩(wěn)或下降的趨勢(shì)，這類地區(qū)經(jīng)濟(jì)發(fā)展相對(duì)穩(wěn)定，人口流動(dòng)形式多屬于省內(nèi)人口流動(dòng)。第3類將上海、北京、天津和廣東聚為一類，這類地區(qū)城鎮(zhèn)人口數(shù)的增長(zhǎng)速度較快，農(nóng)村人口下降幅度非常小，自然增長(zhǎng)率總體呈現(xiàn)較為平穩(wěn)的趨勢(shì)，但具體變化趨勢(shì)波動(dòng)性較大，北京、天津、上海、廣州這類地區(qū)經(jīng)濟(jì)發(fā)展較為迅速，人才流入量較大，這在一定程度上致使總?cè)丝跀?shù)和城鎮(zhèn)人口數(shù)增長(zhǎng)速度較快。第4類將貴州、廣西、江蘇、安徽、河南、云南和遼寧聚為一類，這類地區(qū)的城鎮(zhèn)人口數(shù)的增長(zhǎng)速率與農(nóng)村人口數(shù)的下降速率基本一致，總?cè)丝跀?shù)基本持平，自然增長(zhǎng)率、死亡率和出生率非常平穩(wěn)，無(wú)太大的改變，這類的城市經(jīng)濟(jì)發(fā)展與文化發(fā)展都非常穩(wěn)定。

為了進(jìn)一步直觀反映改進(jìn)后的聚類效果，本文給出2005—2019年各類地區(qū)取全部主成分后的綜合得分趨勢(shì)圖，如圖3所示。

圖3 改進(jìn)后2005—2019年各類地區(qū)綜合得分趨勢(shì)圖

從圖中可以較為直觀的看出每一類中的樣本的綜合得分走勢(shì)十分相似，第1類呈現(xiàn)穩(wěn)定增長(zhǎng)的趨勢(shì)，第2類呈現(xiàn)穩(wěn)定下降的趨勢(shì)，第3類呈現(xiàn)先下降后平穩(wěn)的趨勢(shì)，第4類呈現(xiàn)先平穩(wěn)后下降的趨勢(shì)，說(shuō)明聚類結(jié)果較為穩(wěn)健。

為了更加直觀地比較2種方法的聚類效果，本文還給出了改進(jìn)前的各類地區(qū)綜合得分趨勢(shì)圖，如圖4所示。

圖4 改進(jìn)前2005—2019年各類地區(qū)綜合得分趨勢(shì)圖

從圖中可以看出：第1類的綜合得分趨勢(shì)，將增長(zhǎng)的趨勢(shì)與下降的趨勢(shì)聚為一類，顯然是不合理的，且第2類的綜合得分趨勢(shì)與第1類中部分變量的增長(zhǎng)趨勢(shì)相似卻獨(dú)自聚為一類也是不合理的。因此，通過(guò)比較2種方法得出的綜合得分趨勢(shì)圖可以得出以下結(jié)論：采用改進(jìn)前的方法進(jìn)行聚類的效果不是非常合理，而改進(jìn)后的綜合得分趨勢(shì)圖中，每個(gè)類別中的變量綜合得分趨勢(shì)都十分相似，說(shuō)明此方法能夠更加準(zhǔn)確地將綜合得分趨勢(shì)相近的城市聚成一類，與改進(jìn)前的方法相比，改進(jìn)后的DTW聚類方法得到的聚類效果更好。

綜上所述，將2種方法得到的結(jié)果與實(shí)際情況相驗(yàn)證，可知改進(jìn)后的動(dòng)態(tài)時(shí)間規(guī)整的面板數(shù)據(jù)聚類的聚類效果要比改進(jìn)前的動(dòng)態(tài)時(shí)間規(guī)整的面板數(shù)據(jù)聚類的聚類結(jié)果好，提升了時(shí)間序列提取的準(zhǔn)確性，能夠很好地抵御離群值的影響，使聚類效果更好，更穩(wěn)健，更貼合實(shí)際意義。

5 結(jié)論

文中引進(jìn)Fast-MCD穩(wěn)健統(tǒng)計(jì)量消除離群值給聚類結(jié)果的影響，提升時(shí)間序列提取的準(zhǔn)確性，消除了離群值對(duì)動(dòng)態(tài)時(shí)間規(guī)整結(jié)果的影響，得到較為穩(wěn)健的聚類結(jié)果，實(shí)證結(jié)果表明：引進(jìn)穩(wěn)健統(tǒng)計(jì)量后的DTW聚類結(jié)果較為穩(wěn)健且更符合實(shí)際。