基于動(dòng)態(tài)模糊聚類的數(shù)據(jù)挖掘研究
——以安徽城市綜合實(shí)力分析為例

李 眩，吳曉兵，童百利

(安徽省銅陵職業(yè)技術(shù)學(xué)院 經(jīng)管系，安徽 銅陵 244061)

地級(jí)城市的綜合實(shí)力是推動(dòng)地域發(fā)展的重要?jiǎng)恿?，分析其綜合實(shí)力并進(jìn)行相應(yīng)解析，對(duì)研究我國(guó)地域經(jīng)濟(jì)具有重要意義，同時(shí)也可衡量城市的發(fā)展水平和發(fā)達(dá)程度[1]。城市綜合實(shí)力聚類是對(duì)比城市間綜合實(shí)力的一種常用方法，其要解決的關(guān)鍵問(wèn)題是分析指標(biāo)的選取和聚類方法的選擇。國(guó)內(nèi)外學(xué)者從不同角度對(duì)構(gòu)建城市綜合實(shí)力評(píng)價(jià)指標(biāo)體系進(jìn)行了許多研究，為本文的研究提供了有益借鑒。

聚類分析是數(shù)據(jù)挖掘研究領(lǐng)域中一個(gè)非常活躍的課題，就是將一組物理或抽象對(duì)象分組為類似對(duì)象組成的多個(gè)類的過(guò)程，使同類對(duì)象彼此類似，不同類對(duì)象彼此相異。如果分類數(shù)量已知成為靜態(tài)聚類，在分析過(guò)程中獲得類的數(shù)量則為動(dòng)態(tài)聚類[2]。傳統(tǒng)的聚類方法是基于經(jīng)驗(yàn)或者簡(jiǎn)單的統(tǒng)計(jì)方法，聚類主觀性強(qiáng)，效果不理想。其聚類方法一般都是硬劃分，將對(duì)象進(jìn)行嚴(yán)格區(qū)分，分類界限分明。而電子商務(wù)客戶群具有多樣性的特點(diǎn)，往往不能用某一嚴(yán)格界限對(duì)其進(jìn)行具體類的劃分，采用傳統(tǒng)方法聚類不理想。模糊理論的出現(xiàn)為聚類提供新的思路，聚類思想由硬劃分中的“要么屬于，要么不屬于”變化為“用屬于程度來(lái)描述”[3]?？陀^事物之間沒有一個(gè)截然區(qū)別的界限，不是嚴(yán)格分明的，是帶有模糊性的，因此用模糊方法解決聚類問(wèn)題必然更符合實(shí)際。模糊聚類結(jié)果不是說(shuō)事物絕對(duì)地屬于或不屬于某類，而是指屬于某類的程度有多大，其在聚類分析的基礎(chǔ)上，引入“隸屬度”來(lái)度量每個(gè)樣本與各類的隸屬程度，聚類結(jié)果比較科學(xué)合理。本文提出的動(dòng)態(tài)模糊聚類應(yīng)用于城市綜合實(shí)力的分析，MATLAB仿真結(jié)果表明了該算法的可行性、有效性和優(yōu)越性。

一、數(shù)據(jù)挖掘理論

隨著大數(shù)據(jù)時(shí)代的到來(lái)，以云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)、智能終端、物聯(lián)網(wǎng)為代表的新一代信息技術(shù)普及速度不斷加快發(fā)展，使得數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算和分析能力得到的大幅度提升，傳統(tǒng)的對(duì)于數(shù)據(jù)的查詢、處理和統(tǒng)計(jì)分析已經(jīng)不能滿足于人們對(duì)于數(shù)據(jù)應(yīng)用的需要，迫切希望能夠?qū)ζ溥M(jìn)行更高層次的分析以便更好地利用這些數(shù)據(jù)，進(jìn)而獲取能指導(dǎo)未來(lái)行為的規(guī)律和模式，并提高企業(yè)、社會(huì)、組織和機(jī)構(gòu)的效益以及效率。計(jì)算機(jī)處理數(shù)據(jù)的速度很快，但從海量數(shù)據(jù)中挖掘規(guī)律并不是簡(jiǎn)單的操作，因此需要有行之有效的分析算法來(lái)完成在數(shù)據(jù)中“沙里淘金”的過(guò)程，因此數(shù)據(jù)挖掘技術(shù)也就應(yīng)運(yùn)而生了。數(shù)據(jù)挖掘(Datamining)是知識(shí)發(fā)現(xiàn)(簡(jiǎn)稱：KDD)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算科學(xué)有關(guān)，并通過(guò)統(tǒng)計(jì)、聚類分析、機(jī)器學(xué)習(xí)、專家系統(tǒng)(依靠過(guò)去的經(jīng)驗(yàn)法則)和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)[4]。近年來(lái)，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注，其主要原因是存在大量數(shù)據(jù)，可以廣泛使用，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識(shí)。獲取的信息和知識(shí)可以廣泛用于各種應(yīng)用，包括商業(yè)智能，生產(chǎn)控制，市場(chǎng)分析，工程設(shè)計(jì)和科學(xué)探索等。數(shù)據(jù)挖掘利用了來(lái)自如下一些領(lǐng)域的思想：(1) 來(lái)自統(tǒng)計(jì)學(xué)的抽樣、估計(jì)和假設(shè)檢驗(yàn)；(2)人工智能、模式識(shí)別和機(jī)器學(xué)習(xí)的搜索算法、建模技術(shù)和學(xué)習(xí)理論；(3)模糊理論以及新型的灰色系統(tǒng)理論。數(shù)據(jù)挖掘也迅速地接納了來(lái)自其他領(lǐng)域的思想，這些領(lǐng)域包括最優(yōu)化、進(jìn)化計(jì)算、信息論、信號(hào)處理、可視化和信息檢索。分類、估算、預(yù)測(cè)、相關(guān)性分組或關(guān)聯(lián)規(guī)則、聚類、圖形圖像分割，視頻及音頻檢索等都屬于數(shù)據(jù)挖掘研究。

數(shù)據(jù)挖掘技術(shù)已經(jīng)在商業(yè)方面得到了廣泛應(yīng)用，根據(jù)顧客購(gòu)買記錄，使用序列模式挖掘顧客的消費(fèi)變化，分析顧客的忠誠(chéng)程度。電商平臺(tái)基于用戶的基本屬性、購(gòu)買能力、行為特征、興趣愛好，使用數(shù)據(jù)挖掘技術(shù)構(gòu)建客戶畫像，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷；在制造領(lǐng)域，數(shù)據(jù)挖掘技術(shù)可以在生產(chǎn)、裝配、質(zhì)檢、維修等多個(gè)環(huán)節(jié)來(lái)幫助企業(yè)解決傳統(tǒng)管理與技術(shù)難以的解決的問(wèn)題?；诋a(chǎn)品生產(chǎn)工藝流程和缺陷分析，找出生產(chǎn)過(guò)程影響生產(chǎn)質(zhì)量的因素，從而通過(guò)重點(diǎn)改進(jìn)相關(guān)環(huán)節(jié)及工藝，來(lái)提高企業(yè)的生產(chǎn)效率，保障產(chǎn)品質(zhì)量。通過(guò)設(shè)備故障數(shù)據(jù)分析，發(fā)現(xiàn)影響設(shè)備故障的因素，提前進(jìn)行故障預(yù)測(cè)，實(shí)現(xiàn)預(yù)測(cè)性設(shè)備檢修維護(hù)。以及最優(yōu)的設(shè)備裝備方案、最佳產(chǎn)品生產(chǎn)工藝參數(shù)組合、產(chǎn)品質(zhì)量分析與問(wèn)題追溯。數(shù)據(jù)挖掘已經(jīng)深入到生產(chǎn)制造的各個(gè)環(huán)節(jié)，是制造行業(yè)智能化轉(zhuǎn)型的核心基礎(chǔ)支撐；在電子政務(wù)應(yīng)用方面，基于智慧交通、智慧政務(wù)、智慧旅游等多領(lǐng)域數(shù)據(jù)分析與挖掘技術(shù)應(yīng)用的智慧城市建設(shè)，已經(jīng)成為當(dāng)今時(shí)代的主題。政府在城市規(guī)劃中，通過(guò)對(duì)城市地理、氣象等自然信息和經(jīng)濟(jì)、社會(huì)、文化、人口等人文社會(huì)信息的挖掘，可以為城市規(guī)劃提供強(qiáng)大的決策支持，強(qiáng)化城市管理服務(wù)的科學(xué)性和前瞻性。大數(shù)據(jù)時(shí)代下的電子政務(wù)具備海量繁復(fù)的數(shù)據(jù)資源,而數(shù)據(jù)挖掘則是提升數(shù)據(jù)利用價(jià)值,為輿情管控、業(yè)務(wù)創(chuàng)新提供支撐的核心所在。數(shù)據(jù)挖掘在各領(lǐng)域的應(yīng)用和重要性不勝枚舉，應(yīng)用相應(yīng)算法對(duì)數(shù)據(jù)進(jìn)行挖掘來(lái)指導(dǎo)工作提供決策依據(jù)，是目前各個(gè)領(lǐng)域備受關(guān)注的熱點(diǎn)。

二、城市綜合實(shí)力評(píng)價(jià)指標(biāo)的選取

任何事物包含的信息是多方面的，對(duì)其進(jìn)行合理全面評(píng)價(jià)，必須構(gòu)建全面科學(xué)的評(píng)估指標(biāo)體系，城市的綜合發(fā)展?fàn)顩r亦是如此。依據(jù)層次性、代表性、獨(dú)立性、綜合性和可行性等原則選取指標(biāo)[5]構(gòu)建評(píng)價(jià)指標(biāo)體系。本文選取了11個(gè)典型的指標(biāo)來(lái)評(píng)價(jià)城市綜合實(shí)力，分別為人口、地方財(cái)政收入、固定資產(chǎn)投資、地區(qū)生產(chǎn)總值、外商實(shí)際投資額、城鎮(zhèn)居民家庭年人均收入、旅游總收入、貨運(yùn)總量、商品進(jìn)出口總額、社會(huì)消費(fèi)品零售總額、農(nóng)村居民年人均收入。這11項(xiàng)指標(biāo)涵蓋城市經(jīng)濟(jì)及人口規(guī)模、工業(yè)和商業(yè)化程度、進(jìn)出口貿(mào)易、招商引資能力等諸多方面。2018年安徽省16市的主要經(jīng)濟(jì)指標(biāo)數(shù)值如表1所示。

三、動(dòng)態(tài)模糊聚類算法

(一)模糊聚類的原理

模糊聚類算法是基于目標(biāo)函數(shù)優(yōu)化基礎(chǔ)上的一種數(shù)據(jù)動(dòng)態(tài)聚類方法[6]，每項(xiàng)數(shù)據(jù)是哪類是比較模糊的，不能精確斷定，只是在某些方面有相似性，這相似性聚類結(jié)果是每個(gè)數(shù)據(jù)對(duì)聚類中心的隸屬度來(lái)度量得出的，該隸屬程度用一個(gè)數(shù)值來(lái)表示[7]。

模糊聚類算法執(zhí)行步驟如下：

模糊聚類分析的目標(biāo)函數(shù)：

其中，uji表示樣本xj對(duì)應(yīng)第i類中心vi的隸屬度，m是模糊權(quán)重因子(m>1),dji=||xj-vi||是樣本xj到第i類中心vi的歐氏距離，c為分類數(shù)目(1

s×c矩陣，s代表維數(shù)。

(1)設(shè)定聚類數(shù)目c和模糊權(quán)重參數(shù)m，隨機(jī)初始化聚類中心;

(2)計(jì)算所有樣本數(shù)據(jù)的隸屬度矩陣，并且是每列元素之和滿足恒等于1的約束條件；

(3)計(jì)算Uk，則有：

(4)計(jì)算Vk+1，則有：

(5)更新聚類中心，若||UK+1-UK||≤ε，停止迭代，輸出聚類結(jié)果，否則k=k+1,轉(zhuǎn)向步驟(3)繼續(xù)執(zhí)行。

(二)模糊聚類的實(shí)現(xiàn)代碼

模糊聚類的MATLAB程序[8]代碼共包括三個(gè)函數(shù)，通過(guò)相互調(diào)用能實(shí)現(xiàn)聚類的過(guò)程和結(jié)果輸出，代碼如下：

Data為待輸入的16市的11位數(shù)據(jù)矩陣。

function[U,V,objFcn]=myfcm(data,c,T,m,epsm)

[m n]=size(data);

for i=1:m

data(i,:)=data(i,:)/norm(data(i,:));

end;

c=5

if nargin<3

T=100;

end

if nargin<5

epsm=1.0e-6;

end

if nargin<4

m=2;

end

[n,s]=size(data);

U0=rand(c,n);

temp=sum(U0,1);

for i=1:n

U0(:,i)=U0(:,i)./temp(i);

end

iter=0;

V(c,s)=0;U(c,n)=0;distance(c,n)=0;

while(iter

iter=iter+1;

Um=U0.^m;

V=Um*data./(sum(Um,2)*ones(1,s));

for i=1:c

for j=1:n

distance(i,j)=mydist(data(j,:),V(i,:));

end

end

U=1./(distance.^m.*(ones(c,1)*sum(distance.^(-m))));

objFcn(iter)=sum(sum(Um.*distance.^2));

if norm(U-U0,Inf)

break

end

U0=U;

end

myplot(U,objFcn);

function d=mydist(X,Y)

d=sqrt(sum((X-Y).^2));

end

function myplot(U,objFcn)

figure(1)

subplot(5,1,1);

plot(U(1,:),’-k’);

title(’隸屬度矩陣值’)

ylabel(’第一類’)

subplot(5,1,2);

plot(U(2,:),’-k’);

ylabel(’第二類’)

subplot(5,1,3);

plot(U(3,:),’-k’);

ylabel(’第三類’)

subplot(5,1,4);

plot(U(4,:),’-k’);

ylabel(’第四類’)

subplot(5,1,5);

plot(U(5,:),’-k’);

ylabel(’第五類’)

xlabel(’樣本數(shù)’)

figure(2)

grid on

plot(objFcn);

title(’目標(biāo)函數(shù)變化值’);

xlabel(’迭代次數(shù)’)

ylabel(’目標(biāo)函數(shù)值’)

表1 2018年安徽省16市主要經(jīng)濟(jì)指標(biāo)值

數(shù)據(jù)來(lái)源于《2018年安徽省統(tǒng)計(jì)年鑒》

表1 2018年安徽省16市主要經(jīng)濟(jì)指標(biāo)值

數(shù)據(jù)來(lái)源于《2018年安徽省統(tǒng)計(jì)年鑒》

表2 模糊聚類隸屬度

圖1 隸屬度矩陣值

圖2 目標(biāo)函數(shù)值變化

圖3 3D聚類結(jié)果圖

四、安徽省城市綜合實(shí)力的模糊聚類分析

(一)數(shù)據(jù)的預(yù)處理

查閱《2018年安徽省統(tǒng)計(jì)年鑒》中獲取16個(gè)地市的11項(xiàng)指標(biāo)數(shù)值，每個(gè)城市數(shù)據(jù)包含人口、地方財(cái)政收入、固定資產(chǎn)投資、地區(qū)生產(chǎn)總值、外商實(shí)際投資額、城鎮(zhèn)居民家庭年人均收入、旅游總收入、貨運(yùn)總量、商品進(jìn)出口總額、社會(huì)消費(fèi)品零售總額、農(nóng)村居民年人均收入。這11項(xiàng)指標(biāo)能較全面描述城市經(jīng)濟(jì)、人口、商業(yè)和進(jìn)出口等方面的特征[7]。將每個(gè)城市的11維指標(biāo)數(shù)據(jù)進(jìn)行歸一化處理，將原始數(shù)據(jù)映射為[0,1]區(qū)間內(nèi)的數(shù)據(jù)，消除數(shù)量級(jí)和量綱不同對(duì)后續(xù)分析帶來(lái)的干擾。

(二)模糊聚類結(jié)果分析

應(yīng)用本文提出的模糊算法對(duì)16個(gè)城市的綜合實(shí)力進(jìn)行聚類分析來(lái)驗(yàn)證算法的可行性和合理性。MATLAB程序中，聚類數(shù)目設(shè)定c=5， data為16個(gè)城市的11維特征數(shù)據(jù)矩陣，模糊度m=2.在MATLAB環(huán)境中運(yùn)行上述程序，得到每個(gè)城市劃類的隸屬度值如表2所示，圖1為隸屬度矩陣值的示意圖，根據(jù)隸屬度值的大小和圖1能得知每位客戶的最佳聚類，圖2 為目標(biāo)函數(shù)變化值示意圖，大約經(jīng)過(guò)12次迭代運(yùn)算，動(dòng)態(tài)模糊聚類算法收斂，目標(biāo)函數(shù)值已經(jīng)非常穩(wěn)定，說(shuō)明聚類迭代計(jì)算已達(dá)到要求。并且可以進(jìn)一步作出3D聚類結(jié)果圖，如圖3所示。

最終將16個(gè)城市按綜合實(shí)力分為五類，第一類：合肥，作為安徽省的省會(huì)，是經(jīng)濟(jì)、政治、文化、金融、信息中心，也是全省唯一的大型城市，城市發(fā)展基礎(chǔ)很好，綜合實(shí)力是最強(qiáng)的；第二類：蕪湖，處于長(zhǎng)江沿岸，經(jīng)濟(jì)地區(qū)條件優(yōu)越，交通發(fā)達(dá)，是安徽省的門戶城市和區(qū)域中心城市，得益于良好的區(qū)域優(yōu)勢(shì)、得天獨(dú)厚的發(fā)展環(huán)境及發(fā)達(dá)的交通，綜合實(shí)力在安徽省很強(qiáng)，其綜合實(shí)力遙遙領(lǐng)先于除省會(huì)合肥外的其他地級(jí)城市；第三類：馬鞍山、滁州、蚌埠、宣城、安慶、阜陽(yáng)，馬鞍山、滁州、安慶四個(gè)城市緊靠長(zhǎng)三角和江浙，區(qū)域優(yōu)勢(shì)較好，受長(zhǎng)三角、江浙的輻射帶動(dòng)，發(fā)展較好；蚌埠為皖北區(qū)域的中心城市、鐵路交通樞紐城市，交通區(qū)位優(yōu)越，發(fā)展基礎(chǔ)較好；阜陽(yáng)市僅次于合肥的全省第二交通樞紐，六條高鐵在此匯聚，由于高鐵樞紐的帶動(dòng)，近年經(jīng)濟(jì)持續(xù)較快增長(zhǎng)；宣城地處皖南山區(qū)和長(zhǎng)江下游平原的結(jié)合部，處在滬寧杭大三角的西部腰線上，是南京都市圈成員城市，是中部地區(qū)承接?xùn)|部地區(qū)產(chǎn)業(yè)、資本轉(zhuǎn)移的前沿陣地，皖蘇浙交匯區(qū)域中心城市，近幾年利用好自身區(qū)域優(yōu)勢(shì)，厚積薄發(fā)，經(jīng)濟(jì)實(shí)力逐漸增強(qiáng)；上述六市綜合實(shí)力在安徽省比較靠前；第四類：銅陵、淮南、宿州、亳州、淮北、六安，上述六市綜合實(shí)力在安徽省是較弱的；淮南是安徽省重要的能源城市，能源工業(yè)比較發(fā)達(dá)，近年開始城市轉(zhuǎn)型升級(jí)，經(jīng)濟(jì)稍有所增強(qiáng)?；幢彪m屬全國(guó)能源基地，但近年未能較快轉(zhuǎn)型升級(jí)，未大力發(fā)展替代產(chǎn)業(yè)，實(shí)力在全省較遜色，應(yīng)尋找新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)，優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)；銅陵有較好的地域優(yōu)勢(shì)，但屬于資源城市，資源枯竭的背景下，受限于城市規(guī)模較小和產(chǎn)業(yè)結(jié)構(gòu)單一而導(dǎo)致城市競(jìng)爭(zhēng)力下降，產(chǎn)業(yè)轉(zhuǎn)型升級(jí)任重道遠(yuǎn)，將樅陽(yáng)融入地區(qū)版圖后，城市規(guī)模有擴(kuò)大，但目前總體經(jīng)濟(jì)跟不上全省步伐，目前來(lái)看，做大城市、做高層次、做出產(chǎn)業(yè)特色是銅陵城市競(jìng)爭(zhēng)力和產(chǎn)業(yè)區(qū)域地位提升的關(guān)鍵；六安地處皖西大別山麓，工業(yè)基礎(chǔ)較薄弱，發(fā)展較緩；宿州和亳州地處淮北平原，農(nóng)業(yè)長(zhǎng)期占據(jù)優(yōu)勢(shì)，其他產(chǎn)業(yè)發(fā)展過(guò)緩，市區(qū)域優(yōu)勢(shì)不明顯，沒有較強(qiáng)的產(chǎn)業(yè)支撐，綜合實(shí)力在安徽省是比較弱的。第五類：黃山、池州，黃山位于皖南山區(qū)，雖旅游業(yè)發(fā)達(dá)，但產(chǎn)業(yè)結(jié)構(gòu)單一，今后應(yīng)依托豐富的旅游資源、生態(tài)資源，優(yōu)化環(huán)境改革創(chuàng)新加快發(fā)展；上述的動(dòng)態(tài)模糊聚類分析結(jié)果與最近幾年實(shí)際情況基本上是吻合的。

同時(shí)也表明：安徽省城市綜合實(shí)力區(qū)域差異明顯，各城市的區(qū)域特征及存在的問(wèn)題和發(fā)展?fàn)顩r不盡相同。為消除城市間發(fā)展的不平衡和促進(jìn)地域間的協(xié)調(diào)發(fā)展，需結(jié)合自身實(shí)際，因地制宜制定各自的發(fā)展戰(zhàn)略。

五、結(jié)語(yǔ)

本文提出了基于動(dòng)態(tài)模糊理論的數(shù)據(jù)聚類方法，并將其應(yīng)用于18年安徽省城市綜合實(shí)力的聚類分析，應(yīng)用結(jié)果表明，該方法對(duì)于具有非線性特征的數(shù)據(jù)(如城市的經(jīng)濟(jì)數(shù)據(jù)、交通流量數(shù)據(jù)、設(shè)備故障數(shù)據(jù)分類診斷等)聚類具有很好的應(yīng)用前景.同時(shí)，該方法對(duì)于其他專業(yè)領(lǐng)域如模式識(shí)別、模糊控制亦有一定的實(shí)際指導(dǎo)意義，為問(wèn)題的突破提供好的思路。