基于模糊c均值聚類算法的控制圖模式識別

張和平，李俊武

(南昌大學 經濟管理學院，江西 南昌 330031)

控制圖作為統(tǒng)計過程控制的重要工具，在制造過程的質量控制中起著重要的作用，廣泛應用于加工過程的監(jiān)控。通常對控制圖原理的解釋為當控制圖中的某些點超出了控制限或控制圖顯示了一個異常模式，則表明制造過程失去控制[1]。其中，前者是比較容易識別的，但后者需要利用一些特定的方法進行識別，主要可以歸類為專家系統(tǒng)方法和機器學習方法。其中，專家系統(tǒng)方法存在著局限性，因而對于此方面的研究比較少。1987年，Swift[2]為控制圖模式識別設計了第一個專家系統(tǒng)。此后，有學者對專家系統(tǒng)也進行了許多其他研究。Bag等[3]設計了一個專家系統(tǒng)，用于在線監(jiān)測控制圖模式，使質量控制人員能夠對失控的制造過程及時采取糾偏措施。由于專家系統(tǒng)方法的識別規(guī)則存在缺陷，導致其識別性能不佳[4]。

控制圖模式識別的機器學習方法主要包括人工神經網絡和支持向量機。人工神經網絡分為監(jiān)督式學習和非監(jiān)督式學習。對于控制圖模式的識別，使用較多的監(jiān)督式人工神經網絡方法有多層感知器[5](multilayer perceptron, MLP)、徑 向 基 函 數[6](radial basis function, RBF)、學習向量量化[7](learning vector quantization, LVQ)等；另一方面，非監(jiān)督式學習的神經網絡如自組織映射[8](self-organizing map, SOM)神經網絡和自適應共振理論[9](adaptive resonance theory, ART)也被應用于控制圖的識別。近年來隨著深度學習熱潮的高漲，有部分學者將卷積神經網絡應用于控制圖模式的識別[10-11]。然而傳統(tǒng)的人工神經網絡需要大量的訓練數據，存在收斂速度慢、容易陷入局部極值[12]等缺點，深度神經網絡對數據量的需求較之傳統(tǒng)神經網絡更多，并且對參數設置的要求較高。支持向量機由于其良好的泛化能力在控制圖模式識別領域得到較多的應用，適用于小樣本的情形[13]。在機器學習中，控制圖模式識別輸入數據的樣本點數較多，會產生高維數據，但機器學習方法對應用高維數據時的分類表現并不令人滿意。因此，有學者研究了控制圖模式的特征提取以便實現對高維數據的降維處理，其中主要的特征提取有形狀特征[14]、統(tǒng)計特征[15]、小波分析特征[16]以及混合特征[17]等。

綜上所述，現有控制圖模式識別的研究仍然存在優(yōu)化空間。其中，專家系統(tǒng)的識別性能相關研究較少且有待提升。傳統(tǒng)人工神經網絡以及支持向量機對原始數據的識別能力欠優(yōu)，對原始數據特征值的提取存在著諸多的困難和不足，尤其是當提取的特征值不能夠代表每種控制圖模式之間的差異性時，對機器學習的識別能力提升有限甚至出現下降。同時，二者的參數設置對控制圖模式識別的性能影響較大；以卷積神經網絡為例，現有的深度神經網絡對控制圖模式的原始數據具有較好的識別效果，但其結構較為復雜，參數選擇較為困難。因此，本文提出利用小波變換處理原始數據，再利用模糊c均值(fuzzy c-means, FCM)聚類算法進行控制圖模式識別。相較于已有的控制圖模式識別研究，此方法具有特征值提取簡易、算法參數設置較少、訓練集數量少、識別性能較好等優(yōu)點。

1 控制圖模式和FCM聚類算法

1.1 控制圖模式

現實的生產制造活動中，質量因素的來源可以分為5M1E(即人、機、料、法、環(huán)、測量)6個方面。這6個方面從總體而言，可以分為隨機因素與異常因素。其中，隨機因素是始終存在的，對質量影響微小且難以除去；異常因素出現頻率較低且對質量影響大，但通過一定的技術手段可以除去。統(tǒng)計過程控制圖的實質就是區(qū)分隨機因素與異常因素。其中，只受隨機因素影響時的控制圖為正常模式控制圖；當質量特性數據出現周期、階躍、趨勢等狀態(tài)時，表明過程受到異常因素的影響?？刂茍D模式主要分為6種情形，如圖1所示。

圖1 6種控制圖模式Figure 1 Six patterns of control chart

1.2 FCM聚類算法

聚類分析是把相似的樣本歸為一類的方法，是多元統(tǒng)計分析的一個分支，也是非監(jiān)督模式識別的一個重要分支。FCM聚類算法是聚類分析的方法之一，同樣具有無監(jiān)督式學習簡便的優(yōu)點，尤其是在聚類數量已知時，該方法對模式識別具有良好的效果。當數據集X、聚類類別數c和權重r值已知時(一般采用r=2)，利用FCM算法便能確定最佳模糊分類矩陣和模糊聚類中心；當給定FCM算法的停止閾值ε時，可以利用迭代算法來求解。FCM聚類算法步驟[18]如下。

步驟1 初始化。設總樣本集Xi，給定權重r= 2，聚類數c= 6，初始隸屬矩陣U(0)，設定停止閾值ε，設置迭代計數器b= 0。

步驟2 當迭代次數為b(b= 1, 2, ···)時，計算聚類中心向量

2 仿真實驗分析

2.1 仿真實驗分析流程

按照一般的機器學習算法流程，首先，采用一維離散小波變換對數據提取特征并將樣本劃分為訓練集與測試集，再利用訓練集來對FCM聚類算法的控制圖模式識別進行訓練，最終利用測試集來測試該算法的識別準確率，具體的技術路線按圖2進行。

圖2 仿真實驗流程圖Figure 2 The flow chart of simulation experiment

2.2 控制圖數學表達式

由于實際生產過程中的異?？刂茍D模式數據量較少，在此采用蒙特卡洛方法生產6種控制圖模式的樣本數據。其中，6種控制圖可以看成4種類型的數學模型，其表達式分別如下。

正常模式：

其中，y(t)為制造過程中的質量特征參數觀測值；μ為處于系統(tǒng)控制狀態(tài)下的質量特征參數的平均值；w(t)為服從正態(tài)分布N(μ,σ2)的白噪聲，σ為標準差；t為采集特征參數的時間值；d為啞變量，在異常模式發(fā)生之前取值為0，發(fā)生之后取值為1，其中異常模式在第6和第7點中隨機發(fā)生。此外，周期模式中，A表示振幅，T表示循環(huán)周期；趨勢模式中，k為向上或者向下偏移的斜率；階躍模式中，s為向上或向下偏移的振幅。根據式(3) ～ (6)，不同控制圖模式的相關具體參數如表1所示。

表1 控制圖模式的相關參數Table 1 The parameters of the patterns of control chart

2.3 樣本數據生成

現有的研究中，每種控制圖模式包含的樣本點數大都為60個或者更多，這樣的樣本設置能夠更好地體現不同控制圖模式之間的特征差異性，從而便于區(qū)分，有利于提高識別準確率。為了便于及時發(fā)現制造過程中的異常，減少損失，每個控制圖模式選取的樣本點數為25個[10]。不過這會使得不同控制圖模式之間變得非常相似，尤其是趨勢模式和階躍模式，將增加算法對控制圖模式識別的難度。此外，由于FCM聚類算法不需要大量樣本進行訓練，因此暫且采用蒙特卡洛方法產生180個訓練樣本，符合訓練集的數量要求，其中，每種控制圖模式的樣本量為30個。測試樣本量設置為720個，并進行1 000次測試。

2.4 一維離散小波變換

控制圖一般分為6種模式，每種模式的特征及其變化趨勢各不相同，不同的小波函數對同一種控制圖模式的特征提取都不完全相同。因此，對于不同控制圖模式的特征提取會更加不一致。根據文獻[19]，對控制圖模式進行特征提取的小波函數需要滿足正交性、對稱性、緊支性等特性。由于某小波函數并不完全滿足上述全部特性，因此選取盡可能符合相關特性的小波函數，如表2所示。

表2 用以提取控制圖特征的小波函數Table 2 The wavelet function used for extracting the features of control chart

由于數據采用蒙特卡洛仿真方法產生，數據樣本中會不可避免地產生人工噪聲，從而影響對控制圖模式識別的準確率。此外，機器學習算法往往對較低維度的數據樣本具有更好的學習表現。因此，需要對原始數據進行降噪和降維處理?？紤]到小波變換的方法能夠對原始數據的信息表達同時兼顧時間域與頻率域[19]，較好地過濾高頻噪聲，保留低頻的主要信息，因而也能滿足降維的需求。因此，將對原始數據進行一維離散小波變換。根據實際情況，不宜對樣本進行層數過多的小波分解，這是由于每個樣本所包含的樣本量較少，進行較多層的小波分解容易丟失主要信息，所以采用層數為1的一維離散小波變換對原始數據進行降噪和降維處理。

圖3中以周期模式為例對原始信號采用一維離散小波變換，其中小波函數為coif 2。從圖中可以看到，當對原始信號進行層數為1的一維離散小波變換時，低頻近似系數cA1較好地保留了周期模式的主要特征，并有效地去除了隨機擾動的噪聲，但是，對原始信號進行層數為2的一維離散小波變換時，得到的低頻近似系數cA2的信號圖像與周期模式并不吻合，這也證明采用層數為1的一維離散小波變換的合理性。

圖3 不同層數分解的小波變換圖像Figure 3 Images decomposed by different layers of wavelet transform

2.5 最優(yōu)超參數設置

由于FCM聚類算法中的參數設置較為簡單，僅僅停止閾值ε的大小會對控制圖模式識別的效果產生影響。但是，本研究中采用一維離散小波變換的方法對原始數據進行降維、降噪處理，因此不同小波函數的選擇也會影響控制圖模式識別的效果。綜上所述，停止閾值的設置和不同小波函數的選擇將作為尋找控制圖模式最佳識別效果的超參數設置。文獻[17]中，采用db4小波函數取得較好的識別效果。因此，選擇db4為默認小波函數，來探究不同停止閾值的取值對控制圖模式識別的影響，以尋求較優(yōu)的識別效果。

如圖4和圖5所示，在停止閾值ε =5×10?4時，對原始數據采用FCM聚類算法后，有些模式的隸屬度十分接近且最大隸屬度值較小，因而對于后續(xù)的控制圖模式的識別測試結果影響較大。因此，這里將不進行基于原始數據的FCM聚類算法的識別效果測試。相反，當對原始數據進行小波變換處理后，某一種控制圖模式對特定的聚類中心具有明顯超出其他控制圖模式的隸屬度值，產生了較好的聚類效果。但是，從圖4中的聚類中心1可以看到，不同控制圖模式之間，有極少數的隸屬度值會產生交叉，可能會影響測試樣本的識別效果。通過對訓練數據的清查，發(fā)現產生隸屬度值交叉現象的是向下趨勢模式與向下階躍模式。綜上所述，經過一維離散小波變換后，FCM聚類算法對6種控制圖模式的聚類效果較好，能夠對不同的控制圖模式進行識別。

圖4 原始數據對各聚類中心的隸屬度值Figure 4 Membership grade of original data to each clustering center

圖5 小波變換處理后的數據對各聚類中心的隸屬度值Figure 5 Membership grade of processed data to each clustering center

當 ε =1時，按照最大隸屬度原則清晰化，FCM聚類算法對每種控制圖模式的識別效果如表3所示。從表3中可以看出，周期模式容易與正常模式產生誤判，趨勢模式與階躍模式也會產生誤判。由于單個樣本的樣本點數較少，在提取不同控制圖模式之間的特征時會加大難度，尤其是兩種模式間的特征相近時，識別的難度會繼續(xù)增加。但是，當停止閾值的取值比較合理時，產生誤判的現象會減少，合適的停止閾值會提高FCM算法的識別準確率。在本研究中，識別準確率取值為6種控制圖模式識別準確率的算術平均值。

表3 每種控制圖模式的識別效果Table 3 The recognition effect of each control chart patterns

表4可以看到，隨著停止閾值的取值不斷減小，FCM聚類算法對控制圖模式識別的準確率不斷增加，其識別能力的穩(wěn)定性也在提高，但是，當ε=10?5時，識別準確率有較大幅度的下降，這可能是因為FCM聚類算法對訓練樣本聚類時出現了“過擬合”現象，從而降低泛化能力，最終導致識別準確率和識別能力穩(wěn)定性的降低。此外，當 ε取值為[10?4, 10?3](區(qū)間1)之間時，FCM聚類算法對控制圖模式的識別準確率是相對更優(yōu)的。為了追求更好的識別效果，采用二分法對區(qū)間1進行分割，逐次逼近更合適的停止閾值。區(qū)間1經過二分法分割后的識別準確率如表5所示。

表4 不同停止閾值下的控制圖模式識別準確率Table 4 The recognition accuracy of each control chart patterns under different stop threshold values

表5 區(qū)間1采用二分法的控制圖模式識別準確率Table 5 The recognition accuracy of control chart patterns using binary method to range 1

由表5可知，在對區(qū)間1采用二分法進行2次區(qū)間分割后，并沒有取得比 ε=10?4時更佳的識別效果。因此，下一步考慮對[10?5, 10?4](區(qū)間2)區(qū)間采用二分法進行分割以求得相對更優(yōu)的識別。準確率如表6所示。

表6 區(qū)間2采用二分法的控制圖模式識別準確率Table 6 The recognition accuracy of control chart patterns using binary method to range 2

從表6可以看出，經過3次二分法后，在ε=8.25×10?5時，FCM聚類算法的識別準確率達到98.76%，相較于 ε=10?4時的識別準確率提高了0.47%，雖然對于識別準確率的提升有限，但是對于工業(yè)大數據環(huán)境下的控制圖模式識別而言，尤其是在具有較高的識別準確率后，識別能力的提高是存在其實際意義的。但是考慮到識別能力的提升限度對研究的意義有限，因而將不對停止閾值繼續(xù)進行二分法取值。綜合上述研究的結果，當小波函數為db4，ε=8.25×10?5時，識別準確率為98.76%，其標準差為0.004 5。

對原始數據進行一維離散小波變換時，選擇不同的小波函數也會對FCM聚類算法的識別準確率產生影響。當 ε =8.25×10?5時，采用表2中包含的小波函數對原始數據進行處理，并利用FCM聚類算法進行樣本的訓練與測試，最終得到的識別準確率及其標準差如表7所示。

表7 不同小波函數對控制圖模式識別的影響Table 7 The recognition effect of control chart patterns under different wavelet functions

由表7和圖6可知，當選用小波函數coif4對原始數據進行降噪處理時，能夠使FCM聚類算法對控制圖模式獲得最佳的識別能力。從圖6可以看出，在FCM聚類算法中，小波函數coif 2、coif 3、sym4、sym5、db4對識別能力的影響是較為接近的；小波函數sym2、sym3、db2、db3的識別能力較低，小波函數coif5對識別能力的影響介于此二類之間。當ε=8.25×10?5時，FCM聚類算法對6種控制圖模式的識別準確率到達99.31%，相較于最初的識別準確率值97.43%提高1.88%，比試驗中出現的最低識別準確率值93.24%高出6.07%，并且通過標準差可以發(fā)現識別能力的穩(wěn)定性有所提高。這表明上述的參數設置使得FCM聚類算法具有較好的泛化能力，能夠對控制圖模式進行有效的識別。同時，該設置有效降低了不同模式之間的誤判率。

圖6 不同小波函數對FCM聚類算法識別能力的影響Figure 6 The effect of recognition level of FCM clustering algorithm under different wavelet functions

根據表8可知，在對FCM聚類算法進行參數尋優(yōu)后，在選取合適小波函數的情況下，不同控制圖模式之間的誤判率有顯著的降低，平均的模式識別準確率相比于初次試驗時也有較大幅度的提升。因此，由上述研究可以得出FCM聚類算法中的最佳參數設置以及識別能力，如表9所示。

表8 最優(yōu)參數設置下6種控制圖模式的識別效果Table 8 The recognition result of six control chart patterns under optimal parameter setting

表9 最佳參數設置及識別效果Table 9 The optimal parameter setting and its recognition effect

此外，考慮到機器學習算法中，訓練集的數量可能會對控制圖模式識別的準確率產生影響。當訓練集的數量較少的時候可能會出現“欠擬合”的現象，由于算法在樣本較少時容易導致特征學習不夠集中，從而無法較好提取樣本特征，該情況下算法在訓練集和測試集的表現效果均不佳；相反的，當訓練集數量較大時，容易出現“過擬合”現象，這是因為算法出現過度適配的情況，過于關于數據集中的噪聲和細節(jié)，從而導致在訓練集上表現良好，卻不具有遷移能力，因此在測試集上會出現識別能力下降的情形。當進行樣本量對識別能力的影響試驗時，在單組訓練樣本量為5的情況下，算法的訓練識別能力也較好，這說明該算法在訓練集較少的情況下，也不容易出現“欠擬合”現象，并且隨著訓練集數量的增加，算法表現出的識別能力越來越好，但在訓練集增加到一定數量時，出現了有限的識別能力下降的情形，具體試驗結果如圖7所示。

圖7 不同訓練樣本量下的識別準確率Figure 7 Recognition accuracy under different training sample sizes

由圖7可知，算法在訓練集較少的情況下，隨著訓練集的增加，識別能力有顯著的提升；在單組訓練樣本量達到20個時，識別能力出現較為平穩(wěn)的情況并表現出一定的區(qū)間性；當訓練集接著增大時，識別能力進一步提升并保持穩(wěn)定；最后由于訓練集的繼續(xù)增加，識別能力開始下降，此時可能出現“過擬合”現象。具體而言，在單組訓練樣本量為5，即訓練集數量為30時，識別準確率相對較低，僅為98.31%；隨著訓練集的增加，算法的識別準確率提升較快。在單組訓練樣本量介于區(qū)間(20, 75)之內時，識別能力較為穩(wěn)定，識別準確率在99.30%左右；當單組訓練樣本量介于區(qū)間(100, 500)之內時，識別能力進一步提升并維持在99.40%左右，其中在訓練集為1 800的時候取得最大識別準確率為99.43%，標準差為0.002 8；當單組訓練樣本量位于(600, 2 000)時，算法的識別能力下降，尤其是當單組訓練樣本量位于(1 000, 2 000)時，識別能力進一步下降，最低為99.14%。

3 方法比較

在選取樣本點數為25的控制圖模式的情況下會使得不同控制圖模式之間的特征難以分辨，并對控制圖模式的識別產生影響，從而導致識別能力的降低。但是經過對停止閾值的設置和不同小波函數以及訓練集數量的選擇，基于FCM聚類算法的控制圖模式識別，實現了99.43%的識別準確率，達到較好的識別水準。為了進一步評估和證明本文選取方法的有效性，在此選取較近年份的具有代表性的不同方法與FCM聚類算法進行比對。各種方法在不同的訓練集數量、樣本點數、特征提取方法以及分類器的試驗條件下，其最優(yōu)識別準確率的具體情況如表10所示。

根據表10可知，本文選取學術界比較有代表性的其他機器學習方法，其中包括SVM、傳統(tǒng)神經網絡，以及深度神經網絡，并且這些方法用到了混合特征、形狀特征和統(tǒng)計特征等特征提取方法。首先，與其他機器學習算法相比，FCM聚類算法具有參數設置簡易的特點。其次，在特征提取方面，本文僅使用一維離散小波變換，與文獻[6]、[17]相比具有特征提取簡單的特點；在訓練集數量的選取方面，在達到最優(yōu)識別準確率時，FCM聚類算法所需要的訓練集數量較深度神經網絡少，在考慮到實際生產過程中異常模式發(fā)生較少的情況下，需要較少的訓練集數量意味著更加容易實地獲取數據，實地數據相較于仿真數據更能體現質量過程的真實性。最后，在識別準確率方面，FCM聚類算法的識別準確率顯著優(yōu)于文獻[17]，并且略高于文獻[10]，但是比文獻[6]和文獻[11]的識別準確率大約低0.20%，不過由于本文相較于這兩篇文獻而言選取的樣本點數較少，因此識別準確率略微的降低是可以接受的。綜上所述，FCM聚類算法為控制圖模式識別研究拓展了新的途徑，同時還具有簡便、識別準確率高的特點，能夠滿足控制圖模式識別的需求。

表10 本文方法與其他方法的比較情況Table 10 The comparison of this method with other methods

4 結論

為了克服現有研究的局限性，本文提出FCM聚類算法具有結構簡單的特點，能夠在樣本點較少的情況下正確地區(qū)分每一種控制圖模式，并且識別能力較為穩(wěn)定。具體而言，本文的研究結論如下。

1) 不同的停止閾值取值對FCM聚類算法的識別能力影響較大。在其他條件一定的情況下，當ε=8.25×10?5和 ε=10?5時，其識別準確率分別為最高98.76%和96.02%。

2) 由于不同的小波函數具有不完全相同的特性，利用不同的小波函數處理原始數據也會影響該方法的識別性能，其中利用coif4小波函數進行特征提取后的數據進行識別訓練表現出較好的識別能力。

3) FCM聚類算法對訓練集的數量要求較低，在訓練集為120個時已經能達到99.27%的識別準確率，并且FCM聚類算法對樣本量的需求具有明顯的區(qū)間性，在特定數量區(qū)間的訓練集下能夠獲得相近的識別準確率。同其他機器學習算法類似，隨著訓練集的增加，該方法也會出現“過擬合”現象。

盡管該方法對6種控制圖模式的識別準確率也達到較高的水準，但不同控制圖模式之間的誤判仍然存在，對特定控制圖模式的識別準確率仍存在提高的空間。此外，本文是以單一模式的控制圖作為識別對象，實際生產過程中的控制圖模式可能是混合存在的，這也是需要進一步研究的方向。