PCA降維和決策樹在多光譜圖像中的分類研究

郝尚榮

摘 要： 采用PCA降維和決策樹兩方法對不同墨水筆跡的多光譜影像和不同對象的多光譜遙感影像分類識別。實驗表明，對于墨水筆跡可以分出較好效果而遙感影像效果較差，可能是受影像信噪比的影響；文章為不同墨水的分類提供了解決方法。

關鍵詞： 決策樹； 高光譜； PCA降維； 分類

中圖分類號：TP751.1 文獻標志碼：A 文章編號：1006-8228（2017）05- 40-03

Application of PCA dimensionality reduction and decision tree

in hyperspectral image classification

Hao Shangrong

（Institute of Data and Knowledge Engineering， School of computer and information engineering，Henan University， Kaifeng， Henan 475004， China）

Abstract： PCA dimensionality reduction and decision tree methods are used to classify and recognize the hyperspectral images of handwriting with different inks and the hyperspectral remote sensing images with different objects. The experimental results show that the classification effect of handwriting image is better but the remote sensing image is poor， which may be caused by the signal to noise ratio of the image. This paper provides a solution for the classification of different ink.

Key words： decision tree； hyperspectral； PCA dimensionality reduction； classification

0 引言

研究了機器學習[1]中分類算法之一的決策樹以及神經(jīng)網(wǎng)絡中PCA降維在高光譜圖像中的分類應用。分析了可能受信噪比低的原因，可以利用高光譜分類的不同墨水；對于遙感信息由于衛(wèi)星拍攝時其信噪比較高的原因，具體表現(xiàn)為每一個光譜圖像產(chǎn)生的能量較小，而噪聲影響較大，這樣多光譜信息的有效信息太少而失去分類的意義。

1 樣本的提取

由于不同的墨水在紙張上畫的筆跡產(chǎn)生不同的化學反應，進而可以通過高光譜相機獲得含有不同高光譜信息筆跡的光譜圖。高光譜信息是指不同波段的圖像信息。本文的采樣過程如下。

對于筆跡，采用9只不同的筆，對于遙感影像，采用9類對象，對應101個波段的光譜信息進行采樣。筆跡的采樣是對每一類筆跡隨機采樣200個位置，獲得總的像素值為9*200*101維特征值。遙感影像采用boundingbox工具，對圖像中9類對象200個相應4*4區(qū)域，取像素值的均值，總的特征值緯度是9*200*101。

2 訓練過程

PCA降維的思想是，在特征較多的情況下，通過減少對分類產(chǎn)生很小影響特征數(shù)量的方式，達到簡化計算效果的目的。決策樹是機器學習中十分強大的方法，其重要作用在于分類，其特點是每一次只針對一個最重要的特征進行分類，形成一層的決策樹的時候拋棄該特征，多次循環(huán)通過相對次重要特征分類的方式。采用機器學習的思想對這些信息進行采樣、降維、采用決策樹的方法進行訓練，經(jīng)過擬合驗證后，獲得一棵決策樹用在高光譜圖像的分類工作中。

2.1 PCA降維

由于采樣后的樣本特征數(shù)太多，盡管采用了矩陣進行數(shù)據(jù)運算的技術，但是由于特征數(shù)太多造成的緯度過大，對于矩陣的存儲、計算都會有很大的影響，而大部分的緯度并不對結(jié)果產(chǎn)生較大的影響。PCA降維[2-3]的思想就是對矩陣計算出協(xié)方差矩陣，進而依據(jù)矩陣計算出每一列的特征向量、特征值。求出每一特征值與所有特征值之和的比例，對比例值由大到小排序，計算若干個最大值之和大于99%的特征向量對應的特征作為有效特征。

2.2 決策樹的選取及訓練

決策樹[4]按照不同的評判標準分為三種分別為：信息的增益、信息的增益比、基尼系數(shù)。但都是基于信息熵的思想。信息熵的計算公式為：

其中，P（ui）為類別為i的樣本個數(shù)在總樣本中的概率，S為樣例個數(shù)。

本文采用的C4.5的決策樹[5]算法，其評判條件為信息的增益，具體含義：以某特征進行分類后的信息熵同分類前的信息熵的差值。同時，本文中對筆跡和遙感影像的分類是9類。所以，采用預剪枝的思想，限定了決策樹為九層。由于該分類方法是二分類的，所以就存在十個葉子節(jié)點，分別對應九類結(jié)果和一類的其他類別。

接著，采用十折交叉驗證的思想進行過擬合驗證。十折交叉驗證是數(shù)據(jù)分為十份，一份為訓練，九份為測試，循環(huán)十次觀測準確率變化。過擬合是訓練時準確率高而測試的準確率偏低的現(xiàn)象。通過多次調(diào)整訓練集、測試集的樣本個數(shù)的比例，最終獲得平均準確率為實驗結(jié)果。

3 對比及結(jié)論

求準確率和召回率時，分別對筆跡和遙感影像分類都要按照上述取樣的方式獲得101維的測試樣本，并進行訓練、測試，其對應的準確率為0.9504、0.671；對應的召回率為0.796和0.971。結(jié)果表明本方法適合多光譜圖像不同墨水的分類；同時說明多光譜的遙感影像可能受信噪比高低的影響，需要進一步研究。

4 結(jié)束語

本文結(jié)合了PCA降維和決策樹方法解決了不同墨水筆跡分類的問題，表現(xiàn)出了較高的準確率。討論了PCA降維和決策的優(yōu)點，以及在高光譜圖像中分類的應用，可以在跡偽造檢測中，通過是否是相同的墨水進行第一步區(qū)別操作，具有一定的使用價值。未來可以進一步研究高光譜圖像分類與信噪比的關系，以便于確定高光譜信息在分類問題中的應用范圍。

參考文獻（References）：

[1] 李銳，李鵬，曲亞東（譯）.機器學習實戰(zhàn)[M].人民郵電出版社，2013.

[2] 肖招娣.高維數(shù)據(jù)集上的降維算法及其應用[D].華南理工大學碩士學位論文，2013.

[3] 張小勤.基于PCA與K-NN的故障檢測與診斷方法的研究[D].西南大學碩士學位論文，2016.

[4] 李海濤.基于Hadoop的決策樹算法改進及林業(yè)數(shù)據(jù)分類預測研究[D].東北林業(yè)大學碩士學位論文，2016.

[5] 黃秀霞.C4.5決策樹算法優(yōu)化及其應用[D].江南大學碩士學位論文，2017.