近紅外光譜的數(shù)據(jù)分析方法研究進(jìn)展

★ 陳裕鳳 聶斌 詹國(guó)平 周冠芮 李歡 何雁（.江西中醫(yī)藥大學(xué)計(jì)算機(jī)學(xué)院 南昌 0004；.深圳市南山區(qū)蛇口人民醫(yī)院 廣東 深圳 58067；.江西中醫(yī)藥大學(xué)藥學(xué)院 南昌 0004）

近紅外光譜（near infrared spectroscopy，NIRS）技術(shù)是一種簡(jiǎn)單、高效的分析技術(shù)，具有分析速度快、無(wú)損傷性、樣品無(wú)需預(yù)處理等優(yōu)點(diǎn)。鑒于此，近紅外光譜分析技術(shù)被廣泛應(yīng)用于食品、紡織、藥品和農(nóng)業(yè)等領(lǐng)域。通常近紅外光譜在投入到實(shí)際應(yīng)用前，需要完成以下6 個(gè)工作流程：收集樣品、數(shù)據(jù)預(yù)處理、特征選擇、建立模型、評(píng)價(jià)模型、轉(zhuǎn)移模型。由于近紅外光譜的吸收靈敏度低、譜帶重疊嚴(yán)重，并且用近紅外光譜儀測(cè)量數(shù)據(jù)過(guò)程中引入噪聲和無(wú)關(guān)信息，因此建模前往往需要先對(duì)原始光譜進(jìn)行預(yù)處理和特征選擇；又因?yàn)榻Ｊ墙t外光譜分析的核心，所以建模方法的選擇也至關(guān)重要。

NIRS 光譜分析過(guò)程中所用方法的綜述性文章已有部分報(bào)道。褚小立等［1］綜述了近紅外光譜分析中光譜預(yù)處理和特征選擇方法；袁洪福等［2］綜述了一些常用的化學(xué)計(jì)量學(xué)方法；周昭露等［3］綜述了NIRS 在中藥質(zhì)量控制應(yīng)用中的化學(xué)計(jì)量學(xué)建模方法和技術(shù)并對(duì)未來(lái)發(fā)展做了展望。褚小立綜述中較少涉及建模方法；袁洪福介紹了一些經(jīng)典校正方法和常用于定量分析的主成分分析（principal component analysis，PCA）和偏最小二乘法（partial least squares，PLS），未提到用于定性分析的常用方法；周昭露的綜述涉及到NIRS 數(shù)據(jù)的采集、預(yù)處理、分組、波段選擇、建模以及模型的驗(yàn)證和評(píng)價(jià)，內(nèi)容較為全面，但傾向于方法的應(yīng)用。本文主要根據(jù)原始光譜圖中出現(xiàn)的常見(jiàn)干擾不同介紹數(shù)據(jù)預(yù)處理方法；根據(jù)方法類型不同介紹光譜特征選擇方法；根據(jù)應(yīng)用不同介紹建模方法。介紹光譜預(yù)處理，特征選擇，建模方法的原理、優(yōu)缺點(diǎn)，為近紅外分析相關(guān)研究者在實(shí)際應(yīng)用分析中提供參考。

1 數(shù)據(jù)預(yù)處理

光譜信號(hào)測(cè)量過(guò)程中容易受測(cè)量條件、儀器性能、樣品分布不均等因素影響，導(dǎo)致采集到的光譜圖中伴有背景噪聲、基線漂移、散射光等無(wú)關(guān)信息的干擾，這些無(wú)關(guān)信息會(huì)對(duì)校正模型的檢測(cè)精度和穩(wěn)定性產(chǎn)生影響。本文從降低噪聲、消除基線漂移、校正散射光三個(gè)主要的干擾方面進(jìn)行探討。

1.1 降噪的方法

由于光譜儀檢測(cè)到的光譜信號(hào)中包含有效信息和噪聲，一般采用數(shù)字濾波的方法降噪。目前,常用的濾波方法有平滑法、傅里葉變換等。

1.1.1 平滑法平滑是常用的降噪方法之一，其本質(zhì)是對(duì)光譜曲線進(jìn)行低通濾波，濾除高頻噪聲，保留有效的低頻信息。原理是假設(shè)光譜中的噪聲為零均值隨機(jī)白噪聲，若多次測(cè)量取平均值可能減少隨機(jī)噪聲，提高信噪比。常用的信號(hào)平滑方法有移動(dòng)平均平滑法和Savitzky-Golay 卷積平滑法。

移動(dòng)平均平滑法是最簡(jiǎn)單的平滑方法。假設(shè)窗寬為（2w+1），即每個(gè)窗口內(nèi)含有（2w+1）個(gè)波長(zhǎng)點(diǎn)，用每個(gè)窗口內(nèi)的均值替代窗口中心點(diǎn)x0的測(cè)量值，窗口依次向右移動(dòng)，直到完成對(duì)所有波長(zhǎng)點(diǎn)的平滑。移動(dòng)平均平滑法中，窗寬是一個(gè)重要的參數(shù)，需要在計(jì)算前被定義好,窗寬的大小對(duì)信號(hào)平滑的效果產(chǎn)生影響。

Savitzky-Golay 卷積平滑法的基本思想和移動(dòng)平均平滑法類似，它是基于多項(xiàng)式，選取固定大小范圍的移動(dòng)窗口，利用最小二乘法對(duì)數(shù)據(jù)進(jìn)行最佳擬合，從而求得最佳估計(jì)值，其實(shí)質(zhì)是一種加權(quán)平均法，更強(qiáng)調(diào)中心點(diǎn)的作用。

1.1.2 傅里葉變換傅里葉變換（fourier transform，F(xiàn)T）是數(shù)字信號(hào)處理方法，它能夠?qū)崿F(xiàn)時(shí)域與頻域之間的轉(zhuǎn)換，其實(shí)質(zhì)是將原始光譜分解成不同正弦波的疊加和［4-6］。FT 能將信號(hào)的時(shí)域特征和頻域特征聯(lián)系起來(lái)，可用于信號(hào)分析和信號(hào)處理。FT 的降噪過(guò)程：先通過(guò)TF 將時(shí)域譜轉(zhuǎn)換為頻域譜；再選擇合適的低頻率信號(hào)，采用FT 將原始光譜重構(gòu)。

FT 雖然具有很強(qiáng)的頻域局部定位和頻域局部化能力，但缺乏時(shí)間定位和時(shí)間局部化能力。因此，傅里葉變換僅適用于平穩(wěn)信號(hào)，不能反映出頻域隨時(shí)間變化的非平穩(wěn)信號(hào)。為克服傅里葉變換的缺陷，研究者提出來(lái)小波變換［7］。

1.2 散射光的校正方法

在獲取非均勻樣品的近紅外光譜過(guò)程中，固體顆粒的大小、形狀、密度等物理因素會(huì)影響光的散射，會(huì)對(duì)模型的穩(wěn)定性產(chǎn)生影響。通常使用物理方法和數(shù)學(xué)校正的方式來(lái)減少光譜散射的影響，本文主要從數(shù)學(xué)校正角度，研究多元散射校正（multiplicative scatter correction，MSC）和標(biāo)準(zhǔn)變量變換（standard normal variate，SNV）兩種方法。

1.2.1 多元散射校正多元散射校正是由蘆永軍等［8］提出的一種多變量散射技術(shù)，它可以有效地消除顆粒分布不均勻或顆粒大小的散射影響導(dǎo)致的基線平移和偏移現(xiàn)象，提高相關(guān)光譜的信噪比。MSC 是通過(guò)“理想光譜”來(lái)修正光譜數(shù)據(jù)的基線平移和偏移現(xiàn)象。首先，該方法認(rèn)為每條光譜都應(yīng)該與“理想光譜”呈線性關(guān)系。而實(shí)際中無(wú)法獲取真正的“理想”光譜，則采用校正集的平均光譜作為“理想光譜”。其次，每個(gè)樣品的基線平移量和偏移量可以通過(guò)最小二乘問(wèn)題求得。一般情況下，MSC適用于散射與波長(zhǎng)、樣品溶度變化無(wú)關(guān)的情況，而處理組分性質(zhì)變化較寬的樣品效果較差。

1.2.2 標(biāo)準(zhǔn)正態(tài)變量變換標(biāo)準(zhǔn)正態(tài)變量變換主要用于減少由于顆粒大小不均勻、顆粒表面散射、光程變化對(duì)漫反射光譜的影響［9］。SNV 算法是假設(shè)每條光譜曲線中各波長(zhǎng)點(diǎn)對(duì)應(yīng)的吸光度滿足一定的統(tǒng)計(jì)分布，利用該分布對(duì)光譜曲線進(jìn)行校正。它是將原始光譜數(shù)據(jù)減去這條光譜數(shù)據(jù)的均值，再除以這條光譜數(shù)據(jù)的標(biāo)準(zhǔn)偏差。

MSC 算法是對(duì)一組光譜進(jìn)行處理，SNV 則是單獨(dú)處理一條光譜，因此一般認(rèn)為SNV 的校正效果比MSC 強(qiáng)。

1.3 基線校正的方法

使用近紅外光譜儀器檢測(cè)樣品時(shí)，溫度的變化、儀器本身的機(jī)械電子器件如光源、檢測(cè)器的變化都容易造成光譜旋轉(zhuǎn)和基線漂移。目前，一階導(dǎo)數(shù)常用于消除NIRS 光譜中的基線漂移，二階導(dǎo)數(shù)用于消除NIRS 光譜的旋轉(zhuǎn)［10］。對(duì)光譜的求導(dǎo)方式有Savitzky-Golay 求導(dǎo)法和直接差分法。直接差分法處理低分辨率的光譜數(shù)據(jù)時(shí)會(huì)存在求導(dǎo)結(jié)果失真的問(wèn)題，它通常用于高分辨率的光譜數(shù)據(jù)。由于Savitzky-Golay 求導(dǎo)法是通過(guò)最小二乘法計(jì)算導(dǎo)數(shù)系數(shù)，該方法可以有效地避免計(jì)算結(jié)果失真的問(wèn)題［11］。導(dǎo)數(shù)法處理光譜數(shù)據(jù)的優(yōu)點(diǎn)是可以分辨重疊光譜、提高分辨率和靈敏度、消除基線和其他背景的干擾，不足之處是在求導(dǎo)的過(guò)程中會(huì)放大噪聲，特別是對(duì)信噪比較低的光譜數(shù)據(jù)。因此，導(dǎo)數(shù)法通常是用來(lái)處理信噪比和分辨率較高的光譜數(shù)據(jù)，或者在求導(dǎo)之前先用平滑法降噪。

2 光譜特征選擇

實(shí)驗(yàn)數(shù)據(jù)通常會(huì)存在光譜特征冗余現(xiàn)象，導(dǎo)致所建模型的預(yù)測(cè)精度降低。因此，采用光譜特征選擇的方法，去除光譜特征中的冗余特征和無(wú)關(guān)特征，可以提高光譜分析速度和精度，優(yōu)化模型的性能。本文主要研究基于區(qū)域和基于單變量的兩類光譜特征選擇方法。

2.1 基于區(qū)域的光譜特征選擇方法

2.1.1 間隔偏最小二乘和組合間隔偏最小二乘間隔 偏 最 小 二 乘 法［12］（interval partial least squares，iPLS）是一種光譜特征波段選擇的方法，其原理如下：首先，選擇一個(gè)大小合適的窗寬w，將原始光譜劃分為n 個(gè)窗寬為w 的區(qū)間；其次，在這n 個(gè)區(qū)間中分別進(jìn)行iPLS 處理，再通過(guò)比較每個(gè)區(qū)間的某些評(píng)價(jià)指標(biāo)（如RMSECV、RMSECP）選擇出一個(gè)最優(yōu)區(qū)間；最后，以最優(yōu)區(qū)間為中心單向或雙向擴(kuò)充（或消減）特征波長(zhǎng)點(diǎn)，得到最佳的波長(zhǎng)區(qū)間。

iPLS 的優(yōu)點(diǎn)是通過(guò)圖形可呈現(xiàn)每個(gè)波長(zhǎng)區(qū)間的模型，從光譜圖中找到與待測(cè)樣品相關(guān)性最大的波長(zhǎng)區(qū)間，并且可將全譜模型與波長(zhǎng)區(qū)間模型進(jìn)行比較。但缺點(diǎn)是只能選擇一個(gè)最佳波長(zhǎng)區(qū)間建模，未考慮多種波長(zhǎng)區(qū)間組合的情況。為克服該問(wèn)題，有研究者在iPLS 基礎(chǔ)上提出了組合間隔偏最小二乘法（SiPLS）［13］。SiPLS 是在同一次波長(zhǎng)劃分中，將不同個(gè)數(shù)的、局部模型精度較高的波長(zhǎng)區(qū)間的任意組合，得到誤差最小且相關(guān)系數(shù)最大的波長(zhǎng)區(qū)間組合，共同預(yù)測(cè)樣品的含量或品質(zhì)。然而，SiPLS的運(yùn)算次數(shù)和運(yùn)算時(shí)間會(huì)隨著組合波長(zhǎng)區(qū)間個(gè)數(shù)的增加而增加。

2.1.2 移動(dòng)窗口偏最小二乘移動(dòng)窗口偏最小二乘（moving windows partial least squares，mwPLS）是選擇一個(gè)窗寬大小合適的窗口，該窗口沿著光譜軸依次向右移動(dòng)，每移動(dòng)一個(gè)波長(zhǎng)點(diǎn)，就采用交互檢驗(yàn)方式建立一個(gè)模型，選擇RMSECV 和RMSEP值最小對(duì)應(yīng)的波長(zhǎng)區(qū)間就是最佳波長(zhǎng)區(qū)間［14］。mwPLS 的優(yōu)點(diǎn)是在有干擾的情況下，模型仍然穩(wěn)定。此外，窗寬是重要的參數(shù)，它會(huì)影響模型的精度和預(yù)測(cè)能力。

2.2 基于單個(gè)變量的光譜特征選擇方法

2.2.1 連續(xù)投影法1965 年，Bregman 首先提出連續(xù)投影法（successive projection algorithm，SPA）來(lái)解決凸可行問(wèn)題，但現(xiàn)在它在生物醫(yī)學(xué)成像、信號(hào)處理、光譜計(jì)量學(xué)等領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用［15-16］。SPA 是一種向前循的特征選擇算法，從一個(gè)特征開(kāi)始，分別計(jì)算它在未被選入的特征上的投影，將投影特征最大時(shí)對(duì)應(yīng)的特征引入到新的特征組合中，算法循環(huán)n 次結(jié)束，n 為需要提取的特征數(shù)量。每一個(gè)新選入的特征，都與前一個(gè)特征的共線性最小。因此，SPA 算法只需選擇原始光譜數(shù)據(jù)中少量幾列冗余度低的數(shù)據(jù)，就能概括絕大多數(shù)樣品的光譜變量信息，提高校正模型的預(yù)測(cè)能力和穩(wěn)定性。

2.2.2 無(wú)信息變量消除法無(wú)信息變量消除法（uninformative variables elimination，UVE）是由Centner等人提出的變量篩選方法［17-18］，用于去除建模過(guò)程中不提供有效信息的變量，即無(wú)信息變量。其目的是減少建模過(guò)程中變量的個(gè)數(shù)，降低模型的復(fù)雜性，改善模型的質(zhì)量。UVE 方法過(guò)程如下：一是將自變量矩陣與因變量矩陣進(jìn)行回歸，并選取最佳主因子個(gè)數(shù)；二是在PLSR 模型中添加一組與自變量矩陣維數(shù)相同的隨機(jī)噪聲矩陣，將自變量矩陣與噪聲矩陣組合得到組合矩陣；三是采用留一交叉驗(yàn)證法對(duì)組合矩陣與因變量矩陣進(jìn)行PLSR 回歸，求得回歸系數(shù)矩陣；四是由系數(shù)矩陣的標(biāo)準(zhǔn)差和均值，求出均值和標(biāo)準(zhǔn)差的比值，選擇出噪聲矩陣均值和標(biāo)準(zhǔn)差的比值的最大絕對(duì)值作為閾值；五是去除自變量矩陣中均值和標(biāo)準(zhǔn)差的比值小于閾值的變量，并將剩余變量組成新矩陣。

3 化學(xué)計(jì)量學(xué)方法

化學(xué)計(jì)量學(xué)方法通常分為定量分析和定性分析兩大類，一般用于近紅外光譜分析中的模型建立。常用的定量分析方法有PLS、多元線性回歸法（multiple linear regression，MLR）、主成分回歸（principle component regression，PCR）、支持向量機(jī)（support vector machine，SVM）等。定性分析方法有k 近鄰法（k-nearest neighbor，KNN）、BP神經(jīng)網(wǎng)絡(luò)（BP-ANN）、簇類的獨(dú)立軟模式分類法（soft independent modeling class analogy，SIMCA）等。

3.1 定量分析方法

3.1.1 線性方法（1）偏最小二乘：S. Wold 等人于1983 年提出偏最小二乘的概念，PLS 融合典型相關(guān)分析、主成分分析、多元線性回歸方法于一身［19］。PLS 具有許多傳統(tǒng)分析方法不具有的優(yōu)點(diǎn)：適用于樣本量少、變量多的情況；能夠處理自變量的多重相關(guān)性問(wèn)題；可根據(jù)需要，使用全部或部分信息用于建立模型等。PLS 目前在近紅外光譜分析領(lǐng)域中應(yīng)用廣泛，可用于食用油、玉米、煙草、藥品等復(fù)雜成分分析［20-22］。（2）多元線性回歸：在回歸分析中，兩個(gè)或兩個(gè)以上的自變量稱之為多元線性回歸。MLR 的計(jì)算結(jié)果易于理解，計(jì)算不復(fù)雜。然而，該方法不適用于非線性關(guān)系的數(shù)據(jù)，且使用MLR 方法的前提是樣本數(shù)量必須大于特征數(shù)量。因此，用多元線性回歸建模前通常需對(duì)原始光譜進(jìn)行特征選擇［23］。（3）主成分回歸：主成分回歸（PCR）是一種結(jié)合主成分分析和多元線性回歸的統(tǒng)計(jì)方法［24］。它用PCA 降維得到的主成分為新變量做回歸分析，主要解決多元共線性問(wèn)題。由于新變量之間互不相關(guān)，這可以克服MLR 中模型不穩(wěn)定的問(wèn)題。王鐸等［25］采用PCR 方法建立定標(biāo)模型用于大豆育種材料脂肪酸含量的快速測(cè)量。

3.1.2 非線性方法（1）支持向量機(jī)：支持向量機(jī)（SVM）是一種非線性的分類方法，常用于“二分類”問(wèn)題中。該方法的目標(biāo)是在訓(xùn)練集的樣本集空間中尋找最大間隔超平面［26］。SVM 即可線性分類，也能通過(guò)核函數(shù)用于非線性分類。支持向量機(jī)在NIRS 光譜模式識(shí)別中得到了廣泛的應(yīng)用［27］。SVM 的分類思想簡(jiǎn)單，只要找到與樣本間隔最大的超平面即可，計(jì)算開(kāi)銷小。但是SVM 方法存在一些缺點(diǎn)：如不適應(yīng)于多分類問(wèn)題，對(duì)缺失數(shù)據(jù)、參數(shù)調(diào)節(jié)及核函數(shù)選擇敏感。（2）人工神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)網(wǎng)絡(luò)（ANN）非線性模型的建立是模擬人腦的活動(dòng)過(guò)程，模擬人的腦細(xì)胞建立神經(jīng)元，許多相關(guān)聯(lián)的神經(jīng)元形成神經(jīng)網(wǎng)絡(luò)，再反復(fù)對(duì)神經(jīng)網(wǎng)絡(luò)上的參數(shù)調(diào)整，直到預(yù)測(cè)誤差均方根小于設(shè)定的閾值或模型訓(xùn)練達(dá)到最大迭代次數(shù)。ANN 具有自適應(yīng)學(xué)習(xí)能力、能處理非線性問(wèn)題、集體運(yùn)算能力、具有較強(qiáng)的容錯(cuò)性等優(yōu)點(diǎn)，被廣泛應(yīng)用在人工智能和模式識(shí)別領(lǐng)域。神經(jīng)網(wǎng)絡(luò)的種類繁多，包括徑向基函數(shù)網(wǎng)絡(luò)、BP 神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等，其中BP 神經(jīng)網(wǎng)絡(luò)在光譜分析中應(yīng)用較為廣泛。劉歡等［28］分別采用PLS、PCA 結(jié)合BP 神經(jīng)網(wǎng)絡(luò)、PLS 結(jié)合BP 神經(jīng)網(wǎng)絡(luò)方法建立鯽魚(yú)新鮮度定量預(yù)測(cè)模型。

3.2 定性分析方法

3.2.1 線性方法主成分分析：主成分分析利用“降維”的思想，將原始變量通過(guò)線性組合得到若干個(gè)主成分，且各主成分之間互不相關(guān)。使用主成分降維，通過(guò)累計(jì)貢獻(xiàn)率來(lái)確定主成分?jǐn)?shù)。PCA 不僅用于近紅外光譜特征選擇，還可用降維得到的數(shù)據(jù)分布建立定性模型。李跑等［29］利用PCA 方法對(duì)大米進(jìn)行鑒別分析，付小環(huán)等［30］采用PCA 法建立茯苓定性模型。PCA 可降維，但PCA 得到的主成分卻失去物理意義。

3.2.2 非線性方法（1）k-近鄰法：k-近鄰法（KNN）是常用的分類方法，其核心是依據(jù)距離判斷待測(cè)樣本的類別，將待測(cè)樣品將被指派到它的k 個(gè)近鄰中的多數(shù)類中［31-32］。KNN 方法簡(jiǎn)單、易于理解，但當(dāng)訓(xùn)練數(shù)據(jù)量較大的時(shí)候需要占用大量的存儲(chǔ)空間，并且距離計(jì)算過(guò)程耗時(shí)。因此，KNN 適用于特征少，樣本量少的數(shù)據(jù)集。在光譜分析中，KNN 方法常用建立定性模型［33-34］。（2）BP 神經(jīng)網(wǎng)絡(luò)：BP 神經(jīng)網(wǎng)絡(luò)不但可建立定量分析模型，還可建立定性分析模型。徐子杰等［35］基于多參考相關(guān)系數(shù)法和BPANN 建立礦物藥紫石英的近紅外光譜定性模型。苗靜等［36］將二維相關(guān)近紅外譜參數(shù)化方法BP-ANN結(jié)合，建立判別模型實(shí)現(xiàn)牛奶的真假鑒別。

除了定量分析和定性分析兩類建模方法外，還有SIMCA、偏最小二乘判別分析、移動(dòng)標(biāo)準(zhǔn)偏差法等其他方法，它們常用于水果、木材、農(nóng)產(chǎn)品、中藥等鑒別分析［37-45］。

4 總結(jié)

數(shù)據(jù)預(yù)處理、特征選擇、建模方法是近紅外光譜分析中重要的三個(gè)步驟。根據(jù)應(yīng)用的特點(diǎn)，方法的原理、優(yōu)缺點(diǎn)，恰當(dāng)?shù)剡x擇這些方法有益于解決實(shí)際應(yīng)用。數(shù)據(jù)預(yù)處理方法能夠減少無(wú)關(guān)信息和噪聲信息的影響，提升模型的預(yù)測(cè)精度和穩(wěn)定性；特征選擇目的是選擇對(duì)建模有益的波長(zhǎng)點(diǎn)，減少變量數(shù)量、提高模型的訓(xùn)練效率；根據(jù)不同的實(shí)際問(wèn)題選擇合適的建模方法有助于提高模型的質(zhì)量。

本文簡(jiǎn)要介紹光譜預(yù)處理、特征選擇和建模過(guò)程中部分方法的原理、特點(diǎn)、應(yīng)用，為相關(guān)學(xué)者研究與應(yīng)用起到拋磚引玉的作用。然而，近紅外分析過(guò)程中仍然存在一些需要解決的問(wèn)題。如（1）模型的轉(zhuǎn)移：近紅外分析中，有時(shí)同一種方法在類似應(yīng)用中效果也較好，如果能進(jìn)行模型轉(zhuǎn)移，則可減少部分重復(fù)工作，提升效率；（2）算法的選擇和結(jié)合：光譜預(yù)處理、特征選擇及建模三個(gè)過(guò)程不是單獨(dú)的，是相輔相成的。因此，如何利用現(xiàn)有的各過(guò)程方法的原理、優(yōu)缺點(diǎn)，將它們有效地結(jié)合或做相應(yīng)的改進(jìn)提升模型質(zhì)量值得進(jìn)一步研究。