基于k 近鄰的多尺度超球卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

劉子巍，駱 曦，李 克，陳富強(qiáng)

（北京聯(lián)合大學(xué)智慧城市學(xué)院，北京 100101）

0 概述

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，其在人臉識(shí)別、機(jī)器翻譯、自然語言理解、業(yè)務(wù)管理等領(lǐng)域得到了廣泛的應(yīng)用［1-3］。以卷積神經(jīng)網(wǎng) 絡(luò)（Convolutional Neural Network，CNN）為代表的深度學(xué)習(xí)模型主要面向圖像［4-5］、視頻［6］、語音［7］等數(shù)據(jù)類型，數(shù)據(jù)樣本的基本特征是均勻致密采樣、各屬性項(xiàng)性質(zhì)相同的歐氏域數(shù)據(jù)，此處稱之為均勻同質(zhì)歐氏數(shù)據(jù)。

卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別等領(lǐng)域得到有效應(yīng)用，其中一個(gè)重要原因在于其能從輸入數(shù)據(jù)中學(xué)習(xí)出數(shù)據(jù)的空間結(jié)構(gòu)特征，即如果一個(gè)輸入變量與其相鄰的輸入變量之間的關(guān)系比與距其較遠(yuǎn)的輸入變量之間的關(guān)系更密切，則可認(rèn)為這樣的數(shù)據(jù)具有空間結(jié)構(gòu)特征。例如在圖像識(shí)別中，構(gòu)成圖像某個(gè)局部要素（如眼睛）的臨近像素點(diǎn)之間的相關(guān)性比間隔較遠(yuǎn)的像素之間相關(guān)性更大。因此，可以借助CNN卷積窗的迭代訓(xùn)練來提取這種特征。

除了上述數(shù)據(jù)之外，在實(shí)際應(yīng)用中還有一大類數(shù)據(jù)并不具備上述特征，如氣象監(jiān)測(cè)數(shù)據(jù)、用戶購物記錄以及各類工業(yè)企業(yè)經(jīng)營過程中大量產(chǎn)生并留存的業(yè)務(wù)數(shù)據(jù)。這類數(shù)據(jù)通常以二維表的形式存儲(chǔ)，表頭為各樣本的屬性項(xiàng)，通常稱之為結(jié)構(gòu)化數(shù)據(jù)。此類數(shù)據(jù)各屬性項(xiàng)的含義、數(shù)據(jù)類型、取值范圍通常有很大區(qū)別，具有異質(zhì)特性，且各樣本是在整個(gè)高維屬性空間中通過非均勻、稀疏采樣獲得的，但在多數(shù)應(yīng)用中仍可以用歐氏距離來描述樣本間的相似性特征，此處稱之為非均勻異質(zhì)歐氏空間數(shù)據(jù)。在深度學(xué)習(xí)興起之前，對(duì)這類數(shù)據(jù)的分析預(yù)測(cè)通常采用以k近鄰（k-Nearest Neighbor，kNN）、決策樹、支持向量機(jī)（Support Vector Machine，SVM）等為代表的傳統(tǒng)機(jī)器學(xué)習(xí)算法。

由于深度學(xué)習(xí)具有上述優(yōu)良性質(zhì)和性能，探索如何將深度學(xué)習(xí)技術(shù)應(yīng)用于非均勻異質(zhì)歐氏空間數(shù)據(jù)和相關(guān)場(chǎng)景中的任務(wù)是一個(gè)具有挑戰(zhàn)性且有意義的問題，有助于擴(kuò)展深度學(xué)習(xí)的應(yīng)用領(lǐng)域。目前，已有研究者開展了這方面的嘗試，提出了雷達(dá)圖［8-9］、應(yīng)用不規(guī)則卷積核或可變性卷積核［10-12］、將分類不平衡的數(shù)據(jù)應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)［13-15］等方法。

面向異質(zhì)、非均勻稀疏采樣結(jié)構(gòu)化數(shù)據(jù)集的預(yù)測(cè)任務(wù)，本文提出一種基于k 近鄰的超球卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。給出一個(gè)樸素的假設(shè)，即2 個(gè)樣本在屬性空間中的距離與其標(biāo)記的相似性高度相關(guān)。在此基礎(chǔ)上，利用kNN 算法預(yù)處理實(shí)現(xiàn)異質(zhì)數(shù)據(jù)的同質(zhì)化改造以及鄰域樣本標(biāo)記的空間分布特征構(gòu)造，同時(shí)設(shè)計(jì)多尺度的超球卷積核，從而有效提取目標(biāo)樣本的鄰域標(biāo)記空間分布特征。

1 相關(guān)工作

1.1 非均勻異質(zhì)歐氏空間數(shù)據(jù)

在各個(gè)領(lǐng)域中，最常見的數(shù)據(jù)是圖片、視頻等均勻采樣的歐氏空間數(shù)據(jù)。在均勻歐氏空間數(shù)據(jù)集中，樣本間可以通過一組相同維度屬性，由歐氏距離表示樣本間和樣本內(nèi)各采樣點(diǎn)間的相似性，樣本各個(gè)維度的屬性具有同質(zhì)特性。在非均勻歐氏空間數(shù)據(jù)集中，同樣是根據(jù)樣本間一組相同維度屬性構(gòu)成的歐氏距離表示樣本間的相關(guān)性，但樣本內(nèi)部屬性與屬性之間卻通常是異質(zhì)的。

由圖1 可以看出，在屬性空間中，可以用歐氏距離來衡量樣本間的相似性，但樣本的空間分布為稀疏、非均勻采樣的，這樣的數(shù)據(jù)集通常不能滿足kNN 算法所要求的密采樣假設(shè)。圖2 所示的圖像是典型的均勻歐氏空間數(shù)據(jù)，樣本中各像素采樣點(diǎn)之間具有等距、致密的空間結(jié)構(gòu)特征，更便于利用卷積操作和神經(jīng)網(wǎng)絡(luò)迭代提取局部特征。

圖1 非均勻歐氏空間數(shù)據(jù)特性Fig.1 Characteristics of non-uniform Euclidean domain data

圖2 均勻歐氏空間數(shù)據(jù)示例Fig.2 Example of uniform Euclidean domain data

1.2 面向異質(zhì)非均勻歐氏空間數(shù)據(jù)的深度學(xué)習(xí)方法

對(duì)于非均勻異質(zhì)歐氏空間數(shù)據(jù)，多采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行處理?；诰植坎蛔冃韵闰?yàn)和密采樣假設(shè)的kNN 算法對(duì)多數(shù)數(shù)據(jù)集簡單有效。為了將kNN 擴(kuò)展到可處理多標(biāo)記問題，文獻(xiàn)［16］提出了ML-kNN 算法。與kNN 核心思想一致，該算法也是通過尋找一定數(shù)量的相似樣本來判斷測(cè)試樣本標(biāo)記，但與kNN 不同的是，ML-kNN 通過最大化后驗(yàn)概率的方式推理待測(cè)樣本的標(biāo)記項(xiàng)，在處理二分類問題時(shí)取得了不錯(cuò)的效果。然而，kNN 算法在復(fù)雜分類邊界情況下對(duì)于邊界附近標(biāo)記高度混淆樣本的分類能力較差，尤其對(duì)高度不平衡數(shù)據(jù)，因?yàn)槠浜唵蔚泥徲蛲镀睓C(jī)制無法捕捉稀疏正例樣本的鄰域空間分布特征，而由文獻(xiàn)［17］提出的SVM 算法在解決線性可分的二分類問題時(shí)獲得了較好的效果。

深度學(xué)習(xí)在均勻歐氏空間數(shù)據(jù)集的應(yīng)用中相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)具有明顯優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)由于其特有的平移不變性，在圖像識(shí)別、語義分割等領(lǐng)域得到廣泛應(yīng)用。文獻(xiàn)［18］提出的GoogLeNet 摒棄了傳統(tǒng)單純依靠層數(shù)堆積來增加模型深度的方法，而是利用inception 模塊在增加模型深度與寬度的同時(shí)盡可能減少計(jì)算量。在此之后，文獻(xiàn)［19］提出的inception-v4 架構(gòu)將GoogLeNet 中 的inception-v1 架構(gòu)與殘差連接結(jié)合，進(jìn)一步提升了inception 架構(gòu)的穩(wěn)定性。

鑒于以CNN 為代表的深度學(xué)習(xí)在同質(zhì)均勻采樣數(shù)據(jù)上的優(yōu)異表現(xiàn)，研究者也圍繞如何將這類方法應(yīng)用于異質(zhì)數(shù)據(jù)集展開了研究，這其中最直接的思路是先將異質(zhì)屬性數(shù)據(jù)進(jìn)行同質(zhì)化改造，以適應(yīng)深度神經(jīng)網(wǎng)絡(luò)各層的處理。對(duì)此，一種方法是先利用全連接操作將異質(zhì)屬性值轉(zhuǎn)化為同質(zhì)化的神經(jīng)元輸入，再對(duì)神經(jīng)元進(jìn)行卷積池化等操作，最后利用Softmax 分類器進(jìn)行分類預(yù)測(cè)［20］，稱之為全連接CNN（Fully Connected CNN，F(xiàn)C-CNN）。FC-CNN 適用領(lǐng)域較廣，并且能夠得到較好的分類預(yù)測(cè)效果。文獻(xiàn)［8］提出一種基于雷達(dá)圖表示數(shù)值型數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)分類方法，利用CNN 在圖像數(shù)據(jù)處理領(lǐng)域的優(yōu)勢(shì)，先對(duì)數(shù)值型數(shù)據(jù)樣本進(jìn)行標(biāo)準(zhǔn)化操作，再將標(biāo)準(zhǔn)化后的N維屬性映射到N邊形雷達(dá)圖中，實(shí)現(xiàn)異質(zhì)結(jié)構(gòu)數(shù)據(jù)向同質(zhì)結(jié)構(gòu)數(shù)據(jù)的轉(zhuǎn)化，最后將雷達(dá)圖數(shù)據(jù)作為圖像數(shù)據(jù)輸入到常規(guī)的CNN 模型中進(jìn)行分類預(yù)測(cè)。該方法在化工過程數(shù)據(jù)集中取得了較好的故障分類結(jié)果。文獻(xiàn)［4］利用CNN 算法進(jìn)行心臟病預(yù)測(cè)，先通過詞嵌入方法將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成向量，再輸入CNN 模型中進(jìn)行訓(xùn)練和預(yù)測(cè)，取得了較好的效果。

1.3 卷積核的設(shè)計(jì)

在CNN 模型中，卷積核的設(shè)計(jì)和網(wǎng)絡(luò)模型的構(gòu)造是影響分類預(yù)測(cè)效果的關(guān)鍵部分，其中卷積核的設(shè)計(jì)尤為重要。為了完成特定的學(xué)習(xí)任務(wù)，可以采用不同的卷積核以及卷積方式來提取感受野的數(shù)據(jù)特征。以圖像識(shí)別為例，卷積層的卷積核具有良好的平移不變性，即卷積核僅對(duì)特定的特征才會(huì)有較大激活值。無論上層特征圖中的某一特征平移到何處，卷積核都會(huì)在該特征處呈現(xiàn)較大的激活值，目前最常用的方法是矩形卷積窗。為了在擴(kuò)大感受野的同時(shí)減少參數(shù)降低計(jì)算量，文獻(xiàn)［21］提出了空洞卷積，使深層的卷積神經(jīng)網(wǎng)絡(luò)在擴(kuò)大感受野的同時(shí)減少了參數(shù)數(shù)量，以這一方法代替?zhèn)鹘y(tǒng)增加感受野進(jìn)行降采樣而導(dǎo)致丟失分辨率的方法。文獻(xiàn)［22］提出轉(zhuǎn)置卷積這一概念，通過轉(zhuǎn)置卷積使網(wǎng)絡(luò)模型最優(yōu)化地進(jìn)行上采樣，并且還可用于可視化卷積的過程。該方法在GAN 等領(lǐng)域中得到大量應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)對(duì)于輸入信息有嚴(yán)格要求，多是規(guī)則的矩形排列。文獻(xiàn)［10］提出不規(guī)則卷積神經(jīng)網(wǎng)絡(luò)，將形狀與參數(shù)與卷積核參數(shù)融合，一同在反向傳播的過程中更新參數(shù)，以此更好地提取貼合待測(cè)目標(biāo)形狀的特征信息。該方法在語義分割數(shù)據(jù)集上獲得了較好的效果。

在面向異質(zhì)非均勻數(shù)據(jù)的分類預(yù)測(cè)任務(wù)中采用卷積神經(jīng)網(wǎng)絡(luò)方法時(shí)，一個(gè)重要的問題是如何合理設(shè)計(jì)卷積核以有效提取樣本在高維屬性空間中鄰域樣本標(biāo)記的空間分布特征，本文將對(duì)此進(jìn)行研究。

2 鄰域標(biāo)記特征的提取

異質(zhì)非均勻數(shù)據(jù)中各個(gè)屬性往往具有不同的衡量標(biāo)準(zhǔn)，為了消除各個(gè)指標(biāo)之間的量綱影響，需要先進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化解決數(shù)據(jù)指標(biāo)之間的可比性問題。本文利用min-max 標(biāo)準(zhǔn)化方法對(duì)所有屬性維度進(jìn)行歸一化處理，如式（1）所示：

其中：x*為標(biāo)準(zhǔn)化后的屬性值；x為原屬性值；xmin和xmax分別為該屬性的最小值和最大值。通過歸一化過程，可確保后續(xù)鄰域標(biāo)記特征提取與鄰域標(biāo)記樣本集構(gòu)建的準(zhǔn)確性。

鄰域標(biāo)記項(xiàng)特征提取的核心思想是利用kNN 的近鄰搜索尋找鄰域樣本標(biāo)記，即對(duì)待測(cè)樣本在訓(xùn)練集特征空間中根據(jù)歐氏距離尋找一定數(shù)量的鄰域樣本，構(gòu)成鄰域樣本集，其中，待測(cè)樣本的標(biāo)記取為鄰域樣本集中占比最大的標(biāo)記值。kNN 算法簡單有效，在處理很多分類問題上性能優(yōu)異，且對(duì)噪聲不敏感，但是kNN 算法在一些特定條件下效果并不好，如在鄰域數(shù)據(jù)集標(biāo)記項(xiàng)分布較均衡時(shí)預(yù)測(cè)效果就很不理想。為了定量描述近鄰樣本標(biāo)記的混淆程度，定義混淆系數(shù)為：

其中：n為待測(cè)樣本的同標(biāo)記近鄰數(shù)；k為總近鄰數(shù)；Cf∈[ 0，1] 。當(dāng)近鄰中正負(fù)例樣本數(shù)相同時(shí)，Cf=0，表示完全混淆；當(dāng)近鄰全部為正例或負(fù)例時(shí)，Cf=1，表示無混淆。以北京市空氣質(zhì)量監(jiān)測(cè)采樣數(shù)據(jù)集［16］為例，采用kNN 算法進(jìn)行預(yù)測(cè)（取k=15），kNN 對(duì)于同標(biāo)記數(shù)相同近鄰數(shù)不同的待測(cè)樣本的預(yù)測(cè)準(zhǔn)確率如圖3所示?？梢钥闯觯?dāng)混淆系數(shù)小于0.3 時(shí)，kNN 預(yù)測(cè)性能明顯變差，將此類樣本定義為重度混淆樣本，對(duì)于這類樣本，很難利用kNN 實(shí)現(xiàn)準(zhǔn)確預(yù)測(cè)。類似地，將混淆系數(shù)在0.3～0.6 之間的樣本定義為中度混淆樣本，而將混淆系數(shù)大于0.6的定義為輕度混淆樣本，對(duì)于輕度混淆樣本，可以利用kNN 實(shí)現(xiàn)準(zhǔn)確預(yù)測(cè)。

圖3 不同近鄰混淆條件下的kNN 性能差異Fig.3 Performance difference of kNN under different neighbor confusion conditions

然而，kNN 僅利用了鄰域樣本標(biāo)記的統(tǒng)計(jì)特征而忽略了其空間結(jié)構(gòu)特征。因此，本文利用鄰域樣本標(biāo)記項(xiàng)構(gòu)成的鄰域標(biāo)記樣本集所包含的空間結(jié)構(gòu)信息，并且將數(shù)據(jù)集的屬性描述由異質(zhì)轉(zhuǎn)變?yōu)橥|(zhì)，從而更好地利用CNN 在處理數(shù)據(jù)的空間平移不變性特征上的優(yōu)勢(shì)。首先定義鄰域標(biāo)記樣本如下：

定義1鄰域標(biāo)記樣本

已知d維樣本集D={(xi，yi)|1 ≤i≤m}，yi∈Y={1，-1}，設(shè)Dik={(xik，yik，dik)| 1 ≤k≤K}為中心樣本xi在屬性空間中前k個(gè)鄰域樣本的屬性、標(biāo)記及其到該中心樣本的距離信息集合，各樣本按距離排序即dik≤dil(1 ≤k＜l≤K)。定義K維鄰域標(biāo)記樣本集D＊={(xi，yi|1≤i≤m}，其中鄰域標(biāo)記樣本為Xi=(yi1，yi2，…，yiK)，dik≤dil(1≤k＜l≤K)。

本文將鄰域標(biāo)記樣本集所包含的豐富的標(biāo)記空間結(jié)構(gòu)特征信息輸入卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類預(yù)測(cè)，利用鄰域標(biāo)記樣本集增加后續(xù)卷積操作的特征輸入信息。圖4 為鄰域標(biāo)記樣本集D＊示例，其中第1 列為中心樣本的標(biāo)記yi，第2 列為距中心樣本最近的鄰域樣本的標(biāo)記yi1(1 ≤i≤m)，第2列至最后一列根據(jù)歐氏距離升序排列，依次類推，顏色越深表示距中心樣本越近。

圖4 鄰域標(biāo)記樣本集示例Fig.4 Example of neighborhood label sample set

由于鄰域樣本對(duì)待測(cè)樣本的影響通常隨距離增大而減小，為了盡可能捕捉不同感受野范圍內(nèi)的鄰域標(biāo)記空間分布特征，本文對(duì)鄰域標(biāo)記樣本集進(jìn)行劃分，使用不同尺度的鄰域標(biāo)記樣本數(shù)作為CNN 模型的訓(xùn)練輸入樣本，在彌補(bǔ)kNN 對(duì)單一k值選擇局限性的同時(shí)，增加CNN 模型輸入樣本規(guī)模和魯棒性。圖5 為鄰域標(biāo)記樣本的鄰域尺度示例（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。可以看出，在原始高維屬性空間中，所有鄰域樣本根據(jù)與中心樣本間的歐氏距離進(jìn)行排列并且分布在中心樣本附近，圖中給出了2 個(gè)不同鄰域尺度（4 和9）下鄰域樣本在原始屬性空間的分布和標(biāo)記值，分別對(duì)應(yīng)圖中的黑色和藍(lán)色球形區(qū)域。依此類推，可以提取更多尺度的鄰域樣本信息，構(gòu)造出對(duì)應(yīng)的鄰域標(biāo)記樣本集作為CNN 模型的輸入數(shù)據(jù)。

圖5 鄰域標(biāo)記樣本的鄰域尺度Fig.5 Neighborhood scale of neighborhood label samples

3 基于k 近鄰的超球卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

3.1 超球卷積

給出超球卷積定義如下：

定義2超球卷積

對(duì)于樣本集D及其鄰域標(biāo)記樣本集D＊∈RK，定義一個(gè)尺度為k(1 ＜k≤K) 的1D 卷積核W(k)=作為對(duì)樣本特征空間中各中心樣本xi的一個(gè)超球卷積，即：

超球卷積是在d維特征空間中對(duì)中心樣本xi的k個(gè)鄰域樣本的標(biāo)記值進(jìn)行的卷積操作，具有模型簡單、計(jì)算量小的優(yōu)勢(shì)，具體實(shí)現(xiàn)上可通過簡單的1D 卷積實(shí)現(xiàn)，但與常規(guī)的1D 卷積具有不同的物理意義：超球卷積是在原始高維屬性空間中提取待測(cè)樣本與其鄰域樣本在標(biāo)記上的統(tǒng)計(jì)特征與空間結(jié)構(gòu)特征，其前提是必須先利用kNN 近鄰搜索構(gòu)造出鄰域標(biāo)記樣本集作為CNN的輸入數(shù)據(jù)，而不是直接對(duì)原始樣本進(jìn)行卷積，其通過選取不同的尺度值k進(jìn)行卷積，實(shí)現(xiàn)對(duì)不同范圍內(nèi)鄰域樣本的標(biāo)記與空間特征的提取。

超球卷積在原始數(shù)據(jù)樣本的特征空間中采用CNN 而不是利用貝葉斯原理從概率的角度去估計(jì)中心（未知）樣本的類標(biāo)記，其通過卷積核的迭代訓(xùn)練來提取局部特征，從而利用CNN 卷積的平移不變性來提取中心樣本與鄰域樣本標(biāo)記值的相關(guān)性特征。超球卷積中的平移不變性提取與CNN 圖像識(shí)別的處理不同，超球卷積是對(duì)整個(gè)屬性空間進(jìn)行局部采樣構(gòu)成鄰域標(biāo)記樣本集，通過對(duì)每個(gè)鄰域標(biāo)記樣本利用多個(gè)尺度卷積核進(jìn)行一次性的多副本卷積，實(shí)現(xiàn)在整個(gè)屬性空間中的特征提取。

3.2 HCNN 網(wǎng)絡(luò)模型設(shè)計(jì)

基于傳統(tǒng)CNN 模型，本文引入超球卷積設(shè)計(jì)超球卷積神經(jīng)網(wǎng)絡(luò)（Hypersphere CNN，HCNN）模型。HCNN 將多種不同尺度的鄰域標(biāo)記樣本集作為輸入，對(duì)每條樣本的鄰域按升序排列并分別提取距中心樣本最近的前22，32，…，n2個(gè)鄰域標(biāo)記樣本構(gòu)成n-1 種尺度的輸入數(shù)據(jù)。圖6 為提取4 種尺度（即k=4，9，16，25）鄰域標(biāo)記樣本的示意圖（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。

圖6 多尺度鄰域標(biāo)記樣本提取Fig.6 Extraction of multi-scale neighborhood label samples

1）超球卷積層。超球卷積層用于提取各種不同尺度的鄰域標(biāo)記的空間特征，可以用1D 全連接來實(shí)現(xiàn)，操作流程如圖7 所示，圖中采用了4 種尺度，每種尺度均按照式（3）進(jìn)行400 個(gè)副本的超球卷積，形成（n-1）×400 的輸出矩陣，并將其轉(zhuǎn)變?yōu)槊繉映叽鐬椋?0，20）深度為n-1 層的張量。

圖7 超球卷積層操作流程Fig.7 Operation procedure of hypersphere convolution layer

2）卷積層。由于各層張量代表不同尺度的鄰域標(biāo)記樣本，為了使各種尺度提取的特征具有不同的意義以及權(quán)重，卷積方式采用深度可分離卷積。深度可分離卷積層與傳統(tǒng)卷積層不同之處在于一個(gè)卷積核只提取一個(gè)通道（層）的特征提取，將各個(gè)尺度的鄰域分別進(jìn)行超球卷積以此來對(duì)各種尺度的鄰域標(biāo)記進(jìn)行特征提取。卷積層由依次利用3×3、3×3 和5×5 的卷積核且步長均為1 的3 個(gè)深度可分離卷積層所構(gòu)成，3 次深度可分離卷積具體操作如圖8 所示，在每層深度可分離卷積后加入一層Batch Normalization 來加快學(xué)習(xí)收斂速度，同時(shí)避免梯度消失。

圖8 3 次深度可分離卷積Fig.8 Cubic depth separable convolution

3）全連接層。全連接層的目的是利用提取出的特征進(jìn)行有效分類。該層由普通的多層普通神經(jīng)網(wǎng)絡(luò)組成，激活函數(shù)采用SELU 函數(shù)，并且利用Dropout防止過擬合現(xiàn)象。

4）輸出層。輸出層利用全連接層實(shí)現(xiàn)，用于輸出模型判斷出的該樣本的正例概率，激活函數(shù)采用Sigmoid 函數(shù)。

5）損失函數(shù)。損失函數(shù)用于衡量預(yù)測(cè)值和真實(shí)值之間的差距，并用于更新全連接層和卷積層參數(shù)，由于本文是針對(duì)二分類問題，因此采用二元交叉熵作為損失函數(shù)。

以4、9、16、25 這4 種尺度為例，HCNN 模型整體架構(gòu)如圖9 所示。

圖9 HCNN 模型整體架構(gòu)Fig.9 Overall architecture of HCNN model

3.3 HCNN 算法描述

HCNN 模型中主要分為三步：構(gòu)建鄰域標(biāo)記樣本集，HCNN 模型訓(xùn)練和利用HCNN 模型進(jìn)行分類預(yù)測(cè)。具體算法描述如下：

算法1HCNN

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)所使用的數(shù)據(jù)為北京市昌平氣象監(jiān)測(cè)站2013 年3 月1 日—2017 年2 月28 日每小 時(shí)的空氣污染物監(jiān)測(cè)采樣數(shù)據(jù)［23］。數(shù)據(jù)集總共包含32 681 條樣本，數(shù)據(jù)樣例如表1 所示。數(shù)據(jù)樣本屬性包括年、月、日、時(shí)、SO2濃度、NO2濃度、CO 濃度、O3濃度、溫度、壓強(qiáng)、露點(diǎn)溫度、降水量和風(fēng)速。

表1 北京市空氣污染物監(jiān)測(cè)數(shù)據(jù)樣例Table 1 Samples of air pollutant monitoring data in Beijing

取PM2.5 濃度為標(biāo)記項(xiàng)。圖10 為PM2.5 的概率密度分布，可見出現(xiàn)PM2.5 濃度小于200 的出現(xiàn)天數(shù)占絕大部分，因此，將PM2.5 濃度大于200（對(duì)應(yīng)中重度污染）設(shè)為正例，共2 116 條樣本，在數(shù)據(jù)集中占6.47%，屬于典型的不平衡數(shù)據(jù)集。作為對(duì)照實(shí)驗(yàn)，同時(shí)取門限50 μg/m3（設(shè)PM2.5 濃度小于50 為正例）得到一套平衡數(shù)據(jù)集，其中正例共17 221 條樣本（占比52.69%）。

圖10 PM2.5 濃度的概率密度分布Fig.10 Probability density distribution of PM2.5 concentration

圖11 為各屬性與標(biāo)記項(xiàng)之間相關(guān)系數(shù)的統(tǒng)計(jì)分布，可見SO2、NO2、CO 濃度這三個(gè)屬性與標(biāo)記項(xiàng)之間以及這三個(gè)屬性間均有較高的相關(guān)性。

圖11 屬性及標(biāo)記項(xiàng)間的相關(guān)系數(shù)統(tǒng)計(jì)分布Fig.11 Statistical distribution of correlation coefficients among attributes and label items

4.2 性能評(píng)價(jià)準(zhǔn)則

由于本文研究的問題屬于分類問題，因此評(píng)價(jià)指標(biāo)采用準(zhǔn)確率、精度、召回率和F1 測(cè)度。以下實(shí)驗(yàn)均使用Python 語言在PyCharm 平臺(tái)上完成。

4.3 算法實(shí)驗(yàn)分析

本文將HCNN算法與kNN、FC-CNN，Radar-CNN等算法進(jìn)行對(duì)比，并對(duì)算法各關(guān)鍵參數(shù)的選取進(jìn)行實(shí)驗(yàn)對(duì)比。此外，為了對(duì)比HCNN 在不采用kNN 預(yù)處理時(shí)的性能變化，采用普通CNN 模型進(jìn)行消融實(shí)驗(yàn)，其神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型與HCNN 基本相同，區(qū)別在于對(duì)原始的異質(zhì)數(shù)據(jù)不經(jīng)過異質(zhì)化，而是直接進(jìn)行卷積處理，下文中稱為CNN 算法。將訓(xùn)練集與測(cè)試集比例設(shè)定為8∶2，采用5折交叉驗(yàn)證的方法得到最終的性能評(píng)價(jià)結(jié)果。

4.3.1 HCNN 實(shí)驗(yàn)結(jié)果

HCNN模型的訓(xùn)練過程以及收斂曲線如圖12所示，其中，圖12（a）和圖12（b）為訓(xùn)練集的殘差與準(zhǔn)確率收斂曲線，可見訓(xùn)練集loss 值和準(zhǔn)確率在迭代50 次左右時(shí)即快速收斂，圖12（c）和圖12（d）為驗(yàn)證集的殘差與準(zhǔn)確率收斂曲線，同樣在迭代50 次左右逐漸收斂趨于平滑。由此可見HCNN 模型并沒有產(chǎn)生明顯的過擬合現(xiàn)象，可有效地對(duì)未知樣本進(jìn)行預(yù)測(cè)。

圖12 HCNN 模型訓(xùn)練的殘差與準(zhǔn)確率收斂曲線Fig.12 Convergence curve of loss and accuracy of HCNN model training

4.3.2 超球卷積核最大尺度的選取

鄰域樣本與中心樣本的距離關(guān)系如圖13 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），其中，圖13（a）是從全部訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取200 個(gè)樣本（不同顏色的曲線代表不同樣本與其鄰域樣本間的歐式距離曲線），取最大鄰域尺度為200，分別計(jì)算各樣本與其鄰域樣本的歐氏距離并按升序排列繪制的曲線?？梢悦黠@看出，當(dāng)鄰域尺度k取到25 以后，中心樣本與鄰域樣本的距離差逐漸趨于平緩。為了評(píng)估訓(xùn)練樣本規(guī)模的影響，從訓(xùn)練集中隨機(jī)抽取5 000 個(gè)樣本作為新的訓(xùn)練集進(jìn)行近鄰搜索，結(jié)果如圖13（b）所示?？梢钥闯觯跍p小訓(xùn)練集規(guī)模后，中心樣本與鄰域樣本間的距離依舊在尺度為25 左右開始趨于平緩。因此，本文實(shí)驗(yàn)中取最大尺度數(shù)為25。選取更大范圍的鄰域樣本參與訓(xùn)練不僅會(huì)導(dǎo)致計(jì)算量過大，而且可能因?yàn)轭I(lǐng)域樣本的區(qū)分度降低而引入不必要的干擾。對(duì)于不同的應(yīng)用數(shù)據(jù)集，仍建議將最大尺度數(shù)作為一個(gè)重要的超參數(shù)，通過上述分析找到最優(yōu)值。

圖13 鄰域樣本與中心樣本的距離關(guān)系Fig.13 Distance relationship between neighbor sample and center sample

圖14 是鄰域樣本不同尺度數(shù)下的預(yù)測(cè)準(zhǔn)確率對(duì)比。實(shí)驗(yàn)采取的鄰域尺度分別為k=22，32，…，n2。尺度數(shù)為1 就選鄰域尺度為k=22尺度的鄰域標(biāo)記樣本作為輸入，尺度數(shù)為2 就選k=22、32這2 個(gè)尺度的鄰域標(biāo)記樣本作為輸入，依此類推?？梢钥闯?，當(dāng)模型輸入取鄰域尺度數(shù)為4 時(shí)，HCNN 模型分類預(yù)測(cè)準(zhǔn)確率最高。

圖14 不同鄰域尺度下的準(zhǔn)確率對(duì)比Fig.14 Comparison of accuracy under different neighbor scales

4.3.3 軟硬鄰域標(biāo)記的實(shí)驗(yàn)對(duì)比

在鄰域標(biāo)記樣本集中，各屬性項(xiàng)是每個(gè)鄰域樣本的標(biāo)記值（即PM2.5 濃度是否超標(biāo)，需要將實(shí)際的數(shù)值通過門限判決轉(zhuǎn)為硬標(biāo)記，即±1），這樣輸入到HCNN 模型的數(shù)據(jù)中就損失了PM2.5 濃度的細(xì)節(jié)信息，因此，也可以考慮保留各鄰域樣本的PM2.5 濃度原始值，即軟標(biāo)記值。

圖15 為HCNN 算法在鄰域標(biāo)記樣本集分別采用軟硬標(biāo)記值的各項(xiàng)指標(biāo)對(duì)比?？梢钥闯?，軟標(biāo)記輸入所得的各項(xiàng)指標(biāo)略好于硬標(biāo)記輸入，因此，本文使用鄰域樣本的軟標(biāo)記值作為模型訓(xùn)練的輸入。

圖15 鄰域樣本軟硬標(biāo)記值的HCNN 性能對(duì)比Fig.15 Comparison of HCNN performance with soft and hard labels of neighbor sample

4.3.4 HCNN 算法在混淆樣本中的性能分析

由于kNN 算法依靠鄰域投票機(jī)制進(jìn)行分類預(yù)測(cè)，因此往往無法解決混淆樣本的分類問題（如圖3所示）。在高度不平衡樣本集中，這種情況更為突出。為此，分別針對(duì)平衡樣本集和不平衡樣本集對(duì)比HCNN 和kNN 算法在不同的混淆條件下的性能，實(shí)驗(yàn)結(jié)果如圖16 所示。

圖16 HCNN 與kNN 在不同混淆條件下的預(yù)測(cè)性能對(duì)比Fig.16 Comparison of prediction performance between HCNN and kNN under different confusion conditions

由圖16 可以看出，HCNN 對(duì)混淆樣本的預(yù)測(cè)效果要遠(yuǎn)好于kNN 算法，體現(xiàn)了超球卷積在提取復(fù)雜鄰域標(biāo)記空間結(jié)構(gòu)特征上的優(yōu)異能力。

4.3.5 HCNN 與其他算法的性能對(duì)比

將HCNN 與kNN、Radar-CNN、FC-CNN、CNN這4 種算法進(jìn)行性能對(duì)比，實(shí)驗(yàn)結(jié)果如圖17 所示?？梢钥闯觯琀CNN 的預(yù)測(cè)準(zhǔn)確率略高于其他3 種算法，預(yù)測(cè)精度kNN 最高、HCNN 算法排列第二。由于在不平衡數(shù)據(jù)集中準(zhǔn)確率失真，因此主要對(duì)比召回率等指標(biāo)，可以看出，HCNN 算法顯著優(yōu)于其他算法，體現(xiàn)出HCNN 在不平衡樣本集上的性能優(yōu)勢(shì)。

圖17 不同算法的性能指標(biāo)對(duì)比Fig.17 Performance comparison of different algorithms

通過與CNN 算法的消融實(shí)驗(yàn)對(duì)比可以發(fā)現(xiàn)，利用kNN 預(yù)處理進(jìn)行近鄰結(jié)構(gòu)信息的提取后能夠顯著提升模型性能，由此可見，對(duì)于異質(zhì)數(shù)據(jù)集，利用kNN 進(jìn)行樣本同質(zhì)化是一種有效的手段。

5 結(jié)束語

本文提出一種結(jié)合kNN 和CNN 的深度學(xué)習(xí)模型。利用kNN 的近鄰搜索，將僅攜帶多維屬性信息的異質(zhì)數(shù)據(jù)樣本集轉(zhuǎn)化為攜帶鄰域樣本標(biāo)記信息和屬性空間結(jié)構(gòu)特征的同質(zhì)化數(shù)據(jù)集。在此基礎(chǔ)上，通過對(duì)鄰域樣本標(biāo)記進(jìn)行超球卷積的方式提取未知樣本的鄰域標(biāo)記特征，進(jìn)而對(duì)該樣本的標(biāo)記進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，該模型能夠有效提取未知樣本的鄰域樣本標(biāo)記特征并對(duì)該樣本的標(biāo)記進(jìn)行準(zhǔn)確預(yù)測(cè)，與kNN、CNN、FC-CNN、Radar-CNN 等算法相比預(yù)測(cè)性能更優(yōu)。下一步將分析HCNN 在多種數(shù)據(jù)噪聲環(huán)境、尺度變換（平移/旋轉(zhuǎn)等）條件下的性能，并驗(yàn)證其在處理多標(biāo)簽分類和回歸問題時(shí)的預(yù)測(cè)性能。