SOM與HL融合的地鐵異物分類算法

劉偉銘，杜逍睿，李靜寧，鄭仲星

(華南理工大學(xué)土木與交通學(xué)院， 廣州 510640)

1 概述

地鐵因具有運量大、速度快、準(zhǔn)時率高等優(yōu)點，已經(jīng)成為了城市最主要交通方式。以廣州為例，截止2019年6月，其日最高客運量已達(dá)到1 062.0萬人次[1]。地鐵在方便人們出行的同時，也因為其檢測技術(shù)的不完善頻頻給乘客帶來人身傷害，僅2019年上半年，全國由于地鐵列車門和屏蔽門之間夾物造成的乘客受傷事件就有多起，所以一套能檢測列車屏蔽門和列車門之間是否存在異物并能對所檢測到的異物進(jìn)行分類的系統(tǒng)變得尤為重要，這不僅能為駕駛員提供夾物警告且能為駕駛員提供所夾異物的種類信息，便于駕駛員對是否繼續(xù)啟動列車進(jìn)行綜合判斷，也將極大地保障乘客的乘車安全并大大提高列車的運行效率。

2 地鐵異物分類方法

通過對地鐵的實地調(diào)研，發(fā)現(xiàn)夾在或掉落在地鐵站臺門與列車門之間的異物有5類，包括包類、衣服、人四肢、人頭、手機(jī)。目前基于深度學(xué)習(xí)的圖片分類器，如CNN，F(xiàn)aster R-CNN，YOLO，SSD[2-5]雖然具有準(zhǔn)確率高魯棒性好的特點，但是其需要大量的帶標(biāo)簽數(shù)據(jù)和昂貴的GPU作為前提，且由于神經(jīng)網(wǎng)絡(luò)其巨大的參數(shù)量使得每次對圖片的分類都將進(jìn)行數(shù)百萬甚至數(shù)千萬次的浮點運算?？紤]到地鐵狹小的安裝環(huán)境和安裝成本，選擇NanoPC-T2嵌入式板作為基礎(chǔ)硬件，若在其上運行深度學(xué)習(xí)網(wǎng)絡(luò)，那么上百萬次的浮點運算對于性能較弱的NanoPC-T2嵌入式板來說是無法想象的，同時對于大量帶標(biāo)簽訓(xùn)練數(shù)據(jù)的獲取也是十分困難的。為了解決無法獲得大量帶標(biāo)簽數(shù)據(jù)的問題，將采用無監(jiān)督學(xué)習(xí)算法SOM[6]分別學(xué)習(xí)圖片數(shù)據(jù)和標(biāo)簽數(shù)據(jù)的分布；為了解決分類異物實時性的問題，將采用Hebbian Learning(HL)[7]算法學(xué)習(xí)圖片數(shù)據(jù)分布與標(biāo)簽數(shù)據(jù)分布之間的數(shù)學(xué)關(guān)系并編碼在HL矩陣中，最終以查表的方式實現(xiàn)異物分類，達(dá)到實時分類異物。

3 基于SOM+HL的異物分類模型

3.1 SOM算法簡介

SOM算法是一種無監(jiān)督的神經(jīng)網(wǎng)絡(luò)，區(qū)別傳統(tǒng)的深度學(xué)習(xí)，SOM算法不依靠梯度下降和反向傳播進(jìn)行權(quán)重更新而是采用競爭學(xué)習(xí)的方式，依靠神經(jīng)元之間通過競爭、合作、適應(yīng)來優(yōu)化網(wǎng)絡(luò)，最終達(dá)到學(xué)習(xí)輸入數(shù)據(jù)分布的目的[8-11]。其優(yōu)點在于不需要標(biāo)簽訓(xùn)練數(shù)據(jù)且能獲得較好的聚類效果，其缺點是傳統(tǒng)的SOM網(wǎng)絡(luò)無法對神經(jīng)元的資源進(jìn)行合理的配置，即網(wǎng)絡(luò)無法根據(jù)訓(xùn)練數(shù)據(jù)的特性使需要精確表達(dá)的數(shù)據(jù)部分獲得更多的神經(jīng)元表示，這將導(dǎo)致神經(jīng)元權(quán)重聚類的不合理，影響對訓(xùn)練數(shù)據(jù)分布的表達(dá)，進(jìn)而使得聚類的準(zhǔn)確度降低。

3.2 改進(jìn)的SOM網(wǎng)絡(luò)

本文提出的基于SOM+HL的異物分類模型，用于提取圖片數(shù)據(jù)與標(biāo)簽數(shù)據(jù)之間的數(shù)學(xué)關(guān)系，最終通過解碼學(xué)習(xí)到的相關(guān)性矩陣完成異物圖片分類。

為了介紹SOM+HL模型，本文將提供一個可視化的例子，以證明此模型具有學(xué)習(xí)不同類數(shù)據(jù)分布之間復(fù)雜數(shù)學(xué)關(guān)系的能力。本例中SOM在模型中的作用有：(1)負(fù)責(zé)提取輸入樣本的數(shù)據(jù)分布，如圖1所示，經(jīng)過學(xué)習(xí)SOM神經(jīng)元的權(quán)重將呈現(xiàn)出與圖1中藍(lán)色和紅色數(shù)據(jù)相似的分布；(2)以分布活動模式對輸入樣本進(jìn)行編碼，如圖2所示，這種活動模式使得與輸入樣本最接近的神經(jīng)元被強烈激活，領(lǐng)域神經(jīng)元的激活強度與其距獲勝神經(jīng)元的距離成比例衰減。

圖1 非線性的輸入數(shù)據(jù)關(guān)系及其分布

圖2 模型內(nèi)部結(jié)構(gòu)

為了使SOM網(wǎng)絡(luò)能更好地學(xué)習(xí)樣本的數(shù)據(jù)分布，改進(jìn)了原有的SOM網(wǎng)絡(luò)，使得每個SOM神經(jīng)元不止學(xué)習(xí)一個特定的權(quán)重，同時也學(xué)習(xí)對輸入數(shù)據(jù)的敏感曲線(呈正態(tài)分布)，敏感曲線代表了神經(jīng)元對輸入數(shù)據(jù)的偏好程度，輸入數(shù)據(jù)越接近神經(jīng)元權(quán)重激活值越大。通常SOM網(wǎng)絡(luò)的訓(xùn)練過程包括4個階段：(1)計算激活值過程；(2)競爭過程；(3)合作過程；(4)適應(yīng)過程，本文在傳統(tǒng)SOM基礎(chǔ)上增加了(5)對敏感曲線的調(diào)整過程。以下為本文SOM網(wǎng)絡(luò)的訓(xùn)練過程。

(1)

(2)競爭過程：通過公式(2)可獲得第p個SOM神經(jīng)網(wǎng)絡(luò)中在第k輪訓(xùn)練中獲勝的神經(jīng)元bp(k)，即激活值最大的神經(jīng)元為獲勝神經(jīng)元。

(2)

(3)

(4)適應(yīng)過程：通過公式(3)的核函數(shù)能確保網(wǎng)絡(luò)中的神經(jīng)元能專注于數(shù)據(jù)空間的不同區(qū)域，使神經(jīng)元的輸入權(quán)重向樣本數(shù)據(jù)靠近，通過公式(4)獲得每個神經(jīng)元權(quán)重的更新幅度，其中α(k)為第k輪訓(xùn)練的學(xué)習(xí)率。

(4)

(5)敏感曲線調(diào)整過程：每個神經(jīng)元的敏感曲線的調(diào)整取決于神經(jīng)元的空間位置，神經(jīng)元距離輸入樣本的距離，核函數(shù)的大小以及衰減學(xué)習(xí)率α(k)，即通過式(5)對敏感曲線進(jìn)行更新。

(5)

圖3 使用提出模型提取的數(shù)據(jù)關(guān)系

如圖3所示，本文只考慮2個SOM中的5個神經(jīng)元的敏感曲線(即神經(jīng)元2，7，14，41，46)，可以注意到神經(jīng)元若對某小區(qū)間的數(shù)據(jù)有很強的敏感性，其敏感曲線尖銳且密集，反之若對數(shù)據(jù)的敏感性不高，則其敏感曲線寬長且稀疏。利用這個機(jī)制，本文的模型可以優(yōu)化資源(即神經(jīng)元)：使用更多的神經(jīng)元去表征需要精細(xì)表示的數(shù)據(jù)區(qū)域，使用較少的神經(jīng)元粗略地表示已經(jīng)表現(xiàn)很好的數(shù)據(jù)區(qū)域。

3.3 SOM+HL融合

本文模型的第二個部分是Hebbian Learning[17]，它是一個連接不同SOM之間所有神經(jīng)元的全連接矩陣，它使用全連接的方式將每個SOM神經(jīng)元之間的關(guān)系投射到HL矩陣中，如圖3所示，最終HL矩陣會將學(xué)到的關(guān)系進(jìn)行編碼?？梢钥吹?，若神經(jīng)元之間存在相關(guān)性那會在全連接矩陣中高亮顯示，反之則會呈現(xiàn)暗色。Hebbian Leaning使得SOM神經(jīng)元之間的相關(guān)性能被拉向正確的方向。原始的Hebbian Learning在神經(jīng)元被激活時只允許權(quán)重增長，為了阻止權(quán)重的無限增長本文使用了改進(jìn)后的Hebbian Leaning，當(dāng)神經(jīng)元以相關(guān)的方式被激活時他們之間的連接(權(quán)重)會被加強，而如果他們的激活效果是反相關(guān)的，那么他們的連接(權(quán)重)會被削弱。每個HL矩陣位置(i，j)在第k輪學(xué)習(xí)中的權(quán)重更新大小通過式(6)實現(xiàn)。

(6)

其中,

(7)

圖4詳細(xì)展示了當(dāng)向模型輸入樣本數(shù)據(jù)時的模型學(xué)習(xí)過程，可以看到不同數(shù)據(jù)之間具有強相關(guān)性的神經(jīng)元將其在HL矩陣的權(quán)重得到增強，而具有弱相關(guān)性的神經(jīng)元之間其在HL矩陣中的權(quán)重將減小。

圖4 詳細(xì)模型結(jié)構(gòu)與具體執(zhí)行

圖5～圖10展示了HL通過SOM學(xué)習(xí)兩個不同類的數(shù)據(jù)分布來獲得不同類數(shù)據(jù)之間的數(shù)學(xué)關(guān)系的過程。從圖5可以看出，在初始階段HL矩陣是隨機(jī)的，通過50次的迭代后逐漸在出現(xiàn)一條明亮的曲線，此條曲線即是HL矩陣通過學(xué)習(xí)2類數(shù)據(jù)的SOM分布獲得的兩類數(shù)據(jù)的數(shù)學(xué)關(guān)系式，可見其形狀與所期待的data2=(data1)3曲線是非常接近的，也就說明了HL矩陣具有學(xué)習(xí)不同數(shù)據(jù)分布之間復(fù)雜數(shù)學(xué)關(guān)系式的能力，也就啟發(fā)通過SOM和HL來學(xué)習(xí)圖片像素矩陣與圖片標(biāo)簽矩陣之間的復(fù)雜數(shù)學(xué)關(guān)系。

圖5 Epoch=0

圖6 Epoch=10

圖7 Epoch=20

圖8 Epoch=30

圖9 Epoch=40

圖10 Epoch=50

在利用SOM+HL模型對異物圖片進(jìn)行分類時，首先將6類異物分別放在6個貼有標(biāo)簽的文件夾中(1-衣服，2-包，3-人手/人腳，4-人頭，5-行李箱，6-無異物)。然后將數(shù)據(jù)分為兩類，第一類為圖片數(shù)據(jù)，第二類為圖片數(shù)據(jù)對應(yīng)的標(biāo)簽數(shù)據(jù)，將500張異物圖片數(shù)據(jù)和對應(yīng)的標(biāo)簽數(shù)據(jù)輸入各自的SOM網(wǎng)絡(luò)，利用SOM網(wǎng)絡(luò)學(xué)習(xí)兩類數(shù)據(jù)的分布，再將每輪訓(xùn)練數(shù)據(jù)獲得的神經(jīng)元激活值作為HL矩陣的輸入，利用式(6)學(xué)習(xí)不同SOM神經(jīng)元之間的相關(guān)性并將其編碼在HL矩陣中，經(jīng)過100輪的迭代學(xué)習(xí)，最終得到的圖片數(shù)據(jù)與標(biāo)簽數(shù)據(jù)的相關(guān)性矩陣編碼如圖11所示。圖中每個點的明亮程度代表了不同SOM中神經(jīng)元之間的聯(lián)系強弱，越明亮代表聯(lián)系越強，反之則越弱。

圖11 圖片數(shù)據(jù)與圖片標(biāo)簽數(shù)據(jù)相關(guān)性

對于新圖片分類預(yù)測的過程，則直接采取解碼HL矩陣即可。即向SOM網(wǎng)絡(luò)輸入待分類的圖片數(shù)據(jù)并獲得其激活神經(jīng)元的位置，通過查找HL學(xué)習(xí)矩陣，獲得圖片數(shù)據(jù)，SOM激活神經(jīng)元位置對應(yīng)的標(biāo)簽數(shù)據(jù)并激活神經(jīng)元的位置，最后通過解碼標(biāo)簽矩陣激活神經(jīng)元的權(quán)重矩陣獲得標(biāo)簽值，完成圖片的分類。

本文對改進(jìn)后的SOM+HL模型和原始SOM+HL網(wǎng)絡(luò)模型性能進(jìn)行對比，結(jié)果如表1所示?？梢钥闯?，改進(jìn)的SOM+HL模型在整體分類精度上有了較大提升，尤其是對小目標(biāo)的分類精度上，通過分析可知這正是SOM網(wǎng)絡(luò)利用敏感曲線在小目標(biāo)的表達(dá)上分配了更多的神經(jīng)元資源的結(jié)果。

表1 SOM+HL模型性能對比

4 模型優(yōu)化

考慮到NanoPC-T2嵌入式板的算力問題，所以對圖片有效特征的提取變得尤為重要，這不僅能降低圖片的維度加快檢測速度，還能消除非主要特征對檢測結(jié)果的影響，使模型在性能上得到優(yōu)化。

PCA(Principal components analysis)[12-14]技術(shù)是Hottel在1993年提出的一種全局特征提取的技術(shù)，主要利用不同維度數(shù)據(jù)之間的相關(guān)性進(jìn)行數(shù)據(jù)的壓縮和降維。目前PCA技術(shù)已經(jīng)廣泛用于圖片領(lǐng)域，使用PCA算法提取圖片特征的應(yīng)用流程如下。

(1)創(chuàng)建一個矩陣[X1，X2，…，Xm]，代表了N2×m的矩陣。其中每個Xi代表一張N×N的圖片，m代表訓(xùn)練圖片的數(shù)量。

(2)計算所有圖片像素值的平均數(shù)

(8)

(3)計算差分矩陣

(9)

(4)通過差分矩陣來生成協(xié)方差矩陣，以獲得相關(guān)矩陣

(10)

(5)使用相關(guān)矩陣獲得特征向量

Aφi=φλi

(11)

其中，φi是正交特征向量矩陣；λ是特征值矩陣，其中對角線上的特征值關(guān)系為λ0>λ1>…>λN2-1且λ0=λmax，這是利用特征空間Φ來減少特征向量矩陣的依據(jù)[15-17]。特征向量順序與特征值代表了其和原始數(shù)據(jù)的相似程度，特征向量空間為

Φ=[φ1|φ2|……|φn]

(12)

其中，1≤n≤N2

(6)如果Φ是一個特征向量空間，那么圖片X可以通過公式(13)完成圖片的降維，yn的維度為n。

(13)

本文訓(xùn)練圖片尺寸為200×200，即對于SOM網(wǎng)絡(luò)其輸入數(shù)據(jù)的維度為40 000，通過PCA降維后，只需要104個維度就能對原圖片進(jìn)行表征，且保留了原灰度圖99%的信息，這在保證網(wǎng)絡(luò)訓(xùn)練效果的同時大大降低了訓(xùn)練SOM網(wǎng)絡(luò)的計算量。圖12為原灰度圖，圖13是利用降維后的104個維度信息恢復(fù)的灰度圖。

圖12 PCA降維前原圖

圖13 PCA降維復(fù)原圖

本文分析了對訓(xùn)練圖片采用PCA預(yù)處理流程與不采用PCA預(yù)處理流程對分類結(jié)果的影響，實驗結(jié)果如表2所示。從表2可以看出，增加PCA流程不僅能提高分類檢測速度，更能提高分類的準(zhǔn)確率。

表2 有無PCA流程對分類效果的影響

5 結(jié)論

通過安裝在站臺門與列車門之間的RGB攝像頭采集的圖像，結(jié)合通過HL訓(xùn)練所獲得的記錄了SOM分類神經(jīng)元之間數(shù)學(xué)關(guān)系的矩陣模型，完成了對地鐵站臺門與列車門之間異物的分類。通過對比實驗可知，改進(jìn)的SOM+HL模型能更好地分配神經(jīng)元資源，對比原始的SOM+HL模型，其分類準(zhǔn)確率從64.44%提高到72.60%。通過對待分類數(shù)據(jù)增加PCA預(yù)處理操作，降低訓(xùn)練難度，預(yù)先使用PCA對訓(xùn)練圖片進(jìn)行降維去噪處理會提高SOM+HL模型的分類準(zhǔn)確率，并能提高模型分類速度。最終PCA+SOM+HL模型對異物分類的準(zhǔn)確率達(dá)到86.2%，其檢測速度在T2板上達(dá)到了60FPS，實現(xiàn)了實時分類異物，為進(jìn)一步保障乘客乘車的安全和列車的高效運行奠定了基礎(chǔ)，因為實時性強和準(zhǔn)確率高的特點，使得其在軌道交通領(lǐng)域具有極高的使用和推廣價值。