基于深度學(xué)習(xí)的紅外圖像人體參數(shù)識(shí)別研究

唐明武，李 果，劉盼龍，趙睿雯，劉卓辰，吳小舟，高 潔

(1.大連理工大學(xué)土木工程學(xué)院，遼寧 大連 116024；2.大連大學(xué)建工學(xué)院，遼寧 大連 116622)

現(xiàn)今社會(huì)，大部分人80%的時(shí)間都在室內(nèi)度過(guò).隨著社會(huì)發(fā)展，人居環(huán)境已經(jīng)得到了較大的改善，空調(diào)也變得越來(lái)越普及.如何通過(guò)室內(nèi)熱濕環(huán)境調(diào)節(jié)手段來(lái)保證室內(nèi)人員的舒適性至關(guān)重要.在上世紀(jì)七、八十年代，丹麥Fanger教授根據(jù)人體熱平衡方程和ASHRAE七級(jí)熱感覺(jué)標(biāo)度提出了熱舒適評(píng)價(jià)指標(biāo)——預(yù)測(cè)平均投票值(PMV)和預(yù)測(cè)不滿(mǎn)意百分?jǐn)?shù)(PPD)[1]，該指標(biāo)同時(shí)被國(guó)際標(biāo)準(zhǔn)ISO 7730[2]、歐盟標(biāo)準(zhǔn)EN 15251[3]和美國(guó)標(biāo)準(zhǔn)ASHRAE Standard 55[4]所采用.該指標(biāo)綜合考慮了四項(xiàng)環(huán)境參數(shù)(空氣溫度、平均輻射溫度、空氣流速、空氣濕度)和兩項(xiàng)人體參數(shù)(人體活動(dòng)狀態(tài)和著裝情況)對(duì)人體熱舒適的影響，并對(duì)人體熱舒適程度進(jìn)行了量化.通過(guò)測(cè)量上述四項(xiàng)環(huán)境參數(shù)和兩項(xiàng)人體參數(shù)并輸入人體熱舒適方程，可以計(jì)算得到PMV和PPD指標(biāo)，從而判斷當(dāng)前人體是否舒適，為空調(diào)系統(tǒng)的運(yùn)行控制提供依據(jù).

在影響人體熱舒適的六項(xiàng)參數(shù)中，四項(xiàng)環(huán)境參數(shù)可以根據(jù)環(huán)境傳感器進(jìn)行監(jiān)測(cè)，相關(guān)測(cè)定方法及儀器已比較成熟[5].相對(duì)而言，兩項(xiàng)人體參數(shù)的測(cè)量更復(fù)雜，一般可分為接觸式測(cè)量、半接觸式測(cè)量、非接觸式測(cè)量三類(lèi)[6].接觸式測(cè)量方法是將測(cè)量得到的心率、脈搏等生理參數(shù)與人體熱舒適構(gòu)建相應(yīng)的關(guān)系，此類(lèi)方法最大的障礙在于會(huì)使人員產(chǎn)生較大的異物感，且無(wú)法獲得著裝情況；半接觸式測(cè)量方法是將傳感器集成到可穿戴設(shè)備上，實(shí)時(shí)監(jiān)測(cè)人員的熱舒適性，此類(lèi)方法未能直接考慮人員活動(dòng)狀態(tài)及著裝情況對(duì)熱舒適的影響；非接觸式測(cè)量方法為基于視頻/圖像處理的方法來(lái)實(shí)現(xiàn)對(duì)人體參數(shù)的測(cè)量，這樣可以避免對(duì)人員活動(dòng)的干擾及避免可穿戴設(shè)備的異物感.而紅外熱成像測(cè)量技術(shù)作為非接觸式測(cè)量方式的一種，原理是通過(guò)紅外傳感器接收物體發(fā)出的紅外輻射，經(jīng)由統(tǒng)一的信號(hào)處理系統(tǒng)將物體的熱分布轉(zhuǎn)變?yōu)榭梢晥D像[7]，對(duì)于人體不同活動(dòng)狀態(tài)和著裝情況下的紅外特征均能體現(xiàn)出差異性與可識(shí)別性，是目前適合監(jiān)測(cè)人體參數(shù)的一種潛在測(cè)量方法.

在計(jì)算機(jī)視覺(jué)領(lǐng)域，對(duì)人體行為活動(dòng)的識(shí)別研究較為流行，主要側(cè)重于基于不同模型識(shí)別方法對(duì)可見(jiàn)光波段圖像/視頻進(jìn)行識(shí)別研究，相關(guān)方法均需要進(jìn)行特征提取[8-10].相對(duì)于可見(jiàn)光波段圖像，紅外成像取決于天氣、時(shí)間環(huán)境等參數(shù)，對(duì)圖像的特征提取更為復(fù)雜.解決問(wèn)題的靈感來(lái)自動(dòng)物的視覺(jué)皮層，特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學(xué)習(xí)方法，在對(duì)紅外圖像進(jìn)行識(shí)別時(shí)展現(xiàn)了較為先進(jìn)的性能.Lee等[11]展示了使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)識(shí)別紅外圖像中的戶(hù)外可疑人類(lèi)行為.Aparna Akula等[12]搭建了卷積神經(jīng)網(wǎng)絡(luò)框架進(jìn)行人類(lèi)行動(dòng)識(shí)別工作，通過(guò)訓(xùn)練和測(cè)試評(píng)估系統(tǒng)的性能，發(fā)現(xiàn)深度學(xué)習(xí)方法的測(cè)試精度為87.44%，更優(yōu)于最有競(jìng)爭(zhēng)力的傳統(tǒng)識(shí)別方法.王召軍等[13]提出一種基于低分辨率紅外陣列傳感器采集紅外熱圖像，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)算法自動(dòng)提取特征，通過(guò)步態(tài)識(shí)別實(shí)現(xiàn)身份識(shí)別以及實(shí)現(xiàn)跌倒、坐下和行走動(dòng)作的識(shí)別，測(cè)得行走、坐下和跌倒的檢測(cè)準(zhǔn)確率分別為100%、90%和90%.

本文主要研究工作在于構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，建立以不同人體活動(dòng)狀態(tài)和著裝情況為分類(lèi)依據(jù)的紅外圖像數(shù)據(jù)集，并對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別訓(xùn)練，探討其用于人體參數(shù)識(shí)別的可行性.

1 紅外圖像采集及識(shí)別

1.1 紅外圖像采集

1.1.1 采集方法

相對(duì)于可見(jiàn)光成像技術(shù)，紅外成像對(duì)光照環(huán)境無(wú)要求，在光照不充足時(shí)也可進(jìn)行拍照識(shí)別.人體的發(fā)熱與環(huán)境物體的熱輻射特性有較大差異，因此紅外成像下的活動(dòng)狀態(tài)具有可識(shí)別性；紅外成像也可以反映人體表面溫度分布情況.根據(jù)紅外圖像成像特點(diǎn)，可將其用于不同人體活動(dòng)狀態(tài)和著裝的測(cè)量之中.在紅外圖像數(shù)據(jù)的采集方面，使用紅外熱成像儀進(jìn)行不同場(chǎng)景下的圖像拍攝工作，感應(yīng)不同場(chǎng)景下發(fā)射的熱量，并以圖像的形式進(jìn)行顯示和保存.

人體的紅外特征是高度可變的，同時(shí)受到環(huán)境和人體各項(xiàng)參數(shù)的影響，因此拍攝圖像時(shí)要充分考慮現(xiàn)實(shí)情況的變化.為保證深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的正常進(jìn)行，測(cè)試建立的用于人體參數(shù)識(shí)別紅外圖像數(shù)據(jù)集要求能正確且較為全面地反映出現(xiàn)實(shí)情況中室內(nèi)人體行動(dòng)以及著裝穿著情況的主要特征，且確保數(shù)據(jù)集中圖像的多樣性以及足夠的樣本數(shù)量.具體拍攝要求與變化見(jiàn)下表1.實(shí)驗(yàn)過(guò)程拍攝時(shí)保證攝像范圍只有一個(gè)人，但實(shí)際多人情況時(shí)，需要計(jì)算機(jī)視覺(jué)的其他相關(guān)技術(shù)，諸如語(yǔ)義分割、目標(biāo)檢測(cè)識(shí)別等來(lái)實(shí)現(xiàn)多人圖片的單體分割，獲取個(gè)體圖片，這是本專(zhuān)業(yè)可利用的技術(shù).

表1 采集參數(shù)及儀器

1.1.2 采集結(jié)果

實(shí)驗(yàn)測(cè)試的內(nèi)容包括紅外圖像中的人體活動(dòng)狀態(tài)及著裝情況識(shí)別.測(cè)試用的圖片有低分辨率相機(jī)拍攝的80×60和高分辨率相機(jī)拍攝的160×120兩種初始圖片.

經(jīng)過(guò)長(zhǎng)達(dá)一年的測(cè)試，已建立活動(dòng)狀態(tài)樣本總數(shù)為1 172(低分辨率)+1 178(高分辨率)=2 350(混合分辨率)、著裝情況樣本總數(shù)1 129(低分辨率)+1 195(高分辨率)=2 324(混合分辨率)的人體參數(shù)紅外圖像數(shù)據(jù)集，按照不同標(biāo)簽進(jìn)行的具體分類(lèi)如表2所示.

表2 人體參數(shù)分類(lèi)

將拍攝的紅外圖像按照不同標(biāo)簽類(lèi)型分類(lèi)，組成人體參數(shù)識(shí)別紅外圖像數(shù)據(jù)集.數(shù)據(jù)集依據(jù)兩項(xiàng)人體參數(shù)分別進(jìn)行劃分，活動(dòng)狀態(tài)識(shí)別分類(lèi)主要按照能代表人體不同活動(dòng)狀態(tài)劃分，分為躺著、靜坐、靜坐閱讀、靜坐打字、站立、站立整理文檔六類(lèi)標(biāo)簽；著裝情況識(shí)別分類(lèi)主要根據(jù)一年四季不同的著裝情況，按照國(guó)際標(biāo)準(zhǔn)ISO 7730來(lái)計(jì)算總著裝熱阻，并根據(jù)大致區(qū)間范圍進(jìn)行劃分，分為夏季著裝、過(guò)渡季著裝、冬季著裝三類(lèi)標(biāo)簽.活動(dòng)狀態(tài)分類(lèi)以及著裝情況分類(lèi)的典型紅外圖像如圖1～圖2所示.由于人體熱輻射和環(huán)境熱輻射的不同，人體可從環(huán)境中很容易區(qū)別出來(lái)；同樣，因?yàn)榉b熱阻不同，人體的表面輻射也不同，圖像中人體也就出現(xiàn)了顏色差異[14]，這也就能實(shí)現(xiàn)著裝情況的識(shí)別.

圖1 活動(dòng)狀態(tài)分類(lèi)典型圖像

圖2 著裝情況分類(lèi)典型圖像

1.2 紅外圖像識(shí)別

1.2.1 紅外圖像識(shí)別流程

依據(jù)深度學(xué)習(xí)的發(fā)展和前人的經(jīng)驗(yàn)，圖片的識(shí)別和處理的方式越來(lái)越多，效果也越來(lái)越好.不過(guò)，針對(duì)于紅外圖像的識(shí)別研究還相對(duì)較少，據(jù)Aparna Akula等[12]的研究，基于卷積神經(jīng)網(wǎng)絡(luò)的多層深度神經(jīng)網(wǎng)絡(luò)在紅外圖像識(shí)別上較早期的支持向量機(jī)、SVM等有更好的效果.因此，本文在此基礎(chǔ)上給出的深度學(xué)習(xí)模型是基于CNN的LeNet和ResNet兩種神經(jīng)網(wǎng)絡(luò)所建立的.LeNet網(wǎng)絡(luò)作為早期發(fā)展中以體量小、效果好而被大家所熟知，而ResNet則是近幾年發(fā)展中有著突破性進(jìn)展且具有代表性的網(wǎng)絡(luò)結(jié)構(gòu).我們考慮是否可用更簡(jiǎn)單的網(wǎng)絡(luò)(LeNet)來(lái)達(dá)到比較好的效果，同時(shí)也比較目前較先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)(ResNet)在紅外圖像方面的識(shí)別效果.

卷積神經(jīng)網(wǎng)絡(luò)作為一種監(jiān)督學(xué)習(xí)，在面對(duì)圖像這類(lèi)高緯度的多參數(shù)數(shù)據(jù)時(shí)能有效避免圖像展開(kāi)為向量時(shí)丟失空間信息.卷積神經(jīng)網(wǎng)絡(luò)主要包括5類(lèi)層：輸入層、卷積層、池化層、全連接層和輸出層，如圖3所示.其內(nèi)部ReLU函數(shù)起到激活卷積的作用，卷積層和全連接層也會(huì)考慮到神經(jīng)元權(quán)值w和偏置項(xiàng)等.

圖3 神經(jīng)網(wǎng)絡(luò)圖片識(shí)別簡(jiǎn)要流程圖

1.2.2 識(shí)別網(wǎng)絡(luò)

(1)LeNet網(wǎng)絡(luò)

基于LeNet的模型架構(gòu)相對(duì)較簡(jiǎn)單，該架構(gòu)因其在數(shù)字字符識(shí)別方面的成功而流行.由于前人研究的經(jīng)驗(yàn)以及紅外圖像數(shù)據(jù)有限的緣故，首先考慮了這一簡(jiǎn)單而有效的框架.其網(wǎng)絡(luò)過(guò)程如圖4所示，其中包含了兩次卷積池化和三次全連接，將根據(jù)其用于著裝分類(lèi)或活動(dòng)狀態(tài)分類(lèi)而改變分類(lèi)數(shù)目.輸入的圖像尺寸我們進(jìn)行了更多類(lèi)的劃分：32×32，48×48，64×64，80×80，96×96.不同種類(lèi)的圖像在最后節(jié)點(diǎn)的輸出都一樣的，它表示分類(lèi)的結(jié)果，并通過(guò)Softmax函數(shù)歸一后挑選其最高概率值作為最后的分類(lèi)執(zhí)行動(dòng)作.最終挑選了——48×48類(lèi)型圖片，具體結(jié)果如表3所示.

圖4 LeNet網(wǎng)絡(luò)實(shí)際訓(xùn)練過(guò)程演示圖

表3 不同尺寸圖片訓(xùn)練準(zhǔn)確率

注：準(zhǔn)確率由神經(jīng)網(wǎng)絡(luò)收斂后取50個(gè)Epoch測(cè)試準(zhǔn)確結(jié)果取平均

從訓(xùn)練結(jié)果的數(shù)據(jù)可以看出，LeNet網(wǎng)絡(luò)在面對(duì)48×48時(shí)的圖片輸入時(shí)能保證較高的準(zhǔn)確率.因?yàn)長(zhǎng)eNet網(wǎng)絡(luò)深度較淺，最早應(yīng)用于手寫(xiě)字識(shí)別的圖片尺寸相對(duì)較小，且進(jìn)行過(guò)灰度處理，所以在對(duì)LeNet模型導(dǎo)入所拍攝圖片時(shí)同樣也進(jìn)行了圖片尺寸以及灰度的處理.針對(duì)不同尺寸圖片的不同準(zhǔn)確率結(jié)果表現(xiàn)，其呈現(xiàn)出不規(guī)律性，研究猜測(cè)其應(yīng)與LeNet模型自身算法相關(guān)，該網(wǎng)絡(luò)可能對(duì)某些尺度下的信息能好的關(guān)注和識(shí)別，圖片過(guò)大關(guān)注更多局部信息，圖片過(guò)小或更關(guān)注整體信息，或存在某個(gè)閾值且與圖片種類(lèi)相關(guān).

目前擁有的紅外數(shù)據(jù)集數(shù)量相對(duì)較小，用于訓(xùn)練任何深度神經(jīng)網(wǎng)絡(luò)體系都有可能導(dǎo)致過(guò)度匹配的問(wèn)題而產(chǎn)生過(guò)擬合的結(jié)果.因此采用Dropout函數(shù)對(duì)神經(jīng)元進(jìn)行控制，讓其在卷積到下一層時(shí)隨機(jī)把部分神經(jīng)元的值進(jìn)行歸0處理，用以減小神經(jīng)元相互間的關(guān)聯(lián)性，也避免神經(jīng)網(wǎng)絡(luò)自認(rèn)為從一張圖片上學(xué)到太多.最終將Dropout定為30%，它能有效的為神經(jīng)網(wǎng)絡(luò)提供噪音輸入從而避免過(guò)渡匹配.LeNet網(wǎng)絡(luò)所損失函數(shù)采用的是交叉熵?fù)p失函數(shù)，它通常更適用于多分類(lèi)問(wèn)題.優(yōu)化器的選擇為Adam，它結(jié)合了自適應(yīng)優(yōu)化算法RMSProp和AdaGrad的優(yōu)點(diǎn)，同時(shí)考慮梯度的一階矩估計(jì)和二階矩估計(jì)來(lái)更新步長(zhǎng)，使得梯度下降更為平滑.

(2)ResNet網(wǎng)絡(luò)模型

ResNet殘差網(wǎng)絡(luò)，是CNN網(wǎng)絡(luò)的一個(gè)變種，如圖5所示.該網(wǎng)絡(luò)屬于短路連接方式，當(dāng)輸入和輸出維度一致時(shí)，可以直接將輸入加到輸出上.但是當(dāng)維度不一致時(shí)，這就不能直接相加，可采用Zero-Padding增加維度，此時(shí)一般要先做一個(gè)Downsamp(下采樣)，可以采用Stride=2的Pooling，這樣不會(huì)增加參數(shù).

圖5 ResNet短路連接機(jī)制操作(元素級(jí)相加)

ResNet網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)集數(shù)量有一定的要求.而由于拍照條件的限制，本實(shí)驗(yàn)的數(shù)據(jù)集圖片數(shù)量相對(duì)較小，所以在ResNet模型訓(xùn)練時(shí)加入對(duì)圖片的一些多樣化處理方式實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，以減少小數(shù)據(jù)集應(yīng)用于高級(jí)網(wǎng)絡(luò)的不足.處理方式包括圖片的Resize、旋轉(zhuǎn)、翻轉(zhuǎn)等過(guò)程.圖片處理方式的Resize過(guò)程是將輸入的圖片歸一到同一大小，因?yàn)椴捎昧藘煞N不同分辨率的相機(jī)進(jìn)行實(shí)驗(yàn)所以在統(tǒng)一訓(xùn)練時(shí)需要進(jìn)行圖片大小統(tǒng)一.旋轉(zhuǎn)過(guò)程則是讓圖片在輸入訓(xùn)練時(shí)有概率的繞其中心旋轉(zhuǎn)，旋轉(zhuǎn)角度為-10°～10°之間一個(gè)隨機(jī)數(shù)值.翻轉(zhuǎn)過(guò)程主要為水平翻轉(zhuǎn)和上下翻轉(zhuǎn)，實(shí)驗(yàn)中發(fā)現(xiàn)上下翻轉(zhuǎn)會(huì)極大程度的改變圖片的原始特征，如圖6所示.原本靜坐姿態(tài)的圖片在上下翻轉(zhuǎn)后呈現(xiàn)出極大差異，不僅沒(méi)有達(dá)到增加數(shù)據(jù)量的要求，還額外的為網(wǎng)絡(luò)訓(xùn)練帶來(lái)了噪音，所以取消了對(duì)圖片的上下翻轉(zhuǎn)處理.

圖6 圖片數(shù)據(jù)增廣操作—翻轉(zhuǎn)(從左至右依次：原圖、水平翻轉(zhuǎn)、上下翻轉(zhuǎn))

LeNet網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)模型深度及圖片處理方式不同，為了增加兩種網(wǎng)絡(luò)模型的可比性，將其內(nèi)部模型參數(shù)設(shè)置基本相同.LeNet網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)模型的學(xué)習(xí)率取值均為0.01，激活函數(shù)均為Relu，并都通過(guò)Softmax函數(shù)進(jìn)行最后的概率挑選，損失計(jì)算函數(shù)都采用CrossEntropyLoss(交叉熵?fù)p失函數(shù))，優(yōu)化器都選擇Adam函數(shù)，衰減率γ取值依據(jù)訓(xùn)練輪數(shù)而定(本實(shí)驗(yàn)分別在訓(xùn)練50、100、200Epoch時(shí)分別進(jìn)行0.5、0.4、0.3倍數(shù)的學(xué)習(xí)率衰減，之后固定為0.9).為了保證數(shù)據(jù)的充分應(yīng)用和避免偶然性結(jié)果，增強(qiáng)可信度，輸入兩個(gè)神經(jīng)網(wǎng)絡(luò)模型的圖片并沒(méi)有固定的劃分為訓(xùn)練集和測(cè)試集，而是在每一個(gè)Epoch開(kāi)始進(jìn)行隨機(jī)的8：2劃分來(lái)獲得訓(xùn)練集和測(cè)試集.

本文采用的LeNet和ResNet模型是通過(guò)Python編程語(yǔ)言在Anaconda軟件環(huán)境中調(diào)Torch、Torchvision等神經(jīng)網(wǎng)絡(luò)環(huán)境相關(guān)庫(kù)、包來(lái)實(shí)現(xiàn)計(jì)算的.

2 結(jié)果與討論

2.1 人體活動(dòng)狀態(tài)識(shí)別結(jié)果

采用不同分辨率圖片及不同網(wǎng)絡(luò)模型的人體活動(dòng)狀態(tài)識(shí)別結(jié)果如圖7～圖9所示.

圖7 不同網(wǎng)絡(luò)模型低分辨圖片活動(dòng)狀態(tài)識(shí)別測(cè)試結(jié)果

從以上不同網(wǎng)絡(luò)模型測(cè)試的結(jié)果中可以看出，所建立模型都能一定程度上識(shí)別紅外圖像的人體活動(dòng)狀態(tài)，但相互之間存在差異.從圖7～圖9可知，ResNet模型從整體訓(xùn)練效果來(lái)看要優(yōu)于LeNet模型，但從訓(xùn)練損失的下降曲線來(lái)看，LeNet模型總是更快的達(dá)到收斂，致使模型訓(xùn)練學(xué)習(xí)過(guò)程過(guò)早的結(jié)束.

圖9 不同網(wǎng)絡(luò)模型混合分辨率圖片活動(dòng)狀態(tài)識(shí)別測(cè)試結(jié)果

此外，圖7和圖8的LeNet網(wǎng)絡(luò)模型訓(xùn)練的準(zhǔn)確率曲線中可以看出，在模型收斂后出現(xiàn)了準(zhǔn)確率降低的情況，這表示模型出現(xiàn)了過(guò)擬合現(xiàn)象，即模型隨著訓(xùn)練過(guò)程的進(jìn)行而過(guò)多關(guān)注圖片的某一部分信息，而使模型變得局部化，缺失了對(duì)信息的整體性考慮，進(jìn)入了誤區(qū)(過(guò)擬合程度受模型算法、圖片分類(lèi)處理、圖片訓(xùn)練和測(cè)試量等多方面影響).而ResNet網(wǎng)絡(luò)模型訓(xùn)練整體相對(duì)平穩(wěn)，收斂后的準(zhǔn)確率都能達(dá)到80%以上，并且沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象.

圖8 不同網(wǎng)絡(luò)模型高分辨率圖片活動(dòng)狀態(tài)識(shí)別測(cè)試結(jié)果

此外，對(duì)比圖7和圖8可以看出，采用高分辨率圖片后不同網(wǎng)絡(luò)模型的訓(xùn)練收斂時(shí)間明顯增大.這主要是由于高分辨率圖片所包含的像素點(diǎn)更多，相對(duì)而言輸入網(wǎng)絡(luò)的參數(shù)也包含著更多的有用信息，所以收斂速度較慢于低分辨率的圖片，而混合后測(cè)試的收斂速度處于二者之間.可以看出，找到信息量和圖片尺寸的平衡是重要的，特別是在實(shí)際應(yīng)用過(guò)程中.

2.2 人體著裝情況識(shí)別結(jié)果

采用不同分辨率圖片及不同網(wǎng)絡(luò)模型的人體著裝情況識(shí)別結(jié)果如圖10～圖12所示.

圖10 不同網(wǎng)絡(luò)模型低分辨圖片著裝識(shí)別測(cè)試結(jié)果

圖11 不同網(wǎng)絡(luò)模型高分辨率圖片著裝識(shí)別測(cè)試結(jié)果

圖12 不同網(wǎng)絡(luò)模型混合分辨率圖片著裝情況識(shí)別測(cè)試結(jié)果

從圖10～圖12可以看出，ResNet模型在著裝識(shí)別的準(zhǔn)確性上要高于LeNet模型，整體準(zhǔn)確率能達(dá)到90%以上，而LeNet模型準(zhǔn)確率只在70%～80%之間浮動(dòng).但就收斂速度而言LeNet模型更快于ResNet模型，前者在200 epoch之前就差不多已經(jīng)收斂，而后者在接近300 epoch時(shí)才收斂.就模型的穩(wěn)定性而言，LeNet模型訓(xùn)練相對(duì)穩(wěn)定，只在圖片進(jìn)行混合訓(xùn)練時(shí)出現(xiàn)較大波動(dòng)，但最終趨于平穩(wěn)；而ResNet模型訓(xùn)練前期波動(dòng)較為劇烈，而后逐漸趨于平穩(wěn)，二者在著裝識(shí)別方面都沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象.

與人體活動(dòng)狀態(tài)識(shí)別的情況相同，高分辨率的圖片同樣影響不同網(wǎng)絡(luò)模型的收斂速度，高分辨率的圖片因?yàn)樾畔⒏鄬?dǎo)致學(xué)習(xí)時(shí)間更長(zhǎng).值得注意的是，在圖片混合后進(jìn)行著裝識(shí)別時(shí)，LeNet模型出現(xiàn)了嚴(yán)重的波動(dòng)現(xiàn)象，可能的原因?yàn)楦叻直媛实膱D片為統(tǒng)一輸入尺寸縮小后丟失了部分熱感信息，而且兩個(gè)相機(jī)的熱敏感程度不同也會(huì)導(dǎo)致圖片之間存在差異，造成識(shí)別困難.而ResNet模型因其網(wǎng)絡(luò)的深度，可以獲取到更多的特征，從而克服這樣的差別.

綜合兩個(gè)實(shí)驗(yàn)結(jié)果，就模型訓(xùn)練過(guò)程的波動(dòng)而言，著裝識(shí)別比人體活動(dòng)狀態(tài)識(shí)別更劇烈.這可能受相機(jī)熱敏感程度、圖片原始尺寸大小、人為分類(lèi)依據(jù)和準(zhǔn)確性等多方面影響.熱敏感程度高則熱信息更多更全面，這將有益于模型對(duì)著裝熱阻的分類(lèi)識(shí)別；圖片的像素則決定了信息量的大小，如何確定一個(gè)統(tǒng)一化輸入的尺寸將利于模型的訓(xùn)練；數(shù)據(jù)集的初始分類(lèi)標(biāo)準(zhǔn)和準(zhǔn)確性直接決定了模型訓(xùn)練所能達(dá)到的上限.就本專(zhuān)業(yè)而言，這三方面的研究工作對(duì)模型的后續(xù)改進(jìn)和準(zhǔn)確率提高也十分重要.

2.3 綜合對(duì)比

通過(guò)以上方式進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，訓(xùn)練結(jié)果識(shí)別準(zhǔn)確率由模型收斂后取均值計(jì)算，綜合對(duì)比如下圖13所示，主要分為兩種分辨率的紅外圖像以及LeNet與ResNet兩種網(wǎng)絡(luò)的對(duì)比.

圖13 不同分別率圖片和網(wǎng)絡(luò)人體參數(shù)識(shí)別結(jié)果綜合對(duì)比

從圖13可以看出，ResNet模型對(duì)人體活動(dòng)狀態(tài)的識(shí)別準(zhǔn)確率達(dá)到了81%以上，對(duì)著裝情況識(shí)別準(zhǔn)確率達(dá)到了91%以上，兩方面都優(yōu)于LeNet模型.但無(wú)論是何種分辨率的圖片，著裝情況的識(shí)別整體效果較好.而從上圖中不同分辨率圖片的訓(xùn)練結(jié)果來(lái)看，LeNet模型在不同分辨率圖片的識(shí)別上存在較大差異，且在低分辨率圖片識(shí)別時(shí)的準(zhǔn)確率要高于高分辨率的圖片，而ResNet模型在兩者之間的差異較小，但出現(xiàn)了高分辨率著裝識(shí)別準(zhǔn)確率高于其他，但活動(dòng)狀態(tài)識(shí)別準(zhǔn)確率低于其他的現(xiàn)象.

首先就不同分辨率圖片的結(jié)果比較而言，LeNet模型由于其網(wǎng)絡(luò)層較淺，在面對(duì)同樣處理48×48輸入的訓(xùn)練圖片時(shí)，對(duì)于原高分辨率的圖片，每個(gè)像素點(diǎn)是原圖片更多信息的集和，而且在面對(duì)小數(shù)據(jù)集訓(xùn)練時(shí)更難捕捉到這些融合性的信息特征，出現(xiàn)高分辨率圖片訓(xùn)練結(jié)果更差的現(xiàn)象.ResNet模型更具深度，更好的識(shí)別并提取了高分辨率高圖片所攜帶的更多熱感信息特征，但由于高分辨率相機(jī)熱敏感較優(yōu)于低分辨率相機(jī)，導(dǎo)致在部分環(huán)境下所拍攝的紅外圖片中人體與環(huán)境的差異不夠明顯，且還存在人為分類(lèi)和拍攝的誤差等問(wèn)題，所以導(dǎo)致ResNet模型訓(xùn)練結(jié)果出現(xiàn)上述現(xiàn)象.這些差異和問(wèn)題同樣也影響著LeNet模型的訓(xùn)練結(jié)果.

其次就兩項(xiàng)人體參數(shù)識(shí)別結(jié)果比較而言，人體著裝情況的識(shí)別準(zhǔn)確率均高于活動(dòng)狀態(tài)，總結(jié)其原因是著裝情況只劃分了三類(lèi)，分類(lèi)難度相對(duì)較低，模型未準(zhǔn)確識(shí)別而猜對(duì)的概率較高；此外，熱紅外成像圖特有的優(yōu)勢(shì)是包含的冷熱信息比活動(dòng)狀態(tài)信息更多，用于著裝識(shí)別更具優(yōu)勢(shì).

綜合來(lái)看，ResNet網(wǎng)絡(luò)模型作為深層次的網(wǎng)絡(luò)，即使面對(duì)較小的數(shù)據(jù)集，其考慮到的特征參數(shù)更多，所以能學(xué)習(xí)到的東西更多，導(dǎo)致耗時(shí)較長(zhǎng)，收斂較慢；而LeNet網(wǎng)絡(luò)模型簡(jiǎn)單，能捕捉到圖片的有用特征較少，而且用于訓(xùn)練的數(shù)據(jù)集較小，導(dǎo)致模型過(guò)早的收斂.因此，目前小數(shù)據(jù)集訓(xùn)練條件下ResNet網(wǎng)絡(luò)模型整體上優(yōu)于LeNet網(wǎng)絡(luò)模型.未來(lái)需要進(jìn)一步擴(kuò)充訓(xùn)練數(shù)據(jù)集，在大數(shù)據(jù)集條件下對(duì)比ResNet網(wǎng)絡(luò)模型和LeNet網(wǎng)絡(luò)模型.此外，本文對(duì)著裝情況方面的分類(lèi)識(shí)別范圍相對(duì)較大，未來(lái)需縮小不同著裝情況分類(lèi)直接的差別，并擴(kuò)展識(shí)別網(wǎng)絡(luò)神經(jīng)系統(tǒng)，實(shí)現(xiàn)對(duì)更多著裝情況分類(lèi)進(jìn)行識(shí)別.

3 結(jié) 論

本文構(gòu)建了具有人體參數(shù)特征的紅外圖像數(shù)據(jù)集，并結(jié)合紅外圖像處理技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)識(shí)別技術(shù)對(duì)兩種人體參數(shù)進(jìn)行識(shí)別，得到以下結(jié)論：在識(shí)別兩種人體參數(shù)方面ResNet網(wǎng)絡(luò)比LeNet網(wǎng)絡(luò)更具優(yōu)勢(shì)，六類(lèi)活動(dòng)狀態(tài)識(shí)別準(zhǔn)確率達(dá)80%以上，三類(lèi)著裝識(shí)別準(zhǔn)確率達(dá)90%以上.該研究工作證明了基于深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行紅外圖像人體參數(shù)識(shí)別的可行性，為今后考慮人體參數(shù)的建筑環(huán)境個(gè)性化智能控制提供了支持.