基于紅外熱成像和卷積神經(jīng)網(wǎng)絡(luò)的生理表征分析

殷丹晨 郭瀅 張東良 張雅美 劉浩月

【摘要】為提高通過分析視頻或圖像中人的面部信息判斷其生理及心理表征的準確性和可靠性，以O(shè)livetti Faces 人臉數(shù)據(jù)庫中人臉數(shù)據(jù)為數(shù)據(jù)源，利用紅外熱成像對溫度細微變化的感知以及卷積神經(jīng)網(wǎng)絡(luò)算法來對測謊過程中的視頻和圖像進行分析，通過分析提取參與測試者的生理表征參數(shù)，進而做出正確判定。實驗結(jié)果表明：基于紅外熱成像和卷積神經(jīng)網(wǎng)絡(luò)的生理表征分析方法提高了測試分析的精確度。

【關(guān)鍵詞】視頻圖像;紅外熱成像技術(shù);卷積神經(jīng)網(wǎng)絡(luò);生理表征

【項目來源】本論文由大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目（項目名稱：基于紅外熱成像技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)的多種疾病檢測系統(tǒng)）支持。

中圖分類號：G212? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ?DOI：10.12246/j.issn.1673-0348.2021.01.078

通過分析視頻或圖像中人的面部信息判斷其生理及心理表征的應(yīng)用非常廣泛，研究表明，面部捕捉到的信息越多，綜合分析后的準確率就越高。

以測謊為例，人在說謊時面部表情的變化體現(xiàn)為瞳孔、眼睛以及嘴角等微表情的變化。微動作心理學(xué)家指出，人在撒謊時眼睛表現(xiàn)最為明顯，一般表現(xiàn)為不斷晃動或飄忽不定;當大腦在編織謊言時，人的眼球運動方向是右上方;如果是回憶確實發(fā)生過的事情，會看向左上方。同時說謊者喜歡假笑，真正的微笑是均勻的，來的快消失得慢。偽裝的笑容來的會比較慢，而且有些不均衡，眼部肌肉沒被充分調(diào)動。說謊會臉紅，同時鼻子真的會變大幾毫米，肉眼極難觀察，但說謊者會覺得鼻子不舒服，從而去觸摸它。在說謊時，說謊者會由于心理緊張以及其他原因?qū)е乱恍┫盗兄参锷窠?jīng)系統(tǒng)功能的變化，具體反映在身體局部體溫的變化。本文采用可見光攝像頭與紅外熱成像攝像頭共同對被測者進行實時監(jiān)測，從而獲取面部微表情及局部紅外熱譜圖，采用紅外熱成像對溫度細微變化的感知以及卷積神經(jīng)網(wǎng)絡(luò)算法對面部表情識別相結(jié)合，進而實現(xiàn)對被測者的生理及心理表征進行準確判斷。

1. 基于紅外熱成像技術(shù)的生理表征分析

紅外熱成像將物體表面的熱輻射顯示成二維的可視圖象。正常人體的溫度分布具有一定的穩(wěn)定性和特征性，機體各部位溫度不同，形成了不同的熱場。當人體某處發(fā)生疾病或功能改變時，該處血流量會相應(yīng)發(fā)生變化，導(dǎo)致人體局部溫度改變，表現(xiàn)為溫度偏高或偏低。根據(jù)這一原理，通過熱成像系統(tǒng)采集人體紅外輻射，并轉(zhuǎn)換為數(shù)字信號，形成偽色彩熱圖等。

研究結(jié)果表明：說謊者說謊時，大腦前部區(qū)域的活動較為活躍，說謊者說謊時腦部總共有7個區(qū)域在活動，而說實話的人則只有4個區(qū)域在活動，說謊應(yīng)該比說實話更耗費腦力。腦部進行高速運轉(zhuǎn)從而導(dǎo)致腦力溫度略有升高，通過熱圖顯示出來的結(jié)果，經(jīng)過算法對圖像進行細微之處溫度的變化進行分析，進而作為我們判定說謊的依據(jù)之一;此外，說謊者進行說謊時伴隨心跳加快，導(dǎo)致其機體代謝增加，調(diào)動機體產(chǎn)能增加，會升高體溫，且說謊時會出現(xiàn)緊張感，人在緊張的狀態(tài)下，也會出現(xiàn)臉紅臉部皮溫升高。此時若對被測者的面部進行掃描，同樣通過觀察比較被測者面部熱圖是否溫度增高來判斷。

撒謊時人臉的紅外熱成像圖如圖1所示。在正常人體狀態(tài)下，鼻子的溫度高于我們面部的溫度，然而在撒謊時，體內(nèi)的激素分泌會導(dǎo)致人體面部周圍的溫度升高，并且高于鼻子的溫度。

2. 基于卷積神經(jīng)網(wǎng)絡(luò)的面部表情分析

2.1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)CNN由特征提取網(wǎng)絡(luò)和分類器網(wǎng)絡(luò)兩大部分組成。典型的卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、下采樣層（池化層）、全連接層和輸出層組成。CNN的優(yōu)勢主要表現(xiàn)為局部感知、權(quán)重共享和多卷積核。

測試系統(tǒng)裝有可見光攝像頭和紅外熱成像攝像頭，可見光攝像頭錄制被測試者的肢體和面部信息，通過深度學(xué)習算法分析被測者的微小生理變化，使用滑動窗口的卷積神經(jīng)網(wǎng)絡(luò)進行逐幀的姿態(tài)估計。比如瞳孔的放大與縮小、眼球的轉(zhuǎn)動、嘴角的變化等。

2.2 數(shù)據(jù)采集及實驗環(huán)境

實驗采用的數(shù)據(jù)集是Olivetti Faces 人臉數(shù)據(jù)庫和IDIAP Wolf數(shù)據(jù)庫，IDIAP Wolf數(shù)據(jù)庫是首個由多個說話人錄制的語料庫。瑞士IDIAP研究機構(gòu)設(shè)計了一個游戲型的數(shù)據(jù)采集場景，被測人均為IDIAP研究社區(qū)的志愿者，采集過程中由志愿者進行角色扮演游戲——狼人游戲。整個游戲過程由旁白指導(dǎo)，玩家隨機分成村民和狼人，其中狼人角色玩家在游戲過程中會撒謊，村民角色玩家會說真話，該語料庫的新穎之處在于，交互式對話過程中玩家并不知道對方是否撒謊，整個數(shù)據(jù)集由15次游戲錄音組成，共36個被測人，分成四組，每組8-12個人，所有的語音數(shù)據(jù)都由頭戴式麥克風錄制，共生成7小時語音數(shù)據(jù)。

Olivetti Faces 人臉數(shù)據(jù)庫由400 張人臉圖片構(gòu)成。人臉庫的灰度級是8位，每一張人臉圖的大小為64×64

實驗的環(huán)境為：Windows 10 下的python3.6，計算機CPU 是英特爾i5-8250，8G內(nèi)存，使用的是LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造。卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練參數(shù)如表1所示。實驗過程中對同一人的不同表情作為變量，來進行實驗觀察，得到Olivetti Faces 人臉數(shù)據(jù)庫中人臉的細微變化的捕捉。

2.3 實驗結(jié)果與分析

首先通過自己團隊成員的五人（分別記作A、B、C、D、E）來進行紅外的測試，通過借鑒IDIAP Wolf數(shù)據(jù)庫的來源也構(gòu)建了簡易的數(shù)據(jù)采集場景，來進行說謊時候的溫度變化，得到的溫度數(shù)據(jù)如表2所示。表中數(shù)據(jù)以說謊前測試者面部溫度為標準，表中數(shù)據(jù)為測試者說謊后相對說謊前的變化值，正負分別表示增加和縮小。

假設(shè)其他外部影響因素保持不變，綜合分析五位測試者的數(shù)據(jù)，由表2知：說謊時，測試者的面部部分區(qū)域溫度會有所變化且遵循面部（鼻子周圍）溫度會升高。然而在正常人體狀態(tài)下，鼻子的溫度高于我們面部的溫度。因而證明我們的方法切實可行。

對其中一位測試者提取出來的的瞳孔放大縮小數(shù)據(jù)如圖2所示。0為初始瞳孔直徑，1-10為測試者在不同表情不同心理活動下的瞳孔相對初始瞳孔直徑的改變值。縱坐標表示瞳孔直徑改變的數(shù)據(jù)（單位為毫米），正負分別表示增加和縮小。

由圖2知，通過卷積神經(jīng)網(wǎng)絡(luò)對這些圖片分析訓(xùn)練出來的數(shù)據(jù)得到在不同的表情下，同一人物的瞳孔曲張程度均發(fā)生了細微變化，根據(jù)這些細微變化對測試者原有的基礎(chǔ)上進行更詳細的分析，從而提高測試的準確性。

3. 結(jié)論

本文提出的基于紅外熱成像技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)的生理表征方法，融合了紅外熱成像對測試者局部溫度動態(tài)變化及CNN進行面部表情分析的優(yōu)點，提高了對被測試者生理表征判斷的準確性。

參考文獻：

[1]張紅軍.紅外熱成像測溫技術(shù)及其應(yīng)用[J].船舶工程，2007（02）：16-17.

[2]李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機應(yīng)用，2016，36（009）：2508-2515.

[3]楊玉漣，官鈺翔，沈毅，等.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別[J].電子測試，2020，450（21）：62-63+101.