用戶微表情信息表征研究綜述

劉洋 吳佩 萬(wàn)芷涵 石佳玉 朱立芳

摘要：[目的/意義] 分析國(guó)內(nèi)外微表情識(shí)別領(lǐng)域研究現(xiàn)狀與趨勢(shì)，為圖書館與情報(bào)領(lǐng)域用戶微表情信息表征的研究提供參考。[方法/過(guò)程]基于文獻(xiàn)計(jì)量的研究方法揭示近10年微表情識(shí)別領(lǐng)域的研究動(dòng)態(tài)，分析微表情識(shí)別和信息表征的融合趨勢(shì)、技術(shù)基礎(chǔ)與困難挑戰(zhàn)。[結(jié)果/結(jié)論]微表情數(shù)據(jù)集、微表情識(shí)別技術(shù)是當(dāng)前研究熱點(diǎn)；技術(shù)方法、安全倫理和數(shù)據(jù)庫(kù)數(shù)量是當(dāng)今發(fā)展的主要挑戰(zhàn)；信息傳遞、信息反饋是圖書館和情報(bào)領(lǐng)域未來(lái)可發(fā)展的新興研究領(lǐng)域，元宇宙、隱私問(wèn)題和技術(shù)驅(qū)動(dòng)等領(lǐng)域是未來(lái)的微表情識(shí)別技術(shù)的應(yīng)用趨勢(shì)。

關(guān)鍵詞：微表情識(shí)別? ? 信息表征? ? 信息傳遞? ?信息反饋? ? 文獻(xiàn)計(jì)量

分類號(hào)：C93

引用格式：劉洋， 吳佩， 萬(wàn)芷涵， 等. 用戶微表情信息表征研究綜述[J/OL]. 知識(shí)管理論壇， 2023， 8（3）： 215-227[引用日期]. http：//www.kmf.ac.cn/p/346/.

表情是人類表達(dá)自身情感信息的一種重要的非言語(yǔ)性行為[1]，通過(guò)觀察表情可以感知對(duì)方在明顯或不明顯行為之下的內(nèi)在情感與心理活動(dòng)。微表情既是人臉表情的重要組成部分，也是用戶潛在情緒類信息的重要展示途徑。

在具體情景下，微表情表現(xiàn)為持續(xù)時(shí)間短、表情中斷和對(duì)面部肌肉運(yùn)動(dòng)的抑制[2]，因此，其所表達(dá)的情緒信息難以用肉眼直接捕捉，且識(shí)別難度較大，準(zhǔn)確率較低[3]，有較強(qiáng)的局限性。隨著計(jì)算機(jī)視覺(jué)、人工智能、情感計(jì)算等新興技術(shù)不斷發(fā)展，微表情的自動(dòng)化識(shí)別取代人工識(shí)別已成為現(xiàn)實(shí)[4]。微表情自動(dòng)識(shí)別是通過(guò)應(yīng)用有效的刺激源，識(shí)別用戶在人機(jī)交互過(guò)程中表露出的微表情，抽取相關(guān)信息數(shù)據(jù)，進(jìn)而了解用戶是如何被動(dòng)表達(dá)其真實(shí)感受和想法的一種技術(shù)，被視為未來(lái)情感人機(jī)交互技術(shù)的重要研究方向[5]。

信息表征（information representation）是指信息在加工和記載過(guò)程中的表達(dá)方式[6]，當(dāng)人們處理外部信息（如輸入、編碼、轉(zhuǎn)換、存儲(chǔ)和提取等）時(shí)， 信息則以表征的形式在頭腦中呈現(xiàn)[7]，在面部形成了表情。其中，細(xì)微、難以察覺(jué)的信息則需要通過(guò)用戶的微表情來(lái)識(shí)別、分析。微表情識(shí)別技術(shù)涉及信息科學(xué)、計(jì)算機(jī)視覺(jué)、生物學(xué)、心理學(xué)等研究領(lǐng)域，為信息表征相關(guān)的情報(bào)領(lǐng)域研究帶來(lái)新視角，注入了新的活力。微表情是人在外部環(huán)境刺激下不經(jīng)意間的情感表露，微表情識(shí)別旨在用計(jì)算機(jī)處理技術(shù)捕捉到這一過(guò)程中的信息表達(dá)，所以從過(guò)程上看，微表情是人在特定環(huán)境下反映在面部表情上的信息表征行為。筆者將心理學(xué)與計(jì)算機(jī)科學(xué)學(xué)科綜合下的微表情識(shí)別引入信息資源管理領(lǐng)域，探究學(xué)科融合視角下兩者的交叉與共鳴。

微表情識(shí)別和信息表征的相輔相成關(guān)系尚未得到充分研究，致使微表情識(shí)別技術(shù)的應(yīng)用發(fā)展仍受到限制。筆者對(duì)人工智能等微表情識(shí)別技術(shù)進(jìn)行追蹤，通過(guò)文獻(xiàn)計(jì)量的研究方法分析海內(nèi)外的研究現(xiàn)狀和發(fā)展動(dòng)態(tài)，對(duì)微表情識(shí)別環(huán)節(jié)中所涉及的表征信息進(jìn)行系統(tǒng)性總結(jié)和規(guī)范化表述，把握微表情識(shí)別中獲取信息、利用信息的方式，可以進(jìn)一步完善現(xiàn)有的理論框架，進(jìn)一步拓寬情報(bào)學(xué)、信息科學(xué)的研究范式。同時(shí)，深刻反思實(shí)現(xiàn)過(guò)程中的困難和挑戰(zhàn)，結(jié)合現(xiàn)狀提出優(yōu)化建議，以期促進(jìn)相關(guān)機(jī)構(gòu)和部門科學(xué)規(guī)劃與統(tǒng)籌發(fā)展我國(guó)微表情識(shí)別領(lǐng)域研究及應(yīng)用，強(qiáng)化微表情識(shí)別與人機(jī)交互的信息化建設(shè)，為信息資源管理等領(lǐng)域利用微表情識(shí)別技術(shù)提供多種應(yīng)用場(chǎng)景 [8-9]。

1? 用戶微表情信息表征的研究現(xiàn)狀和發(fā)展趨勢(shì)

1.1? 用戶微表情信息表征的研究現(xiàn)狀

筆者選取 Web of Science 核心合集、知網(wǎng)、谷歌學(xué)術(shù)等作為研究文獻(xiàn)來(lái)源。文獻(xiàn)類型為“Article or Review paper or Proceedings paper or Early access”，時(shí)間跨度為2012—2021年，語(yǔ)種為“English”，主題詞根據(jù)“微表情識(shí)別”的概念和分類進(jìn)行擴(kuò)展，最終檢索式為 TS=（“micro expression recognition” or “subtle expression recognition” or “micro-expression recognition” or “involuntary facial expression” or “subtle facial recognition” or “microexpression recognition” or “l(fā)ying expression recognition” or “quick expression recognition” or “micro expression analysis” or “micro-expression analysis” or “micro expression detection” or “micro-expression detection”），檢索去重后共獲得260篇相關(guān)文獻(xiàn)，以此作為本研究的總樣本文獻(xiàn)。

根據(jù)對(duì)樣本文獻(xiàn)的分析，由研究論文年出版數(shù)量（見(jiàn)圖1）可知，近10年有關(guān)微表情識(shí)別的研究文獻(xiàn)數(shù)量持續(xù)增長(zhǎng)，并于近幾年受到學(xué)者的持續(xù)關(guān)注；從作者發(fā)文量（見(jiàn)圖2）可知，國(guó)內(nèi)學(xué)者的相關(guān)研究占據(jù)重要地位，發(fā)文數(shù)量最多，但微表情識(shí)別領(lǐng)域整體發(fā)文數(shù)量相對(duì)平衡；從作者的合作網(wǎng)絡(luò)密度（見(jiàn)圖3）可知，兩個(gè)學(xué)者之間的總共引次數(shù)達(dá)到20及以上的超過(guò)50%，低于5的僅有10%，合作密度較大，存在長(zhǎng)期的相互交流，主要以3—4人合作團(tuán)隊(duì)為主，但各團(tuán)隊(duì)之間不同學(xué)科的合作交流發(fā)展仍需進(jìn)一步推動(dòng)；從研究機(jī)構(gòu)發(fā)文量可知，上述樣本文獻(xiàn)隸屬于36個(gè)不同國(guó)家/地區(qū)的研究機(jī)構(gòu)，前15名的研究機(jī)構(gòu)中有13所來(lái)自中國(guó)、1所來(lái)自芬蘭、1所來(lái)自馬來(lái)西亞，其中，奧盧大學(xué)、中國(guó)科學(xué)院排名前2位，發(fā)文數(shù)量都占據(jù)總文獻(xiàn)的15%；從研究機(jī)構(gòu)的合作網(wǎng)絡(luò)密度（見(jiàn)圖4）可知，研究機(jī)構(gòu)之間的合作比較密切，微表情識(shí)別的發(fā)展迫切需要研究機(jī)構(gòu)之間的合作交流；從出版社發(fā)文量可知，樣本文獻(xiàn)來(lái)自于28個(gè)出版社，其中，發(fā)文數(shù)量前5位的分別是IEEE、Springer Nature、Elsevier、MDPI和Assoc Computing Machinery，它們構(gòu)成了微表情識(shí)別領(lǐng)域研究文獻(xiàn)的核心來(lái)源，且IEEE地位顯著（占樣本文獻(xiàn)的41.2%）。從研究方法可知，2012—2014年微表情識(shí)別領(lǐng)域以傳統(tǒng)統(tǒng)計(jì)方法為主，2015—2018年以機(jī)器學(xué)習(xí)方法為主，2018年至今以深度學(xué)習(xí)為主。

1.2? 用戶微表情信息表征的發(fā)展趨勢(shì)

1.2.1? 高頻關(guān)鍵詞分析

根據(jù)總樣本文獻(xiàn)中出現(xiàn)的高頻關(guān)鍵詞，并進(jìn)一步提煉核心網(wǎng)絡(luò)得到高頻關(guān)鍵詞密度網(wǎng)絡(luò)（見(jiàn)圖5）。從“expression”“short duration”“computer vision”等關(guān)鍵詞可以看出，微表情識(shí)別與人機(jī)交互之間存在一定的關(guān)聯(lián)，而用戶的信息表征產(chǎn)生于人機(jī)交互過(guò)程之中，故微表情識(shí)別和信息表征之間可能存在一定的關(guān)聯(lián)。從“optical flow”“convolution neural network”“l(fā)op top”和“network”等關(guān)鍵詞可以看出，微表情識(shí)別技術(shù)的發(fā)展和創(chuàng)新備受關(guān)注，且標(biāo)準(zhǔn)系統(tǒng)化的信息表征產(chǎn)生于明確的微表情識(shí)別之中。技術(shù)的發(fā)展不斷提升微表情的識(shí)別精度，有利于微表情識(shí)別和信息表征的關(guān)聯(lián)融合?！皁nset””“apex frame”“micro expression database”和“feature extraction”等關(guān)鍵詞表明，以往學(xué)者比較關(guān)注微表情的識(shí)別機(jī)制，從數(shù)據(jù)集到微表情信息數(shù)據(jù)的處理，再到微表情特征識(shí)別、檢測(cè)等，而信息表征正好以不同形式出現(xiàn)在這一過(guò)程中，因此對(duì)微表情識(shí)別之后得到的信息數(shù)據(jù)進(jìn)行處理、統(tǒng)一表示等可以進(jìn)一步提高微表情的識(shí)別精度，顯著降低微表情識(shí)別的波動(dòng)性，可以更好地提高其關(guān)聯(lián)信息表征的正確率。

1.2.2? 關(guān)鍵詞共現(xiàn)聚類分析

對(duì)關(guān)鍵詞進(jìn)行聚類分析可以更好地把控微表情識(shí)別研究領(lǐng)域的熱點(diǎn)主題集群。借助工具 VOSviewer 對(duì)得到的樣本文獻(xiàn)進(jìn)行聚類分析，得到的主題詞貢獻(xiàn)網(wǎng)絡(luò)見(jiàn)圖6。圖中節(jié)點(diǎn)越大，關(guān)鍵詞詞頻越大。由圖6中信息可知，微表情識(shí)別的研究熱度主要集中在面部表情、微表情、情緒的識(shí)別；光流法、LBP-TOP（local binary pattern histograms from three orthogonal planes）、CNN（convolutional neural network）等技術(shù)的實(shí)現(xiàn)和發(fā)展；遷移學(xué)習(xí)、域適應(yīng)等新領(lǐng)域研究；特征提取、分類、情感等微表情數(shù)據(jù)的收集和分析。

2? 用戶微表情信息表征的技術(shù)發(fā)展

微表情識(shí)別技術(shù)的起步階段，依靠的是人工微表情識(shí)別方法[10]。但微表情持續(xù)時(shí)間短，出現(xiàn)頻率低，未經(jīng)訓(xùn)練的個(gè)體識(shí)別能力不佳[11]，故人工方法在工作效率和精確程度上都難以滿足研究者對(duì)用戶信息表征的探究[12]。隨著技術(shù)的發(fā)展，研究者更傾向于利用計(jì)算機(jī)技術(shù)在人機(jī)交互的過(guò)程中實(shí)現(xiàn)微表情的自動(dòng)識(shí)別，從而進(jìn)一步提高識(shí)別、分析用戶信息表征的效率。微表情的自動(dòng)識(shí)別技術(shù)在用戶信息表征研究領(lǐng)域的發(fā)展，可以從微表情數(shù)據(jù)集、現(xiàn)有的數(shù)據(jù)處理方式、基于傳統(tǒng)方法的識(shí)別技術(shù)和基于深度學(xué)習(xí)的識(shí)別技術(shù)4個(gè)角度展開分析。

2.1? 微表情數(shù)據(jù)集

微表情數(shù)據(jù)集為科學(xué)的、定量的微表情識(shí)別奠定了基礎(chǔ)。但微表情區(qū)別于普通的面部表情，具有持續(xù)時(shí)間短、動(dòng)作強(qiáng)度低、在無(wú)意識(shí)狀態(tài)下產(chǎn)生等特點(diǎn)，較難提取。因此，如果要對(duì)用戶信息表征的分析和預(yù)測(cè)達(dá)到最好的效果，微表情數(shù)據(jù)集的采集和選取十分重要。對(duì)于現(xiàn)存的公開微表情數(shù)據(jù)集，其主要區(qū)別在于幀率、誘導(dǎo)方式和標(biāo)注方式[13]。目前已知的微表情數(shù)據(jù)集有：芬蘭奧盧大學(xué)的SMIC（spontaneous microexpression corpus）[14]和SMIC 2數(shù)據(jù)集[15]，中國(guó)科學(xué)院的CASME（Chinese Academy of Science micro-expression）[16]、CASME Ⅱ[17]、CAS（ME）2[18]和CASME Ⅲ[19]數(shù)據(jù)集，英國(guó)曼徹斯特大學(xué)的SAMM（spontaneous micro-expression）數(shù)據(jù)集和SAMM long數(shù)據(jù)集[20]，中國(guó)山東大學(xué)聯(lián)合清華大學(xué)、復(fù)旦大學(xué)團(tuán)隊(duì)的MMEW（micro-and-macro expression warehouse）數(shù)據(jù)集[21]，美國(guó)南佛羅里達(dá)大學(xué)的USF-HD數(shù)據(jù)集[22]和日本筑波大學(xué)的Polikovskys數(shù)據(jù)集[23]。其中，SMIC 2數(shù)據(jù)集包含3個(gè)子集HS、VIS和NIR。上述數(shù)據(jù)集實(shí)驗(yàn)采集參數(shù)的總結(jié)和對(duì)比如表1所示：

2.2? 現(xiàn)有的數(shù)據(jù)處理方式

在提取人類微表情的特征之前，通常需要對(duì)微表情視頻片段進(jìn)行數(shù)據(jù)預(yù)處理，以降低輸入復(fù)雜度，進(jìn)一步提高后續(xù)有關(guān)用戶信息表征的工作效率。常見(jiàn)的數(shù)據(jù)處理方式有數(shù)據(jù)元處理、數(shù)據(jù)統(tǒng)一表示等。

（1）數(shù)據(jù)元處理。人臉檢測(cè)是微表情自動(dòng)識(shí)別的第一步，過(guò)濾視頻中出現(xiàn)人臉的干擾幀，提取出有用的人臉視頻幀[24-25]，即數(shù)據(jù)元。接下來(lái)便對(duì)識(shí)別出的數(shù)據(jù)元進(jìn)行處理，包括裁剪人臉、人臉矯正。裁剪人臉[26]以特定的位置來(lái)控制和放大人臉的特征點(diǎn)；人臉矯正負(fù)責(zé)標(biāo)準(zhǔn)化所提取到的人臉數(shù)據(jù)，解決角度不同、尺度不一致等問(wèn)題，從而提高實(shí)際任務(wù)中的識(shí)別率。

（2）數(shù)據(jù)統(tǒng)一表示。用戶的微表情所折射出的信息依賴計(jì)算機(jī)對(duì)識(shí)別結(jié)果的處理。但目前現(xiàn)存的微表情數(shù)據(jù)樣本少，且微表情評(píng)判標(biāo)準(zhǔn)制定困難，難以滿足算法檢測(cè)學(xué)習(xí)的需求，因此現(xiàn)階段的研究更趨向于使用數(shù)據(jù)統(tǒng)一表示以提高模型檢測(cè)、判斷的效率和容錯(cuò)率。常見(jiàn)的數(shù)據(jù)統(tǒng)一表示方式有裁剪、縮放、旋轉(zhuǎn)和翻轉(zhuǎn)等。采取不同的算法對(duì)數(shù)據(jù)進(jìn)行處理，可以獲取更為精準(zhǔn)的標(biāo)準(zhǔn)化數(shù)據(jù)，進(jìn)而有利于特征因子的提取，達(dá)到提高檢測(cè)效率的目的[27]。

微表情識(shí)別研究是從提取到的實(shí)驗(yàn)者的面部微表情中分析出可能相對(duì)應(yīng)的信息行為，作為研究資料在后續(xù)的數(shù)據(jù)分析工作中使用。如果選取的處理方法不當(dāng)，就很可能觸犯實(shí)驗(yàn)者的個(gè)人隱私[28]。一旦研究的數(shù)據(jù)庫(kù)對(duì)外公開，由于信息主體隱私保護(hù)意識(shí)薄弱、信息獲取要求配合度低以及相關(guān)立法滯后、由知情同意信息缺乏以及信息自主失效引發(fā)的隱私倫理問(wèn)題不僅會(huì)侵犯實(shí)驗(yàn)者的隱私與倫理[29]，更會(huì)造成其對(duì)實(shí)驗(yàn)缺乏信任。因此，微表情的數(shù)據(jù)處理方式需要兼顧效率與安全，以達(dá)到促進(jìn)信息表征研究的可持續(xù)發(fā)展目的[30]。

2.3? 基于傳統(tǒng)方法的識(shí)別技術(shù)

微表情識(shí)別的早期工作，大多是基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，研究人員一般通過(guò)設(shè)計(jì)特征提取算子，提取微表情片段中的相應(yīng)特征，并對(duì)特征進(jìn)行分類識(shí)別[31]。基于傳統(tǒng)方法的微表情識(shí)別可以分為基于紋理特征的方法和基于幾何變換特征的方法，具體如表2所示：

2.4? 基于深度學(xué)習(xí)的識(shí)別技術(shù)

采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法對(duì)高相似性和密集性的微表情圖片進(jìn)行特征識(shí)別，存在訓(xùn)練難度大、準(zhǔn)確性較低、數(shù)據(jù)集數(shù)量較小、容易導(dǎo)致過(guò)擬合等問(wèn)題，無(wú)法滿足日益精確的效率需求。2018年，研究者將深度學(xué)習(xí)（deep learning， DL）引入微表情識(shí)別[39]，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)新研究方向，在語(yǔ)音和圖像識(shí)別等方面都已經(jīng)取得了卓越進(jìn)展[40]，可以有效解決微表情識(shí)別在種類、數(shù)量、速度上存在的問(wèn)題，且處理方式更加簡(jiǎn)潔，還能更精準(zhǔn)地識(shí)別特征信息，進(jìn)一步提升微表情信息表征能力，現(xiàn)已超越傳統(tǒng)方法成為主流。基于深度學(xué)習(xí)方法的微表情識(shí)別可以分為基于關(guān)聯(lián)學(xué)習(xí)的方法、基于區(qū)域?qū)W習(xí)的方法和基于遷移學(xué)習(xí)的方法，如表3所示：

3? 微表情識(shí)別與信息表征研究面臨的挑戰(zhàn)

從已取得的成就來(lái)看，微表情識(shí)別技術(shù)發(fā)展趨于成熟，基于深度學(xué)習(xí)的微表情識(shí)別方法已超越傳統(tǒng)的機(jī)器學(xué)習(xí)方法，可以更精準(zhǔn)地預(yù)測(cè)和分析用戶試圖掩飾或隱藏的真實(shí)情緒和內(nèi)在表征信息，成為技術(shù)創(chuàng)新的中心課題[47]。信息表征的分析和預(yù)測(cè)已取得較好的成效[48]，面部表情的識(shí)別更加精準(zhǔn)，數(shù)據(jù)元的處理方式更加多樣化，并且已在高效課堂教學(xué)[49]、社會(huì)治理[50-51]領(lǐng)域得到較好的實(shí)際運(yùn)用，但同時(shí)也不可避免地會(huì)存在一些困難與挑戰(zhàn)。

3.1? 技術(shù)方法優(yōu)化

微表情具有明顯不同于宏觀表情的特征，如持續(xù)時(shí)間短、變化微弱等，這也大大增加了微表情識(shí)別的難度[52]。同時(shí)，通過(guò)識(shí)別微表情分析出的信息表征，其數(shù)據(jù)并非客觀直接的無(wú)損原版。由于感情的細(xì)微性，其表現(xiàn)出的信息往往存在欺騙性，也顯得更加模糊[53]。更具鑒別性的特征能夠更準(zhǔn)確地描述人臉表情，由于受到環(huán)境和情感表情的復(fù)雜挑戰(zhàn)，大多數(shù)表情識(shí)別系統(tǒng)與技術(shù)難以捕捉微表情特征，無(wú)法達(dá)到很高的識(shí)別率[54]。目前技術(shù)更新迭代速度較快，實(shí)時(shí)集成表情識(shí)別技術(shù)（real-time emotion facial expression recognition， REFER）、人臉表情識(shí)別網(wǎng)絡(luò)（facial-expression recognition network， FERNet）[55]和卷積神經(jīng)網(wǎng)絡(luò)（CNN）理論模型[56]等技術(shù)不斷涌現(xiàn)。在過(guò)去發(fā)展的基礎(chǔ)上促進(jìn)了微表情識(shí)別準(zhǔn)確性及信息表征分析的關(guān)聯(lián)性，但仍存在模型波動(dòng)較大、信息傳遞失真等技術(shù)問(wèn)題，需要進(jìn)一步研究。

3.2? 人種存在差異及數(shù)據(jù)量問(wèn)題

微表情識(shí)別與信息表征之間聯(lián)系的建立需要大量的數(shù)據(jù)支撐，而較大規(guī)模地采集面部表情的難度較大，大規(guī)模面部微表情數(shù)據(jù)庫(kù)的共建、共享發(fā)展不足[57]。在非受控環(huán)境下采集的網(wǎng)絡(luò)數(shù)據(jù)，如FERPlus和RAF-DB等數(shù)據(jù)庫(kù)，經(jīng)過(guò)多人眾包標(biāo)注可靠性有所增加，但是標(biāo)注數(shù)量也僅在3萬(wàn)左右[58]。另一方面，由于遺傳、地域、文化的不同，不同人種、不同民族在表達(dá)情感時(shí)面部表情具有一定差異性。例如，僅從蒙古族、維吾爾族、壯族、藏族人臉表情圖像的研究來(lái)看，面部主要特征部件的變動(dòng)數(shù)據(jù)因不同民族而存在顯著差異[59]。而針對(duì)特定人群研發(fā)特定微表情數(shù)據(jù)庫(kù)的工作耗時(shí)費(fèi)力，應(yīng)用面又較為狹小，不適合作為長(zhǎng)時(shí)期的發(fā)展方向。這就需要以共建共享為指導(dǎo)思想進(jìn)行新技術(shù)開發(fā)[60]，解決微表情識(shí)別與信息表征研究的發(fā)展困境。

4? 用戶微表情信息表征未來(lái)研究方向

筆者在文獻(xiàn)調(diào)研過(guò)程中全面分析了微表情識(shí)別及信息表征相關(guān)研究，結(jié)合調(diào)研內(nèi)容，得出以下幾個(gè)未來(lái)發(fā)展和潛在研究方向。

4.1? ?從信息表征到信息傳遞

微表情往往在人撒謊時(shí)出現(xiàn)，表達(dá)了人試圖壓抑與隱藏的真正情感[61]，換言之，撒謊等信息行為其實(shí)是微表情的主要來(lái)源，微表情的自覺(jué)或不自覺(jué)的目的就是“掩蓋”某種信息行為。兩者有著密不可分的相互聯(lián)系，這種聯(lián)系一定程度上體現(xiàn)在微表情與信息行為的傳遞過(guò)程，宏表情識(shí)別測(cè)驗(yàn)、短暫表情識(shí)別測(cè)驗(yàn)（brief affect recognition test， BART）、微表情識(shí)別測(cè)驗(yàn)（Japanese and Caucasian brief affect recognition test， JACBART）這3種針對(duì)抑郁癥患者展開的測(cè)驗(yàn)即能體現(xiàn)出兩者的現(xiàn)實(shí)應(yīng)用性。

微表情通過(guò)神經(jīng)生理?xiàng)l件傳遞信息行為。當(dāng)某種情緒被觸發(fā)，皮層下大腦會(huì)發(fā)送一種無(wú)意識(shí)的反射式的信號(hào)給面部神經(jīng)，當(dāng)這種信號(hào)足夠強(qiáng)大時(shí)，真實(shí)表情將會(huì)泄露很短的時(shí)間，然后自主控制恢復(fù)，這就形成了微表情[62]。用戶微表情信息表征的傳遞持續(xù)不斷地進(jìn)行，在此期間又傳遞出更多的信息[63]，產(chǎn)生新的信息行為，并循環(huán)往復(fù)地映射到新一輪的微表情之中。這種信息傳遞的循環(huán)符合信息的無(wú)限性，同時(shí)也證明了信息行為與微表情之間強(qiáng)大的傳遞關(guān)系。

4.2? 從信息傳遞到信息反饋

從用戶行為的本質(zhì)出發(fā)，無(wú)論是從直觀或是從技術(shù)的角度，都是通過(guò)分析某種反饋進(jìn)行識(shí)別。起初，實(shí)驗(yàn)者利用CASME自發(fā)式微表情數(shù)據(jù)集技術(shù)，帶著“他是否在撒謊？”的疑問(wèn)，觀看時(shí)錄制人臉視頻。當(dāng)他們發(fā)現(xiàn)某些關(guān)鍵幀的微表情變換并做出判斷時(shí)，其實(shí)就是得到了信息表征傳達(dá)的反饋[64]。挑眉可能代表訝異，微笑可能代表喜悅，這是人們從直觀上很容易得到有關(guān)信息行為的反饋結(jié)果[65]，然而這種輕微的區(qū)別是存在閾值的，信息行為的回饋會(huì)因閾值上呈現(xiàn)或閾值下呈現(xiàn)產(chǎn)生明顯的區(qū)別[66]。

基于“微表情”的安檢模式，從安檢工作的實(shí)際出發(fā)，通過(guò)對(duì)面部微表情的捕捉和分析，并進(jìn)行適時(shí)反饋，對(duì)于識(shí)別和研判可疑人員、風(fēng)險(xiǎn)預(yù)警、處置決策等方面具有重要的實(shí)用意義[67]?！拔⒈砬椤弊R(shí)別的安檢模式以微表情理論研究為基礎(chǔ)， 并與心理學(xué)及大數(shù)據(jù)、人工智能、信息通信相結(jié)合。安檢人員對(duì)受檢人員適時(shí)引導(dǎo)刺激， 及時(shí)觀察、分析其“微表情”的變化；同時(shí)，智能系統(tǒng)模塊將視頻中截取的人臉圖像進(jìn)行黑名單數(shù)據(jù)檢索和“微表情”識(shí)別， 實(shí)現(xiàn)對(duì)可疑人員的甄別與預(yù)警。美國(guó)交通運(yùn)輸安全部已經(jīng)把基于微表情分析的行為觀測(cè)技術(shù)應(yīng)用到機(jī)場(chǎng)的安檢[68]。而微表情識(shí)別技術(shù)一旦應(yīng)用到教育、醫(yī)療、社會(huì)治理等諸多領(lǐng)域，微表情采集中以幀為單位收集的圖像視頻信息及各類微表情數(shù)據(jù)集都有被傳播和泄露的潛在風(fēng)險(xiǎn)[69]，參與者的個(gè)人隱私將可能受到侵犯[70]。因此，如何在保障數(shù)據(jù)安全的同時(shí)，在個(gè)人隱私保護(hù)和面部信息的搜集、存儲(chǔ)、運(yùn)用、傳遞之間達(dá)到平衡，是未來(lái)需要探究的方向之一。

5? 結(jié)語(yǔ)

用戶產(chǎn)生微表情的過(guò)程也是信息表征的過(guò)程。在前期分析和文獻(xiàn)計(jì)量的基礎(chǔ)上，筆者從現(xiàn)狀、趨勢(shì)、技術(shù)和挑戰(zhàn)四大方面對(duì)微表情識(shí)別中的信息表征研究進(jìn)行了系統(tǒng)分析，有利于把握微表情識(shí)別中的信息規(guī)律，對(duì)微表情識(shí)別中的信息管理和人機(jī)交互建設(shè)具有重要的理論意義和實(shí)踐意義。與此同時(shí)，該研究領(lǐng)域不可避免地存在技術(shù)開發(fā)、信息保護(hù)和人種差異等一系列問(wèn)題，對(duì)微表情識(shí)別領(lǐng)域下的信息行為研究提出了新的挑戰(zhàn)，值得研究者持續(xù)深耕。在圖書館與情報(bào)領(lǐng)域，微表情識(shí)別過(guò)程中的信息傳遞、信息反饋是未來(lái)可發(fā)展的新興研究領(lǐng)域，微表情識(shí)別領(lǐng)域的應(yīng)用趨勢(shì)可以在元宇宙、隱私問(wèn)題和技術(shù)驅(qū)動(dòng)等領(lǐng)域持續(xù)發(fā)展。

參考文獻(xiàn)：

吳奇， 申尋兵， 傅小蘭.微表情研究及其應(yīng)用[J]. 心理科學(xué)進(jìn)展， 2010， 18（9）： 1359-1368.

Ekman P， Friesen W V. Detecting deception from the body or face[J]. Journal of personality and social psychology， 1974， 29（3）： 288-298.

HOUSE C， MEYER R. Preprocessing and descriptor features for facial micro-expression recognition [EB/OL]. [2022-07-30]. https：//web.stanford.edu/classlee368/Project_Spring_1415/Reports/House_Meyer.pdf.

陳子健， 朱曉亮.基于面部表情的學(xué)習(xí)者情緒自動(dòng)識(shí)別研究——適切性、現(xiàn)狀、現(xiàn)存問(wèn)題和提升路徑[J]. 遠(yuǎn)程教育雜志， 2019， 37（4）： 64-72.

Zeng Z h， Pantic M， Roisman G I， et al. A survey of affect recognition methods： audio， visual， and spontaneous expression[J]. IEEE trans on pattern analysis and machine intelligence， 2009， 31（1）： 39-58.

ZHANG J， DONALD A N. Representations in distributed cognitive tasks[J]. Cognitive science， 1994， 18（1）： 87-122.

陽(yáng)長(zhǎng)征.危機(jī)事件中網(wǎng)絡(luò)信息表征對(duì)用戶持續(xù)分享意愿影響研究[J]. 圖書情報(bào)工作， 2019， 63（21）： 105-116.

石程旭.監(jiān)獄民警應(yīng)用微表情分析的思考[J]. 法制博覽， 2022（5）： 27-29.

崔小洛.基于微表情追蹤的課堂教學(xué)效果即時(shí)反饋系統(tǒng)設(shè)計(jì)[J]. 無(wú)線互聯(lián)科技， 2022， 19（4）： 52-54.

李婧婷， 東子朝， 劉燁， 等.基于人類注意機(jī)制的微表情檢測(cè)方法[J]. 心理科學(xué)進(jìn)展， 2022， 30（10）： 2143-2153.

Frank M G， Herbasz M， Sinuk K， et al. I see how you feel： training laypeople and professionals to recognize fleeting emotion[C]// The annual meeting of the International Communication Association. New York： International Communication Association， 2009： 1-35.

Pfister T， Li X， Zhao G， et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway： IEEE， 2011： 1449-1456.

徐峰， 張軍平.人臉微表情識(shí)別綜述[J]. 自動(dòng)化學(xué)報(bào)， 2017， 43（3）： 333-348.

Pfister T， Li X B， Zhao G Y， et al. Recognising spontaneous facial micro-expressions[C]//Proceedings of the 2011 IEEE international conference on computer vision. Piscataway： IEEE， 2011：1449-1456.

Li X B， Pfister T， Huang X H， et al. Aspontaneous micro-expression database： inducement， collection and baseline[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway： IEEE， 2013：1-6.

Yan w J， Wu Q， Liu Y J， et al. CASME database： a dataset of spontaneous micro-expressions collected from neutralized faces[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway： IEEE， 2013：1-7.

Yan W J， Li X， Wang S J， et al. CASME II： an improved spontaneous micro-expression database and the baseline evaluation[J]. Plos one， 2014， 9（1）： e86041.

Qu F， Wang S J， Yan W J， et al. CAS （ME）^2： a database for spontaneous macro-expression and micro-expression spotting and recognition[J]. IEEE transactions on affective computing， 2017， 9（4）： 424-436.

Li J， Dong Z， Lu S， et al. CAS （ME）3： a third generation facial spontaneous micro-expression database with depth information and high ecological validity[J]. IEEE transactions on pattern analysis and machine intelligence， 2022， 45（3）： 2782-2800.

Yap C H， Kendrick C， Yap M H. SAMM long videos： a spontaneous facial micro-and macro-expressions dataset[C]//2020 15th IEEE international conference on automatic face and gesture recognition. Piscataway： IEEE， 2020： 771-776.

Ben X， Ren Y， Zhang J， et al. Video-based facial micro-expression analysis： a survey of datasets， features and algorithms[J]. IEEE transactions on pattern analysis and machine intelligence， 2021， 44（9）： 5826-5846.

Pfister T， Li X， Zhao G， et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway： IEEE， 2011： 1449-1456.

Polikovsky S， Kameda Y， Ohta Y. Facial micro-expression detection in hi-speed video based on facial action coding system （FACS）[J]. IEICE transactions on information and systems， 2013， 96（1）： 81-92.

Rowley H A， Baluja S， Kanade T. Neural network-based face detection[J] IEEE transactions on pattern analysis and machine intelligence， 1998， 20（1）： 23-38.

Schapire E， Singer Y. Improved boosting algorithms using confidence-rated predictions[J]. Machine learning， 1999， 37（3）： 297-336.

COOTES T F， TAYLOR C J， EDWARDS G J. Active appearance models[C]//European conference on computer vision. Berlin： Springer， 1998：484-498.

Wadhwa N， Rubinstein M， Durand F， et al. Phase-based video motion processing[J]. ACM transactions on graphics， 2013， 32（4）： 1-10.

姚海燕， 李健， 鄧小昭.網(wǎng)絡(luò)用戶信息行為研究中的隱私問(wèn)題探討[J]. 情報(bào)探索， 2010（7）： 14-16.

周霞， 王萍， 王美月， 等.政府開放數(shù)據(jù)用戶認(rèn)知影響因素研究——先驗(yàn)圖式調(diào)節(jié)效應(yīng)[J]. 情報(bào)科學(xué)， 2022， 40（9）： 159-166.

蔣福明， 曾慧平.人臉識(shí)別技術(shù)應(yīng)用中的隱私倫理問(wèn)題及其消解路徑[J]. 山西高等學(xué)校社會(huì)科學(xué)學(xué)報(bào)， 2020， 32（9）： 19-24.

李思寧. 基于深度學(xué)習(xí)的面部微表情識(shí)別方法研究[D]. 徐州： 中國(guó)礦業(yè)大學(xué)， 2020.

Ojala T， Pietikainen M， Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE transactions on pattern analysis machine intelligence， 2002， 24（7）： 971-987.

Zhao G， Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions[J]. IEEE transactions on pattern analysis and machine intelligence， 2007， 29（6）： 915-928.

Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]//IEEE computer society conference on computer vision & pattern recognition. Piscataway： IEEE， 2005： 886-893.

Lucas B D， Kanade T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th international joint conference on artificial intelligence. San Francisco： Morgan Kaufmann Publishers， 1997， 2： 674-679.

Chaudhry R， Ravichandran A， Hager G， et al. Histograms of oriented optical flow and binet-cauchy kernels on nonlinear dynamical systems for the recognition of human actions[C]//Proceedings of 2009 IEEE conference on computer vision and pattern recognition. Miami： IEEE， 2009： 1932-1939.

Liu Y J， Zhang J K， Yan W J， et al. A main directional mean optical flow feature for spontaneous micro-expression recognition[J]. IEEE transactions on affective computing， 2015， 7（4）： 299-310.

Lu Z， Luo Z， Zheng H， et al. A delaunay-based temporal coding model for micro-expression recognition [C]//Asian conference on computer vision. Singapore： Springer， 2014： 698-711.

Takalkar M A， Xu M. Image based facial micro-expression recognition using deep learning on small datasets[C]//2017 international conference on digital image computing： techniques and applications. Piscataway： IEEE， 2017： 1-7.

錢付蘭， 李建紅， 趙姝， 等.基于深度混合模型評(píng)分推薦[J]. 南京航空航天大學(xué)學(xué)報(bào)， 2019， 51（5）： 592-598.

劉德志， 梁正友， 孫宇. 結(jié)合空間注意力機(jī)制與光流特征的微表情識(shí)別方法 [J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2021， 33（10）： 1541-1552.

Khor H Q， See J， Phan R， et al. Enriched long-term recurrent convolutional network for facial micro-expression recognition [C]// IEEE international conference on automatic face & gesture recognition. Piscataway： IEEE， 2018： 667-674.

YAO L， XIAO X， CAO R， et al. Three stream 3D CNN with SE block for micro-expression recognition[C]//2020 International conference on computer engineering and application. Piscataway： IEEE， 2020：439-443

李星燃， 張立言， 姚樹婧.結(jié)合特征融合和注意力機(jī)制的微表情識(shí)別方法[J]. 計(jì)算機(jī)科學(xué)， 2022， 49（2）： 4-11.

LIU Y Y， DAI W， FANG F， et al. Dynamic multi- channel metric network for joint pose-aware and identity-invariant facial expression recognition[J]. Information sciences， 2021（578）： 195-213.

孔慧芳， 錢世超， 閆嘉鵬.基于不均衡數(shù)據(jù)與遷移學(xué)習(xí)的面部微表情識(shí)別[J]. 合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 43（7）： 895-900.

劉洋， 馬莉莉， 張?chǎng)?等.基于跨模態(tài)深度學(xué)習(xí)的旅游評(píng)論反諷識(shí)別[J]. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2022， 6（12）： 23-31.

陽(yáng)長(zhǎng)征.危機(jī)事件中網(wǎng)絡(luò)信息表征對(duì)用戶持續(xù)分享意愿影響研究[J]. 圖書情報(bào)工作， 2019， 63（21）： 105-116.

韓麗， 李洋， 周子佳， 等.課堂環(huán)境中基于面部表情的教學(xué)效果分析[J]. 現(xiàn)代遠(yuǎn)程教育研究， 2017（4）： 97-103， 112.

夏乾馨， 付強(qiáng).應(yīng)用微表情識(shí)別技術(shù)實(shí)現(xiàn)公安預(yù)警模式的探討[J]. 中國(guó)防偽報(bào)道， 2021（2）： 82-85.

康桐瑞.論微表情分析在我國(guó)偵查訊問(wèn)中的應(yīng)用[J]. 上海公安學(xué)院學(xué)報(bào)， 2019， 29（4）： 28-33.

Kang J， CHEN X Y， LIU Q Y， et al. Research on a micro-expression recognition technology based on multimodal fusion[J/OL]. Complexity， 2021[2023-03-02]. https：//www.hindawi.com/journals/complexity/2021/5221950/.

Buhari A M， Ooi C P， Baskaran V M， et al. Invisible emotion magnification algorithm （IEMA） for real-time micro-expression recognition with graph-based features[J]. Multimedia tools and applications， 2022， 81（7）： 9151-9176.

Liu J， Wang H， Feng Y. An end-to-end deep model with discriminative facial features for facial expression recognition[J]. IEEE access， 2021， 9： 12158-12166.

El Zarif N， Montazeri L， Leduc-Primeau F， et al. Mobile-optimized facial expression recognition techniques[J]. IEEE access， 2021， 9： 101172-101185.

Zhang G， Lv G， Binsawad M， et al. Dynamic nonlinear expression recognition technology using neural network and attention mechanism[J]. Fractals， 2022， 30（2）： 2240097.

陳子健， 朱曉亮.基于面部表情的學(xué)習(xí)者情緒自動(dòng)識(shí)別研究——適切性、現(xiàn)狀、現(xiàn)存問(wèn)題和提升路徑[J]. 遠(yuǎn)程教育雜志， 2019， 37（4）： 64-72.

彭小江， 喬宇.面部表情分析進(jìn)展和挑戰(zhàn)[J]. 中國(guó)圖象圖形學(xué)報(bào)， 2020， 25（11）： 2337-2348.

馬艷準(zhǔn). 多民族面部表情理解分析技術(shù)研究[D]. 沈陽(yáng)： 東北大學(xué)， 2012.

張旭東， 劉洋.組態(tài)視角下元宇宙圖書館用戶接受意愿影響因素研究[J]. 圖書館理論與實(shí)踐， 2023（3）： 73-85.

于明， 鐘元想， 王巖.人臉微表情分析方法綜述[J]. 計(jì)算機(jī)工程， 2023， 49（2）： 1-14.

殷明， 張劍心， 史愛(ài)芹， 等.微表情的特征、識(shí)別、訓(xùn)練和影響因素[J]. 心理科學(xué)進(jìn)展， 2016， 24（11）： 1723-1736.

樊振佳， 宋正剛， 劉鴻彬， 等.貧困地區(qū)返鄉(xiāng)創(chuàng)業(yè)人員信息獲取不平等表征及其根源分析[J]. 情報(bào)科學(xué)， 2019， 37（10）： 81-86， 113.

劉汝涵， 徐丹.視頻放大和深度學(xué)習(xí)在微表情識(shí)別任務(wù)上的應(yīng)用[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2019， 31（9）： 1535-1541.

姜婷婷， 吳茜， 徐亞蘋， 等.眼動(dòng)追蹤技術(shù)在國(guó)外信息行為研究中的應(yīng)用[J]. 情報(bào)學(xué)報(bào)， 2020， 39（2）： 217-230.

吳冉， 任衍具.微表情的啟動(dòng)效應(yīng)研究[J]. 應(yīng)用心理學(xué)， 2011， 17（3）： 241-248.

劉緣， 庾永波.在安檢中加強(qiáng)“微表情”識(shí)別的思考——基于入藏公路安檢的考察[J]. 四川警察學(xué)院學(xué)報(bào)， 2019， 31（1）： 61-68.

Shen X， Wu Q， Fu X. Effects of the duration of expressions on the recognition of micro expressions[J]. Journal of Zhejiang University science B， 2012， 13（3）： 221-230.

劉洋， 馬莉莉， 張?chǎng)?等.基于跨模態(tài)深度學(xué)習(xí)的旅游評(píng)論反諷識(shí)別[J]. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2022， 6（12）： 23-31.

譚春輝， 陳曉琪， 梁遠(yuǎn)亮， 等.隱私泄露事件中社交媒體圍觀者情感分析[J]. 情報(bào)科學(xué)， 2023， 41（3）： 8-18.

作者貢獻(xiàn)說(shuō)明：

劉? 洋：進(jìn)行研究設(shè)計(jì)，開展實(shí)驗(yàn)，撰寫論文；

吳? 佩：開展實(shí)驗(yàn)，撰寫論文；

萬(wàn)芷涵：開展實(shí)驗(yàn)，撰寫論文；

石佳玉：開展實(shí)驗(yàn)，撰寫論文；

朱立芳：進(jìn)行研究設(shè)計(jì)，修改論文。

A Review of Information Representation of Users Micro-Expressions

Liu Yang1? Wu Pei1? Wan Zhihan1? Shi Jiayu1? Zhu Lifang2

1School of Information Management， Wuhan University， Wuhan 430072

2School of Humanities and Communication， Guangdong University of Finance and Economics， Guangzhou 510320

Abstract： [Purpose/Significance] To analyze the current status and trends of research in the field of micro-expression recognition at home and abroad， and to provide a reference for the research on micro-expression information representation of users in the field of library and intelligence. [Method/Process] The bibliometric-based research method revealed the research dynamics in the field of micro-expression recognition in the last decade， and analyzed the convergence trends， technical basis and difficult challenges of micro-expression recognition and information representation. [Result/Conclusion] Micro-expression datasets and micro-expression recognition technologies are current research hotspots; technical approaches， security ethics and database volume are major challenges for todays development; information transmission and information feedback are emerging research areas that can be developed in libraries and intelligence in the future， and areas such as meta-universe， privacy issues and technology-driven are future trends in the application of micro-expression recognition technologies.

Keywords： micro-expression recognition? ? information representation? ? information transmission? ? information feedback? ? bibliometrics