基于書寫筆跡的青少年情緒檢測(cè)方法與系統(tǒng)實(shí)現(xiàn)

摘 ?要： 成長(zhǎng)中的青少年時(shí)常會(huì)感受到很大的心理壓力和沖突，導(dǎo)致情緒起伏不定。而人的書寫筆跡與其情緒性情緊密關(guān)聯(lián)。透過一個(gè)人的書寫筆跡，不但可以了解其人之個(gè)性，更可觀察其性情與身心健康之狀態(tài)。鑒于書寫筆跡是一種自然的、真實(shí)的、沒有受到偽裝污染，且保留個(gè)性的一種痕跡，本文提出一種根據(jù)青少年的書寫筆跡，采用卷積神經(jīng)網(wǎng)絡(luò)，檢測(cè)青少年情緒的方法，并實(shí)現(xiàn)了一個(gè)基于書寫筆跡的青少年心情檢測(cè)APP軟件。實(shí)驗(yàn)表明該方法在識(shí)別青少年“平和”與“緊張”兩類情緒方面，準(zhǔn)確性超過90%，增加訓(xùn)練數(shù)據(jù)，準(zhǔn)確性甚至可達(dá)95.50%。

關(guān)鍵詞：青少年;書寫筆跡;情緒檢測(cè);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TP391.41????文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.3969/j.issn.1003-6970.2019.09.025

本文著錄格式：馮舒婷. 基于書寫筆跡的青少年情緒檢測(cè)方法與系統(tǒng)實(shí)現(xiàn)[J]. 軟件，2019，40（9）：105-109

Teenagers Emotion Detection Method and Implemention Based on Handwritings

FENG Shu-ting

（Tsinghua University High School， Beijing100084，China）

【Abstract】：Growing teenagers often feel great psychological stress and conflicts， leading to emotional ups and downs. The writing strokes of people are closely related to their emotions. Through ones handwriting， we can understand not only his/her personality， but also the status of his/her temperament and mental health. In view of the fact that handwriting is a natural， real， non-disguised， and non-polluted personal trace， we present a handwriting-based teenagers emotion detection method using convolutional neural networks， and implement it into a mobile APP. Our experimental result shows that the method can achieve the accuracy of over 90% in identifying teenagers peaceful or tension emotion. Increasing the size of the training data set， we can even achieve 95.50% detection accuracy.

【Key words】：Teenager; Handwriting; Emotion detection; Convolutional neural network

0??引言

青春期是人生成長(zhǎng)的重要時(shí)期，也是人生發(fā)育和心理成熟的關(guān)鍵時(shí)期。這一時(shí)期不僅是生理方面的發(fā)展，更為重要的是心理方面的發(fā)展。這個(gè)時(shí)期既有幼兒時(shí)期的稚氣，又有想脫離這種稚氣達(dá)到成人思想的趨勢(shì)。這一時(shí)期的青少年又達(dá)不到成人思想上的成熟度，所以在這個(gè)混飩時(shí)期心理發(fā)展是最重要的。但是，當(dāng)今快速發(fā)展的經(jīng)濟(jì)與社會(huì)不約而同地帶給青少年方方面面的壓力，使得成長(zhǎng)中的承受著學(xué)業(yè)、交往、家庭、情感、自我認(rèn)知等方方面面的壓力;而獨(dú)立、自我意識(shí)日益增強(qiáng)的青少年，在很多方面，尤其是在情感方面，不愿對(duì)父母老師說出壞情緒，經(jīng)驗(yàn)的不足又常常使其不能正確面對(duì)。過多的壓力得不到及時(shí)有效疏導(dǎo)很容易引起心理健康問題。目前，我國(guó)約有3000萬青少年處于心理亞健康狀態(tài)。

另一方面，書寫筆跡與人的情緒性情緊密關(guān)聯(lián)。人的喜怒哀樂的思想情趣、向往追求都會(huì)從字的神采、風(fēng)格上反映出來。我國(guó)古語常說：“字如其人”、“相人不如相字”、“見字如面”、“筆跡乃心跡”……關(guān)于人的性情、情緒與書寫的關(guān)系，我國(guó)歷代書法家、文學(xué)家、文獻(xiàn)家、哲學(xué)家都有精辟論述。西漢末期，易理學(xué)家揚(yáng)雄就說過：“書、心畫也?！币馑?/p>

是說書法是人的心理描繪，是以線條來表達(dá)和抒發(fā)作者情感心緒變化的。唐朝著名書法家孫過庭認(rèn)為，書法可以“達(dá)其性情，形其哀樂”。他認(rèn)為書寫筆跡反映書寫者的品德性情與喜怒哀樂。元代書法家陳繹曾在《翰林要訣》中論述得更為具體：“喜怒哀樂，各有分?jǐn)?shù)，喜則氣和而字舒，怒則氣粗而字險(xiǎn)，哀即氣郁而字?jǐn)?，樂則氣平而字麗。情有重輕，則字之?dāng)渴骐U(xiǎn)麗亦有淺深，變化無窮?！比藲g喜時(shí)，心氣和諧，寫出來的字就舒放;人發(fā)怒時(shí)，心氣粗悶，寫來的字就險(xiǎn)絕;人悲哀時(shí)，心氣憂郁，寫出來的字就內(nèi)斂;人高興時(shí)，心氣平和，寫出來的字就秀麗。到了清代，文學(xué)家劉熙載在其《藝概·書概》中有：“書，如也。如其學(xué)，如其才，如其志，總之日如其人而已。”著名的“字如其人”即來源于此^[3]。

現(xiàn)代筆跡研究學(xué)者徐慶元、馬鵬程指出：“情感主要看其字體大小、轉(zhuǎn)折角、筆畫粗細(xì)、末筆情況、書寫速度?！比嗽诓煌木诚伦煮w筆跡也會(huì)發(fā)生細(xì)微變化。心情平和高興時(shí)，字跡工整，筆畫舒暢，橫筆多向上抬;緊張不安時(shí)，筆跡多局促潦草，文字傾斜不均勻;煩躁時(shí)，寫出的字往往松散，比例不當(dāng);憤怒時(shí)字體結(jié)構(gòu)不合理、筆力重，有夸張的筆畫。心情郁悶或悲痛時(shí)，筆跡多局促，筆畫拘謹(jǐn)生澀，運(yùn)筆凝重呆板，文字傾斜不均勻;憤怒時(shí)字體結(jié)構(gòu)不合理、筆力重，有夸張的筆畫^[1-2]。因此，透過一個(gè)人的書寫筆跡，不但可以了解其人之個(gè)性，更進(jìn)而可觀察其性情與身心健康之狀態(tài)。另一方面，書寫筆跡本身又是一種自然的、真實(shí)的、沒有受到偽裝污染，且保留個(gè)性的一種痕跡。這些為我們通過青少年書寫筆跡，及時(shí)感知檢測(cè)學(xué)生們的情緒變化奠定基礎(chǔ)。

目前，無論是國(guó)內(nèi)還是國(guó)外，用戶情感檢測(cè)工作主要依靠用戶發(fā)布到社交媒體上的文本信息與圖片，尚未有通過書寫筆跡，通過深度機(jī)器學(xué)習(xí)，自動(dòng)檢測(cè)用戶情緒的先例。

1??相關(guān)工作

筆跡學(xué)研究在國(guó)外三百年前已初露端倪，興起與發(fā)展至今有一百余年的歷史，現(xiàn)已在西方發(fā)達(dá)國(guó)家得到廣泛的使用。但是，我國(guó)的筆跡分析研究目前尚處于發(fā)展初期，尚未形成行業(yè)和很規(guī)范的市場(chǎng)，筆跡專業(yè)人才數(shù)量過少，主要還分布在公安部門、少數(shù)高校、研究機(jī)構(gòu)、書法界等，聚焦于筆跡鑒定與手寫字體識(shí)別，難以滿足巨大的、潛在的市場(chǎng)需求。

當(dāng)前，基于社交媒體（如微博）的用戶情感檢測(cè)工作吸引了眾多研究者，其主要采用文本分類的機(jī)器學(xué)習(xí)方法^[4]，對(duì)用戶發(fā)表的文本內(nèi)容進(jìn)行情感極性的解析。此類研究的局限性在于：（1）用戶情感檢測(cè)的準(zhǔn)確性依賴于完備的情感詞典，而用戶的網(wǎng)絡(luò)詞典不斷演變，導(dǎo)致此詞典也需要不斷更新;（2）用戶發(fā)表的文本內(nèi)容具有隱晦性，用戶的文字表達(dá)內(nèi)容可能與其內(nèi)在情感不一致，造成錯(cuò)誤檢測(cè)結(jié)果。

但是，相比用戶發(fā)表的主觀文字內(nèi)容，用戶的書寫筆跡更為客觀，是用戶自然的、真實(shí)的、沒有受到偽裝污染，且保留個(gè)性的一種痕跡，這些為我們通過青少年書寫筆跡，及時(shí)準(zhǔn)確感知檢測(cè)學(xué)生們的情緒變化提供可能。

2 ?基于書寫筆跡的青少年情緒檢測(cè)方法

為了自動(dòng)檢測(cè)青少年用戶的情緒，我們將用戶的一份書寫筆跡拍照生成一副圖片，通過卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別出書寫者的平和或緊張情緒。本章首先概述卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，隨后給出其在青少年情緒檢測(cè)上的應(yīng)用。

2.1 卷積神經(jīng)網(wǎng)絡(luò)概述

卷積神經(jīng)網(wǎng)絡(luò)是一種受到視覺感知機(jī)制啟發(fā)，可訓(xùn)練的深度學(xué)習(xí)結(jié)構(gòu)，在模式分類、圖像處理方面有出色表現(xiàn)^[5-9]。其優(yōu)勢(shì)在于它能通過卷積操作，有效提取原始圖像特征，無需對(duì)圖像進(jìn)行預(yù)處理或手工特征提取。

卷積神經(jīng)網(wǎng)絡(luò)的基本工作在于特征提取與特征映射。一般由輸入層、若干卷積層、若干池化層、全連接網(wǎng)絡(luò)層和輸出層組成。圖1展示了一個(gè)含有2個(gè)卷積層的神經(jīng)網(wǎng)絡(luò)。第一個(gè)卷積層包含三個(gè)卷積核，每個(gè)卷積核把原始輸入圖像卷積得到一個(gè)特征圖，該特征圖可以看做是通過卷積變換提取到的圖像特征。通過三個(gè)卷積核，可以得到三個(gè)特征圖，也就是對(duì)原始圖像提取出三組不同的特征，也稱做三個(gè)通道。在第一個(gè)卷積層之后，池化層對(duì)三個(gè)特征圖做了下采樣，得到了三個(gè)更小的特征圖。接著，第二個(gè)卷積層有5個(gè)卷積核。每個(gè)卷積核都把前面下采樣之后的3個(gè)特征圖卷積在一起，得到一個(gè)新的特征圖。這樣，5個(gè)卷積核就得到了5個(gè)特征圖。緊接著，第二個(gè)池化層繼續(xù)對(duì)5個(gè)特征圖進(jìn)行下采樣，得到了5個(gè)更小的特征圖。圖1所示網(wǎng)絡(luò)的最后兩層是全連接層。第一個(gè)全連接層的每個(gè)神經(jīng)元，和上一層5個(gè)特征圖中的每個(gè)神經(jīng)元相連，第二個(gè)全連接層（也就是輸出層）的每個(gè)神經(jīng)元，則和第一個(gè)全連接層的每個(gè)神經(jīng)元相連，這樣得到了整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出。

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的筆跡心情檢測(cè)實(shí)現(xiàn)細(xì)節(jié)與驗(yàn)證

我們將青少年用戶的一份書寫筆跡拍照生成一副圖片，通過卷積神經(jīng)網(wǎng)絡(luò)，自動(dòng)識(shí)別出書寫者的平和或緊張情緒。本文實(shí)現(xiàn)的基于筆跡的情緒檢測(cè)CNN模型共分為五層，包含三個(gè)卷積采樣層和兩個(gè)全連接層和一個(gè)輸入層，如圖2所示。

輸入層中圖像為64*512像素，因?yàn)槭遣噬珗D像，所以根據(jù)RGB分為3色，輸入的每張圖像實(shí)際尺寸為64*512*3。

根據(jù)表1參數(shù)設(shè)置，經(jīng)過卷積采樣層1后，該圖像的尺寸變?yōu)?6*64*16，以此類推經(jīng)過之后兩層分別變?yōu)?*8*64和1*1*256，圖像被整理成一個(gè)長(zhǎng)度為256的向量V。V隨后經(jīng)過全連接層1與全連接層2的運(yùn)算：

F₁=VW₁（V?R²⁵⁶，W₁?R^256*32，F₁?R³²）

F₂=F₁W₂（F₁?R³²，W₂?R^32*2，F₂?R²）

我們可調(diào)用softmax函數(shù)對(duì)該圖像的極性進(jìn)行分類，分別計(jì)算出屬于緊張心情還是屬于平和心情的概率：p（y|X）=softmax（F₂）。

在本實(shí)驗(yàn)中，學(xué)習(xí)率設(shè)置為0.0001，批處理尺寸設(shè)置為50，優(yōu)化器為adam。

實(shí)驗(yàn)字跡數(shù)據(jù)集來自一位高中學(xué)生的語文平時(shí)作業(yè)與考試（含期中、期末、測(cè)驗(yàn)）卷面。每張字跡圖片含有一行，共10個(gè)漢字。我們將平時(shí)作業(yè)時(shí)的字跡圖片標(biāo)注為平和情緒字跡，考試時(shí)的字跡圖片標(biāo)注為緊張情緒字跡。我們總共獲得1566張字跡圖片，其中，緊張情緒字跡480張，平和情緒字跡1086張。

為了測(cè)試數(shù)據(jù)集大小對(duì)字跡情緒檢測(cè)方法準(zhǔn)確性的影響，我們做了如下2組實(shí)驗(yàn)，檢測(cè)結(jié)果如表2和圖3所示。

實(shí)驗(yàn)一數(shù)據(jù)：

（訓(xùn)練集）緊張情緒字跡圖片226張，平和情緒字跡圖片614張;

（測(cè)試集）余下緊張情緒字跡圖片100張，平和情緒字跡圖片100張。

實(shí)驗(yàn)二數(shù)據(jù)：

（訓(xùn)練集）緊張情緒字跡圖片380張，平和情緒字跡圖片986張;

（測(cè)試集）緊張情緒字跡圖片100張，平和情緒字跡圖片100張。

表2中的結(jié)果顯示，隨著訓(xùn)練數(shù)據(jù)的增大，我們進(jìn)一步觀察了模型檢測(cè)結(jié)果的混淆情況，如表3所示。

在實(shí)驗(yàn)二中，為了客觀與嚴(yán)謹(jǐn)，我們使用和實(shí)驗(yàn)一相同的測(cè)試集，僅將新增的數(shù)據(jù)增加到訓(xùn)練集中。通過結(jié)果我們可以發(fā)現(xiàn)，在進(jìn)行實(shí)驗(yàn)一時(shí)，由于數(shù)據(jù)不均衡（訓(xùn)練集中緊張樣本與平和樣本之比為0.36），在測(cè)試集中的實(shí)驗(yàn)結(jié)果顯示，模型會(huì)更傾向于將樣本預(yù)測(cè)為平和情緒，導(dǎo)致查全率僅為84%，58%的測(cè)試集樣本被預(yù)測(cè)為平和情緒。

為了克服以上問題，這里增加了實(shí)驗(yàn)二，通過擴(kuò)大數(shù)據(jù)集，使得訓(xùn)練集中的兩類樣本分布更加均衡，使得準(zhǔn)確性與F1-Measure分別從92.00%、91.30%提高到95.50%、95.48%。同時(shí)，實(shí)驗(yàn)二中50.5%的測(cè)試集樣本被預(yù)測(cè)為平和情緒，49.5%的測(cè)試集樣本被預(yù)測(cè)為緊張情緒，分類器的分類也更加均衡。

3 ?基于書寫筆跡的青少年情緒檢測(cè)APP實(shí)現(xiàn)

基于書寫筆跡的青少年情緒檢測(cè)APP軟件由前端和服務(wù)器后端兩部分構(gòu)成^[10]。前端采用HTML5 應(yīng)用程序開發(fā)框架，在該框架下可以基于Web技術(shù)，如HTML、CSS和Javascript等，通過加入原生native模塊構(gòu)建接近原生體驗(yàn)的移動(dòng)應(yīng)用程序。后臺(tái)采用深度學(xué)習(xí)框架Tensorflow 1.5，用Python語言實(shí)現(xiàn)CNN情緒檢測(cè)程序，后臺(tái)采用Flask框架，F(xiàn)lask是一個(gè)基于Python實(shí)現(xiàn)的Web開發(fā)的微框架，它旨在為開發(fā)者在開發(fā)過程當(dāng)中保持核心簡(jiǎn)單的部分而同時(shí)又易于開發(fā)者進(jìn)行更多的額外擴(kuò)展。

4 ?結(jié)論

本文提出一種根據(jù)青少年的書寫筆跡識(shí)別青少年情緒的方法，通過對(duì)書寫筆跡圖片的預(yù)處理與卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)用，識(shí)別青少年“平和”與“緊張”兩類情緒，準(zhǔn)確性超過90%。通過擴(kuò)大數(shù)據(jù)集，使得訓(xùn)練集中的兩類樣本分布更加均衡，識(shí)別準(zhǔn)確性與F1-Measure可以分別從92.00%、91.30%提高到95.50%、95.48%?；诖朔椒?，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)青少年心情檢測(cè)APP軟件。未來工作將考慮青少年用戶更多的情緒類別，如愉悅、憤怒、恐懼、悲傷等，拓展青少年情緒識(shí)別任務(wù)的研究范圍。

參考文獻(xiàn)

[1]?徐慶元. 筆跡與心跡——筆跡觸覺的個(gè)性心理[M]. 貴州省新聞出版局出版， 1999.

[2]?馬鵬程. 漢字筆跡心理學(xué)—筆跡心理分析技術(shù)與應(yīng)用[M]. 遼寧大學(xué)出版社， 2006.

[3]?黃翰琳. 字如其人：筆跡心靈解碼學(xué)[M]. 中國(guó)經(jīng)濟(jì)出版社， 2009.

[4]?張玉環(huán)， 錢江. 基于兩種?LSTM 結(jié)構(gòu)的文本情感分析[J]. 軟件， 2018， 39（1）： 116-120.

[5]?劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

[6]?百度百科. 卷積神經(jīng)網(wǎng)絡(luò)[OL]. 2018.

[7]?宋婷婷， 徐世許. 基于全采樣和?L1 范數(shù)降采樣的卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法[J]. 軟件， 2018， 39（2）： 75-80.

[8]?張曉明， 尹鴻峰. 基于卷積神經(jīng)網(wǎng)絡(luò)和語義信息的場(chǎng)景分類[J]. 軟件， 2018， 39（1）： 29-34.

[9]?吳亞熙， 岑峰. 基于卷積神經(jīng)網(wǎng)絡(luò)的多層級(jí)目標(biāo)檢測(cè)方法[J]. 軟件， 2018， 39（4）： 164-169.

[10]?司亞清， 劉蕾. 智能手機(jī)用戶體驗(yàn)的影響因素研究[J]. 軟件， 2015， 36（3）： 111-115.

（上接第100頁）