基于深度學(xué)習(xí)的黑眼圈檢測(cè)研究

張青青　施浩

關(guān)鍵詞：黑眼圈；識(shí)別；數(shù)據(jù)集；DETR

中圖法分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

1引言

黑眼圈是一個(gè)復(fù)雜的眼部美容問(wèn)題，用來(lái)描述眼睛的黑暗狀態(tài)，大多數(shù)人認(rèn)為睡眠不足為引起黑眼圈的主要原因，但睡眠質(zhì)量并不是引起黑眼圈的重要因素。我們看出一個(gè)人具有黑眼圈很簡(jiǎn)單，但若要知道屬于哪類(lèi)，人眼來(lái)看還是較為困難。此時(shí)，需要借助醫(yī)學(xué)上的專(zhuān)業(yè)儀器進(jìn)行黑眼圈種類(lèi)識(shí)別。在醫(yī)學(xué)界還沒(méi)有能夠精確識(shí)別黑眼圈種類(lèi)的靈敏機(jī)器，本文提出了一種基于深度學(xué)習(xí)的黑眼圈識(shí)別模型，能夠達(dá)到較好識(shí)別目標(biāo)的目的。

2黑眼圈的分類(lèi)

造成黑眼圈的原因有很多。根據(jù)其病因，可將黑眼圈類(lèi)型大致分為3種類(lèi)型，即色素型、血管型和結(jié)構(gòu)型。同時(shí)具備上述3種黑眼圈類(lèi)型的被稱(chēng)為混合型黑眼圈。

2.1色素型黑眼圈

這是黑眼圈中比較常見(jiàn)的一種類(lèi)型。在組織學(xué)上，引起這類(lèi)黑眼圈的原因是黑素細(xì)胞增多引起黑色素在真皮過(guò)多積壓，導(dǎo)致色素型黑眼圈。也可能是因?yàn)檫^(guò)敏性色素沉積引起的炎癥，導(dǎo)致皮膚炎或者水腫。很多環(huán)境因素也會(huì)導(dǎo)致色素型黑眼圈，其中包括日照、攝入藥物、懷孕、哺乳、眼科手術(shù)和創(chuàng)傷等。還有各種原因引起的水腫會(huì)增加皮膚層的厚度，從而增加色素的漫反射率，也將導(dǎo)致眼睛的下眼瞼顏色加深，形成我們不喜歡的黑眼圈。因?yàn)樗[程度的改變，導(dǎo)致眼下黑眼圈灰度的改變。

2.2血管型黑眼圈

這是受熬夜影響的一種類(lèi)型，這種血管型可以影響整個(gè)下眼瞼區(qū)域。它的特點(diǎn)是眼瞼處的皮膚薄而透明，皮下的脂肪很少甚至根本沒(méi)有，與黑眼圈有關(guān)的組織和血管透過(guò)下眼瞼的皮膚呈現(xiàn)出一種灰暗的外觀，在醫(yī)學(xué)上表現(xiàn)為青紫色，藍(lán)色血管明顯，尤其是下眼瞼內(nèi)側(cè)。對(duì)于女生來(lái)說(shuō)，在月經(jīng)期間這種顏色可能加重，使得黑眼圈表現(xiàn)明顯。

這類(lèi)黑眼圈的下眼瞼皮膚被人為拉伸時(shí)，隨之這片皮膚的區(qū)域也會(huì)被拉伸，通常我們會(huì)認(rèn)為皮膚拉伸之后皮膚顏色會(huì)變淺。但是，這種黑眼圈皮膚被拉伸之后，不僅皮膚顏色沒(méi)有變淺，而且會(huì)導(dǎo)致黑眼圈顏色加重。產(chǎn)生這種現(xiàn)象的最直接原因是下眼瞼皮膚在被拉伸之后，皮膚內(nèi)部的血管會(huì)顯現(xiàn)出來(lái)，使得我們看到的顏色會(huì)更深，這種方法可以用來(lái)診斷血管是否增多的癥狀。

2.3結(jié)構(gòu)型黑眼圈

結(jié)構(gòu)型也稱(chēng)陰影型黑眼圈，這種癥狀的黑眼圈可能是先天產(chǎn)生的，也可能是由于后天的種種原因形成的，兩者導(dǎo)致結(jié)構(gòu)型黑眼圈的原因有所不同。淚槽形成的陰影是屬于先天性的，后天性產(chǎn)生的原因一般是上下瞼肌肉的下垂、眼眶脂肪突出和水腫所產(chǎn)生的陰影。二者產(chǎn)生這種黑眼圈的機(jī)理雖然不同，但是造成的結(jié)果是一樣的。

3基于DETR模型的黑眼圈識(shí)別

DETR是FAIR提出的目標(biāo)檢測(cè)方法，沒(méi)有NMS后處理步驟，也沒(méi)有錨。2018年，Taehoon等[3]首次將Transformer應(yīng)用于圖像生成。2020年，Carion等將CNN與Transformer結(jié)合，提出了一個(gè)基于端到端的目標(biāo)檢測(cè)框架DETR.也是第一次將Transformer應(yīng)用到目標(biāo)檢測(cè)中。朱永寧等提出的基于Faster R-CNN的果實(shí)成熟識(shí)別技術(shù)，用于本次實(shí)驗(yàn)做對(duì)比，其效果與Faster RCNN在coco數(shù)據(jù)集上的效果相當(dāng)，并且DETR可以很容易地遷移其他任務(wù)，如全景分割。DETR的基本思想是將檢測(cè)作為一個(gè)集合預(yù)測(cè)問(wèn)題來(lái)處理，并使用Transformer來(lái)預(yù)測(cè)集合，DETR過(guò)程大大簡(jiǎn)化，可歸納為：“Backbone→Transformer→detect header”。

在現(xiàn)在生活中會(huì)發(fā)現(xiàn)越來(lái)越多的人關(guān)注自己的黑眼圈，很多人會(huì)買(mǎi)各種護(hù)膚品和化妝品試圖消除或者遮蓋自己的黑眼圈，以達(dá)到被人看不出的效果，但這些辦法都不能讓黑眼圈消失。若要讓它徹底消失，則最好選擇去醫(yī)院進(jìn)行醫(yī)學(xué)治療，不同的類(lèi)型有不同的治療方法，因?yàn)殡y以判斷其類(lèi)型導(dǎo)致很多人不知道如何治療。深度學(xué)習(xí)領(lǐng)域也沒(méi)有關(guān)于黑眼圈識(shí)別的研究，這無(wú)疑對(duì)本文的研究非常不利。由于缺乏足夠的黑眼圈數(shù)據(jù)集，只能自行收集一些零散的黑眼圈圖片，用黑眼圈的范圍來(lái)標(biāo)記這些圖片，然后生成相應(yīng)的文件，再用代碼將上述文件轉(zhuǎn)換成可以被DETR模型識(shí)別的文件。前期的準(zhǔn)備工作已經(jīng)完成。數(shù)據(jù)增強(qiáng)的具體步驟如下。

通過(guò)網(wǎng)絡(luò)收集當(dāng)今的原始數(shù)據(jù)集，由于用作訓(xùn)練的數(shù)據(jù)集必須有一個(gè)明確的分類(lèi)，因此有必要尋找已經(jīng)分類(lèi)的圖片。但這類(lèi)數(shù)據(jù)集非常有限，為了得到更好的訓(xùn)練效果，選擇通過(guò)數(shù)據(jù)增強(qiáng)對(duì)現(xiàn)有數(shù)據(jù)集進(jìn)行擴(kuò)展，主要包括圖像水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、圖像壓縮和圖像加噪。然后，用labelme給訓(xùn)練集添加標(biāo)簽，用矩形標(biāo)簽標(biāo)注檢測(cè)區(qū)域和類(lèi)型。最后，它被轉(zhuǎn)換成一個(gè)json文件，并輸入到模型中進(jìn)行訓(xùn)練。圖1、圖2分別為原始圖像和增強(qiáng)數(shù)據(jù)集后的效果圖。

在訓(xùn)練的過(guò)程中，模型通過(guò)推斷得出固定大小的Ⅳ個(gè)預(yù)測(cè)集，其中Ⅳ被定義為較大于圖像中的物體典型數(shù)量。在訓(xùn)練的過(guò)程中會(huì)遇到一些問(wèn)題，需要根據(jù)已有的真值（grounp-truth）來(lái)預(yù)測(cè)目標(biāo)對(duì)象的類(lèi)別，以及它的位置和大小，通過(guò)真值（grounp-truth）進(jìn)行評(píng)分，這是模型訓(xùn)練過(guò)程中遇到的最大的難題。在預(yù)測(cè)目標(biāo)和ground-truth之間產(chǎn)生最佳的二分匹配，然后優(yōu)化特定于物體（bounding box）的損失。

3.1 DETR架構(gòu)

整個(gè)DETR架構(gòu)如圖3所示。它包含以下3個(gè)主要組件：提取緊湊特征表示的CNN主干（CNNbackbone）、編碼器（encorder）-解碼器（decoder）和進(jìn)行最終檢測(cè)預(yù)測(cè)的前饋網(wǎng)絡(luò)（FFN）。

3.2 Backbone

3.3 Transformer

編碼器和解碼器都遵循Transformer的標(biāo)準(zhǔn)架構(gòu)，其中的解碼器是使用一個(gè)自身的注意力機(jī)制將Ⅳ個(gè)嵌入轉(zhuǎn)換成大小為d，同時(shí)使用了編碼器（encorder）-解碼器（decoder）注意機(jī)制，二者協(xié)作進(jìn)行嵌入轉(zhuǎn)換。因?yàn)榻獯a器（decoder）的特殊性質(zhì)，我們又需要輸出不同的結(jié)果，嵌入的N個(gè)輸入要求也不能一樣，才能得到最終的實(shí)驗(yàn)結(jié)果。如果N個(gè)輸入相同，根據(jù)解碼器的特點(diǎn)，可能會(huì)得到N個(gè)相同的結(jié)果。N個(gè)輸入會(huì)被添加到每個(gè)注意層，作為注意層的輸入，經(jīng)過(guò)一系列流程將轉(zhuǎn)變?yōu)檩敵?，在這個(gè)轉(zhuǎn)換過(guò)程中是由解碼器（decoder）進(jìn)行處理的，將這些輸入轉(zhuǎn)換成嵌入。接著便是前饋網(wǎng)絡(luò)FFN（在3.4節(jié)中進(jìn)行描述）將它們分別解碼成包含類(lèi)標(biāo)簽和框坐標(biāo)，得到最后的目標(biāo)結(jié)果。

3.4 FFN

FFN預(yù)測(cè)出的目標(biāo)結(jié)果，在預(yù)測(cè)過(guò)程中，它是用一個(gè)三層感知器算出來(lái)的，在這個(gè)感知器中，它包含ReLU激活函數(shù)、看不到的維度和線(xiàn)性投影層。

4實(shí)驗(yàn)結(jié)果

為了獲得最佳的識(shí)別效果，我們分別使用了Faster R-CNN和DETR模型來(lái)訓(xùn)練黑眼圈數(shù)據(jù)集，在語(yǔ)義特征提取、任務(wù)綜合特征提取和計(jì)算能力以及運(yùn)行效率等方面，DETR模型相較于Faster R-CNN都表現(xiàn)出較好的識(shí)別效果。

經(jīng)過(guò)比較發(fā)現(xiàn)，在目標(biāo)檢測(cè)數(shù)據(jù)集上對(duì)比DETR和Faster R-CNN基線(xiàn)方法，發(fā)現(xiàn)DETR在大目標(biāo)上比Faster R-CNN有更好的檢測(cè)性能，對(duì)于小目標(biāo)檢測(cè)效果不佳的問(wèn)題，DETR使用了多尺度可變形注意力機(jī)制，從而提高了小目標(biāo)檢測(cè)效果。另外，F(xiàn)aster R-CNN無(wú)法準(zhǔn)確定位圖片中黑眼圈的位置，從而無(wú)法準(zhǔn)確獲取黑眼圈的特征進(jìn)行訓(xùn)練，使得識(shí)別率極低。DETR完美地克服了這個(gè)缺點(diǎn)，DETR對(duì)黑眼圈類(lèi)型的識(shí)別效果會(huì)更好，檢測(cè)效果圖如圖4所示。

5結(jié)束語(yǔ)

使用DETR來(lái)檢測(cè)黑眼圈類(lèi)型，最終得到實(shí)驗(yàn)?zāi)繕?biāo)結(jié)果，但由于數(shù)據(jù)集不充分，加上各類(lèi)黑眼圈區(qū)分不明顯，甚至用人的眼睛都無(wú)法區(qū)分屬于哪一類(lèi)型，因此會(huì)存在精度不夠的問(wèn)題，在之后的工作中會(huì)收集更多的數(shù)據(jù)，以提高黑眼圈類(lèi)型的識(shí)別速度和判斷精度，從而在為解決這一難題做出貢獻(xiàn)。