基于深度學(xué)習(xí)的黑眼圈檢測研究

張青青　施浩

關(guān)鍵詞：黑眼圈；識別；數(shù)據(jù)集；DETR

中圖法分類號：TP391 文獻(xiàn)標(biāo)識碼：A

1引言

黑眼圈是一個(gè)復(fù)雜的眼部美容問題，用來描述眼睛的黑暗狀態(tài)，大多數(shù)人認(rèn)為睡眠不足為引起黑眼圈的主要原因，但睡眠質(zhì)量并不是引起黑眼圈的重要因素。我們看出一個(gè)人具有黑眼圈很簡單，但若要知道屬于哪類，人眼來看還是較為困難。此時(shí)，需要借助醫(yī)學(xué)上的專業(yè)儀器進(jìn)行黑眼圈種類識別。在醫(yī)學(xué)界還沒有能夠精確識別黑眼圈種類的靈敏機(jī)器，本文提出了一種基于深度學(xué)習(xí)的黑眼圈識別模型，能夠達(dá)到較好識別目標(biāo)的目的。

2黑眼圈的分類

造成黑眼圈的原因有很多。根據(jù)其病因，可將黑眼圈類型大致分為3種類型，即色素型、血管型和結(jié)構(gòu)型。同時(shí)具備上述3種黑眼圈類型的被稱為混合型黑眼圈。

2.1色素型黑眼圈

這是黑眼圈中比較常見的一種類型。在組織學(xué)上，引起這類黑眼圈的原因是黑素細(xì)胞增多引起黑色素在真皮過多積壓，導(dǎo)致色素型黑眼圈。也可能是因?yàn)檫^敏性色素沉積引起的炎癥，導(dǎo)致皮膚炎或者水腫。很多環(huán)境因素也會導(dǎo)致色素型黑眼圈，其中包括日照、攝入藥物、懷孕、哺乳、眼科手術(shù)和創(chuàng)傷等。還有各種原因引起的水腫會增加皮膚層的厚度，從而增加色素的漫反射率，也將導(dǎo)致眼睛的下眼瞼顏色加深，形成我們不喜歡的黑眼圈。因?yàn)樗[程度的改變，導(dǎo)致眼下黑眼圈灰度的改變。

2.2血管型黑眼圈

這是受熬夜影響的一種類型，這種血管型可以影響整個(gè)下眼瞼區(qū)域。它的特點(diǎn)是眼瞼處的皮膚薄而透明，皮下的脂肪很少甚至根本沒有，與黑眼圈有關(guān)的組織和血管透過下眼瞼的皮膚呈現(xiàn)出一種灰暗的外觀，在醫(yī)學(xué)上表現(xiàn)為青紫色，藍(lán)色血管明顯，尤其是下眼瞼內(nèi)側(cè)。對于女生來說，在月經(jīng)期間這種顏色可能加重，使得黑眼圈表現(xiàn)明顯。

這類黑眼圈的下眼瞼皮膚被人為拉伸時(shí)，隨之這片皮膚的區(qū)域也會被拉伸，通常我們會認(rèn)為皮膚拉伸之后皮膚顏色會變淺。但是，這種黑眼圈皮膚被拉伸之后，不僅皮膚顏色沒有變淺，而且會導(dǎo)致黑眼圈顏色加重。產(chǎn)生這種現(xiàn)象的最直接原因是下眼瞼皮膚在被拉伸之后，皮膚內(nèi)部的血管會顯現(xiàn)出來，使得我們看到的顏色會更深，這種方法可以用來診斷血管是否增多的癥狀。

2.3結(jié)構(gòu)型黑眼圈

結(jié)構(gòu)型也稱陰影型黑眼圈，這種癥狀的黑眼圈可能是先天產(chǎn)生的，也可能是由于后天的種種原因形成的，兩者導(dǎo)致結(jié)構(gòu)型黑眼圈的原因有所不同。淚槽形成的陰影是屬于先天性的，后天性產(chǎn)生的原因一般是上下瞼肌肉的下垂、眼眶脂肪突出和水腫所產(chǎn)生的陰影。二者產(chǎn)生這種黑眼圈的機(jī)理雖然不同，但是造成的結(jié)果是一樣的。

3基于DETR模型的黑眼圈識別

DETR是FAIR提出的目標(biāo)檢測方法，沒有NMS后處理步驟，也沒有錨。2018年，Taehoon等[3]首次將Transformer應(yīng)用于圖像生成。2020年，Carion等將CNN與Transformer結(jié)合，提出了一個(gè)基于端到端的目標(biāo)檢測框架DETR.也是第一次將Transformer應(yīng)用到目標(biāo)檢測中。朱永寧等提出的基于Faster R-CNN的果實(shí)成熟識別技術(shù)，用于本次實(shí)驗(yàn)做對比，其效果與Faster RCNN在coco數(shù)據(jù)集上的效果相當(dāng)，并且DETR可以很容易地遷移其他任務(wù)，如全景分割。DETR的基本思想是將檢測作為一個(gè)集合預(yù)測問題來處理，并使用Transformer來預(yù)測集合，DETR過程大大簡化，可歸納為：“Backbone→Transformer→detect header”。

在現(xiàn)在生活中會發(fā)現(xiàn)越來越多的人關(guān)注自己的黑眼圈，很多人會買各種護(hù)膚品和化妝品試圖消除或者遮蓋自己的黑眼圈，以達(dá)到被人看不出的效果，但這些辦法都不能讓黑眼圈消失。若要讓它徹底消失，則最好選擇去醫(yī)院進(jìn)行醫(yī)學(xué)治療，不同的類型有不同的治療方法，因?yàn)殡y以判斷其類型導(dǎo)致很多人不知道如何治療。深度學(xué)習(xí)領(lǐng)域也沒有關(guān)于黑眼圈識別的研究，這無疑對本文的研究非常不利。由于缺乏足夠的黑眼圈數(shù)據(jù)集，只能自行收集一些零散的黑眼圈圖片，用黑眼圈的范圍來標(biāo)記這些圖片，然后生成相應(yīng)的文件，再用代碼將上述文件轉(zhuǎn)換成可以被DETR模型識別的文件。前期的準(zhǔn)備工作已經(jīng)完成。數(shù)據(jù)增強(qiáng)的具體步驟如下。

通過網(wǎng)絡(luò)收集當(dāng)今的原始數(shù)據(jù)集，由于用作訓(xùn)練的數(shù)據(jù)集必須有一個(gè)明確的分類，因此有必要尋找已經(jīng)分類的圖片。但這類數(shù)據(jù)集非常有限，為了得到更好的訓(xùn)練效果，選擇通過數(shù)據(jù)增強(qiáng)對現(xiàn)有數(shù)據(jù)集進(jìn)行擴(kuò)展，主要包括圖像水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、圖像壓縮和圖像加噪。然后，用labelme給訓(xùn)練集添加標(biāo)簽，用矩形標(biāo)簽標(biāo)注檢測區(qū)域和類型。最后，它被轉(zhuǎn)換成一個(gè)json文件，并輸入到模型中進(jìn)行訓(xùn)練。圖1、圖2分別為原始圖像和增強(qiáng)數(shù)據(jù)集后的效果圖。

在訓(xùn)練的過程中，模型通過推斷得出固定大小的Ⅳ個(gè)預(yù)測集，其中Ⅳ被定義為較大于圖像中的物體典型數(shù)量。在訓(xùn)練的過程中會遇到一些問題，需要根據(jù)已有的真值（grounp-truth）來預(yù)測目標(biāo)對象的類別，以及它的位置和大小，通過真值（grounp-truth）進(jìn)行評分，這是模型訓(xùn)練過程中遇到的最大的難題。在預(yù)測目標(biāo)和ground-truth之間產(chǎn)生最佳的二分匹配，然后優(yōu)化特定于物體（bounding box）的損失。

3.1 DETR架構(gòu)

整個(gè)DETR架構(gòu)如圖3所示。它包含以下3個(gè)主要組件：提取緊湊特征表示的CNN主干（CNNbackbone）、編碼器（encorder）-解碼器（decoder）和進(jìn)行最終檢測預(yù)測的前饋網(wǎng)絡(luò)（FFN）。

3.2 Backbone

3.3 Transformer

編碼器和解碼器都遵循Transformer的標(biāo)準(zhǔn)架構(gòu)，其中的解碼器是使用一個(gè)自身的注意力機(jī)制將Ⅳ個(gè)嵌入轉(zhuǎn)換成大小為d，同時(shí)使用了編碼器（encorder）-解碼器（decoder）注意機(jī)制，二者協(xié)作進(jìn)行嵌入轉(zhuǎn)換。因?yàn)榻獯a器（decoder）的特殊性質(zhì)，我們又需要輸出不同的結(jié)果，嵌入的N個(gè)輸入要求也不能一樣，才能得到最終的實(shí)驗(yàn)結(jié)果。如果N個(gè)輸入相同，根據(jù)解碼器的特點(diǎn)，可能會得到N個(gè)相同的結(jié)果。N個(gè)輸入會被添加到每個(gè)注意層，作為注意層的輸入，經(jīng)過一系列流程將轉(zhuǎn)變?yōu)檩敵?，在這個(gè)轉(zhuǎn)換過程中是由解碼器（decoder）進(jìn)行處理的，將這些輸入轉(zhuǎn)換成嵌入。接著便是前饋網(wǎng)絡(luò)FFN（在3.4節(jié)中進(jìn)行描述）將它們分別解碼成包含類標(biāo)簽和框坐標(biāo)，得到最后的目標(biāo)結(jié)果。

3.4 FFN

FFN預(yù)測出的目標(biāo)結(jié)果，在預(yù)測過程中，它是用一個(gè)三層感知器算出來的，在這個(gè)感知器中，它包含ReLU激活函數(shù)、看不到的維度和線性投影層。

4實(shí)驗(yàn)結(jié)果

為了獲得最佳的識別效果，我們分別使用了Faster R-CNN和DETR模型來訓(xùn)練黑眼圈數(shù)據(jù)集，在語義特征提取、任務(wù)綜合特征提取和計(jì)算能力以及運(yùn)行效率等方面，DETR模型相較于Faster R-CNN都表現(xiàn)出較好的識別效果。

經(jīng)過比較發(fā)現(xiàn)，在目標(biāo)檢測數(shù)據(jù)集上對比DETR和Faster R-CNN基線方法，發(fā)現(xiàn)DETR在大目標(biāo)上比Faster R-CNN有更好的檢測性能，對于小目標(biāo)檢測效果不佳的問題，DETR使用了多尺度可變形注意力機(jī)制，從而提高了小目標(biāo)檢測效果。另外，F(xiàn)aster R-CNN無法準(zhǔn)確定位圖片中黑眼圈的位置，從而無法準(zhǔn)確獲取黑眼圈的特征進(jìn)行訓(xùn)練，使得識別率極低。DETR完美地克服了這個(gè)缺點(diǎn)，DETR對黑眼圈類型的識別效果會更好，檢測效果圖如圖4所示。

5結(jié)束語

使用DETR來檢測黑眼圈類型，最終得到實(shí)驗(yàn)?zāi)繕?biāo)結(jié)果，但由于數(shù)據(jù)集不充分，加上各類黑眼圈區(qū)分不明顯，甚至用人的眼睛都無法區(qū)分屬于哪一類型，因此會存在精度不夠的問題，在之后的工作中會收集更多的數(shù)據(jù)，以提高黑眼圈類型的識別速度和判斷精度，從而在為解決這一難題做出貢獻(xiàn)。