深度學習技術在皮膚影像自動分類中的應用

高西

摘 要：以“胎兒超聲圖像”為例，將深度學習技術與皮膚影像自動分類進行充分結合。針對皮膚影像自動分類原理，從CNN原理介紹、網(wǎng)絡模型設計、數(shù)據(jù)預處理及增強、遷移學習策略、模型訓練與分類等方面入手，探討了皮膚影像自動分類方法框架。從數(shù)據(jù)集及評價方法、模型定量化評價、模型可視化分析、與傳統(tǒng)特征分類器對比試驗等方面入手，探討實驗設置與結果。結果表明：深度學習技術具有非常高的應用價值和應用前景，不僅可以降低圖像復雜預處理流程，還能避免對專業(yè)特征工程的過渡依賴，保證了皮膚影像視覺上的出色性能，為進一步提高皮膚疾病醫(yī)療診斷水平提供平臺支持。

關鍵詞：深度學習;皮膚鏡圖像;圖像識別;卷積神經(jīng)網(wǎng)絡;特征編碼

中圖分類號：TP18 文獻標識碼：A ? ? 文章編號：1001-5922（2021）11-0098-04

Application of Deep Learning Technology in Automatic Classification of Skin Images

Gao Xi1，2

（ 1.Department of Dermatology， University-Town Hospital of Chongqing Medical University， Chongqing 401331， China; 2.Medical Data Science Academy of Chongqing Medical University， Chongqing 401331， China）

Abstract：Taking the “fetal ultrasound image” as an example， the deep learning technology is fully combined with the automatic classification of skin images. Aiming to the principle of automatic classification of skin images， the framework of automatic classification of skin images is discussed， starting from the introduction of CNN principle， network model design， data pre-processing and enhancement， migration learning strategy， model training and classification. According to the principle of automatic classification of skin images， the framework of automatic classification of skin images is discussed， starting from the introduction of CNN principle， network model design， data pre-processing and enhancement， migration learning strategy， model training and classification. From the data set and evaluation method， model set quantitative evaluation， model visual analysis， and the traditional feature classifier comparison test and other aspects to explore the experimental setting and the results. The results show that deep learning technology has very high application value and application prospects， which can not only reduce the image complex preprocessing process， but also avoid the transition dependence on professional feature engineering， ensure the excellent visual performance of skin image， and provide platform support for further improve the medical diagnosis level of skin diseases.

Key words：deep learning; dermatological image; image recognition; convolutional neural network; feature coding

深度學習技術作為一種常用的數(shù)據(jù)驅(qū)動手段，可以根據(jù)網(wǎng)絡的不同類型，提供相應的訓練樣本，確保不同分類任務有效開展。通過將該技術應用于皮膚影像自動分類中，不僅可以保證醫(yī)學皮膚圖像的成像質(zhì)量，還能提高皮膚影像診斷水平，從根本上解決皮膚圖像成像效率低下、成像質(zhì)量差等問題，為實現(xiàn)對皮膚影像的科學化、規(guī)范化和標準化分類打下堅實的基礎。為了最大限度地提高醫(yī)學圖像自動分類操作水平，如何將深度學習技術科學，應用于皮膚影像自動分類中是技術人員必須思考和解決的問題。現(xiàn)就這一問題，通過此次試驗研究，為相關從業(yè)人員提供有效的借鑒和參考。

1 皮膚影像自動分類原理

皮膚影像自動分類主要運用了卷積神經(jīng)網(wǎng)絡（CNN）模型。CNN模型作為目前自動分類性能較佳的模型，主要是由成千上萬張圖像數(shù)據(jù)集經(jīng)過一系列的嚴格訓練后所形成的，因此，該模型具有較高的數(shù)據(jù)抽象處理能力、圖像自動分類能力和圖像數(shù)據(jù)挖掘能力。而深度學習技術在具體的運用中，主要利用了所訓練好的網(wǎng)絡參數(shù)[1]，通過遷移利用所學到的知識，完成新應用場景所對應的學習任務。在對皮膚影像進行自動分類時，需要將根據(jù)數(shù)據(jù)集所劃分的類型，完成對最終分類結果的驗證和分析，以保證最終分類結果的精確性和真實性[2]。此外，技術人員還要將2 350種皮膚病按照如圖1所示的皮膚疾病分類樹形結構示意圖，將其劃分為782種訓練類;同時，每個訓練類所包含的數(shù)據(jù)量必須低于999幅，在確保皮膚影像自動分類操作的規(guī)范性和合理性的基礎上，確保訓練數(shù)據(jù)的充足性和完整性。然后，將單個輸入圖像添加到指定的圖集訓練器中[3]，從而獲得最終的自動分類結果，由此可見，這種處理方式具有非常高的可行性和有效性。

2 深度學習技術在皮膚影像自動分類中的應用案例

2.1 方法框架

為了從根本上解決數(shù)據(jù)缺失，深度模型難以收斂問題，現(xiàn)從模型結構設計、海量數(shù)據(jù)處理、訓練模式選用等方面入手，開展相關研究工作，以實現(xiàn)對19層卷積網(wǎng)絡（CNN-19-GAP）的改進和完善，確保深度學習技術與皮膚影像自動分類能夠充分結合。

2.1.1 CNN原理介紹

與傳統(tǒng)神經(jīng)網(wǎng)絡相比，卷積神經(jīng)網(wǎng)絡CNN離不開對卷積層的應用，而一定數(shù)量的神經(jīng)元經(jīng)過組合可以形成單個卷積層，單個神經(jīng)元均攜帶相應的學習權重參數(shù)，通過實時更新和調(diào)整這些權重參數(shù)，可以保證模型最終優(yōu)化效果[4]。另外，單個神經(jīng)元在具體的運用中，可以對學習層所對應的重點區(qū)域進行感知處理，從而獲得良好的預測結果。

2.1.2 網(wǎng)絡模型設計

網(wǎng)絡模型設計在保證最終自動分類結果的精確性和真實性方面具有重要作用，本文所構建的網(wǎng)絡模型主要是由以下兩個部分組成，一個是Conv層，另一個是FC層，同時，要將所有的Conv層內(nèi)部的卷積核設置為邊長為3 cm的矩形[5]，并將步長設置為1 cm。此外，還要充分利用小尺寸卷積核，不僅縮小模型的參數(shù)量，使得模型層數(shù)的內(nèi)存消耗量降到最低。另外，還要根據(jù)Conv層所對應的通道數(shù)量，盡可能提高網(wǎng)絡模型的信息提取能力和表示能力。在此基礎上，還要將FC層的通道數(shù)設置為1 024，并將相關圖像劃分為4類切面，使得FC層內(nèi)部卷積核數(shù)量不斷下降，從而縮短網(wǎng)絡模型的訓練時間。

2.1.3 數(shù)據(jù)預處理及增強

對于CNN模型而言，由于其內(nèi)部含有大量的參數(shù)，因此，在優(yōu)化訓練海量訓練樣本數(shù)據(jù)時，技術人員要根據(jù)醫(yī)學圖像的處理需求，對不同類型的自然圖像進行了數(shù)據(jù)預處理及增強。在這一過程中，技術人員先要將所有US圖像上的非數(shù)據(jù)局域進行裁剪，并對新的圖像數(shù)據(jù)區(qū)域進行采樣和提取。此外，為了避免數(shù)據(jù)集出現(xiàn)數(shù)量類別交叉問題，還要根據(jù)網(wǎng)絡模型學習處理流程，盡可能提高自動分類性能。其次，還要根據(jù)不同類型子圖像的提取需求，在保證類別數(shù)量合理性的基礎上，對單張初始圖像進行數(shù)據(jù)增加處理，形成19張以上的子圖像，并根據(jù)原始圖像的自動分類結果，對圖像類別數(shù)量進行科學調(diào)節(jié)和控制。

2.1.4 遷移學習策略

盡管CNN模型具有較高的特征學習能力，可以實現(xiàn)對多種醫(yī)學類圖像的精確化分析，但是，由于醫(yī)學數(shù)據(jù)量存在嚴重不足現(xiàn)象，導致圖像優(yōu)化訓練難度不斷加大。為了從根本上解決以上問題，技術人員要加大對預訓練CNN模型的應用力度，采用參數(shù)遷移處理的方式，將遷移學習任務落實到位。這樣一來，不僅可以避免因訓練數(shù)據(jù)量不足而導致圖像優(yōu)化訓練難度大問題，還能最大限度地提高網(wǎng)絡優(yōu)化收斂效率和效果。這種方法在具體的運用中，表現(xiàn)出較高的可靠性和有效性，這是由于該方法重點運用了CNN模型層級結構，該結構內(nèi)部集合了多種學習層，有效地降低兩神經(jīng)元的受域范圍。數(shù)據(jù)集類型不同，所對應的網(wǎng)絡優(yōu)化情況也存在一定的差異，為了從根本上解決網(wǎng)絡優(yōu)化問題，技術人員要在科學調(diào)節(jié)和控制網(wǎng)絡學習層參數(shù)的基礎上，對網(wǎng)絡進行規(guī)范化和標準化優(yōu)化。

2.1.5 模型訓練與分類

為了降低網(wǎng)絡模型訓練難度，技術人員要根據(jù)網(wǎng)絡模型的加深變化規(guī)律，對網(wǎng)絡模型的收斂過程進行優(yōu)化和完善。為了實現(xiàn)這一目標，技術人員要采用批歸一化算法，從根本上解決該模型的收斂難問題，同時，還能實現(xiàn)模型收斂效率的全面提升。另外，還要借助BN（Batch Normalization）算法，對網(wǎng)絡模型內(nèi)部的學習層進行規(guī)范化和標準化處理。在此基礎上，還要將Conv層和FC層所對應的學習率分別設置為0.01和0.001，當訓練過程呈現(xiàn)出不斷衰減趨勢時，其學習率呈現(xiàn)出不斷下降的趨勢。最后，在對網(wǎng)絡模型進行自動分類時，要根據(jù)測試集圖像收集情況，采用訓練樣本預處理方式，將所有子圖像輸入到指定的網(wǎng)絡模型中，然后，對根據(jù)網(wǎng)絡模型的綜合類別，實現(xiàn)對最終自動分類結果的精確計算和統(tǒng)計。

2.2 實驗設置與結果

2.2.1 數(shù)據(jù)集及評價方法

本次實驗中，主要涉及到了以下兩種數(shù)據(jù)集：（1）訓練集。通過采集和整理胎兒面部超聲波圖像相關數(shù)據(jù)，這些數(shù)據(jù)主要包含380張水平切面圖像、410張矢狀切面圖像以及4 012張非標準切面圖像，從而形成訓練集[6]。在此基礎上，對整理好的訓練集進行平均值處理，然后，將其中五分之四的訓練集用于訓練實驗，將五分之一的訓練集用于驗證實驗。（2）測試集。測試集主要是由501張的軸狀切面圖像、180張矢狀切面圖像以及1 703張非標準切面圖像組成。在進行測試期間，需要針對圖像預測處理實際需求，對最終的圖像預測結果進行匯總和整理。此外，還要嚴格按照數(shù)據(jù)集訓練、數(shù)據(jù)集驗證、數(shù)據(jù)集測試等順序，將模型評價工作落實到位，其中，數(shù)據(jù)集驗證主要用于對模型調(diào)試參數(shù)設置情況的驗證;數(shù)據(jù)集測試主要用于對最終模型性能的科學評價。為了保證最終評價結果的精確性和真實性，技術人員要采用定性評價與定量評價相結合的方式[7]。開展評價工作。在定性評價環(huán)節(jié)中，需要根據(jù)深度網(wǎng)絡數(shù)據(jù)輸出特點，詳細闡述網(wǎng)絡所學特征;在定量評價環(huán)節(jié)中，需要借助計算模型，對準確率、精確率以及召回率等各項指標參數(shù)進行測試。

2.2.2? ? 模型定量化評價

為了有效地驗證深度網(wǎng)絡的應用效果，先從以下2個方面入手，探討模型深度影響程度。（1）訓練所有深度模型結構。在這一環(huán)節(jié)中，需要對同一類型的數(shù)據(jù)集的性能進行對比。（2）對比測試數(shù)據(jù)自動分類結果。在提取和整理網(wǎng)絡FC層網(wǎng)絡特征的基礎上，利用支持向量機（SVM）分類器，采用SVM訓練法，對測試數(shù)據(jù)最終分類結果進行全面分析和對比。當模型深度不斷增加，并且訓練條件置于隨機初始化狀態(tài)時，正確率、精確率、召回率參數(shù)均呈現(xiàn)出不斷增加的趨勢，但是，與CNN-16-R1性能相比，CNN-19-R1性能下降幅度比較明顯。由此可見，當訓練條件置于隨機初始化狀態(tài)時會增加深度網(wǎng)絡的訓練難度[8]。不同模型條件下頻域分段并行（FFSP）識別性能對比如表1所示。

從表1中可以看出，當GAP層加入到深度模型時，自動分類結果所對應的各項評價參數(shù)均呈現(xiàn)出不斷上升的趨勢。與此同時，通過利用SVM分類器對模型深度特征進行訓練，同樣可以提高最終對比結果的有效性和精確性。但是，當深度網(wǎng)絡模型內(nèi)添加GAP層時，最終結果的增加幅度明顯，這說明在隨機初始化條件下，無法實現(xiàn)對深度網(wǎng)絡模型的科學化、合理化、充分化訓練。加入GAP層前后模型參數(shù)占用情況如表2所示。從表2中可以看出，當向深度網(wǎng)絡模型中加入GAP層后，模型參數(shù)降低幾乎達到了50%。由此可見，通過加入相應的GAP層，不僅可以最大限度地降低深度網(wǎng)絡模型參數(shù)量，還能縮小數(shù)據(jù)占用內(nèi)存，為進一步提高皮膚影像自動分類性能創(chuàng)造良好的條件。

模型FC層通道數(shù)對分類結果影響如表3所示。從表3中可以看出，當模型FC層參數(shù)從原來的1 024降低至現(xiàn)在的512時，最終分類結果的正確率僅僅下降了2%，而其他評價指標性能僅僅下降了1%。

2.2.3? ? 模型可視化分析

模型可視化分析可以真實、直觀地反映出當前模型內(nèi)部實際學習狀態(tài)，因此，技術人員要從以下幾個方面入手，開展模型可視化分析工作。（1）Conv層特征圖可視化。通過對卷積層的輸出特征進行提出處理，然后，采用可視化顯示的方式，將最終的提取結果形象、直觀地呈現(xiàn)在用戶面前。由于所有卷積層均含有相應的通道，因此，為了確保最終展示結果的有效性和針對性，技術人員要從大量通道特征圖中提取具有代表性的特征圖，然后，根據(jù)FFSP圖像所對應的空間信息，不僅靠近深層，此時，發(fā)現(xiàn)特征圖的尺寸呈現(xiàn)出不斷下降的趨勢;同時，特征圖變得越來越模糊化。在此基礎上，通過將相關信息數(shù)據(jù)進行全面采集和整理，采用觸發(fā)模型的方式，對最終預測結果進行自動分類。（2）FC層特征可視化。在這一環(huán)節(jié)中，技術人員需要采用T-SNE的方式，對模型FC層特征向量進行收集和整理，并對最終的整理結果進行可視化分析和對比，以實現(xiàn)對模型學習特征性能的有效驗證。同時，在收集初始化圖像數(shù)據(jù)期間，技術人員先要將這些數(shù)據(jù)轉(zhuǎn)換為二維向量，然后，將這些二維向量組合成三維矩陣，最后，借助SNE函數(shù)，對FC層特征向量進行可視化處理。

2.2.4? ? 與傳統(tǒng)特征分類器對比試驗

為了更好地驗證SVM分類器的有效性和可靠性，技術人員要采用對比實驗的方式，將本文所提出的SVM分類器與傳統(tǒng)特征分類器進行有效地對比，經(jīng)過對比發(fā)現(xiàn)，SVM分類器在提高深度網(wǎng)絡模型性能以及保證最終測試結果的精確性方面發(fā)揮出重要作用。MFV模型以及CNN模型測試數(shù)據(jù)內(nèi)存以及計算時間對比如表4所示。從表4中可以看出，在硬件設備的影響下，通過利用CPU可以對8層網(wǎng)絡訓練流程進行加速處理，發(fā)現(xiàn)16層網(wǎng)格和19網(wǎng)絡所對應的存儲量遠遠高于CPIU內(nèi)存量，但是，在運用傳統(tǒng)特征分類器時，會增加視覺表達以及相關特征新編碼的時間成本，難以取得良好的社會效益和經(jīng)濟效益。

3 結語

綜上所述，在深度學習技術的應用背景下，為了實現(xiàn)對皮膚影像的自動化、高效化分類，技術人員要充分利用本文所提出的分類框架，避免醫(yī)學圖像因缺乏相應的模型而導致出現(xiàn)擬合問題，只有這樣，才能借助深度學習方法，實現(xiàn)對多維度數(shù)據(jù)的深入分析和融合，以保證皮膚影像自動分類結果的精確性和真實性，從而為輔助醫(yī)生精確診斷提供重要的依據(jù)和參考。由此可見，PVDF具有安全可靠、實用性強等特點，值得被進一步推廣和應用。

參考文獻

[1]王詩琪，劉 潔. 深度學習輔助皮膚影像自動分類的研究進展[J]. 中華皮膚科雜志，2020，53（12）：1 037-1 040.

[2]周航寧，謝鳳英，姜志國，等. 基于深度學習的皮膚影像分類[J]. 協(xié)和醫(yī)學雜志，2018，9（1）：15-18.

[3]張榮梅，張 琦，劉院英. 基于Inception深度殘差網(wǎng)絡的皮膚黑色素癌圖像分類算法[J]. 計算機系統(tǒng)應用，2021，30（7）：142-149.

[4]景海婷，張 秦，陳 曼，等. 小樣本域自適應的皮膚病臨床影像識別方法[J]. 西安交通大學學報，2020，54（9）：142-148+156.

[5]王 瑩，廉 佳，陳立新，等. 皮膚影像檢查輔助診斷兒童線狀色素性扁平苔蘚[J]. 臨床皮膚科雜志，2021，50（4）：223-226.

[6]孫祺琳，劉 洋，陳 駿，等. 皮膚鏡影像結合特征分析算法權衡縱行黑甲活檢必要性的臨床研究[J]. 組織工程與重建外科雜志，2021，17（3）：235-238+246.

[7]林鳴琴，莊淑蓮，楊 爽，等. 乳腺影像學報告及數(shù)據(jù)系統(tǒng)分類對肉芽腫性乳腺炎與乳腺癌鑒別診斷的價值[J]. 中國醫(yī)學裝備，2020，17（3）：75-79.

[8]鄒先彪. 皮膚影像學與人工智能[J].中國醫(yī)學前沿雜志（電子版），2019，11（8）：1-4.