視盤與黃斑同時定位檢測的FPGA方法研究

張 衛(wèi)，周 驊，劉宇紅，張榮芬

貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025

糖尿病視網(wǎng)膜病變（diabetic retinopathy，DR）也稱糖網(wǎng)病，是糖尿病的一種眼部表現(xiàn)，也是當(dāng)今世界上造成視力損害和失明的主要原因[1]。彩色眼底圖像在利用計算機(jī)輔助診斷或篩查糖網(wǎng)病中得到了廣泛的應(yīng)用。

視盤、黃斑和血管是眼底圖像中最重要的組成結(jié)構(gòu)，對這些結(jié)構(gòu)作特征分析是判斷眼底疾病的基礎(chǔ)[2]。視盤是視神經(jīng)的始端和血管的發(fā)源端，形狀為亮白色圓盤，直徑約為1.5 mm，是輔助判定糖網(wǎng)病的主要指標(biāo)。

另外，視盤也用于輔助建立眼底圖像坐標(biāo)系，搭建血管分割算法。黃斑與視盤的位置固定，是視力最敏銳的部分?？焖?、準(zhǔn)確地定位視盤和黃斑區(qū)域?qū)Πㄌ蔷W(wǎng)病在內(nèi)的眼底疾病尤為重要。

目前，由于成像因素或視網(wǎng)膜病變的影響，造成黃斑檢測的難度較大，故研究視盤定位的文獻(xiàn)較多，檢測黃斑的文獻(xiàn)較少[3]。關(guān)于視盤定位的算法大致可以分為兩類，一類利用外觀信息如亮度、對比度等作為定位特征[4-5]，另一類是基于血管特征實(shí)現(xiàn)視盤定位[6-10]。關(guān)于黃斑的定位算法，一般都依賴于視盤定位和血管拱形的坐標(biāo)信息[11-14]，故而導(dǎo)致黃斑定位準(zhǔn)確率低于視盤定位準(zhǔn)確率，而且無法同時對視盤和黃斑進(jìn)行定位。因此，探索一種有效的能對視網(wǎng)膜圖像視盤和黃斑同時定位的智能算法具有重要意義。

今天，在FPGA芯片上部署神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)邊緣計算的思想得到人們的認(rèn)可和研究，目前主要實(shí)現(xiàn)方式有兩種，一種方式是采用Verilog HDL（Verilog hardware description language，Verilog硬件描述語言）設(shè)計底層邏輯結(jié)構(gòu)，另一種方式是采用HLS（high level synthesis，高層綜合語言）設(shè)計IP核[15-16]來實(shí)現(xiàn)各類智能算法，后者原理簡單，易于實(shí)現(xiàn)。然而，兩種方法目前可實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)層數(shù)多局限于幾層、十幾層的規(guī)模[15-16]。

在此背景下，本文創(chuàng)新性地提出了一種眼底圖像視盤與黃斑定位檢測新方法[17]，先使用YOLOv4-tiny算法檢測視盤和黃斑的位置信息，再采用HLS設(shè)計的IP核將38層神經(jīng)網(wǎng)絡(luò)算法移植到FPGA平臺[18]。該方法復(fù)雜度低，檢測定位準(zhǔn)確率高、實(shí)時性強(qiáng)，具有良好的臨床應(yīng)用前景。

1 YOLOv4-tiny算法結(jié)構(gòu)

YOLOv4算法在目標(biāo)檢測領(lǐng)域具有較高的準(zhǔn)確率和實(shí)時性，但網(wǎng)絡(luò)復(fù)雜度較高。YOLOv4-tiny算法的網(wǎng)絡(luò)參數(shù)相對于其他YOLO算法少得多，適用于嵌入式設(shè)備。本文采用YOLOv4-tiny算法來完成眼底圖像中視盤和黃斑的定位檢測，整體檢測過程如下：輸入一張彩色眼底圖片，經(jīng)網(wǎng)絡(luò)檢測輸出后，對YOLO頭部y1、y2進(jìn)行輸出處理，可同時得到視盤和黃斑的位置信息和置信度。

YOLOv4-tiny算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該算法共38層，輸入層為608×608×3的彩色眼底圖片，Backbone模塊是網(wǎng)絡(luò)的骨干部分，由CSPDarknet53（即圖中的CSP結(jié)構(gòu)）模型組成，該模型提高了整個網(wǎng)絡(luò)模型的檢測精度，模型中帶虛線陰影的CBL結(jié)構(gòu)是下采樣卷積層。圖1中不帶虛線陰影的CBL結(jié)構(gòu)做正常的卷積運(yùn)算。另外，圖1中還包括2個頭部輸出：網(wǎng)絡(luò)第31層y1層，其大小為19×19×21，網(wǎng)絡(luò)第38層y2層，其大小為38×38×21。

圖1 YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv4-tiny network structure

帶虛線陰影的CBL結(jié)構(gòu)如圖2所示，該結(jié)構(gòu)的操作是：先做卷積運(yùn)算，再做歸一化操作，最后采用Leaky Relu函數(shù)激活。圖3是CSP結(jié)構(gòu)圖，圖的上半部分包括3個CBL結(jié)構(gòu)，第二個CBL與第三個CBL的結(jié)果矩陣拼接后，再通過一個CBL，最后的結(jié)果矩陣與CSP結(jié)構(gòu)的初始輸入做拼接操作，得到整個CSP結(jié)構(gòu)的輸出。

圖2 CBL結(jié)構(gòu)Fig.2 CBL structure

圖3 CSP結(jié)構(gòu)Fig.3 CSP structure

為檢測到視盤和黃斑兩個類別，網(wǎng)絡(luò)的兩個頭部輸出層y1、y2需要經(jīng)過一系列操作。具體操作是：首先檢測圖片中類似目標(biāo)特征的區(qū)域，將整個圖片分為N×N個格子，使用眼底圖片中目標(biāo)的真實(shí)中心位置坐標(biāo)落入格子負(fù)責(zé)該目標(biāo)所屬類別，每個格子預(yù)測B個邊界框，每個邊界框包含置信度和目標(biāo)所屬類別的概率，瞄框的預(yù)測采用公式（1）的方法：

式中，c x、c y是網(wǎng)格的坐標(biāo)偏移量；p w、p h是預(yù)設(shè)的瞄框的邊長；b x、b y、b w、b h為最終得到的邊框坐標(biāo)值；t x、t y、t w、t h為網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)，其中，t x、t y為檢測目標(biāo)的邊界框中心位置坐標(biāo)偏移量，經(jīng)過σ(x)（sigmoid）函數(shù)歸一化到0和1之間，t w、t h為瞄框的尺度縮放，分別與p w、ph作用后得到邊界框的寬和高。

2 研究工作

2.1 圖像預(yù)處理

算法采用公認(rèn)的Kaggle-Diabetic Retinopathy Detection（以下簡稱為Kaggle-DR）競賽中的眼底圖片數(shù)據(jù)集訓(xùn)練學(xué)習(xí)參數(shù)。該數(shù)據(jù)集包含多個患者左右兩只眼的高分辨率彩色圖片，且左右眼的眼底圖像分辨率相同。Kaggle-DR數(shù)據(jù)集根據(jù)糖網(wǎng)病視網(wǎng)膜病變的程度劃分為正常、輕度、中度、重度和增殖型糖尿病視網(wǎng)膜病變五個等級，以0、1、2、3、4進(jìn)行類別標(biāo)注，每張圖片都包含視盤和黃斑結(jié)構(gòu)。

由于數(shù)據(jù)集中的圖片具有不同的光照、顏色和攝像角度，以及照片裁剪方式也不相同，甚至部分圖片存在失焦的情況，因此從競賽數(shù)據(jù)集中挑選部分滿足訓(xùn)練要求的圖片，并對其進(jìn)行縮放、旋轉(zhuǎn)、翻轉(zhuǎn)、改變亮度等操作，得到516幅包含糖網(wǎng)病不同患病等級的圖片進(jìn)行訓(xùn)練和測試，挑選后的部分?jǐn)?shù)據(jù)集圖片如圖4所示。

圖4 部分用于訓(xùn)練的Kaggle-DR數(shù)據(jù)集眼底圖片F(xiàn)ig.4 Some retinal images in Kaggle-DR dataset for training

2.2 網(wǎng)絡(luò)訓(xùn)練優(yōu)化

過擬合是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)共有的弊病，一旦算法出現(xiàn)過擬合，那么訓(xùn)練生成的網(wǎng)絡(luò)算法模型是無效的。為了防止過擬合，如圖5所示，本文采用兩級訓(xùn)練和遷移學(xué)習(xí)的方式對YOLOv4-tiny網(wǎng)絡(luò)進(jìn)行訓(xùn)練優(yōu)化，先使用COCO數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)的前26層，迭代訓(xùn)練6 000次后，凍結(jié)這些層的參數(shù)值；再采用Kaggle-DR競賽中挑選的381幅眼底圖像訓(xùn)練剩下的12層，并設(shè)置衰減式的學(xué)習(xí)率，迭代10 000次后得到所有層的網(wǎng)絡(luò)參數(shù)。

圖5 算法的兩級訓(xùn)練模式Fig.5 Two level training mode of algorithm

由于Kaggle-DR數(shù)據(jù)集中的眼底圖片原始分辨率為3 000×4 000左右，且視盤和黃斑的位置以及整個眼球的位置多位于圖片中央，故將網(wǎng)絡(luò)的輸入層調(diào)整為608×608×3，有效地保證了特征提取的區(qū)域。另外，視盤的位置通常比黃斑要大，且在圖上處于不同的位置，選擇大小和位置合適的瞄框?qū)⒂兄谔岣邫z測的速度和準(zhǔn)確率。

2.3 FPGA移植

該YOLOv4-tiny黃斑與視盤定位檢測算法的一個重要優(yōu)點(diǎn)是可以移植到FPGA上運(yùn)行。以下介紹將優(yōu)化訓(xùn)練后的算法部署移植到FPGA板上的過程，整體的系統(tǒng)實(shí)現(xiàn)原理圖如圖6所示。在FPGA端，首先把算法訓(xùn)練得到的yolo.weight文件存儲至SD卡中，這個文件包含了網(wǎng)絡(luò)訓(xùn)練后的權(quán)重和偏置值；接著利用vivado HLS工具生成的兩個IP核做網(wǎng)絡(luò)中卷積和池化運(yùn)算，IP核可以自主地從SDRAM中讀取圖片和網(wǎng)絡(luò)參數(shù)；FPGA中的ARM內(nèi)核重建整個神經(jīng)網(wǎng)絡(luò)算法，并將卷積和池化需要的數(shù)據(jù)參數(shù)傳遞給IP核，IP核獲取到全部參數(shù)進(jìn)行計算后將結(jié)果存儲到SDRAM中。PC上位機(jī)與FPGA端通過串口進(jìn)行通信，PC上位機(jī)發(fā)送眼底圖片給FPGA端，F(xiàn)PGA端將檢測結(jié)果發(fā)回給PC上位機(jī)。

圖6 FPGA整體實(shí)現(xiàn)原理圖Fig.6 Overall implementation schematic designed on FPGA

FPGA端需要在vivado SDK工具中采用C語言重現(xiàn)TensorFlow框架下的YOLOv4-tiny算法，算法初始化部分如下所示：

網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層采用RunConv（）函數(shù)來實(shí)現(xiàn)，該函數(shù)對應(yīng)的是卷積層IP核硬件電路，該電路可以實(shí)現(xiàn)不同運(yùn)算數(shù)據(jù)和不同運(yùn)算規(guī)模的卷積層操作；網(wǎng)絡(luò)結(jié)構(gòu)中的池化層采用RunPool（）函數(shù)來實(shí)現(xiàn)，該函數(shù)對應(yīng)的是池化層IP核電路，與卷積層類似，該電路也具有計算不同池化層的通用性，本網(wǎng)絡(luò)模型中的池化層均做最大池化操作。Runroute（）函數(shù)做拼接操作，Runupsample（）函數(shù)做上采樣操作。

RunCSP（）函數(shù)需要對7個網(wǎng)絡(luò)層做操作，第一層是卷積操作，接下來的一層對該層做拼接；運(yùn)行兩個卷積層后，將這兩層的結(jié)果矩陣做拼接；再做一層卷積操作后，將這層的結(jié)果矩陣與第一層做拼接，得到整個RunCSP（）函數(shù)的運(yùn)算結(jié)果如下：

3 實(shí)驗及結(jié)果

系統(tǒng)設(shè)計中GPU軟件訓(xùn)練平臺使用兩塊1080Ti顯卡。CPU軟件訓(xùn)練平臺使用Core i7-8700k處理器，主頻為3.4 GHz。硬件部署使用Xilinx公司的ZYNQ-7000 xc7z010clg400-1芯片作為實(shí)驗平臺，該芯片片內(nèi)資源較為豐富，基本能夠滿足該網(wǎng)絡(luò)模型中硬件設(shè)計所需要的資源。

3.1 GPU模型訓(xùn)練與測試

在TensorFlow深度學(xué)習(xí)框架下，采用COCO數(shù)據(jù)集和Kaggle-Diabetic Retinopathy Detection競賽中挑選的部分眼底圖片做兩級訓(xùn)練，第一級訓(xùn)練采用COCO數(shù)據(jù)集、學(xué)習(xí)率為0.01，迭代6 000次來學(xué)習(xí)網(wǎng)絡(luò)的前26層；第二級訓(xùn)練采用Kaggle-DR競賽數(shù)據(jù)集、初始學(xué)習(xí)率為0.001，并以指數(shù)式衰減，迭代10 000次來學(xué)習(xí)整個網(wǎng)絡(luò)。每1 000次迭代后保存此時模型的網(wǎng)絡(luò)參數(shù).weight文件，如圖7所示，迭代4 000次后，loss值已經(jīng)接近于0，網(wǎng)絡(luò)模型趨于穩(wěn)定；迭代10 000次后，保存平均正確率mAP值最高的網(wǎng)絡(luò)模型的.weight文件，完成整個訓(xùn)練過程。

圖7 網(wǎng)絡(luò)模型訓(xùn)練mAP曲線Fig.7 mAP curve of network model on training

如圖7和表1所示，訓(xùn)練最好的網(wǎng)絡(luò)模型的mAP值為96.67%，其中視盤的正確率為100%，黃斑的正確率達(dá)93.34%，視盤的真陽性率（true positive rate，TPR）為100%，黃斑的真陽性率為96.85%，假陽性率（false positive rate，F(xiàn)PR）為3.15%，說明本文算法系統(tǒng)能滿足視盤和黃斑的檢測定位性能。另外，網(wǎng)絡(luò)的recall值為0.94，F(xiàn)1-score為0.96，precision值為0.98，說明該算法模型性能較好。

表1 訓(xùn)練好的網(wǎng)絡(luò)模型參數(shù)Table 1 Trained network model parameters

測試時采用135張?zhí)暨x的Kaggle-DR數(shù)據(jù)集眼底圖片整個迭代1次，得到的mAP值為95.97%，與訓(xùn)練的準(zhǔn)確率基本一致。測試一張圖片的時間約為4.72 ms，將其中部分圖片的置信度圖片輸出，如圖8所示，（a）中視盤和黃斑的置信度均為100%，（b）中視盤的置信度為100%，黃斑的置信度為94%，圖中黃斑區(qū)域顏色較淺，與周圍環(huán)境顏色類似，對檢測定位有一定程度的干擾，但94%的準(zhǔn)確率能滿足糖網(wǎng)病的輔助診斷要求。

圖8 網(wǎng)絡(luò)模型輸出的視盤（OD）和黃斑（Fovea）的置信度圖Fig.8 Confidence degree map of optic disc and fovea from network model

3.2 視盤和黃斑定位檢測結(jié)果對比

表2給出了本文方法與現(xiàn)有最具代表的幾種方法的檢測定位結(jié)果。從表2中可以看出，文獻(xiàn)[11-13]和文獻(xiàn)[3]均是分別對視盤和黃斑做檢測定位，其中文獻(xiàn)[11]的視盤和黃斑分別檢測的正確率最高，但是數(shù)據(jù)集小且未指明其中是否有病變眼底圖片；文獻(xiàn)[3]和文獻(xiàn)[12]也取得了較好的正確率，數(shù)據(jù)集組成合理，但是采用監(jiān)督分類的方法，對測試集中的病變圖片正確率較低；文獻(xiàn)[13]也得到了較好的檢測定位結(jié)果，但是算法較為復(fù)雜。

表2 視盤和黃斑的檢測結(jié)果與傳統(tǒng)方法對比Table 2 Comparison of detection results of optic disc and macula with traditional methods

文獻(xiàn)[14]先檢測黃斑，再檢測視盤，采用HEI-MED數(shù)據(jù)集中圖片進(jìn)行訓(xùn)練和測試，取得了較好的檢測正確率，但是仍然不能同時對視盤和黃斑定位。本文能同時對視盤和黃斑進(jìn)行定位，采用的數(shù)據(jù)集包含各個患病等級的圖片，訓(xùn)練和測試都取得了不錯的正確率，通過對比可以看出本文方法的檢測結(jié)果并不低于現(xiàn)有的方法甚至更優(yōu)，而且本文算法簡單，黃斑定位不依賴于視盤定位，在實(shí)際的糖網(wǎng)病篩查及醫(yī)學(xué)輔助診斷中具有很大的優(yōu)勢。

表3進(jìn)一步給出了視盤與黃斑在YOLO算法下的檢測定位結(jié)果對比，其中YOLOv3算法下的黃斑和視盤檢測定位的正確率較低，測試的實(shí)時性比較差。YOLOv4算法下的視盤與黃斑檢測定位的正確率為98.69%，但是網(wǎng)絡(luò)模型的參數(shù)值高達(dá)257.7 MB，GPU傳遞一張圖片的時間也比較長。本文采用的YOLOv4-tiny算法下的視盤與黃斑檢測定位的正確率為96.67%，略低于YOLOv4算法下的正確率，但是網(wǎng)絡(luò)參數(shù)大小下降了不止10倍，僅為24.3 MB，而且GPU傳遞一張圖片的時間提高了不止10倍，只需要2.858 ms，這些特性表明，本文采用YOLOv4-tiny實(shí)現(xiàn)視盤與黃斑檢測定位的系統(tǒng)非常適合移植于FPGA等嵌入式設(shè)備中，例如手持式糖網(wǎng)病智能監(jiān)測儀，具有很好的邊緣計算應(yīng)用前景。

表3 視盤與黃斑在YOLO算法下的檢測定位結(jié)果對比Table 3 Comparison of detection and location results of optic disc and macula based on YOLO algorithms

3.3 FPGA硬件平臺與CPU、GPU平臺檢測定位結(jié)果對比

表4給出了本文算法在FPGA硬件平臺以及CPU、GPU上對視盤與黃斑進(jìn)行檢測定位的對比，其中FPGA平臺的平均識別正確率基本與CPU、GPU保持一致，三個平臺下視盤定位的正確率均能維持在100%，但FPGA平臺中黃斑的正確率最低，為92.21%，這是因為FPGA中采用16位無符號浮點(diǎn)型數(shù)據(jù)類型，降低了權(quán)重和偏置的精確度。

表4 FPGA硬件平臺與CPU、GPU檢測定位結(jié)果對比Table 4 Comparison of detection and location results on FPGA hardware platform with CPU and GPU

從時效性來看，F(xiàn)PGA平臺處理一張圖片的時間大約需要150.445 ms，識別時間介于CPU與GPU之間。這是因為FPGA硬件平臺中只有一份卷積電路和一份池化電路，導(dǎo)致網(wǎng)絡(luò)中的各個卷積層和池化層只能采用時分復(fù)用的方式去共享這兩份電路，不能同時對各個網(wǎng)絡(luò)層進(jìn)行計算，使其處理時間比GPU低。但是從整體的正確率和實(shí)時性來看，本文搭載YOLOv4-tiny算法的FPGA硬件平臺能滿足糖網(wǎng)病視盤與黃斑定位及智能硬件輔助診斷的要求。

4 結(jié)論

視盤、黃斑是眼底圖像中最重要的組成結(jié)構(gòu)，對這兩個結(jié)構(gòu)的預(yù)先定位檢測是糖網(wǎng)病眼底圖像的自動處理與分析的關(guān)鍵步驟。傳統(tǒng)的數(shù)學(xué)形態(tài)學(xué)定位檢測方法，只能從算法層面進(jìn)行定位檢測，沒有同時定位視盤和黃斑，導(dǎo)致黃斑的定位準(zhǔn)確率低，而且還未見嵌入式端的算法實(shí)現(xiàn)，不適合于手持式檢測儀這樣的邊緣計算場景。基于此，本文提出了一種針對眼底圖像中視盤與黃斑同時定位檢測的新方法，首先使用YOLOv4-tiny算法進(jìn)行定位檢測，并探索了有效的眼底圖像預(yù)處理、網(wǎng)絡(luò)訓(xùn)練優(yōu)化等方法，最后將該算法成功移植到FPGA。與傳統(tǒng)方法相比，該方法不僅可以同時定位眼底圖像中視盤和黃斑的位置，使得算法復(fù)雜度更低、準(zhǔn)確度更高、定位速度更快，而且在FPGA上的實(shí)現(xiàn)方案對糖網(wǎng)病檢測技術(shù)的嵌入式發(fā)展具有指導(dǎo)意義。實(shí)驗主要采用公認(rèn)的COCO數(shù)據(jù)集和Kaggle-Diabetic Retinopathy Detection競賽中的眼底圖像對算法進(jìn)行訓(xùn)練和測試對比，算法移植到FPGA平臺后對視盤和黃斑定位的mAP為96.11%，檢測一張圖片只需要150.445 ms，符合邊緣計算圖像處理的實(shí)際應(yīng)用需求，具有良好的眼科臨床應(yīng)用前景。