仿真假體視覺下神經(jīng)網(wǎng)絡算法的應用研究

趙瑛 李琦 王冬暉 于愛萍 谷宇

摘? 要： 盡管已有多種圖像處理策略被應用到視覺假體的仿真研究中并提高了被試的識別表現(xiàn)，但在植入電極數(shù)量有限的情況下，如何保證盲人獲得足夠的拓撲信息是視覺假體仍需解決的問題。在此背景下，本文將兩種神經(jīng)網(wǎng)絡算法應用到仿真假體視覺中對圖像進行前景目標提取和像素化處理，首先利用圖像分割數(shù)據(jù)集訓練一個U?net網(wǎng)絡得到前景提取后的結果，將其像素化之后與提取前的原圖配對，再利用配對后的數(shù)據(jù)集訓練一個Pix2Pix網(wǎng)絡從而實現(xiàn)了將彩色圖像“翻譯”為像素化圖像的目標。實驗結果表明，與傳統(tǒng)圖像處理算法相比U?net網(wǎng)絡具有更準確的目標提取效果，且經(jīng)Pix2pix網(wǎng)絡“翻譯”后的圖像也與標簽圖像更相似，有助于提高假體佩戴者的識別準確率。

關鍵詞： 仿真假體視覺; 神經(jīng)網(wǎng)絡算法; 前景目標提取; 像素化處理; 數(shù)據(jù)集訓練; 圖像配對

中圖分類號： TN911.34?34; TP391.4? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）04?0164?03

Application of neural networks algorithm in artificial prosthesis vision

ZHAO Ying1， LI Qi1， WANG Donghui1， YU Aiping1， GU Yu1，2

（1. Inner Mongolia Key Laboratory of Pattern Recognition and Intelligent Image Processing， School of Information Engineering， Inner Mongolia University of Science and Technology， Baotou 014010， China; 2. School of Computer Engineering and Science， Shanghai University， Shanghai 200444， China）

Abstract： A variety of image processing strategies have been applied to the simulation study of visual prosthesis and improved the recognition performance of the subjects， but how to ensure that blind people get enough topological information with limited electrodes is still a problem to be solved in visual prosthesis. On this background， two kinds of neural network algorithm are applied to the artificial prosthesis vision to perform foreground object extraction and pixel processing for images. A U?net network is trained with the image segmentation dataset to acquire the extracted results of foreground， which are matched with the original image after its pixel processing. A Pix2pix network was trained with the matched datasets to achieve the goal of “translating” color images into pixelated images. The experimental results showed that in comparison with the traditional image processing algorithm， the U?net network has more accurate object extraction effect， and the image translated by the Pix2Pix network is more similar to the ground truth. It is helpful to improve the recognition accuracy of prosthesis wearers.

Keywords： artificial prosthesis vision; neural networks algorithm; foreground object extraction; pixel processing; dataset training; image matching

人類對外界信息的獲取約有80%來自于視覺，視力殘疾或失明對人的正常生命活動造成的影響是災難性的。對于由視網(wǎng)膜色素變性（Retinal Pigmentosa）和老年性黃斑變性（Age?related Macular Degeneration）造成視力殘疾或失明的患者[1]，他們病變的視網(wǎng)膜組織中仍然有近80%的內層神經(jīng)細胞和近30%的神經(jīng)節(jié)細胞的形態(tài)和功能處于正常狀態(tài)，并保持一定的功能性連接，視覺假體可應用于這類患者的視覺恢復和重建過程中[2]。通過在他們的視網(wǎng)膜、視覺皮層或視神經(jīng)等位置植入微電極并對其施加合適的電刺激，可使患者感知到光幻視點。而進一步傳遞有用的外界信息，還需要利用圖像處理策略對電刺激的拓撲位置加以控制。目前，得益于視網(wǎng)膜假體技術快速發(fā)展，已經(jīng)有盲人能夠借助視覺假體在日常生活中完成一些字母閱讀、物體識別、尋路等任基本任務[3]。

然而在臨床實驗中，測量所得即使是最好的視覺敏銳度也仍然很低，Argus Ⅱ和Alpha?IMS視網(wǎng)膜假體系統(tǒng)可提供的視覺敏銳度[3]分別只有20/1260和20/546。針對這種情況，許多研究者企圖通過更有效的圖像處理策略來改善視覺假體的表現(xiàn)，從而為盲人提供更好的重建視力。Sheng Li等人將小波分析方法與k?means聚類結合并應用于圖像中目標的輪廓提取與像素化重構過程中，并通過仿真假體視覺下的心理物理學實驗討論了正確識別簡單物體的最小信息需求[4]。Li Heng等人基于圖的生物顯著性運用GrabCut的自適應分割算法提取前景目標后進行再像素化[5]，相較于直接像素化得到了更高的目標識別準確率和識別效率。此外還有多種顯著性提取算法被證明在提高假體視覺下的識別準確率是有效的。

本文提出將U?net卷積神經(jīng)網(wǎng)絡與Pix2Pix生成對抗網(wǎng)絡這兩種深度學習圖像處理技術應用于仿真假體視覺下的前景目標提取與圖像像素化過程中。經(jīng)過在分割訓練集和像素化訓練集上的參數(shù)調整，可以得到最優(yōu)的兩種模型。之后，在圖像分割測試集上對比U?net網(wǎng)絡模型與傳統(tǒng)顯著性目標提取方法的效果差異，同時在像素化測試集中對Pix2Pix模型生成的測試結果進行對比。

1? 數(shù)據(jù)集與方法

1.1? 數(shù)據(jù)集

使用ETH?80數(shù)據(jù)集[6]作為訓練與測試神經(jīng)網(wǎng)絡模型的圖像集，其中包含蘋果，汽車，牛，杯子，狗，馬，梨，和番茄8種常見的自然或人造物體，每種物體包含410張RGB圖像和對應的經(jīng)過分割后的標簽（Ground Truth），對于每種物體從中隨機選取307張圖像作為訓練圖像，剩下的103張圖像作為測試圖像，最終的數(shù)據(jù)集包含2 456張訓練圖像和824張測試圖像。

1.2? 前景目標提取

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks）借鑒了人體視覺系統(tǒng)的特點，網(wǎng)絡的前幾層在輸入圖像上重復使用卷積的方式來提取小的、局部化的邊緣特征，然后通過激活函數(shù)和池化操作即下采樣將這些邊緣特征組合成更復雜的表示[7]。池化操作會導致經(jīng)過整個網(wǎng)絡的信息流縮減，這使得傳統(tǒng)卷積神經(jīng)網(wǎng)絡不能很好地應用于圖像分割任務中。U?net[8]是全卷積網(wǎng)絡（Fully?Convolutional Networks）概念的擴展，適合在訓練圖像較少時對模型進行訓練并可以產生精確的分割結果。如圖1所示，U?net的體系結構由下采樣和上采樣兩條路徑組成。下采樣路徑是一種典型的層疊狀卷積結構，每個層疊結構包含兩個連續(xù)的卷積層（使用3×3卷積核）和一個池化層（使用2×2最大池化），激活函數(shù)為線性整流單元（ReLU）。上采樣路徑對稱地將卷積層改為反卷積層并去掉池化層，每一個反卷積層得到的特征圖與下采樣路徑中對應卷積層得到的特征圖會進行拼接，再對拼接后的特征圖進行反卷積，經(jīng)過兩個反卷積層疊結構后，到達最后一層對特征圖進行1×1反卷積得到二值分割結果。

1.3? 圖像翻譯

圖像翻譯是一種相對較新的計算機視覺處理任務，其目標是在圖像X轉化為另一種表示Y的過程中得到一種映射關系。這種關系可以通過具有半監(jiān)督學習能力的生成對抗網(wǎng)絡中的生成器來表示和實現(xiàn)。經(jīng)過訓練后的神經(jīng)網(wǎng)絡模型能夠利用一張從未見過的圖像[Xnew]預測并生成一張新的圖像[G（Xnew）]，即最有可能表示訓練數(shù)據(jù)中的映射關系。Pix2Pix[9]生成對抗網(wǎng)絡是在生成對抗網(wǎng)絡的基礎上為了實現(xiàn)圖像翻譯任務而加入了半監(jiān)督學習能力的一種條件生成對抗網(wǎng)絡。當需要處理彩色圖像直接得到像素化圖像時，輸入生成器的訓練數(shù)據(jù)應是帶有標簽的樣本{（[v1]，[r1]），（[v2]，[r2]），…，（[vn]，[rn]）}，因此生成器需要完成的任務是從配對的訓練數(shù)據(jù)中學習到可以使生成的圖像[G（vi）]與真實圖像[ri]最相似的映射，而判斷生成圖像與真實圖像是否相似的任務需要判別器來完成。這樣在學習和優(yōu)化的過程中，不僅生成器試圖生成與真實圖像越來越相似的[G（vi）]表示來欺騙判別器，判別器也能更好地分辨[G（vi）]是否是真實圖像，最終在對抗學習的過程中提高了生成器的“翻譯”能力，這一過程如圖2所示。U?net模型經(jīng)過調參后可以精確地輸出包含前景目標的二值圖像，然后對這些圖像進行輪廓提取后匹配32×32大小的像素化模板，再將這些經(jīng)過像素化之后的圖像與原RGB圖配對形成新訓練集來訓練Pix2Pix生成對抗網(wǎng)絡模型，從圖3中可以看到這一過程的整個流程。由圖割方法（GrabCut）可以得到前景目標的提取結果[13]。

在TensorFlow深度學習框架中訓練了一個對稱型U?net網(wǎng)絡結構，利用NVIDIA GTX1080Ti GPU在分辨率為256×256像素的訓練圖像集上訓練200次迭代，得到了損失函數(shù)達到最小，并保持穩(wěn)定的模型。圖4中展示了不同前景目標提取方法的結果。

同時利用峰值信噪比（PSNR）和結構相似性（SSIM）兩種評價標準對三種方法進行了量化比較，在測試圖像集中計算了每種方法得到的結果，如表1所示。相較于傳統(tǒng)方法，U?net神經(jīng)網(wǎng)絡的前景提取結果相對于標簽圖像有更高的PSNR值，且SSIM值也更接近1，因此具有更好的表現(xiàn)。

1.4? 像素化結果評估

在利用傳統(tǒng)方法提取前景目標后的測試結果中，對其進行輪廓提取并匹配32×32分辨率的像素化模板，得到了經(jīng)過傳統(tǒng)像素化方法處理后的結果。隨后通過PyTorch深度學習框架構建了一個的Pix2Pix神經(jīng)網(wǎng)絡，輸入由原圖與像素化圖像的配對訓練集并調試參數(shù)，在訓練400次迭代后得到一個最優(yōu)的生成器，利用該生成器可以在測試圖像集中直接由RGB原圖得到像素化后的結果，各方法得到的像素化結果示例如圖5所示。

同時利用峰值信噪比（PSNR）和結構相似性（SSIM）兩種評價標準對三種像素化方法進行了量化比較，在測試圖像集中計算了每種方法得到的結果，并展示在表2中。相較于傳統(tǒng)方法，Pix2Pix生成對抗網(wǎng)絡的像素化結果相對于標簽圖像有更高的PSNR值，且SSIM值也更接近1，因此具有更好的表現(xiàn)。