基于深度學(xué)習(xí)對(duì)圖像信息識(shí)別技術(shù)的研究與分析
——以貓狗圖像為例

文/王宇（中國(guó)地質(zhì)大學(xué)（北京）經(jīng)濟(jì)管理學(xué)院）

一、研究背景

目前，人工智能成為越來(lái)越熱門的研究對(duì)象，它代表了最前沿的科技水平和最先進(jìn)的服務(wù)理念。而其中算法領(lǐng)域上的重要突破點(diǎn)之一，就是對(duì)深度學(xué)習(xí)的研究。我們知道，人體所接受的來(lái)自視覺(jué)感官系統(tǒng)的信息達(dá)到80%以上，所以計(jì)算機(jī)的視覺(jué)架構(gòu)顯得更加重要。物體識(shí)別是很多視頻跟蹤識(shí)別領(lǐng)域的基礎(chǔ)，而深度學(xué)習(xí)在物體識(shí)別上有很大的作用，只有快速而準(zhǔn)確地識(shí)別出圖像的類型，才能為后續(xù)的視頻圖像處理分析打下良好的基礎(chǔ)。由此可見(jiàn)，物體識(shí)別的重要性不言而喻。

早期的圖像識(shí)別主要是先提取物體特征，然后再根據(jù)特征識(shí)別物體。而隨著人工智能的發(fā)展，用深度學(xué)習(xí)進(jìn)行物體識(shí)別慢慢占據(jù)主流。其中，動(dòng)物圖像識(shí)別也慢慢成為圖像識(shí)別中的一個(gè)熱點(diǎn)。而深度學(xué)習(xí)在動(dòng)物識(shí)別上可以展示出極強(qiáng)的優(yōu)異性。目前已有的動(dòng)物圖像識(shí)別大都存在識(shí)別種類少、識(shí)別率低的問(wèn)題，我們的研究也將從基本的圖像識(shí)別出發(fā)，逐步解決目前存在的問(wèn)題。

根據(jù)2015年完成的《中國(guó)生物多樣性紅色名錄——脊椎動(dòng)物卷》，共評(píng)估了中國(guó)4357種脊椎動(dòng)物（見(jiàn)圖1），包括673種哺乳類、1372種鳥類、461種爬行類、408種兩棲類和1443種淡水魚類。其中，939種數(shù)據(jù)缺乏、1868種無(wú)危、596種近危，受威脅的物種共934種。在934種受威脅物種當(dāng)中，易危459種、瀕危289種、極度瀕危186種。可見(jiàn)，我國(guó)脊椎動(dòng)物的生存情況不容樂(lè)觀。為保護(hù)環(huán)境，拯救那些正在消失的瀕危動(dòng)物，我國(guó)正在做一些力所能及的事。

圖1 中國(guó)脊椎動(dòng)物紅色名錄等級(jí)分布

二、目的和意義

在瀕臨滅絕的野生動(dòng)物越來(lái)越多的情況下，人工智能中的圖像識(shí)別，就有了非凡的研究意義——為瀕臨滅絕的野生動(dòng)物提供力所能及的保護(hù)，同時(shí)，它也能成為一個(gè)簡(jiǎn)易的識(shí)別動(dòng)物的工具。

動(dòng)物的圖像識(shí)別相比于其他圖像而言更有難度，首先，人臉識(shí)別在生活中有龐大的數(shù)據(jù)庫(kù)基礎(chǔ)，我們每天的手機(jī)解鎖、人臉付款等都為人臉識(shí)別系統(tǒng)提供了大量的訓(xùn)練素材，而動(dòng)物的圖像數(shù)據(jù)庫(kù)則遠(yuǎn)不如此，對(duì)于動(dòng)物的圖像檢測(cè)應(yīng)用少之又少。其次，動(dòng)物分為界、門、綱、目、科、屬、種七個(gè)等級(jí)，隨著等級(jí)的降低，動(dòng)物的相似程度也隨之提高，這便使得動(dòng)物圖像更難區(qū)分。由此可見(jiàn)，動(dòng)物圖像識(shí)別尤其具有挑戰(zhàn)性和重要性。

由于專業(yè)能力以及數(shù)據(jù)庫(kù)承載能力受限，本次研究以生活中最常見(jiàn)的貓狗為識(shí)別對(duì)象，通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，使其能對(duì)簡(jiǎn)單的貓狗圖片做出判斷。綜合研究時(shí)間和數(shù)據(jù)庫(kù)考慮，目前只能對(duì)貓狗圖像做出初步判斷，但這只是動(dòng)物圖像識(shí)別的第一步。在試驗(yàn)條件允許后，我們將訓(xùn)練神經(jīng)網(wǎng)絡(luò)對(duì)貓狗的種類等做出判斷，乃至進(jìn)行各種動(dòng)物的識(shí)別，從而實(shí)現(xiàn)對(duì)瀕危物種的識(shí)別與保護(hù)。

三、國(guó)內(nèi)外研究現(xiàn)狀與前景

早期的物體識(shí)別算法主要是通過(guò)對(duì)原始圖像進(jìn)行預(yù)處理，從而得到圖像的底層特征，并且在獲取圖像特征的基礎(chǔ)上加入特征描述，最后進(jìn)行模板匹配來(lái)識(shí)別物體。隨著人工智能的發(fā)展，利用深度學(xué)習(xí)進(jìn)行物體識(shí)別漸漸取代了傳統(tǒng)的圖像處理方法。

近年來(lái)，作為物體圖像識(shí)別的一個(gè)特殊的部分，動(dòng)物圖像識(shí)別也逐漸成為研究熱點(diǎn)。早在2014年，Slavomir Matuska等人使用混合的SISURF特征檢測(cè)器加上SVM分類器的傳統(tǒng)方法，利用圖像識(shí)別技術(shù)對(duì)野豬、棕熊、狼、狐貍和鹿等五種動(dòng)物進(jìn)行分類，實(shí)驗(yàn)的最高準(zhǔn)確率能達(dá)到86%。2017年，Tibor Trnovszky等人利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)狐貍、狼、熊、豬和鹿等五類動(dòng)物進(jìn)行分類，實(shí)驗(yàn)最終達(dá)到了最高98%的識(shí)別率。

之前研究中的動(dòng)物圖像識(shí)別技術(shù)大多依托PC端進(jìn)行，而隨著各式各樣移動(dòng)設(shè)備的發(fā)展和推廣，目前的研究熱點(diǎn)開(kāi)始向在移動(dòng)終端實(shí)現(xiàn)與PC端同樣性能的深度學(xué)習(xí)技術(shù)轉(zhuǎn)移。近年來(lái)各互聯(lián)網(wǎng)巨頭紛紛投身AI領(lǐng)域，同時(shí)也在緊鑼密鼓地部署移動(dòng)端深度學(xué)習(xí)框架。國(guó)外互聯(lián)網(wǎng)公司以Facebook和谷歌為首，先后在2017年發(fā)布了具備工業(yè)化、模塊化和輕量化等優(yōu)點(diǎn)的Caffe2深度學(xué)習(xí)框架，以及一款專注用于移動(dòng)設(shè)備以及嵌入式設(shè)備的輕量級(jí)解決方案Tensor Flow Lite。與此同時(shí)，國(guó)內(nèi)互聯(lián)網(wǎng)公司也十分重視對(duì)移動(dòng)端深度學(xué)習(xí)框架的研究，2017年7月25日，騰訊優(yōu)圖實(shí)驗(yàn)室發(fā)布了專門為移動(dòng)終端設(shè)計(jì)進(jìn)行極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架NCNN，它具有無(wú)第三方依賴、跨平臺(tái)的優(yōu)點(diǎn)；2017年9月25日，百度公司在GitHub上開(kāi)源了一款基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的移動(dòng)端深度學(xué)習(xí)框架1VIDL，如今1VIDL已經(jīng)在手機(jī)百度中穩(wěn)定運(yùn)行了多個(gè)版本，其穩(wěn)定性和可靠性也有了可觀提升。

目前在移動(dòng)終端上的深度學(xué)習(xí)主要有兩種開(kāi)發(fā)模式:一種是在線模式，移動(dòng)終端通過(guò)獲取圖像數(shù)據(jù)，進(jìn)行簡(jiǎn)單預(yù)處理后把數(shù)據(jù)傳到服務(wù)器端，通過(guò)服務(wù)器端的深度學(xué)習(xí)模型識(shí)別得到結(jié)果，再將結(jié)果返回給終端，最后通過(guò)移動(dòng)端展示出結(jié)果。其具有部署簡(jiǎn)單、不需要占用太多終端資源的優(yōu)點(diǎn)，但在線模式必須在聯(lián)網(wǎng)的條件下運(yùn)行，同時(shí)難以保證用戶數(shù)據(jù)的私密性。另一種是離線模式，指是在服務(wù)器端進(jìn)行模型訓(xùn)練，然后在移動(dòng)端加載模型預(yù)測(cè)結(jié)果，其優(yōu)缺點(diǎn)正好與在線模式相反。

隨著人工智能的不斷發(fā)展，深度學(xué)習(xí)因?yàn)槠湓趧?dòng)物圖像識(shí)別領(lǐng)域展示出來(lái)的優(yōu)異性能，逐漸成為動(dòng)物圖像識(shí)別算法的主流，毫無(wú)疑問(wèn)，深度學(xué)習(xí)將在未來(lái)的物體識(shí)別研究上扮演越來(lái)越重要的角色。然而過(guò)往對(duì)動(dòng)物圖像識(shí)別的研究普遍存在能識(shí)別的動(dòng)物種類較少、總體識(shí)別率并不是特別高的問(wèn)題，這也就驅(qū)動(dòng)了對(duì)這方面的研究。

四、分析過(guò)程

我們雖然并不能像真正的研究者那樣提供提高識(shí)別率、增加識(shí)別種類的方法或原理，但是作為進(jìn)行初步學(xué)習(xí)與研究的大學(xué)生，提取出這項(xiàng)研究?jī)?nèi)容中的重點(diǎn)進(jìn)行實(shí)踐模擬和簡(jiǎn)單復(fù)現(xiàn)，可以幫助我們今后更好地進(jìn)行相關(guān)知識(shí)的學(xué)習(xí)和對(duì)高級(jí)程序語(yǔ)言的理解，甚至可以利用所學(xué)過(guò)的方法進(jìn)行觸類旁通和實(shí)際應(yīng)用。

接下來(lái)，我們團(tuán)隊(duì)對(duì)實(shí)現(xiàn)貓狗圖像識(shí)別技術(shù)過(guò)程中的環(huán)境搭建、數(shù)據(jù)集下載與整理、構(gòu)建網(wǎng)絡(luò)、導(dǎo)入數(shù)據(jù)進(jìn)行識(shí)別等過(guò)程進(jìn)行了簡(jiǎn)易復(fù)現(xiàn)和深度理解。

（一）原理分析與流程設(shè)計(jì)

1.原理分析

本貓狗圖像識(shí)別系統(tǒng)采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)，具有監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)的能力。借由卷積神經(jīng)網(wǎng)絡(luò)仿照生物視覺(jué)感知結(jié)構(gòu)，在應(yīng)對(duì)可格點(diǎn)化的信息時(shí)可以通過(guò)池化操作在占用更少運(yùn)算資源的情況下，進(jìn)行更加穩(wěn)定的信息分析和分類。

作為與以往不同的多層神經(jīng)網(wǎng)絡(luò)，識(shí)別系統(tǒng)可以實(shí)現(xiàn)在較短的時(shí)間內(nèi)分析大量信息，不必對(duì)更多的特征工程進(jìn)行輔助學(xué)習(xí)，簡(jiǎn)化了圖像識(shí)別的學(xué)習(xí)過(guò)程。同時(shí)在應(yīng)對(duì)不同的應(yīng)用場(chǎng)景時(shí)，可以通過(guò)返卷積來(lái)實(shí)現(xiàn)對(duì)信息的補(bǔ)全，提高對(duì)低質(zhì)量低清晰度圖片的識(shí)別能力。

綜上所述，本圖像識(shí)別能夠以較小的運(yùn)算資源對(duì)特定類別（基于前期學(xué)習(xí)而定）進(jìn)行穩(wěn)定的信息分類，同時(shí)還具備對(duì)低質(zhì)量圖像的識(shí)別能力，契合了實(shí)際應(yīng)用中處理來(lái)自客戶上傳圖片的冗雜和低質(zhì)量等問(wèn)題。

2.流程設(shè)計(jì)

（1）圖像輸入階段：用戶將圖像輸入至圖像識(shí)別系統(tǒng)。

（2）圖像增強(qiáng)處理階段：對(duì)圖像進(jìn)行歸一、分類、幾何變換、顏色變換以及分割處理。

（3）圖像分類階段：提取圖像基本特征并進(jìn)行分類識(shí)別，并對(duì)識(shí)別失敗的圖像進(jìn)行結(jié)果報(bào)告分析。

（4）結(jié)果輸出階段：根據(jù)概率挑選出可能性比較大的幾種結(jié)果，根據(jù)判斷從數(shù)據(jù)庫(kù)調(diào)取關(guān)于識(shí)別圖像的相關(guān)信息（見(jiàn)圖2）。

圖2 貓狗圖像流程設(shè)計(jì)流程圖

（二）實(shí)際操作

1.搭建環(huán)境

初始步驟，我們搭建了Python3.6、Tensorflow1.15.0、Keras2.2.5、Numpy1.19.5等環(huán)境（見(jiàn)圖3）。

圖3 搭建環(huán)境詳情

2.下載數(shù)據(jù)集

（1）首先登錄數(shù)據(jù)科學(xué)競(jìng)賽平臺(tái)“kaggle”，進(jìn) 入“https:// www.kaggle.com /c/dogs-vs -cats/data”，注冊(cè)登記后，下載數(shù)據(jù)集“Kaggle Cats and Dogs Dataset”（見(jiàn)圖4）。

圖4 下載好的數(shù)據(jù)集文件

（2）該文件包含可供訓(xùn)練的貓和狗圖像數(shù)據(jù)（見(jiàn)圖5）。

圖5 貓狗數(shù)據(jù)集圖像

3.整理數(shù)據(jù)集

（1）我們需要將圖片進(jìn)行標(biāo)簽設(shè)置，由于圖片數(shù)量過(guò)多（圖片數(shù)量一共25000張），因此編寫了一個(gè)簡(jiǎn)單的python腳本對(duì)全部圖片進(jìn)行重命名處理（見(jiàn)圖6）。

圖6 圖片標(biāo)簽處理腳本

（2）通過(guò)上述操作后，給每一張圖片完成標(biāo)簽設(shè)置操作，效果見(jiàn)圖7。

圖7 標(biāo)簽設(shè)置效果圖

3.構(gòu)建簡(jiǎn)單CNN網(wǎng)絡(luò)

我們構(gòu)建了以兩個(gè)卷積層和一個(gè)池化層為一組，共三組的多層網(wǎng)絡(luò)，通過(guò)定義模型（見(jiàn)圖8），定義優(yōu)化器、代價(jià)函數(shù)等步驟，構(gòu)建了一個(gè)簡(jiǎn)單的卷神經(jīng)網(wǎng)絡(luò)（CNN）。

劉訓(xùn)峰表示，華誼集團(tuán)要以習(xí)近平新時(shí)代中國(guó)特色社會(huì)主義思想為指引，不忘初心，牢記使命，堅(jiān)持“綠色發(fā)展、創(chuàng)新發(fā)展、高端發(fā)展、跨市發(fā)展、一體化發(fā)展”戰(zhàn)略，加快“華誼制造”向“華誼創(chuàng)造”轉(zhuǎn)型，力爭(zhēng)早日實(shí)現(xiàn)營(yíng)業(yè)收入1000億元，躋身全國(guó)化工行業(yè)前3位，世界化工50強(qiáng)，為把華誼集團(tuán)建設(shè)成為具有核心競(jìng)爭(zhēng)力的世界一流企業(yè)、成為具有國(guó)際競(jìng)爭(zhēng)力和影響力的企業(yè)集團(tuán)而努力奮斗！

圖8 卷神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)建過(guò)程

4.讀入數(shù)據(jù)，進(jìn)行訓(xùn)練并保存模型

（1）首先對(duì)用來(lái)訓(xùn)練的數(shù)據(jù)進(jìn)行修改，和歸一化處理（見(jiàn)圖9）；對(duì)測(cè)試數(shù)據(jù)進(jìn)行歸一化，然后進(jìn)行訓(xùn)練。由于硬件限制，我們只選取了其中234張的圖片進(jìn)行訓(xùn)練。

圖9 圖片歸一化過(guò)程

（2）我們?cè)O(shè)置了正確率展示，每一個(gè)Epoch會(huì)顯示正確率。由于訓(xùn)練數(shù)據(jù)不大，以及Epoch只有30輪，最后數(shù)值穩(wěn)定在了0.7左右（見(jiàn)圖10）。

圖10 可能性判斷過(guò)程

（3）讀入數(shù)據(jù)進(jìn)行測(cè)試（見(jiàn)圖11）。

圖11 測(cè)試對(duì)象——貓的圖像

（4）我們將訓(xùn)練好的模型保存為“model_cnn_cat_dog.h5”，在網(wǎng)上隨機(jī)選取了一張貓的圖像“whm.jpg”，進(jìn)行測(cè)試，得到了正確測(cè)試結(jié)果——cat（見(jiàn)圖12）。

圖12 測(cè)試結(jié)果

5.模型評(píng)價(jià)

（2）缺點(diǎn)：貓狗圖像分別只選取了100張左右，對(duì)于想要提高識(shí)別準(zhǔn)確率和對(duì)特征不明顯圖像較困難、存在不足。

五、計(jì)算機(jī)圖片識(shí)別技術(shù)發(fā)展策略與建議

（一）加強(qiáng)圖像傳輸品質(zhì)

如今，由于受到計(jì)算機(jī)軟硬件發(fā)展水平的影響，使得圖像識(shí)別仍然無(wú)法達(dá)到預(yù)期的效果。例如圖像不夠清晰、圖像處理速度達(dá)不到預(yù)期等，這些都會(huì)影響最后處理能否達(dá)到目標(biāo)。因此，加強(qiáng)圖像傳輸品質(zhì)，同時(shí)確保達(dá)到更高的處理速度和清晰度是推動(dòng)計(jì)算機(jī)圖像識(shí)別技術(shù)發(fā)展的必要條件。

（二）設(shè)計(jì)和開(kāi)發(fā)專用的圖像處理芯片

目前，計(jì)算機(jī)圖像識(shí)別計(jì)算主要是通過(guò)大量的矩陣計(jì)算來(lái)實(shí)現(xiàn)的，與目前計(jì)算機(jī)算法主要發(fā)展的浮點(diǎn)運(yùn)算來(lái)說(shuō)是相悖的，故在進(jìn)行矩陣計(jì)算是通常會(huì)出現(xiàn)運(yùn)行效率低、無(wú)法充分發(fā)揮性能等問(wèn)題，對(duì)此，可以通過(guò)設(shè)計(jì)和開(kāi)發(fā)專用的圖像處理芯片，來(lái)改善運(yùn)算的便捷性和準(zhǔn)確性。

（三）注重計(jì)算機(jī)圖像識(shí)別新技術(shù)理論的運(yùn)用

當(dāng)下，現(xiàn)代科學(xué)技術(shù)水平的高速發(fā)展，其更新速度也不斷加快，新開(kāi)發(fā)的技術(shù)或者發(fā)明都對(duì)目前的技術(shù)理論體系的更新和完善起到一定作用，計(jì)算機(jī)圖像識(shí)別技術(shù)的實(shí)踐與理論之間也是如此。如何在當(dāng)今科技不斷發(fā)展的社會(huì)背景下，設(shè)計(jì)出一個(gè)符合當(dāng)前計(jì)算機(jī)圖像識(shí)別計(jì)算發(fā)展趨勢(shì)的理論，是目前該領(lǐng)域必須要面對(duì)的難題?，F(xiàn)在，科研人員們不斷挖掘出新的相關(guān)理論與技術(shù)，遺傳計(jì)算處理體系、小波體系等均在其中。所以，注重計(jì)算機(jī)圖像識(shí)別新技術(shù)理論的運(yùn)用，是計(jì)算機(jī)圖像識(shí)別技術(shù)發(fā)展最為重要的策略之一。

（四）向人工智能方向轉(zhuǎn)變

現(xiàn)在，即使人工智能技術(shù)仍處在初步發(fā)展階段，卻早已表現(xiàn)出了可觀的發(fā)展前景，同時(shí)為圖像識(shí)別技術(shù)發(fā)展帶來(lái)發(fā)展機(jī)遇。與語(yǔ)音識(shí)別、人臉識(shí)別等與人工智能相關(guān)的識(shí)別技術(shù)不斷出現(xiàn)，促使以往的信息檢索和處理方式產(chǎn)生了不得已的改變。大數(shù)據(jù)的時(shí)代到來(lái)，也使得數(shù)據(jù)的保存不拘泥于物理硬件中，也可以保存在云數(shù)據(jù)庫(kù)。如果領(lǐng)域發(fā)展能結(jié)合云數(shù)據(jù)庫(kù)發(fā)展，將會(huì)促進(jìn)技術(shù)智能化水平的提高。

（五）計(jì)算機(jī)圖像識(shí)別技術(shù)動(dòng)態(tài)演化發(fā)展

從古至今，任何技術(shù)的演進(jìn)都隨著其實(shí)用性的變化而變化。計(jì)算機(jī)圖像識(shí)別技術(shù)要得以不斷發(fā)展，就需要與目前實(shí)用性可觀的新技術(shù)不斷結(jié)合，提高自身的實(shí)用性并不斷完善，以不斷滿足人類工作和生活中的需要。

（六）克服面部過(guò)于相似問(wèn)題

由于存在面部相似度很高的不同種類貓狗，類間差異過(guò)小，便需要進(jìn)行細(xì)粒度分類，在分類本身有難度的情況下，還需要考慮具體植物在圖像上呈現(xiàn)效果受影響的問(wèn)題，例如形狀、視角、光線、遮擋、模糊等因素，真實(shí)的場(chǎng)景使得對(duì)于相似度較高的貓狗進(jìn)行識(shí)別的準(zhǔn)確度降低。

（七）移動(dòng)端的技術(shù)推進(jìn)能夠帶來(lái)更多便捷

開(kāi)發(fā)識(shí)別精度更高的移動(dòng)端識(shí)別系統(tǒng)，將為人們的實(shí)際生活帶來(lái)更多的便捷，提高實(shí)用性，利用市場(chǎng)現(xiàn)有的幾個(gè)植物花卉識(shí)別軟件的成功經(jīng)驗(yàn)，并分析其現(xiàn)存缺陷，尋找改進(jìn)重點(diǎn)。