2020-2021年寧夏野生鳥類細粒度分類研究圖像數(shù)據(jù)集

魏銘辰，劉立波*，王曉麗

1.寧夏大學信息工程學院，銀川 750021

2.中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所，北京 100081

3.中國農(nóng)業(yè)科學院國家南繁研究院，海南三亞 572024

4.國家農(nóng)業(yè)科學數(shù)據(jù)中心，北京 100081

引 言

濕地屬于天然生態(tài)環(huán)境系統(tǒng)中至關(guān)重要的一部分，擁有較高的生態(tài)價值與經(jīng)濟價值，其中鳥類數(shù)量對于濕地的自然生態(tài)體系能量流動，以及維持自然生態(tài)系統(tǒng)穩(wěn)定性等方面都起著決定性作用[1]。雖然寧夏土地面積較小，但全區(qū)已建成濕地類型自然保護地4處、濕地24處。通過強化保護濕地生態(tài)等一系列有效措施，寧夏濕地質(zhì)量及功能得到有效提升，大幅改善了濕地植被品質(zhì)。濕地中生活及遷徙的鳥類物種與數(shù)量也穩(wěn)步增長。在生態(tài)保護中，有效識別不同種類的生物是進行生態(tài)研究的重要前提，為資源環(huán)境評價和相應(yīng)的保護措施提供基礎(chǔ)數(shù)據(jù)支撐。

在野生鳥類的識別與分類保護中，了解野生鳥類所屬科種，實現(xiàn)同一鳥綱下不同科、屬的精細化自動識別是一項非常重要的工作。現(xiàn)有的寧夏野生鳥類圖像資源大多以圖譜為表現(xiàn)形式[2]，可完成日常通用的分類與識別，但主要是以進行科普展示和圖像對照為主，不能作為寧夏野生鳥類分類研究任務(wù)的細粒度圖像數(shù)據(jù)集。與一般的圖像資源相比，細粒度圖像數(shù)據(jù)集的獲取難度更大，需要很強的專業(yè)領(lǐng)域認知能力來進行數(shù)據(jù)收集與標注。本研究以現(xiàn)有的鳥類細粒度圖像數(shù)據(jù)集 CUB-200-2011和YUB-200-2017為研究對照，其中CUB-200-2011數(shù)據(jù)集包含200種北美鳥類[3]，YUB-200-2017數(shù)據(jù)集包含200種云南野生鳥類[3]。由于地域、環(huán)境以及生態(tài)條件的差異，使得這兩個細粒度圖像數(shù)據(jù)集并不能對寧夏野生鳥類的保護和研究形成有效支撐。作者在有關(guān)項目的支持下，通過圖像采集、數(shù)據(jù)整合、數(shù)據(jù)標注，結(jié)合寧夏實際對現(xiàn)有野生候鳥樣本進行妥善收集與處理，構(gòu)建了更高質(zhì)量、更具特色和針對性更強的寧夏野生鳥類細粒度分類研究圖像數(shù)據(jù)集，一共收集206種不同鳥類，平均每個類別約60幅圖像，共12297幅鳥類圖像。借助鳥類部件特征篩選匹配，及時發(fā)現(xiàn)和甄別稀有鳥類，從而更加全面系統(tǒng)了解寧夏保護地野生鳥類種類，為不同鳥類采取有效保護措施提供強有力支撐依據(jù)；同時為鳥類生態(tài)、種群發(fā)展、生物多樣性以及城市資源環(huán)境監(jiān)測提供客觀可信的生物指標，對于生態(tài)環(huán)境建設(shè)具有非常重要的現(xiàn)實意義。

1 數(shù)據(jù)采集和處理方法

1.1 數(shù)據(jù)采集方法

本數(shù)據(jù)集通過人工拍攝和網(wǎng)絡(luò)爬蟲兩種方法實現(xiàn)圖像采集，占比分別為6:4。人工拍攝設(shè)備采用Canon EOS 1D X Mark III數(shù)碼單反相機，拍攝地點為寧夏回族自治區(qū)沙湖自然保護地、銀川市鳴翠湖濕地保護地以及賀蘭山國家級自然保護地。主要拍攝不同地點、不同時間的靜態(tài)與動態(tài)的野生鳥類。爬蟲技術(shù)采集數(shù)據(jù)要借助Scrapy網(wǎng)絡(luò)爬蟲工具，在中國野鳥圖庫（http://www.cnbird.org.cn/）、鳥網(wǎng)（https://www.birdnet.cn/）、濕地中國（http://www.shidicn.com/）3個公開網(wǎng)站完成圖片數(shù)據(jù)的收集，占比依次約為5:3:2。在利用網(wǎng)絡(luò)爬蟲技術(shù)時需要查閱鳥類圖譜圖書來確定本數(shù)據(jù)集所需要的鳥類圖像數(shù)據(jù)。

1.2 數(shù)據(jù)預(yù)處理

在構(gòu)建寧夏野生鳥類細粒度分類研究圖像數(shù)據(jù)集的過程中，由于部分圖像數(shù)據(jù)是利用網(wǎng)絡(luò)爬蟲技術(shù)在互聯(lián)網(wǎng)中得到的，該類圖像數(shù)據(jù)存在對比度偏低和分辨率過大的現(xiàn)象。為了減少后續(xù)研究中的誤差和錯誤，作者對圖像數(shù)據(jù)進行了圖像增強處理。首先對于低亮度的圖像數(shù)據(jù)，利用保持圖像自然度的低亮度圖像增強方法進行亮度增強。其次對于分辨率過大的圖像數(shù)據(jù)，在圖像預(yù)處理的過程中利用圖像裁剪技術(shù)使得圖像數(shù)據(jù)保持在863*762分辨率范圍內(nèi)。

1.3 數(shù)據(jù)人工標注

為使得圖像在深度學習中能夠更好地進行分類與識別任務(wù)，構(gòu)建一個可為深度學習建模提供訓練和測試的數(shù)據(jù)集是本次研究過程中的重點任務(wù)。因此本研究利用 LabelMe和精靈標注助手（Colabeler）工具進行裁剪和標注，給寧夏野生鳥類細粒度分類研究圖像數(shù)據(jù)集提供豐富的人工標注信息，其中針對每一張圖片將其裁剪出前景區(qū)域和部分背景區(qū)域，去除過于冗余的背景，凸顯出鳥在圖片中的主體位置。之后針對每一張圖片進行鳥的整體包圍盒標注、局部包圍盒標注（頭部包圍盒、身體包圍盒）和15個關(guān)鍵點部位的標注（喙、喉、后背、腹部、胸部、羽冠、前額、左眼、右眼、左腿、右腿、左翼、右翼、頸部和尾部）。本數(shù)據(jù)集部分圖像標注示例如圖1所示。

圖1 人工標注示意圖Figure 1 Schematic diagram of manual annotation

2 數(shù)據(jù)樣本描述

2.1 圖像數(shù)據(jù)樣本

本數(shù)據(jù)集圖像文件夾中包含206種不同鳥類，每種鳥類的圖像數(shù)據(jù)為一個文件夾，并且這些圖像數(shù)據(jù)都是從不同地點、不同環(huán)境、不同時間和不同姿態(tài)收集到的，平均每個類別約60幅圖像，共有高質(zhì)量jpg圖像數(shù)據(jù)12297張。本數(shù)據(jù)集部分種類鳥類圖像示意圖如圖2所示，全部種類鳥類圖像示意圖如圖3所示。

圖2 部分種類鳥類圖像示意圖Figure 2 A schematic diagram comprising photos of many bird species

圖3 全部種類鳥類圖像示意圖Figure 3 Schematic diagram of photos for all bird species

2.2 文本數(shù)據(jù)樣本

本數(shù)據(jù)集文本數(shù)據(jù)來源主要為人工標注信息，所包含的數(shù)據(jù)信息為：圖像中鳥類整體邊界框的像素坐標、圖像中鳥類頭部和軀干部邊界框的像素坐標、鳥類圖像數(shù)據(jù)中15個部件（喙、喉、后背、腹部、胸部、羽冠、前額、左眼、右眼、左腿、右腿、左翼、右翼、頸部和尾部）的像素坐標，這些像素坐標數(shù)據(jù)以txt格式的文件保存在本數(shù)據(jù)集當中。

3 數(shù)據(jù)質(zhì)量控制和評估

對于圖像數(shù)據(jù)的質(zhì)量，本研究中采集的寧夏野生鳥類圖像來源主要有兩種方式：一種是人工拍攝，準確記錄不同生態(tài)環(huán)境下不同鳥類的不同姿態(tài)，同時保證鳥類圖像的分類準確度。另一種是收集來自互聯(lián)網(wǎng)的圖像，在鳥類研究專家的嚴格監(jiān)控下進行，并且后期對采集的圖像進行了二次篩選，將不符合本研究的圖像文件剔除，保證數(shù)據(jù)的真實可靠[4]。

對于文本數(shù)據(jù)的質(zhì)量，首先文本數(shù)據(jù)是在已經(jīng)進行質(zhì)量控制的圖像數(shù)據(jù)的基礎(chǔ)上進行人工標注后所提取的標注點的坐標數(shù)據(jù)，所以標注信息能夠保證數(shù)據(jù)的真實可靠。其次在人工標注時是按照現(xiàn)有公開數(shù)據(jù)集通用標注方法完成的，進而確保文本數(shù)據(jù)與其配對圖像的準確性與可靠性。

4 數(shù)據(jù)價值

本數(shù)據(jù)集與基礎(chǔ)的鳥類圖譜數(shù)據(jù)集最主要的區(qū)別在于：寧夏野生鳥類細粒度分類研究圖像數(shù)據(jù)集中每種鳥類圖像都涵蓋著該鳥類的不同姿態(tài)，同時又進行了人工標注，進而形成與圖像標注點一一對應(yīng)的文本數(shù)據(jù)，為細粒度圖像研究方向提供了基礎(chǔ)數(shù)據(jù)資源。隨著深度學習的不斷發(fā)展，可以通過深度學習的方法在本數(shù)據(jù)集的基礎(chǔ)上建立寧夏野生鳥類細粒度識別模型，為寧夏鳥類研究人員提供可靠的分類依據(jù)，從而有效推動寧夏野生鳥類物種保護及棲息地修復(fù)工作，也可為濕地等保護地科學規(guī)范管理工作提供決策依據(jù)。

5 數(shù)據(jù)使用方法和建議

本數(shù)據(jù)集中包含了大量不同姿態(tài)的鳥類圖像，因此在使用中可以根據(jù)需求來獲取所需要的圖像數(shù)據(jù)。同時又進行了人工標注工作，使得可以采用深度學習強監(jiān)督方法利用人工標注的坐標標簽實現(xiàn)圖像主體位置定位。

致 謝

感謝中國野鳥圖庫、鳥網(wǎng)、濕地中國三個公開數(shù)據(jù)網(wǎng)站，為本數(shù)據(jù)集的構(gòu)建提供了堅實的幫助。