基于深度學(xué)習(xí)的介形類化石層次化識(shí)別

安玉釧，陳雁，黃玉楠，李平，蔣裕強(qiáng)，王占磊 西南石油大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，成都，610500；2) 西南石油大學(xué)油氣藏地質(zhì)及開發(fā)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，成都，610500； 西南石油大學(xué)地球科學(xué)與技術(shù)學(xué)院，成都，610500

內(nèi)容提要: 介形類化石對(duì)地質(zhì)年代的確定、古湖泊和古海洋的研究、古環(huán)境的重建以及海底石油資源的勘探等工作都具有重要意義。然而，現(xiàn)有識(shí)別化石顆粒的方法費(fèi)時(shí)費(fèi)力，準(zhǔn)確率也有待提高。鑒于介形類化石顆粒的類別具有科、屬、種的層次結(jié)構(gòu)，種類數(shù)量龐大，所以筆者等提出了一種層次化識(shí)別方法。首先進(jìn)行目標(biāo)檢測(cè)，實(shí)現(xiàn)介形類化石的定位與屬類劃分；之后在目標(biāo)檢測(cè)模塊的基礎(chǔ)上進(jìn)行智能識(shí)別，使用卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)提取屬類下更細(xì)微的種類特征，實(shí)現(xiàn)化石種類劃分。實(shí)驗(yàn)結(jié)果表明，筆者等提出的分層次識(shí)別模型能檢測(cè)出化石圖像中所有化石顆粒的位置信息并對(duì)其進(jìn)行分類，分類準(zhǔn)確率可達(dá)95%，且相較于未進(jìn)行分層次識(shí)別的模型，能將識(shí)別準(zhǔn)確率提升1.8%～5.8%。

介形類是隸屬于節(jié)肢動(dòng)物門甲殼動(dòng)物亞門介形綱的一種小型水生動(dòng)物，其廣泛分布在各種水域中。介形蟲的地理分布很廣，自然界的各種水體，包括海水和各種類型的大陸水體中，以底棲類群最常見(郝詒純和茅紹智, 1989)。早在1991年，介形類研究人員Morin和Cohen(1991)得出結(jié)論，當(dāng)時(shí)世界現(xiàn)存介形類約20000種、已報(bào)道的現(xiàn)生介形類約8000多種，其中大多數(shù)為海洋種，少數(shù)為淡水種。侯祐堂(2002)總結(jié)了我國(guó)發(fā)現(xiàn)的介形亞綱速足亞目浪花介超科和平足亞目小花介科化石屬種,共分類整理,描述介形類219屬1334種,并討論了它們?cè)谥行律臅r(shí)空分布、演變、生活環(huán)境和古生物地理分區(qū)等。介形類時(shí)空分布的廣泛性和對(duì)環(huán)境響應(yīng)的敏感性、獨(dú)特性，使之成為探討生物與環(huán)境過程的重要研究載體。同時(shí)介形類化石種類繁多，其對(duì)地質(zhì)年代的確定、古環(huán)境的重建以及海底石油資源的勘探都具有重要意義(中國(guó)大百科全書《生物學(xué)》編委會(huì)，1991)。例如，在海相地層中，根據(jù)介形蟲的地方性或區(qū)域性的生物分帶可用作古海岸線、古鹽度及相對(duì)海深等的標(biāo)志(郝詒純和茅紹智, 1989)。在陸相地層中介形蟲可以分為很多組合，具有重要的地層學(xué)意義。楊仁泉(2001)對(duì)采于河北邯鄲峰峰煤礦義井一帶石千峰組的介形類化石進(jìn)行研究，發(fā)現(xiàn)其主要以Darwinula和Panxiania為主，最后認(rèn)定河北太行山東麓一帶石千峰組的地質(zhì)時(shí)代應(yīng)為晚二疊世。在石油勘探中，正確分析介形類化石在地層中的分布規(guī)律，對(duì)于細(xì)分地層，尤其是盆地內(nèi)進(jìn)行區(qū)域地層對(duì)比有著十分重要的意義。同時(shí)對(duì)地下巖石狀況的分析也有助于判斷出油情況(林文和陳學(xué)佺，1992)。

雖然古生物化石識(shí)別，尤其是介形類化石識(shí)別，作為古生物研究的重要步驟，長(zhǎng)期以來(lái)都是古生物領(lǐng)域的熱點(diǎn)研究課題，但研究人員目前對(duì)介形類的識(shí)別往往是根據(jù)其化石殼體形狀以及殼體上的某些構(gòu)造(如殼面裝飾、肌痕、邊緣毛細(xì)管帶等)進(jìn)行人工分類鑒定。由于介形類化石體積小、數(shù)量大、品種多等特點(diǎn)，依靠人工的化石鑒定方法復(fù)雜且耗時(shí)，無(wú)法滿足實(shí)際應(yīng)用需求。因此，化石識(shí)別的智能化是古生物研究不可阻擋的趨勢(shì)。

現(xiàn)有的化石鑒定所采用的方法主要有3種：以推理為主的專家系統(tǒng)、多元統(tǒng)計(jì)分析和人工神經(jīng)網(wǎng)絡(luò)。專家系統(tǒng)(Expert System)是具備某個(gè)應(yīng)用領(lǐng)域?qū)＜壹?jí)知識(shí)和經(jīng)驗(yàn)的智能計(jì)算機(jī)程序，該程序能模擬專家的思維作出決定，從而得到智能識(shí)別的效果。國(guó)外研究人員嘗試開發(fā)化石鑒定專家系統(tǒng)(Riedel，1989；Brough and Alexander，2010)，如 VIDES (the Visual Identification Expert System)系統(tǒng)(Swaby，1990，1992；Athersuch et al., 1994)，用戶需要自己觀察化石特征屬性，并選擇系統(tǒng)所提供的特征選項(xiàng)，系統(tǒng)將根據(jù)用戶選擇的特征選項(xiàng)給出判斷結(jié)果。同期，國(guó)內(nèi)學(xué)者王益鋒等(1988)將計(jì)算機(jī)自動(dòng)推理功能和謂詞公式結(jié)合，首次將人工智能應(yīng)用于古生物化石歸類。曾勇等(2000)利用人機(jī)對(duì)話獲得的專家知識(shí)建立化石分類決策樹，根據(jù)決策樹建立規(guī)則庫(kù)。專家系統(tǒng)相對(duì)于人工鑒定方法有一定的效率提升，但此類程序更像是化石檢索表，識(shí)別過程需要人為干預(yù)，計(jì)算機(jī)并沒有實(shí)現(xiàn)自動(dòng)鑒定的功能。

多元統(tǒng)計(jì)分析(multivariate statistical analysis) 是將化石的定性特征轉(zhuǎn)化為定量特征，運(yùn)用多元統(tǒng)計(jì)的方法對(duì)數(shù)據(jù)進(jìn)行整理歸類和解釋的研究方法。國(guó)外學(xué)者Burke等(1987)對(duì)化石圖像輪廓進(jìn)行傅立葉形狀分析，使用SPSS統(tǒng)計(jì)軟件對(duì)傅立葉級(jí)數(shù)進(jìn)行主成分分析，構(gòu)造判別函數(shù)，實(shí)現(xiàn)介形類化石的自動(dòng)識(shí)別；Charles(2011)使用 logistic 算法、支持向量機(jī)、決策樹、KNN和樸素貝葉斯算法等十余個(gè)最常用的分類器自動(dòng)識(shí)別圖像中的單一完整的孢粉粒子，并得到不錯(cuò)的準(zhǔn)確率。國(guó)內(nèi)研究人員也將多元統(tǒng)計(jì)分析用于化石自動(dòng)鑒定工作。李酉興(1982a，b)根據(jù)特征向量間的歐式距離和相似系數(shù)，利用聚類算法將華南弓石燕和華南竹節(jié)石分類。徐涵秋(1987)改進(jìn)原古生物化石微機(jī)鑒定系統(tǒng)，按照化石不同形態(tài)特征的重要性賦予不同的權(quán)重，根據(jù)化石特征數(shù)據(jù)的相似度給出化石鑒定結(jié)果。多元統(tǒng)計(jì)方法相對(duì)于專家系統(tǒng)來(lái)說有很大程度的智能化提升，但此類技術(shù)不具有通用性，每種算法只能針對(duì)單一物種識(shí)別，當(dāng)對(duì)多物種進(jìn)行識(shí)別時(shí)，方法的復(fù)雜度大大提升，適應(yīng)性和靈活性不高。

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks)是指大量類似生物神經(jīng)細(xì)胞的處理單元所組成的網(wǎng)絡(luò)。早期的Dollfus等(1999)和 Beaufort 等(2004)采用多層并行神 經(jīng)網(wǎng)絡(luò)開發(fā)了顆石藻自動(dòng)鑒定系統(tǒng) SYRACO，幾乎可以識(shí)別視野中的所有顆石藻個(gè)體，準(zhǔn)確率高達(dá) 96%。 Bollmann等(2002，2004)使用卷積人工神經(jīng)網(wǎng)絡(luò)開發(fā)了超微化石鑒定系統(tǒng) COGNIS，系統(tǒng)連接電子顯微鏡鑒定多物種時(shí)，取得了良好的效果。國(guó)內(nèi)研究人員林文等(1992)使用改進(jìn)的Hopfield人工神經(jīng)網(wǎng)絡(luò)模型識(shí)別介形類化石；徐卉清等(2018)將卷積神經(jīng)網(wǎng)絡(luò)VGG16運(yùn)用到9種化石圖像分類中，驗(yàn)證集平均分類準(zhǔn)確率可到達(dá)70%；岳翔等(2019)在一個(gè)三分類數(shù)據(jù)集上實(shí)驗(yàn)了VGG16模型和GoogLeNet模型，識(shí)別率準(zhǔn)確度為85%。從在早期的工作中可以看出，人工神經(jīng)網(wǎng)絡(luò)相比于多元統(tǒng)計(jì)分析方法在特征學(xué)習(xí)方面更具有智能性，且能對(duì)多個(gè)物體進(jìn)行識(shí)別，適用性與靈活性更強(qiáng)。但古生物化石的類別具有層次化特點(diǎn)：科、屬、種，種類繁多且某些種類非常相似，現(xiàn)有的相關(guān)人工神經(jīng)網(wǎng)絡(luò)工作實(shí)驗(yàn)結(jié)果表明，未考慮化石類別特點(diǎn)的一步識(shí)別方法，其準(zhǔn)確率在70%～85%，難以為后續(xù)的古生物研究工作提供可靠支持。同時(shí)，現(xiàn)有方法不能處理單張圖像多個(gè)化石顆粒目標(biāo)的情況。

筆者等結(jié)合目前深度神經(jīng)網(wǎng)絡(luò)在識(shí)別任務(wù)上的優(yōu)勢(shì)，針對(duì)介形類化石類別繁多、類別之間差異小的特點(diǎn)，提出層次化識(shí)別方法，按照屬、種的結(jié)構(gòu)分層次地逐步進(jìn)行化石分類識(shí)別。首先對(duì)原始介形類化石圖像進(jìn)行圖像預(yù)處理和數(shù)據(jù)增強(qiáng)，以此增強(qiáng)化石圖像特征、增加樣本數(shù)量和提高模型的魯棒性；之后使用目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)介形類化石顆粒的定位，對(duì)目標(biāo)區(qū)域進(jìn)行裁剪，減少圖像背景信息對(duì)后續(xù)種類識(shí)別的影響。且基于層次化識(shí)別方法以及樣本數(shù)量和類別數(shù)目不平衡的問題，目標(biāo)檢測(cè)僅進(jìn)行化石的屬類劃分，保證屬類劃分的準(zhǔn)確性，為后續(xù)處理提供屬類識(shí)別結(jié)果。 最后使用基于ImageNet的圖像分類預(yù)訓(xùn)練模型提取種類間的化石圖像特征，采用支持向量機(jī)(SVM，Support Vector Machine)進(jìn)行化石的種類劃分。同時(shí)，使用圖像預(yù)處理方法和預(yù)訓(xùn)練模型能有效避免深度學(xué)習(xí)模型因數(shù)據(jù)集小而出現(xiàn)的過擬合問題。實(shí)驗(yàn)結(jié)果表明，筆者等提出的分層次識(shí)別模型能處理單張圖像中包含多個(gè)化石顆粒的情況，且相較于目標(biāo)檢測(cè)算法能將識(shí)別準(zhǔn)確率提升1.8%～5.8%，由此證明，分層次識(shí)別模型能將古生物化石識(shí)別準(zhǔn)確率進(jìn)一步提升。

1 材料和數(shù)據(jù)分析

在本研究中，介形類微體化石提取主要步驟(陳亮等，2019)包括取樣、預(yù)處理、濕篩、烘干、干篩、挑樣及鑒定與統(tǒng)計(jì)。具體操作如下：①將頁(yè)巖粉碎成顆粒；②將顆粒放入容器中,先用雙氧水與碳酸鈉混合溶液預(yù)處理,過濾后加水加熱；③待沉積物散開后,用篩網(wǎng)過篩，再用自來(lái)水反復(fù)沖洗篩中沉積物；④對(duì)獲得濕篩的后沉積物樣本進(jìn)行烘干、干篩、挑樣。

準(zhǔn)備好介形類化石樣本后，將樣本放于顯微鏡下采集微觀圖像，并由專家對(duì)圖像進(jìn)行鑒定，對(duì)圖片進(jìn)行種類標(biāo)注。本文的樣本包含3個(gè)屬類：東營(yíng)介、小豆介、瓜星介；4個(gè)種類：花瘤東營(yíng)介、雙球脊東營(yíng)介、廣饒小豆介、近指紋瓜星介。這四類介形類化石的部分圖像如圖1所示，其中每一行圖像為同一個(gè)介形類化石的不同角度(背視、腹視、右視、右視后部、左視、左視后部)的樣本。本文數(shù)據(jù)集中背視、腹視、右視、左視樣本的比例尺均為1 mm，右視后部、左視后部樣本的比例尺均為500 μm。四類介形類化石樣本圖像共采集了657張，其中花瘤東營(yíng)介172張、雙球脊東營(yíng)介150張、廣饒小豆介184張、近指紋瓜星介151張。經(jīng)過調(diào)研和分析該樣本數(shù)據(jù)集，發(fā)現(xiàn)如下問題：①樣本數(shù)量少，類別多，容易造成模型過擬合；②樣本類間差異小，且由于拍攝角度的不同造成了同一類別間特征有差異，簡(jiǎn)單的一步識(shí)別方法難以保證結(jié)果的準(zhǔn)確性。針對(duì)問題一，使用圖像預(yù)處理方法擴(kuò)充數(shù)據(jù)集，且使用預(yù)訓(xùn)練模型保證模型能被充分訓(xùn)練；針對(duì)問題二，考慮到古生物化石是科、屬、種結(jié)構(gòu)化的分類，因此筆者等采用層次化識(shí)別方法以保證識(shí)別效果。

圖1 四類介形類化石圖像樣本示例Fig. 1 Image samples of 4 kinds of ostracod fossils(a)花瘤東營(yíng)介；(b) 雙球脊東營(yíng)介；(c) 廣饒小豆介；(d) 近指紋瓜星介(a)Dongyingia florinodosa；(b) Dongyingia biglobicostata；(c) Phacocypris guangraoensis；(d) Berocypris substriata

2 方法

本文提出的層次化識(shí)別方法，模型如圖1所示，分為預(yù)處理、目標(biāo)檢測(cè)、智能識(shí)別3個(gè)部分。預(yù)處理模塊對(duì)原始化石圖像進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng)目標(biāo)檢測(cè)模塊，用于實(shí)現(xiàn)介形類化石的定位與屬類劃分；而后是智能識(shí)別模塊，即在目標(biāo)檢測(cè)模塊的基礎(chǔ)上，使用卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)，實(shí)現(xiàn)化石種類劃分。

2.1 預(yù)處理

經(jīng)分析樣本數(shù)據(jù)集后發(fā)現(xiàn)，介形類化石顆?；径汲霈F(xiàn)在圖像的正中、左側(cè)、右側(cè)；采集條件的限制、化石自身的顏色和拍攝背景顏色造成圖像亮度普遍偏低和局部陰影，導(dǎo)致介形類化石顆粒細(xì)節(jié)、輪廓不明顯。由于介形類化石圖像的質(zhì)量會(huì)直接影響識(shí)別準(zhǔn)確率的精度，因此首先需要對(duì)樣本圖片進(jìn)行預(yù)處理。預(yù)處理主要目的是規(guī)范化石圖像的輸入、減少圖中的無(wú)關(guān)信息、加強(qiáng)和突出介形類化石圖像的特征，以便神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別和分析。同時(shí)，預(yù)處理也可達(dá)到擴(kuò)充數(shù)據(jù)集的效果，加強(qiáng)了訓(xùn)練樣本的多樣性，使得訓(xùn)練模型能學(xué)習(xí)到更加豐富的介形類化石圖像特征，其魯棒性和泛化能力得到提高。

在本文中，隨機(jī)地對(duì)樣本分別采用亮度對(duì)比度增強(qiáng)、銳化等預(yù)處理操作；采用旋轉(zhuǎn)、平移和翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)操作。圖2a是原始介形類化石圖片，圖2b、圖2c、圖2d和圖2e是分別對(duì)原始圖像做亮度對(duì)比度增強(qiáng)、銳化、平移和旋轉(zhuǎn)的結(jié)果，它們?yōu)槟Ｐ吞峁┝素S富的介形類化石圖像信息。圖2b中化石顆粒目標(biāo)明顯；圖2c中化石輪廓及細(xì)節(jié)更加清晰；圖2d和圖2e中化石顆粒位置多變，從而降低模型對(duì)目標(biāo)位置和角度的敏感度。

圖2 層次化識(shí)別模型Fig. 2 Hierarchical recognition model

2.2 介形類化石定位和檢測(cè)

在目標(biāo)檢測(cè)領(lǐng)域，目前已有的算法主要分為兩階段目標(biāo)檢測(cè)算法和單階段目標(biāo)檢測(cè)算法。前者代表算法有RCNN、Fast R-CNN和Faster R-CNN等；后者代表網(wǎng)絡(luò)有SSD、YOLO系列算法。為驗(yàn)證哪一類目標(biāo)檢測(cè)網(wǎng)絡(luò)更適合本文的任務(wù)，我們從兩類目標(biāo)檢測(cè)算法中分別選擇出目前表現(xiàn)最好的網(wǎng)絡(luò)：Faster R-CNN和YOLOv5，并將其應(yīng)用到本文的數(shù)據(jù)集上。

2.2.1FasterR-CNN

Faster R-CNN算法(Ren Shaoqing et al., 2017)整體框架包括4個(gè)部分(圖3)：

圖3 介形類化石原始圖像以及預(yù)處理結(jié)果Fig. 3 The original images of ostracods and the results of preprocessing

(1)特征提取網(wǎng)絡(luò)。該部分由一組基礎(chǔ)卷積層、Relu層和池化層組成，自適應(yīng)地學(xué)習(xí)圖像中的紋理、組合等特征，得到特征圖，并被共享于后續(xù)的候選區(qū)域生成網(wǎng)絡(luò)(RPN, Region Proposal Network)和感興趣區(qū)域池化部分(ROI Pooling)。如圖3所示，大小為P×Q的原始介形類化石圖像調(diào)整為M×N，圖3a所示，本實(shí)驗(yàn)選用VGG16(Simonyan and Zisserman，2014)作為特征提取網(wǎng)絡(luò)。

(2)候選區(qū)域生成網(wǎng)絡(luò)。該部分如圖3b所示，由一個(gè)3×3卷積和兩個(gè)并列的1×1卷積分支組成，輸入為共享特征圖，輸出是候選區(qū)域 (Region Proposal)即圖像中的初步目標(biāo)檢測(cè)框。使用3×3卷積操作進(jìn)一步提取圖像的特征。在特征圖上存在大量的錨框(人為設(shè)定好位置和大小的矩形框)，它們可能并不與真實(shí)框完全重合，所以錨框的位置需要修正。兩個(gè)并列的1×1卷積分支分別對(duì)錨框進(jìn)行二分類和初步的位置修正。上分支中1×1卷積和Softmax對(duì)錨框進(jìn)行正樣本(包含物體的錨框)和負(fù)樣本(不包含物體的錨框)的類別分類，其中的兩個(gè)Reshape層是為了方便Softmax分類，對(duì)特征變量做維度改變。下分支的1×1卷積用于計(jì)算錨框相對(duì)于真實(shí)框的偏移量。在錨框的基礎(chǔ)上，結(jié)合分類結(jié)果和偏移量得到候選區(qū)域。

(3)感興趣區(qū)域池化。如圖3c所示，該部分只有一個(gè)池化層，輸入是共享特征圖和候選區(qū)域，輸出是大小相同的感興趣區(qū)域(ROI, Region of Interesting)。根據(jù)共享特征圖和候選區(qū)域的位置映射關(guān)系，得到每個(gè)候選區(qū)域在特征圖上對(duì)應(yīng)區(qū)域的特征圖部分，即感興趣區(qū)域。由于后續(xù)的分類器的輸入尺寸需要統(tǒng)一，所以采用最大池化操作將感興趣區(qū)域調(diào)整到指定大小。

(4)預(yù)測(cè)。如圖3d所示，輸入是感興趣區(qū)域，輸出是最終目標(biāo)檢測(cè)框的類別和坐標(biāo)值。首先前兩個(gè)全連接層對(duì)特征做整合，其次在上分支中通過全連接層與L2范數(shù)損失函數(shù)，如公式(1)所示：計(jì)算每個(gè)候選區(qū)域的偏移量，再反向更新，迭代網(wǎng)絡(luò)參數(shù)，得到最終的檢測(cè)框坐標(biāo)值。在下分支中通過全連接層與Softax計(jì)算每個(gè)感興趣區(qū)域的具體類別并輸出每個(gè)類別的概率。

(1)

2.2.2YOLOv5

該網(wǎng)絡(luò)由Alexey Bochkovskiy在2020年提出，是YOLO系列的最新結(jié)構(gòu)。YOLOv5網(wǎng)絡(luò)一共有4個(gè)版本：YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。它們的網(wǎng)絡(luò)結(jié)構(gòu)都可以分為4個(gè)部分：輸入、特征提取網(wǎng)絡(luò)、特征處理、分類和定位，唯一區(qū)別是網(wǎng)絡(luò)深度和寬度。其中YOLOv5s是深度最小、特征圖寬度最小的網(wǎng)絡(luò)，考慮本文到所用數(shù)據(jù)集偏小，選用YOLOv5s，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示：

圖4 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Faster R-CNN structure

(1)輸入。為適用于不同類型的數(shù)據(jù)集，YOLOv5s的輸入部分會(huì)對(duì)輸入數(shù)據(jù)采取自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放的操作。輸入部分會(huì)采用K均值聚類算法(k-means)和遺傳學(xué)習(xí)算法，對(duì)自定義數(shù)據(jù)集中的人工標(biāo)注的真實(shí)框進(jìn)行分析，生成適合自定義數(shù)據(jù)集的最佳錨框值。

在常用的目標(biāo)檢測(cè)算法中，會(huì)將輸入圖片縮放填充到統(tǒng)一大小再送入檢測(cè)網(wǎng)絡(luò)，但縮放填充后圖片兩端的黑邊大小不同。如果填充較多，則存在信息冗余，影響推理速度，所以YOLOv5s在推理階段對(duì)原圖像自適應(yīng)地填充最少的黑邊，但在訓(xùn)練階段仍采用傳統(tǒng)填充的方式。

(2)特征提取網(wǎng)絡(luò)。如圖4b所示，該部分由Focus、CBL、CSP1_X、SPP構(gòu)成，自適應(yīng)地學(xué)習(xí)圖像中的紋理、組合等特征，得到特征圖。Focus結(jié)構(gòu)如圖5c所示，利用切片、拼接操作將大小為W×H×3的特征圖變成W/2×H/2×12，再經(jīng)過模塊CBL(圖5a)得到W/2×H/2×32大小的特征圖。Focus的作用類似下采樣，雖然增加了計(jì)算量，但它將寬、高維度的信息集中到通道維度上，為后續(xù)的特征提取保留了更完整的圖像下采樣信息。CSP1_X結(jié)構(gòu)借鑒CSPNet(Cross Stage Partial Network)(Wang et al, 2020)，如圖5d所示，包含若干卷積層和殘差層，其中X表示殘差模塊(圖5b)的個(gè)數(shù)。在網(wǎng)絡(luò)層數(shù)較深的特征提取網(wǎng)絡(luò)中添加殘差結(jié)構(gòu)可以避免因?qū)訑?shù)加深而帶來(lái)的梯度消失，從而提取到更細(xì)粒度的特征。如圖5e所示，SPP結(jié)構(gòu)借鑒傳統(tǒng)的SPP(Spatial Pyramid Pooling)(He Kaiming，2014)，由4個(gè)并行的分支構(gòu)成，分別是核大小為 5×5, 9×9, 13×13的最大池化和一個(gè)跳躍連接，這樣的結(jié)構(gòu)使得輸出特征圖對(duì)區(qū)域的敏感性不同但大小尺寸相同，實(shí)現(xiàn)了局部特征和全局特征的融合，豐富了特征圖的表達(dá)能力。

(3)特征處理。該模塊如圖4c所示，對(duì)從特征提取網(wǎng)絡(luò)部分得到的特征做進(jìn)一步的融合，同時(shí)提取出語(yǔ)義信息和定位信息。特征融合結(jié)構(gòu)使用FPN(Feature Pyramid Network)(Lin Zongyi et al., 2017)和PAN(Path Aggregation Network)(Liu Shu et al., 2018)。使用CSP2_X加強(qiáng)網(wǎng)絡(luò)融合的能力，和CSP1_X的區(qū)別在于無(wú)殘差結(jié)構(gòu)，結(jié)構(gòu)如圖5f所示。如圖4中紅色虛線路徑所示，F(xiàn)PN通過上采樣的方式分別融合大小為76×76、38×38和19×19的特征圖，傳達(dá)強(qiáng)語(yǔ)義特征；如圖4中藍(lán)色虛線路徑所示，PAN通過下采樣的方分別融合大小為76×76、38×38和19×19的特征圖，傳達(dá)定位特征，且特征融合處用拼接代替了原PAN中的相加操作。在FPN中，大量的淺層特征信息通過多個(gè)網(wǎng)絡(luò)層傳遞到達(dá)頂層后會(huì)被丟失，所以在其后添加PAN來(lái)緩解信息丟失，建立高低層特征之間的信息路徑，從而增強(qiáng)整個(gè)特征層次架構(gòu)。

圖5 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)(據(jù)江大白， 2021)Fig. 5 YOLOv5s structure(from Jang Dabai, 2021&)

(4)分類和定位。該模塊如圖4d所示，綜合之前得到的圖像特征，分別根據(jù)大小為76×76、38×38、19×19的特征圖做出預(yù)測(cè)，最終得到3組輸出向量，其大小分別為76×76×24、38×38×24、19×19×24，其中24 =每組錨框的尺寸數(shù)量×(類別數(shù)量+檢測(cè)框置信度得分+ 4個(gè)檢測(cè)框坐標(biāo)值)。在本次實(shí)驗(yàn)中，每組錨框有3種尺寸，類別數(shù)量為3。分類損失采用BCE Loss，邊界框回歸損失采用GIoU Loss(Rezatofighi et al., 2019)。BCE Loss公式分別如公式(2)所示，其中Wi表示權(quán)重，Xi表示預(yù)測(cè)的類別概率，Yi表示真實(shí)標(biāo)簽。

LBCE=-Wi[YilgXi+(1-Yi)lg(1-Xi)]

(2)

GIoU Loss如公式(3)、公式(4)所示。GIoU是用來(lái)衡量預(yù)測(cè)框和真實(shí)框重合程度的一個(gè)標(biāo)準(zhǔn)。公式(4)中A、B分別表示預(yù)測(cè)框、真實(shí)框，AC表示能把A、B包含在內(nèi)的最小矩形框，該公式先計(jì)算矩形框AC中不包含A、B的面積占總面積的比值，再用A、B的交并比(IoU)減去該比值。

圖6 YOLOv5s網(wǎng)絡(luò)組件(據(jù)江大白，2021)Fig. 6 The components of YOLOv5s(from Jiang Dabai，2021&)

LGIoU=1-GIoU

(3)

(4)

根據(jù)最終的目標(biāo)檢測(cè)結(jié)果中的邊界框的坐標(biāo)值，將整張介形類化石圖像裁剪成單個(gè)介形類化石顆粒圖像，分別送入后文的智能識(shí)別模塊中。如圖7所示，比例尺為1 mm的花瘤東營(yíng)介端視樣本的結(jié)果，(a)為檢測(cè)結(jié)果，(b)為裁剪結(jié)果。目標(biāo)檢測(cè)模塊對(duì)化石目標(biāo)進(jìn)行框選定位、對(duì)屬類進(jìn)行劃分并對(duì)框選結(jié)果進(jìn)行裁剪。

2.3 介形類化石智能識(shí)別

根據(jù)前文分析，古生物化石分類具有科、屬、種的層次結(jié)構(gòu)，且種類間差異較小，使用分層次識(shí)別的方法能夠在一階段的的目標(biāo)檢測(cè)方法的基礎(chǔ)上，對(duì)具體的種類進(jìn)行劃分，能進(jìn)一步提高準(zhǔn)確度。在本節(jié)中，將使用GoogLeNet(Szegedy et al., 2014)結(jié)合支持向量機(jī)的方法，對(duì)每個(gè)屬類做具體的種類劃分，達(dá)到分層次識(shí)別的效果。不同于目標(biāo)檢測(cè)時(shí)注重化石位置信息與屬間特征，智能識(shí)別模塊將更注重于種類間的特征，這些特征往往更加細(xì)節(jié)、抽象，故本文使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征。

GoogLeNet網(wǎng)絡(luò)主要由Inception模塊組成，Inception模塊的提出是深度學(xué)習(xí)網(wǎng)絡(luò)模型第一次在考慮加深網(wǎng)絡(luò)深度的同時(shí)還考慮拓寬網(wǎng)絡(luò)的寬度，同時(shí)從網(wǎng)絡(luò)的深度和寬度兩個(gè)方面對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行性能提升，并取得不錯(cuò)的效果。Inceptionv1模塊如圖7所示，其借鑒了Network in Network(Lin Min et al., 2013)的思想，在網(wǎng)絡(luò)中引入大量的1×1卷積，能起到數(shù)據(jù)降維的作用，這樣確保了網(wǎng)絡(luò)在拓展寬度和深度的同時(shí)參數(shù)量得到一定的控制，并且為網(wǎng)絡(luò)模型引入更多的非線性，提高模型泛化能力。

圖7 目標(biāo)檢測(cè)結(jié)果和裁剪結(jié)果Fig. 7 The results of object detecting and cropping

在InceptionV1的基礎(chǔ)上，InceptionV2(Ioffe，2015)提出批歸一化(BN, Batch Normalization)的思想。批歸一化通過公式(5)，對(duì)網(wǎng)絡(luò)的某一層進(jìn)行歸一化處理。其中E[x(k)]指在一批數(shù)據(jù)中，各神經(jīng)元的平均值，Var(x(k))指在一批訓(xùn)練數(shù)據(jù)時(shí)各神經(jīng)元輸入值的標(biāo)準(zhǔn)差。為了不破壞上一層網(wǎng)絡(luò)所學(xué)習(xí)的特征，提出了變換重構(gòu)，引入可學(xué)習(xí)參數(shù)γ和β，如公式(6)所示。

(5)

(6)

每個(gè)神經(jīng)元x(k)都有這樣一對(duì)參數(shù)γ和β，當(dāng)γ=E[x(k)]、β=Var(x(k))時(shí)就可以恢復(fù)出原始的某一層所學(xué)到的特征。InceptionV2引入批歸一化的思想，使得在模型訓(xùn)練時(shí)可以設(shè)置較大的初始學(xué)習(xí)率，減少參數(shù)初始化的依賴，提高訓(xùn)練速度，并且能防止網(wǎng)絡(luò)出現(xiàn)梯度彌散。

InceptionV3(Szegedy，2016)在前者的基礎(chǔ)上提出使用兩個(gè)級(jí)聯(lián)的3×3卷積來(lái)代替一個(gè)5×5卷積的方法來(lái)降低網(wǎng)絡(luò)的計(jì)算量。在InceptionV3中，InceptionV1模塊將會(huì)被替換成如圖8所示。

圖8 InceptionV1網(wǎng)絡(luò)結(jié)構(gòu)Fig. 8 The structure of InceptionV1

將InceptionV3模塊所提取出的特征送入分類器，使用RBF核函數(shù)的SVM分類器對(duì)每個(gè)屬類進(jìn)行種類劃分。介形類化石智能識(shí)別模塊的總體框架如圖9所示。

圖9 InceptionV3網(wǎng)絡(luò)結(jié)構(gòu)Fig. 9 The structure of InceptionV3

圖10 介形類化石智能識(shí)別Fig. 10 The intelligent recognition of ostracods

3 實(shí)驗(yàn)結(jié)果

本文的介形類化石圖像智能識(shí)別實(shí)驗(yàn)所使用的操作系統(tǒng)為64位Windows 10、編譯軟件為Pycharm、GPU為 NVIDIA GeForce 2080 Ti、深度學(xué)習(xí)框架為Pytorch。

本文的介形類化石圖片，經(jīng)專家鑒定和整理、剔除不確定種類的圖像，共采集657張樣本，其中同一介形類化石分別會(huì)有背視、腹視、右視、右視后部、左視、左視后部角度的樣本。由于樣本數(shù)據(jù)集包括化石顆粒不同角度的圖片，使得模型可以學(xué)習(xí)到化石不同角度的特征，因此在后續(xù)的鑒定中，提供介形類化石任意角度(背、腹、左、右、左后和右后)的樣本圖片，模型都可以對(duì)其進(jìn)行識(shí)別。

按照8∶2的比例劃分原始數(shù)據(jù)集。訓(xùn)練集的圖像樣本使用數(shù)據(jù)增強(qiáng)，并將其用于模型的訓(xùn)練，測(cè)試集單獨(dú)用于最終訓(xùn)練得出模型的準(zhǔn)確率。

3.1 定位和檢測(cè)

為對(duì)比Faster R-CNN和Yolo v5在目標(biāo)檢測(cè)任務(wù)上的效果，在訓(xùn)練時(shí)，兩個(gè)網(wǎng)絡(luò)使用相同的訓(xùn)練集和驗(yàn)證集，訓(xùn)練的輪數(shù)在保證網(wǎng)絡(luò)收斂但不擬合的前提下保持一致。在測(cè)試網(wǎng)絡(luò)時(shí)使用相同的測(cè)試集，將檢測(cè)準(zhǔn)確率作為我們?cè)u(píng)價(jià)兩種網(wǎng)絡(luò)結(jié)構(gòu)的依據(jù)。準(zhǔn)確率計(jì)算公式如公式(7)所示：

(7)

兩個(gè)網(wǎng)絡(luò)的識(shí)別結(jié)果如表1所示，可以看出Faster R-CNN每個(gè)屬類的平均識(shí)別準(zhǔn)確率和所有屬類的平均識(shí)別準(zhǔn)確率都高于YOLOv5s的檢測(cè)結(jié)果，后者比YOLOv5s的結(jié)果高23.89%。正如預(yù)期的一樣，東營(yíng)介屬類的識(shí)別效果最佳，因?yàn)樵擃悇e樣本數(shù)量最多，模型能夠很好地針對(duì)該類進(jìn)行訓(xùn)練。瓜星介識(shí)別效果最差，猜測(cè)可能是該類樣本數(shù)量少，網(wǎng)絡(luò)不能很好地提取到圖像特征。

表1 Faster R-CNN與YOLOv5s檢測(cè)準(zhǔn)確率對(duì)比Table 1 The comparison of detection accuracy between Faster R-CNN and YOLOv5s

為了比較兩個(gè)網(wǎng)絡(luò)的定位結(jié)果，本文從測(cè)試集中隨機(jī)選擇了3張圖，以展示兩種網(wǎng)絡(luò)結(jié)構(gòu)分別在東營(yíng)介、瓜星介、小豆介化石圖像上的檢測(cè)結(jié)果，東營(yíng)介、瓜星介樣本比例尺為1 mm，小豆介樣本比例尺為500 μm。如圖11所示，第一列為真實(shí)標(biāo)簽(人工標(biāo)注)、第二列為Faster R-CNN檢測(cè)結(jié)果、第三列為YOLOv5s檢測(cè)結(jié)果，其中整數(shù)1、2、3代表預(yù)測(cè)的介形類化石的屬類：東營(yíng)介、小豆介、瓜星介，小數(shù)表示預(yù)測(cè)類別的準(zhǔn)確率。對(duì)于第一張圖，YOLOv5s出現(xiàn)了漏檢但Faster R-CNN仍然檢測(cè)到目標(biāo)，且識(shí)別正確 ；對(duì)于第二張圖，兩者均出現(xiàn)了識(shí)別錯(cuò)誤的情況；對(duì)于第三張圖，F(xiàn)aster R-CNN識(shí)別準(zhǔn)確率比YOLOv5s檢測(cè)結(jié)果高49%。

圖11 檢測(cè)效果對(duì)比Fig. 11 The comparison of accuracy

測(cè)試集的結(jié)果表明，F(xiàn)aster R-CNN對(duì)介形類化石的定位和識(shí)別效果更好，因此本文的目標(biāo)檢測(cè)模塊采用Faster R-CNN。

3.2 智能識(shí)別

筆者等在目標(biāo)檢測(cè)所裁剪出的單個(gè)化石圖像基礎(chǔ)上(即已知古生物化石屬類)，選擇了幾個(gè)較為常用的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)化石種類進(jìn)行細(xì)分，實(shí)驗(yàn)結(jié)果如表2所示，其中準(zhǔn)確率是在正確劃分古生物化石屬類的基礎(chǔ)上計(jì)算得來(lái)的種類的準(zhǔn)確率結(jié)果。由上表的結(jié)果可以發(fā)現(xiàn)直接使用預(yù)訓(xùn)練模型加支持向量機(jī)的分類方法，DensNet121和InceptionV3均可達(dá)到88%，相比與VGG16和Xception的結(jié)果相對(duì)更好，我們又對(duì)DensNet121和InceptionV3進(jìn)行微調(diào)，即將網(wǎng)絡(luò)的全聯(lián)接層換成自定義的全聯(lián)接層，并將其輸出送入SVM進(jìn)行分類，得到如表3所示的結(jié)果。

表2 介形類化石智能識(shí)別對(duì)比實(shí)驗(yàn)Table 2 The comparative experiment of ostracod fossils intelligent recognition

表3 微調(diào)后模型分類準(zhǔn)確度Table 3 The Classification accuracy of models by fine-tuning

以上對(duì)比實(shí)驗(yàn)證明，InceptionV3結(jié)合SVM的方法在數(shù)據(jù)集上能達(dá)到較為理想的準(zhǔn)確度。

3.3 層次化識(shí)別效果證明

為了證明本文提出的分層次識(shí)別算法的準(zhǔn)確度較直接使用目標(biāo)檢測(cè)算法進(jìn)行一步識(shí)別的優(yōu)勢(shì)，將使用分層次識(shí)別的結(jié)果與未使用分層次識(shí)別的結(jié)果進(jìn)行對(duì)比(表4)。

表4 分層次識(shí)別結(jié)果Table 4 Hierarchical recognition results

表中將直接使用目標(biāo)檢測(cè)算法對(duì)古生物化石的識(shí)別結(jié)果，與本文提出的分層次識(shí)別模型結(jié)果進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文提出的分層次識(shí)別模型相較于目標(biāo)檢測(cè)算法能將識(shí)別準(zhǔn)確率提升1.8%～5.8%，由此證明分層次識(shí)別模型能將古生物化石識(shí)別準(zhǔn)確率進(jìn)一步提升。

4 結(jié)論

由于介形類化石體積小，表面粗糙，部分化石有破損，識(shí)別比較困難，若采用傳統(tǒng)特征分析的方法，則需要廣泛地描述樣本的特征，經(jīng)過繁瑣的步驟才能得出識(shí)別結(jié)果，而對(duì)于有缺損的或形狀相近的則難以正確識(shí)別。本文提出的方法其預(yù)處理部分可以增強(qiáng)圖像物種的古生物學(xué)特征，分層次識(shí)別算法能針對(duì)介形類化石的特點(diǎn)分別進(jìn)行屬類和種類識(shí)別，以保證對(duì)介形類化石圖像能達(dá)到較好的識(shí)別效果。本文方法的總體準(zhǔn)確率達(dá)到95%，證實(shí)了基于深度學(xué)習(xí)的計(jì)算機(jī)視覺方法在古生物研究方面的可行性及應(yīng)用前景。同時(shí)，本文提出的方法不需要對(duì)圖像進(jìn)行人工分析，計(jì)算機(jī)直接通過學(xué)習(xí)自動(dòng)獲得古生物圖像特征的描述，并進(jìn)行自動(dòng)分類，充分利用了計(jì)算機(jī)的主動(dòng)學(xué)習(xí)特性。在未來(lái)的研究工作中，我們將進(jìn)一步完善介形類化石數(shù)據(jù)庫(kù)，擴(kuò)充數(shù)據(jù)樣本和類別，以此提高模型的識(shí)別精度、泛化性和適用性。并基于本模型開發(fā)介形類化石智能識(shí)別系統(tǒng)，提高介形類化石鑒定工作的效率。

(The literature whose publishing year followed by a “&” is in Chinese with English abstract; The literature whose publishing year followed by a “#” is in Chinese without English abstract)

陳亮, 唐振平, 劉江, 謝焱石, 王正慶, 劉珊, 黃偉, 胡楊, 馮志剛. 2019. 從黑色頁(yè)巖中提取介形類微體化石的方法, CN106006655B.

侯祜堂. 2002. 中國(guó)介形類化石. 北京: 科學(xué)出版社: 12～15.郝詒純, 茅紹智. 1989. 微體古生物學(xué)教. 武漢: 中國(guó)地質(zhì)大學(xué)出版社: 44～63..

江大白. 2021. 深入淺出Yolo系列之Yolov5核心基礎(chǔ)知識(shí)完整講解[Z/OL]. (2021-06-03)[2021-06-12]. https://zhuanlan.zhihu.com/p/172121380

李酉興. 1982a. 用電子計(jì)算機(jī)鑒定華南弓石燕和一些竹節(jié)石化石. 中南大學(xué)學(xué)報(bào)(自然科學(xué)版), 34(4): 122～128.

李酉興. 1982b. Z-80B1/2 機(jī)鑒定化石程序. 桂林工學(xué)院學(xué)報(bào), 2(4): 88～95.

林文, 陳學(xué)佺. 1992. 用于介形類化石識(shí)別及巖芯分析的人工神經(jīng)網(wǎng)絡(luò)方法. 中國(guó)科學(xué)技術(shù)大學(xué)無(wú)線電電子學(xué)系, 22(1): 95～99.

王益鋒, 張逸昆. 1988. 人工智能原理在古生物化石歸類中的應(yīng)用. 古生物學(xué)報(bào), 27(4): 521～525.

徐涵秋. 1987. 微型電子計(jì)算機(jī)在(竹蜓)類化石鑒定中的應(yīng)用. 微體古生物學(xué)報(bào), 4(1): 103～110.

徐涵秋. 1991. (竹蜓)類化石同物異名問題的微機(jī)定量研究——模糊數(shù)學(xué)在古生物化石研究中的應(yīng)用. 中國(guó)科學(xué)(B輯), 21(1): 90～101.

徐卉清, 樊雋軒, 楊嬌, 胡云峰. 2018. 應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行化石圖像分類. 中國(guó)古生物學(xué)會(huì)第十二次全國(guó)會(huì)員代表大會(huì)暨第29屆學(xué)術(shù)年會(huì)論文摘要集.

楊仁泉. 2001. 河北太行山東麓晚二疊世陸相介形類化石組合及其地層意義. 中國(guó)古生物學(xué)會(huì)第21屆學(xué)術(shù)年會(huì).

岳翔, 呼和, 賈建忠. 2019. 一種基于深度學(xué)習(xí)的有孔蟲化石識(shí)別方法. 電腦知識(shí)與技術(shù), 15(27): 179～184.

中國(guó)大百科全書《生物學(xué)》編委會(huì). 1991. 中國(guó)大百科全書: 生物學(xué). 北京: 中國(guó)大百科全書出版社: 733～734.

曾勇, 屈永華. 2000. 化石鑒定專家系統(tǒng)中具學(xué)習(xí)功能決策樹的研究與實(shí)現(xiàn). 地質(zhì)論評(píng), 46(s1): 208～211.

Athersuch J, Banner F T, Higgins A C, Howarth R J, Swaby P A. 1994. The application of expert systems to the identification and use of microfossils in the petroleum industry. Mathematical Geology, 26(4): 483～489.

Beaufort L, Dollfus D. 2004. Automatic recognition of coccoliths by dynamical neural networks. Marine Micropaleontology, 51(1～2): 57～73.

Bollmann J, Corte′s M Y, Haidar A T, Brabec B, Thierstein H R. 2002. Techniques for quantitative analyses of calcareous marine phytoplankton. Marine Micropaleontology, 44(3): 163～185.

Bollmann J, Quinn P S, Vela M, Brabec B, Brechner S, Corte′s M Y, Hilbrecht H, Schmidt D N, Schiebel R. 2004. Automated particle analysis: calcareous microfossils. In P. Francus (Ed.). Image Analysis, Sediments and Paleoenvironments. Dordrecht: Kluwer Academic Publisher: 229～252.

Brough D R, Alexander I F. 2010. The fossil expert system. Expert Systems, 3(2): 76～83.

Burke C D, Full W E and Gernant R E. 1987. Recognition of fossil freshwater ostracodes——Fourier shape analysis. Lethaia, 20(4): 307～314.

Charles J. 2011. Automatic recognition of complete palynomorphs in digital images. Machine Vision and Applications, 22(1): 53～60.

Chen Liang, Tang Zhenping, Liu Jiang, Xie Yanshi, Wang Zhengqing, Liu Shan, Huang Wei, Hu Yang, Feng Zhigang. 2019#. Method for extracting ostracod microfossils from black shale:, CN106006655B.

China Encyclopedia "Biology" Editorial Board. 1991#. China Encyclopedia: Biology. Beijing: China Encyclopedia Press: 733～734.

Dollfus D, Beaufort L. 1999. Fat neural network for recognition of position-normalised objects. Neural Networks, 12(3): 553～560.

Hao Yichun, Mao Shaozhi. 1989. Micro-Palaeontology Course. Wuhan: China University of Geosciences Press: 44～63.

He Kaiming, Zhang Xiangyu, Ren Shaoqing, Sun Jian. 2014#. Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis & Machine Intelligence, 37(9): 1904～1916.

Hou Hutang. 2002#. Ostracod Fossils in China. Beijing: Science Press: 12～15.

Ioffe S, Szegedy C. 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. Journal of Machine Learning Research, (37): 448～456.

Jiang Dabai. 2021. A complete explanation of the core basic knowledge of Yolov5 in the Yolo series [Z/OL].(2021-06-03)[2021-06-12]#. https://zhuanlan.zhihu.com/p/172121380

Li Youxing. 1982a&. Identification of South China Gongshiyan and some bamboo joint fossils by computer. Journal of Central South University (Natural Science Edition), 34(4): 122～128.

Li Youxing. 1982b&. Z-80B1/2 Computerized fossil identification program. Journal of Guilin Institute of Technology, 2(4): 88～95.

Lin Min, Chen Qiang, Yan Shuicheng. 2013. Network in network. Computer Science.

Lin Wen, Chen Xuequan. 1992&. Artificial neural network method for ostracod fossil identification and core analysis. Department of Radioelectronics, University of Science and Technology of China, 22(1): 95～99.

Lin Zongyi, Dollar P, Girshick R, He Kaiming, Hariharan B, Belongie S. 2017. Feature pyramid networks for object detection// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society: 936～944.

Liu Shu , Qi Lu, Qin Haifang, Shi Jiaping, Jia Jiaya. 2018. Path aggregation network for instance segmentation. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR): 8759～8768.

Morin, J G, Cohen A C. 1991. Bioluminescent displays, courtship and reproduction in ostracodes. Crustacean Sexual Biology: 1～16.

Riedel W R. 1989. Identify: A prolog program to help identify fossils. Computers & Geosciences, 15(5): 809～823.

Ren Shaoqing, He Kaiming, Girshick R, Sun Jian. 2017. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis & Machine Intelligence, 39(6): 1137～1149.

Rezatofighi H, Tsoi N , Gwak J Y, Sadeghian A, Savarese S. 2019. Generalized intersection over union: a metric and a loss for bounding box regression// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE.

Szegedy C, Liu Wei, Jia Yangqing, Sermanet P, Rabinovich A. 2014. Going deeper with convolutions. IEEE Computer Society.

Szegedy C, Vanhoucke V, Ioffe S, Shlens J, Wojna Z. 2016. Rethinking the inception architecture for computer vision. IEEE, 2818～2826.

Swaby P A. 1990. Integrating artificial intelligence and graphics in a tool for microfossil identification for use in the petroleum Industry. Proceedings of the 2nd Annual Conference on Innovative Applications of Artificial Intelligence. Washington, 203～218.

Swaby P A. 1992. Vides: An expert system for visually identifying microfossils. IEEE Expert, 7(2): 36～42.

Simonyan K, Zisserman A. 2014. Very deep convolutional networks for large-scale image recognition. Computer Science.

Wang C Y, Bochkovskiy A, Liao H. 2020. Scaled-YOLOv4: Scaling Cross Stage Partial Network. arXiv:2011.08036

Wang Yifeng, Zhang Yikun. 1988&. Application of artificial intelligence principles in paleontological fossil classification. Chinese Journal of Paleontology, 27(4): 521～525.

Xu Hanqiu. 1987&. Application of microcomputer in identification of (Bamboo Fly) fossils. Chinese Journal of Micropaleontology, 4(1): 103～110.

Xu Huiqing, Fan Junxuan, Yang Jiao, Hu Yunfeng. 2018#. Application of Convolutional Neural Network in Fossil Image Classification// Abstracts of Papers of the Twelfth National Congress of the Chinese Society of Paleontology and the 29th Annual Academic Conference.

Yang Renquan. 2001. Late Permian terrestrial ostracod fossil assemblage and its stratigraphic significance on the eastern foot of Taihang Mountain, Hebei Province// The 21st Annual Academic Conference of the Chinese Society of Paleontology.

Yue Xiang, Hu He, Jia Jianzhong. 2019#. A method for identifying foraminifer fossils based on deep learning. Computer Knowledge and Technology.

Zeng Yong, Qu Yonghua. 2000&. Research and implementation of decision tree with learning function in fossil identification expert system. Geological Review, 46(s1): 208～211.